凌家父子回来后，首先面对的就是大小吴氏。吴氏出自承恩公府。当初老郡王这桩婚事还是由先皇所赐。当年喝药差点而死的那个吴妃就是承恩公家的嫡次女。
吴贵妃进宫里后很得先皇宠爱。凌源志的母亲就是吴贵妃的妹妹。当时吴贵妃看到老郡王少年英雄，就请求先皇给自己的妹妹赐婚。
皇上一想也好，给郡王府定个国公府的小女儿也算是门当户对。况且吴贵妃如此美貌，她的小妹妹也错不了。于是皇上很不负责任地就把婚赐了。
当时郡王府并不想和皇室扯上关系。更不想和后宫的宫妃也扯上关系。可这婚已经赐了。没有办法，老郡王当时还是世子爷，就娶了吴氏为妻。
可是到成婚后，吴氏的性子也就慢慢地暴露出来，自私又不容人。其时吴氏在娘家时，由于是小女儿，又是嫡女，所以养得很是骄横，家里的庶姐庶妹，她众来都不看在眼里。
老郡王并不重女色，家里也就只有一个通房，是个陪自己长大的丫头巧云。在娶了吴氏后，被抬了姨娘。
可就这么一个姨娘，吴氏也不能容忍。当时，凌源志出生后，巧云的避子汤也就停了。后来巧云有孕，吴氏知道后一碗打胎药打掉了还未成型的胎儿。巧云小产后又加上伤心，一年后就病逝了。
老郡王对吴氏更加失望，没想到吴氏这么狠毒。连未出生的胎儿也不放过。但大儿子也只有两岁，吴氏当时又有了身孕。老郡王忍下了这气口。
。
老郡王在长子三岁时，就把儿子接到外院。等到儿子七岁时，太子找人做伴读，他唯恐自己将来要承爵的大儿子被吴氏教坏了，就把儿子送去宫里给太子做了伴读。而自己则请求去了边关。那时凌源辉也才四岁，一直跟着吴氏在郡王府长大。从此，老侯爷长驻边关，再也没回来。后来。老郡王在边关又纳了一房妾室，后来生下庶子凌源行，排行第三。凌源行一直养在边关，后来又在边关娶妻生子。
老吴氏赐婚前，在家里曾经和同族的一个表弟私下暧昧。吴贵妃是知道这事的。国公府的嫡小姐怎么也得嫁一个门第差不多的人家吧，就这样，吴妃越过父母直接请先皇赐了婚。
吴氏再不懂事，也知道皇上赐婚不可更改，就这样不情不愿地嫁了。可在她看到老郡王英武出众之后，和自己的表弟一对比，觉得老郡王的各个方面都是自己的表弟没法比得上的，觉得自己嫁了一个好丈夫，还是很欢喜的。可是这老郡王在自己生了两个儿子后就长驻边关，从此再也没回来。吴氏也知道丈夫这是怨上了自己。可是巧云不就是一个妾吗，自己是当家主母，难道连惩罚一个妾的权力都没有吗，这吴氏自此也怨上了丈夫。其时老郡王只是觉得自己的妻子太狠毒，连一个没出生的孩子都不放过。每次对着老吴氏，老郡王都会觉得这是一个毒妇。最后终于不愿再面对自己的妻子，而选择了长驻边关。
这时吴氏又想起了和表弟以前的情分了，表弟家只是小吏，她就想拉扯一下自己的表弟。就生出了把表弟的女儿嫁给自己当儿媳的想法。老太太真是天真啊。凌家父子怎么能同意。外甥女没当成自己的儿媳。她又琢磨小表侄女给自己儿子做继室。儿子不同意，不得已让小吴氏做了贵妾。
老太太真是锲而不舍啊。其时老太太这样做，也还有另外一个原因，那就是对于凌家父子，哪个她也控制不了。要是找个娘家人做儿媳，那就能把儿子掌握在自己手里了，还能全了和表弟以前的情分。
可是凌源辉从小就和自己的母亲不亲，他也知道自己的父亲为什么一去边关就再也不回来。不是父亲不想自己，而是父亲不想面对自己的母亲。而且自己的母亲做的事情他也看在眼里，那根本就上不了台面。
而且他对妻子去世的如此突然也曾经怀疑过，还私下里让人查过，什么也没有查出来。但这件事也成了他心里的一个结。他又怎么能任凭老吴氏摆布。
在凌郡王走后，小吴氏曾对着表姑母老吴氏哭泣。老吴氏就劝她，让她注意自己的肚子。老吴氏又告诉小吴氏：“阿圆，只要你生了志儿的骨肉，他回来后怎么可能不认你，你啊，先别想这么多，先把孩子给我生下来再说。天天哭器嘀啼的影响孩子的成长。”
小吴氏从此她安心养胎，果然她很争气，生了个儿子。当郡王给儿子取了名字后，小吴氏的心又活了起来。看样子郡王心里还是有儿子的，有儿子就好说。以后自己要把儿子教育好，让他爹喜欢他。郡王喜欢了儿子，还能不喜欢儿子的娘吗。
后来，郡王来的信很少，都是写给老吴氏的。小吴氏天天侍候在表姑母身边，所以每次郡王的来信她都知道，刚一开始她还盼着郡王的信里能提一提自己，可是每当老吴氏读完信后，眼光都是躲闪着自己，也不和自己说信的内容。小吴氏就知道那信里没有自己，后来渐渐地她就不再期盼，慢慢的她的心也越来越凉。
几年过去了，她终于明白郡王的心里真的是一点也没有自己的位置。郡王爷对自己一点情分也没有，全是自己和姑母的一厢情愿。好在自己肚皮争气，产下一子。而郡王对这个小儿子也并非完全无情。还给自己儿子取了名字。看来，以后只能指望儿子了。
于是小吴氏就把儿子牢牢抓在自己手里。小吴氏有一点很好，那就是她对儿子从来不