黄氏去世后的第二年，顾之衍就娶了继妻刘氏。
顾之衍继娶刘氏前，顾家的祖宅除了当年在分家时，划分出去给三房的以外，余下由大房继承的，或租或售，早已经被分割得七零八落。
黄氏去世后，顾之衍自然没有能力继续在世家官宦之女中选择填房。最后娶的便是刘氏，一个小商户之女。
刘氏嫁给顾之衍之前，先后订过两次亲。头一次是指腹为婚订的娃娃亲，结果对方长到七、八岁时便夭折了，这门亲事自然作罢；第二次订亲之后不到一年，男方就因意外身故。
刘氏因此背上了“克夫”的名声，一直在闺中待到快二十岁也没有能够嫁出去。直到有人前来说合让刘氏嫁去顾家大房给顾之衍做填房，刘家的人便不假思索应下了这门亲事。
顾之衍身无长物，无功名官职在身，也不懂营生，自然赚不了银子，都是在靠着祖产坐吃山空。当祖产被挥霍得差不多后，顾家大房的日子也日益艰难。
事实上，在宋夏朝的世家谱系中，顾家已经被彻底除名。虽然在民间坊肆，有的时候也还能听见有人说一嘴关于顾家的八卦，但都无一不在前面加上诸如“当年”、“曾经”、“没落的”之类的定语或者状语。
刘氏嫁给顾之衍时，也带了一些嫁妆。当顾之衍要求刘氏把嫁妆拿出来贴补家用时，刘氏不干了，直接就要发卖顾之衍的两房姨娘。
“呸！老娘这里的嫁妆银子才不会给你养婊子！想从老娘这里拿到银子，趁早把那两婊子打发走！”刘氏指着顾之衍的鼻子，跳着脚嚷道！
顾之衍的脸色一会儿青一会儿紫，异常难看，“她俩好歹也跟了我这么多年，你就这样容不下她们？”
“我呸！留不留那两婊子是你的事，与老娘我何干？只是要留下她们你就自己拿银子养！你休想来打我嫁妆的主意！老娘我不会替你养婊子！”刘氏耍泼。
顾之衍到底争吵不过刘氏，最终也没有能够从刘氏那里抠出哪怕是一文钱来。
不久后，刘氏怀上身孕，十月怀胎生下了一个儿子，这便是顾锦行与顾安鸿和顾安飞的同父异母的弟弟顾安简。
生下顾安简后，刘氏把嫁妆看得更紧，并且为了省银子，除了只留孩子的奶娘和两个对自己忠心的下人外，把别的奴仆都打发走了。
每日三餐刘氏也只顾着自己和孩子，懒得去管顾之衍和他的两个姨娘，更不理会两个姨娘的死活。顾之衍也一筹莫展，因为他始终一文铜钱都没法从刘氏手中拿到。
顾之衍把手中的最后一件传家宝当了五百两银子后，忍不住去了风月场所，没几天又把银子挥霍一空。
没有了丫鬟下人，顾之衍的两个姨娘不得不自己洗衣烧火做饭干杂活儿。手中无银子时，也只好典卖了些首饰换银子，却也无法维持太久。
两个姨娘还年轻，也没有孩子，实在吃不下这苦，最终不等被打发出去，自己就收拾了细软离开。
两个姨娘不告而别后，顾之衍似乎终于有所醒悟，一改从前的作派，开始死皮赖脸地讨好刘氏，守着刘氏和儿子顾安简，过上了本分的日子。
当顾锦行把这一切都了解清楚之后，更不奢望能够与顾之衍和刘氏在同一个屋檐下过安生日子。再说了，人往高处走，水往低处流，就算能够带着两个弟弟回去，她也不愿意再去过那样的生活了。
不过，得知了顾之衍的窘境之后，顾锦行到底还是让人给他和刘氏送去了五百两银子。
毕竟顾之衍是顾锦行的原身的亲生父亲，虽然她占有了原身的身体，但是原身对亲情的那种眷恋，对顾之衍和刘氏的怜悯，她还是能够真切地感受到。
只是为了避免给自己招惹麻烦，顾锦行让人去给银子时，没有让人同顾之衍说银子是她给的。
随后，顾锦行想了想，又把顾安鸿和顾安飞的两个小厮叫来问话。
“你们每日都跟在安鸿和安飞身边，想必对每件事都很清楚。我且问你们，除了这次的事，安鸿和安飞平日里还有没有被其他人欺负过？是否受过别的委屈？”顾锦行问。
两名小厮互相看了一眼，望着顾锦行，皆是一副欲言又止的神色。
顾锦行看出了他们的犹豫，便说：“有话且说就是，你们平日照顾安鸿和安飞也算尽心，不管发生过什么，我都不会怪你们！”
有了顾锦行的承诺，两名小厮就像吃了定心丸一样，便竹筒里倒豆子，把一些顾锦行从不曾知道的事情抖落了出来。
“有一回，四少奶奶训斥两位小公子，说……说……”小厮嗫嚅着。
三房陆氏的嫡子严江，在侯府排行第四，半年前刚成亲，娶的是礼部尚书薛大人家的嫡幼女。
在德昭二十二年的选秀中，薛家嫡长女被德昭帝选入后宫，并得到了德昭帝的宠爱，又诞下了十皇子，被封为和妃。
薛家嫡幼女相中严江后，就进宫去求了长姐，和妃又去求德昭帝。和妃有宠，德昭帝当即就让人传旨赐婚。
薛氏性子骄横泼辣，连陆氏也有些发怵。若不是圣旨赐婚难违，陆氏也是真心不想要这个儿媳妇。
“四少奶奶说什么？”顾锦行看着小厮。
小厮低垂着头，不敢看顾锦行，吞吞吐吐好不容易才把话说全：“四少奶奶说小公子有娘生没娘养，在侯府白吃白喝打秋风……”
“别的还有吗？”顾锦行险些把肺气炸。
“还有一回，两位小公子在花园里面玩，碰巧四少奶奶经过，四少奶奶的丫鬟嫌两位小公子挡了道，动手拧小公子的耳朵，奴才苦苦求情，她们才放了小公子。”小厮的声音越说越低，不敢看顾锦行。
“这些事你们为何不告诉我？”顾锦行寒着脸问。
小厮“扑通”跪下，一边磕头一边说：“奴才……奴才不敢说！四少奶奶威胁奴才，说要是奴才敢透露出一个字，就要发作奴才的家人！奴才的妹妹安儿在三夫人的院子里当差，奴才不敢……”