一晃吕无病在孙麒别院住了好几天，除了孙麒，没人知道别院多了一人。孙麒也在考虑，总让吕无病这么躲着不是个办法，但要是就这么带她回家也不妥当，会招人非议。
孙麒想到，他有个姨母，恰好就住在这附近，离别院只隔着十几户人家，孙麒为了让吕无病过明路，就同她商量，让她暂时先去姨母家，然后他再去姨母家接她。
吕无病也很赞同这个法子，说道：“姨母妾很熟，不用你先过去告诉，我这就过去。”
孙麒点头同意，起身将吕无病送出门，吕无病也没从大门离开，翻墙走了。
孙麒的姨母是个寡居的老太太，天亮后她打开大门，一个女子居然就这么闪身从门外进来了，老太太连忙质问这女子是谁，怎么贸然就进来了，女子正是吕无病，她答道：“您外甥派我来问姨母好。公子打算回去了，因路途遥远，家里车马不够，就暂时将奴寄住在姨母家几天。”
老太太看女子举止得体，外甥确实也准备从别院回去了，也就信了女子的话，留下了她。
孙麒回到家后，假称他姨母有个婢女，打算送给他，就派了顶轿子去姨母家将吕无病抬了回来。
吕无病进了孙家后，孙麒的一应坐卧起居全都是由吕无病一手操办，吕无病为人细心灵巧，吕无病对她越发喜爱，后来，索性将吕无病纳为了妾室。
自从孙麒的原配蒋氏故去后，一些世家大族纷纷上门想和他结亲，但孙麒一概都不答应，后来纳了吕氏，看孙麒这意思，大有要和吕无病白头到老的意思。
吕无病得知孙麒拒了所有的结亲后，总是苦口婆心的劝他另娶，孙麒终于被吕无病劝动，后来聘娶了一位许姓女子。
续弦许氏进门后，孙麒对吕无病的宠爱依旧，丝毫没有改变。许氏很贤惠，她一点也不争风吃醋，吕无病也很懂事，对许氏十分恭敬，伺候得非常周到，因此，这主母和妾室之间相处得十分融洽。
许氏后来生下一个儿子，取名阿坚，吕无病对这个孩子十分爱护，对他简直如同自己亲生的般。
阿坚长到三岁，自从离了乳母断了奶后，就一直和吕无病睡在一起，许氏喊都喊不走。
没多久，许氏不幸染病身亡，临终前，她嘱咐孙麒：“无病最爱我儿阿坚，等我死后，让阿坚认她做母亲也可以，就算是把无病扶正也可以。”
孙麒安葬好许氏后，打算依照许氏的遗言，将吕无病扶正。他将这事报到族中，但却遭到族中的反对，毕竟吕无病奴婢出身，不配做孙家主母。吕无病知道后，也坚决推辞，说自己不能做孙家主母。
孙麒见族中和吕无病都不同意，吕无病扶正这件事也就这么算了。
县里有个王天官，有个女儿新守了寡，他见孙麒丧妻，就托人上门来说亲。
孙麒并不想续娶，他觉得余生有吕无病陪在身边就足够了，况且儿子也有了，对祖宗也有了交代。然而，王天官却一再派人来说亲，媒人鼓动她那三寸不烂之舌，在孙麒面前说王氏如何如何美貌，孙氏宗族得知后，他们想仰仗王天官的势力，也极力怂恿孙麒答应婚事。
孙麒禁不住这么多人的鼓动，答应了下来，将王氏娶进了门。
王氏果然长得明艳动人，但王氏娇生惯养长大，为人很是骄纵，生活也十分奢侈，衣服器物多穿几遍、多用几次就厌了，动不动就扔了或毁掉，孙麒对王氏很是喜欢，也就不忍对她多加责怪，任由王氏折腾。
王氏善妒，进门几个月，她擅宠专房，吕无病在她面前，不论是哭是笑都是错，当然，孙麒再也没能进过吕无病的屋子。
王氏还经常因为吕无病迁怒丈夫，和孙麒闹过好几场，孙麒不堪其扰，只好本着惹不起躲得起的原则，时常一个人独宿。
王氏因此更加恼怒，更加借故在家里吵闹，孙麒烦不胜烦，干脆随便找了个借口，避到京都去了。