接下来的日子，叶昭也时不时地收到些叶府的消息。
老太太脾气日益暴躁，侍候的下人不敢到跟前去，叶知秋去劝过几次，无奈老太太说的话他听不明白，让丁婆子翻译，丁婆子早已对叶老夫人离了心，自是不肯将实情相告，装作害怕挨打的样子，蒙着脸不肯靠近老太太，只说也不清楚她说了什么。
叶知秋请过多个大夫，扎针吃药，也没见什么效果，大夫们的说法几乎一致，老太太年纪大了，只能慢慢养着，要想恢复如初是不太可能了。老太太听完更是生气，见到叶知秋就大声嚎叫，搞得叶知秋头痛不已。久病床前无孝子，时日久了，叶知秋也慢慢地少往后院去了。
叶子墨那里更惨，他手脚俱被打断，大夫也给接治过，但是伤得实在厉害，且后期叶子墨也没有好好护理，那双手双腿竟然看着是保不成了。叶知秋心痛之余，只能连连叹气。那叶子墨得知以后要永远瘫在床上时，大哭大闹，将身边可砸之物都抛掷出去，还把侍候的下人给打伤了。叶知秋去看过几次，每次都是被气得一肚子火回去，后来干脆也不管他了，全当没这个儿子，任他闹去。
府里下人都是惯会看人下菜碟的，见当家的人都不再理会他们，自然对叶老夫人和叶子墨也开始怠慢起来。
叶老夫人房里，丁婆子除了送饭，便让她一个人在屋内嚎叫，听得心烦了，也会喝斥她几句，后来实在忍不住，竟动手打了她几下。这打人但凡开了头有第一次，便会有第二次，加上叶知秋也不常过来，丁婆子胆子便大了起来，又想起小孙女的死，便会时常嘴里咒骂着老不死，又顺手掐上她一顿。
那叶老夫人刚开始还敢冲丁婆子还手，后来被饿了两三天，水米都不给她端进来，她方才气焰消了下去，不敢再与丁婆子对抗，最后更是看到丁婆子就吓得将脸埋进被子里去。丁婆子对外一直说老太太神智已糊涂，经常说些疯言疯语，说得多了，府里人都以为叶老夫人已得了失心疯，叶知秋更是连样子也不装了，只吩咐丁婆子照顾好她，自己再也没有踏足过老太太的屋门。
叶子墨日子更是好不到哪里，他将那下人打伤以后，那下人便心生报复，明里暗里对他也是阳奉阴违，渐渐地开始折磨起他来。嫌他吃得多拉得多，不耐烦侍候他，两三天才给他清理一次，弄得叶子墨竟然时常睡卧于屎尿里面，搞得房间里臭气熏天，谁也不愿意再上前去侍候他。
叶知秋训斥过几次，但是下人们都说怕叶子墨打他们，不敢进前侍候。叶知秋有次进去也被熏得退了出来。叶子墨见到他后就又在里面叫骂。叶知秋气得不行，看着下人们进去清理，下人们才不情不愿地蒙住口鼻前去清理。
只是当叶知秋离开以后，这种情形便又会发生，如此反复，搞得叶知秋也是心累，只好睁一眼闭一眼地凑合过着。
谁知那丁婆子有一天找了个机会过来，看到叶子墨那么个狼狈不堪的样子，心中竟然很是痛快，又吐了他一脸的唾沫，狠狠骂了一通方才作罢。回去以后也如法炮制来对待叶老夫人，叶老夫人身子更是行动不便，睡卧屎尿里的时间比叶子墨可是长多了。
于是，叶府这一个老的加上一个小的，让叶府上下都怨声载道，纷纷避之不及。
叶知秋对府里乱七八糟的事情，实在是应付不来，便让芳姨娘代为管理叶府。那芳姨娘已有七八月身孕，身子自是吃不消过多劳神，便让叶子兰从旁帮着些。只是叶府帐上已亏空许久，芳姨娘与叶子兰纵然是使出浑身解数，手头拮据，也难为维持，最后反而贴进去不少体己钱，搞得母女俩叫苦不迭，心生怨怼，只得再次缩减用度，将些下人卖了不少，勉勉强强地支撑着。
令叶子秋最为头痛的是，叶子墨欠的那些赌债，那些人依然三天两头地过来府上闹腾一番，每每叶知秋变卖些东西，拆东墙补西墙的，挤出些银钱来给了他们，方能打发离去，安宁个几日。
但紧接着老天便又给了叶知秋沉痛一击。御史大夫参了他一本，说他教子无方，其子小小年纪便流连于烟花之地，更是借债赌博，打架滋事，造成恶劣影响。燕文帝便又想起当日李宏声上的眼药来，当即割去叶知秋朝列大夫之职，降为一个从六品的小主事，连上朝的资格也没有了。
叶知秋欲哭无泪，踉踉跄跄地回到家，却又接到一道太子口谕，现在他所居住宅，乃林氏家产，林氏早已与叶知秋和离，此宅院要归还林家，限他三日内搬离，不得有误。
叶家这下子就如塌了天一般，一时丫头仆妇乱作一团，叶家秋慌乱中去林宅找叶昭，却知得叶昭跟着公主一同伴驾在皇家山林狩猎，要四五日方回，他又去找孙一明，孙一明更是闭门不见，只让下人带话，还是按着太子的口谕赶紧搬家的好。
叶知秋只得先在较为偏远地方租了一所小院，只带了些贴身的奴仆，全家匆匆忙忙地搬了过去。
因为手头紧张，租赁的那小院子甚是狭小，所用房屋有限，叶知秋与芳姨娘住了主屋，叶子兰在厢户住下，而叶老夫人和叶子墨，实在是无从安置，只得将二人放在后院柴房旁边的两间小屋子里，说是屋子，其实与柴房也差不多。
丁婆子和那侍候叶子墨的下人几次向叶知秋抱怨侍候不了叶老夫人和叶子墨，叶知秋刚开始拿出主子的架子斥责过两次，后来见二人铁了心地宁愿被他卖了也不想留下来侍候时，叶知秋只好软了下来，向这二人再三的说好话，央求他们先照顾着叶老夫人和叶子墨，待以后有合适的人时再给他们调换好点的差事，并许诺给多些的月例，丁婆子和那个下人才不情不愿地答应下来。
只是那些讨债的人不知怎么地居然也打听到他们搬家了，竟又找到这里，时不时地过来敲打一番，叶知秋被折磨地一下子苍老下去，本来四十余岁的人，竟然发出许多白发，看起来如五六十的老人了。