整天形影相吊，茕茕孑立，非常烦闷无聊。时间一长，他再也无法忍受这种孤独、寂寞、毫无趣味的生活，便一赌气回了家，再也不去内阁上班。
前来请示、办事的官员一个个吃了闭门羹。仔细一看，却见阁门紧闭，铁锁竟生了厚厚的一层锈，十分惊讶。便迳奔叶向高私宅去请示、汇报，叶向高就在家中办公。
自从叶向高上任以来，万历皇帝基本是满意的。他老成持重，办事沉稳老练，颇得众官吏赞誉。又兼他资格较老，万历对他特别尊重。
叶向高同申时行、沈一贯这些老奸巨猾的官吏不同，常常提出一些切实中肯、整饬朝政的的建议。万历皇帝虽然表面上表示同意，但他提出的建议多不被采纳。为此，叶向高心中不满，多次上疏辞职。
他在一次辞职报告中写道：“今天下必乱必危之道，盖有数端。而灾伤寇盗，物怪人妖不与也。廊庙空虚，一也。上下否隔，二也。士大夫好胜喜争，三也。多藏厚积……四也。风声气习，日趋日下，不可挽回，五也。非陛下奋然振作，简任老成，布列朝署。取积年废弃政事，一举新之。恐宗社之忧，不在敌国外患，而在庙堂之上也。”
对叶向高如此中肯的话语，万历只当耳旁风，根本不予理会。同样，对群臣弹劾叶向高的章奏，亦扔废纸堆“留中”。
转眼间，叶向高这个光杆司令已经当了8年，他曾百余次上奏章，要求补充阁员，万历均置若罔闻。
万历4 1年,气愤至极的叶向高一连10天闭门不出，一口气写了1 0篇疏文，要求补选阁员，不然将辞职还乡。奏疏中，口气异常尖锐激烈，大有“最后通牒”之概。
这一下，万历皇帝可慌了手脚。他知道，朝中官员本来就少，缺额严重，万一叶向高这位“栋梁”之臣拂袖而去，朝中将更加混乱不堪。
无奈之中，万历只好找来叶向高荐举的阁员名单，经吏部考察后，任命方从哲、吴道南并为吏部尚书，兼东阁大学士，入阁预机务。至此，被各种事务缠得焦头烂额的叶向高这才算松了一口气。
然而，当时吴道南正在原籍厦门。自万历41年8月任命之后，吴道南就从家中出发，至第二年2月才到达京城。遗憾的是久久不能上任。
原来，明朝有个惯例，所有入朝任职的大臣，均须在早朝之时面谢皇上后方能莅任。然而，皇上早已有2 0余年不上朝，想见天颜势比登天。转眼一个多月过去了，吴道南不能面谢皇上，当然不敢擅自到任视事。
在这个节骨眼上，户部尚书赵焕上疏辞职。
叶向高看到赵焕的辞呈之后非常着急，便赶紧将地召进内阁，宽慰、开导他：“赵大人，你不能走哇。当今皇上罢朝，国事日见艰难，你看看，在朝的官员越来越少。
“那些因给皇上提过建议而被罢官的官吏重新起用遥遥无期，在朝办事的官吏们人心不稳，纷纷要求辞职。朝中大小官吏，互相攻击，如同水火不能相容。如此混乱的局面，对一个国家来说，决不是什么好事。
“我身为首辅，愿从今以后，同朝中官员齐心协力，捐弃前嫌，以天下之忧而忧，共同整饬朝纲。各要害部门的官吏，尽可施展自己的聪明才智，谋求治理国家大计。
“对言官们的无端攻击和议论，可以不予理睬。上疏言事，是言官们的天职。言官们说得对，咱们采纳；言官们说得不对．而执政官吏认准的事，只管放心大胆地去做，不要被言官们的议论掣肘。这样，我觉得朝政还是可以振兴的。
“赵大人，你同意我的话吗？”
赵焕对叶向高这番坦诚相见的肺腑之言十分感动，但又担心言官们不肯放过他。
叶向高宽慰地说：“今后，你看准的事，就大胆地干吧。有什么意外情况，有我顶着。”
赵焕这才答应下来。可是没过几天，十几名言官又联名上疏，攻击赵焕偏听偏信，处事不公，强烈要求罢免他的职务。这篇疏文，竟然隔着内阁送到了皇上手里。赵焕得知后，再也不肯留下，执意辞职回乡。
叶向高见赵焕不肯回心转意，只好任其辞官。
此时，皇上批准任命方从哲、吴道南入阁，这不禁使叶向高喜出望外。方从哲趁皇上召见之机，面谢皇上后，顺利地上任理事。
吴道南闲住达一个月之久，却不能上任。叶向高和方从哲很着急，向皇上请示时说起此事。万历皇帝命吴道南先多到任上视事，另找机会面谢皇恩不迟。
吴道南怏怏不乐地上了任。但总感觉名不正，言不顺，他的官职像是偷来的一样。
万历4 2年2月，慈圣太后驾崩。这位深明大义的女性，在万历亲政前，发挥了何等重要的教育和辅佐作用!她同张居正、冯保一起，苦心孤诣地培养、扶植、训导皇上，显示了母爱的巨大力量。
而在张居正死后，她便远离了官场和政治，到佛教那虚无飘渺的“极乐世界”去寻找安慰和幸福。她的不作为，客观导致、助长了朝政日非，奸邪横行。
如果她一直像当年儿子尚未成人时那样继续付出努力，朝政将比眼下整肃许多。虽然在一、两次关键时刻，她也发挥了举足轻重的作用（如立朱常洛为太子），但在别的政事上，却放弃了匡正和辅佐的历史使命，使万历皇帝无人管束，滑向了危险的深渊，最后竟到了无可救药的地步!性情严明、德高望重的太后啊，你为何要放弃这至高无上的责任呢？
这一切疑问，谁也不知道。
万历4 3年5月的一天晚上，大概在10点来钟，宫中除少数窗户亮着灯之外，大部分人已进入梦乡。这是个阴天，四周黑得伸手不见五指，四周静悄悄的阒无人迹。