伍虚被贬在广西百色当县令，吸取了教训，想升官靠别人是靠不住的，被贬此地还是轻的，没有罢官是很幸运的，做一个县令真是神仙过的日子，山高皇帝远，只要不犯大错，稳坐现在的宝座，还是没有问题的。
成问题的是次子伍无情，居然不跟他进桂。而身边的长子伍有义身体欠佳，得了什么痴呆症？请了不少名医医治，也治不好。虽然是县太爷，也不好强使儿子成家，成不了家，伍家不是会绝后吗？
就在这个时候伍无情回来了，顺便带了个儿子回来。这给伍虚打了个强行针，一下子兴奋了起来！当问起这小孩是不是伍无情的时，回答说是陆谦的，真是哭笑不得！
伍无情说：“不管是不是我生的，你尽管当爷爷就是了！”
伍虚说：“儿子啊！我与你陆叔叔尽管有矛盾，但不至于伤及家人，我们是同乡、同窗、同科，调换官位是我对不起人家，人家可没有对不起我！你伤及人家家人，叫我如何面对？”
“你不用面对，我走还不行吗？”
“刚回来又要走，你往哪里去啊？”
“这么大的一个中国，难道就没有我立足的地方？”
也就是说，伍无情在父亲面前露了一下，又悄悄地走了，到哪里去了不得而知。