海瑞等待朝廷的批复，久等不来，传来的都是坏消息。他心情十分烦燥。这时，家庭又发生变故。由于不堪婆母的冷淡，海瑞的夫人服毒自杀，而海瑞的妾因为受到海瑞的责备，也在当晚自缢而亡。
这件事又成了众人攻击海瑞的借口。他被说成是一个怪异的变态者，不合常情的疯子，不然，何以妻妾同时死在同一天？
皇帝原还想对海瑞换个位置让他发挥作用。这一来，只好同意高拱这些人的建议，把他降级，调一个最闲的差事让他干，高拱却连这样的闲差也不肯给他，让吏部搞了个“并职”的把戏，存心羞辱海瑞。海瑞在这种情况下，只有要求退休。他以为无论如何也会有人替他讲句公道活，谁知道，本章一上，马上批准。
海瑞同押旨前来的戴凤翔办理交接。他表示并不太在意个人去留，关心的是，能不能把他开始做，而且认为该做的事做完。但他看到，随着他交权，徐瑛马上被无罪释放，已退给农民的田被重新收回，乡绅们弹冠相庆，受冤者无助痛哭……他完全失望了！在留给张居正的信中，他为自己所做的事辩护，痛责“满朝诸公，尽妇人也！”但这又有什么用？
在百姓的哭声中，海瑞黯然掉头，踏上遥遥归路。
海瑞的信在朝廷引起大哗。连张居正也认为他太过分了。但他利用海瑞的信，在皇帝面前巧妙地参了高拱一本，使高拱丢失了相位。
数年后，皇帝以英年突然驾崩，张居正成为小皇帝完全信赖和依靠的首辅重臣，现在，他可以放手从事他的新政了。主掌吏部的戴凤翔因事去广东视察，张居正突然向他问起海瑞。戴凤翔猜度首辅的意图，决定转道海南，去看一看这个闲居的老臣。
海瑞在自己的草舍里接待了远道来的客人。母亲去世后，他一个人孤独而清贫地生活着，但草屋的墙上，悬挂的仍是他手书的“忠孝”两个大字，他对朝政仍十分关心，抛去他同旧日学生的恩恩怨怨，他问皇帝的起居，问首辅的健康，问新法的实行情况，最后，他把刚编定印出的自己的文集送给戴凤翔，还请他给首辅张先生捎去一本，同时附去一封辞意恳切的信，期望还能有为朝廷效命的一天。
