海瑞的家庭生活存在著矛盾和衝突，他由寡母謝氏帶大，34歲之年尚同母睡一房，婆媳之間經常不合，明代沈德符寫《萬曆野獲編•補遺》記載，房寰曾經疏攻海瑞「居家九娶而易其妻」「已耋而妻方艾」，甚至在花甲之年，還納了兩位美妾，以至引起妻妾相爭，有二人同日自縊。又先後將長房潘氏、二房許氏休棄，逐出家門。兒子海中行死得不明不白，女兒因為吃小童送的餅，受海瑞嚴責，絕食七日後竟活活餓死。
　　黃仁宇，《萬歷十五年•第五章海瑞——古怪的模範官僚》：「戴鳳翔竟說，7個月之前，海瑞的一妻一妾在一個晚上一起死去，很可能出於謀殺。儘管海瑞答辯說他的妻妾在陽歷8月14日自縊，而妻子則在8月25日病死，但是給事中的參劾已經起到了預期的效果，不論真相如何，許多人已經懷疑海瑞確系怪僻而不近人情，所以才會發生這樣的家庭悲劇。
（我在）