失宠的陈布雷从此以后更加压抑。他后半生的痛苦和矛盾，内心的复杂、挣扎不断地流露出来。1946年3月，他写信给外甥翁泽永说：“我自从脱离报界以来，就不能舒畅自如地用我的笔表达我所欲言。我事实上不过是一个记录生，最多也不只是书记生罢了。”他有时天真地还想做一个自由的记者，但他也明白回不去了。

蒋介石对他有知遇之恩，但蒋介石作为一个政治家，有时确实也是一介武夫，而文人最大的毛病就源于凡事太认真，心结过重。心结过重的文人陈布雷和一介武夫蒋介石共事，确实有一种秀才遇到兵的苍茫。他常在家人和挚友面前感叹，“为不懂文字的人写文章是人生最苦恼的事。”

自杀前一天晚上，陈布雷理完发随后又洗了个澡，换了一身干净整洁的衣裳，穿上一双新布鞋。在家中，他独自坐下来长叹一声，对女婿说：“永熙啊，我一生最大的错误就是从政，从政而不懂政，投在蒋公门下，于今悔之晚矣！永熙啊，政治，政治这个肮脏的东西不好弄，千万别卷进去……”

接着他又开始询问自己女儿现状，女婿告诉他，一切还不错。他又说，怜儿身体弱，要好好保养啊！得知女儿在著译，他说“做点著译，好，不要再去弄什么政治了，千万不要弄……”

那天晚上上楼前，陈布雷叮嘱说：“我今夜要赶写一些重要的东西，不见任何客人，电话也不接，一切改日再说。”

最后，还特地嘱咐：“今天你不用再上来催我睡觉，我写完东西自己会服安眠药的。”走到楼梯一半，回过头来再一次叮嘱大家说：“一定不要让人来打扰我，让我安静些！”

——“让我安静些！”这就是陈布雷生前留给世人的最后一句话。

第二天上午，人们发现时，陈布雷早已吞下一百多颗烈性安眠药，它的毒性足以置20几个人于死地……

多年以后，陈布雷的不幸延续到了他最放不下的女儿怜儿身上。陈布雷有7子2女，他以“正直平凡”四个字教导子女，他看透了政治的黑暗、官场的恶浊，因此严禁子女参与政治。在陈布雷众多子女中，二女儿陈琏的经历最具传奇色彩。陈琏出生之时，其母患产褥热去世。陈布雷将丧妻之痛推归于小陈琏，一天精神失常竟将哇哇啼哭的小陈琏塞进了痰盂。当惊闻哭声的家人们赶来相救时，陈布雷却疯狂地将陈琏扔往窗外，幸亏窗户外的篾棚托住了这个大难不死的女婴。清醒后的陈布雷得知自己的所作所为后，十分内疚不安，至此倍加疼爱陈琏，并当即为其取了乳名“怜儿”。

后来陈琏一度跟随父亲生活。陈布雷对女儿心怀愧疚，因此对她格外关爱。然而，陈琏选择了一条与其父分道扬镳的道路。1939年7月陈琏在高中期间加入了共产党。皖南事变后，宣布与家庭决裂。新中国成立后，陈琏任共青团中央少儿部部长。文革中她却被诬陷为叛徒和国民党的孝子贤孙，1967年11月19日，陈琏写下遗书，跳楼自杀，结束了才48岁的生命。

父女相隔19年，都是以自杀的方式告别人世，终究让人感叹不已。