史弥远虽独居相位，也惧怕树大招风，况朝臣中对他独揽朝政，迫害济王，矫立理宗多有微言。虽理宗因感他拥立之功多加庇护，终究难得安宁。因而，屡次上疏乞归。晚年时，他想在家乡找一块好墓地作为归宿，不料竟引出一场风波，几乎使他遭受灭顶之灾。相传，史弥远为找墓地招集许多风水先生，最终看中了阿育王寺这块“八吉祥六殊胜地”。史弥远觉得很合心意，便下令在那年八月中秋节后拆寺建坟。正当阿育王寺和尚听到这个消息，急得如同热锅蚂蚁，阿育王寺方丈更是六神无主时，有个叫师范的小和尚说他有办法保护寺院。师范小和尚得到方丈允准，到了南宋都城临安。

在一个月黑风大的夜晚，在城门、宫墙、大街上都贴着这样一张诗单：“育王一块地，常冒天子气；丞相要做坟，不知主何意？”临安百姓对史弥远早已怨恨，见了诗单后便纷纷传言：“史弥远要霸占天子气，要谋皇篡位了。”消息传进皇宫，理宗素知史弥远为人，过去他能一手遮天帮自己坐上皇位，如今也难保史弥远不会篡皇位，便把史弥远宣进皇宫，查问此事。史弥远也怕皇上翻脸，不光富贵保不住，怕还有灭九族之祸。于是，赶紧撒谎道：“臣的坟墓早已做在东钱湖大慈山了，诗单无中生有，望万岁明察。”这样一来，阿育王寺被保留下来，史弥远的坟墓也真的做到东钱湖大慈山了。

绍定六年（1233年）十月，史弥远病重，才将他的党羽郑清之升为右丞相，结束了他独相二十六年的历史。次日以病危致仕，授两镇节度使，封会稽郡王，数日后去世，追封卫王，谥忠献。所赐谥号与秦桧谥号相同的忠献，并非完全是偶然的巧合，也许是讨论谥号的礼官们，认为史弥远就是与秦桧属同一类人物，因为这在当时是士大夫们的某种共识。著名文学家刘克庄，在一年多以后的端平二年（1235年）七月，给宋理宗的札子中，就公开将史弥远列为与秦桧一样的“小人”，指出“柄臣浊乱天下久矣……柄臣与其徒皆攫取陛下之富贵而去，而独留其大敝极坏之朝纲……小人恃智巧，君子恃天理、人心之正，而天与人又有时而不然，桧十九年、弥远二十六年而衍七十日，光（指司马光）九月，君子之难取必于天如此。”

由于史弥远一直倡导理学，史弥远死后不久，理学又被确定为南宋官方的统治思想，宋末及元代一些理学人士对之心怀感激之情。在元代理学人士参与修撰的《宋史》中，史弥远不仅没有被列入《奸臣传》，而且在《史弥远传》中也竭力进行粉饰，阴谋杀害韩侂胄被写成侠肝义胆，违反宁宗遗志非法扶立理宗也被写得名正言顺，至于降金乞和则只字未提。对其罪恶，仅在传末用“废济王，非宁宗意……擅权用事，专任憸壬……用李知孝、梁成大等以为鹰犬，于是一时君子贬窜斥逐，不遗余力云”等数句贬语以终篇。