解缙的失宠，还是源于他拥立太子的态度。

世子朱高炽被立为太子储君后，朱棣的二儿子朱高煦被封为汉王，并将他的藩地定在云南。朱高煦闻讯后，恼怒地说：“我有什么罪，把我贬斥到万里之外，我不去！”朱高煦知道解缙一直在为朱高炽说话，因此对他恨之入骨。

自立朱高炽为太子后，朱棣心中总觉得对不起二儿子朱高煦，因之对他的宠爱超过以往。朱高煦不肯去云南，他也就听之任之，并让他待在身边，参与国家大事，受到的待遇超过太子。眼见此情，大臣们都颇感忧虑，但不敢说出来。解缙不改愣头青的脾气，他向朱棣劝谏说：“陛下，厚汉王而轻太子，这是引发争端啊！”朱棣听了很不高兴，认为这是离间他们骨肉之间的感情，对解缙开始冷淡。

永乐五年的二月，有官员上表弹劾解缙，说他于上年的廷试中阅卷不公道。而这时朱高煦也趁机在父皇面前进谗，说解缙在外头炫耀自己拥立太子的功劳，故意泄露宫中的机密。朱棣听罢，将解缙贬为广西参政。

解缙的被贬，在朝廷中算是一件大事。欣赏他才华的人为之惋惜，而忌恨他的人莫不弹冠相庆。曾被他在密信中讥刺过的礼部郎中李至刚，趁机给朱棣上书，揭发解缙对贬出京城心怀不满。朱棣看到这封奏章立刻批示，将尚在赴任路上的解缙再贬一次，从广西调到交趾，命令他在化州督饷，职务是化州参军。

解缙此去化州，路远山长，一去就是四年多，其间没有回过京城。直到永乐九年的六月，他才得到机会到南京奏事。此时，朱棣正好北征，解缙便前往宫中拜谒行监国权力的皇太子。汉王朱高煦知道这件事后，便在父皇面前进谗说：“解缙趁皇上离京，私自从化州跑回来拜见皇太子，他背着皇上见太子，究竟想干什么？”朱棣听罢，联想到当年解缙拥立太子的坚决态度，顿时震怒，立即动了逮捕解缙的念头。

恰好在这个时候，又发生了一件事。

解缙来京奏事返回化州时，正好翰林院检讨王偁也因罪贬谪交趾。两人得以同行，他们由江西取道广东，一路上察看山川。感到山川险峻交通不便，解缙忽发奇想，觉得应该开凿赣江，用水路连接广东、江西的交通。这件事如果放在别人身上，也只是想想而已，最多在酒席上与朋友们谈谈也就罢了。但解缙却认为这是一条体现朝廷功德的锦囊妙计，于是又提起笔来，给永乐皇帝上书一封，请他圣宸独断开凿赣江。

这道奏章送到朱棣手上，本来就在气头上的他，更是暴跳如雷，他认为解缙是在用妄语欺他。让流向鄱阳湖的赣江翻越大庾岭流向广东，这不是妄语又是什么？朱棣毫不迟疑，下旨将解缙捉拿来京。

解缙押到南京打入诏狱之后，立即被严刑拷问。内容有两个：一是为何要私下见皇太子；二是为何要用妄语欺侮皇上。

在解缙看来，这本是平平常常的两件事，没想到竟能酿成巨祸。这位曾经风光无限的皇帝近臣、太子的老师，哪里受到过刑具的残酷摧残？每次用刑，免不了胡言乱语。凡他提到过又被朱棣视为他朋友的人，都被统统抓起来。一时间，受到牵连而身陷囹圄的官员有二十多个。其中，有六人“病”死狱中。

解缙命大，没有被折磨致死，却在大牢里无限期关押。

到了永乐十三年（1415）的正月，解缙已在狱中过了五个春节。却说第五个春节刚过，正月十九日，朱棣下旨京内外各衙门，蠲免以前所拖欠的各种赋税，将士军官犯罪羁押的全部赦免。

得到这道敕令，管理诏狱的锦衣卫都督纪纲便向朱棣呈上羁押囚犯的名单。朱棣审阅名单时发现了解缙的名字，便轻描淡写地问了一句：“解缙还在呀？”俗话说听鼓听声，听话听音。纪纲一下子听出了朱棣的弦外之音。他回到值房，摆了一桌酒席，吩咐手下将解缙请来吃酒。解缙已听到了朱棣要大赦犯罪官员的消息，现在又见平日狠如豺虎的纪纲满脸巴结地请他喝酒，本来蔫耷耷的精神顿时又高涨了起来。心怀鬼胎的纪纲趁机猛劝，酒过三巡，解缙便烂醉如泥。斯时天降大雪，纪纲命人脱去解缙的衣服，拖到院子里用积雪掩埋。不一会儿，解缙便身体僵硬而死。

第二天，解缙的死讯传到朱棣的耳朵里，朱棣又下令抄没解缙的家产，将他的妻、子以及宗族流放到辽东。

这一年，解缙四十七岁。