公元321年，晋元帝任命戴渊为征西将军、都督司兖(11)豫并雍冀六州诸军事、司州刺史，出镇合肥。祖逖认为戴渊虽有才望，却无远见卓识；而且自己辛苦收复河南，却仍不得朝廷信任，心中甚为不快。不久，祖逖又听闻王敦跋扈，朝廷内部矛盾日益尖锐的消息，祖逖担心内乱爆发、北伐难成，以致忧愤成疾。

祖逖虽患病，但仍图进取，抱病营缮虎牢城。虎牢城北临黄河，西接成皋，地理位置非常重要，他担心城南没有坚固的壁垒，易被敌军攻破，特意派从子祖济率众修筑壁垒。但壁垒尚未修成，祖逖便在雍丘病逝，时年五十六岁。

祖逖死后，豫州百姓如丧父母，谯梁百姓还为他修建祠堂。晋元帝追赠祖逖为车骑将军，并命其弟祖约接掌其部众。后赵(12)趁机入侵河南，祖约难以抵御，退守寿春。祖逖收复的河南大片土地最终又被后赵攻陷。

相关链接：

“中流击楫”典故的由来

祖逖北伐时曾渡长江，当船至中流时，他眼望面前滚滚东去的江水，感慨万千。想到山河破碎和百姓涂炭的情景，想到困难的处境和壮志难伸的愤懑，豪气干云，热血涌动，敲着船楫朗声发誓：“我祖逖如果不能使中原清明而光复成功，就让我像大江一样有去无回吧！”“中流击楫”由此得名，后人便用“中流击楫”比喻立志奋发图强。