羊祜一直有灭掉吴国的心愿，在荆州做官时，就开始部署和训练军队，为有朝一日灭吴做准备。

公元276年十月，晋武帝封羊祜为征南大将军，此时羊祜的灭吴计划已经筹备了七年。晋军兵强马壮，吴国大将陆抗已经病死，吴国君主孙皓民心尽失，千载难逢的机会终于来了。于是羊祜上表晋武帝，请求立刻对吴国发起进攻。

晋武帝非常支持羊祜的建议，但很多大臣都表示反对。他们觉得当务之急应该先平定西北地区的鲜卑人叛乱，进攻吴国势必会分心。听到这种说法，晋武帝又忍不住犹豫起来。

羊祜坚决地再一次上表说明利害关系：平定鲜卑族叛乱和攻打吴国并不矛盾，如果一举击败吴国，鲜卑人势必不敢轻举妄动，边关反倒会平静下来。

无论羊祜怎样言之凿凿，晋武帝就是犹豫不决，朝中的大臣也难以被说服，羊祜悲伤地说：“上天送给我们这么好的灭吴机会，我们却白白放过，我们的子孙后代是会谴责我们的！”

公元278年，怀着对伐吴的耿耿心愿，病入膏肓的羊祜再一次上表晋武帝，请求伐吴。这次终于打动了晋武帝，但羊祜却身染重病。羊祜知道自己已经不行了，临终前举荐了大将杜预接替自己的职务。同年十一月，羊祜去世，他的继任者杜预在后来的灭吴计划中大显身手，也算替羊祜完成了心愿。

相关链接：

羊祜与堕泪碑

羊祜去世时，晋武帝身着素服放声大哭，因为天气寒冷，晋武帝的鼻涕眼泪都冻在了胡子上。荆州的百姓们听说羊祜的死讯后，纷纷前来吊唁送葬，连东吴的将士们也为这位仁义的晋国大将悲伤不已。羊祜去世两年后，晋军终于打败了东吴，晋武帝想起羊祜忍不住流下眼泪，说：“这都是羊祜的功劳啊！”为了纪念羊祜，老百姓们在羊祜生前最喜欢的岘山上立碑，年年祭祀。因为一看见羊祜的碑人们就忍不住落泪，这块碑也得了“堕泪碑”的名号。