咸宁四年（278）冬季，羊祜生病了。这场病来得很凶，自己的身体自己最了解，羊祜预感自己时日无多，便亲自到洛阳觐见司马炎，陈述伐吴大计。到洛阳后，司马炎特批羊祜坐软轿到金銮大殿，还免去叩拜之礼，叫他直接落座。羊祜当面向司马炎报告进攻东吴的详细计划，司马炎表示完全赞同。

因为病重，羊祜行动不便，司马炎又派中书令张华到他府上请教伐吴的具体战略，羊祜道：“孙皓的暴虐已经疯狂到了极点，只要我们大军压境，就能不战而屈人之兵。万一孙皓死去，吴国出现明君，全国上下人心一致，我们纵然有百万雄师，想要攻过长江也不太可能，这将是后患啊。”说罢，他又指了指张华，说：“能帮我完成这个志愿的，就是你了！”

张华回去后向司马炎禀报，司马炎思来想去，还是打算让羊祜带病出征，哪怕是躺在车上指挥作战。羊祜道：“讨伐东吴并不是非要我去不可，功名利禄对我来讲也已不重要。但平灭东吴之后，还请陛下多多费心思虑，希望您任命管理这块土地的官员时，要慎之又慎。”

咸宁四年（278）冬季，羊祜病逝，终年五十八岁，谥号“成”，一代名将就此谢幕。羊祜去世前，推荐杜预接任自己的职务，司马炎同意了。

羊祜为人清廉节俭，吃穿用度都很简单，得到的俸禄一部分资助了族人，一部分赏赐了军士，家中没有多余的财产。他女婿曾经劝他置办一些产业，以备告老还乡之用，羊祜却说，你们知其一不知其二，一旦有了私心就容易背叛公义，你们应该明白我的心意。羊祜一生深得司马昭、司马炎父子信任，先后担任多个重要领导职务，不过他不是个会自恃功劳的人。他提出的所有关于改革、谋略和用人方面的建议，草稿都会被拿去烧掉，当时的人们都不知道是他草拟出了这些内容；被他推荐后当官的人，也不知道究竟是谁推荐的自己。羊祜经常说：“朝廷发布了官员任命状，官员却到推荐他的人家门前去拜谢，以至于形成门第现象。我可不敢这么做。”

羊祜去世后，司马炎穿素服亲自前往吊唁，哭得十分伤心。这一天非常寒冷，司马炎的鼻涕眼泪都粘在了胡须上，结成了冰。荆州百姓听到羊祜去世的消息，男女老少都痛哭流涕，店面自动关门歇业为他哀悼。就连敌国吴国边境将士也都难过落泪了。羊祜留下遗嘱不许把南城郡侯的印信放入棺材随葬，对此司马炎特别下诏：“羊公几年来一直拒绝郡侯的封爵，志不可夺。但他虽身死而谦让尚存，这样的操行更能激励后人。现在恢复他县侯的爵位，以彰显他高尚的品德。”司马炎在靠近皇陵的地方选择了一块墓地埋葬羊祜。

羊祜喜欢游览岘（xiàn）山（今湖北襄阳市南），襄阳的百姓就在岘山上面建庙立碑纪念他。看到纪念碑的人都会忍不住滚下热泪，杜预便把石碑命名为“堕泪碑”。唐代大诗人孟浩然有诗道：“人事有代谢，往来成古今。江山留胜迹，我辈复登临。水落鱼梁浅，天寒梦泽深。羊公碑尚在，读罢泪沾襟。”

羊祜文笔很好，所写的文章及《老子传》都流传于世。