羊祜病情越来越重，他便推举杜预接替自己。不久病逝，享年五十八岁。当时天气寒冷，晋武帝穿着丧服悲伤地哭泣，泪水流到鬓须上，都结了冰。荆州人在集市上听到羊祜病逝的消息，没有一个不号啕痛哭的，集市贸易因而停止，哭声连成一片。吴国守边的将领知道他已经去世，也都伤心地为他哭泣。
羊祜死后两年，吴国被平定。大家都为皇帝庆贺。晋武帝拿着酒杯流着眼泪说：“这哪里是我的功劳，都是羊祜的功劳啊!”
羊祜这个人，或者说由他而引发的文化现象，耐人寻味。1700余年，人们一直在纪念着他，把对他的崇敬之情，倾注在山与碑、诗与歌之中。羊祜这个名字，凝聚着一种精神，这种精神曾经与我们所崇尚的优秀传统文化产生过强烈的共鸣。
孟浩然在其名篇《与诸子登岘山》诗中吟道“羊公碑尚在，读罢泪沾巾。”怆然而涕下的何止孟夫子一人。李白先后三次写过堕泪碑，在诗作中他发出这样的感慨：“且醉习家池，莫看堕泪碑。”“空思羊叔子，堕泪岘山头。”男儿有泪不轻弹，面对逝去的岁月和斑驳的残碑，如此众多的诗人抛泪岘首，可见，羊祜的事迹必撼人肺腑。