鳳凰元年，孫皓更加肆意，窮兵黷武，以致上下皆怨。孫皓出行，常帶鐵騎五萬，群臣俱恐。丞相萬彧、將軍留平、大司農樓玄，皆因直言進諫而被殺害，前後十餘年，殺忠臣四十餘人。

羊祜見孫皓失德，上下離心，伐吳天時已現，乃上表洛陽。其表略曰：“夫，運數雖天所授，然功業必因人而成。今江淮之險不如劍閣，孫皓之非過於劉禪，吳人之困甚於巴蜀，大晉國力強於往時。若不於此際蕩平江南，再陳兵相持，使四海不一，天下不寧，誠否天意也。”司馬炎見表，即欲興師。賈充、荀勖、馮紞三人諫曰：“孫皓雖失德，士民雖有怨，然其國中未生變，一旦我大兵南下，其必一致相拒，反使其上下同心。倘久戰不克，我兵必鈍，若無功而返，再圖江南，則無望矣。不如暫按甲兵，待吳自亂，那時我不費吹灰之力，馬到即平，豈不美哉？”晉帝聞言，乃罷伐吳之意。羊祜聞之嘆曰：“世上不如意事，十常八九，今天予不取，大可惜哉。”

咸寧四年，羊祜入朝，奏請歸鄉養病。司馬炎曰：“卿將去，有何安邦良策，以教寡人？”羊祜曰：“孫皓暴虐已甚，今可一戰而克，若皓忽歿，更立賢主，則江南半壁，非陛下所能圖也。天時既與，即當取之，否則，一旦天機錯失，悔之莫及。”帝驚曰：“卿今提兵伐吳如何？”羊祜曰：“臣年老多病，不堪此任，陛下另選智勇之士可也。”遂辭晉帝歸鄉。羊祜多年以來，所得俸祿，或賞賜軍士，或贍給九族，家中清貧，並無餘財。晉帝聞之，甚是感嘆。

是年冬月，羊祜病重，晉帝親臨南城縣問安。羊祜淚下曰：“我主大恩，臣萬死不能報矣！”司馬炎濺淚曰：“朕，深悔未用卿伐吳之策，今誰可續卿，獨當荊州一面？”羊祜曰：“臣將辭世，思進餘忠，已修下薦表，今聞御駕親蒞，又令人焚之。右將軍杜預，可當此大任。”晉帝曰：“舉善薦賢，自古美事，卿何故薦人於朝，又自焚薦表，不使人知耶？”羊祜曰：“拜官公庭，謝恩私門，臣所不取。”言畢而亡。

司馬炎大哭回京，素服三日，敕命追封羊祜為太傅、巨平侯。羊祜享年五十八歲，南城百姓，罷市舉哀。江南守邊將士，聞皆遙祭。襄陽人，因羊祜昔日常遊峴山，乃於此山建廟立碑，四時祭祀。往來之人見碑文，無不淚下，世人名之曰“墮淚碑”。

後，唐人胡曾有詩曰：曉日登臨感晉臣，古碑零落峴山春，松間清露頻頻滴，恰似當年墮淚人。

晉帝聽羊祜之薦，拜杜預為鎮南大將軍，都督荊州事。杜預，老成練達，好學不倦，坐臥常手持《左傳》，時人稱為‘左傳癖’。自受詔命，於襄陽撫民養兵，準備伐吳。

吳國丁奉、陸抗皆故，吳主孫皓更無忌憚。每宴群臣，皆使大醉，又令黃門郎十人，各奏眾官醉言過失，或剝其面，或挖其目，致使國人大恨。

益州刺史王浚，上疏伐吳。疏略曰：“孫皓荒淫凶逆，吳楚離心，賢愚俱怨，伐吳天時已至，若一旦皓死，更立明君，則難圖矣。臣造舟七年，日漸腐朽，世事無常，願陛下勿失天予之機。”晉帝覽疏，謂朝臣曰：“王浚之論，與羊祜不謀而合，朕決意伐吳。”侍中王渾奏曰：“臣聞，孫皓欲北征，軍伍已備，聲勢正盛，不如暫緩一年，待其兵疲，乘勢伐之。”司馬炎遂降詔，按兵不動。

一日，司馬炎與秘書丞張華，圍棋消遣，忽杜預表至。表略曰：“凡事，以利害相較。度今伐吳，利可一統天下，害不過無功。自秋以來，我伐吳之勢頗露，孫皓已恐，今我按兵，倘孫皓完修諸城，遠遷其民，則城不可攻，野無所掠，明年之計徒然也。”司馬炎覽表，左右難決。張華起身奏曰：“陛下聖武，國富民強，孫皓暴虐，民怨國敝，今若伐之，一戰可平，陛下勿憂。”司馬炎喜曰：“卿言洞然，朕無疑也。”即升殿，大下詔命：鎮南大將軍杜預出江陵，平南將軍胡奮出夏口，建威將軍王戎出武昌，安東將軍王渾出橫江，鎮東大將軍、琅琊王司馬伷出塗中，龍驤將軍王浚、廣武將軍唐彬浮江東下；賈充為大都督，假節鉞統領六路大軍；冠軍將軍楊濟為副都督，出屯襄陽。咸寧五年十一月，大舉伐吳。

訊息報入建業，孫皓大驚，急召丞相張悌、司徒何植、司空滕循商議。張悌奏曰：“諸路中惟荊楚杜預勢大，可令車騎將軍伍延為都督總鎮江陵，其餘各路，沿江守軍可憑險拒之，臣再領左將軍沈瑩，右將軍諸葛靚，屯兵牛渚磯以防不測。”孫皓遂下詔，調兵遣將。

諸事畢，入後宮，孫皓面帶憂色。寵臣岑昏問其故。孫皓曰：“晉兵大舉進犯，各路雖已有兵馬迎拒，然王浚率兵數萬