張法順說：“桓玄剛得到荊州，人心未附。不如趁這個時候以劉牢之為前鋒，你親帶大軍進攻他，這樣勝算會很大。不然等桓玄羽翼豐滿了，那時就難勝他了。”司馬元顯恨透了桓玄，便請下詔書，宣佈了桓玄的罪行，討伐桓玄。司馬元顯被任命為驃騎大將軍、征討大都督、都督十八州諸軍事，以劉牢之為前鋒都督，以司馬尚之為後軍統領。

大軍出發的時候，張法順對司馬元顯道：“劉牢之性格反覆無常，如果他萬一陣前倒戈，我們將全軍大敗。現在京城中有很多桓氏的子弟，請您命令劉牢之把他們都殺了。這樣劉牢之就不可能投奔桓玄了。如果劉牢之不願意，說明他還想給自己留反叛的後路，那你就先把劉牢之殺了，再另派別人為先鋒將軍。”司馬元顯既捨不得劉牢之，又不願意讓劉牢之去殺桓族子弟，其實還是怕劉牢之不殺桓族子弟，自己下不來臺，最後沒有聽從張法順的話。

桓玄見司馬元顯帶大軍來攻，便打算退守江陵。卞範之說：“司馬元顯不過是一個乳臭未乾的小兒，劉牢之也不過是一個無威無信的戰將，如果我們兵至京城，可以打擊敵人的信心，握八分勝算。哪兒有請敵入境，自取窮困的道理？”

桓玄於是決定轉守為攻。他留桓偉守江陵，搶先發兵，在姑孰駐軍，派郭銓、苻宏、馮該等人去攻歷陽。苻宏就是那個投奔東晉的苻堅的太子，現在已成桓玄手下一員猛將。襄城太守司馬休之固守城池。桓玄的軍隊切斷洞浦道路，焚燒豫州舟艦，收降武都太守楊秋，大敗並生擒司馬尚之，繼而再敗司馬休之，司馬休之棄城逃回京城。桓玄又破豫州，逼近溧洲。

司馬元顯急令劉牢之出戰。劉牢之遂率北府兵進駐溧洲，剛到溧洲不久，就和前來攻城的桓玄前鋒軍打了一仗。劉裕先帶兵出戰，擊敗楊秋軍隊，殺死楊秋。接著北府軍的何無忌，劉毅，衝入桓軍隊中廝殺，桓玄軍當即敗退。

劉牢之本當乘勝追擊，但卻收兵回營。劉裕、何無忌、劉毅都向劉牢之請兵去追，劉牢之沒有同意。在這關鍵的時候，劉牢之放了桓玄一馬，這說明劉牢之已經有了私心。

桓玄一直退兵到姑孰才敢駐軍，因為畏懼北府兵，不敢進兵。正在進退兩難間的時候，軍中從事何穆道：“劉牢之是我的外甥，昨日他打敗了你卻不追擊，其中必有緣故。我願去他軍中，說服他來投降。”桓玄遂派何穆去見劉牢之。

何穆見了劉牢之說道：“我前日見你陣前大勝，不但不為你慶賀，卻為你擔憂。所以我冒死前來，和你說說我的肺腑之言。”劉牢之問：“我有什麼可擔心的？”何穆道：“自古亂世之中，君臣能夠和諧相處的只有燕昭王和樂毅、劉玄德和孔明，然而那也是他們大業未成而早逝，如果一統天下之後，難保樂毅和孔明不遭殺身之禍。古語道：‘鳥盡弓藏，兔死狗烹。’凡是功高震主，立下不賞之功的勳臣，沒有一個能夠保全自己的。越國的文種，秦國的白起，漢國的韓信，他們所追隨的都是明君，可是下場都很慘。何況你現在的主公卻一個是兇殘的司馬元顯，一個是愚笨的司馬德宗呢？像你現在的形勢，如果戰勝，元顯會猜忌你，恐怕全家都逃不了死罪；如果戰敗了，桓玄也不會饒恕你，根本沒有全身而退的道理。不如換個主公，倒可以長保富貴。”

劉牢之對桓玄和司馬元顯兩個人都不感冒，他有自己的小九九。他聽了何穆的一番話後，卻有了另一番想法：他想先借桓玄的力量除去元顯父子，然後再伺機除去桓玄，最終自己把持朝政。其實這個小九九，在他戰敗桓玄時就已經開始在盤算了。

劉牢之按照自己盤算好的想法，把自己的將軍寨移到岸上，經桓玄讓出水路。劉牢之的兒子劉敬宣勸說父親道：“現在國家衰弱，危在旦夕，您要讓桓玄入京的話，那桓玄就會成為當年的董卓。國家的命運，就掌握在你和桓玄的這次較量當中啊。”

劉牢之道：“我今日取桓玄易如反掌，但平定桓玄之後，我卻不能奈何元顯。”這是劉牢之的心裡話，但他並沒有掂量掂量自己的威德和地位。劉牢之打仗很在行，但政治上的事情並不是光靠打仗打得好就能解決得了。不管如何，劉牢之已經認定桓玄入京對自己只有好處沒有壞處，於是派何穆回去告訴桓玄放心進軍，他不會管這件事了。

卞範之聽了對桓玄道：“此是劉牢之慾借你的力量除掉司馬元顯。但事成之後，恐怕他會反過頭來對付你。”桓玄聽了，便有了除掉劉牢之的想法。當然，他表面上並不露出來，第二日桓玄大軍安全透過溧洲，並向劉牢之表示了感謝，然後直到新亭。

司馬元