之率參軍劉襲、諸葛求等直進渡水，臨陣斬成及其弟雲，又分兵斷其歸津。賊步騎崩潰，爭赴淮水，殺獲萬餘人，盡收其器械。堅尋亦大敗，歸長安，餘黨所在屯結。牢之進平譙城，使安豐太守戴寶戍之。遷龍驤將軍、彭城內史，以功賜爵武岡縣男，食邑五百戶。牢之進屯鄄城，討諸未服，河南城堡承風歸順者甚眾。

時苻堅子丕據鄴，為慕容垂所逼，請降，牢之引兵救之。垂聞軍至，出新城北走。牢之與沛郡太守田次之追之，行二百里，至五橋澤中，爭趣輜重，稍亂，為垂所擊，牢之敗績，士卒殲焉。牢之策馬跳五丈澗，得脫。會丕救至，因入臨漳，集亡散，兵復少振。牢之以軍敗徵還。頃之，復為龍驤將軍，守淮陰。後進戍彭城，復領太守。祅賊劉黎僭尊號於皇丘，牢之討滅之。苻堅將張遇遣兵擊破金鄉。圍太山太守羊邁，牢之遣參軍向欽之擊走之。會慕容垂叛將翟釗救遇，牢之引還。釗還，牢之進平太山，追釗於鄄城，釗走河北，因獲張遇以歸之彭城。襖賊司馬徽聚黨馬頭山，牢之遣參軍竺朗之討滅之。時慕容氏掠廩丘，高平太守徐含遠告急，牢之不能救，坐畏懦免。

及王恭將討王國寶，引牢之為府司馬，領南彭城內史，加輔國將軍。恭使牢之討破王廞，以牢之領晉陵太守。恭本以才地陵物，及檄至京師，朝廷戮國寶、王緒，自謂威德已著，雖杖牢之為爪牙，但以行陣武將相遇，禮之甚薄。牢之負其才能，深懷恥恨。及恭之後舉，元顯遣廬江太守高素說牢之使叛恭，事成，當即其位號，牢之許焉。恭參軍何澹之以其謀告恭。牢之與澹之有隙，故恭疑而不納。乃置酒請牢之於眾中，拜牢之為兄，精兵利器悉以配之，使為前鋒。行至竹裡，牢之背恭歸朝廷。恭既死，遂代恭為都督兗、青、冀、幽、並、徐、揚州、晉陵軍事。牢之本自小將，一朝據恭位，眾情不悅，乃樹用腹心徐謙之等以自強。時楊佺期、桓玄將兵上表理王恭，求誅牢之。牢之率北府之眾馳赴京師，次於新亭。玄等受詔退兵，牢之還鎮京口。

及孫恩攻陷會稽，牢之遣將桓寶率師救三吳，復遣子敬宣為寶後繼。比至曲阿，吳郡內史桓謙已棄郡走，牢之乃率眾東討，拜表輒行。至吳，與衛將軍謝琰擊賊，屢勝，殺傷甚眾，徑臨浙江。進拜前將軍、都督吳郡諸軍事。時謝琰屯烏程，遣司馬高素助牢之。牢之率眾軍濟浙江，恩懼，逃於海。牢之還鎮，恩復入會稽，害謝琰。牢之進號鎮北將軍、都督會稽五郡，率眾東征，屯上虞，分軍戍諸縣。恩復攻破吳國，殺內史袁山松。牢之使參軍劉裕討之，恩復入海。頃之。恩浮海奄至京口，戰士十萬，樓船千餘。牢之在山陰，使劉裕自海鹽赴難，牢之率大眾而還。裕兵不滿千人，與賊戰，破之。恩聞牢之已還京口，乃走鬱洲，又為敬宣、劉裕等所破。及恩死，牢之威名轉振。

元興初，朝廷將討桓玄，以牢之為前鋒都督、徵西將軍，領江州事。元顯遣使以討玄事諮牢之。牢之以玄少有雄名，杖全楚之眾，懼不能制，又慮平玄之後功蓋天下，必不為元顯所容，深懷疑貳，不得已率北府文武屯洌洲。桓玄遣何穆說牢之曰：“自古亂世君臣相信者有燕昭樂毅、玄德孔明，然皆勳業未卒而二主早世，設使功成事遂，未保二臣之禍也。鄙語有之：‘高鳥盡，良弓藏；狡兔殫，獵犬烹。’故文種誅於句踐，韓白戮於秦漢。彼皆英雄霸王之主，猶不敢信其功臣，況兇愚凡庸之流乎！自開闢以來，戴震主之威，挾不賞之功，以見容於暗世者而誰？至如管仲相齊，雍齒侯漢，則往往有之，況君見與無射鉤屢逼之仇邪！今君戰敗則傾宗，戰勝亦覆族，欲以安歸乎？孰若翻然改圖，保其富貴，則身與金石等固，名與天壤無窮，孰與頭足異處，身名俱滅，為天下笑哉！惟君圖之。”牢之自謂握強兵，才能算略足以經綸江表，時譙王尚之已敗，人情轉沮，乃頗納穆說，遣使與玄交通。其甥何無忌與劉裕固諫之，並不從。俄令葆宣降玄。玄大喜，與敬宣置酒宴集，陰謀誅之，陳法書畫圖與敬宣共觀，以安悅其志。敬宣不之覺，玄佐吏莫不相視而笑。

元顯既敗，玄以牢之為徵東將軍、會稽太守，牢之乃嘆曰：“始爾，便奪我兵，禍將至矣！”時玄屯相府，敬宣勸牢之襲玄，猶豫不決，移屯班瀆，將北奔廣陵相高雅之，欲據江北以距玄，集眾大議。參軍劉襲曰：“事不可者莫大於反，而將軍往年反王兗州，近日反司馬郎君，今復欲反桓公。一人而三反，豈得立也。”語畢，趨出，佐吏多散走。而敬宣先還京口拔其家，失期不到。牢之謂其為劉襲所殺，乃自縊而死。俄而敬宣至，不遑哭，奔於高雅之。將吏共殯斂牢之，喪歸丹徒。桓玄令斫棺斬首，暴屍