陳唐、陳謝兩兵團抓住這個有利時機，果斷地發動了洛陽戰役。3月7日，參戰部隊冒雨突然行動。右路陳唐兵團第八縱隊連夜插向洛陽以東，於翌日拂曉襲佔黑石關要隘，準備阻擊胡璉、孫元良西援：其第三縱隊於當夜進抵洛陽以東及東南，準備攻城。左路陳謝兵團第九縱隊於8日凌晨襲佔新安、澠池，阻擊裴昌會兵團可能的東援，第四縱隊於當夜進至洛陽以西以南，協同華東野戰軍第三縱隊形成了對洛陽的包圍。9日黃昏開始攻擊。經5晝夜激戰，於14日攻克堅固設防的洛陽城，全殲守軍第二○六師近2萬人。俘虜少將師長邱行湘。

洛陽頭炮聲驟起，蔣介石急令鄭州孫元良和漯河胡璉火速援救。時值豫西山區春雨茫茫，胡璉兵團跋涉於狹路和泥濘之中，飽受風寒飢疲之苦，士兵叫苦不迭。孫元良是國民黨軍隊裡出名的儲存實力“專家”，他前怕解放軍在黑石關設夥，後怕鄭州空虛有失，只派出小部隊向西虛張聲勢。11日，蔣介石聞報洛陽東門失守，飭各路援軍加速行動。胡璉率整編第十一師強行軍，但在登封一線遭到解放軍阻援部隊的節節抗擊，至16日晚才進抵洛陽南郊的伊河岸邊，不過為時已晚。胡璉企圖連夜組織渡河，對洛陽實施包圍。

怎奈連日大雨，伊水暴溢，渡河器材無著。經通宵折騰，胡璉未能渡過一兵一卒。當時任整編第十一師第十一旅旅長的王元直，在日記中發出這樣的哀嘆：“伊、洛兩河在洛陽附近，原可隨處徒涉，不料近日來天雨，山洪暴發？？今年系特殊例外，天意欲失洛陽以助共軍，豈人力能為！”

洛陽戰役一打，中原敵軍調動頻繁、處處被動，原有的戰略佈局被打亂。

為擺脫國民黨軍增援部隊的合圍，解放軍於17日主動撤離洛陽。當國民黨報紙吹噓“國軍勁旅克復洛陽”時，所得到的不過是一座空城。4月5日，陳謝兵團再度攻佔洛陽，殲敵整編第四十七軍4600餘人。洛陽從此回到人民的手中。

整編第十一師北上增援，平漢路南段敵情緩和，劉伯承、鄧小平本擬乘勢舉行阜陽戰役，以“吸打援敵”的戰法，調動張軫兵團於淮西，爭取在運動中殲其一部。儘管事先進行了周密的準備，部隊也開始了行動。但當敵發覺劉伯承、鄧小平的意圖，企圖以阜陽作為誘餌，調集19個旅的強大兵力合擊攻城部隊時，劉伯承、鄧小平斷然放棄了原定計劃，調動部隊就勢西向襲取上蔡、汝南、駐馬店、確山、遂平、西平等城鎮，拆散了敵人的陣勢。同時令仍在大別山的第三、六縱隊乘機轉至淮北。

4月中旬，劉伯承、鄧小平率中原局、野戰軍領導機關進入豫西，獲得了相對穩定的環境，在這前後，他們抓緊時機進行了整訓和補充。

這次整訓，主要開展了三查（查階級、查工作、查鬥志），三整（整頓思想、整頓組織、整頓作風）和三大民主的新式整軍運動。重點是團以下部隊。著重解決部隊對新形勢和戰略任務的認識以及作風紀律問題。半年多來，部隊進出大別山作戰，經受了嚴重困難的考驗，出現了普遍減員和戰鬥力削弱的狀況，因此一些指戰員對挺進大別山的重大意義不理解，只看到區域性損失，看不到全域性的偉大勝利，甚至發生紀律鬆弛、違法亂紀的現象。劉伯承、鄧小平決心用整黨整軍來克服部隊的思想障礙，以便使部隊能擔當起大戰中原的新任務。他們除進行了一般部署外，還親自深入到第一、二、三、六各縱隊進行思想發動。3月11日和4月17日，劉伯承分別給第二縱隊和第三、六縱隊連以上幹部做了整訓動員報告。他從挺進大別山三個回合的勝利，從大別山的鬥爭對中原戰局乃至全國戰局的影響，引導大家正確認識南征的意義。他強調指出：由於大別山牽制了敵人三分之一的兵力，因此東北才有大開大合的行動，西北和山東減輕了負擔，逐步粉碎了敵人的重點進攻。這就是革命的車輪向前推，反革命的車輪則向後倒退直至消滅。革命的車輪已推到中原區來了，晉冀魯豫野戰軍走在推車子的前頭，這是很光榮的任務。下一步的任務是要與陳唐、陳謝兵團在一起，在中原戰場殲滅敵人，創造解放區成為繼續前進的基地。他要求各級領導透過三查三整和三大民主運動來提高部隊的政治素質和軍事素質，迎接新的更艱鉅的鬥爭。

各部隊按照劉伯承、鄧小平的指示，自下而上地展開了三查三整和三大民主的新式整軍運動。各級領導機關開辦了整風集訓隊。基層連隊邊教育，邊成立了士兵委員會、學習委員會、經濟委員會。指戰員按照查整和三大民主的要求，普遍展開了訴苦運動，進行了批評與自我批評，深入地揭發和克服