令進軍東北。

為擴大自己的力量，山東各軍區廣泛開展了參軍運動，以組織八路軍的第二梯隊，縣區武裝升級後，又立即補充起來。

不久，山東八路軍的總數就達到了２７萬餘人。

“不投降，就消滅它”

就在山東軍區接受日偽軍投降、擴大解放區的同時，蔣介石也迅速在山東採取行動。他任命的國民黨山東省政府主席何思源在日偽軍的保護下進入濟南。何思源一進城，就要日軍“就地駐防，加強防務”，同時將山東所有的偽軍都收編為國民黨軍隊。於是那些在日軍統治時期為非作歹的漢奸，轉眼之間都成了國民黨的“地下工作人員”，蔣、日、偽完全同流合汙了。

由於有國民黨在背後撐腰，山東的日偽軍拒絕向八路軍投降。

“不投降，就消滅它！”羅榮桓說。

８月１３日，山東分局和山東軍區發出《決心徹底消滅日偽軍》和《奪取大城市的部署》，１５日又發出《部隊作戰方向的規定》，對部隊的行動作了部署，決定兵分五路，首先掃清孤立於解放區內的中小城市，再向山東鐵路沿線地區和大中城市進軍。羅榮桓將這一部署上報中共中央，同時建議將部隊名稱改為“人民解放軍”，中央中央覆電表示同意。這是在我軍歷史上首次使用“人民解放軍”這一名稱。

山東八路軍在羅榮桓等人的領導下，夜以繼日地奮戰，所屬部隊邊動員、邊行軍、邊擴大、邊編組，冒著酷暑，晝夜兼程，很快就席捲瞭解放區內的敵佔中小城市，並開始向大城市及交通要道疾進。

魯中部隊為第一路，在前線指揮王建安、政委羅舜初的率領下，連克臨朐、博山、益都、萊蕪、淄川、章邱、周村和新泰，切斷膠濟路西段，並從東南方向進逼濟南。

濱海部隊為第二路，在前線指揮陳士榘、政委唐亮率領下，攻克膠縣，切斷膠濟路東段；南佔莒縣、日照、贛榆、青口，切斷隴海路東段，逼近海州和連雲港。

膠東部隊為第三路，在前線指揮許世友、政委林浩率領下，解放威海衛、牟平、煙臺、福山、篷萊、黃縣、龍口、招遠、萊陽、石島、即墨，並突破了敵人之嶗山防線，攻佔了流亭機場，逼近青島。

渤海部隊為第四路，在前線指揮楊國夫、政委景曉村率領下，解放了昌邑、壽光、臨淄、廣饒、博興、高苑、桓臺、長山、陽信、臨邑、鄒平、寧津、吳橋、辛店，切斷了膠濟路中段，與第一路大軍會合，從東北方向逼近濟南。

魯南部隊為第五路，由前線指揮張光中、政委王麓水率領，切斷了津浦路，解放了泗水、曲阜、臺兒莊及官莊火車站，兵臨兗州和徐州。

在以上這些攻勢中，唯有臨沂戰役打得時間最長，也最為激烈，羅榮桓為這次作戰傾注了大量的心血。

８月１５日，日本正式宣佈投降，東京電臺播放了裕仁天皇的“停戰詔書”。第二天，駐守在臨沂的日軍就逃往棗莊，臨沂只剩下偽保安大隊長許蘭生的部隊，偽費縣保安大隊邵子厚部也集中到臨沂城裡。他們又與盤踞在臨沂以北、汪溝西南堅固築壘地區的王洪九部互相策應。這三股偽軍加起來共４０００餘人，企圖依靠堅固的工事和日軍逃走時留下的大批武器彈藥和糧食，固守頑抗。

山東軍區決定組織濱海第４團、山東軍區特務團、魯中第１１團和臨沭獨立團攻城。由於各團屬於不同的部隊，羅榮桓就派軍區參謀處長李作鵬去臨沂前線指揮。

８月２０日和２２日，八路軍發動了多次攻擊，皆因準備不足、配合不好和敵人的工事堅固而未能成功，攻城部隊的傷亡不小。當時羅榮桓率軍區機關正在大店，對進攻臨沂的情況不瞭解，幾次想去前線，由於身體不好，加上別的人一再阻攔，沒有去成。

８月２６日，李作鵬從臨沂回到大店，彙報了前線的情況。羅榮桓聽完彙報後強調，臨沂是濱海、魯中、魯南三區的聯結點，必須拔掉這顆釘子。然後，他批評了李作鵬的輕敵思想。

接著，李作鵬報告了下一步作戰方案，即一面在陣地前沿對敵展開政治攻勢，一面在城西北角實行秘密的坑道作業，準備把坑道挖到城牆下進行爆破。羅榮桓同意了這一方案，並派作戰科副科長王德、參謀尹健一起去臨沂。

李作鵬返回臨沂前線後，於８月２８日召開了作戰會議，總結了前幾次攻城失敗的教訓，確定了作戰部署。經過充分的準備，終於在９月１０日炸開了城牆，９月１１日上午佔領臨沂全城，殲滅偽軍２０００多，活捉漢奸許蘭生和邵子厚。爾後轉移兵力圍