，山東軍區以魯中軍區6個團及濱海軍區1個團發起第三次討吳戰役。根據偽軍防禦地域廣、主力用於第一線、縱深兵力弱的特點，八路軍以一部監視第一線偽軍，主力直接由偽軍防禦空隙神速插入偽軍縱深，中間開花，打亂了偽軍指揮系統，至27日將吳化文嫡系第6、第7兩個軍殘部壓縮至以魯村、悅莊為中心的狹小地區。

29日，日軍2300餘人分由萊蕪、臨胸前來增援，八路軍主力乃轉移至機動位置待機，並以小分隊與來援之敵周旋。日軍出擊未能奏效又遭不斷襲擾，遂於4月8日撤走。4月15日，八路軍再次轉入攻擊，至20日收復悅莊地區，吳化文率殘部退縮魯村一帶。第三次討吳戰役，殲敵7000餘人，攻克據點50餘處，吳偽遭到毀滅性打擊，八路軍控制了魯山大部地區，打通了沂、魯、泰、蒙各山區根據地的聯絡。

山東軍區為準備繼續擴大與恢復某些地區，縮短與鞏固各戰略區之間聯絡，以進一步改善根據地條件，在1944年3月23日即提出了各軍區的作戰方案，並要求對可能收復與克服的據點，不應坐失時機。6月22日，山東軍區指示：魯中軍區應相機攻下沂水，濱海、魯南軍區相機攻下郯城、馬頭，還必須打擊偽軍李水平部；清河軍區應乘青紗帳起採取政治攻勢為主、游擊戰爭為輔的方針，改善對冀魯邊與淄博的聯絡線。膠東軍區力求改善與清河、濱海軍區的聯絡。

5月上旬，山東軍區各部夏季攻勢陸續展開，到了7月下旬，更利用青紗帳盛起之際，發起青紗帳戰役。

5月1日，魯南軍區以兩個團另8個獨立營及民兵一部，向盤踞費縣以南崮口山區的偽暫編第10軍榮子恆部發起進攻，戰至5日，榮子恆殘部在援軍掩護下，分向費縣、臨沂逃竄。八路軍全部解放了崮口山區，結束了魯南根據地被分割的局面。

魯中軍區在第三次討吳戰役後，積極準備拔除沂水縣城據點。沂水縣城駐有偽軍1000餘人，南關駐有日軍50餘人。8月15日晚至17日晨，魯中軍區以主力4個團及地方武裝、民兵一部，攻克沂水縣城，全殲日偽軍（內俘日軍20人）。沂水攻堅戰的勝利，鞏固了沂、魯山區根據地，並打通了魯中與濱海軍區的聯絡。

日軍為了阻止八路軍攻勢的發展，並打擊山東軍區指揮機關及後方，8月下旬，集中駐山東的日軍第59師、獨立混成第5旅、獨立步乓第1旅、偽軍吳化文、榮子恆、濟南治安軍各一部及駐江蘇北部的日軍第65師一部，共1萬餘人，在軍艦3艘、汽艇10餘艘的配合下，“掃蕩”濱海軍區。8月20日，日軍第59師在莒縣方向，獨立步兵第1旅在臨沂方向、獨立混成第5旅在日照方向、第65師在贛榆方向，在邊沿區分別隱蔽集結。21日開始分路向濱海區中心區分進合擊，使濱海根據地受到相當損失。

為了配合濱海軍區粉碎日軍大“掃蕩”，山東軍區指示其他軍區抓住敵兵力不足，顧此失彼的弱點，積極行動。據此，魯中、魯南軍區積極伏擊、截擊“掃蕩”濱海區回竄之敵，予敵沉重打擊。膠東軍區從8月中旬至9月下旬，展開1個多月的攻勢作戰，殲滅日偽軍5000餘人，收復文登、榮城兩座縣城，攻克與逼退日偽據點138處，進一步打通了膠東4個軍分割槽內部的聯絡及膠東與渤海、濱海區的聯絡。渤海軍區從8月中旬至10月下旬，發起攻勢作戰，殲滅日偽軍5000餘人，攻克樂陵、臨邑、南皮三座縣城，進一步打通了渤海區內部各軍分割槽的聯絡及渤海區與膠東、魯中區的聯絡。

1944年1～9月，山東軍區攻克與迫退日偽據點共1000個以上，日軍兵力減少，偽軍由20萬減少到15萬（津浦鐵路以東）。7～10月，山東軍區召開軍事工作會議，系統總結了對敵鬥爭的經驗教訓，統一了作戰指導思想。

10月12日，山東軍區下達1944年冬至1945年春的作戰部署，要點是爭取迅速打通膠濟、津浦、隴海三鐵路線內各個根據地之間的聯絡，使之成為一片。為此，首先收復莒縣、郯城，爾後，徹底破壞臺濰路臨棗段與諸莒段，孤立臨沂，是魯中、濱海、魯南三軍區從1944年冬到1945年春統一的戰鬥目標；各軍區繼續向接近的敵區伸入，發展新的游擊區。

在1944年冬季攻勢中，山東軍區於11月中下旬組織實施了莒縣戰役。

莒縣位於濱海、魯中兩區之間，是日軍進攻魯中、濱海兩區的重要基地之一。

自1944年8月八路軍攻克沂水縣城，及沂河兩岸大部分地區被八路軍控制後，莒縣陷入