晉冀魯豫抗日根據地是華北敵後抗日根據地中幅員最大、人口最多的一個根據地，其中的太行區又是晉冀魯豫邊區的基本根據地。在這裡集中駐紮著大量的領導機關，不僅有晉冀魯豫邊區黨政軍領導機關——中共中央北方局太行分局、邊區政府和邊區參議會及其直屬單位，以及第129師師部和直屬部隊，而且有領導整個華北抗日戰爭的中共中央北方局、八路軍前方指揮部和其直屬機關。隨著對敵鬥爭的深入發展，各種機構不斷擴大，非生產人員不斷增加。到1941年以後，由於戰爭日益殘酷，根據地面積縮小，各種龐大的組織機構已不適應形勢的需要。當時，領導機關集中的大行區共有人口180萬人（包括根據地和游擊區），但是，太行區的部隊有4萬人，地方幹部2萬餘人，脫產幹部中又以上層機關為多，“魚大水小”、人民負擔較重的情況較為突出。

為解決這一矛盾，1942年，晉冀魯豫邊區黨政軍展開大規模的“精兵簡政”運動。為了精確計算民力、物力，以確定根據地所能負擔的脫產人員數量和支援抗戰的能力，邊區黨和政府發動各級工作人員深入基層、農村調查研究，井據此制訂了合理的簡政方案。邊區政府簡政工作的重點放在調整合並行政機構方面，確定了多減上層、加強下層，多減事務人員的原則。邊區政府決定，除本身統一各部預算和事務工作，減少雜務人員、馬匹，歸併其他機關，減少人員48％以外，還決定專署兼理所在地的縣政，如和西、平順、涉縣、沙河各縣均由專署兼理，縣政府亦可兼理所在區的區政；小縣可改為區，或2縣歸併1縣，或由一方兼理，如邢東邢西合併為邢臺，平南平北合併為平順，武南磁縣歸併為武磁；各縣並可依照不同情況，劃分為甲、乙、丙、遊擊四種不同縣份，配以不同編制比例的工作人員；對於區，則酌量歸併以減少原有區數的40％為標準；對於村，則採取聯合村等形式。經過此次簡政，邊區的機構和脫產人員大大減少，僅太行區縣以上工作人員即減少了18％，節省經費38％。

晉冀魯豫根據地的八路軍主力部隊第129師在“精兵簡政”中起了表率作用。在中共中央關於“精兵簡政”的指示下達前，第129師就根據鬥爭需要進行過精簡整編，把師後勤部門合併於八路軍總後勤部，從各級領導機關抽調人員充實連隊，師部抽出250多人到第385、第386旅。接到中央指示後，第129師把“精兵簡政”列為1942年度的中心任務之一。師部決定：精兵建設從師直屬隊開始，由上到下，層層落實。1月7日，劉伯承師長向直屬隊作《如何貫徹中央精兵簡政政策》的動員報告。1月15日，師部發出關於實施精兵建設的命令，確定緊縮統率機關，減少指揮層級，充實戰鬥連隊的原則，對主力軍、軍區及地方部隊的精兵建設提出了具體要求。隨後，第129師從師部開始，調整編制，縮減機關，減少人員馬匹，充實戰鬥連隊；並抽調一批幹部到地方武裝和地方武委會中，以加強地方武裝；抽調一批幹部去抗大和陸軍中學深造；經營生產事業以安置老弱戰士和榮譽軍人。經過精簡整編，第129師師直由29個單位減為12個單位，人員由2627人減為1163人。包括第129師師直、第385旅、新1旅及各軍分割槽在內的太行區八路軍，共裁減151個單位、約6650人。

1942年9月7日，毛澤東在為《解放日報》寫的社論《一個極其重要的政策》中，特地表揚了晉冀魯豫邊區的“精兵簡政”工作。

1943年，晉冀魯豫邊區的“精兵簡政”工作繼續深入，邊區政府由548人減少到100人，八路軍前方總部機關和第129師師部合併辦公，此外，各級黨政軍機構也進一步合併緊縮，大批幹部由上級機關到下級機關。經過兩年的努力，晉冀魯豫根據地的“精兵簡政”工作成績顯著，全區黨政軍脫產人員只佔人口的3％以下。

山東抗日根據地在中共山東分局領導下也普遍實行了“精兵簡政”。

1942年，山東分局為貫徹落實中央的指示，成立“精簡委員會”，專門研究各地的精簡問題，並直接領導、督促、檢查該項工作。同年9月9日，山東分局作出貫徹“精兵簡政”的決定，要求各地“打破一切藉口，無論如何堅決的執行中央所提出黨政軍民脫離生產人員不超過根據地總人數百分之三（軍隊不超過百分之二，黨政民學不超過百分之一）的規定，在某些山區或工作薄弱地區應少於這個比例。各地黨政軍負責機關應立即清查自己根據地人口（游擊區除外）及黨政軍民脫離生產的人員總數，超過中央所規定比例的，