三月二十二日，孫連仲第二集團軍奉命渡過大運河，進駐臺兒莊，並將臺兒莊以西約七華里之港口村及以東約三華里之官莊同時予以佔領。第三十軍第三十一師據守臺兒莊，全莊居民已疏散一空，只有一位頭髮如銀的老大娘，坐在自己家裡，寧死不肯離家。三十一師原是馮玉祥舊部吉鴻昌的部隊，不但能攻善守，而且軍紀也好。士兵們為老大娘送飯送水，照顧周到，親如一家。

卻說磯谷師團攻佔滕縣之後，果然驕狂無比，磯谷師團長得知他的兄弟部隊坂垣師團在臨沂戰敗，不能南下臺兒莊會師時，當即決定揮師南下，攻佔臺兒莊，然後派兵北上協助坂垣師團作戰。磯谷師團長的野心膨脹得簡直無法裝在他的胸腔內，他不僅要獨佔臺兒莊、徐州，而且要一直打過淮河去，奪取獨立貫通中國南北戰場的赫赫戰功。

“孤軍深入，乃兵家之忌呀！”幕僚長提醒磯谷師團長。

“中國軍隊，不堪一擊！”磯谷師團長把手往下一劈，彷彿快刀垛肉一般。

磯谷師團長即率部南下峰縣。湯軍團第八十五軍奉命稍作抵抗後，即秘密向棗莊東北的抱犢崮山區轉移，準備從北面拊敵側背。湯軍團的另一支部隊——第五十二師也秘密向東過運河繞道北上，到棗莊以東郭裡集附近與第八十五軍匯合，準備以雄厚的兵力猛擊南犯的磯谷師團之背，並切斷其後路。磯谷師團佔據峰縣後，即循津浦路臺棗支線，直撲臺兒莊。

臺兒莊被硝煙炮火吞沒了，幾百年來，一直靜靜地流淌著的大運河，也被激怒得掀波騰浪。磯谷師團長對臺兒莊是志在必得，打下臺兒莊後，進軍徐州，便是旅次行軍了。他以比攻擊滕縣時還猛烈幾倍的火力，以幾十輛戰車、坦克、上百門的野山炮和重炮，幾十架飛機，猛擊臺兒莊，欲將其夷為平地，然後再進軍大運河以南。臺兒莊堅實的城牆，也經不住鋼鐵的強大攻擊，炮火、炸彈、衝擊前進的坦克，首先將磚石砌就的古老城垣擊破，步兵隨後蜂擁而入。守軍三十一師師長池峰城在臺兒莊內督戰。城內的每一座房屋，每一條街巷，每道殘垣，每一道斷壁，每一座石堆，都在燃燒著，每一寸土地上都是血與火。臺兒莊巷戰開始了。攻進臺兒莊的日軍，驚駭地發現，面對的竟是一支赤膊面目薰黑的軍隊，他們手握大刀、身上掛滿擰開了蓋子的手榴彈，大刀飛舞，手榴彈爆炸，一個排打光，又一個排從瓦礫裡鑽出來；一個連打光，又一個連從斷壁後衝出來。攻入莊內的日軍，留下一大批屍首，不得不退了出來。磯谷師團長見皇軍竟受挫於一個小小的臺兒莊，急命福榮大佐率主力圍攻臺兒莊。日軍在大量援兵的支援下，從東、北、西三面包圍了臺兒莊。

三十一師形勢險惡。戰區司令長官李宗仁急調重炮營和戰車防禦炮連赴臺兒莊助戰。第二集團軍總司令孫連仲將總部移駐距臺兒莊僅五里的一個小村內，調動第三十師和第二十七師在日軍左、右兩翼側擊，以牽制日軍對臺兒莊的攻擊。磯谷師團長也傾其所部，由嶧縣南下，與中國第三十師和第二十七師激戰，以保障攻臺兒莊日本兩翼及後方的安全。

臺兒莊被火海淹沒了。日軍以大量燃燒彈和催淚瓦斯轟擊，逐屋逐街地肅清拼死抵抗的中國守軍，守臺兒莊的第三十一師八千餘人已傷亡五千多。在一個殘破的屋子裡，師長池峰城在不斷地咳嗽，一口一口地咯血。他三十多歲，頭髮蓬亂，上身只穿件咖啡色的絨線衫，下面穿條軍褲，褲腿紮在馬靴裡，腰上掛支小號左輪手槍。

“總座，總座！”池師長緊張地握著電話筒，用沙啞的聲音向總司令孫連仲報告，“職師四個團長已傷亡三個，原有十二個營長如今只剩下兩個，下級軍官已全部換過一輪了。照此下去，全師必將拼光。是否可以將部隊撤出臺兒莊外，在大運河北岸與敵再戰。”

孫連仲總司令的指揮所離臺兒莊僅五里，周圍敵炮紛紛落下，爆炸聲不斷震耳欲聾，對莊內的血戰，他非常瞭解。本來，按照統抽部的規定，戰時集團軍總司令的指揮部可以離火線四十里。但孫連仲總司令為了激勵部下，他抱份必死的決心，將總部放在兩軍殊死搏鬥的臺兒莊外僅五里之地的一個小村內。他知道池師長的報告全是事實，如此打下去，不但池師要打光，而且三十師和二十七師也難存在。孫連仲的第二集團軍，雖然名義上轄兩個軍，但因在山西娘子關的戰鬥中，損失慘重，只剩下三個師。後雖奉命調許昌整補，但因津浦線戰事吃緊，又即奉命調到臺兒莊來作戰，因此第二集團軍可供作戰的部隊仍然是第二十七、三十，三十一這三個師。這樣整連整營地拼掉，孫連仲如何不著急呢。