1938年3月上旬，白崇禧受命去徐州幫手李宗仁作戰之前，曾請周恩來、葉劍英商談作戰目標。當時周恩來、葉劍英建議：津浦線南段應采納以活動戰為主、遊擊戰為輔的結合行動，使日軍不敢冒然北上援助南下的日軍；徐州以北應采納陣地戰與活動戰相連絡的目標，以達到交叉豆割、各個擊破的目標。白崇禧對此建議非常讚美，並在厥後照此實施了。
與此同時，第12軍81師也直取汶上，於12日晚由開河鎮渡運河，一部由城西北攻入汶上城內，與日軍停止狠惡巷戰，終因人少勢弱，喪失嚴峻，13日奉李宗仁之命撤向運河西岸。19日，日軍攻陷安居鎮，22日衝破曹福林第55軍陣地。25日，日軍衝破杏花村陣地，守軍被迫撤至相裡集、羊山集、钜野一線。但李宗仁在這一線安插大量兵力，不竭側擊北段南下之敵，使敵軍在這一帶盤桓不能南進，臨時穩定了戰局。
罪過
3月18日，日軍磯穀師團瀨穀支隊攻陷滕縣後，當晚攻占臨城(今薛城)，以一部沿津浦線南下，於20日攻占韓莊，詭計直犯徐州，遭到設防於運河沿線的我第52軍鄭洞國第2師的阻擊；另一部福榮大佐的第63聯隊沿臨趙(墩)鐵路於18日攻占棗莊，20日攻占嶧縣城，鋒芒直指台兒莊。
4日，中國空軍以27架飛機對台兒莊東北、西北日軍陣地停止轟炸。當晚，日軍瀨穀支隊力戰不支，炸掉不易搬動的物質，向嶧縣崩潰。
辭賦家韓邦亭為記念台兒莊大捷，創作了《台兒莊大捷賦》，全文以下：
4月3日，李宗仁下達總進犯令。第52軍、第85軍、第75軍在台兒莊四周向敵展開狠惡守勢。日軍拚力圖奪，占據大部分販子。中國軍隊展開街壘戰，逐次反擊，清除仇敵，奪回被日軍占據的販子。
4、慘烈的巷戰
李宗仁剛抵徐州之時，恰是上海新敗之際。大師感到，中國軍隊在京滬線上陳兵百萬，尚難保淞滬，今敵軍挾新勝之威，南北兩路向徐州而來，李宗仁以十餘萬雜牌軍與之周旋，真如“螳臂擋車”。徐州城渾家心惶惑，市道冷落，形同死城。為了安寧民氣，李宗仁每日淩晨或午後，都要騎馬到城內首要街道巡查一番。“表情雖極沉重，而態度故作落拓”。可見，當時李宗仁的日子的確不好過。世人都以分歧表情猜想著由他帶領的這支雜牌軍，在勢頭正盛的虎狼之師的圍攻陷的能夠結局。