1938年3月中旬至4月初，李宗仁指挥中国军队在台儿庄取得大捷，挫败了日军第5师团、第10师团分进合击的战术，但是这两个师团的主力并未遭受歼灭性打击。
在取得台儿庄大捷后，蒋介石意图扩大战果，准备在徐州打一场大会战，为此蒋介石先后投入了近60万大军。
日军大本营见中国军队主力云集在徐州地区，决心发起一场更大规模的攻势，一举歼灭在徐州集结的中国军队主力。
日军的作战计划
1938年4月7日，日军大本营下达了大陆第84号命令，并且在4月10日制定了具体作战方案。内容大致如下：
调第114师团、16师团、战场二大队、重炮兵第3、6联队等增援徐州以北的第二军，待集结完毕，从微山湖西侧南下，切断徐州中国守军退路；华中派遣军派部队从淮阴方向出击，牵制徐州以南方向的中国第26集团军、第21集团军等部队；日军第14师团在兰封一带渡黄河南下，切断陇海铁路。
从4月中旬开始，日军就再度发起攻势，4月19日，坂本支队攻占向城、国崎支队攻占临沂、长濑支队攻占兰陵。
日军此时在下一步大棋，日军计划以右翼的进攻吸引国民党军主力东援，然后趁徐州以西国民党军兵力空虚，日军左翼的包抄部队从鲁西南迅速南下，切断徐州以东地区国民党军主力例如中央军第20兵团、孙连仲第2集团军的退路，将其围歼在台儿庄地区。
然而，此时的蒋介石可能是被台儿庄大捷冲昏了头脑，一心想着在徐州与日军来一场真正的决战，如果真是这样，那可就正中日军下怀。
日军全线反攻，国军鏖战鲁南
4月19日，日军在鲁南地区的濑谷、长濑、坂本等三个支队分三路南下，直扑台儿庄前线中国守军阵地。
此时中国守军的防线大致如下，东侧是刚刚赶到战场的滇军第60军，驻防在禹王山一带；台儿庄则为孙连仲第二集团军；而中央军第20兵团则驻守在西侧四户镇一带。而刚刚从临沂撤出的27兵团（张自忠59军、庞炳勋40军）则撤往马头镇一带休整。
虽然中国军队在人数上占据绝对优势，但是在大平原上面对日军机械化师团的重火力打击，部队伤亡很大。于是李宗仁急调第46军、92军、第22军迅速驰援鲁南战场。在邳县以北依托禹王山、方头山、艾山等重新构筑一条防线。
日军也始终无法突破鲁南中国军队防线，双方陷入惨烈阵地战，战场局势呈现胶着状态。不过，这种结果正是日军大本营想要的。
日军收网，意图包抄徐州国军退路
日军大本营见中国军队主力在鲁南已经被死死牵制住，于是下令华中派遣军下辖的第9师团、第13师团、第101师团各派一部向淮河以北发起进攻。驻守在此的中国军队第21集团军、26集团军接连失利，日军攻占了接连阜宁、蚌埠、蒙城等地。
与此同时，华北方面军第16师团、第14师团28旅团对驻防鲁西南的国军第3集团军发起猛攻，该集团军麾下只有一个12军，根本挡不住日军攻势，不到三天，日军就推进至陇海铁路，切断了这一东西交通大动脉。
放弃徐州，国军大撤退
李宗仁发现日军的动向时，也惊出一身冷汗，日军这是想要把鲁南的国军一口吃掉。李宗仁赶紧把前线战报上报给蒋介石，这时蒋介石也终于意识到了日军的真正意图。此前，他怎么也想不到日军竟然敢进行如此远距离的外线穿插作战。
蒋介石即令在开封的薛岳指挥第1兵团侧击南下的日军14师团、16师团，同时让徐州地区的第40军、第2军、92军、68、77军等部队迅速驻防徐州以西的沛县、丰县一带，阻击日军第16师团、第10师团南下。
5月15日，日军华中派遣军13师团岩仲支队与华北方面军14师团一部会师，这也说明日军的包围圈即将合拢。5月16日，国民政府决定放弃徐州，第五战区各部迅速从徐州西南方向撤退。具体部署如下：以第19军、68军、74军、59军为掩护部队，分别驻守宿县、萧县、永城、徐州西陇海铁路沿线；孙连仲第2集团军、22集团军与第20兵团迅速向豫东、皖北地区突围。而苏北兵团第57军、89军以及第69军则进入苏北地区进行游击作战。
最终，鲁南的国军主力得以全部突围，这也为后来的武汉会战保留了有生力量。回看这一场大撤退，不得不感叹幸亏李宗仁指挥得当呀，要不然很可能徐州会战会变成此前淞沪会战那样，被日军从侧翼切断后路，导致军队全线溃败。想想半年前的淞沪会战，数不清有多少将士都是死在了那场毫无指挥的混乱大溃退中。
为什么徐州会战会以失败收场？
首先是国军战略布局考虑不足，在徐州以西的鲁西南地区防御空虚让日军主力迅速南下是导致陷入被动的关键因素。盲目向鲁南增兵而忽略了侧背的防御，让日军有机可乘，切断了陇海线，威胁了鲁南国军退路。
然后，最重要的是蒋介石误判了抗战局势。当国军在台儿庄取得大捷后，以蒋介石为首的国民党高层认为与日军决战的时候到了，于是贸然向鲁南增兵。当时在第五战区集结的兵力加上第一战区在开封地区集结的作为策应的部队已经超过60万，几乎是把中国能战的部队全拉上去了。
而以当时的敌我双方实力对比来看，日军还是占据绝对上风，中国军队无论是兵员素质还是武器装备都远远落后于日军，在徐州这片大平原上与日军进行大兵团决战取胜的概率太低。而蒋介石想在徐州一战定乾坤，迅速打败日本。蒋介石这种速胜思想，缺乏对整个抗战局势的判断，差点就葬送了正面战场最后的主力部队。
在1938年5月，也就是正值徐州会战期间，毛主席发表了著名的《论持久战》，驳斥了“亡国论”、“妥协论”、“速胜论”等等观点，而且准确的预测了抗日战争的发展趋势，指出了抗日战争必然是一场持久战，最后胜利一定是属于中国的。
