台儿庄战役无疑是一场真正意义的大捷，日军在付出了惨重的代价后不得不暂时放弃进攻。可台儿庄会战只是徐州会战的一个组成部分，徐州会战到1938年六月中旬才落下帷幕。在日军开始后撤的时候，李宗仁决定乘胜追击，继续扩大战果。
4月7日12时，李宗仁下达了追击令，要求汤恩伯军团和孙连仲集团军追击逃窜的日军，向枣庄、峄县猛攻。可是日军虽然刚刚经历大败，但是尚有一战之力。遭到如此失败的日军华北方面军赶忙向日本国内求援，日军大本营一面搜刮补充兵来填补损失，一面要求关东军第二师团和第七师团——这两个精锐的常备师团中各抽调一个步兵旅团和一个炮兵联队组成两个混成旅团，入关支援华北日军。有了这一万多精锐的生力军支援，华北方面军司令寺内寿一，一扫之前在台儿庄惨败的愁眉苦脸，开始志得意满的进攻徐州。
意识到蒋介石把主力已经投入到徐州附近的日军大本营，计划全面出击，在徐州附近包围中国军队主力并占领徐州。日军第一军开始向河南的中国军队发动进攻，准备切断陇海线；占据了长江三角的日军华中派遣军也蠢蠢欲动，开始大举北上。日军准备从西、南、北三个方向夹击包围守卫徐州的中国军队，徐州上空战云越来越浓密了。
但是当时的中国军队都沉浸在大捷的氛围中，各地游行庆祝台儿庄的大捷，部队中也开始弥漫着一股日军不过尔尔的气氛。时任军令部部长徐永昌是少数几个能从大捷的狂热气氛中冷静下来的人，他在1938年4月7日的日记中记道：“下午三时许街市骤有如雷爆竹声接连不断，询为庆祝胜利，且有军乐队乘车游行，耳闻目睹竟使余坐不安席，因之使蒋先生制止。”
可是蒋介石当时根本没有理会徐永昌的劝告，一面要求李宗仁继续督促部队反攻，一面已经觉得抗战胜利为时不远了，可战况却没有像他预想的那样顺利，反而急转直下。
▲台儿庄战役后，中日两军在徐州北方的攻防战经过要图
4月7日，开始转入反击的汤恩伯的第二十军团和孙连仲的第二集团军就遇到了硬钉子。在峄县和枣庄南部，得到补充兵的坂本和濑谷两个支队开始拼死抵抗，中国军队并未取得决定性的突破。由于几乎没有炮兵的和制空权，中国军队只能在夜间发起进攻，一块阵地往往晚上刚刚夺取，白天则又让在重炮和飞机的掩护下的日军抢走。这样血腥的拉锯战一直在继续，中日两军都付出了重大代价。11日，日军坂本支队开始转入攻势，与汤恩伯军团在税郭附近展开激战。在控制战场的制高点九山，第25师和日军步兵第十一联队开始激烈的死斗。日军首先用炮兵压制射击，然后用平射炮抵近逐个点射摧毁中国军队的碉堡，最后才发起步兵冲锋。就在日军的猛攻下，15日25师右翼的145团一营阵地被日军突破，导致25师几乎陷入了日军的包围之中。之前就已经损失惨重的25师无力反击只能选择后撤，放弃了税郭阵地。得知税郭阵地失守的五十二军军长关麟征枪毙了丢失阵地的145团一营营长奚滌生。但是战场的制高点已经失去，日军的炮兵得到了这个制高点，更加猖狂的射击中国军队阵地。反攻峄县和枣庄实际上已经不可能了。
但是前线的惨重损失并未能使蒋介石认识到局势的严重，他一面调集更多的部队集中到徐州附近，一面要求兵力已经严重不足的一线部队继续反击。16日拂晓中国军队开始发起了对峄县、枣庄、向城一线的总攻，在没有足够的火力掩护的中国士兵勇敢的冲向了日军阵地。最先开火的是日军火炮，一发发炮弹落在冲锋队形里，很多战士倒下了，但是队形并没有乱。就在冲击到日军阵地前不足百米的时候，日军的九二重机枪和十一年式轻机枪开始吐出火舌，战壕里的掷弹筒也开始频频射击，虽然大多数中国士兵已经阵亡，但是依然有不少战士冲进了日军战壕，和日军开始刺刀战。139师一度攻入向城城内，但是由于死伤千余人，部队无力继续战斗，不得不退出城外。22集团军一部也冲入了韩庄庄内，和据守的日军展开巷战。但是随即大批日军从临城开来，中国军队又一次含泪撤出了刚刚夺取的阵地。
16日的总攻失败，李宗仁不得不停止继续进攻，因为他手里已经没有部队继续进攻了，刚刚投入的几个新锐师都已经无力再战，之前已经奋战了一个月的22集团军、20军团每个师都只剩下为数的不多的战斗兵员。这时大批日军援军正源源不断赶到。就在李宗仁考虑是否还要继续增兵徐州以北的时候，本来隶属华中派遣军的第五师团国崎支队回到了第五师团建制，第五师团师团长随即派遣国崎支队攻击临沂。中国军队虽然节节抵抗，但是由于主力都在峄县南部，之前已经损失惨重的第3军团根本无力抵抗日军新锐旅团的强大攻势。4月19日，临沂沦陷。
虽然中国军队在台儿庄取得了辉煌的胜利，但是这个胜利导致了李宗仁过于轻视日军，在徐州平原投入了过多部队，最后在平原地带被日军重火力大量杀伤，最后不得不匆忙撤出徐州。徐州会战最终以中国军队的失败而告终，但是由于日军高层分歧很大，导致日军并不能很好完成对徐州附近中国军队主力的合围，中国军队主力得以成功撤出，并为之后的武汉会战积蓄力量。而且日军主力集中一线，后方守备空虚，为敌后战场的开辟和扩大提供了良好的条件。
日军虽然勉强取得徐州会战的胜利，但是也付出非常沉重的代价，日军华北方面军在1938年2月至5月共计战死8213人，战病死108人，战伤26765人。其中大多数都应该是死于徐州会战，如果算上后期投入的日军华中方面军，徐州会战中国军队至少歼灭了4万日军。
