但是第五战区的部队原本就没有多少精锐，全都是国民政府杂牌军，经过这几个月的战斗，各部队损失都极其惨重。最有战斗力的张自忠第59军在战斗之初虽然大量毙伤日军，但自身“伤亡也不下六、七千之多”。在第五十九军发往第五战区的战报上明确写有：“至17日晨，我军统计伤亡人数，第三十八师自投入临沂战役以来，伤亡近四千人，第一八0师也伤亡了二千余人”。到再次增援临沂的第59军在城西北一带集结时，全军可战之兵仅有1.3万人，而该军一战临沂前却有战斗兵员2.1万人，减员 0。
第2次临沂战役后，第59军于麟章部减员万余人，不得已张自忠遂决定将该师合并编成一个旅，约千人，归军直接指挥。而59军的另一个师180师也损失惨重，主力第39旅只剩下200多人，其余3000余人皆伤亡。第59军在两次临沂战役中伤亡数约在1.3万-1.4万之间，加上在淮河阻击战中伤亡的2000人，整个台儿庄战役，第59军伤亡约在1.5万人以上。
作为第五战区另一支主力，庞炳勋第3军团也损失惨重，庞炳勋致军委会的密电称“总计战斗兵，现不满千人”。
另外孙震的第22集团军同样损失惨重，单单一场藤县保卫战就让第22集团军第四十一军守城部队的第一二二师损失了五千余人，自师长王铭章以下全军覆没，全师只逃出十几人。在滕县以北界河、龙山一带作战的第四十五军，自一二七师师长陈离以下伤亡亦达四五千人。
除了这些战斗力较强的杂牌军以外，老蒋嫡系之汤恩伯、封裔忠的第二十军团及临时配属部队同样伤亡不小，在最初三天的作战中，仅第85军2个师即阵亡营长三员，伤二员，伤团长一员，伤亡连排长廿余员，士兵二千余人。在台儿庄战役结束之时，汤恩伯第20军团及临时辖属各部总伤亡在万人左右。
孙连仲第2集团军的廿七师在台儿庄战役开始之前就仅余战斗员二千名，31师一千四百余名，另，台儿庄守军6日伤亡亦“在二百名以上”。至日军从台儿庄退却时，第30师师长张金照称所部全部兵力只剩下四千多人。台儿庄战役结束后，第2集团军所辖第27、30、31三个师所余战斗员仅七八千名左右，加上**第44旅，最多也就在万人左右。该集团军损失应在1.4万人以上。
池淮阻击战中，刘士毅第31军、于学忠第51军合计伤亡近6000人，孙桐萱第3集团军之谷良民第56军参与的济宁战役，自进攻到退却，历时约半个月，伤亡约2000余人。可以说经此一役，第五战区所有有战斗力的部队都减员过半，剩下的部队虽然不少，但是却没有多少真正能和日本人面对面拼刺刀的。
另外徐州本就无险可守，日军又集中了那么多的战车飞机，在平原商上用血肉之躯同敌人的钢铁武器硬抗实属不智，到时候被日本人困在徐州，这五六十万部队可就上天无门了。
想一想此时的国民政府一旦一下子损失五六十万大军，那后果将会是什么，所以陈锋不得不建议老蒋立即撤兵。
同时陈锋命令绥中的部队立即返回南线，各部队随时做好南下作战的准备，一旦老蒋一意孤行，陈锋也只好拼出大出血和日军周旋周旋，以减轻徐州方面的压力。