张自忠根据当时的战况迅速采取措施，调整部署：令第38师以有力的1个团加强茶叶山的防守，作为军的主要支撑点；令军部骑兵营由石家屯东渡沂河，向葛沟、汤头间出击，袭扰敌之后方；令进至河东的部队全部撤回河西，阻击渡至河西的敌人。双方在刘家湖一带展开激烈的肉搏争夺战，“刘家湖失而复得者四次，崖头失而复得三次。茶叶山一度被敌占领，旋即夺回”。至17日上午，第59军已伤亡6000余人，第一线作战部队的营长伤亡三分之一，连、排长已全部易人，但该部队仍坚守阵地，顽强战斗。此时日军因伤亡甚众，亦已无力发动强攻。张自忠掌握战机，集中全力组织反击，于当日黄昏后，利用敌人得不到飞机支援而又不惯夜战的有利条件，向河西之敌发动进攻。激战竟夜，以逐屋争夺的肉搏战将渡至河西的日军击歼近半。在日军遗弃的尸体中发现有第11联队联队长长野佐一郎大佐、第3大队大队长牟田中佐及第9中队中队长等多名军官。又据在刘家湖所俘一等兵玉利陆夫说，这次沂河两岸战斗，第5师团坂本支队伤亡约3000余人。日军大部退向莒县，一部退至汤头。张自忠令第38师的第114旅向汤头方向追击，停止于汤头以南李家五湖一线。其余部队除一部沿沂河西岸、茶叶山一带警戒外，全部集结到刘家湖一带休整。沂河以东日军在其主力北撤后，亦向傅家池、草坡一带撤退，第39师进至书家庄(树沂庄)一线。
李宗仁根据庞炳勋18日24时所报关于临沂方面日军损失情况(报告日军“伤五千余，亡三千余”)，判断日军暂时无力组织大规模的进攻，而19日峄县失守，津浦路正面形势紧张，于是于20日电令第59军留1个旅协同第40军防守临沂，主力转进“费县集结整顿后，乘虚向滕县南北地区，与由南阳镇附近渡河之第3集团军部队呼应，截击南下或北退之敌”。张自忠留第114旅归庞炳勋指挥，自率军主力于20日晚开始向费县转移。22日接到蒋介石电令，改令“以主力仍须与庞军团相协力肃清临沂当面残敌外，以约三至四个团经泗水进击曲阜方面，牵制敌人”，但此时军主力已离开临沂。
25日，第40军桃园、三官庙左翼阵地被日军突破，退守九曲店一带。第59军急从第38师抽调3个团，于当日20时西渡沂河，向已占领桃园、三官庙之敌实施夜袭，收复了桃园，但三官庙未能攻下。26日全天，沂河两岸均在激烈的反复争夺战斗之中。至黄昏时，第59军在桃园的3个团“出击受挫，复撤河西”；古城一带的部队在日军猛攻下，为“节约兵力”缩短战线，亦退至十里铺、前后岗头线。临沂形势又趋紧急。庞炳勋电告蒋介石：“职军伤亡殆尽，总计战斗兵现不满千人。”徐祖诒于26日15时亦电告李宗仁：“庞军兵力损失过巨……已失战斗力，张军实力虽剩半数，而士气较前甚差，非有生力援军，临沂难守，祈早决定。”李宗仁急调第57军第111师的第333旅及第20军团的骑兵团驰援。
27日拂晓开始，日军将主要进攻方向指向沂河以西的张自忠部。至28日夜，张自忠向李宗仁电告：“战事激烈为前所未有……职军两日以来，伤亡两千人，连前此伤亡达万余人。职一息尚存，决与敌奋战到底。”29日7时，第333旅到达临沂城东，下午，第20军团的骑兵团亦到达临沂城西。但此时日军第2军“因濑谷支队(台儿庄)方面的战况吃紧，命令第5师团救援濑谷支队。于是第5师团命令坂本支队暂时中止攻击沂州(临沂)，去救援濑谷支队。坂本支队队长在临沂附近留下步兵约2个大队，主力从29日夜开始缩小战线，撤兵南下”。临沂形势有所缓和。
3月30日，临沂守军发现日军“向北退却”，当即“令333旅沿沂河，骑兵团向艾山、义堂集一带追击”。日军第5师团师团长板垣征四郎在坂本支队西进后于3月31日进至汤头，接着又进至临沂西北的义堂集，指挥坂本支队留下的两个大队，将追击的中国军队阻止于汤头及义堂集以南，然后重新调整部署，增调部队，作再次进攻的准备。临沂地区虽然每日仍有战斗，但在日军发动大规模进攻前，形势相对稳定。在临沂地区1个多月的战斗中，第59军及第40军共伤亡1万余人。日军第5师团伤亡约3000余人，并未能完成攻占临沂的任务。这是该师侵入中国以来，继平型关受挫后遭到的第二次严重挫折。