在整编中，旅都缩编为团，一部分团缩编为营，一部分营缩编为连。这样，就有许多干部编余。对于这批干部，除将老弱病残交地方妥善安置外，对骨干均予保留。有很多干部被降级使用，去充实基层，有的班长排长去当战士，使基层干部的军政素质和部队的战斗力都有了很大的提高。罗荣桓说：“这样做，干部可能有点思想问题，总认为没有犯错误，为什么降级使用？我们应该帮助他们正确认识这个问题。”他亲自找梁兴初、罗华生、曾国华几位由旅级降为团级的干部谈话，勉励他们从当时斗争的需要出发，从部队的长远发展看问题。他们出于对罗荣桓的信任和尊敬，都愉快地接受了新的任命。
日本投降以后，以保留下来的骨干为基本力量，在山东一下子就拉起了八个师。这时，有些干部回过头来才认识到，罗荣桓在精简整编中保留骨干的深远意义。罗荣桓一开始未必想到要拉起八个师，但他心里明白，骨干是革命的财富，财富就不能随便丢掉。
在整编中，新的山东军区还把抗大第一分校和115师教导大队合编为教导团，由袁仲贤（后为曾国华）任团长，梁必业任政委。在胶东的抗大支校改编为教导第二团。
教导团共办三期，第三期下设三个大队。原训练连排干部的大队编为第一大队；将原分校中知识分子分配到部队，把部队中有实战经验而文化水平较低的老战士、班长调进教导团，编为第二大队，亦称文化大队，着重进行文化训练；招收初中毕业以上的学生入伍，编为第三大队，亦称特科大队，准备培养工兵、炮兵等特种兵。这个大队的学员后来到东北，成为各军兵种的骨干。解放军空军部队的林虎、徐登昆、张积慧等英雄人物，均出自这个大队。
实现主力部队地方化，并加强党的一元化领导，增强了部队之间、军队与地方之间的团结，减少了领导层次，精简了机关，提高了部队的指挥效率和战斗力，为转变山东斗争形势发挥了很大的作用。
陈毅邀请罗荣桓
部队的精简工作完成后，罗荣桓似乎松了一口气。第一把火烧得不错。但有一个问题仍然没有解决，3个多月过去了，罗荣桓的病情依旧。最急的当然是林月琴，她看到丈夫日渐消瘦的脸，忧心如焚。罗荣桓的同事和医生们也很着急，由于当时医疗条件差，几个月的时间过去了，还不能确诊究竟是得了什么病。
除山东有人着急外，在江苏也有一个人着急，他就是新四军军长陈毅。当陈毅得知罗荣桓的病情后，拍电报给中共中央，建议让罗荣桓去新四军所在地治病。他说，新四军里有位奥地利的泌尿科专家，名叫罗生特，医术很高明。中共中央毛泽东主席和八路军总部同意了这一提议，批准了罗荣桓到华中新四军驻地去治病。罗荣桓也意识到了自己病情的严重性，这次也没有推辞，决定到苏北去治病。115师的很多人认为，罗荣桓的病这次有了希望。
4月间，罗荣桓在原115师卫生部部长谷广善和夫人林月琴等陪同下，从滨海驻地出发，越过陇海路，经过苏北的沿海区、盐阜区到淮北区，然后渡过洪泽湖，于5月28日到达驻在淮南区盱眙县东南黄花塘的新四军军部。
陈毅立即风尘尘仆仆地从前线赶回来，迎接他的“客人”。
当时，115师与新四军是近邻，特别是在“皖南事变”后，新四军的作战地域逐步向北转移，最北端已接近鲁南地区。
陈毅非常热情地招待他的客人。
当天晚上，他请罗荣桓和林月琴吃了一顿小笼汤包。5月31日，新四军军部开了欢迎会，晚间演了戏。由于军务缠身，陈毅把罗荣桓治病的事安排好后，又返回前线。
这次罗荣桓到新四军，一路上还见到黄克诚、彭雪枫、赖传珠、张爱萍、钟伟、王东保等老战友。罗荣桓与他们在一起回忆往事，缅怀已牺牲的战友，有时谈得兴高采烈，倒也减轻不少病痛。
罗荣桓到达后，罗生特医生便很快对他进行了全面的身体检查。为了弄清楚是膀胱还是肾脏出血，需要作一次膀胱镜检查，可当时没有麻醉剂，做这样的检查又是十分痛苦的，罗生特面有难色。
罗荣桓像是猜透了罗生特的心思，对站在一边的翻译说：“请转告罗生特大夫，我是专程来请他治病的，他要怎么检查，怎么治疗，就放心大胆地进行吧。”当翻译转告罗生特后，罗生特立即高兴地点了点头，然后用膀胱镜给罗荣桓进行了检查。
膀胱镜是金属制作的，检查时尿道内壁不可避免地会被擦伤，当用稀释的硝酸银溶液冲洗膀胱时，刺激擦破的伤口，便钻心地疼痛。
罗荣桓的额头上渗出了豆大的汗珠，整个身体都处于轻微的痉挛之中。
林月琴看不下去了，含着眼泪跑出门外。
随行人员也看不下去，把目光移向别的地方。
罗荣桓也是人，他也感到了难以忍受的疼痛。但他毕竟是罗荣桓，能以顽强的意志与疼痛抗争。此时此刻，他意识到自己肩负的责任和所承担的义务，他想到毛泽东给他的电报，想到了山东军区9万人的抗日武装，他也想到了林月琴“东进”和“南下”一对儿女……
在场的人无不为他捏了一把汗。罗生特细心地操作，尽量减轻罗荣桓的痛苦，用不大熟练的汉语叨咕：“马上就好，马上就好。”
检查结