张浚就是搅局“移军”的幕后黑手，岳飞怎么能够想到？
但岳飞也略微猜到，张浚召集自己的意图，无非是说客一番吧，但他不知道张浚会是什么态度。为了表示，对这位名震天下的，主战派领袖的尊重，岳飞还是老老实实地待着，听从上峰的指示。
看着这位急速崛起的大将，张浚突然感觉，不知道说什么好了。直接告诉岳飞，皇帝害怕你拥兵自重，将来造反，这样肯定不行。
张都督，最后采取很不明智的办法，那就是揣着明白装糊涂。装模作样地征求岳飞的意见：“淮西这支部队很服气王德，现在准备任命他担任总管，郦琼担任副总管，再让吕祉，以都督府参谋的名义统领。岳太尉你，以为如何？”
很显然，张浚的话绝非是征求岳飞的意见，而是通知岳飞，刘光世的军队朝廷另有安排，你就不要过问了。
按照岳飞的个性，肯定不可能愉快地接受，但他还是克制地说道：“淮西军多是盗贼出身，发生变乱就在一瞬间，王德和郦琼素来不相上下，而且互不服气。这种安排必然导致二虎相争。吕祉虽然是位通才，可是毕竟是位书生，不习军旅，恐怕难以服众。我觉得必须选择合适的大将，来安抚淮西军，不然，局势不可预测。”
“张俊如何？”
“我本来不敢说三道四，但是为国家利益考虑，恐怕张宣抚性子太暴躁，缺少谋略，尤其是郦琼会不服。”
“杨沂中应该高出这二人了？”张浚脸色有点阴沉。
“沂中虽勇，和王德差不多，怎么驾驭得了这支部队？一旦处置不当，变乱可能在弹指间就会发生。”岳飞摇摇头说道。
张浚十分生气，说了一句相当伤人的蠢话：“我就知道除了你岳飞，其他人都不行！”
岳飞更加生气，腹诽：有话就直说，拐弯抹角干什么，当别人是傻子吗？这件事肯定是你张浚在背后搞鬼。
岳飞也忍不住了，愤慨地说道：“都督你正儿八经地问我，我不敢不据实回答。难道，我是为了图谋这支部队吗？”
话说到这个份上，也没什么好说的，双方不欢而散。
张浚基本上认定岳飞，为了增加势力，而图谋这支行营左护军。岳飞也基本认定这次皇上收回成命，是张浚从中作梗。
岳飞离开都督府，立即上了一道奏章，以与宰相议事不合为由，请求辞职。然后未等批复，就把军中事务委托给助手张宪代管，自己径直回到庐山，给母亲扫墓守孝去了。
岳飞的行为，在古代官场是极为忌讳的事情，与宰相议事不合，就敢以此为由辞职，这分明是以下犯上。没有得到皇帝的同意，就擅离职守，这分明是藐视君王，侵犯皇权。
张浚十分恼火，他对骄兵悍将从来都不客气的，也不知妥协为何物，对于岳飞当然也是如此。得知岳飞擅离职守之后，张浚多次上奏皇帝，坚决弹劾岳飞：“岳飞处心积虑，一门心思地就想兼并别人的部队。此次辞职，真实的意图是要挟皇帝。”
气头上的岳飞，丝毫没有想到自己这么做的后果。他希望能以赌气的方式，来唤起欣赏自己的君王的觉醒。真是，太天真了！
在中国的帝制长河中，任何人将普通人的感情，加诸于帝王身上，那是大错特错的行为。须知，帝王行为，绝不可用常理揣测。
此时的赵构，已经不是当年那个，老是哭哭啼啼的赵构了。多年的磨难和历练，使赵构的信念异常坚定。在他的努力和坚持之下，他的皇权尊严，终于获得朝野的认可。他绝不允许任何一个臣子，挑战自己的皇权尊严，哪怕是自己很欣赏，很厚爱的岳飞也不例外。
事实上，此时的皇帝对岳飞极为恼怒。他将岳飞的举动，理解为居功自傲、骄横跋扈和对自己的大不敬。赵构基本上接受了张浚的说法，在心理上关闭了，对岳飞理解与信任的大门，至少在这一刻就是这样。
面对赌气的岳飞，张浚的出手也毫不含糊。
张浚虽然是坚定的主战派，但他毕竟是文臣，祖宗家法一刻未曾忘怀，防范武将一直是张浚行事的准则。
张浚之所以不让岳飞，掌握刘光世的淮西军，原因之一，就是赵宋防范武将的历史传统。他本来就一直想，将朝廷各大将的军权收归朝廷，由文臣掌控，然后再挥军北伐，收复失地。
——————————————————
岳飞回忆数日前，于都督府的一幕，不由怒从中来。
李若虚非常无奈，这岳飞简直比牛还倔，好话说尽也没有用。就这样，双方一直僵持到第六天，李若虚不得不对岳飞，说了一段极其严厉的话。
“岳飞，难道你是想造反吗？难道让你出来主持军务，不是好事吗？你坚持不干，朝廷怎么会不怀疑你？想想看，你不过是河北的一个农夫，受天子委托，掌握这么大的兵权，你是不是觉得可以和朝廷抗衡了？如果你坚持不再复出，我们二人将受刑死掉，我们和你无冤无仇，也没有什么对不起你的地方。我们死了，你难道一点都不觉得有愧于我们吗？”
这一番话，很有可能就是赵构，想说而没有说的话。
岳飞终于意识到，事情闹大了，不得不出山。
岳飞下山后，直奔建康。
六月初