正当胡宗宪以为自己成为了“江南王”的时候，两件突如其来的事情发生了。第一件事情就是他重用的戚继光训练出一支精兵，在地方乡勇的帮助下，渐渐扭转了局面。由原来的被动抵抗，渐渐变成集中优势力量寻找倭寇主力决一死战。这样一来不但发挥了大明军队的作战优势，而且可以从根本解决倭寇问题。这样下去不用几年时间就可以彻底解决倭寇，把为祸江南近百年的倭寇问题彻底处理了。第二件事情就是嘉靖皇帝朱厚熜开始不再完全信任严嵩父子。胡宗宪之所以和严嵩保持着一定的联系，就是希望利用严嵩接近嘉靖皇帝朱厚熜，为自己将来真正成为大人物做准备。至于胡宗宪暗中和徐阶有所协议，也只不过是不得罪两边的人，为自己发展自己的势力创造机会和时间。没想到视为靠山的严嵩，现在成为了嘉靖皇帝朱厚熜看扁胡宗宪的理由。胡宗宪知道一旦严嵩下台，那时候自己不能进入内阁独当一面的话，不但江南的势力保不住，而且连胡宗宪的性命也会不安全。
要是江南战事不断，倭寇闹得很厉害的话，朝廷就算要对付胡宗宪也会再等几年。到时候胡宗宪在江南的实力已经根深蒂固，就算朝廷想对付胡宗宪，也不是一件容易事。退一万步来说，这时候的胡宗宪有足够的钱，可以安排儿子们去秘密的地方生活。可是现在的胡宗宪势力不稳，钱也没有准备好。一旦朝廷和皇帝要对付胡宗宪的话，只要免去他的所有职务，他就一无所有了。当时候不要说是有权有事的太监了，就是任何一个有官职的人都可以把胡宗宪折磨地不成人样。
所以胡宗宪不能倒下，不能这么任由人决定自己的未来。他明明知道俞大猷有问题，手脚不干净，但是胡宗宪还是重用他，目的就是培养自己的势力同时让倭寇再祸乱几年。戚继光虽然也是胡宗宪提拔的，但是戚继光为人忠义，不会因为胡宗宪的一点点私人恩惠而忘记国家大义。胡宗宪多次暗示戚继光，希望戚继光效忠胡宗宪，可是戚继光一点表示也没有。为此胡宗宪对戚继光越来越差，甚至于觉得自己当年信错了戚继光。所以胡宗宪要培植俞大猷，不但要分戚继光的地盘和军权，还要将来分去戚继光大半功劳。比起油盐不进的戚继光，俞大猷就聪明多了，不但表示效忠胡宗宪，而且把自己得到的好处分一点给胡宗宪。胡宗宪太需要俞大猷这种打手兼保镖，更需要俞大猷的胡闹为胡宗宪创造更多的时间发展势力。
可是人算不如天算，胡宗宪利用秦泰对付敌人，得到相当可观的财富，壮大自己的实力。现在反过来也因为秦泰，害得胡宗宪灰头土脸。这可能就是大家所说的“天意”了。秦泰对付了太监，也暴露了严世蕃贪污和通倭的秘密。因为严世蕃的事情，导致严世蕃被“清流”大臣联名上述要求严查。严世蕃的暴露，牵连到嘉靖皇帝朱厚熜彻底对严嵩起了戒心。因为严嵩的关系，所以胡宗宪才会不被嘉靖皇帝朱厚熜看好，失去了进内阁的机会。当胡宗宪利用俞大猷，准备对付戚继光的时候，秦泰又查到了俞大猷的问题。不但使胡宗宪失去了一员大将，又失去发展壮大实力的机会，而且给戚继光组织了大量的经费。后来索性劝降“五色船主”，为彻底平定江南海域起到了决定性的作用。所以可以说秦泰是胡宗宪的“天敌”、“克星”，而不是当年胡宗宪猜想的那种“福星”。要是当初知道这个结果的话，胡宗宪一定会像躲避瘟疫一样，绝对不敢得罪秦泰，或者和秦泰有任何的关系。
就在秦泰大闹西苑前的一个月，胡宗宪的政治生命走到了终点。朝廷下达了一系列的命令，几乎每一道都针对胡宗宪。第一道命令就是免去了胡宗宪兼任的兵部尚书衔。理由是江南战事已经基本结束，不需要这么高级别的军事长官。再说了当初胡宗宪的兵部尚书也只不过是名义上，并不要胡宗宪真正的当一个带兵的武将。这么做就等于把胡宗宪唯一一个中央职务给免了，胡宗宪不能算是京官了。这样一来他再进京的话，只能算是地方官员，不但不能算回去而且按照规矩胡宗宪没有皇帝的准许不能随便离开自己的势力范围，更不能随便进京。第二道命令就是清查战略物资，把所有剩下的武器和战备物资封存起来。当初为了支持抗倭，几乎全国都支援江南，所有最先进的武器和装备都运到了这里。现在战事已经平息，所以要把多余的武器和装备还给原来的地方。这样一来胡宗宪想要私自留下一些装备，想要有自己的武装力量就有点困难了。第三道命令就是撤销江南总督衙门，恢复原有的两江总督衙门和闽浙总督衙门。没有江南总督衙门，就代表不会有江南总督了。这么说胡宗宪这个总督没有地盘了。胡宗宪不是回去做原来的两江总督，就是去当闽浙总督，地盘明显少了一半。最令胡宗宪生气的是，命令中没有让胡宗宪去当两江总督或者闽浙总督。难道就这么把胡宗宪这个总督彻底免去了？就连一个巡抚也不让当吗？
三道命令下达后不久，又来了两道命令。第一道命令是原南直隶巡抚赵贞吉免去现有职务，调入京城别有任命。大家都知道赵贞吉是徐阶的又一个得意弟子，虽然不如张居正这么被大家注意，但是也是一个很有发展前途的人。赵贞吉和张居正比较的话，也有优势，他的年纪不但比张居正大，而且有地方