王安的还是不断的训练着军队，还是在固定的时间带着他们到雁门关外打猎，只是每次一见匈奴的骑兵，无论多少。就急忙撤退到附近的城池，凭借坚固的城池抵抗匈奴的入侵。又一次，只有几十个匈奴，却把王安吓得躲到了城池内，这个消息，很快都在关外关内传开了。
关外的人这次没有骂王安，因为王安已经到了让人鄙视到无法再鄙视的地步了，多说无益。关内的百姓也没有继续骂王安，他们已经懒得再骂了。关内的百姓开始抛弃王安，心道以前我们将王安倚为长城，现在我们都开始思考国家的防御问题，我们怎么对付匈奴，我们怎么防守边境，匈奴的骑兵行动迅速。大晋的军队一旦战败，军队无法逃走，打胜之后又追不上敌军。我们防守的时候他不来，我们松懈的时候，他却突然袭击。把军队放在长城上，敌军集中一点也可以攻入长城，使得长城失去作用，如果不派军队防守长城，那么匈奴军队肆无忌惮的入侵，关内的损失将会更大。关内的百姓与将军、文官都没有想到好的办法，他们感叹，与匈奴的军队作战，如同与自己的影子在搏斗一般。
王安的军队也被辖区的人们看不起，甚至有孝向他们投掷石块，还有的百姓向他们唾吐沫。王安的军队一旦执行什么任务，市民总是与他们作对，并且讽刺他们说道：“你们有本事去对付匈奴啊，对付些手无寸铁的老百姓算什么本领”，甚至军队的士兵想要买什么东西的时候，有的商贩甚至拒绝与他们做生意，并且说道：“你们吃这些都是浪费，你们是一群懦夫，不能为国家守护边境，留你们何用”，士兵每i到王安那里诉苦，王安就告诉他们一个字：“忍”。王安的士兵把内心的委屈都化作了训练的动力，士兵的战斗力每i都在增长。
大晋吏部的官员不止一次的向皇帝打报告，希望撤销王安的官职，但是皇帝并没有理睬。户部的官吏也成为被侮辱的对象，与王安有联系的所有人都成为了公众发泄情绪的对象，但是户部的官员却没有丝毫的埋怨，孙银思、孙启甚至说道：“能够与王安一起挨骂，这是一种光荣”。兵部的孙尚严禁部内的官员发出侮辱王安的声音，他说道：“我们不知道王安现在为什么变得懦弱了，但是他毕竟是为国家立下了无数功劳的将军，应当获得尊重”。
匈奴的部队集结起来，他们准备入侵河东，因为他们得到消息，王安新购买了大量的牛羊、布匹、茶叶等匈奴需要的物质，准备送到雁门关去。