答应了杨奉，李乐，胡才三人后曹彰便即前往司空府找荀彧，现在他节制后方大小事物，所以这调动一事还要和他商议。
曹彰很少有一天连续两次出入司空府的记录，所以荀彧看见他也颇为意外，经过曹彰简明扼要地说明来意后，荀彧开始沉吟不语。
杨奉，李乐，胡才三人的意图很明显，就是冲着告老还乡的杨彪去的，而且之前在迎接天子东归时曹彰也曾一针见血地指出类似杨家，袁家那种操纵选官制度，左右当世风评的世家有着很严重的弊病，而现在曹彰的举动很显然就是在开始限制世家发展，这让出生于世家的子弟荀彧感到有点不是滋味。
曹彰也不是傻子，自然知道荀彧心中所想，想到今日还和荀彧讨论曹操战胜是先安内还是先一统的问题，现在自己就来想法子限制当世名门杨家，似乎有点言行不一，不过此事天子已经同意，箭在弦上，不能不发，而且曹彰也想好了荀彧如果拿不定主意，就让他传书问曹操，曹操必然会问计郭嘉，他也想看看在这时候，郭嘉会不会支持自己。
荀彧默然一阵后开口说道：“三公子，此时如此逼迫杨彪，是否为时尚早？如今主公和袁绍之战已经开始，杨彪在弘农势力不小，若相逼太急恐怕。。。”
曹彰说道：“先生，如今天下间的名门，四世三公的有几家？”
荀彧想了想答道：“恐怕也就袁家和杨家了吧。”
曹彰笑道：“这不就结了？袁术自立，袁绍欲另立新君，不都是因为他们自恃门生故吏遍于天下，起了对皇权的觊觎之心么？如今杨家也是四世三公，只是杨家没有袁绍和袁术这等割据一方的本事，只在弘农称霸，但是不代表他在父亲和袁绍交战时不起贰心，杨将军带上李乐和胡才也不过是想震慑杨家，想来不会有什么挑衅举动。”
荀彧说道：“唉，杨奉乃杨家庶子，被逼为盗，后归董卓，离家后不归家门一步，还久经战阵，李乐，胡才两人在司隶凶名赫赫，只怕汝南盗匪都畏之如虎，这样怎会不触及到杨家利益？”只从这句话就可以听出荀彧是知道世族暗撑盗贼作为弹劾新任太守的资本和用于劫掠乡里获得灰色收入的把戏。
曹彰在汝南剿匪数月，对当世的世族已经有了清晰的区分，他认为荀家和杨家根本就不是一种类型的家族，只是荀彧身在局中，看不清楚，所以看曹彰要对付杨家才过分紧张。
所以曹彰直接问道：“先生的荀家在颍川也是大族，难道也暗地里支持盗贼劫掠乡里么？”
荀彧听后怫然不悦道：“我荀氏乃大儒荀子之后，治家严谨，岂会行这等不法之事。”
曹彰笑了笑说道：“着啊，我听闻先生祖父荀季和乃郡中有德之士，后蒙朝廷征召为官，也几次不受，受推不过后才勉强应之，时年朝中有大将军梁冀独断专行，祖父更上书直谏，不畏权贵，后遭人排挤便辞官回乡，悠哉治学，赋闲农桑，这等风骨，怎会做那等下作之事？”
见荀彧默然不语曹彰接着笑道：“颍川三大族，荀，钟，陈，钟侯爷就是出自钟家，以《韩非子》治学，其曾祖钟皓，世善刑律，少以清正闻名，公府多次征辟而不受，反而避隐密山，以诗律教授门徒千余人，这等淡泊名利好为人师的人物，想来其传下的家训也不会让子孙做支撑盗贼之事了？”
不等荀彧说话曹彰接着说道：“还有就是陈家，陈寔清高有德行闻名于世，陈寔遗盗一事更成为美谈，想来他们也不会做下如杨家那般支撑盗匪的下作之事吧？”
说到这里荀彧恍然道：“三公子言下之意是指袁家，杨家已经利欲熏心，暗地支撑盗匪劫掠乡里，和寻常地方大族已经有所不同？”
曹彰说道：“吾在汝南剿匪多时，发现汝南盗贼多是地方豪族支撑，便想起随父亲去颍川剿灭黄巾余孽，时年黄巾余孽战力不强，可是颍川豪族只自守而不剿灭，足以看出颍川豪族多蓄私兵壮丁，却没有暗地支持那种有正规武装的流寇劫掠乡里，足以看出世族也有好坏之别，吾今日对付杨家，也是因为他在汝南称霸一方，却连迎接天子这等大事都会半途而废，只顾及自家利益，若不加限制，很可能就会出现第二个袁绍。”
荀彧若有所思的点头道：“三公子所言甚是。”
曹彰说道：“吾思索多日，发觉当时大族可分为三类，其中一类就是家训严谨，重视门风，平行周正的君子之家，这等家族著重文章德行，就如先生的荀家，钟（繇）侯爷的钟家，还有和汝等同郡的陈家！汝等可称得上是书香门第，在乱世中克己修身，忠君爱国，实乃定国安邦之族。”
荀彧谦逊道：“三公子过奖。”
曹彰说道：“绝非过奖！第二类大族就是独霸一方，发乱世财，割地为王，其上仗着有亲属为官，提拔族人，其中则和临近豪族通婚，经营自家势力，自重一方，其下更豢养门客家丁盗贼，对百姓剥削无度，今日遣盗贼抢掠，明日带家丁护院，抢完了还要落个保护百姓的好名声，弄得太守，县令，校尉等地方官形同虚设，空有大族之名却行窃国之实，此乃窃国之族耳！”
荀彧闻言默然不语，显然他已经承认了曹彰的话，杨彪所在的杨家和汝南袁氏的亲族就是如此，这等情况在其他郡县也比比皆是，不容他否认。
曹彰又说道：“最后一种，就是如袁氏一族这般，