行商们还经常受到官吏个人的勒索，稍不遂意，大祸立至。伍氏曾被比喻成“一只容易被剥光的肥鹅”或“肥羊”。行商中的另一成功者潘氏则说：“宁为一只狗，不为行商首。”行商的资格获得有时候也不是完全自愿的，一旦入了行就不能退出。伍秉鉴要求退休而不得，花了90万银元的代价才将位置改由他儿子顶替，但官方仍要他负担所有行商一切的责任，他又表示愿意捐献2600万银元中的80给官方以求安享余下的20财富仍不可得。
除了大清官方，外国人也不是善碴。大清官方让行商代为“管理”外国商人，但外国商人与行商不过是贸易伙伴，哪里受其管制？由于大清帝国的外贸制度不合现代国际贸易要求，外国商人一直反对和抗议，行商就成了风箱中的老鼠，两头受气。在鸦片战争爆发前，伍秉鉴曾经想充当调停人，避免战祸的发生。但是盛怒的林则徐大人是不会听从他的建议的。作为行商之首，他的继承人、儿子伍绍荣被逮捕人狱，他则被套上锁链，押往大鸦片贩子颠地创办的宝顺洋行，成为催促颠地接受传讯的筹码，林则徐扬言，如果颠地拒绝前往，伍秉鉴将被处死。颠地则为了自己的生命安全而置这种威胁于不顾。
鸦片战争，也是伍氏破财之时。1841年5月，清军战败，被迫向英军交纳600万银元的赎城(羊城)费，伍氏交了110万元。《金陵条约》签订，要求赔款2100万银元，其中300万是商欠，伍氏交了100万元。在民族危难之际，伍氏作为富人，即便出多少钱我们都认为是应该的，毕竟国家、民族利益高于个人利益，何况伍氏有那样的财力。
但是，事情还有另外一方面，即在大清帝国的统治之下，商人不过是官吏敛财的对象，其生命和财产安全都是完全没有保障的，个人尊严就更不用说了，这样的社会，对商人是否公平？对国家、民族是否有利？
对于商人伍秉鉴来说，既然无法改变现实，逃避就成了唯一的选择。耄耋之年的伍秉鉴看来已经看透了世局，所以他想到了移居美利坚。伍秉鉴信中流露的心态，学者陈国栋的评论是恰当的：“看来鼎鼎大名的伍浩官(浩官是伍氏怡和行的商名)不但对洋行的工作失望了，对整个华夏的社会制度也失望了。”(。)