后世但凡提到十三行，知道的人总能一口报出伍秉鉴，但却不知道十三行中的潘家远比伍家底蕴更深厚。
伍秉鉴更出名，是因为美国一本杂志将他评为那个时代的世界首富，却不知道伍家的财富加起来，根本就无法跟潘家相比。
伍家发迹主要就是三代人，第一代是伍秉鉴的父亲伍国莹，第二代是伍秉鉴的哥哥伍秉钧，等到了第四代掌门伍崇曜的时候，伍家就开始走下坡路了。
而潘家却比伍家从容的多，他们是积累了巨额财富后，主动退出的。
潘家发迹得说伍家之前的十三行总商潘振承，潘振承的父亲是一个普通农民，有一股子中国农民独有的吃苦耐劳精神，玩命干活养活五个儿子不说，还坚持送他们去读书。
潘振承继承了这个优良传统，但受迫于家庭贫困，13岁的时候就给人当船工冒险出海，把货物贩卖到菲律宾，卖给洋人，在与洋人长期的生意往来中，潘振承学会了西班牙语、葡萄牙语和英语。
借助这些优势，潘振承24岁的时候，也就是乾隆三年，在广州加入了一个福健老乡的洋行，同乡挣够了钱后，跟许多中国商人一样，带着钱财回老家买地当地主去了。潘振承此时也积攒了一笔资金，向清政府申请成立了自己的洋行，就是大名鼎鼎的同文行。
潘振承没打算挣一笔快钱就走，所以经营上一直诚实可信，得到了洋人的信赖，称他是“最可信赖的商人”，是“行商中最有信用之惟一人物”，发展到最后经常会预支给他多达十万两以上的预付款，这让潘振承的经营如虎添翼。
十年后同文行就已经成了gd最大的商行，不久乾隆下令关闭了福健、浙茳等其他地方的通商口岸，广州进入了长达八十多年的一口通商时代，也进入了潘振承的时代。
开办同文行第十八个年头，乾隆二十五年（1760年），潘振承被官府选为广州十三行商总，并在之后的39年间一直担任这一职务，不但积累了巨额财富，还在洋人面前保持了显赫的地位，法国商人在根据当时一个与潘启做过生意的法国商人在《法国杂志》上描述，潘家每年消费多达300万法郎，财产比西欧任何一个国王的地产还要多。
就像伍秉鉴有意扶持美国人一样，潘振承也有自己扶持的贸易对象，就是当时实力还很弱小的瑞典东印度公司，原因很简单，这是豪商层次的外交策略，潘振承不可能看到英国人一家独大，他需要给英国东印度公司培养竞争对手，就好像后世的美国苹果等大公司，总是培养不同的供应商，让他们竞争然后自己渔利一样，商场上也将就外交策略，甚至西方的外交方法很可能就是这么发展出来的。
因为这样的关系，潘振承跟瑞典人建立了牢固的信任，甚至还参与了瑞典东印度公司的生意，在其中投入巨资。
瑞典大名鼎鼎的哥德堡号货船，最大的商品供应商就是潘振承，要知道这艘船可是瑞典举国之力打造的，瑞典国王对此寄予厚望。后来潘振承将自己的一副玻璃画像送给瑞典商人。那幅画像之后一直保留在瑞典哥德堡市博物馆里。潘振承还是第一个使用汇票跟洋人做生意的中国商人。
就是大名鼎鼎的伍家，发迹之初，伍秉鉴的父亲伍国莹就是在潘家的商行中当伙计，学会如何跟洋人做生意的。
因此可以说伍家是在潘家的帮助下成长起来的，只是潘振承有一种中国商人在文化上的自卑心态，他发家之后不是培养子孙继续经商，而是一心培养有才能的子孙读书科举做官，他的儿子潘有为在乾隆年间考取进士，官至内阁中书，参与过四库全书的编纂。潘振承以此为荣，同时以自己的商人身份为耻。
潘振承死前还留下遗训，让潘家子孙永世不得担任总商。甚至在他家的族谱中，都没有记载他当过总商的事迹，他的两代接班人潘有度和潘正炜在族谱中甚至都没有记在曾经经商过，为的就是洗清潘家的商人基因，彻底转型成为一个诗书门第。潘有度甚至比他爹更甚，发出宁为一条狗不做行商首的遗言。
在几代人的努力下，潘振承第四代之后，就退出了商界，潘家的同孚行也卖给了伍家。
至于潘仕成，却跟潘振承不是一系，潘仕成的爷爷是潘振联，跟潘振承是兄弟，也是在广州经商发家，不过做的是盐商。但是潘仕成这一支一直想加入行商，潘仕成的父亲潘正威曾经向清政府申请成为洋商，但没有得到批准。但他们暗中借助堂叔以堂叔潘长耀的丽泉行与英国东印度公司入行贸易，赚了不少钱。而且每年还能节省给政府的5万两行商税银，等生意交到潘仕成手里的时候，他继承的家业达两千万两。
要知道潘仕成这一支，不过只是潘家的一个分支而已，家产就能跟伍家比肩。还有潘长耀一支也不容小觑，潘长耀的丽泉行在十三行中也是赫赫有名，虽然最后倒闭了，但是在中国历史上也是留下过印迹的。
最有名的要数，1814年潘长耀在美国联邦最高法院控告纽约及费城商人，拖欠自己100万两货款的事情。因为满清朝廷根本不会在中国商人跟外国商人的商业纠纷中发声，反而总觉得一旦有冲突，是丢了天chao上国的脸面，潘长耀不得已在美国起诉。
潘长耀为此还在1815年，致信美国总统麦迪逊，要求美国注意监管本国的商人。这封信以葡萄牙文，英文和中文三种文