果然，严嵩的女儿西宫娘娘见徐贡元不辞而别，撺掇嘉靖帝的劲头更足，再三说此人不除，有损万岁的圣威。于是，嘉靖帝便下了圣旨，派御林军到贡元家来抄斩他家满门。
这天，这支十多人的队伍，到了紫岚岭上时，已是巳时，太阳正紧，人人热得满头大汗，也进茶馆休息。他们见这里有个人在一旁悠然自得地品茶，领队的头目问道：“喂，喝茶的，这里有个叫徐贡元的，你知道吗？”贡元说：“徐贡元是我们这里有名的清官，哪能不知道啊。”那头目又问他认不认得到徐贡元家去？贡元说：“家乡熟人，怎能不认得呢？”于是，这头目便吩咐这位“茶客”为他们带路。贡元欣然答应。
他们出得茶馆，贡元骑上毛驴，撑上遮阳伞，便带着这些兵丁，往平铺方向的长山头上走来。大热天，骄阳似火，走在青蓬柴夹道、高低起伏的山路上，热浪熏人。贡元渴了，将伞柄往嘴上凑一下，喝点水。约莫走了一个多小时，这些在皇城里骄养惯了的兵丁，汗水湿透了衣裳，又没有水喝，都口渴心焦，疲惫不堪。
头目问道：“贡元家在哪里，还有多少路哇？”贡元说：“怎么？才走了这么点路，就问起他家在哪里啦？他家还远得很呢。我舍得工夫给你们带路，你们急什么呢！”说着催驴又走。走了一程，头目实在热得受不了，很不耐烦地问道：“贡元家到底还有多远？”
贡元这才勒驴驻足说：“贡元家还有多远吗？我说你听：从这里到贡元家，十里长山跑死马，十里团山转死马；还有十里陷马摊，再过十里大兴湖，走过小兴湖里十里梅花桩，才能看到贡元家的庄园。这些虽说都是十里路，其实只是个约数，何止十里呢？我们走了这么大的时辰，十里长山还没走到一半呢。”
此时，日当正午，火热的太阳当顶照着，热得这班兵丁像是蒸笼里的乌龟，实在吃不消。本来，贡元在朝中口碑很好，这头目也没有冤仇一定要去杀他。于是，说道：“算了，算了。徐贡元家这么难走，就算到了他家，我们也没命了。干脆打马回京。”说完，没再理会贡元，便回马转程了。机智敏捷的贡元，就这样逃掉了皇上的追杀。可是，这班御林兵为了回京能够交差，路过三山街道时，却杀掉了三山的一门无辜的徐姓。贡元知道后，大哭了一场。而后，迁徙自己住处的徐姓到三山，填补了三山徐家。
徐贡元为官清廉，因此家道并不富裕。逃掉了皇上追杀后，与地方绅士、百姓来来往往，也还怡然自乐。这一年的六月十九，他与众绅士去九华山做观音会。这时候，庙里正筹备建筑观音阁。主持见他们都是时尚名流，特别设宴招待。
庙里设宴是有规矩的，吃酒的人应该捐款；特别是坐首席的，要带头多捐。因此吃酒时，众绅士都不肯上首就坐。徐贡元见了，既笑笑呵呵又大大方方地坐了上去。席间，主持捧着缘簿请众绅士施舍。因为贡元坐在首席，理所当然地首先捐赠。
贡元清清嗓子，又是笑呵呵、大方方地说着捐赠数字，并且请主持落笔：“我徐贡元见钱捐一百挑，见盐捐一百挑，见油捐一百挑。”在位众绅士听了，虽然不相信贡元会有这许多财产可捐，可是他们虔诚地笃信，在佛事上是不可打诳语的；加上贡元到底是当过朝中大官的，以为他会有另外的财产。于是，各要面子，尽力地捐赠。
之后，庙里化缘时，总捧着这些绅士捐赠数字的簿子昭示施主，施主们见了他们捐赠的数目，都不甘小气，使九华山观音阁顺利地建了起来。在收集捐款时，主持知道贡元的用意，最后才收他的。贡元只是拿着食具汤匙，将钱、盐、油各挑了一百挑给庙里。并且说：“这汤匙，我们地方上叫做挑子。我所说的各捐一百挑，就是指这样的‘挑’子。实在嘛，我贡元哪来那么大的财产，能捐得出挑担的‘挑’呢？当时所以那么说，只是为了想大家都能多捐赠一些啊！”尽管这样，主持还是感谢贡元带了个好头，于是，决定赠送他一对旗杆。
贡元说：“我本无功劳，承蒙主持错爱，这旗杆就不能树在外面了，因为会丢人现眼。只好放在大梁上架着，每一百年拿出来出一回新。等到哪一年，我繁昌县能有一百支‘华山会’朝九华山时，我的旗杆再树出来，以表示纪念。”
主持知道，繁昌是不可能一次有一百支香会朝九华的。贡元这么说，分明是不肯将旗杆树在外面，让风吹雨淋而腐朽。于是他也顺势说了句相衬的话：“等到你繁昌能有百支会朝九华时，我从青阳结络子，一直结到我九华山上来，表示欢迎。”青阳城离九华山六十里路，从那里结络子上九华山，也是不可能的。于是，贡元的旗杆总是架在观音阁的大梁上，每一百年才给出一回新。这样，旗杆永远坏不掉；拜观音菩萨的人，同时也拜谒了徐贡元的旗杆。这样，徐贡元的名字与这旗杆，以及观音阁，共同存在。
嘉靖帝逝世后，他的儿子朱载垕当了皇帝，是为穆宗（1567—1572年在位）。穆宗杀了严嵩，严嵩的女儿西宫娘娘也被贬出了皇宫。一日，徐贡元在九华山看见一位尼姑在井边洗衣，觉得面熟，特别走近一看，原来却是西宫娘娘。出于礼貌，他问候道：“娘娘，一向可好？缘何削发为尼？”西宫娘娘回首一看，见是