李林甫知道后，便怀恨在心，决定报复。十五日夜，皇甫惟明与韦坚一同游玩，共度佳节。李林甫就以此为借口，奏报皇帝，说韦坚与边将私会，欲谋废立之事。李隆基大怒，旨意一下，皇甫惟明与韦坚因此被逮捕入狱。
李林甫还让杨国忠、吉温等人一起出来做证。李隆基虽然怀疑韦坚与皇甫惟明结谋，但也没有确凿的证据。最终李隆基下制书责备，说韦坚因谋求官职地位存有野心，贬为缙云太守，而皇甫惟明因为挑拨离间君臣关系，贬为播川太守。此后李林甫不断在皇帝面前挑唆，说皇甫惟明有造反之心，李隆基最终还是选择了相信李林甫，就在天宝六年，将皇甫惟明赐死。
原本是显赫的武将家族，只因李林甫妒忌贤良，打击报复，就将皇甫一家残害，致使妻离子散家破人亡。此仇不报更待何时？
皇甫坚端起酒盅再吞下一口，重重地将酒盅墩在桌上，狠狠道：“李峥，你那坏事做尽的爹虽然死了，可你居然还活着，你活着就好，父债子偿，是你李家害得我家破人亡，那我只有杀了你才能解恨了！”