王威等人都没了主意，只好道：“要是等着奏报，哪里赶得上时机，唐国公您的地位崇高，既是宗亲又是贤士，同国家命运休戚相关，要是能平灭刘武周，偶尔专权也是可以的。”
李渊佯装不得已而听从的样子，“既然这样，我们就应当先招募更多的军队。”
于是李渊命令李世民与长孙顺德、唐俭等人各自募兵，远远的百姓投奔汇集，十天之内有近万人应募，比过去几个月李家偷偷摸摸招募人马时，快了不知几倍。
至此，由李渊直接控制的兵力已达三万。
王威、高君雅见李渊大肆招兵，又不断安插亲信，已是十分肯定李渊有不轨之图了，他们都知道李渊若反，肯定会拿他们两个祭旗，所以时常私下会面，商讨对付李渊之策。
而这时，有消息传来，梁师都已攻占了雕阴、弘化、延安等郡，就即皇帝位，国号梁，改年号为永隆，并接受了始毕可汗赠送的狼头大纛，始毕可汗还给了梁师都大度毗伽可汗的称号。
梁师都占据之地，都是关中的北部地区，离长安很近，要是被他南下夺得了长安，那关中可就没李家什么事了。
这时再拖下去，已是徒劳无益，于是李隐面见李渊道：“当断不断，反受其乱，李家欲成大事，就在此事！”
李渊听后，在屋中来回走动了半响，最后在窗边停下，抬头仰望窗外的天空，沉默许久后，转身看着李隐，毅然道：“箭在弦上，不得不发，既然如此，那我们李家就反了吧！”
……
三月二十日，王威、高君雅邀请李渊明天到晋祠祈雨，李渊答应了，王威、高君雅心中暗喜，双目寒光闪动，他们计划明天在晋祠埋下伏兵，等李渊去祈雨的时候，突然发动，一举将李渊击杀！
不过王威、高君雅不知道的是，当天夜里，李隐与李世民便带兵去了晋阳宫城的外面，晋祠就在晋阳宫中。
翌日，王威、高君雅随李渊一同前往晋祠祈雨，晋阳宫城的外面的时候，忽然喊杀震天，杀出一队人马，将王威、高君雅团团包围了，率领这些人马的人，自然便是李隐和李世民了。
王威、高君雅脸色发白的看着李渊道，“唐国公，你这两个儿子是要做什么？”
李渊露出笑容道：“有密报称，你二人暗中勾引突厥人，欲祸乱太原，你们这种乱臣贼子，我作为太原留守，自然是不能坐视不管的。”
高君雅捋起衣袖大骂道：“真正的乱臣贼子是你这老匹夫！”
李渊听后，并不生气，向李隐与李世民点了点头，二人见此，立即指挥军队冲杀上前，一举将王威、高君雅生擒，李渊将他们暂时投进监狱之中。
随后，李隐带着人马假扮突厥人，在晋阳城外耀武扬威了一番之后才扬长而去，投进监狱。
太原军民都以为确实是王威、高君雅把突厥人招来的，于是李渊便顺理成章的将王威、高君雅二人处死，并悬首示众。
李渊随即传檄河东诸郡，要诸郡奉其号令，然后开仓赈济贫民，招募士兵的，从军者络绎不绝。李渊命令将招募来的人分为三军，分左、右军，通称为义士。
裴寂等人、李隐等人联名给李渊上尊号为大将军，三月二十四日，李渊自任大将军，设置大将军府。
李渊任命裴寂为长史，刘文静为司马，唐俭和温大雅为记室，温大雅仍和他弟弟温大有共同掌管机密，任命武士彟为铠曹，刘政会和武城人崔善为、太原人张道源为户曹，上人姜谟为司功参军，太谷长殷开山为府掾，长孙顺德、王君廓、窦琮和鹰扬郎将高平人王长谐、天水人姜宝谊、阳屯为左、右统军，其余的文武僚佐都按照才能授予官职。
李渊又封李建成为陇西公、中领军大都督，中三统军由他统辖；封李隐为灵武公，左领军大都督，左三统军由他统辖；封李世民为敦煌公，右领军大都督，右三统军归他统辖；封李元吉为姑臧公，李智云为平凉公，李建成、李隐、李世民三人人各设置官府僚属，李元吉、李智云则分别挂名了副右军大都督、副左军大都督，但不掌兵。
中领军府、左领军府和右领军府，都归属于大将军府，按理说来，李渊应该自领中领军大都督，亲自统领中领军府才对，但无奈多出个李隐，以他的功劳实力，不给他个领军大都督是不行的，所以只能如此安排了，不过中领军府实际上仍是李渊实际指挥。李建成从中协助。
李隐加官进爵后，自然不会亏待了跟从他的人，他任命李靖为左领军府司马，宋正本为左领军府长史，张亮为左领军府参军记室，周安、刘弘基、黄君汉、苏定方将领则全都升任为左领军府的统军都尉，众人对此无不欣喜，互相庆贺。
当李渊诛杀王威、高君雅，自领大将军的这一刻，其实已经是正式造反了，当然李渊是不会承认他这是造反的，他对外说这一切都是为了匡扶隋室，救民于水火之中。
李渊既造反，目标肯定是入关中的，不过诸事草创，粮草器械等事仍要准备，所以不可能立即出发向关中杀去，不过这准备的时间不会太长。
李渊刚杀了王威、高君雅的时候，曾传檄河东诸郡，希望能得到河东诸郡的效忠，不过没过几日，位于太原郡西南方的西河郡，却宣布不会服从李渊这个乱臣贼子的命令。
李渊大怒，派李建成、李隐、李世民三个儿子分别领一军，共同进攻西