武德二年(公元619年)，王世充拜程知节为将军，拜秦叔宝为龙骧大将军，让他们带兵与唐军作战，王世充军和唐军在九曲(今河南宜阳西北)摆开了阵势。
程知节、秦叔宝一行几十人假装向唐军阵营发动攻击，骑马跑出了一百多步后，
一齐下马向王世充行礼，“我们得到了你的特殊礼遇，也想报答你，但你疑心太重，不能容人，
我们不想与你为伍，就此告别，后会有期”，程知节、秦叔宝素来勇猛，王世充军中已经无人可及，只能眼睁睁看着一行几十人投奔了唐营。
归唐之后，唐高祖李渊把他们派到了秦王李世民麾下，程知节与年轻的秦王一见如故。
李世民久闻程知节、秦叔宝的大名，对他们十分看重，程知节担任了秦王府左三统军，秦叔宝则成为马军总管。
李世民亲自挑选了上千名精锐骑兵，由程知节、秦叔宝等人担任统领，穿着清一色的黑衣黑甲，组成“玄甲队”，每战必为唐军先锋，
李世民本人也黑衣黑甲，与玄甲队一起冲锋陷阵，玄甲队所向披靡，很快就威名远播，成为大唐扫平各个割据势力最锋利的宝剑。
唐裴行俨与王充战，先驰赴敌，为流矢所中，坠于地。程知节救之，杀数人，充军披靡。
知节乃抱行俨，重骑而还，为充骑所逐，刺槊洞过。知节回身，捩折其槊，斩获者，与行俨皆免。
唐时，裴行俨与王充交战。裴行俨先骑马冲入敌阵，被敌箭射中，坠马倒地，程知节去救他，杀了很多敌人，王世充的军队溃逃。程知节抱着裴行俨，二人骑一匹马回来时，被王世充的骑兵追赶，
一槊（兵器）刺穿了程知节，他回身便把槊折断，把那人杀了，他和裴行俨都免除了杀身之灾。
李密很少亲上战场，作为内军骠骑将的程知节和秦叔宝出彩的机会并不太多，后来他们加入了唐军阵营，
李世民总是迎着箭雨一马当先，程知节作为亲卫队的统领，勇猛善战才得到最大程度的发挥。程知节跟随李世民扫平宋金刚、窦建德、王世充等乱世枭雄，担任左一马军总管，“每阵先登”，战功卓著，受封为宿国公。
史上详细记载了玄甲队的一次克敌战例，武德四年（公元621年），唐军与王世充军在洛阳外围相持，屈突通、窦轨在巡营途中，与王世充的部队遭遇，
在对方优势兵力面前，唐军险象环生，李世民得知消息，亲自带领玄甲队前去求援，玄甲队勇猛绝伦，攻势如同泰山压顶，王世充军一败涂地，
骑将葛彦璋被唐军俘虏，王世充军折损六千余人，王世充本人逃回洛阳，据城而守，不敢再与玄甲队面对面的交手，
直到最后当上了唐军的俘虏。唐军削平各路割据势力，在武德七年(公元624年)统一了全国，李世民的威望如日中天，手下又汇集了一大批谋士和武将，
严重威胁了李建成的皇储地位，李建成与齐王李元吉结成死党，向李世民及其手下频下毒手。程知节外调为康州刺史，尉迟敬德甚至下狱受苦，疾风知劲草，
板荡识忠臣，程知节坚持留在了李世民身边，他告诉李世民，“殿下的手臂今被翦除，身必不久，我冒死留了下来，请殿下想办法保全自己”，
此时的程知节没有到外地上任的记录，可见他一直留在秦王府中，在李世民最艰难的时候，他不离不弃，全力支持，表现了一贯的忠诚，
李世民结交了这么多忠心耿耿的部下，可以说一生没有白活，上下同心，成就大业就成了顺理成章的事情。
武德九年六月，李建成、李元吉终于迫不及待地下了手，他们在酒水中下了毒，李世民喝了酒水之后，毒性发作，
吐了几升的血，险些丢了性命。此时又逢突厥入寇，李元吉当上了大军主帅，抽调所有秦王府的精兵猛将，到自己帐下听令。李世民终于意识到，
再不动手，自己和部下的性命堪忧，他决定先发制人，在玄武门伏击李建成和李元吉，砍下了两位兄弟的项上人头。根据程知节墓志铭上的记载，
程知节参与了玄武门兵变的全过程，是将李世民扶上皇帝宝座的首功之臣，大局安定之后，程知节迁右武卫大将军，李世民即位后，赐他实封七百户。贞观年间，历任泸州（今四川泸州市）都督，
左领军大将军，受封普州刺史，改封卢国公。贞观十七年(公元643年)，唐太宗将二十四位功臣的画像，画像与真人一般大小，
程知节名列第十九名，成为青史留名的大唐英雄。也是在这一年，程知节转任左屯卫大将军，检校北门驻军，加封镇军大将军，自始至终，他都是唐太宗的亲信。
君择臣，臣亦择君，唐太宗去世后，唐高宗依然让程知节高官厚禄，但君臣之间已经达不到信任有加的地步。
贞观一朝的将军大多年纪老迈，又经历过永徽年间的清洗，唐高宗手中可用的统帅级人物屈指可数。唐高宗永徽六年(公元655年)，程知节被授予葱山道行军大总管的职务，
率领右屯卫将军苏定方、伊州刺史苏海政等人讨伐西突厥沙钵罗可汗，此次，曾经夜袭卑沙城的右武卫将军王文度被唐高宗任命为副大总管。
显庆元年(公元656年)正月，猎猎军旗向西突厥进发，唐高宗亲自到玄武门为大军饯行，期望程知节能够一举成功。
西行路上，风餐露宿，程知节