公元640年（贞观十四年），李承乾不过盖个房子，于志宁便上疏批评他过于奢华；李承乾和宦官玩乐，于志宁又上疏批评他，甚至将他比作秦二世。相比之下孔颖达更是激烈，他只要觉得李承乾一有不对的地方就立马犯颜直谏，太子的乳母遂安夫人曾劝说过孔颖达，认为太子年龄既长，不宜总是当着面痛加批评指责，而孔颖达却表示我这样做“死无所恨”，结果是“谏诤逾切，承乾不能纳”。至于张玄素，那更是无时无刻不谏，言语之急切恨不得李承乾立刻听他的，至于结果如何更是可想而知了。
李承乾宠幸一名“美姿容，善歌舞”的太常乐人，并称他为称心。唐太宗闻之大怒，将称心杀死。李承乾非常伤心，在宫中为自己死去的男宠立室，让宫人日夜祭奠。李承乾在宫中为称心树冢立碑，并赠予官职，并经常为称心而哭泣流泪。自此，李承乾与父皇之间的隔阂更深了。
公元641年（贞观十五年），李承乾私引突厥群竖入宫，再次惹来于志宁的上书。虽然李承乾因为害怕父亲知晓而只敢偷偷地暗着来，然而世上并没有不透风的墙，自己的儿子究竟在做些什么，唐太宗心里自然一清二楚。于是唐太宗下令让李百药等人侍讲于弘教殿，并嘱咐杜正伦要时时规劝太子注意言行。结果杜正伦在几次规劝无效后，便把太宗的话告诉了承乾，承乾一怒之下抗表闻奏，唐太宗对此十分不满，质问杜正伦“何故漏泄我语？”于是将杜正伦贬为谷州刺史，又左授交州都督，后来又因承乾谋逆一事，将之流放驩州。
同年十二月，唐太宗驾幸洛阳，李承乾监国，尚书右仆射高士廉摄太子少师。庚子，唐太宗又命三品以上的嫡子皆出仕东宫。公元642年（贞观十六年）二月，由魏王李泰主编的《括地志》完稿，唐太宗非常高兴，如获至宝，不仅将这部著作收藏进了中，还接二连三地大肆赏赐李泰——先是赐“物万段”，紧接着又每月赏赐大量的财物，数量之多甚至超过了太子的规格，于是唐太宗干脆下诏取消了太子出用库物的限制。李承乾上表推辞，唐太宗答道：“汝家之冢嫡，国之储两，故有斯命，以彰有殊。……勉思守道，无烦致谢。”
九月丁巳，唐太宗任命魏征为太子太师。而此时的李承乾对宫中的一名太常乐人大加宠幸，唐太宗知道后自然将之收杀，结果承乾悲痛之下一连几个月称病不上朝，甚至对屡屡劝谏他的张玄素等人意欲痛下杀手。然而就算是承乾胡闹成了这样，唐太宗也不曾动过废太子的念头，甚至煞费苦心地将魏征任命为太子太师。此举的目的就是意在告诉众人，他是绝不会废掉承乾这个太子。
公元643年（贞观十七年），魏征病重，唐太宗亲自带着太子与衡山公主（永徽三年改封新城公主）到魏征的府邸探望。三月，左屯卫中郎将李安俨上表称：“皇太子及诸王，陛下处置，未为得所。太子国之本也，伏愿深思远虑，以安天下之情。”唐太宗则答道：我知道爱卿你的意思，我的儿子虽患脚疾，可依然是嫡长子，我怎能舍弃嫡子而立庶子呢？（在皇后只有一个儿子的情况下，那个儿子就是嫡子；在皇后生了多个儿子的情况下，其中年纪最大的一个就是嫡子，其余的是庶子。）因为关于皇子谋反一事该如何处理根本就无需商讨，按律当诛。最后还是通事舍人来济站了出来，说：“陛下上不失作慈父，下得尽天年，即为善矣。”于是唐太宗下令，将李承乾废为庶人，流放黔州，总算是保住了爱子的一条性命。而来济也因为此事得到唐太宗的看重，官职不断得到升迁，不久就考功员外郎，次年便升迁中书舍人，与令狐德棻等人共同撰写《晋书》。
同年李世民下昭：肇有皇王，司牧黎庶，咸立上嗣，以守宗祧，固本忘其私爱，继世存乎公道。故立季历而树姬发，隆周享七百之期；黜临江而罪戾园，炎汉定两京之业。是知储副之寄，社稷系以安危；废立之规，鼎命由其轻重。详观历代，安可非其人哉！
皇太子承乾，地惟长嫡，位居明两，训以《诗》、《书》，教以《礼》、《乐》。庶宏日新之德，以永无疆之祚。而邪僻是蹈，仁义蔑闻，疏远正人。亲昵群小，善无微而不背，恶无大而不及，酒色极於沈荒，土木备於奢侈。倡优之技，昼夜不息；狗马之娱，盘游无度。金帛散於奸慝，捶楚遍於仆妾，前後愆过，日月滋甚。朕永鉴前载，无忘正嫡，恕其瑕衅，倍加训诱。选名德以为师保，择端士以任宫僚。犹冀中人之性，可以上下；蟠木之质，可以为容。愚心不悛，凶德弥著。自以久婴沈痼，心忧废黜，纳邪说而违朕命，怀异端而疑诸弟。恩宠虽厚，猜惧愈深，引奸回以为腹心，聚台隶而同游宴。郑声淫乐，好之不离左右；兵凶战危，习之以为戏乐。既怀残忍，遂行杀害。然其所爱小人，往者已从显戮，谓能因兹改悔，翻乃更有悲伤。行哭承华，制服博望。立遗形於高殿，日有祭祀；营窀穸於禁苑，将议加崇。赠官以表愚情，勒碑以纪凶迹，既伤败於典礼，亦惊骇於视听。桀跖不足比其恶行，竹帛不能载其罪名。岂可守器纂统，承七庙之重；入监出抚，当四海之寄。承乾宜废为庶人。朕受命上帝，为人父母，凡在苍生，皆存抚育，况乎冢嗣，宁不锺心。一旦至此，深增惭叹。
尔后在重新立储之际，唐太宗深知“