建安二十一年（216年），曹操再征孙权。
军到合肥，曹操循行视察昔日张辽作战的地方，赞叹良久。于是给张辽增兵，多留诸军徙屯居巢。
曹操攻濡须口，孙权请降，留夏侯惇（du
）、曹仁、张辽等屯居巢。
…………
关羽围曹仁于樊城，适时孙权称藩于魏，为了让孙权安心攻打荆州，于是，曹操召张辽及诸军悉数回救曹仁。
张辽尚未到达，徐晃已经打败关羽。张辽便与曹操会师摩陂，曹操乘车出来慰劳他，并派他屯于陈郡。
在陈郡，张辽又在当地纳了两房妾室，一个没生养，另一个只给他生了一个女孩。女孩儿，史籍没留下名字，地方志说其女夭折。
…………
曹操去世，曹丕即位魏王，改迁张辽为前将军，分封其兄张汛及一子为列侯。
不久，孙权再叛变，张辽还屯合肥，并进爵都乡侯。
曹丕赐舆车予其母以示荣宠，并派兵马送其家人到他驻军的地方，又预先在当地告示张辽家人将要到临，命令所有守军出迎，众军士将吏都列队出候拜迎张辽家人，看见此景的人均认为这是十分荣耀的事。这次，曹丕把张辽流散在其他城市的女人，一并收拢，送到合肥居住。
…………
同年，曹丕称帝，再封张辽为晋阳侯，增邑千户，并前二千六百户。
黄初二年（221年），张辽到洛阳皇宫朝拜，曹丕便引张辽会晤于建始殿，亲问其昔日破吴时的情状。
张辽述说过后，曹丕向左右叹息道：“简直是古代的召虎啊（召虎即召公，是与方叔、尹吉甫、秦仲等齐名的东周大将。他因平淮夷所以被曹丕借作比喻）。”
于是，为张辽建造屋舍，替其母兴建殿室，当年跟从张辽突破吴军阵营、临时应募的一众步卒，都被封虎贲，把张辽的地位已经升至极致，无以复加。
张辽在军中，更是一呼百应，无人不从。
黄初三年（222年），孙权再次向曹魏称臣。
张辽奉命还屯雍丘，却在此得病。
曹丕遣侍中刘晔带着太医审视其疾，并令虎贲卫士们往来传达张辽病况，为张辽问病的使者经常在路上互相遇见。
梁章巨《三国志旁证》中提到“汉三公病，遣中黄门问病。魏、晋则黄门郎，尤重者或侍中。（张）辽位未至公，而遣侍中，盖宠之也。”
可见曹丕如何重视张辽。
张辽之疾久未痊愈，曹丕命人把他接到自己的行营，自己则车驾亲临，握着他的手，赐给他御衣，太官每天来送御膳。
病情稍有好转后，张辽便返回其屯军之所驻军，不骄不躁，忠于职守，尽人臣之状。
正当其时，孙权再次背叛曹魏，曹丕派张辽乘舟，与曹休到海陵临江驻防。
孙权知张辽至此，甚为忌惮，敕令诸将道：“张辽虽然抱病，但仍是勇不可当的，千万要谨慎在意！”
同年，张辽与诸将同破吴将吕范。
但他的病情却也日渐严重，最后终于在江都逝世，一代名将就此陨落。
曹丕为之流涕，谥曰刚侯。其子张虎嗣任其爵。
…………
黄初六年（225年），曹丕追念张辽、李典在合肥之功，下诏曰：“合肥一役中，张辽、李典仅以步卒八百人，破贼十万之众，自古用兵，未见如此。他们使贼众至今仍气为之所夺，真可谓国之爪牙。现分封辽、典邑各百户，赐一子爵关内侯。”
正始四年（243年），张辽得享从祀于曹操庙庭。
历任官职：郡吏，骑都尉，鲁相，中郎将，关内侯，裨将军，行中坚将军，荡寇将军，征东将军，前将军，内朝官，亚于车骑、骠骑大将军。
辽有一兄长，名为张泛，在魏国因为张辽之功而被封侯（曹丕即王位文帝时，张辽转封前将军。朝廷分封其兄张泛及一子列侯）。
子孙：
张辽有一子名张虎，张虎有一子名张统，也就是张辽的孙子。
…………
当年关羽投于曹操营下，张辽与关羽为好友，曹操便派张辽问关羽去留之心，关羽表明只会跟随刘备，张辽想到如果照实说给曹操，怕曹操杀关羽。但不说，又不是事君之道，便叹息：“曹公，是如父亲般的君上；关羽，是兄弟而已。”
最后选择了照实说给曹操。此举被后世认为是为臣下者懂分轻重、能识大体的表现，如南朝宋左仆射刘穆之曾说：“我蒙公（指刘裕）恩，义无隐讳，此张辽所以告关羽欲叛也。”
尚书右仆射何尚之亦曾言：“臣思张辽之言，关羽虽兄弟，曹公父子，岂得不言？”
…………
张辽曾与护军武周不和，后来受胡质劝解，便与武周和好。与李典、乐进等虽然有不和，但在面对东吴大军之际，同样能不计前嫌。
张辽的军事表现受历代所尊崇。唐代李翰所撰《蒙求》中有“张辽止啼”一语。
建中三年（782年），礼仪使颜真卿向唐德宗建议，追封古代名将六十四人，并为他们设庙享奠，当中就包括“魏征东将军晋阳侯张辽”。同时代被列入庙享名单的只有关羽、张飞、周瑜、吕蒙、陆逊、邓艾、陆抗而已。
及至宣和五年（1123年），宋室依照唐代惯例，为古代名将设庙，七十二位名将中亦包括张辽。在北宋年间成书的《十七史百将传》中，张辽亦位列其中。另外，日本俗语中有所谓“辽来来（辽来々）”一语