此后的刘裕以恢复东晋之功成了朝廷的头号实权人物，他的眼光开始投向了北方的胡虏，五胡乱华离此已有百年，北方诸胡经过百年的战乱后，已经形成了以黄河以北建国的北魏，和以山东之地建国的南燕，还有占据关中陇西地区的后秦三个胡人国家。
刘裕之前的东晋历代北伐，都是被胡人打得惨败而归，在他那个时代只要一提北伐，一想到胡人剽悍的铁骑，东晋上下人人色变，几乎都不敢再提驱逐胡虏，恢复河山的事。
而刘裕的心却比天高，偏偏要尝试别人之所不能，于是在刚刚平定了桓玄余党后，开始征战四方，在广州岭南一带还有天师道余党未平，西蜀又在桓玄篡晋的时候趁机自立的情况下，首先选择了山东一带的慕容氏南燕作为打击目标。
刘裕亲率六万北府精锐讨伐南燕，临朐一战，创造了步兵在平原上打垮了胡人重装铁甲骑兵的奇迹，并一鼓作气，灭掉南燕，将慕容氏一族运回建康斩首示众，百余年来汉人的屈辱一朝得雪，第一个被攻灭的北方胡人王朝也极大地增强了汉人的信心，让他们看到了北伐成功的可能。
可是福无双至，祸不单行，天师道的余党趁着刘裕北伐，一路从岭南起兵，利用北府军其他两大巨头，留守南方的刘毅和何无忌的不和，以闪电战的形式迅速击破这两位刘裕的亲密战友，几十万大军兵锋直指建康。
于是刘裕只得火速回师，偏偏北伐军的主力碰到了瘟疫，军情紧急，刘裕只得孤身回到建康城组织防守，以区区一两万临时征召的部队面对天师道沿江东下的数十万大军。