对徐彦卓的回国，最高兴的莫过于蒋志清了，这些日子徐彦卓不在，蒋志清简直是度日如年。
蒋志清从苏联回国后，向孙文详细汇报了此次苏联之行见闻，尤其是苏联红军的具体情况。孙文听后，马上孙文任命了以蒋志清为委员长，王伯龄、李济深、沈应时、林振雄、俞飞鹏、宋荣昌和张家瑞七人为委员的黄埔军校筹备委员会，负责军校筹备事宜。
此时，徐彦卓在苏联还没有回国，蒋志清向孙文建议，等徐彦卓回来之后再行筹备之事，可是孙文对创办军官学校非常迫切，希望早日建成一支像苏俄红军那样的革命军，故而一口便拒绝了蒋志清的提议。无奈之下，蒋志清只好勉为其难上任了，军校的筹备工作也紧锣密鼓全面展开。
孙文之所以这么着急也是有原因的。
苏俄十月革命一声炮响，不仅给中国送来了马列主义，也使孙文对如何将革命进行下去的想法一下子清晰起来。那就是要有自己军队。
而孙文在明白了这个道理之后，仍然是走了一段弯路。他先是天真地想依赖江湖气十足的帮派势力；接着又拉起“护法”运动的大旗，想拉拢、依靠一派军阀去攻打另一派军阀，“联甲倒乙”或者“联乙倒甲”。当时的广东各派军阀云集，有粤军、桂军、湘军，滇军、这些军阀大多是具有强烈地方封建性的军事集团，他们并不相信孙文所谓的“护法”运动。他们所要做的，只是利用孙文在全国人民中的崇高声誉，便于向北京政府讨价还价。稳定并扩大自己的势力范围。这就决定了孙文的护法运动不会有什么积极的效果。
现实使孙文深深感到，没有自己的军队，寸步难行。陈炯明的叛变更使孙文认识到依靠一派军阀去打倒另一派军阀是极不现实的，在建军问题上非寻找新的道路不可。
孙文想起了一件往事：他在广州发动护法战争时，有一次，一个带着两个卫兵的人来求见。那个人本来是个骗子，手底下一个兵也没有。却跟孙文说自己有许多部队，表示愿意跟随孙文参加护法运动。孙文十分高兴，热情接待了此人。和他谈了很长时间，讲了一大堆革命道理，然后批了一大笔款子给他，吩咐他把部队带好。不久。孙文要去检阅这支部队。此人便去租了一支部队来，气宇轩昂地横列在孙文的面前，而且队列整齐，穿的都是新军装，背的都是好枪。孙文大为高兴，站在队列前发表了一通热情洋溢的演讲。当他得知，上次批的那笔钱都用来给部队做了军装时，就又给这个骗子拨了一笔钱。后来。孙文攻打惠州时，就把这支“部队”也编在序列之中。骗子满口答应。又去借了一批士兵，耀武扬威地从大元帅孙文面前开了过去。等孙文看不见了，这些士兵就各自到骗子那里领了钱，回自己的部队去了。骗子甚至派了几个人去前方侦察战况，如果是打胜了，就立即到孙文那儿去报功请赏；如果打败了，就去孙文那儿请求给予补充。不管胜败，都可以向孙文要到钱。
事情败露后，孙文只是付之一笑，觉得自己上了一个骗子的当，给人留下了一个笑柄。
现在想起这件往事，孙文才意识到，那个骗子只不过是许许多多骗子中的一个。那些围绕在他身边的军阀，又有哪个不是骗子呢？
痛定思痛，孙文决心组建一支自己的军队。
孙文确定以黄埔岛上原黄埔水师学堂和陆军小学的旧址为校址，学校简称为“黄埔军校”。黄埔岛距广州四十余华里，从广州坐汽车或轮船到黄埔，一小时许便可到达。小岛四面环水，岛上山峦起伏，林木葱茏，环境幽雅。它南连虎门，为广州第二大门户。由于远离喧哗的市区，可以说是办校、驻军的理想之地。
但谁也没想到，军校筹备委员会的委员长蒋志清仅仅赴任两个月就甩手不干了。
1924年2月21日蒋志清突然提出辞职。他在给孙文和国民党中央执行委员会留下的辞职信中称：“前蒙总理委办陆军军官学校，自维愚陋，不克胜任，请另进贤能接待，所有该校筹备处，己交廖仲恺同志代为交卸，以免贻误该党事”。随后，他不等批复，便自行离去了。
非但如此。蒋志清在辞职的同时，还下令解散军校筹备委员会。停办军校、解散筹备处的消息传开后，一时人心惶惶。
廖仲恺得知后来到筹备委员对大家恳切地说：“应该了解，办黄埔是党要办的，而且一定要办成。你们中间有人是蒋先生邀请来的，你们应该以君子爱人以德的态度帮助蒋先生。如果党要办，蒋先生不要办，或因此办不成，那么蒋先生就要开罪全党，将来他如想回来再参加革命，怕也很困难了。所以筹备工作要照常。”
听了廖仲恺的一番话语，大家像吃了定心丸，都表示要按廖先生的意思去做。
蒋志清走后，黄埔军校的筹备工作由廖仲恺负责。廖仲恺一面主持黄埔军校的筹备工作，一面从大局着想，不断地电报催促蒋志清南归。
其实，廖仲恺很能理解蒋志清，黄埔军校的创办，并非一件容易的事情，甚至可以说是烫手的山芋。首先，招生就很困难。当时，各省的军阀为了遏制革命，想方设法阻止军校去自己的地盘招生，甚至设置障碍限制自己地盘内的青年出境。其次，办学经费也是个大问题。
孙文刚挂大元帅职之时，统制粤军及入粤各军。其时滇桂杨刘军驻广