克利福德听了之后稍稍消了些气，接过酒杯后一饮而尽，亚历山大坐在沙发上笑着说道：“放心吧，战争不会一直持续下去，只要您回到英国去，尽快说服议会做出正确的决定，我想是能够大大缩短战争的进程，那样就能够尽快结束战争，夫人也能早一天回到英国和您团聚。说实话，您留在远东是做不了什么的，现在的局面我们都只能等待国内的消息。”
亚历山大不遗余力的劝说克利福德只是想让这个烫手山芋尽快离开，有他在远东只会坏事，回到英国的话，还有罗斯柴尔德家族的人看管着，另外最好就是罗斯柴尔德家族能够派另外头脑清醒的人来到远东，或者就不要再派人来了，这样才最符合他亚历山大个人在远东的利益。
一顿劝说之后，克利福德勉强答应了，亚历山大松了口气，但克利福德要求亚历山大每个月都要给他来信，他要知道李璇玑在远东的动静。这个要求虽然稍微难了一点，但亚历山大还是答应了。
第二天，克利福德和英法租界里的老弱妇孺一共一千多人通过太平军的商船运送，与在吴淞口接应的联军运输船只汇合，双方交接完之后，威妥玛和密迪乐在船上作别。密迪乐还是得回到租界里去，有他在租界应该能够处理好很多事务，威妥玛也将额尔金的授权书给他，授权他处理战时租界内的一切事务，包括军事行动。
威妥玛顺利完成任务，同时也拿到了租界内商人们的意见，回到长江口联军海军停泊区之后，马上和额尔金等人在旗舰上会面。
威妥玛详细说明了租界内密迪乐和商人们对战争的态度之后，明确表示他也认为密迪乐的建议是最为合理的。听完威妥玛的建议之后，海军马西莫格里将军等人也表示赞同，海军在没有登陆兵力的情况下是不宜去攻打港口的，克里米亚战争中远东的英法联军就曾经干过这样的事，他们在陆军兵力严重不足的情况下去打俄国人北方的军港，结果就是大败而回，加上之前的吴淞口惨败，也证明了这一点，海军很乐意接下来先消灭太平军海上的军事力量。
额尔金也同意这个计划，但他决定先全军撤回香港休整一段时间，然后海军重新编组、补给之后再北上寻找战机。当天会议上，额尔金决定由威妥玛带领几名军官和领事和商人代表返回英国，向国内议会和首相、女王详细汇报远东的情况，海军派出三艘战舰随行。
第二天，威妥玛上了三艘快速风帆战舰先行南下，临行前额尔金嘱咐道：“扩大战争和委曲求全都不符合我们的利益，体面的和谈才是我们需要的，首相不妨考虑联合俄国人对太平天国施加压力，虽然这听起来有些荒唐，但也不失为一个办法，甚至还可以考虑扶植日本，但那个国家的幕府似乎比满清还要腐朽，很难在短期内奏效。至于美国人的态度不必理会，他们国内的局势也越来越混乱，南北矛盾加剧，难以顾及远东。”
威妥玛表示理解，军事、外交是国内首相巴麦尊和议会都必须考虑的，最后额尔金说不管如何，最好尽快做决定，一旦太平军抓住这半年时间加快统一全国的步伐，等待太平军完成了统一，腾出对付满清的兵力来的话，英法联军都将面临更大的困难。交代完之后，威妥玛就离开了上海。
数天之后，联军船队浩浩荡荡的起锚南返，额尔金站在甲板上远眺上海，口中喃喃说道：“也不知道下次回到这里，我是会以战胜者的身份还是战败者的身份……”