同意只撤走老弱婦孺這個計劃，但名單和人數就不必英法提供了。陶恩培出示了幾分冗長的名單，上面居然都是英法租界內的人員名單，密迪樂看了之後大吃一驚，想不到這份名單比他手上的還更為詳盡，足見太平天國老早就在收集租界的所有情報，而租界裡的中國人也不知道有多少是他們的探子細作。

最後，威妥瑪和密迪樂只得按照那份名單逐一核對後確認了需要撤走的人員，威妥瑪希望能夠讓幾位重要的商人一同撤走，以確保他們的安全，比如克利福德、亞歷山大等人。陶恩培也爽快的同意了，但他卻提出克利福德不能留在香港，他必須回到英國去，換一個頭腦清楚的人過來，這樣一個頭腦不清的人留在遠東只會讓羅斯柴爾德家族在遠東的利益受損。

密迪樂也樂意儘快送走這尊瘟神，他對克利福德的好感早就降到了最低，而威妥瑪也沒有表示反對，在他看來克利福德和亞歷山大的意見相左，亞歷山大也不希望這位少爺留在遠東的。

雙方草簽了一個交換協議，第二天開始便由太平軍接送撤走的老弱婦孺，雙方在吳淞**接，至於太平軍的運送費用自然是少不了的。

當克利福德知道自己要回香港之後，他馬上要求密迪樂去尋找他還留在徐家彙大教堂的妻子。密迪樂原本不樂意去做這件事，但經不起怡和洋行亞歷山大的請求，最後只得厚著臉皮請求陶恩培派人尋找。

陶恩培也做了，他讓一名傳教士去了大教堂尋找，但最後只帶回來一封信給克利福德。先前克利福德也收到過李璇璣託英國士兵帶回來的信件，上面只說了她不願意回租界，現在這封信更絕，李璇璣在信上表示，她只想留下來和南丁格爾搞慈善組織，呼籲停止戰爭的暴行，除非英法和太平天國停戰，否則她將終身不回英國。

克利福德看完信函之後，憤怒的將信件撕成了碎片，他鐵青著臉，招呼幾名怡和洋行的武裝僱員就想闖出租界去找李璇璣，好在亞歷山大死死攔住，否則這幾個人只怕會被對面的太平軍打成篩子。

亞歷山大好不容易將克利福德勸回洋行的會客室內，給他倒了一杯威士忌之後說道：“先生，夫人不想回來是因為她的身份比較尷尬，她的母國現在和英國處於戰爭狀態，她回來的話不但她難以自處，也會影響到您。還不如就讓夫人去做那些中立的慈善工作吧，這樣對您和她都好。將來戰爭結束了，她一定會回來的，我知道這些中華女子的美德，她們始終會從一而終，不會輕言背叛。”

克利福德聽了之後稍稍消了些氣，接過酒杯後一飲而盡，亞歷山大坐在沙發上笑著說道：“放心吧，戰爭不會一直持續下去，只要您回到英國去，儘快說服議會做出正確的決定，我想是能夠大大縮短戰爭的程序，那樣就能夠儘快結束戰爭，夫人也能早一天回到英國和您團聚。說實話，您留在遠東是做不了什麼的，現在的局面我們都只能等待國內的訊息。”

亞歷山大不遺餘力的勸說克利福德只是想讓這個燙手山芋儘快離開，有他在遠東只會壞事，回到英國的話，還有羅斯柴爾德家族的人看管著，另外最好就是羅斯柴爾德家族能夠派另外頭腦清醒的人來到遠東，或者就不要再派人來了，這樣才最符合他亞歷山大個人在遠東的利益。

一頓勸說之後，克利福德勉強答應了，亞歷山大鬆了口氣，但克利福德要求亞歷山大每個月都要給他來信，他要知道李璇璣在遠東的動靜。這個要求雖然稍微難了一點，但亞歷山大還是答應了。

第二天，克利福德和英法租界裡的老弱婦孺一共一千多人透過太平軍的商船運送，與在吳淞口接應的聯軍運輸船隻匯合，雙方交接完之後，威妥瑪和密迪樂在船上作別。密迪樂還是得回到租界裡去，有他在租界應該能夠處理好很多事務，威妥瑪也將額爾金的授權書給他，授權他處理戰時租界內的一切事務，包括軍事行動。

威妥瑪順利完成任務，同時也拿到了租界內商人們的意見，回到長江口聯軍海軍停泊區之後，馬上和額爾金等人在旗艦上會面。

威妥瑪詳細說明了租界內密迪樂和商人們對戰爭的態度之後，明確表示他也認為密迪樂的建議是最為合理的。聽完威妥瑪的建議之後，海軍馬西莫格里將軍等人也表示贊同，海軍在沒有登陸兵力的情況下是不宜去攻打港口的，克里米亞戰爭中遠東的英法聯軍就曾經幹過這樣的事，他們在陸軍兵力嚴重不足的情況下去打俄國人北方的軍港，結果就是大敗而回，加上之前的吳淞口慘敗，也證明了這一點，海軍很樂意接下來先消滅太平軍海上的軍事力量。

額爾