許世英奉命回國。他專程繞道香港拜訪杜月笙，對這位老友再次給予厚望。這一次，許世英都做好了全盤計劃。他打算在漢口籌建一個賑濟委員會，救濟中日大戰中的難民，希望杜月笙能加入進來。
這次，杜月笙並沒有爽快應承下來。他有兩個顧慮，第一，就是他從來不想做官，對於官場，他早就看透了，若是請他去做官，無非就是要利用他，用完了還會一腳踢開；第二，就是他現在人在香港，怎麼負責漢口的賑濟工作呢？
許世英很了解杜月笙的顧慮，他早就想好的對策。賑濟委員會稱得上是一個慈善機構，所以杜月笙加入，不算做官。另外，許多滬上富豪都跑到了香港，杜月笙在這裡開展賑濟工作，再合適不過了。
在許世英的百般勸說下，杜月笙最終還是接下了這個重任。許世英回漢口不久，就為杜月笙爭取到了一個職務：賑濟委員會常務委員兼港澳救濟去特派委員。
杜月笙當了這個慈善官後，又發揮了巨大作用。在他的努力下，募款活動更加順利，許多人因此受益。這段時期，除了底層的貧苦百姓外，淪陷區的許多社會名流也陷入了窘境，幸虧杜月笙等人及時救濟。
其中前清兩廣總督張鳴岐，家裡已經揭不開鍋了，他為了一家老小的性命，打算豁出去做漢奸。幸虧杜月笙雪中送炭，才令他保全了名節。為此，張鳴岐恨不得焚香叩首來感謝杜月笙。後來，他特意挑了唐代大詩人杜甫的名句，裝裱成對聯，托人帶給香港的杜月笙。
香港的“杜公館”
杜月笙暫居香港後，雖是避難，卻依舊事務繁忙。他先是在九龍半島飯店住了一段時間，可後來抵港的人越來越多，他要處理的事情也日漸增加，住在飯店裡很不方便。於是，杜月笙就派人找房子，後來定下了位於九龍柯土甸道113號到115號的雙開間門麵房。這座三層樓房，就成了香港的“杜公館”。
香港杜公館的房東，是澳門的煙賭大亨高可寧，素有“澳門杜月笙”之稱。高可寧家財萬貫，被港人譽為香港四大家族之一。杜月笙看中了他在香港的這套房子，除了滿意其寬敞漂亮外，還在於它是三層樓房，與上海華格臬路杜公館比較相似，這樣住起來習慣一些。
在香港物色房子的時候，杜月笙就開始將妻妾子女都接過來。當初杜月笙孤身離滬，一個家人都沒帶。他抵港後，就立即想辦法接出家人。他在上海的學生門徒負責護送杜家大小抵港。不料，杜月笙的龐大家屬團，意見不一，最後竟然有好幾位沒有赴港。
堅持留在上海的是杜月笙的原配夫人沈月英。近些年來，杜月笙一直很冷落她，沈月英就乾脆天天抽大煙打發時間，結果弄得煙癮越來越大，一刻也離不得鴉片。因為鴉片抽多了，她身體也很差，根本不願意長途顛簸去香港，所以眾人苦勸了多次後，她還是留了下來。
陳氏夫人這些年與杜月笙的矛盾也不少，她在上海享福慣了，也不大願意去香港，最後雖然不如沈月英態度堅決，卻也留了下來，說看看風向再定。
孫氏夫人一向賢惠大度，她無心爭寵，將一腔心思都放在兩個兒子身上。當時她正在英國照顧兩個留學的兒子，所以她是不會去香港的。
杜月笙在上海時，家裡也是他說了算，哪位太太都不敢駁斥一句。可如今他到了香港，上海的太太們就各自當家了。他雖然氣得暴跳如雷，卻也鞭長莫及。最後，隻有四夫人姚玉蘭、長子杜維藩、長女杜美如等人到了香港。
姚玉蘭等人是香港杜公館的最早住戶。後來陳氏夫人也來了，不過沒住多久就又回了上海，此後直到杜月笙離開香港，她也沒再來過。
雖然杜家人不齊全，但香港杜公館住的人還是不少。
杜月笙抵港不久，他在上海的那班人馬就陸續過來了。除了大管家萬墨林等留守上海外，“小八股黨”的前三號人物顧嘉棠、芮慶榮和葉焯山，上海杜公館的老秘書翁左青和新秘書胡敘五，杜門大弟子沈楚寶、林嘯穀、朱學範、郭蘭馨和張子廉等，都入住了香港杜公館。杜月笙很快就為他們分配好了工作，翁左青負責文電和賬房，胡敘五專任貼身秘書，張子廉負責聯絡香港的紅幫會員，其餘人等，則隨時受命處理各類事務。
。法裁李是就人個這。了門上動自就目頭幫青的港香，心操他要需不真還事這？呢幫青那，了責負廉子張由經已係關的幫紅，佬大的幫兩紅青是笙月杜
節章整完看查𝐰𝐭.𝐩𝐨𝐨到請
。了跡發快很並，下天打港香到跑來後法裁李。榮慶芮的中”黨股八小“、一之剛金大四的笙月杜了識認此由，員票售過做院戲大光新在曾他。識賞的板老杜到得緣無，色角小流末的中幫青是過不隻，混上灘海上在也前以法裁李
。來起大壯就快很力勢幫青港香的笙月杜，是於。港香達抵道渠種各過通乾骨會幫少不有已，時此。榮慶芮是就，的線引針穿他為而。卒前馬的生先杜了做願情甘心，佬大港香當棄放就他，港香了來笙月杜今如。笙月杜的海上拜崇很直一卻，堂名了出混港香在雖法裁李
。館公杜了進接也裡千楊使察監前將人派又笙月杜，來後。等英世許使大日駐的國回剛剛、元家吳才奇場賭的好交人要洋北與、先驥張黨命革老有的住入早較。樓三館公杜了住入都人些這，奔投來趕地撥一撥一就們友好，去出傳漸逐氣名，後開打麵局的港香在笙月杜
。萃薈英群是說以可館公杜港香，住入的人些這著隨
。壁兩廳客在掛懸，了好裱裝人命就即當，歡喜別特他，物禮份這的英世許，以所。手之家名自出為認會對絕，了見人的情內明不，好別特得寫就字個兩”鏞杜“那，年多法書習研卻，多不字識雖笙月杜。笙月杜給送贈，》序教聖《的之羲王幅八了摹臨就，聊無極閒他，詣造有很上法書在英世許
效意樂很也裡千楊。字題詞題、稿文要重理處他為裡千楊請就，用不都書秘連時有笙月杜。般一同非然自采文，》報籲民《過辦起一任右於和曾，士名南江是乃裡千楊
