晚年的杜月笙，看到黃金榮的兩樣東西，便決定不再回上海！
1949年上海解放前夕，杜月笙舉家遷往香港，這是他在萬般無奈之下做出的決定，香港這個地方，一來自己抗戰時期呆過，有一定的根基，二來此地距離台灣和上海都比較近，可以和蔣介石以及共 產 黨方面保持一種若即若離的關係，有利於自己下一步打算。
杜月笙知道蔣介石和共產黨都在爭取他，而杜月笙也在努力試探方法給出的條件，然後才好做決定。不過對於蔣 介石，杜月笙可以說是失望透底，自己為他做了那麼多事情，甚至不惜與共產黨 方面為敵，結果自己的兒子都被蔣經國給抓了。
事後，雖然蔣介石派人對此事做出了解釋，但杜月笙明白，那是因為自己還有利用價值，蔣介石希望自己能夠穩住上海的工商，金融的那些大佬們，一旦去了台灣，失去了利用價值，下場可想而知。因此杜月笙對去台灣並不感興趣。
再說大陸方面，杜月笙一直在關注共產黨的政策，尤其是共產黨如何對待黃金榮，因為黃金榮不僅是自己的師傅，而且還同杜月笙一起在「四一二」反革命政變中迫 害過共產黨人，只要黃金榮平安無事，自己如果回到上海應該也是沒事的。
就在杜月笙密切注視著上海方面的一舉一動時，突然傳來黃金榮被要求寫「悔過書」的消息，起因是上海百姓對新政府不殺掉黃金榮而感到憤怒，為了平 息民 憤，政 府一方面做出解釋，一方面要求黃金榮寫下一份改過自新的」悔過書「。1951年5月黃金榮坦白了過去的罪行，並認罪道歉，在上海引起了不小轟動。
如果說黃金榮的」悔過書「讓杜月笙心有餘悸，那麼下面的一件事，直接導致了杜月笙做出不再回上海的決定。
當時黃金榮寫下」悔過書「之後，繼續我行我素，在家裡抽大煙打麻將，結果被人舉報，雖然沒有被關進監獄，但卻被懲罰每天早上去大世界遊樂場門口掃大街。
上海大亨黃金榮掃大街，這真是天大的消息，於是許多人專門跑到大世界門口觀看黃金榮掃大街，並拍照。身在香港的杜月笙，在報紙上也看到了黃金榮掃大街的照片，內心有一種說不出來的痛苦。至此，杜月笙終於下定決心，不再回到上海。
