史蒂芬·霍金舊文回顧：我不認為人工智慧必然會良性發展

2018 年 3 月 14 日，英國物理學家與宇宙學家史蒂芬·霍金（Stephen William Hawking）去世，享年 76 歲。

霍金於 1942 年 1 月 8 日出生於英國牛津，是現代最偉大的物理學家之一、20 世紀享有國際盛譽的偉人之一。

霍金生前曾任職劍橋大學理論宇宙學中心研究主任，在任期間做出很多重要貢獻，其中包括他與羅傑·彭羅斯共同合作提出在廣義相對論框架內的「彭羅斯–霍金奇性定理」，以及他關於黑洞會發射輻射的理論性預測（現稱為霍金輻射）。

霍金生前亦有很多著作，撰寫了多本闡述自己理論與一般宇宙論的科普著作，廣受大眾歡迎。其中《時間簡史：從大爆炸到黑洞》曾經破紀錄地榮登英國《星期日泰晤士報》的暢銷書排行榜共計 237 周，成為了一部經典之作。

除了物理學、宇宙學等科學界的重大貢獻，人們對霍金的形象也有著深刻的印象，從大學開始，霍金被診斷患有肌萎縮性脊髓側索硬化症，也就是俗稱的漸凍症，病情會隨著歲月逐漸愈加嚴重。在霍金的後半生，已是全身癱瘓，不能發聲，必須依賴語音合成器來與其他人通話，在這種情況下依然頑強地進行科學研究，並對人類科學做出了重大貢獻。

霍金過去曾在多個公開場合，發表對生命、人類、核武等的看法，特別是晚年對於人類和外星關係、人工智慧發展等方面闡述了諸多擔憂。霍金曾在探索頻道2010年紀錄片《與霍金探索宇宙》里表示，宇宙有1000億個星系，從看數字就可合理推斷外星生物存在。對此霍金鄭重警告，外星人極有可能不懷好意，人類不該再發送訊息到宇宙中，意圖與外星人接觸。從人類歷史，就可以看出，高智慧生物很可能帶來苦難災害。外星生物或許已消耗殆盡自己星球的資源，為了獲得新資源，他們乘坐大型太空船，像游牧民族一般到處遷徙，討伐與侵佔其他星球，外星生物即有可能使得地球淪為殖民地。若外星人來到地球，會如同當年歐洲人哥倫布造訪美洲大陸之後，美洲原生居民消失殆盡一樣，不具足夠對抗力量的地球人不會有好的下場。

除了外星人之外，霍金也曾表達過對人工智慧(AI)發展的擔憂。他認為，人工智慧的潛在威脅絕不僅僅是像電影《終結者》里描繪的那種夢魘，他認為，人工智慧正在走向錯誤的軌跡。

在接受拉里?金採訪時，霍金說道：

政府看上去正在進行一場人工智慧軍備競賽，利用智能技術設計飛機和武器。而那些真正需要人工智慧技術幫助的地方，比如在醫療健康領域，反而並不能優先拿到直接資金支持。

霍金擔心人工智慧並不讓人感到意外——他從幾年前就開始提出類似的擔憂了。但是對於人工智慧軍備競賽，顯然這已經不是短期問題，而是需要引起我們的長期關注了。

當然，人工智慧競賽肯定還會在各個領域裡繼續，比如微軟利用人工智慧提升應用程序，還有很多公司都在探索自動駕駛汽車。不過，除了霍金之外，SpaceX創始人埃隆?馬斯克，蘋果聯合創始人史蒂夫?沃茲尼亞克，以及其他數千個科技界人士都在密切關注人工智慧在軍事領域中的應用。

在接受拉里?金的「Larry King Now」節目線上採訪時，霍金承認人工智慧可以給人類帶來很多好處。他說：

想像一下，人工智慧演算法可以快速評估科學家的想法，更早監測出癌症，甚至預測股票市場。

但霍金同時也表示，人工智慧必須要受到嚴格監管。

但是，對於未來學家雷?庫茲韋爾提出只需幾十年就能實現人類思維和機器的融合，霍金並不認同，他說：

我覺得雷?庫茲韋爾的想法過於簡單化、也過於樂觀了。指數級增長不可能一直持續下去。過去也有發生過的類似預測，有些我們無法預測的事情會打斷人工智慧的發展。我不認為人工智慧必然會良性發展。一旦到了某個關鍵階段，機器能夠實現自我進化，我們就不能預測他們的目標是否會和人類的保持一致。

這就是霍金和庫茲韋爾彼此之間的一場隔空辯論。回到 2014 年，庫茲韋爾曾表示霍金本人就是人工智慧技術的受益者——比如，語音合成軟體，幫助他克服了自己衰弱的神經性變異疾病。同時，他還指出在認識人工智慧前景時，人類通常會出於危險考慮而設置一個「道德律令」。

附霍金 GMIC 2017 演講全文

在我的一生中，我見證了社會深刻的變化。其中最深刻的，同時也是對人類影響與日俱增的變化，是人工智慧的崛起。簡單來說，我認為強大的人工智慧的崛起，要麼是人類歷史上最好的事，要麼是最糟的。我不得不說，是好是壞我們仍不確定。但我們應該竭盡所能，確保其未來發展對我們和我們的環境有利。我們別無選擇。我認為人工智慧的發展，本身是一種存在著問題的趨勢，而這些問題必須在現在和將來得到解決。

人工智慧的研究與開發正在迅速推進。也許我們所有人都應該暫停片刻，把我們的研究重複從提升人工智慧的能力轉移到最大化人工智慧的社會效益上面。基於這樣的考慮，美國人工智慧協會（AAAI）於2008至2009年成立了人工智慧長期未來總籌論壇，他們近期在目的導向的中性技術上投入了大量的關注。但我們的人工智慧系統須要按照我們的意志工作。跨學科研究是一種可能的前進道路：從經濟、法律、哲學延伸至計算機安全、形式化方法，當然還有人工智慧本身的各個分支。

潛在的威脅：計算機智能與我們沒有本質區別

文明所提產生的一切都是人類智能的產物，我相信生物大腦可以達到的和計算機可以達到的，沒有本質區別。因此，它遵循了「」計算機在理論上可以模仿人類智能，然後超越」這一原則。但我們並不確定，所以我們無法知道我們將無限地得到人工智慧的幫助，還是被藐視並被邊緣化，或者很可能被它毀滅。的確，我們擔心聰明的機器將能夠代替人類正在從事的工作，並迅速地消滅數以百萬計的工作崗位。

在人工智慧從原始形態不斷發展，並被證明非常有用的同時，我也在擔憂創造一個可以等同或超越人類的事物所導致的結果：人工智慧一旦脫離束縛，以不斷加速的狀態重新設計自身，人類由於受到漫長的生物進化的限制，無法與之競爭，將被取代，這將給我們的經濟帶來極大的破壞。未來，人工智慧可以發展出自我意志，一個與我們衝突的意志。儘管我對人類一貫持有樂觀的態度，但其他人認為，人類可以在相當長的時間裡控制技術的發展，這樣我們就能看到人工智慧可以解決世界上大部分問題的潛力。但我並不確定。

2015年1月份，我和科技企業家埃隆·馬斯克，以及許多其他的人工智慧專家簽署了一份關於人工智慧的公開信，目的是提倡就人工智慧對社會所造成的影響做認真的調研。在這之前，埃隆·馬斯克就警告過人們：超人類人工智慧可能帶來不可估量的利益，但是如果部署不當，則可能給人類帶來相反的效果。我和他同在「生命未來研究所（Future of Life Institute）」的科學顧問委員會，這是一個為了緩解人類所面臨的存在風險而設立的組織，而且之前提到的公開信也是由這個組織起草的。這個公開信號召大家展開可以阻止潛在問題的直接研究，同時也收穫人工智慧帶給我們的潛在利益，並致力於讓人工智慧的研發人員更關注人工智慧安全。此外，對於決策者和普通大眾來說，這封公開信內容翔實，並非危言聳聽。人人都知道人工智慧研究人員們在認真思索這些擔心和倫理問題，我們認為這一點非常重要。比如，人工智慧是有根除疾患和貧困的潛力的，但是研究人員必須能夠創造出可控的人工智慧。那封只有四段文字，題目為《應優先研究強大而有益的人工智慧》（「Research Priorities for Robust and Beneficial Artificial Intelligence」）的公開信，在其附帶的十二頁文件中對研究的優先次序作了詳細的安排。

如何從人工智慧中獲益並規避風險

在過去的20年里，人工智慧一直專註於圍繞建設智能代理所產生的問題，也就是在特定環境下可以感知並行動的各種系統。在這種情況下，智能是一個與統計學和經濟學相關的理性概念。通俗地講，這是一種做出好的決定、計劃和推論的能力。基於這些工作，大量的整合和交叉被應用在人工智慧、機器學習、統計學、控制論、神經科學、以及其它領域。共享理論框架的建立，結合數據的供應和處理能力，在各種細分的領域取得了顯著的成功，例如語音識別、圖像分類、自動駕駛、機器翻譯、步態運動和問答系統。

隨著這些領域的發展，從實驗室研究到有經濟價值的技術形成良性循環。哪怕很小的性能改進，都會帶來巨大的經濟效益，進而鼓勵更長期、更偉大的投入和研究。目前人們廣泛認同，人工智慧的研究正在穩步發展，而它對社會的影響很可能擴大，潛在的好處是巨大的，既然文明所產生的一切，都是人類智能的產物。由於這種智能是被人工智慧工具放大過的，我們無法預測我們可能取得什麼成果。但是，正如我說過的那樣，根除疾病和貧窮並不是完全不可能，由於人工智慧的巨大潛力，研究如何（從人工智慧中）獲益並規避風險是非常重要的。

現在，關於人工智慧的研究正在迅速發展，這一研究可以從短期和長期兩個方面來討論。

短期的擔憂主要集中在無人駕駛方面，包括民用無人機、自動駕駛汽車等。比如說，在緊急情況下，一輛無人駕駛汽車不得不在小概率的大事故和大概率的小事故之間進行選擇。另一個擔憂則是致命性的智能自主武器。他們是否該被禁止？如果是，那麼「自主」該如何精確定義；如果不是，任何使用不當和故障的過失應該如何問責。此外還有一些隱憂，包括人工智慧逐漸可以解讀大量監控數據引起的隱私問題，以及如何掌控因人工智慧取代工作崗位帶來的經濟影響。

長期擔憂主要是人工智慧系統失控的潛在風險。隨著不遵循人類意願行事的超級智能的崛起，那個強大的系統會威脅到人類。這樣的結果是否有可能？如果有可能，那麼這些情況是如何出現的？我們又應該怎樣去研究，以便更好地理解和解決危險的超級智能崛起的可能性？

當前控制人工智慧技術的工具（例如強化學習）以及簡單實用的功能，還不足以解決這個問題。因此，我們需要進一步研究來找到和確認一個可靠的解決辦法來掌控這一問題。

近來（人工智慧領域的）里程碑，比如說之前提到的自動駕駛汽車，以及人工智慧贏得圍棋比賽，都是未來趨勢的跡象。巨大的投入正在傾注到這一領域。我們目前所取得的成就，和未來幾十年後可能取得的成就相比，必然相形見絀。而且當我們的頭腦被人工智慧放大以後，我們更不能預測我們能取得什麼成就。也許在這種新技術革命的輔助下，我們可以解決一些工業化對自然界造成的損害問題，關乎到我們生活的各個方面也即將被改變。簡而言之，人工智慧的成功有可能是人類文明史上最大的事件。

但是人工智慧也有可能是人類文明史的終結，除非我們學會如何避免危險。我曾經說過，人工智慧的全方位發展可能招致人類的滅亡，比如最大化使用智能性自主武器。今年早些時候，我和一些來自世界各國的科學家共同在聯合國會議上支持其對於核武器的禁令，我們正在焦急的等待協商結果。目前，九個核大國可以控制大約一萬四千個核武器，它們中的任何一個都可以將城市夷為平地，放射性廢物會大面積污染農田，而最可怕的危害是誘發核冬天，火和煙霧會導致全球的小冰河期。這一結果將使全球糧食體系崩塌，末日般動蕩，很可能導致大部分人死亡。我們作為科學家，對核武器承擔著特殊的責任，因為正是科學家發明了它們，並發現它們的影響比最初預想的更加可怕。

現階段，我對災難的探討可能驚嚇到了在座的各位，很抱歉。但是作為今天的與會者，重要的是，你們要認清自己在影響當前技術的未來研發中的位置。我相信我們會團結在一起，共同呼籲國際條約的支持或者簽署呈交給各國政府的公開信，科技領袖和科學家正極盡所能避免不可控的人工智慧的崛起。

去年10月，我在英國劍橋建立了一個新的機構，試圖解決一些在人工智慧研究快速發展中出現的尚無定論的問題。「利弗休姆智能未來中心（The Leverhulme Centre for the Future of Intelligence）」是一個跨學科研究所，致力於研究智能的未來，這對我們文明和物種的未來至關重要。我們花費大量時間學習歷史，深入去看，大多數是關於愚蠢的歷史，所以人們轉而研究智能的未來是令人欣喜的變化。雖然我們對潛在危險有所意識，但我內心仍秉持樂觀態度，我相信創造智能的潛在收益是巨大的。也許藉助這項新技術革命的工具，我們將可以削減工業化對自然界造成的傷害。

確保機器人為人類服務

我們生活的每一個方面都會被改變。我在研究所的同事休·普林斯（Huw Price）承認，「利弗休姆中心」能建立，部分是因為大學成立了「存在風險中心（Centre for Existential Risk）」。後者更加廣泛地審視了人類潛在問題，「利弗休姆中心」的重點研究範圍則相對狹窄。

人工智慧的最新進展，包括歐洲議會呼籲起草一系列法規，以管理機器人和人工智慧的創新。令人感到些許驚訝的是，這裡面涉及到了一種形式的電子人格，以確保最有能力和最先進的人工智慧的權利和責任。歐洲議會發言人評論說，隨著日常生活中越來越多的領域日益受到機器人的影響，我們需要確保機器人無論現在還是將來，都為人類而服務。一份向歐洲議會議員提交的報告明確認為，世界正處於新的工業機器人革命的前沿。報告分析了是否給機器人提供作為電子人的權利，這等同於法人（的身份）。報告強調，在任何時候，研究和設計人員都應確保每一個機器人設計都包含有終止開關。在庫布里克的電影《2001太空漫遊》中，出故障的超級電腦哈爾沒有讓科學家們進入太空艙，但那是科幻，我們要面對的則是事實。奧斯本·克拉克（Space Odyssey）跨國律師事務所的合伙人——洛納·布拉澤爾（Lorna Brazell）在報告中說，我們不承認鯨魚和大猩猩有人格，所以也沒有必要急於接受一個機器人人格，但是擔憂一直存在。報告承認在幾十年的時間內，人工智慧可能會超越人類智力範圍，進而挑戰人機關係。報告最後呼籲成立歐洲機器人和人工智慧機構，以提供技術、倫理和監管方面的專業知識。如果歐洲議會議員投票贊成立法，該報告將提交給歐盟委員會，它將在三個月的時間內決定要採取哪些立法步驟。

我們還應該扮演一個角色，確保下一代不僅僅有機會還要有決心，能夠在早期階段充分參與科學研究，以便他們繼續發揮潛力，並幫助人類創造一個更加美好的的世界。這就是我剛談到學習和教育的重要性時所要表達的意思。我們需要跳出「事情應該如何（how things should be）」這樣的理論探討，並且採取行動，以確保他們有機會參與進來。我們站在一個美麗新世界的入口，這是一個令人興奮的、同時充滿了不確定性的世界，而你們是先行者，我祝福你們。

謝謝！

限時拼團

3大模塊，30個課時

高校數學系教授帶班

100%學員好評

與100+同學一起夯實數學基礎，走穩機器學習入門第一步！

新人福利

關注 AI 研習社（okweiwu），回復1領取

【超過 1000G 神經網路 / AI / 大數據，教程，論文】

谷歌開源獵星代碼，AI時代的天文愛好者們該換裝備了！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！