AI的風險與收益，人工智慧專家思考地足夠認真嗎？

原文以Artificial intelligence: The future is superintelligent為標題

發布在2017年8月30日的《自然》書籍與藝術版塊上

原文作者：Stuart Russell

Stuart Russell點評《生命 3.0》——一本講述人工智慧風險和收益的書。

Max Tegmark是著名的物理學家，也是馬薩諸塞州生命未來研究所十足樂觀的聯合創始人。該所的格言是：「因為技術，生命可能走向前所未有的繁榮…或自我毀滅。讓我們創造不同！」如今，在《生命 3.0》里，他審視了一個不容忽視的未來動向——人工智慧的演變。他強調應該認真思考其中的風險，以免我們不經意間失去宇宙給予人類的天賦。

機器蜂（RoboBee）用於人工授粉，但可能產生無法預料的環境影響。

Thierry Falise/Lightrocket Via Getty

首先澄清一下利益關係，Tegmark和我是合作夥伴，並且擁有同一個著作代理商。2014年，我們和物理學家Stephen Hawking（斯蒂芬·霍金）以及Frank Wilczek（弗朗克·韋爾切克）一起在《赫芬頓郵報》上發表了文章《人類對超級智能機器的盲目樂觀》。文章表面上是點評Wally Pfister的反烏托邦AI電影《超驗駭客》，實際是籍此呼籲AI圈嚴肅對待人工智慧的風險。因此，我不大可能全盤否定Tegmark 在《生命 3.0》中給出的預設：因為人類當下採取的決策，生命可能傳遍全宇宙並「世世代代繁榮下去」，也可能不會。其中的可能性既誘人又沉重。

此書書名意指演化史上的第三個階段。生命幾乎用了40億年來完善硬體（軀體）和軟體（生成行為的能力）。又過了10萬年，學習和文化使人類能夠適應並控制自己的軟體。在即將來臨的第三階段，生命的軟體和硬體都將能夠被重新設計。這聽上去像是超人類主義——主張重新設計人體和人腦——但Tegmark的關注點是AI，即通過外部儀器補充心智能力。

Tegmark同時思考了風險和利益。短期風險包括智能武器的軍備競賽以及就業急劇減少。AI圈實際上一致譴責製造可自主殺人的機器，但在就業問題上則存在爭議。很多人預言經濟會受益——就像以往的工業革命一樣，AI會帶來新的崗位並淘汰舊的。

Tegmark語帶譏誚地虛構了1900年兩匹馬討論內燃機崛起的畫面；其中一匹認為「馬兒們會得到新的工作，一直以來都是這樣的……就像輪子和犁被發明時發生的那樣。」然而對於多數馬來說，「新工作」是變成寵物食品。Tegmark的分析令人嘆服，包括Paul Krugman在內的經濟學家也支持這個觀點。但是問題並未終結：當大多數目前被稱為工作的事情由機器完成時，什麼才會是人類希望實現的理想經濟狀態？

長期風險則攸關人類存亡。書中虛構的序言描述了一個超級智能頗有可能出現的場景。然後，Tegmark一一論述了人類的各種結局——走向准烏托邦，或淪為奴隸，或滅亡。我們不知道如何駛向更好的未來本身就說明：我們沒有認真思考過為什麼讓AI變得更強大可能是件壞事。

計算機先驅阿蘭·圖靈1951年提出了一種可能性——我們人類再強大也只能在AI面前相形見絀，表達了製造比自己聰明的東西會引起的普遍不安。為緩和這種不安而制約AI的發展可能既不可行也不可取。《生命 3.0》最有趣的一部分指出：真正的問題在於目標走偏時可能造成的潛在後果。

控制論奠基人Norbert Wiener於1960年寫道：「我們最好非常確定賦予機器的意圖是我們真實期望的意圖。」或者，按Tegmark的說法，「現在不知道如何給一個超級智能的AI灌輸一個既不會定義不明又不會導致人類滅亡的終極目標。」在我看來，這既是一個技術問題，也是一個哲學問題，它需要調動全部智力資源來思考。

只有解答了上述問題後我們才能收穫成果，譬如在宇宙中擴張，擴張動力或將來自一些奇異技術，如戴森球（能夠捕獲恆星的能量），建造在黑洞周圍的加速器，或Tegmark理論上設想的Sphalerizer（類似柴油發動機，但以夸克為燃料並且效能高出10億倍）。宇宙和物理學法則將會解釋擴張的上限在哪兒，但是如果純粹考慮科學趣味，卻不好駁斥這些解釋。或許有一天，我們可以使生物圈的範圍擴大「約32個數量級」，但是又會失望地發現，宇宙膨脹可能使我們只能移居100億個星系。我們可以體會到子孫後代的焦慮，因為「暗能量割裂宇宙文明的威脅，促使人們開展浩大的宇宙工程項目」。

本書結尾介紹了生命未來研究所如何將這些問題引入關於AI的主流思考中——Tegmark功不可沒。當然，他不是唯一敲響警鐘的人。通篇而論，《生命 3.0》和 Nick Bostrom 2014年的著作《超級智能》（牛津大學出版社）最為相似。不過，有別於Bostrom的是，Tegmark沒有試圖證明風險不可避免；他也繞開了深刻的哲學探索，而將問題拋向讀者：你們認為哪些場景更有可能發生或者更吸引人。

雖然兩本書我都強烈推薦，但我猜測Tegmark的書不大會在AI研究者中間引起常見的過激反應：退而採用防守性方式論證自己漠不關心的合理性。一個典型的例子是：既然我們不擔心那些遙遠的、可能導致物種毀滅的可能性——比如在近地軌道形成的黑洞，那為什麼要擔心超級智能AI呢？回答是：如果是物理學家們在製造這種黑洞，我們難道會不問問這樣做是否安全嗎？

《經濟學人》雜誌簡單地敘述過這個重要的問題：「在地球上引入第二個智能物種，影響深遠，值得認真思考」。《生命 3.0》遠不是對人工智慧和未來話題的定論，但它用一種引人入勝的筆觸概括了我們應該進行什麼樣的嚴肅思考。

書籍：《生命3.0：人工智慧時代的人類》

Naturedoi:10.1038/548520a

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！