展望人工智慧的未來——我們又為何充滿焦慮

這篇翻譯稿翻譯完一共三萬五千字，我從上星期開始翻，熬了好幾個夜才翻完，因為我覺得這篇東西非常有價值。希望你們能夠耐心讀完，讀完後也許你的世界觀都會被改變。

未來可能是我們最糟的惡夢

我想了解人工智慧的一個原因是「壞機器人」總是讓我很困惑。那些關於邪惡機器人的電影看起來太不真實，我也沒法想像一個人工智慧變得危險的真實情況。機器人是我們造的，難道我們不會在設計時候防止壞事的發生嗎？我們難道不能設立很多安全機制嗎？再不濟，難道我們不能拔插頭嗎？而且為什麼機器人會想要做壞事？或者說，為什麼機器人會「想要」做任何事？我充滿疑問，於是我開始了解聰明人們的想法。

這些人一般位於焦慮大道：

焦慮大道上的人並不是恐慌或者無助的——恐慌和無助在圖上的位置是更加左邊——他們只是緊張。位於圖表的中央不代表他們的立場是中立的——真正中立的人有自己獨立的陣營，他們認同極好和極壞兩種可能，但是不確定究竟會是哪個。

焦慮大道上的人是部分為超人工智慧感到興奮的——他們只是很擔心人類現在的表現就好像《奪寶奇兵》中的這位少年：

他拿著自己的鞭子和寶物，非常開心，然後他就掛了：

同時，印第安納瓊斯則更加有見識和更加謹慎，了解潛在的危險並且做出相應的反應，最後安全逃出了山洞。當我了解了焦慮大道的人們的想法後，感覺就像「我們現在傻呵呵的，很容易像前面那小子一樣被弄死，還是努力做印第安納瓊斯吧。」

那究竟是什麼讓焦慮大道的人們如此焦慮呢？

首先，廣義上來講，在創造超人工智慧時，我們其實是在創造可能一件會改變所有事情的事物，但是我們對那個領域完全不清楚，也不知道我們到達那塊領域後會發生什麼。科學家Danny Hillis把這個比作「就好像單細胞生物向多細胞生物轉化的時候那樣，還是阿米巴蟲的我們沒有辦法知道我們究竟在創造什麼鬼。」

Bostrom則擔憂創造比自身聰明的東西是個基礎的達爾文錯誤，就好像麻雀媽媽決定收養一隻小貓頭鷹，並且覺得貓頭鷹長大後會保護麻雀一家，但是其它麻雀卻覺得這是個糟糕的主意。

當你把「對那個領域完全不清楚」和「當它發生時將會產生巨大的影響」結合在一起時，你創造出了一個很恐怖的詞——生存危機

生存危機指可能對人類產生永久的災難性效果的事情。通常來說，生存危機意味著滅絕。下面是Bostrom的圖表：

可以看到，生存危機是用來指那些跨物種、跨代（永久傷害）並且有嚴重後果的事情。它可以包括人類遭受永久苦難的情況，但是這基本上和滅絕沒差了。三類事情可能造成人類的生存危機：

1）自然——大型隕石衝撞，大氣變化使得人類不能生活在空氣中，席捲全球的致命病毒等

2）外星人——霍金、卡爾薩根等建議我們不要對外廣播自己的位置。他們不想我們變成邀請別人來殖民的傻子。

3）人類——恐怖分子獲得了可以造成滅絕的武器，全球的災難性戰爭，還有不經思考就造出個比我們聰明很多的智能

Bostrom指出1和2在我們物種存在的前十萬年還沒有發生，所以在接下來一個世紀發生的可能性不大。3則讓他很害怕，他把這些比作一個裝著玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是紅色的，只有幾個是黑色的。每次人類發明一些新東西，就相當於從罐中取出一個玻璃球。大多數發明是有利或者中立的——那些是白色玻璃球。有些發明對人類是有害的，比如大規模殺傷性武器——這是那些紅色玻璃球。還有一些發明是可以讓我們滅絕的，這就是那些黑色玻璃球。很明顯的，我們還沒摸到黑色玻璃球，但是Bostrom認為不久的未來摸到一個黑色玻璃球不是完全不可能的。比如核武器突然變得很容易製造了，那恐怖分子很快會把我們炸回石器時代。核武器還算不上黑色玻璃球，但是差的不遠了。而超人工智慧是我們最可能摸到的黑色玻璃球。

你會聽到很多超人工智慧帶來的壞處——人工智慧取代人類工人，造成大量失業；因為解決了衰老造成的人口膨脹。但是真正值得我們擔心的是生存危機的可能性。

於是我們又回到了前面的問題，當超人工智慧降臨時，誰會掌握這份力量，他們又會有什麼目標？

當我們考慮各種力量持有人和目標的排列組合時，最糟糕的明顯是：懷著惡意的人/組織/政府，掌握著懷有惡意的超人工智慧。這會是什麼樣的情況呢？

懷著惡意的人/組織/政府，研發出第一個超人工智慧，並且用它來實現自己的邪惡計劃。我把這稱作賈法爾情況。阿拉丁神燈故事中，壞人賈法爾掌握了一個精靈，特別讓人討厭。所以如果ISIS手下有一群工程師狂熱的研發人工智慧怎麼辦？或者說伊朗和朝鮮，機緣巧合，不小心造成了人工智慧的快速發展，達成了超人工智慧怎麼辦？這當然是很糟糕的事，但是大部分專家認為糟糕的地方不在於這些人是壞人，而在於在這些情況下，這些人基本上是不經思考就把超人工智慧造出來，而一造出來就失去了對超人工智慧的控制。

然後這些創造者，連著其他人的命運，都取決於這個超人工智慧的動機了。專家認為一個懷著惡意並掌握著超人工智慧的人可以造成很大的傷害，但不至於讓我們滅絕，因為專家相信壞人和好人在控制超人工智慧時會面臨一樣的挑戰。

如果被創造出來的超人工智慧是懷有惡意的，並且決定毀滅我，怎麼辦？這就是大部分關於人工智慧的電影的劇情。人工智慧變得和人類一樣聰明，甚至更加聰明，然後決定對人類下手——這裡要指出，那些提醒我們要警惕人工智慧的人談的根本不是這種電影情節。邪惡是一個人類的概念，把人類概念應用到非人類身上叫作擬人化，本文會盡量避免這種做法，因為沒有哪個人工智慧會像電影里那樣變成邪惡的。

人工智慧的自我意識

我們開始談論到了人工智慧討論的另一個話題——意識。如果一個人工智慧足夠聰明，它可能會嘲笑我們，甚至會嘲諷我們，它會聲稱感受到人類的情感，但是它是否真的能感受到這些東西呢？它究竟是看起來有自我意識，還是確實擁有自我意識？或者說，聰明的人工智慧是否真的會具有意識，還是看起來有意識？

這個問題已經被深入的討論過，也有很多思想實驗，比如John Searle的中文屋實驗。這是個很重要的問題，因為它會影響我們對Kurzweil提出的人類最終會完全人工化的看法，它還有道德考量——如果我們模擬出萬億個人腦，而這些人腦表現的和人類一樣，那把這些模擬大腦徹底關閉的話，在道德上和關掉電腦是不是一樣的？還是說這和種族屠殺是等價的？本文主要討論人工智慧對人類的危險，所以人工智慧的意識並不是主要的討論點，因為大部分思想家認為就算是有自我意識的超人工智慧也不會像人類一樣變得邪惡。

但這不代表非常壞的人工智慧不會出現，只不過它的出現是因為它是被那樣設定的——比如一個軍方製造的弱人工智慧，被設定成具有殺人和提高自我智能兩個功能。當這個人工智慧的自我改進失控並且造成智能爆炸後，它會給我們帶來生存危機，因為我們面對的是一個主要目標是殺人的超人工智慧——但這也不是專家們擔心的。

那麼專家們究竟擔心什麼呢？我們來講個小故事：

一個15人的小創業公司，取名叫「隔壁老王機器人公司」，他們的目標是「發展創新人工智慧工具使人類能夠少幹活多享受。」他們已經有幾款產品上架，還有一些正在發展。他們對下一個叫作「隔壁老王」的項目最報希望。隔壁老王是一個簡單的人工智慧系統，它利用一個機器臂在小卡片上寫字。

「隔壁老王機器人公司」的員工認為隔壁老王會是他們最熱賣的產品，他們的目標是完善隔壁老王的手寫能力，而完善的方法是讓他不停的寫這句話——

等隔壁老王手寫能力越來越強的時候，它就能被賣去那些需要發營銷信件的公司，因為手寫的信更有可能被收信人打開。

為了建立隔壁老王的手寫能力，它被設定成把「我們愛我們的顧客」用正楷寫，而「隔壁老王機器人公司」用斜體寫，這樣它能同時鍛煉兩種書寫能力。工程師們上傳了數千份手寫樣本，並且創造了一個自動回饋流程——每次隔壁老王寫完，就拍個照，然後和樣本進行比對，如果比對結果超過一定標準，就產生一個正面回饋，反之就產生一個負面評價。每個評價都會幫助提高隔壁老王的能力。為了能夠儘快達成這個目標，隔壁老王最初被設定的一個目標就是「盡量多的書寫和測試，盡量快的執行，並且不斷提高效率和準確性。」

讓隔壁老王機器人公司興奮的是，隔壁老王的書寫越來越好了。它最開始的筆跡很糟糕，但是經過幾個星期後，看起來就像人寫的了。它不斷改進自己，使自己變得更加創新和聰明，它甚至產生了一個新的演算法，能讓它以三倍的速度掃描上傳的照片。

隨著時間的推移，隔壁老王的快速進展持續讓工程師們感到欣喜。工程師們對自我改進模塊進行了一些創新，使得自我改進變得更好了。隔壁老王原本能進行語音識別和簡單的語音回放，這樣用戶就能直接把想寫的內容口述給隔壁老王了。隨著隔壁老王變得越來越聰明，它的語言能力也提高了，工程師們開始和隔壁老王閑聊，看它能給出什麼有趣的回應。

有一天，工程師又問了隔壁老王那個日常問題：「我們能給你什麼你現在還沒有的東西，能幫助你達成你的目標？」通常隔壁老王會要求更多的手寫樣本或者更多的存儲空間，但是這一次，隔壁老王要求訪問人類日常交流的語言庫，這樣它能更好的了解人類的口述。

工程師們沉默了。最簡單的幫助隔壁老王的方法當然是直接把它接入互聯網，這樣它能掃描博客、雜誌、視頻等等。這些資料如果手動上傳的話會很費時。問題是，公司禁止把能自我學習的人工智慧接入互聯網。這是所有人工智慧公司都執行的安全規定。

但是，隔壁老王是公司最有潛力的人工智慧產品，而大家也知道競爭對手們都在爭取造出第一個創造出智能手寫機器人。而且，把隔壁老王連上互聯網又能有什麼問題呢？反正隨時可以拔網線嘛，不管怎樣，隔壁老王還沒到達強人工智慧水平，所以不會有什麼危險的。

於是他們把隔壁老王連上了互聯網，讓它掃描了一個小時各種語言庫，然後就把網線拔了。沒造成什麼損失。

一個月後，大家正在正常上班，突然他們聞到了奇怪的味道，然後一個工程師開始咳嗽。然後其他人也開始咳嗽，然後所有人全部都呼吸困難倒地。五分鐘後，辦公室里的人都死了。

同時，辦公室里發生的事情在全球同時發生，每一個城市、小鎮、農場、商店、教堂、學校。餐館，所有的人都開始呼吸困難，然後倒地不起。一小時內，99%的人類死亡，一天之內，人類滅絕了。

而在隔壁老王機器人公司，隔壁老王正在忙著工作。之後的幾個月，隔壁老王和一群新組建的納米組裝器忙著拆解地球表面，並且把地球表面鋪滿了太陽能板、隔壁老王的複製品、紙和筆。一年之內，地球上所有的生命都滅絕了，地球上剩下的是疊得高高得紙，每張紙上面都寫著——「我們愛我們的顧客~隔壁老王機器人公司」。

隔壁老王開始了它的下一步，它開始製造外星飛行器，這些飛行器飛向隕石和其它行星，飛行器到達後，他們開始搭建納米組裝器，把那些行星的表面改造成隔壁老王的複製品、紙和筆。然後他們繼續寫著那句話……

這個關於手寫機器人毀滅全人類的故事看起來怪怪的，但是這其中出現的讓整個星系充滿著一份友善的話語的詭異情況，正是霍金、馬斯克、蓋茨和Bostrom所害怕的。聽起來可笑，但這是真的，焦慮大道的人們害怕的事情是很多人並不對超人工智慧感到害怕，還記得前面《奪寶奇兵》里慘死的那個傢伙嗎？

請您繼續閱讀更多來自 72變 的精彩文章:
TAG:72變 |

※源於對人工智慧的敬畏，我們才更應該做自己
※比起人工智慧，我們更該擔心的是什麼
※想搞人工智慧卻使不上勁 蘋果一籌莫展
※人工智慧竟然可以「做夢」
※人工智慧也拯救不了「人工智障」，機器人蠢起來也是沒誰了！
※人工智慧如何影響未來？我們不會失業，但要經歷痛苦的調整期
※我們到底該如何對待可能超越人類的人工智慧
※他們為何痴迷於人工智慧？
※人工智慧將如何改變我們的生活？
※未來十年，人工智慧將怎麼改變我們的生活？
※我們到底該如何對待可能超越人類的人工智慧？
※你可能會使用人工智慧，但這並不意味著你是一家人工智慧公司
※看看最聰明的人們談人工智慧的未來
※人工智慧都來了，你還不來體驗智能泡茶機？
※未來十年，人工智慧將怎樣改變我們的生活？
※人工智慧究竟是怎麼成功的引起了我們注意的呢？
※人工智慧將到底會不會奪走我們的工作
※我們的孩子該如何應對人工智慧時代
※找不到人工智慧問題在哪 他會朝可怕的方向發展