牛津大學教授：如果不謹慎的話，超級智能機器也會帶來可怕的後果

今天，首屆世界智能大會進入第二日。在大會主題報告中，牛津大學人類未來研究院院長尼克·波斯特洛姆帶來「機器智能的未來」的主題演講，以下為演講全文——

機器智能的未來

尼克·波斯特洛姆 牛津大學人類未來研究院院長

非常感謝，這是最後一個發言了，那我們是不是，先看一下我們在我們的研究機構做了什麼，這裡有一些科學家也有一些哲學家，我們是想看一下人類文明這個總體情況，我想先從這個看起。這個呢，是過去的世界人口數量。我們看到有兩次世界大戰還有饑荒等等，我們可以從宏觀的角度來看這個，大家可能會說從人類歷史上來看呢，可能也就是兩個大事。真正的對於人的生存條件產生了強大的變化，首先就是農業革命，我們實現了一個轉折，然後呢，從游牧民族到了這個農業，以農業為主的這樣的一種方式。然後也出現了社會分層。然後呢，隨之產生了稅收，然後就產生了文字，甚至還產生了軍隊，還產生了這個戰爭。

所以這對於人類來說產生了巨大的變化，和挑戰。從此呢，發生了迅速的變化，而且從此也產生了這個專業化、專業分工，這是第一個重大的事件，那第二個重大的事件就是工業革命，那也就是幾百年的時間，但是現在仍在進行，那工業革命到來之後呢可以說在人類歷史上我們看到了，技術突破，速度如此之快，那經濟增長要比人口的增長更快。

然後我們就看到了人均收入的增長，那可以說在歷史上我們可以看到了第一次這樣的一個現象。

當然還有一個重大的事件，也就是，人類的出現，這是最根本的，然後才會出現一些人製造的產品，之後出現了一個核心的技術。比如說我們的智能手機等等，我們iphone，這些都是人類智能的體現。

所以除了農業革命，工業革命是重要事件的話，人類本身出現也是歷史上重要的事件。

所以我們所製造的機器不僅是要完成特定的任務，同時它也應該完成一些總體的任務，還有包括進行學習。我覺得我們即將到來的這個革命，比之前的三次革命都更加的重要。

因為前幾次的革命使人從動物變成人，從類人猿變成人。但是當時的人類大腦的增長呢可能只有3倍左右，但是隨著科技的發展，隨著不同的社會組織的出現，我們會發現，從人類的大腦，轉變為一個成熟的機器的大腦，就是說讓我們的機器大腦會變成一個像倉庫一樣的儲存的場所，那麼需要更多的技術。

信號每秒的傳輸速度只有100米，但是在電腦的計算速度呢，卻是超過了光速。而生物神經元的計算速度其實更快，比如說到達了，每秒200米，並且最快的可以達到幾十億每秒。而生物的這個機能呢，其實它的運算速度是更快的。我想要談一談AI所處的位置。

在60年代、70年代的時候，AI智能主要是關於專家的系統，也就是一種非常手工化的基因智能，也就是說人工把他們的知識輸入機器中，然後這個機器呢就變成一個知識庫，但是這些系統的它的發展速度，非常慢，而且應用的領域是非常窄，另外一個AI的領域，是他不太擅長的，就是一些解決方案或者是規則等等。

大家可以看到，這個裡面有一個立方體這樣的一個圖案，它可以向我們展示其實他對於圖形解決能力不是特彆強，現在我們更多的談到是AI的視覺能力和聽覺能力等等，還包括語音識別能力，3年前，我們可以識別圖像，然後AI會告訴我們圖像的內容是什麼，但是實際上在更早之前，谷歌甚至是百度都可以做圖像搜索，他們可以在網路上進行圖像的捕捉，然後進行識別，然後他們可以讀出這個圖像的內容。但是我們看這張圖片它其實是非常詭異非常讓人感到恐怖的，但是它確實是像我們大腦中一種成像機制。這是幾年前的一個研究成果。其實是人類對於圖像識別機制的一種想像。

但是那個時候的圖像識別它還不能夠進行數字的計算，他們只能對局部的圖像進行識別，不能夠形成總體的認知。

現在我們出現了深度學習，它有點像是統計的原理，比如說我們看到一張照片，或者是畢加索的繪畫，而這個機器識別，它最後的成像風格呢，也比較像原作，它產生圖像的這種風格有點像梵高的畫作。或者說畢加索的畫作，它是一種圖像的本能，而機器呢，要實現這一種本能性的圖像識別，它需要學習許多許多的照片和圖畫，這是我們去年的一個例子。

在左邊呢，是一匹馬的圖像，但是網路在識別這個圖像的時候呢，它認為是一匹斑馬，而它現在智能做到這種識別度，大家可以看看差別，其實你會發現，斑馬的這個尾巴和馬的尾巴也不太一樣。如果說，我們還可以比如說捕捉一個海岸的圖像，它是一個系列的圖像，有點像人們做夢一樣，我們可以發現這個屏幕上所顯示的這種海岸的圖像並不是非常的真。

所以說，這些AI的案例，告訴我們其實有時候，人工識別的這個機制更像是人在做夢，並不是非常的真實，現在我們還出現加強學習，強化學習，也就是說，機器會不斷的獲得數據，一些反饋的數據，這樣子他們就能夠獲得更好的識別效果。幾年前就有深腦這樣的計劃。我們對機器進行培訓。

從這個電腦遊戲中可以看出機器的學習過程，也就是在錯誤中進行學習，而機器一開始並不知道遊戲的規則只是在不斷的試驗中，獲得更好的遊戲的結果。

而機器之後呢，它會發展出一個更好的打遊戲的策略，甚至這種策略是很多人都想不到的。那除了打這樣的遊戲呢，還可以玩很多別的遊戲。所以AI可以幫助我們實施某些任務，而且還可以幫助我們實施更多的其他意想不到的任務，這是一個模擬的3D實景，它可以在這樣的模擬環境中，比如說尋找一個蘋果之類的。所以說將AI與深度學習結合起來，在過去的幾年中，幫助我們實現了很大的技術的進步，那麼除了視覺的識別呢，還有聽覺的識別，比如說奏樂等等，演奏音樂。我們要可以對神經網路進行培訓，使他們可以生成語音，甚至是能夠演奏音樂，有些音樂其實是很優美的，如果說我們只聽幾秒鐘的話還是很優美的，但是如果我們聽更長的時間的話，會覺得這個音樂是毫無章法可言的。

那麼另外一個領域呢，也是深度學習非常擅長的領域呢，就是認識圖形的結構。而且現在有許多的研究呢，都在考查這種網路的結構，我們用加強學習，來對神經元進行培訓，然後使得他們的處理速度變得更快。我們還會對神經元的這個機制進行研究。而且現在還有許多的研究成果，現在這個領域發展的非常快，每年我們都會舉辦許多的技術性會議，而且與會者呢，幾乎人數每年40%的增長，而且一直都有新的研究成果發表。

除了在建築領域所取得的突破，我們還可以在計算機的軟體和硬體方面取得突破。我們可以有更好的處理器來進行神經元的網路操作。

現在我們有P100，這是特斯拉P100。我們還可以製造更多的針對深度學習的軟體，當然我們還有許多非常嚴峻的挑戰。我們需要更加有效的方式，來進行深度學習，所以如果我向大家展示大家從來沒有見過的動物，我可以向大家展示一個或者兩個樣本，但大家就不需要看幾百萬張圖片才能認識這個動物，所以我們如果在某一個領域已經獲得一些知識的話它可以幫助我們更快的學習其他領域的知識。所以我們還需要更好的方法。最近也有一個研究，它可以幫助我們幫助機器更好的學習語言，並且更好的對加強學習這種模式進行更好的研究規劃，我們可以看到其實面臨的挑戰就像大山一樣非常的高。

去年我們提出了這樣一個問題。就是我們是否已經實現了高水平的機器的人工智慧，是否機器在所有的任務操作中都代替人類，那麼結果是，問題是從2016年開始到什麼時候，機器才真正的取代人呢，我們對人員進行隨機的調查，大家可以從圖上發現，許多人認為，可以在10到15年實現，有些人認為100年後才能實現，而且專家的意見有很大的分歧，但是我們還收集了一些媒體的觀點，大家可以看到。大概45年之後可能會達到50%，就可以實現這樣里程碑的目標。所以大家在預測這方面的趨勢，可能不是特別的擅長，但是呢，媒體的意見和專家的意見都說明了，確實呢，我們可能在有生之年還是能看到的。

我們可能還會問這樣一個問題，如果我們真正能夠做到人的水平的這個智能，那麼最後的結果可能會是什麼樣的，當然了這還是非常遙遠但是我們可以首先做一個預測吧。先考慮一下這個，這個是阿法狗打敗世界冠軍，2015年10月份的時候這是最初的阿法狗系統，它跟歐洲的冠軍打比賽。現在歐洲的冠軍，肯定不如世界冠軍了，因為那在歐洲這個棋呢也不是特別的普遍，然後呢，這個冠軍呢，它很自信他覺得他能夠贏這是2016年2月份的時候，然後他說我聽說谷歌的deepmind是非常強大的，而且越來越厲害了，他說我能夠贏他，後面還有一次說我非常的震驚，我承認，第三次比賽可能就不會那麼簡單了，還有最近的一次他說我真的覺得毫無力氣了，我沒有能力了我感覺自己。大家可以看到6個月的時間，這個系統簡直是實現超能的這種進步，達到人的水平，超過人的水平，僅僅是用了6個月的時間。

那我們可以看一看我們有哪些在整個AI發展過程當中有兩個極端，一些人是一點都不知道，有些人就像愛因斯坦那樣聰明，但是我覺得如果在具體看AI的話，它可能是這樣的，那我們有AI是從0開始的，從50年代吧，從1956年開始，然後呢經過幾十年的發展，可能是計算機科學家，他們付出了很多的努力，最後是取得了一定的成績。

就像做到了小老鼠可以做到的這些AI，可以達到小老鼠的水平。然後又花了幾十年的時間，然後幾千的科學家，他們付出了努力，最後達到了一個這個原始人的水平，達到了猿人的水平。

然後最後真正要達到這個鄉巴佬的這個水平是什麼樣，然後要花多少年才能達到這個愛因斯坦的這個水平。我覺得它會以一個飛速的一個超級快速的這個速度一下子實現一個跨越，那我們要取得這樣的水平呢他們必須得像人一樣會說話，然後能夠思維。

但是呢因為這個人和人的這個智能水平是不一樣的，有這個鄉巴佬的水平有愛因斯坦的水平，他們之間也是有區別的但是這個速度，從這個交結的水平，然後到這個愛因斯坦的這個水平是非常的飛快的。

另外我們的答案是什麼呢，針對這個問題的答案就是說我們會去實現超級智能的發展。

那我們相信呢AI會在所有的領域迅速的超出AI。所以我覺得不僅僅是說出現什麼好的這個產品設計，然後讓一個產品或者說一個公司成為贏家，我覺得呢，它會帶來的是這種根本性的變革。

那麼我們看一下AI的未來的話，我們得看一下，這些不同的背景。因為呢我們面臨的挑戰，在不同的階段是不一樣的，我們可以看到有短期的，有長期的，還有未來的。

那我不知道可能要花一定的時間比如說幾十年或者50年的時間能夠達到人的智能的水平，然後呢再經過一段時間，可能又有一個新的這個飛躍，最後呢，進入了更遠期，到時候我們就會開發出，新的技術，那不僅僅是局限於數字性的技術了，那這種所謂的未來的深遠的未來可能就是幾百萬年以後了。

當然現在可能我們不太關注這麼久遠的未來我們主要是看短期和長期。從短期來看我覺得可能有很多的政策性的問題，大家也都談到了。我不知道中國是不是也關注這個問題，但是在西方大家也都在談，比如說像自駕車的這種系統會帶來什麼樣的問題，那比如說一輛汽車得做出一個選擇，比如說要壓過3個老人還有壓過兩個小孩之間的區別。會發生什麼樣的道德性的問題。其實我覺得這個甚至根本就不是什麼大的道德問題，相比之下還有更嚴重的道德性的問題，另外還有一些其他的問題。我們也應該關注的，值得我們密切的討論，那比如說，要避免武器的這個軍備競賽等等，那麼總的來說呢我們要考慮這些問題，就是我們怎麼樣生活的更好，怎麼樣創造一個更加繁榮的社會，就用這些新的技術。

就像我們要考慮，當時我們剛剛開始用智能手機的時候，然後把智能手機開到這個電影院之後呢，發生了什麼，然後沒用幾年的時間呢，我們這種情況已經非常的普遍了。

那如果我們看一下長期。

那如果說真的達到了這個人的大腦的智能的話，會有什麼樣的變化，到時候會有完全不同的挑戰，那到時候呢，AI僅僅成為了一種工具，它可能跟人的聰明度是一樣的。我寫了一本書就在幾年之前。我就分析了這樣的一種趨勢，就是萬一一旦AI達到人腦的這個水平的話會發生什麼樣的變化，其實我還是比較悲觀的。

我寫了一些關於哪些問題可能會出問題然後呢，我想告訴大家，哪些有可能是陷阱我們盡量的避免這些陷阱，這是在我的書裡面也寫到了。但是還有一個問題，我們還得解決。

然後呢，才能讓這些機器能夠達到超級智能，那就是控制的問題。你怎麼樣能夠控制它，讓它真正的按照你的意圖去做、讓機器按照你的意圖來做、特別是當機器達到你的這個智能水平的時候。如果大家不謹慎的話，因為你要是隨便的想像你隨便想做什麼的話，你對這個自己想做的事情呢，一點都不謹慎，然後隨便想，那你肯定會帶來很可怕的後果。然後這個呢，是歷史上的一個傳說，就是如果你隨便的給自己許願，然後你不小心，一點都不謹慎，可能會許下非常糟糕的願望，然後真的有一天它變成現實，這可能會帶來災難性的影響。

然後在這個文章裡邊，這也是另外一個問題，那就是說，像你在寫一封信一樣，那這裡有一個問題，就是說是不是能夠把所有的原子變成迴旋針這個答案就是，那我們可以怎麼辦，我們是不是可以發明更新的技術，讓它真正能夠控制這個世界。我們要確保我們的行為對於人類是有益有助的，而且是在我們的管控之中的。

所以這就是存在的問題，你要讓計算機真正的做到，你真正想讓它做的事情，而不是說帶來一些惡果。

那我們必須要確保價值的正確，然後原則的正確，而不是說讓它變成一種對我們人類有害的或者說產生對我們不利的一些後果。

那我們在研究方面的挑戰是什麼呢，對，我們現在已經有了技術基礎我們可以把它不斷的應用，可能過幾十年的時間達到更好的應用。但問題就是說怎麼樣創造出更好的，建立起AI的控制體系，讓它真正的為人類所服務。當然我們在不斷的提升它的能力，讓AI逐漸的達到我們人的智能水平，但是這就是我們必須要應對的，這種技術上的挑戰。

在過去2到3年里我已經看到了現在世界上很多的研究小組都在做這個，那我的研究機構也是在做這個方面的研究和探討。那這些是一些基本的論文在這基礎上我寫了我的書，我覺得這是非常重要的，當然了我們是在讓我們的AI機器呢，更能夠達到人的智能的水平，但是我們必須得解決這個控制的問題，另外還有一個重要的問題就是所謂的AI的治理問題。

我們必須要有一個很好的治理體系，然後讓這個AI的未來的世界真正的能夠更好的服務於人類。

我們現在剛剛開始處在一個起步的階段，但是現在我們需要開始探討這個控制的問題了。而且同時呢我們在這個過程當中呢一定要有合作的精神，確保他能夠給所有的人帶來好處，給整個人類帶來好處，這才是最大的挑戰，我覺得我們必須得現在就要開始，考慮這個問題了。

在政策層面在過去幾年我們也看到了一些新動向，比如說在政府方面，然後有很多的報告啊，還有一些行業協會，還有一些夥伴關係，還有西方的這個技術公司，包括facebook、谷歌、微軟等等這些公司，他們成立了一些平台，還有一些非營利性的組織。然後他們向公眾發布了一些很重要的信息還有技術的趨勢。

我覺得我們應該將這些對話連接起來，將東方的研究者所研究出的成果，與我們的成果對接起來。這樣我們才可以共同應對技術難題，讓機器變得更加智能，並且我們如何更好地控制機器，並且為國際合作制定一個框架。所以我非常歡迎中國的AI專家，能夠與我們共同合作，取得接觸，這樣我們可以儘快進行對話。

所以這是我剛才說的短期、長期和深遠的未來。如果我們在短期和長期做的好的話，那麼我們就有很長的時間來考慮我們未來的所謂的烏托邦的社會。在那個社會呢也許機器勞力或者是人類的勞動力都已經不再必要了。這就是我對未來的暢想，我非常感謝各位領導，謝謝！

（根據現場錄音整理）

出品 | 天津日報新媒體中心

本期編輯 | 李萌蘇 劉暢

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！