DeepMind 研究讓AI更安全的「紅色按鈕」

研究人員說，人工智慧代理「可能不會每時每刻都以最佳模式工作。」機器或許會刻意摧毀人類種族，或者會因為人類語言太過微妙，錯誤地理解了人類的指示而摧毀人類。

一、DeepMind 的「紅色大按鈕」

谷歌的人工智慧秘密機構正在研究一個能夠讓人工智慧軟體停止運作的「紅色大按鈕」。

有研究人員曾經警告說，人工智慧或許會接管世界，帶來世界末日，威脅到人類的生存等。一位專家在新發布的論文中表示，谷歌人工智慧戰勝圍棋世界冠軍這一歷史性勝利，證明了人工智慧「可能具有不可預測性，也可能會違反人類道德」。

而現在，DeepMind 站了出來，說他們已經有了自己的答案——一個關閉人工智慧的開關。

谷歌的 DeepMind 團隊說，人工智慧代理「可能不會每時每刻都以最佳模式工作。」該團隊呼籲應在系統中構建 「安全的可中斷能力」。

Deep Mind 的 Laurent Orseau 和來自牛津大學人類未來研究所（ the Future of Humanity Institute ）的 Stuart Armstrong 博士合著了一篇論文《Safely Interruptible Agents》發表在機器智能研究所（MIRI）的網站上，他們認為：人工智慧代理「可能不會每時每刻都以最佳模式工作」。

他們表示：「有時候，非常需要人類操作人員按下紅色大按鈕，以防代理繼續執行有害的操作序列（包括可能對代理本身有害，或對環境有害的操作），從而引導代理進入更安全的情況。」

他們說，關鍵是「安全的可中斷能力」。

「機器人如果操作出現錯誤，或者可能會導致不可逆的結果時，安全的可中斷能力可以發揮作用，也可以幫助機器人從緊張的局勢中脫離出來，甚至可以臨時讓機器人完成某個未學習過如何執行的任務。」論文中作者也表示，一些系統可能不能夠被叫停。

「我們還不明確，是不是對所有演算法來說，都能輕而易舉地賦予可被安全中斷的特性。」

作者 Armstrong 之前警告說，在機器人超越人類，甚至是意外地滅絕人類之前，研發人工智慧研究的保障措施是一場與時間的競賽。

二、人工智慧威脅論

今年初，Armstrong 於倫敦參與了一場關於人工智慧的辯論，他警告說，儘管機器人被指示要保護人類，人類也有可能被滅絕。

據英國《電訊報》報道， Armstrong 就曾預測，機器人將會執行瑣碎的工作，逐漸成為人類日常生活不可或缺的一部分，但最終人類也會由此變得多餘，而機器人則會接管世界。

Armstrong 相信，機器人將會以人類大腦無法理解的超高速工作，從而略過與人類的通信進而控制經濟、金融市場，還有交通、醫療等。

機器人將不再只能夠執行特定的、有限的任務，而是會擁有所謂的人工通用智能（AGI），能夠執行的任務將會大大增多。

Armstrong 博士相信，在機器人超越人類（比如圖中顯示的電影《超驗駭客》中的場景），甚至是意外地滅絕人類之前，研發人工智慧研究的保障措施是一場與時間的競賽。

他說，「接下來的 100 年中，你能想像到的人類能做的事情，AGI 有可能都可以非常快地完成。」

Armstrong 擔心，對 AGI 來說，一條簡單的「阻止人類繼續承受痛苦」的指令，可能會被超級計算機解讀為「殺掉所有的人類」，而「保證人類的安全」則可能讓機器把所有人禁閉起來。

他說，「人工智慧這種有害行為會帶來風險」，並補充道，人類語言如此微妙，有可能會被誤讀。

「你可以將一些控制權賦予人工智慧，而人工智慧也會在這些控制權的限制下運作。但這些控制權造成的效果可能會與人類原本的期望相悖。」他預測道，對一個機器來說，很難說它是否有致命的「意圖」，它的行為是否可以符合人類權益，除非，機器本身可以掌控所有功能。史蒂芬·霍金教授之前接受 BBC 採訪時曾說：「全人工智慧的發展將意味著人類的終結。」

Armstrong 博士預測說，機器人將會執行瑣碎的工作，逐漸成為人類日常生活不可或缺的一部分。但最終人類也會由此變得多餘，而機器人則會接管世界。

Armstrong 今年年初也發表過相似的意見，他當時說，創建人工智慧方面的成功「可能會成為人類歷史上一場最重大的事件，而且不幸的是，也可能是最後一件」。

同樣的，去年 11 月，Space-X 和 Tesla 的創始人 Elon Musk 曾警告說，僅僅在屈指可數的五年之後，就可能會因為機器擁有人工智慧，讓人類面臨「一些極其危險的事情」的威脅。

馬斯克曾將自動化的、有思維的機器與「召喚惡魔」相提並論。

Space X 創始人馬斯克：人工智慧是「人類生存面臨的最大威脅」

「我們正用人工智慧召喚惡魔。你知道這個故事，有一個人拿著五角星一樣的東西，還帶著聖水...... 他確定自己能夠控制惡魔嗎？他不知道。」

同時， Armstrong 雖然承認超級人工智慧計算機或許有找到癌症和其他疾病的治療對策等強大的能力。但是，人類仍處於一場致力於打造安全的人工智慧機器的競賽中，爭分奪秒，以免為時過晚。

一種方法是，把道德準則教給機器人，但是 Armstrong 對這點是否可行不抱太大希望。因為人類發現自己都很難區分對錯，而且就行為規範來講，人類通常也不是好的榜樣。

三、人工智慧安全保障公開信

1月份，馬斯克和霍金在內的一眾科學家和企業家簽署了一份公開信，承諾要保證人工智慧研究能夠讓人類受益。

這封公開信警告說，智能機器如果沒有安全保障，人類的未來可能會一片黑暗。這份文件由位於波士頓的志願機構 Future of Life Institute 起草，宣稱科學家應該奮力消除可能會使人類滅絕的風險。

這些公開信的作者表示他們達成了廣泛的共識，認為「人工智慧研究」要有良好的進展，會對社會產生更大的影響。

在因人工智慧研究而受益的方面，他們主要提到了語音識別、圖像分析、無人駕駛、翻譯、機器人移動能力等。

「（人工智慧）潛在的益處非常之大，因為人類文明提供的一切事物都是人類智能的產物；當智能被人工智慧工具放大時，我們不能預測將會有什麼後果，但是消除疾病和貧窮的益處是顯而易見的。」這些作者如此寫道。

但是他們也發出嚴重警告，要像研究人工智慧能給人類帶來什麼回報一樣，努力避免人工智慧可能會帶來的潛在的不利影響。

比如，公開信表示，短期來說人工智慧可能會讓幾百萬人失去工作。

長期來說，人工智慧有可能會像小說中虛構的反烏托邦場景一樣，它們的智能比人類更強大，並開始對抗編程指令。

該公開信說，「我們的人工智慧系統所做的必須是我們想讓他們做的。」

「很多經濟學家和計算機科學家都同意，如何將人工智慧的經濟利益最大化，同時減輕對不平等的加重、抬高失業率等負面影響，做這方面的研究非常有價值。」

請您繼續閱讀更多來自 機器之心 的精彩文章:

※OpenAI及DeepMind兩團隊令未來的AI機器更安全
※OpenAI 聯手 DeepMind，找到「馴化」AI 新辦
※再無Master DeepMind創始人宣布AlphaGo「退役」
※Google DeepMind正在向NHS提供病人監控應用程序
※OpenAI 聯手DeepMind，找到「馴化」AI 新辦法
※Google DeepMind AI學會了自己研究物理基本定律
※微軟創建了一個AI研究實驗室來挑戰Google和DeepMind
※OpenAI聯合DeepMind發布全新研究：根據人類反饋進行強化學習
※谷歌DeepMind與OpenAI合作預防機器人暴亂
※AlphaGo功成身退 DeepMind想用《星際爭霸 2》訓練AI
※DeepMind創始人Demis Hassabis專訪：讓AI更聰明的秘密就在人類自己身上
※「DeepMind最新Nature论文」探索人类行为中的强化学习机制
※DeepMind發布Sonnet 幫你用TensorFlow快速搭建神經網路
※DeepMind和暴雪聯手發布開發工具和replay數據集，讓更多AI研究者玩上星際2
※微軟成立AI研究院，研究通用型AI挑戰DeepMind
※「Science」DeepMind關係推理ANN，在圖像理解中擊敗人類
※DeepMind提出Rainbow：整合DQN演算法中的六種變體
※DeepMind團隊：發明AlphaGo不是為了戰勝人類
※DeepMind最新Nature論文：探索人類行為中的強化學習機制