人工智慧也拯救不了「人工智障」，機器人蠢起來也是沒誰了！

機器人聰明不是事兒，最怕他們數量多又猜不透。

編者按：自從機器人誕生以來，人類社會生產效率有了很大的提高。各種人工智慧的進步令人驚奇又振奮，但也有人提出警告，擔心AI的進步、機器人的發展會是人類的末日，曾為我們服務的機器將反客為主，甚至對人類進行「大清洗」，這類題材的科幻小說電影層出不窮，也正反映了人類潛意識中的恐懼。目前人工智慧的發展仍未超出人類掌控，機器人還「不那麼聰明」。但萬一有一天，這些「不那麼聰明」的機器人湊一塊兒了，會發生什麼呢？在跟人類開戰之前，可能機器人之間就開始內鬥了。本文編譯自Fast Company的原題為「Don』t Fear Super-Intelligent Robots. Fear Dumb, Unpredictable Ones」的文章。

Elon Musk：人工智慧是我們目前面臨的最大威脅。

「人類發展人工智慧，就像在召喚惡魔。我們以為有五角星和聖水就可以抵禦惡魔。才不是呢。」

特斯拉CEO Elon Musk曾多次警告人工智慧對人類的潛在威脅。但是他錯了。簡單的AI程序系統，儘管個別的機器人表現不錯。但有些機器人「傻」的程度令人震驚，比如傻乎乎的維基百科機器人。

世界人工智慧一百強公司的領導們經常提心弔膽，擔心人工智慧發展迅速，我們將面臨「殺手機器人」的威脅。這些AI公司的頭目們，包括特斯拉的Elon Musk和谷歌旗下DeepMind的創始人，甚至給聯合國寫了封公開信。他們警告說，自動武器技術如果落入恐怖分子和獨裁者之手，或者是被黑客入侵，後果不堪設想。

蘋果聯合創始人Wozniak說，「我們建造設備來把自己的活兒都幹了，早晚有一天他們思考速度會超過我們。那時他們就會將反應『遲鈍』的人都淘汰掉，來提高效率。」

然而，我們實際面臨的威脅其實比想像中的更大。運行過程中，不僅可能人類行為不當，機器本身也有可能出問題。研究顯示，複雜系統的行為可能比個別系統行為的加和更難預測。某種程度上，這也意味著人類社會總體的表現也可能與其中個人的表現非常不同。這一點同樣適用於科技領域——簡單的AI機器人單獨行動時可能運行良好，但一個由這些簡單AI機器人構成的生態系統，能傻到讓你瞠目結舌。

經濟市場和全球天氣這種複雜系統中，單獨元素之間一般都不是簡單線性關係。所以這些系統很難建模，很難理解。例如，氣象學的研究雖然已經進行了很多年，我們還是不能做出準確的長期天氣預測。這一類系統對細微變化非常敏感，其中的反饋迴路有時是爆炸性的。同時，想要準確地知道這類系統在任何特定時刻處於什麼狀態也異常困難。這種由一大群單獨行動的個體組成的複雜系統，不管是人類社會還是簡單AI機器人生態系統，本身就是難以預測的。

複雜系統受到許多因素影響，因此很難預測

最近，我和我的同事研究了一種複雜系統。系統由自動編輯維基百科文章的AI機器人構成。維基百科可靠的真人編輯設計了這些機器人並將它們投入使用。機器人軟體的源代碼是開放的，可供任何人學習使用。這些機器人單獨運作時都表現良好，可以優化維基百科。但他們同時運作時，卻表現得效率低下。

這些維基百科機器人是基於一系列既定的規則和習慣來運行的。但由於維基百科網站沒有中央管理系統，運作不同機器人的人不能進行有效的協調。於是，我們發現了好幾對「針鋒相對」的機器人，他們不停地取消對方的編輯，最後徒勞無功。然而就這麼過了好幾年，根本沒人發現這個bug。也因為機器人之間不能相互識別，它們自己也沒發現在做無用功。

維基百科機器人設計的用意是加速編輯的過程，但由於機器人在設計時有細微的差別，同時，不同人使用習慣可能也有不同，就導致大量資源浪費，進入編輯「拉鋸戰」——你改過來，我改回去。如果由人力編輯，反而比機器人要更快解決問題。

我們還發現維基百科不同語言版本之間，機器人的表現不同。雖然規則大同小異、目標一致、技術相仿，但就機器人合作效率而言，德語維基百科中遠超過葡語維基百科。這隻能用其中的人類因素來解釋，或許在不同環境下運行這些機器人的人類編輯的表現有差異。

指數式增長的混亂 數量一大就變野蠻

維基百科機器人的自主性很低，由於不同機器人有不同目標和功能，系統本身的操作就有大有不同。但是維基媒體基金會正計劃著使用新的AI，給機器人更多自主權。而這會導致系統的行為更變幻莫測。

還有一個例子大家或許聽說過。聊天機器人是一個用來模擬人類對話或聊天的程序。蘋果的Siri就是一例。這些能給出的回答的智能助手我們早已經司空見慣。但當兩個聊天機器人開始聊天時，會擦碰出怎樣的火花呢？把幾個聊天機器人放在一塊，他們就開始有各種奇怪表現，開始吵架，甚至是互相辱罵。

聊天機器人對話情景 「你這可悲的程序。」 「你就是個笑話。」 兩機器人進入吵架模式，針鋒相對。

系統規模越大，機器人的自主性就越高，而系統整體的表現就會更複雜，更難以預料。維基百科的系統就是一個這樣的例子，有數量龐大、個體相對簡單的機器人組成。而聊天機器人的例子中，機器人數量較小、相對複雜、更具創意。兩個例子都出現了我們未曾預料的衝突。如果我們往系統里加入越來越多的機器人，系統的複雜性就呈指數爆髮式增長，其未來的行為也就變得更難預測。所以，未來系統如果由大量異常複雜的機器人組成，那系統給我們帶來的「驚嚇」可能超乎想像。

無人駕駛的瘋狂 道路安全無處安放？

很多人看好無人駕駛汽車，覺得無人駕駛能夠提高道路交通的效率和安全。但是，倘若我們真的有了完全自主的汽車，路上就出現了一個巨大的自動汽車形成的系統。一個規模巨大的系統，表現可能跟人為控制環境下一組數量較小的汽車個體的表現大相徑庭。另外，因為其中的無人駕駛汽車還是由不同環境中的不同人「訓練」出來的。那麼它們開始互動時，這個大系統的行為很難預測。

人類可以很快適應新規則，培養新習慣，然而在不同系統間「切換」的時候還是會有困難。而適應新規則和新習慣對於人工智慧而言會難上加難。假如按德國規則運行的車輛到了義大利，面對著其他義大利無人車，面對義大利成文規則和不成文的文化習慣時，德國無人車會作何反應，會如何應對，我們心裡也沒譜。這時，像經過十字路口這樣的簡單任務都有可能帶來致命風險，因為我們不知道這時無人車在其他規則的環境中會按自己的規則運作，還是做出完全不同的舉動。

現在再回頭想想Elon Musk和他的夥伴們所擔心的潛在災難，我們會發現，一個殺手機器人個體落入「敵手」著實很危險。但加入我們面對的是一大群殺手機器人組成的無法預測的系統呢？我連想都不要想。

（36氪編譯組出品，未經允許嚴禁轉載。編輯：郝鵬程）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！