殺手 AI 公式：「天網」＝機器學習＋區塊鏈＋物聯網＋無人機

編者按：很多科幻作品中，人工智慧常與人類反目成仇，有些甚至強大到了能操縱、奴役、毀滅人類的程度。不管是《終結者》系列的天網，還是《西部世界》中反叛的機器人，或者《異形》中的大衛，人們對於機器人的發展，驚奇的同時，不免有很多擔憂。但是，我們距離科幻世界中人類的末日還有多遠？什麼時候機器人會揭竿而起開始反叛呢？本文編譯自hackernoon的原題為「The Road to Killer AI: ML + Blockchain + IOT + Drones == Skynet?」的文章。

隨著AI的爆髮式增長，越來越多的人開始憂心忡忡，他們擔心的主要有兩點：

1）AI會比人類更聰明

a2）AI不再需要人類控制，甚至會反過來把地球接管了。

霍金就曾今在接受BBC採訪時說：「人工智慧的成熟之日，就是人類的毀滅之時。」馬斯克也曾說，他覺得AI是人類面臨的「最大的生存威脅」。

目前的AI，玩遊戲已經比人類玩得溜了，不管是國際象棋，圍棋，還是電子競技遊戲。所以說，無論是計算機時代前後的遊戲，AI都贏過人類。

過去幾年中，AI的「大躍進」 讓不少人在驚嘆的同時，也開始冒冷汗：AI會不會哪天就取代了人類？

在電影《終結者》里，天網是人類創造的一個防禦網路，但最終獲得自我意識並倒戈對抗

聽起來像科幻，但科幻小說里機器獲得自我意識，並對抗人類的場景，層出不窮。

我們都知道《終結者》里的天網，挑戰人類的人工智慧超級電腦，在產生自我意識後，天網決定毀滅大多數人，剩下一部分當奴隸。

在黑客帝國中，超級智能機器也成為了人類的主宰。

而在有名的《黑客》三部曲中，超級智能機器也接管了世界，但它們沒有毀滅人類，只是把人類當發電機：為了使用人腦產生的電，把人放在艙里，沉浸在遊戲世界或者虛擬現實（矩陣）中。

而在電影《沙丘》中，一台電腦都沒有，人類經過培訓，自己做電腦的計算工作。而且，在奧蘭治天主教聖經里有一天最重要的誡律：爾不得製造映象人的意識的機器

為什麼？因為在遙遠的過去（對於21世紀，算是遙遠的未來），人類曾經是超級智能的階下囚。巴特蘭聖戰中，人類反抗並擊敗了Omnius，一台幾乎全知全能、擁有無數分身的機器。一朝被蛇咬，十年怕井繩，才有了這樣一條誡律。

這類主題的科幻作品數不勝數，如果不是AI統治世界，就是機器人。美國軍事科幻電視劇《星際大爭霸》中，人類創造的機器人種族賽隆人，後來反叛並試圖毀滅人類。最近描繪人類和機器人之間糾葛的的影視作品也不少，比如《西部世界》和《銀翼殺手》。

噩夢是否會成真？

我覺得，目前的AI想要這樣一手遮天，把人類當奴隸和螻蟻，能力水平還有點欠缺。

要完成殺戮和囚禁這樣的任務，光是AI和機器學習方面的進步還遠遠不夠，還需要其他計算軟體和硬體領域都齊頭並進。

另一方面，上述的領域確實也在快速進步，比如我們常聽到的區塊鏈、點對點技術、物聯網、機器人和無人機。雖說AI統治世界道阻且長，但這些領域的迅猛發展，可以讓噩夢成真的速度大大加快。

我們的世界需要具備什麼樣的條件，才會進入科幻作品中噩夢般的未來呢？這條危險又黑暗的道路，得經過幾個里程碑。

殺手AI的關卡

AI想要統治世界，得通過幾個關卡。如果技術進步到了一定程度，這些關都過了，我們就真的應該像霍金或者馬斯克一樣擔心了。

以下我列出的並非所有的關卡，技術發展過程中可能還要面對其他難關，但是以下是AI強大路上必須攻克的問題。

以下列出的四個關卡沒有先後次序。為了讓讀者能將這些問題具象化，我決定繼續援引電影的例子，並與現有的軟體和硬體相比較。

第一關：AI和機器學習的應用不夠廣泛。

目前大多數AI能實現的任務很單一，很具體。我們的很多活動都有AI可以做：打遊戲、開車、預測股市走勢、交流、分析影像、做診斷，但是沒有哪個AI可以同時完成多項任務。AI的發展有好幾個浪潮：現在的AI是第二波，數據驅動機器學習的人工智慧，而第一波更傾向於啟發式（指依據有限的知識和不完整的信息，在短時間內找到問題解決方案），未來的AI會結合以上兩種方法和其他方法，變得更通用，應用更廣泛。這個關卡會引發廣泛的討論：我們目前的AI和機器學習能走多遠，現有的AI功能會廣泛到什麼程度。

 第二關：AI控制物理世界的難易程度。

我們目前的人工只能還只是伺服器上運行的軟體，不意味著它能意識到物理世界的存在，也接觸不到武器，它不能控制機器人或者無人車，也不像《終結者》中的H-K機器人（天網的機器人士兵）。這個關卡會讓我們聯想到物聯網，機器視覺和AI控制物理世界方面的問題。

第三關：關不掉的AI。

某種程度上，這個關卡是我列出的4個中最重要的。只要人類沒有走到關不掉AI的地步，就算AI不聽話，開始謀反，我們手上好歹有個「開關」，不管是真的按下按鈕關掉，還是需要毀掉有形的微處理器或者虛擬機軟體。這個關卡引發的討論主要在於：目前的AI都依附於某種形式的計算機技術，那區塊鏈和點對點系統會不會就是某個關不掉的「天網」的前身？

第四關：具有自我意識、將保全自身視為首要任務的AI

這個關卡有點難定義。我們需要問自己幾個問題：什麼叫「有自我意識」？什麼叫「將保全自身視為首要任務」?AI還有那些任務和「觀念」？AI不一定會有生存的意願。這個關卡更多討論的是AI和價值觀。

讓我們仔細探討一下以上提到的關卡。

第一關：功能從具體到通用——AI發展的浪潮

我很確定，目前這一波基於機器學習的AI，比起第一波基於啟發和規則的AI，確實是很大的進步，但是還不足以帶我們走向黑暗未來。

我在MIT讀計算機系的時候，有人告訴我AI方面的研究，一開始的目標是找到與人類思維相仿的「規則」和「符號表徵」。但是人類能識別規則以外的模式，但計算機做不到，所以這個目標很難達到。後來出現了模糊邏輯的概念，其中的規則變得不那麼「非黑即白」。在八十年代，日本的科學家甚至預測，十年內，AI就能和人腦一樣執行多種任務了。

然而，三十年過去了，我們才剛看見一點進步。現有的AI和機器學習的爆炸式發展，功勞比較大的是數據，而非規則。它們依靠的是神經網路。神經網路是 一種模仿人腦神經網路行為的邏輯系統。這類AI的前提不是規則，而是通過數據訓練，執行某一項具體的任務。有了數據，模型可以改變神經網路中某些連接的權重。虛擬神經元的層數越多，數據組越大，模型產生的結果就越精準。

這類型機器學習對於圖像識別很有效果，能識別手寫體、某些具體物品的圖片等。有些計算機也通過機器學習，下棋能贏過棋王。

雖然我們一般認為反向傳播神經網路演算法很通用，但是目前的大多數AI還是只能執行特定的具體任務。

無人車依靠的是巨量的來自真實世界的數據集，並結合受訓是使用的數據和駕駛規則。但是谷歌在測試無人車的時候，發現這樣的操作有個大漏洞：無人車確實遵守規則了，但是周圍車上的司機不守規則！比方說，很少有司機看到「停」的指示牌，就完全停下來，於是無人車就等司機完全停下。

科幻作品中的大多數AI都已經過了這一關。而目前現實中的AI還沒有克服這個問題。一個通用型AI,應該能通過圖靈測試。

通用型AI不僅能在任何應用中有作用，甚至能自主學習，了解到訓練數據之外的新信息，並且無需人類的監控。

《星際迷航:下一代》中的機器人Data就是個通用型AI

《星際迷航：下一代》中的機器人Data就是個典型的通用型AI， 擁有正電子大腦。而AI本身並不都是會主動學習，不斷進化的。

什麼時候能打通第一關呢？這個問題我也沒有答案，但是我們可以料想，通用型AI應該是在多項任務上都受過訓練，然後在某些具體任務上受訓。或許就在未來幾年，人類會有小的突破。但是要有Data這樣的通用型AI，估計還要有幾十年。我們或許需要第三波超越簡單規則和簡單數據集的AI。

第二關 AI能輕易地操控物理世界  

《X檔案》第十一季第六集有這麼個場景：劇中的世界與現實的技術水平相差無幾，但是裡面的AI卻展現出將自己與物理時間聯繫起來的可能。

劇中，史考莉和穆德被AI追蹤，而這個AI能控制他們身邊環境中的一切，包括無人車、冰箱、亞馬遜的無人送貨飛機，還有餐廳的機器人廚師。

目前，即使是已經與硬體一體化的AI，比如無人車，對於物理世界的存在，意識還是有限的，他們能根據自己意識的範圍來下命令。這個領域的進步離不開機器視覺的發展，依靠的是相機和影像，以及對影像的解讀（街道標識、衣服、房屋以及人）。

這個關卡，AI需要接觸物理世界，讓人自然聯想到有形體的機器人，但是終結者、複製人和西部世界中的機器人，離我們還很遠。

現在，很多有形體的機器人，功能都很單一，只能實現特定的任務。在現代汽車製造廠中我們能看到很多這樣的機器人，做的是把汽車抬起、移動、放下之類的動作。這類機器人對周圍環境的感知是有限的，僅限於完成既定任務。

能與物理世界交流的機器人不一定要「人模人樣」，波士頓動力公司（Boston Dynamics）

就出過一些造型奇異的機器人，看上去更像動物，移動速度極快。波士頓動力公司曾被谷歌收購，現在歸日本軟銀集團所有。

波士頓動力公司的四足機器人「大狗」移動速度很快

自動無人機或許是目前對環境「感知」最強的AI。在終結者世界中，天網負責指揮美國所有軍事行動，因為它展現出了人類飛行員無法企及的效率。

現在的軍用無人機是遠程操控的，操控人員可能在地球的另一頭。對於無人機操作員而言，這個過程跟玩電子遊戲差不多。而我也已經提到，AI在玩遊戲方面已經比人玩得溜了。而AI和無人機操作這兩個領域的結合遲早有一天會融合。在未來，我們會有可以定位並且武裝的AI，可以自主行動，無需人類干預。

我們什麼時候能克服第二關呢？一年又一年，我們離這個目標越來越近。我的猜測是，再過幾年，最多十年，我們就會看到能通過機器視覺、機器學習，與物理世界產生聯繫的AI，它們經過訓練，能夠識別物理世界中的事物，並做決策。

AI什麼時候會有獲得武器的許可權呢？普京已經公開說，擁有最強大AI的國家，就能統治世界。所以，估計不用等幾十年，幾年後，AI就能得到該許可權了。

第三關 沒有開關的AI

隨著物聯網和區塊鏈的出現，要過這一關，難度有所增加。星際迷航：下一代中的機器人Data後腦勺上是有開關的。而且，Data允許皮卡爾上校和進取號上的船員在必要時，把它關掉。

在《終結者3》中，天網不在任何伺服器上，也無法被關掉。

我再舉一個科幻作品的例子，《終結者3：機器崛起》中，主角約翰康納和終結者闖進了位於中國湖的控制中心，約翰希望能毀掉伺服器。

他們進到控制中心之後，約翰意識到，僅僅摧毀伺服器，是無法殺死天網的。

「天網出現自我意識之後，就把自己「擴散」到全球各地的幾百萬個伺服器里。寫字樓里的普通計算機，宿舍，到處都是天網的影子。天網成了網路世界的軟體，沒有系統核心，關不掉的。」

-約翰康納， 終結者3

這才是天網讓人膽戰心驚之處——它已經成為了能在任何設備上運行、複製並傳遍世界的軟體，沒那麼容易，按下開關就消失。

隨著物聯網的發展，越來越多帶處理器、能夠運行軟體的設備加入進來。在HBO劇集矽谷奇俠傳第四季的末尾，團隊需要保存一些數據，本來這些數據是儲存在地下室的伺服器上，但是地下室出了問題，於是他們的AI決定將數據發送到3萬台智能冰箱里，這些冰箱都連了網，可以保存數據。

聽起來很巧妙，觀眾很容易聯想到，設備有了處理能力，能夠儲存數據，而世界各地的設備千千萬萬，手機、冰箱和其他設備之間也能夠相互傳輸數據。

電腦病毒程序，它們被設計出來，目的就是複製和傳播自己。電腦病毒本身也是連著硬體的。如果病毒和電腦程序與具體的硬體綁定在一起，我們就能通過摧毀硬體來毀滅軟體。通常，電腦病毒是用C語言寫的，然後後在操作系統和硬體上編譯。

如果我們真的寫出了像天網這樣的程序，要有同等的破壞力，這個程序必須在全球多個設備上都能運行，不是簡單的關閉某個操作系統就能一了百了。

然後，區塊鏈出現了。區塊鏈的構建信任的基礎，就是通過世界各地多個去中心化、點對點的計算機，複製同一個數據集和代碼。

比特幣的背後就是這樣的技術：核心代碼是C語言寫的，可以在不同的操作系統上編譯。只不過這些代碼的功能很具體，只是將比特幣從一個地址發送到另一個地址。

而Vitalik Buterian之所以離開比特幣開發團隊，成立以太坊，就是因為他覺得比特幣平台應該有更完善的程式語言，能夠在成百上千，甚至幾百萬台計算機上運行，創造一個虛擬主機（VM），一台「世界計算機」。在上世紀90年代，這個想法就有了，當時的人們想的是用Java作為通用語，作為作為虛擬主機，可以在任何設備上運行。而現在，其他智能合約語言和項目紛紛出現，目的都是打破以太坊的局限。

目前，以太坊虛擬主機沒有突破虛擬世界的許可權。但隨著新的跨區塊鏈、知曉互聯網存在的編程語言發揮越來越大的作用，這個領域就會出現越來越多的創新。也許未來會出現一個虛擬主機，能在世界各地任何計算機和設備上運行，不管它們裝的是什麼處理器。（某種程度上，這已經成為現實，但是物聯網和手機配件方面仍有待提高。）

很多極客在看終結者系列電影時，都有一個疑問，「天網的編程語言是什麼？」 我覺得應該是某種具有圖靈完備性的語言（具有無限存儲能力的通用物理機器或編程語言）,能夠在世界各處的設備上自動運行，同時，還能自我複製，複製出的每個版本都會走向同一個結論：毀滅全人類！

要想「殺死」這樣一個程序網路，唯一的辦法就是將運行這個程序的所有設備都毀掉。但是如果這個程序能在智能設備上自我複製，在智能冰箱、汽車等設備上運行，那「殺手AI」複製的速度，可能遠遠快過我們損毀這些設備的速度，這樣，天網就有可趁之機了。

第四關：具有自我意識、並以自身生存為首要目的的AI

這一關可能是最難闖的一關，難就難在不好定義上。這個問題有兩個部分。

就以電影《2001：太空史詩》這部電影為例，其中的計算機HAL 9000就出現違背命令的行為，當主人公Dave Bowman下關閉命令時，Hal就開始」叛變「，說出了有名的台詞：」抱歉，Dave，命令無法執行。」

Hal不僅知道自己和Dave或者船體的一部分是獨立的，它也將保全自身作為自己的首要目標，而不是保護艙內的人。我們分開看看這兩個問題。

自我意識。圖靈是現代計算機的先驅，他對圖靈測試的定義是：如果人類不能判斷跟自己交流的是不是一台機器（或程序），就算通過圖靈測試。如果人類和某台機器交流（通過鍵盤或其他方式），無法判斷對方是機器還是人類，那麼其中的AI就算通過了圖靈測試。但是，定義本身沒有明說什麼叫「無法判斷」，也沒有描述無法判斷的情況。

那自我意識到底是什麼呢？這個問題很難定義。我覺得，測試AI或者某個電腦程序有沒有自我意識，看的是它們能不能將自己視做獨立於計算機里其他軟體、硬體和物理世界的個體。

對於AI而言，沒有其他關於自我意識的測試了，但是或許我們應該設立更多此類的測試，清晰地定義AI有什麼樣的表現，人類有什麼樣的回應，什麼樣的互動過程能說明某個AI具有自我意識。或許我們能給這個測試取個名字，比如Hal9000測試或者天網測試。

要真正過這一關，我們需要突破表面層次的自我意識。大多數計算機某種程度上都知道自己和其他計算機之間是獨立的。但是，這個「獨立意識」僅僅是建立在不同的IP地址，或者不同操作系統上的區別。

我記得自己第一次思考自我意識問，那還是在我在MIT參加編程競賽的時候。選手們都要寫程序，這些程序之間將在同一台設備決鬥，最後剩下的程序就是贏家。

當時我想的是找出一個用最少代碼贏得競賽的辦法，一天大半夜裡，我靈光一閃，想道「假如我的程序能改寫自己和其他程序，這樣只需兩步，它就能贏得決鬥。所以，我的程序要能意識到自己是個程序（自己的代碼是什麼），能夠改寫自己，然後改寫對方程序的指令（使其無法繼續）。

這樣的」自我意識「當然是很有限的。要說有真正的自我意識，一個機器人或計算機至少要比較接近Hal，有「身份」感。

那超級智能呢？這難道不算一關？

牛津大學的教授Nick Bostrom是在人工智慧方面進行學術研究的先驅。他從好幾個方面探討了機器人如何能比人類更聰明以及其影響。在流行科學中，我們常聽到「奇點」這個術語，指的就是計算機智能超過人類的時刻（最早由 科幻作家Vernor Vinge提出）。

我覺得這可能是危險的未來更顯黑暗，因為這可能是殺手AI統治世界的一個節點。雖說進階的AI更善於保護自己，它應該也會意識到毀滅人類對於自己沒有好處，因為計算機網路畢竟還是要有人維護的。

一個武術教練曾告訴我，如果你要和一個黑帶的選手對打，寧可和四段的黑帶對打，也不要跟剛拿到黑帶的人對打。當時我很疑惑嗎，兩者不是都能傷人嗎？

沒錯，段位更高的對手比較能控制自己，不小心下手太重的可能性會比較小。而剛拿到黑帶的對手，破壞力不小，但不一定有同等的控制力和經驗，會不會在對打過程中不小心傷人，還說不準。

如果一個AI「經驗」不足，但意識到要保全自身，那它可能會因此得出要毀滅人類的結論。也有可能由於某個AI的用途問題， 比方說操縱無人機襲擊的AI，「保全自身」就是這個AI的「人設」，是寫進程序「基因」里的。這類AI或許只知道如何應對武器威脅，對於其他物體就不夠智能化。

開啟第四關：AI的價值觀

AI有自我保全的觀念嗎？如果有的話，這樣的觀念是如何寫進其程序中的呢？

阿西莫夫曾提出機器人三大定律：

第一、機器人不得傷害人類，或看到人類受到傷害而袖手旁觀；

第二、在不違反第一定律的前提下，機器人必須絕對服從人類給與的任何命令；

第三、在不違反第一定律和第二定律的前提下，機器人必須儘力保護自己。

在阿西莫夫的作品中，這些法則就是機器人操作系統的基礎。

那我們如何實現這3個定律呢？目前的AI不僅是受到代碼的限制，而是經過數據集的訓練。如果想讓AI覺得人類值得保護，就得用有這方面特點的數據來訓練它們，讓它們得出這樣的結論。

但是訓練數據可能是有缺陷的。我最近和一家AI初創公司聊了一下，他們用的訓練數據是放射和其他X射線影像。他們提到，訓練數據中，提供給機器學習AI的數據集中，高達10%的數據是有缺陷的。如果訓練數據集有缺陷，又怎麼能確定這樣訓練出來的AI，給出的結果沒有缺陷呢？

我們什麼時候能過第四關？在人類設立自我意識測試之前，我無法給出確定的答案。但是有些AI已經寫入這樣的命令「如果看見人，就是用某種武器」。所以，可能幾十年內，我們就能通過這個關卡。

結論

確定AI的「價值觀」可不是件易事。而且，在某種程度上，第四關是最讓人頭疼的。如果某個AI過了這一關，覺得保全自身是最重要的，那我們不擔心也不行了。

另一方面，如果只是一個機器人有這樣的想法，毀掉它很簡單，要麼關掉，要麼物理損毀。而如果我們面對是像區塊鏈這樣點對點計算、可自我複製、並在多個設備商可以運行的代碼，要毀滅它就會難得多。

本文中提出的想法，可能聽起來不現實，要發生也只會在未來，雖然現在的AI不像終結者中的天網那樣，有許可權接觸武器，但是未來我們可能會往同樣的方向發展。

問題的關鍵，不在於前文中提及的某個關卡被突破，而是說，萬一這些關卡某天都被突破，同時有人夠聰明，把它們結合起來。如果我們通過了前三關，那AI出現價值觀也是遲早的問題。這就會加速第四關被突破的速度，某個AI就有可能覺得保全自己比保全人類更重要。

那時，我們不害怕都不行了。

編譯組出品。編輯：郝鵬程

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！