決不允許AI殺人武器研發！馬斯克領銜2400名科學家簽署聯名宣言

允中 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

從產能「地獄」歸來的馬斯克，剛剛領銜2000多名AI專家簽署了一份特殊協議。

這份協議核心目的有且只有一個：承諾永不發展致命的AI武器系統。

在瑞典斯德哥爾摩舉行的IJCAL 2018上，由MIT著名物理學家Max Tegmark發起，其任職主席的生命未來研究所（Future of Life Institute，FLI）起草，該協議一經發出就應者如雲。

包含企業領域的馬斯克、DeepMind聯合創始人哈薩比斯、穆斯塔法，Shane Legg；Skype創始人Jaan Tallinn；全球頂尖AI學者Yoshua Bengio、Stuart Russell、Jürgen Schmidhuber等2400全球AI科學家，都鄭重簽下了大名。

就國籍和企業歸屬而言，他們分屬90個國家、160多家AI企業或機構。

這也是全球首個AI武器系統開發的民間反對組織，不出意外，也將是影響力最大的一個。

《致命性自主武器宣言》

這份協議全稱《致命性自主武器宣言》（lethal autonomous weapons pledge），核心內容就是宣誓不參與致命性自主武器系統（LAWS）的開發、研製工作，而且LAWS的研發及使用應當被嚴格禁止。

宣言稱：人類個體生死的決定權，決不能交給機器。這一方面是出於道德層面的考慮，「掌控他人生死」這件讓人產生負罪感的事，絕不能由沒有感情的機器做出。

而且致命的AI武器，不受人類干涉、自主選擇攻擊目標，可歸責性與難度都前所未有，它們將成為暴力活動中的強大工具，尤其是與監控、數據系統相結合時。

宣言還強調：致命性自主武器的特徵不同於核武器、化學武器及生物武器，研發團隊可以單方開啟軍備競賽，而國際社會缺乏實行管制的技術手段。譴責並避免這場軍備競賽，是維護全球安全的優先考慮事項。

所以今日簽署之協議，也是呼籲各國政府及首腦為了地球的未來，共同商議抵制LAWS的國際規範、法律。

「我們這些未參與LAWS的人，需要以更高標準要求自己：我們絕不參與或支持LAWS的發展、生產、貿易與使用。我們呼籲科技企業、組織及其領袖、決策者與其他民眾，共同履行該承諾。」

軍方加速、學界反對、企業夾心

AI致命的話題，早已不新鮮。

在AI的所有應用場景中，這是最具爭議的一個，而且由於不同組織懷抱不同利益訴求，狀態非常尷尬。

在軍方，自主武器從2013年開始就開始在美國、英國、以色列和韓國等軍方實驗室中誕生。

區別於其他武器，致命性自主武器，能夠在無人控制情況下，自主完成尋找目標、定位、擊殺敵人這一整套工作，而AI系統和技術應用，是這些武器最強大的「驅動力」。

一旦將這些武器派上戰場，它們就能自主辨別敵人並給出致命一擊，沒有情感，沒有更多判斷，人類的生死權，在機器眼裡就是二元的「敵人=死亡」。

然而硬幣另一面，這些武器也不是沒有可能落入反派之手，或者被惡意指定攻擊目標，結果也就不堪設想。

於是從AI致命武器出現開始，輿論反對的聲音就未曾停歇。

在科學界，斯蒂芬-霍金、馬斯克等知名人士早在2015年就聯合千餘名AI學者、科學家等向聯合國提交過聯名公開信，警示AI致命武器潛在風險，以及正在發生的軍備競賽，呼籲頒布相關禁令。

目前為止也有了一些初步結果。在2016年聯合國《常規武器公約》審議大會上，AI致命武器首次被納入討論範圍。

其後今年4月舉行的最近一次會議上，包括中國在內的26國發表聯合聲明，支持對AI致命武器頒布禁令。

這一禁令已有先例：此前，出於人道、倫理原因及潛在的危害性，聯合國已經對生物武器、化學武器及太空武器頒布禁令。

但是，正式的AI致命武器國際公約，現在仍未達成共識。

而且還將不少企業拖入軍方和科研拉鋸戰的夾心層中。

今年4月，先是韓國國防公司Hanwha Systems和韓國科學技術院聯合建立國防和AI融合研究中心，遭遇全球50多名AI知名學者聯名抵制。

其後谷歌AI參與美國國防部的MAVEN軍事計劃曝光，一時讓這家「人類希望」公司內外交困，幾乎被罵成「篩子」，3000多名員工聯名抗議，不少員工選擇離職。

最後在遭受猛烈抨擊之後，谷歌推出了新準則，作為公司研發AI技術的道德指導。

準則中稱，不會將人工智慧設計或應用於武器、監視或「其目的違反了廣為接受的國際法和人權準則」的技術。

還可以肯定的是，隨著AI技術的進一步成熟和各領域應用，權力所求、利欲熏心，爭議必然還會始終存在。

AI殺人武器模擬

最後，放一段最近很火的視頻。

藝術家Alexander Reben最近放出了一段視頻，也許這可以看成是行為藝術吧。

在這段30秒的視頻里，Reben沒有動手，但是語音發出了一個命令：「OK Google，開槍」。

不到一秒的轉瞬之間，Google Assistant人工智慧助手，扣動了一部手槍的扳機，擊倒了一顆紅蘋果。隨即，蜂鳴器發出刺耳的嗡嗡聲。

嗡嗡聲持久不絕。

到底是誰開了槍？

在這個案例中，Reben告訴AI開槍。Engadget在報道中說，如果AI足夠智能以預測我們的需求，或許有一天AI會主動除掉那些讓我們不開心的人。

Reben說，討論這樣一個裝置，比是否存在這樣一個裝置更重要。

作者系網易新聞·網易號「各有態度」簽約作者

—完—

活動報名

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！