作者：克雷格、肖琴

【新智元導讀】最近，韓國科學技術院因為與軍工企業「韓華 Systems」合作研發自主武器，遭到來自全球20多個國家的50多名AI學者聯名抵制，其中包括Yoshua Bengio、Geoffrey Hinton以及南大計算機系教授周志華。研發自主武器將會加速AI軍備競賽，像這樣的技術可能導致更大規模的戰爭加速到來。科學不應該成為戰爭的幫凶和附庸工具，向這些學者們致敬！

最近，韓國科學技術院大學（KAIST）遭到了全球20多個國家、50多名高校頂尖AI學者的集體抵制。

來自蒙特利爾大學Yoshua Bengio、多倫多大學Geoffrey Hinton、瑞士人工智慧實驗室Jürgen Schmidhuber、加州大學伯克利分校Stuart Russell、香港中文大學的華雲生教授、香港科技大學的楊瓞仁教授、南京大學的周志華教授等人，通過新南威爾士大學官網，向KAIST發出一封公開信：

停止研發自主武器！

KAIST是韓國「清華北大」級名校，以擅長理工技術著稱，為何遭到這些學者們的反對？

韓國KAIST四項AI實驗引發擔憂，全球50多名頂級專家聯名抵制

據英國《金融時報》報道，今年2月以來，KAIST一直在「國防和人工智慧融合研究中心」進行四項實驗，分別是：

基於人工智慧的指揮和決策系統；

水下無人機導航演算法；

基於AI的智能飛行器訓練系統；

基於AI的對象跟蹤和識別技術。

就學術界來說，這些實驗看上去很正常。但不正常的地方在於，「國防和人工智慧融合研究中心」是KAIST與韓國軍工企業「韓華 Systems」合作成立，而韓華Systems的母公司韓華集團（Hanwhua）因為製造集束彈藥被聯合國列入黑名單。

Hanwha官網

這50多名學者們擔心，KAIST研發自主武器將會加速AI軍備競賽，像這樣的技術可能導致更大規模的戰爭加速到來。他們在信中警告，如果成功研製自主武器，戰爭速度之快、戰爭規模之大，將是前所未見的，也有可能成為恐怖分子的武器。

在對KAIST的公開信中表示，他們將抵制與KAIST的任何合作，也不會接待KAIST 派出的訪客，以及停止所有與 KAIST 的接觸，直到KAIST的院長承諾該中心不會研發無需人類操縱的自主武器。

簽署聯名抗議信的學者來自英國劍橋大學、美國康奈爾大學、加州大學伯克利分校、香港中文大學、香港科技大學、南京大學等五十二所學府，這些學者在人工智慧和機器人技術研究方面具領導地位，包括蒙特利爾大學Yoshua Bengio、多倫多大學Geoffrey Hinton、瑞士人工智慧實驗室Jürgen Schmidhuber、加州大學伯克利分校Stuart Russell、香港中文大學的華雲生教授、香港科技大學的楊瓞仁教授、南京大學的周志華教授等。

公開信發出後，KAIST的總裁Sung-Chul Shin表示，聽到抵制的消息他感到很難過。「我想重申，KAIST沒有任何意圖參與開發致命的自主武器系統和殺手機器人。」Shin在一份聲明中說。

「作為一個學術機構，我們非常重視人權和道德標準，」他補充說。「我再次重申，KAIST不會進行任何與人類尊嚴相反的研究活動，包括自主武器。」

韓華集團上了聯合國「黑名單」，學術機構與其合作甚至能惡化半島局勢

「你可以用人工智慧做很多偉大的事情來挽救生命，包括在軍事中。」 公開信的發起者、新南威爾士大學教授Toby Walsh說，例如軍事方面，AI可代替人類執行諸如清除地雷的危險任務，但公開宣布研究目的是為了開發自主武器，卻引起極大憂慮。

「這是一個非常受人尊敬的大學與一個道德上可疑的合作夥伴進行的合作，這種合作將繼續違反國際規範。」

KAIST是韓國頂級名校，在2016年QS世界大學排名中居亞洲第6、世界第43位。

KAIST官網

早在2014年，KAIST就研發出名為Raptor的雙腿機器人，當時它的速度可以達到46公里/小時，甚至為其配備了一條類似於爬行動物的尾巴以達到平衡。

強大的科研能力，如果被用到軍事領域，自然會引起社會關注和質疑，更何況，Hanwha Systems被Toby Walsh認為是一家「道德上可疑」的公司。

而早被聯合國列入黑名單的韓華集團，曾製造集束彈藥。根據維基百科，集束炸彈是將小型炸彈集合成一般空用炸彈的型態，利用數量的特性增加涵蓋面積和殺傷範圍。在敘利亞戰爭、利比亞內戰期間都出現過使用集束炸彈的情況，殺傷力極大。

韓華集團同時也是韓國最大武器生產商之一，根據《集束彈藥公約》（CCM），韓華生產的集束炸彈，被一百二十個簽署國禁止使用，不過韓國、美國、俄羅斯和某些國家並沒有簽署該項國際條約。

集束炸彈（圖據stopclustermunitions.org）

另據英國衛報報道，韓國的Dodaam Systems公司已經生產出一種完全自主的「作戰機器人」，它是一種靜止的炮塔，能夠自主探測3公里外的目標。客戶包括阿拉伯聯合大公國和卡達，並且已經在朝韓邊界上進行了測試。

Toby Walsh教授認為，從更宏觀的角度來看，KAIST與韓華合作發展自主武器，也會使朝鮮半島的安全局勢更加惡化。

人工智慧在世界各地的軍隊中的使用引發了人們對類似「終結者」的擔憂，並提出了關於這種武器的準確性以及區分朋友和敵人的能力的問題。在下周，聯合國將在日內瓦舉行關於自主武器的會議，這些來自20多個國家的50多名學者，希望能夠徹底禁止殺手機器人。

周志華為內地唯一一個署名的學者，Hinton：不能讓希特勒這樣的人來負責自動駕駛飛機

在50多名署名公開信中，南京大學人工智慧學院院長、計算機系教授周志華是唯一一名內地學者，此外公開信的簽署人還包括香港中文大學的華雲生教授、香港科技大學的楊瓞仁教授等。

周志華教授

新智元向周志華教授詢問關於參與KAIST公開信一事，截止發稿時，周教授尚未回復。不過，去年5月，National Science Review （《國家科學評論》）發表了一篇周志華教授採訪美國俄勒岡州立大學計算機科學榮譽教授、AAAI前主席、國際機器學習學會 IMLS 創始會長 Thomas Dietterich 的採訪，其中提及了自主武器系統的觀點。

當時周志華向Thomas Dietterich提問：隨著機器學習快速發展，人類的工作會受到機器的威脅嗎？你可以談一下「奇點論」和高級AI的威脅的觀點嗎？

在回答「高級AI的威脅」的部分，Thomas Dietterich不認為AI技術本質上是安全的、我們沒有什麼可擔心的。相反，隨著計算機變得更加智能，我們把駕駛車輛，管理電網或打擊戰爭（自主武器系統）等高風險的決策交給了計算機。但是「今天的機器學習技術還不夠可靠，也不夠強大，不足以被交付這樣危險的決策。我非常擔心，只要機器學習組件中存在一點錯誤，AI技術的過早部署都可能導致重大的生命損失。」

而在今年初，周志華曾在「知識分子」上撰文稱，「嚴肅的研究者就不該去觸碰強人工智慧」的觀點，也同樣值得再次關注。

周志華教授認為，圖像識別、語音識別等方面，機器已經達到甚至超越了人類水平，但它們都是在考慮某種特定類型的智能行為，而不是「完全智能」行為，而「如果目標是製造「工具」，那麼考慮特定類型的智能行為就已足夠，自主心智、獨立意識、甚至情感之類的東西，根本無須考慮。」

除了周志華外，「AI大神」Geoffrey Hinton也曾發表過「比起智能機器人來，更擔心自主武器」的觀點。

Geoffrey Hinton

對Geoffrey Hinton來說，機器智能已經具備了「製造自主武器的能力，而且它們是真正的危險」。他認為，如果像希特勒這樣的人負責大型小型無人駕駛飛機，「那將是多麼可怕的事情，我們需要像日內瓦公約這樣的條約來限制自主武器的使用。」

2015年7月，來自世界各地的數千名的人工智慧研究人員簽署了一封公開信，呼籲聯合國禁止超出人類控制的攻擊性自主武器。2017年8月，有超過100位AI和機器人公司的創始人為此簽署了類似的公開信，要求聯合國就此問題採取行動。

迄今為止，已有22個國家要求禁止自主武器。

曾經「不作惡」的谷歌與五角大樓合作遭3100名員工聯名反對，AI不能用來殺人

明裡暗裡，人工智慧研究正越來越多地被世界各地的軍隊用於國防應用。

昨天，紐約時報刊登了由數千名谷歌員工簽署的內部抗議聯名信，反對谷歌公司參與美國五角大樓的一項名為Project Maven項目，即利用人工智慧解讀視頻圖像。該技術有可能被用於提高無人機打擊的準確度。

這封目前正在谷歌內部流傳的信件獲得了超過 3100 份簽名，曾經以「不作惡」為口號的谷歌，也正面臨尷尬的處境，反映出矽谷和美國聯邦政府之間的文化衝突。

隨著尖端人工智慧技術被越來越多的用于軍事目的，這種衝突未來可能進一步加劇。

事實上，人們沒有辦法阻止AI能力進入攻擊性武器。即使世界上最優秀的研究人員拒絕研究攻擊性武器的技術，其他人也可以輕易地將這些已被驗證的模型「現拿現用」，將其直接應用於新的應用程序。這並不是說武器方面的應用沒有其他需要解決的問題，但開發核心的AI能力是開啟這些應用的關鍵。

人工智慧是「軍民兩用」（ dual-use）的一個特別棘手的問題。一個很好的例子是核理論，它可以用於核磁共振成像，從而大規模改善人類醫療保健，或者用於為我們的社會提供核反應堆的動力，但它也可以被用於製造大規模致命性的炸彈，殺死無數的人。

AI具有挑戰性，因為它不像核武器那樣需要獨特的硬體來向其他力量表明其發展。今天，我們可以使用消費級無人機、機器槍觸發器和從GitHub下載的計算機視覺演算法來製造自主殺人無人機。

除非徹底停止開發AI能力，否則AI技術還將繼續發展。

換句話說，AI研究人員會殺人，不管他們喜歡與否。但涉及到戰爭倫理問題時，需要人類文明共同推動。

向反對自主武器的AI科學家們致敬

參考鏈接：

https://www.engadget.com/2014/05/30/velociraptor-robot-kaist/

http://www.stopclustermunitions.org/en-gb/cluster-bombs/use-of-cluster-bombs/a-timeline-of-cluster-bomb-use.aspx

https://www.bbva.com/en/geoff-hinton-im-concerned-autonomous-weapons-intelligent-machines/

https://techcrunch.com/2018/04/05/should-ai-researchers-kill-people/

https://zhuanlan.zhihu.com/p/33340973

https://www.theguardian.com/technology/2018/apr/05/killer-robots-south-korea-university-boycott-artifical-intelligence-hanwha

https://techcrunch.com/2018/04/05/should-ai-researchers-kill-people/

https://www.cse.unsw.edu.au/~tw/ciair//kaist.htm

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！