科學如何毀滅世界？又如何阻止這一事件的發生？
【博科園-科學科普】馴服明天的怪物，一小組研究人員正在研究科學如何毀滅世界，以及如何阻止這一事件的發生：
1958年，一枚核彈在美國太平洋試驗場被引爆。正如大家所知道的那樣，全球核戰爭存在著終結人類文明的風險。圖片版權：OMIKRON/SCIENCE SOURCE
哲學家尼克·博斯特羅姆(Nick Bostrom)認為人工智慧完全有可能導致人類的滅絕。在他2014年的暢銷書《超級智慧：路徑、危險和戰略》中，博斯特羅姆描繪了一個黑暗的場景：研究人員創造出一種能夠不斷自我提升的機器。在某種程度上，這種機器學會了從網上交易中賺取金錢，並在開始在現實世界中購買商品和服務。通過郵購DNA，自身建立了簡單的納米系統，並創造出更複雜的系統，進而獲得更大的力量來改造世界。
英國牛津大學的博斯特羅姆寫道：現在假設人工智慧懷疑人類能會干擾他們的計劃，於是決定建造小型武器並秘密地散布在世界各地。在預先設定的時間內，納米工廠會生產出像蚊子一樣擁有神經毒素和尋找目標功能的機器人，而後這些機器人會在地球的每一個角落「生根發芽」。
博斯特羅姆和其他一些科學家、哲學家認為這種情況不只是出現在科幻小說中。因而他們才會不斷研究哪些技術的進步可能存在毀滅人類或者至少摧毀現在人類所知道的文明的風險，以及可以採取什麼措施來阻止。試想想，我們正試圖為那些可能威脅人類生存的物種提供一個科學的紅色團隊，劍橋大學生存風險研究中心的哲學家Huw Price感慨道。
科學消滅人類的思想可以追溯到弗蘭肯斯坦。在瑪麗·雪萊的小說中，怪物被他的創造者維克多·弗蘭肯斯坦（Victor Frankenstein）拋棄因而憤怒地將弗蘭肯斯坦的弟弟威廉殺害，而後兩者達成了一個協議：弗蘭肯斯坦要為怪物創造一個伴侶，怪物會帶著自己的伴侶遠去南美洲，從此互不往來。然而當弗蘭肯斯坦開始為怪物創造伴侶時，突然意識到這對怪物可能會繁殖後代並且超越人類。一個像惡魔一樣的種族將會在地球上傳播，這會使人類的生存境況變得岌岌可危而且充滿恐怖。於是他摧毀了完工一半的雌性怪物，這讓雄性怪物怒火重燒，也給自己招來殺身之禍。
圖片版權：CRAIG & KARL
麻省理工學院的物理學家和麻省理工學院風險研究中心的聯合創始人馬克斯·特格馬克(Max Tegmark)同時也是劍橋大學生存風險研究中心（CSER）的董事會成員說：我認為弗蘭肯斯坦很好地說明了科學可能會消滅人類這一觀點，人類逐漸發展出越來越強大的技術，技術越強大，人類就越要小心，這樣我們才不會搞砸。
對存在風險的研究仍然是一個很小的領域，在三個研究中心最多只有幾十個人。並不是每個人都相信這是一門嚴肅的學科。在愛丁堡Innogen研究所研究生命科學監管問題的喬伊斯·泰特（Joyce Tait）說：大多數人類文明終結的劇情包含著人類製造的病原體，大批納米機器人，有些甚至認為人類的世界是一個可能會被關閉的模擬世界，但是這些都是不可能的。真正的威脅只有一個，那就是全人類熟悉的全球核戰爭。否則，地平線上將空空如也。
哈佛大學的心理學家史蒂芬·平克（Steven Pinker）稱存在風險是「無用的範疇」，並且強調「弗蘭肯斯坦幻想」可能混淆真實的，可解決的威脅。如氣候變化和核戰爭。在即將出版的著作《現在的啟蒙:理性、科學、人道主義和進步》中他寫道：激起對假設災難的恐懼，遠遠不能保護人類的未來，這樣可能會危及人類的未來。
但支持者預測，隨著科技進步的加速，這一領域只會變得更加重要。正如博斯特隆在一篇論文中指出的那樣，關於蜣螂或星際迷航的研究要比人類滅絕的風險要多得多。有個很好的例子說明科學基本上忽略了這個問題。人類總是面對不合時宜的可能。另一顆結束了恐龍的統治大小的行星可能會襲擊地球；一場火山災難可能會使天空常年變暗，使人類無法生存。
但是，科學進步所帶來的存在風險實際上是虛構的，直到1945年7月16日，第一顆原子彈被引爆。根據一些粗略的計算，物理學家愛德華·泰勒得出結論，爆炸可能會引發全球的連鎖反應，比如「點燃」大氣層。博斯特羅姆寫道：儘管現在知道這樣的結果在物理學上是不可能的發生的，但它的確是一種存在於當時的風險。在20年之內，從不斷增加的新武器儲備中一個真實存在的風險出現了——物理學家最終組合出了弗蘭肯斯坦的新娘。
其他科學領域可能很快也會面臨類似的威脅。博斯特羅姆說：在本世紀，我們將引入各種各樣全新的現象，賦予人類新的力量來重塑世界。生物技術比核技術更便宜，也更容易處理，納米技術也飛速發展。在2011年在哥本哈根舉行的一次會議上，愛沙尼亞的電腦程序員和Skype的共同開發人員Jaan Tallinn告訴普萊斯，他在乘坐計程車時對人工智慧有種深深的恐懼。即將開始在劍橋大學工作的普萊斯(Price）說：我從來沒有遇到過像Jaan這樣認真的人。
而後普萊斯把塔林介紹給了天文學家、英國皇家學會前主席馬丁·里斯(Martin Rees)。里斯早就警告說：隨著科學的進步，毀滅人類文明的力量越來越向個人集中。於是這三人決定在2005年創辦的牛津大學人類研究所之後，成立第二個這樣的中心。普萊斯（Price）表示，CSER這個名字的意義是「有意將存在風險的想法推向主流。同時我們意識到，人們認為這些問題有點古怪。
CSER招募了一些知名的支持者:科學顧問委員會成員包括物理學家史蒂芬·霍金（ Stephen Hawking），哈佛大學生物學家喬治·徹奇（George Church），全球健康領袖彼得·皮奧特（Peter Piot），以及科技企業家埃隆·馬斯克（Elon Musk）。塔林在2014年與他人共同創立了FLI，而徹奇、馬斯克、霍金、皮奧特和里斯都在其科學顧問委員會任職。(演員摩根?弗里曼(Morgan Freeman)也是一位FLI顧問，在FLI中他確實扮演了上帝的角色。)
CSER的大部分資金來自於基金會和個人，包括塔林在2017年向存在風險的研究人員捐贈了大約800萬美元。塔林承認到目前為止，CSER的學術成果是「短暫的」。但他表示，該中心被設立為「一種存在風險研究的訓練基地」，就是想法「感染」來自其他地方的學者的機構。
在大學職業健康服務組織附近的一處偏遠的大樓里，十幾個人在一個大房間里工作，這群人一起組織會談，召集科學家討論關於未來的發展，並發表有關從合成生物學到生態引爆點的各種話題，並且花費大量的時間思考世界末日的情景和潛在的保障措施。
一種危險的病原體的釋放可能會引起人類的「危機」。圖片版權：MIKE AGLIOLO/SCIENCE SOURCE
世界上大部分人口死亡的「危機」更有可能是一場徹底的滅亡。大規模地破壞電網和其他服務，或者釋放致命的病原體，可能會造成混亂。政府會被推翻，人類也會被推向一個惡性循環。不必把整個星球變成原子，最終只會有中世紀的文化水平，或許這就是人類的結局。
生命科學的存在風險也許是最容易想像的。病原體已經被證明能夠殺死整個物種，比如受到兩棲類真菌壺菌迫害的青蛙。在過去的一個世紀里，四次大流感席捲了整個世界，其中的一個在1918年和1919年造成了5000萬人死亡。研究人員已經在工程上製造了病原體，在原則上這可能會變得更加危險。直到去年年底，由於擔心研究導致H5N1禽流感病毒更容易在哺乳動物之間傳播，美國才停止了這類研究。恐怖分子或無賴國家可以使用labmade劑作為武器，並且通過釋放被改造過的鼠疫製造意外。
里斯曾公開表示，到2020年，生物恐怖或生物錯誤將導致100萬人在單一事件中傷亡。哈佛大學的微生物學家Marc Lipsitch已經計算出，在一個實驗室里，可能導致流感病毒偶然大流行的意外發生的可能性在1000分之一到1萬之間；荷在蘭鹿特丹的伊拉斯謨醫學中心的Ron Fouchier，是參與H5N1研究的研究人員之一，他駁回了這一判斷，稱真正的風險更像是每年330億個和實驗室的風險。
一項針對「生物錯誤」的措施可能是讓進行高風險實驗的研究人員購買保險。Lipsitch說：這就需要對風險進行獨立評估，並迫使研究人員正視它。不過，最重要的對策就是提高全球遏制疫情爆發的能力。例如疫苗，「對於生物風險，缺乏一個真正大規模的、協調的、平行世界範圍內的抨擊，人類唯一能達到真正災難性情景的方法就是無法控制一個較小的場景。
博斯特羅姆說：病毒不太可能殺死每一個人類。對他和其他共事的人來說，真正存在威脅的是人工智慧。大多數情節的中心是機器戰勝了人類，這樣的機器被稱為「超級智能」。如果這樣的人工智被創造出來，並且它獲得了自己的意志，它可能會變成惡意的，並積極地試圖毀滅人類。比如在斯坦利·庫布里克的電影《2001:太空漫遊》中，在宇宙飛船上遊盪的電腦哈爾。
然而大多數人工智慧專家擔心的不是機器的崛起會顛覆他們的創造者，而是他們一開始就犯了一個致命的錯誤。人工智慧終結人類的最合理的方式是：它們一味地追求自己的目標，並且在此過程中，毫無顧忌地創造了一個對人類致命的環境。設想把環境溫度升高100°或降低100°的情況出現，那麼人類必將在幾分鐘內滅絕。鐵馬克(Tegmark)也同意他的觀點並說：人工智慧的問題不是有沒有惡意，而是他們能否勝任。
批評人士說，這些努力不太可能有用，因為未來的威脅是不可預測的。預測在每一個「前瞻性演練」中都是一個問題，只是我們不擅長。即使預見到了風險，經濟、政治和社會環境都會影響它的發展。Tait說：除非你不僅知道將要發生什麼，而且知道它將如何發生，否則信息在處理這件事上沒有多大用處。
這些情景比真實的風險更能揭示人的困擾，有可能會被對我們的健康有重大影響的景象吸引，比如非法的性行為，暴力的死亡，以及有著不正當的榮耀。《啟示錄》的故事情節無疑是扣人心弦的——它們是我們病態執著的一個超常刺激。可以想像一個人們無法控制的邪惡的、強大的人工智慧，應對這種威脅的方法很簡單——不要開發一個。
安全總比後悔好。2017年的一項調查顯示34%的人工智慧專家認為與工作相關的風險是一個重要問題；5%的人說他們是「最重要的問題之一。假設你在飛機上40%的專家認為這架飛機上有炸彈，你不會等待剩下的專家信服。
沉迷於科幻小說的批評家們並不是完全錯誤的：製造末日場景與雪萊的做法並沒有什麼不同。第一步是想像各種可能性，在這一點上，科幻小說和其他形式的文學和電影中使用的想像力是極其重要的。
科學家有義務參與其中，因為現在面臨的風險不同於以往任何一個世界所面臨的風險。每當新技術出現的時候，人類都在等待，直到新技術的風險顯現出來，人類才學會控制它。大火殺死了人們，摧毀了城市，所以人類發明了滅火器和阻燃劑。汽車帶來了交通死亡——而後有了安全帶和安全氣囊。人類的策略是從錯誤中學習。當世界危在旦夕的時候，這是一個糟糕的策略。
最後還是那句話：科技是把雙刃劍，怎麼用還是靠人類！
知識：科學無國界，博科園-科學科普
參考：《Technology》（DOI：10.1126 / science.aas9440）
作者：Kai Kupferschmidt
內容：「博科園」判定符合今主流科學
來自：science mag
編譯：公子世無雙
審校：博科園
解答：本文知識疑問可於評論區留言
傳播：博科園
TAG:博科園 |