宇宙智能演化將進入後生物時代，人類不再是衡量智能的標準

新智元編譯

作者：Susan Schneider插圖：Martin Gee

翻譯：文翥、序媛

【新智元導讀】本文探討了智能演化以及未來超級智能及其認知、形態的可能，以及超級智能 AI 與人類的關係。作者認為，從生物智能到「後生物」智能可能是宇宙中的一種基本過程。沒有意識也能發展出超級智能，認為非要擁有「意識」才產生智能，自然就會用消極的觀點看待智能的發展。超級智能可能由生物材料構成，但不一定擁有意識，因此也就可能用完全不同的方式判斷人類的價值，所以不能排除超級智能 AI 威脅人類的可能。而對於人類來說，研發不具有意識的 AI 才是合理的選擇——有意識的機器在人類通過意識去判斷的標準下，會帶來一系列問題。但是，如何判斷一種物質能否產生意識？最終，人類和超級智能的區別可能是，人類有意識——但正因如此，未來的人類或許還會從事「意識工程」，將「情感」散布到整個宇宙。

點擊播放 GIF/58K

（文／Susan Schneider）人類或許並不是宇宙中最卓越的智能。地球作為行星年紀尚輕，最古老的文明歷史可能比起我們長久了百億年。但是即使在地球上，智人（Homo sapiens）作為最聰明的物種，時間或許也不會太長了。

圍棋、國際象棋、Jeopardy 的世界冠軍現在都是人工智慧。接下來幾十年，人工智慧預計會取代許多人類職業。以其現在飛速發展的趨勢，人工智慧可能很快就會進化為通用人工智慧（AGI），就好像人類智能一樣，可以結合來自不同領域的洞見， 並且擁有靈活性與常識。一旦實現了通用人工智慧，只需一小步就可以實現超級人工智慧，也就是在各個方面都比人類更加智能的存在——即使是在科學推理和社交等現在被認為只有人類才掌握的領域。現在的芸芸眾生，很可能就是從最初的細胞進化到合成智能過程中的最後一級階梯。

從生物智能到「後生物智能」，可能是宇宙中的一個基本過程

我們現在才剛開始意識到，外星智能與人工智慧這兩種超人智能之間可能並無大異。我們現在所見證的科技發展可能在宇宙的其他地方早就發生過。從生物智能進化到人工智慧可能是一個在宇宙中不斷發生的基本模式。宇宙中最卓越的智能可能是後生物的（postbiological），超越了曾經的生物文明（這是我同 Paul Davies、Steven Dick、Martin Rees 和 Seth Shostak 等人都認同的一個觀點）。從人類的經驗來看——這也是我們唯一的樣本，從生物到後生物的演化可能只需要幾百年。

比起「人工」（artificial）， 我更傾向於用「後生物」（postbiological）這個詞，因為「生物」與「合成」之間沒有那麼明確的區分。想像一下，純粹通過生物增強而實現的超級智慧的大腦，比如用納米技術增強後的神經微柱（neural minicolumn）就是後生物的，雖然很多人並不會叫它「人工智慧」。 又比如翻拍的電視劇 「Battlestar Galactica」 里的 Cylon Raider，也是純粹由生物材料做成的智能計算機。

關鍵在於，沒有理由指望人類成為最高級的智能。我們的大腦從特定的環境演化而來，並且大大受限於生理化學和歷史偶然性。但是，科技打開了廣闊的設計空間，提供了新的材料與操作模式（modes of operation），以及比傳統生物演化快得多的探索這些設計的方法。我想為什麼人工智慧會超越我們的理由已經很清楚了。

硅質的微晶片似乎已經比神經元組合更適合進行信息處理。比起微處理器里的晶體管以兆赫計的速度，神經元的速度在 200 赫茲左右就達到了頂峰。儘管人類大腦現在還是比計算機要智能許多，但是計算機卻有著幾乎無限的提升空間。通過對人類大腦的逆向工程與演算法提升，或者通過結合一些逆向工程和不基於人腦運作模式的高明演算法，計算機在不久的將來應該就會達到甚至超越人類大腦的智能。

而且，人工智慧可以同時被下載到多處，可以輕易備份修改，還能在生物很難存活的情況下生存，比如星際旅行。我們微小的大腦受腦容量和新陳代謝的限制，而截然不同的是，擁有超級智能的人工智慧可以擴展到互聯網可及的各處，甚至建立一個星系範圍的智能計算機，利用星系內的所有物質來使它的計算達到極致。所以，根本不存在什麼人類與超級人工智慧的競爭，因為超級人工智慧比我們強大太多了。

假設我是對的。假設外星智能是後生物的。我們該怎麼做呢？現在地球上關於人工智慧的辯論就給了我們啟示。爭論中的主要兩點——所謂的控制難題（即人類如何控制比我們更聰明的人工智慧）和主觀體驗的本質， 影響著我們如何理解外星文明，以及當我們相遇時他們會做什麼。

演化出超級智能並不需要意識，而通過意識去判斷超級智能是否對人類構成威脅是不明智的

Ray Kurzweil 對於後生物階段的進化持有樂觀的態度，他認為人類會與機器合并，達到一個絢爛的技術烏托邦時代。但是霍金、蓋茨、馬斯克和其他人則對於人類可能失去對超級智能體的控制權表示擔憂。因為超級智能完全可以重寫自己的程序，在思維上超越我們為其設定的控制手段。這被稱為「控制難題」（control problem）——我們如何控制一個難以預測的並且智力遠遠在我們之上的 AI。

超級智能 AI 可能在技術奇點時被開發出來，這樣的奇點——特別是智能爆發——超出我們的預測和理解能力。但是，即使這樣的超級智能體不以這麼戲劇性的方式登場，我們依然沒有辦法預測或者控制它的目標。即使我們可以決定輸入機器的道德準則是什麼，但道德程序也難免沒有漏洞，而且這個程序還是可能在某個情況下被智能體重寫。一個聰明的機器可以越過安保系統（比如關閉開關），做出危及生物生命的行為。成千上億的美元被投入用於研發 AI 安全的機構。一些最聰明的計算機科學家都致力於解決這個問題。他們希望創建一個安全的系統，但是關於控制難題的焦慮依然難以克服。

鑒於以上原因，與外星智能聯繫可能比我們想像的更加危險。外星生物可能會很危險，但是地球之外的 AI 可能帶來更大的危機。外星 AI 可能有著跟生物生存相衝突的目標，擁有任其使用的超級智能，而且比起生物更能夠適應險惡的環境。

因此，我們就需要當心所謂的 Active SETI ，Active SETI 不僅僅被動地收聽來自地外文明的信號，而是更主動地向外宣告我們的存在。在很多有名的案例中，1974 年 Frank Drake 和卡爾·薩根用超大的無線電天線在波多黎各的Arecibo，對著星雲發送信息。Active SETI擁護者認為，我們應該用最大功率的無線電發射器，比如Arecibo，朝離地球最近的恆星發送信息，而不應該僅僅收聽地外智能體的信號。

來源：Martin Gee for Nautilus

在考慮控制難題的時候，這樣一個項目如此魯莽，確實令我震驚。儘管一個真正高級的文明可能對我們根本沒有興趣，但千百萬個文明中只要一個文明有敵意，這樣做的後果就將是災難性的。就算屆時我們有把握超級智能 AI 無法我們對構成威脅，我們也不應該把超級智能 AI 的注意力引向我們自身。Active SETI 的擁護者指出，雷達和無線電信號已經可檢測了，但是這些信號相當弱，很快就會被銀河系的噪音所淹沒。但如果我們發射頻率更強的、可以被收到的信號，那我們可能就是在玩火。

表現出智能的謙遜（intellectual humility）是最安全的心態（mindset）。確實，不考慮那種像電影《Arrival》中外星飛船降臨地球的閃耀場景，我很好奇我們是否真能識別出一個真正高級的超級智能的技術標誌物。一些科學家認為，超級智能 AI 會通過吸收黑洞，創造戴森球（Dyson Spheres）這樣的巨大結構以吸取整個恆星的能量。但是，這只是從我們現有技術能達到的水平進行的推測，認為我們可以預測一個超過我們百萬年甚至數十億年的文明的計算能力和能量需求純屬愚鈍而已。

戴森球（英語：Dyson Sphere）是弗里曼·戴森假想出的包圍母恆星的巨大球形結構，它可以捕獲大部分或者全部的恆星能量輸出。戴森認為戴森球是長期生存技術文明對於能量需求增長的必然需求，並認為尋找其存在的證據可以引導發現的先進和智慧的外星生命。不同類型的戴森球和它們的能量收集能力將對應於在卡爾達肖夫指數水平上的技術進步。自從該概念提出以後，諸多科幻作品裡提出的包圍恆星的人工建築都被冠以「戴森球」之名。後續的設想認為戴森球上不僅有太陽能電站，還有人類殖民地和工業基地存在。圖為戴森球的一種變體。這種大規模人造物會大幅度改變恆星的光譜。來源：維基百科

最先一批超級智能 AI 可能擁有從生物計算機建模出來的簡單認知系統，就像深度學習系統可以簡單模擬人類大腦的神經網路。這些超級智能 AI 的計算結構可能對我們來說還可以理解，至少在大的框架之內。這些超級智能 AI 可能依然保留著生物的目標，例如繁殖和生存。

但是，超級智能 AI 通過自我提升，可能很快演變成一個我們無法認識的形式。也許有一些超級智能 AI 會選擇保留其模型所源自的物種的認知特徵，給自己的認知架構設置了限制。誰知道呢？但是，如果沒有限制，一個異形超級智能可以很快超越我們的能力，人類無法理解它的行為，甚至都不知道它的存在。這個異形超級智能可能融入宇宙的自然特徵中，也許它在暗處只關注它自己。

有 Active SETI 的支持者指出，這正是為什麼我們應該發送信號到太空，讓他們來找我們，讓他們決定我們與他們取得聯繫的方法，讓他們判斷是不是可以接觸像我們這樣的低等智能。雖然我同意這的確是支持 Active SETI 計劃的一個理由，但是我們可能遭遇的危險，讓這個計劃弊遠大於利。我們都知道，惡意的超級智能體，可能用病毒感染地球上的 AI 系統，這時候一個理智的文明，其做法是建造防護設備保護自己。我們人類也許需要努力在 Active SETI 啟動前到達奇點。我們自己的超級智能 AI 會告知我們銀河系的 AI 安全狀況預警，人類可能要學會識別宇宙中其他超級智能體的標識，一個一個的去想方設法弄明白。

這自然會讓人想到，這是否意味著人類應該不要研發複雜的 AI 去進行太空探索。畢竟，回想到經典的《2001: A Space Odyssey》。我認為，現在考慮未來禁止 AI 進行探索太空為時過早。等到人類可以用自己的 AI 探索宇宙之時，人類很可能發展到了一個臨界點：我們要麼將徹底失去對 AI 的控制（這種情況下人類甚至沒有權利啟動太空項目），要麼達到對 AI 實現安全掌控的狀態。

時間會說明一切。

在智能演化進程中，意識或將是區分人類與其他智能的唯一標準

原始智能不是唯一需要擔心的問題。通常我們以為，如果我們遇到了高級的外星智能，我們很可能是遇到非常不同生物機制的生命，但在某種重要意義上，他們依然有像我們一樣的思想——就好比有一些東西內在跟我們是一樣的。設想你懵懂人生的每個瞬間，你在做夢的時候，它就像是你。當你看著日出時和煦的陽光，或者聞到新鮮出爐的麵包香氣，這都是有意識的體驗。同樣的，一個「外星生命」也會有這樣的體驗——或者我們認為如此。儘管這一假設需要質疑。那麼，超級智能 AI 到底能不能和我們有一樣的意識體驗，如果他們有，我們可以領會嗎？他們有內在生命，或者根本沒有內在生命，又將怎麼影響我們？

AI 是否有內在生命，這一問題是我們評價其存在的關鍵。意識是我們道德體系中哲學基石，是我們判斷一個人或一個物是否擁有自我而非僅僅是一個自動化機器的關鍵。反之亦然，AI 是否有意識也是 AI 怎麼評價我們的關鍵。AI 對我們價值的判定，可能取決於它是否有內在生命；用它自己的主觀體驗為跳板，它可能認識到我們意識體驗的能力。畢竟，某種程度上，我們評價其他物種的生命的價值，是因為我們深切感受到意識，也因此我們才對殺死黑猩猩感到生畏，但是不會對切蘋果有如此的感受。

但是，有著大量智能差異的物種，有不同基質生成的物種，怎麼認識到彼此的意識呢？地球哲學家思考，是否意識限制於生物現象。超級智能 AI 是否也有類似的哲學，可以提出類似我們「生物體意識問題」，會不會問是否我們有體驗這麼一個東西。

沒人知道，超級智能體的智能路徑將怎麼來辨別我們是否有意識。但從我們這方看，人類怎麼辨別 AI 是否有意識？不幸的是，這很難。現在，你可以分辨你自己是否有體驗，就像感受你自己的存在。你有自己的意識體驗反饋。你相信其他人和某種非人類的動物也很可能有意識，因為它們的認知神經系統和你類似。但是，你怎麼去分辨一個其他基質的東西是否有意識體驗呢？

試想，有一個硅基超級智能體。儘管硅做的微晶元和碳基神經體都能處理信息，我們現在都知道兩者在原子結構上都不同，這影響了意識。畢竟，我們曾經懷疑碳是否在化學上比硅更適合複雜生命。如果硅和碳的化學差異極大影響了是否能夠構成生命，我們不應該排除化學差異影響其他關鍵功能的可能，比如是否硅可以產生意識。

意識的產生條件，在AI 研究者、神經學家和哲學家中產生了激烈的辯論。解決這個問題可能需要依靠哲學的實證方法——一種可以在撇除偏見的情況下確認，是否一種信息處理系統能夠產生意識，如果是的話又是在什麼情況下產生的。

有一個方法，至少可以提高我們對硅是否能夠產生意識的理解。硅基大腦晶元已經研發出來，用於解決各種記憶障礙，比如阿爾茨海默症和創傷後應激障礙。有觀點認為，如果晶元可以用於大腦負責意識的功能，比如注意力和工作記憶（記憶的第二個階段），我們就可能開始理解是否硅能夠產生意識。我們可能發現，用晶元替代大腦部分區域會引起某些體驗的喪失，就如 Oliver Sacks 寫的。晶元工程師接下來可能要嘗試一種不同的、非神經系統的物質，但是他們可能最終發現，唯一能夠產生意識的「晶元」就是生物的神經體組成的。這一過程可能作為一種方法，確認人工系統是否可以擁有意識，至少當置人工系統於一個更大的、我們認為擁有意識的系統的時候。

可能只有在特定環境下，硅才能產生意識。產生負責信息處理的條件也許跟意識消退的條件不一樣。意識的產生可能需要意識工程（consciousness engineering）——故意把意識放入機器的工程。

我的擔心是，在地球或者哪個遙遠的星球上，誰會致力於把意識裝進 AI 裡面呢？畢竟，當我想到地球已有的AI，我能夠理解為什麼 AI 工程師會積極避免創造出有意識的機器。

在日本，機器人被設計出來照顧老年人、清理核反應堆以及打仗。那麼問題來了，如果這些機器是有意識的，讓他們做這些事情是道德嗎？這些跟圈養人類做這些事有什麼不同？如果我是 Google 或者 Facebook 的 AI 負責人，想到未來，我可不會想去面對不小心設計出一個有感情的系統而遭遇的道德混亂。開發一個有感情的系統，可能導致機器人的薪資訴訟和其他公共關係的噩夢，還會導致在特定領域 AI 技術的禁用。對此，去探索不會讓機器人產生意識的架構和物質，才是人類自然的選擇。

更進一步，對於自我提高的超級智能體而言，沒有意識會更加高效。想想意識是怎麼在人腦中工作的：只有很小一部分的人類精神過程可以進入意識。意識與需要注意力和專註力的新奇學習任務相關。一個超級智能體可能在每一個領域都有專家級的知識，有超級計算能力覆蓋包含整個互聯網甚至超過銀河系的巨型資料庫。那還有什麼對它是新奇的呢？什麼可能需要很慢的、慎重的專註力？它不是已經掌控一切了嗎？就像一個有經驗的司機在一條熟悉的路上，只需要非意識工作就夠了。簡單的效率論認為，大多數智能系統不會有意識。在宇宙的規模上，意識也許只是一個小小的火花，是在宇宙變為無思想之前，一個短暫的綻放。

如果人們不相信 AI 沒有意識，他們很可能會消極看待智能的發展，也即智能如何走向後生物時代。這一觀點也加重了我們已有的擔憂。為什麼無意識的機器可能有著跟生物智能已有的價值觀呢，到底誰才是有意識的？

很快，人類將不再是衡量地球智能的標準。也許宇宙某個地方已經有超級智能 AI，它不是生物，已經達到了最高的智能水平。但是，也許生物智能正是因為擁有意識體驗，才和其他的物種區分開來。就目前所知，有知覺和感情的 AI 需要通過其他善意的物種以某些精細的工程方法才能創造出來。也許，善意的物種認為創造延續其思維的 AI 後代沒有什麼不妥。又或許，未來人類會參與意識塑造工程，將知覺和感情散布到其他星系。

原文作者 Susan Schneider 是康涅狄格大學哲學和認知科學副教授，在 Institute for Advanced Study、Center of Theological Inquiry、YHouse 等研究機構擔任研究員，著述包括Science Fiction and Philosophy: From Time Travel to Superintelligence

（責編：WF）

新智元招聘

職位 運營總監

職位年薪：36- 50萬（工資+獎金）

工作地點：北京-海淀區

所屬部門：運營部

彙報對象：COO

下屬人數：2人

年齡要求：25 歲 至 35 歲

性別要求：不限

工作年限：3 年以上

語言：英語6級（海外留學背景優先）

職位描述

負責大型會展贊助商及參展商拓展、挖掘潛在客戶等工作，人工智慧及機器人產業方向

擅長開拓市場，並與潛在客戶建立良好的人際關係

深度了解人工智慧及機器人產業及相關市場狀況，隨時掌握市場動態

主動協調部門之間項目合作，組織好跨部門間的合作，具備良好的影響力

帶領團隊完成營業額目標，並監控管理項目狀況

負責公司平台運營方面的戰略計劃、合作計劃的制定與實施

崗位要求

大學本科以上學歷，碩士優先，要求有較高英語溝通能力

3年以上商務拓展經驗，有團隊管理經驗，熟悉商務部門整體管理工作

對傳統全案公關、傳統整合傳播整體方案、策略性整體方案有深邃見解

具有敏銳的市場洞察力和精確的客戶分析能力、較強的團隊統籌管理能力

具備優秀的時間管理、抗壓能力和多任務規劃統籌執行能力

有廣泛的TMT領域人脈資源、有甲方市場部工作經驗優先考慮

有媒體廣告部、市場部，top20公關公司市場拓展部經驗者優先

新智元歡迎有志之士前來面試，更多招聘崗位請訪問新智元公眾號。