紐約大學指出AlphaZero被誇大，強調重視人工智慧先天因素

圖：pixabay

原文來源：arXiv

作者：Gary Marcus

「雷克世界」編譯：嗯~是阿童木呀

導讀：紐約大學Gary Marcus教授一直是深度學習的反對者，他認為深度學習並沒有主動學習能力，且魯棒性較差。同時，他始終認為人工智慧應該多在「先天結構」領域中開展研究。最近，Gary Marcus教授發文，他認為AlphaGo及其後代被嚴重誇大了，人工智慧領域需要關注「天賦（innateness）」這樣的概念。

一般來說，在人工智慧環境中我們很少討論關於「天賦（innateness）」的概念。一旦對其進行討論時，往往是試圖減少給定系統中的先天性機器（innate machinery）的數量。在本文中，我將Silver等人最近發表關於AlphaGo及其後代的一系列論文視為一個測試案例，這些論文被認為是「即使在最具挑戰性的領域：仍然可以在沒有人類的示例或指導下進行訓練從而達到超越人類的水平」，「從零開始（starting tabula rasa）」的論據。

我認為這些說法有些夸夸其談，原因有很多。我認為在人工智慧領域中應該關注關於天賦這樣概念，並且，我提出了一些關於天賦應該是怎樣的觀點和看法。

一個關於機器時代的古老辯論

思想史上最古老的辯論之一就是圍繞著「天賦」概念展開的。人類的思維有多少是內在的，又有多少是由經驗構建而成的？柏拉圖是先天論主義的首批倡導者之一，在他與Meno的對話中，他辯稱一個奴隸男孩有幾何知識，儘管他未曾接受過任何正式的訓練。在現代，Noam Chomsky也許是最為著名的擁護先天論主義的學者，他認為人類兒童不可能以（幾乎）普遍的方式獲得人類語言，除非他們天生就有一種「語言習得機制」（Chomsky於 1965年提出）。或者是Pinker將其稱之為的「語言本能」。相比之下，諸如Locke這樣的經驗主義者、後現代發展心理學家Elizabeth Bates以及認知科學家Jeff Elman，則提出一種近似於「空白板」或tabula rasa的觀點，認為我們的知識來自於經驗，是通過感官傳遞的。

而幾乎所有的現代觀察學者都會認為基因與經驗實協同工作的，是「先天與後天」，而不是「先天VS後天」。例如，沒有任何一個先天論主義者會懷疑，我們天生就具有一種特定的生物機制可以讓我們進行學習。Chomsky的語言習得機制應該被看作是一種先天的學習機制，而像Pinker、Peter Marler（以及我自己這樣的先天論主義者持有的是這樣一種觀點，即認為生物天生的裝備不是由具體知識而是由學習機制構成的，這是一種使學習成為可能的天賦。

正如下面所描述的那樣，我們有足夠的理由相信，人類和許多其他生物天生具有大量的先天機制。當前論文的指導性問題在於人工智慧系統是否應該類似地被賦予大量的先天機制，或者最近開發的強大的學習系統是否應該被賦予先天機制，從而使得這些系統能夠以自上而下或從零開始的方式進行學習。

自然生物的天賦

一篇關於自然生物學（本文作者於2004年所著）的書評中，我對所謂的「prewiring」和「rewiring」進行了基本的區分，並提出這兩個過程的生物學證據是具有壓倒性意義的。

可以這樣說，大約超過90％的基因是在大腦發育中得以進行表達的，其中有相當一部分基因是進行有選擇性的表達，即使在沒有經驗的情況下，也可以使大腦進行自我組裝，甚至能夠達到某種不平凡的程度。細胞分裂、細胞分化、細胞遷移、細胞死亡和軸突導向等機制結合起來，形成了人類大腦的一份豐富的草稿，即使這是在先於經驗也可以進行該過程。即使沒有突觸傳遞，能夠將經驗傳遞給大腦的主要機制，新生大腦的基本結構也能夠得以保留下來。

機器的天賦

人們可能會把認知看作是具有四個變數的函數：

其中a =先天性演算法（無論是特定領域還是通用領域），r =先天性表徵格式（同樣是特定領域或其他），k =先天知識（也是特定領域或其他），e =經驗。也就是說，對於給定智能體（生物性或人工性）來說，他們的認知是一個關於其先天性演算法先天性表徵形式、先天性知識和經驗的函數。

一個真正的「空白狀態」應該是將k和r設置為零，將a設置為一個極小的值（例如，一個用於調整相對於強化信號權重的操作），而將其餘部分留給經驗。這基本上就是Locke（1964）所闡述的觀點。

所有的想法都來自於感覺或反思。

那麼，讓我們假設，正如我們所說，思維就像一張白紙一樣，所有字元都是無效的，且沒有任何想法。

它是如何提供的？ ....

從哪裡獲得有關理性和知識的所有材料？

對此，我將用一個詞進行回答：經驗。

深度學習的先驅YannLeCun似乎也相信a，r和k應該接近零，正如他在2017年10月5日在紐約大學與我一起辯論時所闡述的那樣。特別是，在我自己的評論中，我提出了一個個人認為對AI來說很重要的十個候選元素的清單，主要是在代表性方面。當主持人David Chalmers對列表進行質疑時，LeCun以John Locke的精神強化了經驗主義的觀點，認為這10個要素中沒有一個對人工智慧系統來說是先天性的，（他也沒有提出任何其他建議。）

DeepMind是如何構建他們的研究結果，以及它們該如何進行解釋

DeepMind在2017年的《自然》論文中將其研究結果作為一個強有力的經驗主義觀點的具有含蓄性、有時明確性的論據。他們將這種強烈的反先天論的框架置於論文標題，以表明他們已經證明「在沒有人類知識的前提下就可以掌握圍棋遊戲」。摘要也具有類似的聲稱，他們提出的系統通過「從零開始」取得了無可置疑且令人印象深刻的結果。結論報告指出，該論文已經證明：「即使在最具挑戰性的領域中，純粹的強化學習方法也是完全可行的：在沒有人類示例或指導的情況下，即使沒有給出超過領域內基本規則知識，也可以對其進行訓以達到超越人類的水平」，反覆在重申一點，即系統能夠「從零開始」做到這一切。

在AI中進行的兩種方法

如果想要識別出人工智慧可能需要多少「天賦」，我們可以通過這樣一種方法，即創建一個用以完成艱難任務的合成性智能體，它需要具有一定的初始天賦，用這些任務獲得最先進的性能，然後進行迭代，儘可能多地降低這種天賦，最終將其聚在一些（推定的）最小數量的先天性機制上。在AlphaStar系列文章中，DeepMind基本上遵循了這個策略。

有人可能把這個戰略稱為「還原」策略，其目標是通過儘可能少（減少的）的系列先天性機製取得成功。Demis Hassabis2017年在NIPS上的演講或許是我所見過的有關還原策略的最好示例。

但是，這是正確的策略嗎？我看到兩個問題。首先，一組較小的先天性原語並非本質上就是好的，例如，生物有機體有時可能建立在原則上可以被學習的機器中，也許是因為如果某些信息是固有的，而不是通過個人的，可能威脅生命的樣本中獲得的，則有機體所面臨的風險較小。一個機器人可以通過經驗學習如何走路，但是如果該機器人從工廠出來時已經具有能夠走路的能力豈不是更好？如果你是一隻剛出生的、身處懸崖邊的野生山羊，那麼，相較於一個具有需要大量生命威脅經驗的「塑料生物系統」來說，你所具有的更小的但是更有針對性的先天性先驗可能會使你強大的「生存力」。或者，就像生物學中常見的情況一樣，當我們的運動系統部分浸入水中時，它可能會促使我們出於本能而奮力掙扎。然後，在交替的過程中，先天性先驗將通過經驗來進行校準。這樣的系統可能比以任何完全不受約束的方式進行學習的分裂系統更具有魯棒性。正如Brad Wyble在一封電子郵件中指出的那樣，「在為一個給定的有機體指定先天性水平，以適應於從出生時便具有的要求方面，進化顯然具有極大的靈活性」。

問題本身從來不是先天論主義，而總是：對於一個特定的情況，多少是最佳的？

其次，有一個方法論上的問題，如果還原策略能成功地找到一組較小的適合於狹窄類型任務的先天性機制，那麼就不能自然而然地得出結論：相同的機制就足以應付所有的任務。所有你能夠進行合理斷定的是，這個機制對於這個類別中的其他任務來說可能是足夠的，而隨著距離核心案例的距離越來越大，其效率也會越來越差。AlphaZero在圍棋、象棋和Shoji上的成功表明，它的機制可能足以在完美性知識、雙人、零和、確定性和離散遊戲上實現超越人類水平的性能表現。但這些機制可能不足以滿足一些其他的遊戲，更不用說一般的認知性任務了。

兩種方法都有其優點。目前論文的著重點在於，一方面這個問題很難解決，另一方面，在機器學習領域，這兩種方法之間的平衡已經被嚴重扭曲了。因此，對於AI來說，是時候要認真對待先天論了。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！