利用算力才是王道？Rich Sutton觀點惹爭議

機器之心編輯

機器之心編輯部

昨天機器之心介紹了機器學習先驅 Richard S. Sutton 寫的一篇博客《苦澀的教訓》，他在文中探討了人工智慧近幾十年來所走過的彎路，認為利用算力才是王道。這篇文章發布後引發了眾多研究者與開發者的討論。

Sutton 的觀點

Sutton的第一句話即：「70 年的人工智慧研究史告訴我們，利用計算能力的一般方法最終是最有效的方法。」，也就是說只有在給定計算力的情況下，利用人類知識才是提高性能的唯一方法，但前提是需要找到算力的高效使用方法。專門領域的人類知識只是短期內提升性能的方法，利用計算能力才是長期獲得性能提升的關鍵。

從象棋、圍棋到深度學習的各種任務，我們可能首先會從人類的角度思考怎麼解決這些問題，再期望將我們的方法形式化為演算法而解決實際任務。但是 Sutton 總結道，人類意識的實際內容是極其複雜的，我們不應該試圖通過簡單方法來思考意識的內容。因此，象棋、圍棋和各種任務最終還是儘可能利用算力才獲得了突破。

Sutton 說的這一點也確實很實際，拿我們比較熟悉的計算機視覺而言，傳統方法大多都在手動設計各種特徵，這些特徵很可能是根據人類視覺或主觀感受確定的。但是深度卷積神經網路使用了另一種不同的方式，雖然它也有生物學解釋，但我們可以認為它更好地利用了計算力，是一種通用的計算模式。正如 Ian Goodfellow 等人所言：「任何一個使用矩陣乘法但並不依賴矩陣結構的特殊性質的神經網路，都適用於卷積運算。」

所以 Sutton 最後表示：「我們應該從苦澀的教訓中學到一點：通用方法非常強大，這類方法會隨著算力的增加而繼續擴展，搜索和學習似乎正是兩種以這種方式隨意擴展的方法。」

那麼你認為合理利用算力是不是最重要的？讀者可在在文章下留言或者在知乎問答發表你的看法：

問答地址：https://www.zhihu.com/question/316260012

反對的聲音

這篇文章引發了大量討論。在眾多的質疑聲中，牛津大學計算機科學教授、Latent Logic 聯合創始人和首席科學家 Shimon Whiteson 給出了很全面的分析：

「對於 Rich Sutton 在博客中提到的觀點，我表示強烈反對。」他在博客中寫道，「AI 的發展歷程告訴我們，利用算力要比利用人類知識更好。我認為這是對歷史的一種很奇怪的解釋。的確，將人類知識應用於 AI 的許多努力被拋棄了，而且隨著其他資源（不只是算力，還有內存、能源、數據等）變得越發豐富，還會有更多相關努力會被拋棄。」

但是，最終方法的成功不僅依賴於那些豐富的資源，同時也依賴於那些沒有被拋棄的人類知識。

如果想要避開卷積、LSTM、ReLU、批歸一化等進行深度學習，那麼祝你好運。如果想在不利用靜態、零和、可以獲得全部信息等先驗知識的前提下解決圍棋問題，那麼祝你好運。

因此，在 AI 的發展史中，利用人類知識並不是一種失敗的舉措。相反，正是因為利用了人類的知識，AI 才取得了今天的成就。這一切通過一個非常傳統的研究策略實現：嘗試許多並拋棄其中 99% 失敗的部分。

剩下的 1% 對當今 AI 的成功非常重要，就像它所依賴的大量計算資源一樣。Sutton 說，世界的內在複雜性意味著我們不應該在系統中建立先驗知識。但我得出的結論恰恰相反：這種複雜性使得 Sutton 提議依賴的搜索和學習方法變得極其棘手。

只有擁有了正確的先驗知識、正確的歸納偏置，我們才能駕馭那種複雜性。他說，「現代深度學習神經網路僅使用卷積和某些不變性的概念即可以取得更好的效果。」這句話中的「僅」暴露了這一說法的武斷。

沒有這些卷積和不變性，深度學習就不會取得成功，但這些因素被認為是最小的，而且足夠普遍，可以接受。從這個角度來看，「The Bitter Lesson」這篇文章迴避了主要問題，即我們要討論的不是要不要利用人類知識（答案當然是「是」），而是利用哪些知識以及何時、如何利用。

Sutton 表示，「我們希望 AI 智能體能像我們一樣去發現，而不是發現我們已經發現的東西。」當然，我們如此善於發現，正是因為我們天生具備正確的歸納偏置。AI 歷史留給我們一份「甜蜜」（Sweet）的教訓：儘管發現正確的歸納偏置並非易事，但這種做法可以讓我們在其他棘手問題上取得重大進展。

喬治亞理工學院娛樂智能實驗室博士 Matthew Guzdial 表示，「我看到很多人轉發這篇文章，我認為確實值得一讀。Sutton 認為通用方法（搜索和學習）比需要人類知識的方法要好。但是問題在於搜索和學習也需要專門的人類知識，比如表徵、啟發式方法／損失函數等。聲稱這些方法因為無需專門的人類知識所以效果更好，真是太容易了。但是事實上它們需要人類知識。」

贊同的聲音

當然，除了這些反對的聲音，也有些讀者對 Sutton 的觀點表示贊同。

谷歌大腦高級研究軟體開發人員 Pablo Samuel Castro 表示：

我完全認同 Sutton 的這篇文章。「我們必須吸取慘痛的教訓，即從長遠看，構建人類大腦思維模式是行不通的。」

「我們不應該試圖通過簡單方法來思考意識的內容……我們只應該構建可以找到並捕獲這種任意複雜性的元方法。」

幾天前，我在 SXSW panel 上提到了類似的觀點：我們不應該局限於大腦結構，因為我並不清楚它們對於我們使用的方法和基礎架構而言是不是最優。

我對「人類啟發」方法的主要質疑在於，AGI 並非我的工作方向。

同樣特斯拉 AI 主管 Andrej Karpathy 也表示 Sutton 這篇文章介紹領域知識在演算法的長期發展中的使用，如果我們查看以前的 AI 期刊就會明顯發現這樣說也是對的。

Open Philanthropy 高級項目助理 Catherine Olsson 表示：

這篇文章與我目前對 AI 的看法不謀而合：「我們必須吸取慘痛的教訓，即從長遠看，構建人類大腦思維模式是行不通的。」

這不是說研究人類認知是無用的，而是不應該將人工智慧系統局限於必須符合人類理論。

你對 Sutton 的觀點有何看法？歡迎讀者留言討論。

本文為機器之心編輯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！