AI先驅Rich Sutton：利用算力才是王道，人工智慧一直在走彎路

機器之心整理

作者：Richard S. Sutton

機器之心編輯部

Richard S. Sutton 是 DeepMind 傑出研究科學家，阿爾伯塔大學計算機科學教授。他被譽為「強化學習教父」。近日，他的一篇文章《苦澀的教訓》探討了人工智慧近幾十年來發展所走過的彎路。對於未來，他給出了自己的看法：利用算力才是王道，在其基礎上搜索和演算法才能帶來技術水平的長期提升。

70 年的人工智慧研究史告訴我們，利用計算能力的一般方法最終是最有效的方法。這個歸摩爾定律解釋，或者它對每單位計算成本持續指數級下降的概括。大部分 AI 研究都是在認為智能體可用的計算為恆定的情況下進行的（在這種情況下，利用人類知識是提高性能的唯一方法），但是，在比典型研究項目稍長的時間尺度內，我們不可避免地會需要大量的計算。

要在短期內有所提升，研究人員要利用專門領域的人類知識。但如果想要長期的獲得提升，利用計算能力才是王道。這兩者本無需對立，但實際上它們往往如此。花時間研究一個，就會忽略另一個。利用人類知識的方法容易複雜化，導致其不太適合利用計算的方法。很多例子表明 AI 研究人員對這些教訓的認識太晚，因此我們有必要回顧一些突出的例子。

在計算機國際象棋中，1997 年擊敗世界冠軍卡斯帕羅夫的方法基於大量深度搜索。當時，大多數 AI 計算機象棋研究人員沮喪地發現了這一點，他們的方法是利用人類對象棋特殊結構的理解。當這個利用硬體和軟體的基於搜索的更簡單方法被證明更有效時，這些基於人類知識的象棋研究人員卻仍不肯認輸。他們認為雖然這個「暴力」搜索方法此次贏了，但它並不是一個普遍的策略，無論如何它不是人類下國際象棋的方法。這些研究人員希望基於人類輸入的方法獲勝，但結果卻令他們失望了。

計算機圍棋中也有類似的研究進展模式，只是晚了 20 年。最初研究人員努力利用人類知識或遊戲的特殊性來避免搜索，但所有的努力都被證明沒什麼用，因為搜索被大規模地有效應用。同樣重要的是利用自我對弈（self play）來學習一種價值函數（就像在很多其他遊戲甚至國際象棋中一樣，雖然在 1997 年首次擊敗世界冠軍的比賽中沒起到什麼作用）。通過自我對弈學習和一般學習有點像搜索，因為它能讓大量的計算髮揮作用。搜索和學習是人工智慧研究中利用大量計算的兩種最重要技術。在計算機圍棋中，就像計算機國際象棋中一樣，研究人員最初是想通過人類理解（這樣無需太多搜索）來實現目的，只是在後來，通過搜索和學習才取得了巨大成功。

在語音識別領域，早在上世紀 70 年代就有一個由 DARPA 贊助的競賽。參賽者利用了很多利用人類知識的特殊方法：單詞、因素和人類聲道等。另一方面，還有人利用了基於隱馬爾可夫模型的新方法，這些方法在本質上更具統計性，計算量也更大。同樣，統計方法戰勝了基於人類知識的方法。這導致了自然語言處理領域的重大改變，過去幾十年來，統計和計算在該領域逐漸佔據主導地位。深度學習最近在語音識別中的興起正是朝著這一方向邁出的最新一步。

深度學習方法更少依賴人類知識，使用更多的計算，並且伴有大量訓練集的學習，從而生成更好的語音識別系統。就像在遊戲中一樣，研究人員總是試圖令系統按照他們的思維方式進行運作——他們試圖將知識放在系統中——但事實證明，最終結果往往事與願違，並且極大浪費了研究人員的時間。但是通過摩爾定律，研究人員可以進行大量計算，並且找到一種有效利用的方法。

計算機視覺領域存在相似的模式。早期方法認為視覺是為了搜索邊緣、廣義圓柱體或者取決於 SIFT 特徵。但是今天，所有這些方法都被拋棄了。現代深度學習神經網路僅使用卷積和某些不變性的概念即可以取得更好的效果。

這是一個非常大的教訓。因為我們還在犯同一類錯誤，所以依然未能徹底了解人工智慧領域。要看到這一點並且有效地避免重蹈覆轍，我們必須理解這些錯誤為何會讓我們誤入歧途。我們必須吸取慘痛的教訓，即從長遠看，固守我們的思維模式是行不通的。痛苦的教訓基於以下歷史觀察結果：

AI 研究人員常常試圖在自身智能體中構建知識，

從短期看，這通常是有幫助的，能夠令研究人員滿意，

但從長遠看，這會令研究人員停滯不前，甚至抑制進一步發展，

突破性進展最終可能會通過一種相反的方法——基於以大規模計算為基礎的搜索和學習。最後的成功往往帶有一絲苦澀，並且無法完全消化，因為這種成功不是通過一種令人喜歡、以人為中心的方法獲得的。

我們應該從痛苦的教訓中學到的一點：通用方法非常強大，這類方法會隨著算力的增加而繼續擴展，即使可用計算變得非常大。搜索和學習似乎正是兩種以這種方式隨意擴展的方法。

我們從痛苦的教訓中學到的第二個普遍觀點是，意識的實際內容是極其複雜的；我們不應該試圖通過簡單方法來思考意識的內容，如思考空間、物體、多智能體或者對稱性。所有這些都是任意的、本質上複雜的外部世界的一部分。它們不應該被固有化，其原因是複雜性是無窮無盡的；相反，我們只應該構建可以找到並捕獲這種任意複雜性的元方法。這些方法的關鍵在於它們能夠找到很好的近似值，但對它們的搜索應由我們的方法完成，而不是我們自己。我們希望 AI 智能體可以像我們一樣發現新事物，而不是重新找到我們所發現的。在我們發現的基礎上構建只能令人更加難以看清發現過程的完成情況。

http://www.incompleteideas.net/IncIdeas/BitterLesson.html

本文為機器之心整理，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！