黑爪：風靡的「深度學習」只有這一刷子了？

「科學的每一次進步，都是一場葬禮。」埋葬的，是我們曾為之歡呼的上一次偉大進步。

最近一次聽到普朗克這句名言，是在九月中旬多倫多的一個AI研討會上。被稱為本輪AI革命之父的辛頓教授在接受AXIOS採訪時，扔出了一枚炸彈：

「我們應該把這一切都扔掉，從頭開始。」

「未來的希望將在一批對我說過的一切表示極度懷疑的青年學生身上。」

他所說的一切，便是支撐了近十年來AI爆發所仰仗的「反向傳播」，而人們耳熟能詳的時髦術語「深度學習」以及「神經網路」，說的都是它。

1986年，辛頓和他的兩位研究夥伴共同發表了一篇論文，當人們對論文所展示的理論紛紛質疑並放棄時，他一直堅持；而今天， 「深度學習」一舉成為最熱門的技術之一了，多少有志青年開始晝夜學習神經網路、反向傳播......他卻說，是時候開闢一條新路了。

上世紀八十年代的辛頓，已經是一名神經網路專家。這裡說的神經網路，指的是極度簡化後的人類大腦模型。那個時候，它基本上被認定是AI研究領域的死胡同，走不通。

在那之前，MIT的怪才馬爾文·明斯基（Marvin Minsky）在他與另一位人工智慧先驅西摩·帕普特（Seymour Papert）合著的一本名為《感知機》（Perceptrons）的書中提出了早期的神經網模型，書中同時也從數學角度證明，它只能執行最基本的功能。但那時是六十年代末，這本書以及它所代表的成果已足以被學術界歡呼，被認為是機器智能向人類智能邁出的第一步。

明斯基的感知機，只有兩層神經元：輸入和輸出。若在輸入和輸出之間，加上更多中間層的網路，從理論上來說，就可以解決大量的問題。可難點在於，沒人知道怎麼訓練這樣的網路，因此從實踐層面來看，大家都認為它沒什麼用......除了幾個不信邪的，比如辛頓，而其他人都從整體上徹底放棄了神經網。

辛頓的破冰，發生在1986年，距離明斯基提出感知機的概念，已經過去了17年。他證實了「反向傳播」（back-propagation）在訓練深度神經網上的有效，也就是說，在感知機的基本輸入和輸出層之間，可以加上一些中間層，並且能通過這個機製得到有效訓練。

然而受制於硬體所能夠提供的計算能力，「深度學習」的真正起飛，卻又過了26年。

2012年辛頓與他在多倫多大學的兩名學生髮表的一篇文章，標誌了這個突破。在世界眼裡，AI是一夜之間忽然發生的奇蹟，而對辛頓而言，那是延期到來的成果。

「深度學習」這個名字，來源於神經網路的「層」，層數多了，是為「深度」。每一層，由一個又一個並不太智能的神經元組成，這些「神經元」，就像人類的神經元一樣，可以因為「接受刺激」而興奮，再把這個「興奮」傳遞給與之相鄰的神經元。每一個興奮程度，用數字，例如0.69或者87.52來表示。除此之外，還有另一個很重要的數字，用來表明兩個神經元之間的連接中，有多少「興奮」將得以傳遞。這第二個數字，旨在模擬真正的大腦神經元「觸突」的強度，數字越高，能被傳遞的「興奮」就越多。

那反向傳播又是怎麼回事呢？它是目前公認最有效的智能實現方法，但前提是得有大量的數據。這也解釋了為什麼大數據如此重要，為什麼那些互聯網巨頭對數據如此饑渴。

以圖像識別為例。這時的數據，就是位於一個神經網路內不同「層」里的成百上千萬張圖片。如果目的是要訓練某個神經網，讓它學會認貓，那麼這些訓練圖片就包括兩種，有貓的和沒貓的。更關鍵的，每張圖片都需要有相應標識。一開始建立這樣一個神經網時，神經元之間的連接權重，也就是前文所說的代表「有多少興奮將得到傳遞」的那個數字，通常是隨機的。這就好像大腦神經元的「觸突」尚未經過調試。而反向傳播的目的，就是要調整這些權重數值，使這個網路按我們所希望的模式去工作：讓最上面那一層（輸出層）里有貓的圖片變得「興奮」。

第一張用來訓練這個神經網的圖片上，比如說是一個花盆，你把這張像素為100x100的圖片轉化為10，000 個數字，每一個數字分給網路第一層的神經元，然後就讓這些數字所代表的「興奮」，按照連接權重，向與它們相鄰層的神經元傳遞，最終傳到最上面一層，也就是輸出層。這一層只有兩個神經元：有貓的和沒貓的。理想的結果是，沒貓的神經元得到興奮值為零，而有貓的神經元得到一個很高的興奮值。

但事情哪能這麼理想呢？假定神經網第一次給出了錯誤的答案。這時「反向傳播」就出場了。它主要的動作，就是重新分配連接權重（再次勾重點，神經網裡一共只有兩類重要數字：每個神經元的「興奮」值，和連接權重），其目的，是為每一個訓練樣本糾錯。

這個過程從最上面這一層，也就是輸出層的兩個神經元開始，比較各自理想的興奮值，與實際得到的興奮值之間的差別。再回溯到與之相連的下一層，看那裡的每個神經元對這個錯誤結果的貢獻有多大，重複這個動作，一直回溯到最底層。這時你知道錯誤主要發生在哪些連接上了。於是開始修正這些連接權重，直到該網路可以準確地將這張花盆照片識別為：沒有貓。

這種從輸出開始，將錯誤結果一層層回退，就叫「反向傳播」。

當你用成百萬、上億張圖片來訓練這個網路後，你隨便拿一張照片來，它通常就能準確地告訴你，這是否是一張有貓的照片。令人驚異之處還不止於此，這個網路在反覆的學習過程中，自動形成分層功能，例如這一層識別邊界，另一層識別角落，再一層識別形狀或者顏色......這是在訓練過程中網路「自發」形成的層級，而沒有預編程的干預。

這使它帶上了真正的「智能」色彩，也正是這一絲智能色彩，驚艷了眾人。

一時間，「深度學習」在人們印象中已經變得無所不能：從自駕車到識別癌症到自動翻譯。與此同時，它有時也在犯把一張拿著牙刷的小寶寶的照片標註為「拿著棒球棍的小男孩」這樣的錯誤。這時你開始懷疑，神經網真的對世界有理解嗎？

至此，你大概已經看明白，神經網說到底，是一個模糊模式識別機。以模糊模式識別之有用，大可以將其應用到所有的軟體當中。但它所代表的終究只是十分有限的智能，要糊弄它並不難，深度學習的局限一天比一天明顯地在顯現。它淺層次模仿人的大腦，因此所獲得的智能也相應地淺層。說到底，反向傳播的發明並非通過對人類大腦的真正探尋，它是一個通過試錯機制創建出的模型。截至目前為止的AI重要成果並沒有真正涉及到神經科學，我們所獲得的，更應該說是在數學和工程學，甚至鐵匠鋪式的修修補補，這些合力下的技術改進。看上去，各路AI「大神」對基於深度學習的智能系統的修補技術越來越熟練，但距離真正的智能有多遠這個問題，局外人似乎反而想得更多。

我們是不是已經把「反向傳播」那一刷子用到盡頭了？如果真是這樣，人工智慧的進步有可能將進入一個平台期。

MIT認知計算科學教授喬希·泰能博（Josh Tenenbaum）必須一提，阿爾法狗團隊的好些重要人物在博士期間即師從於他，其學術論文被引用次數高達3萬5千次，堪稱論文帝。他曾經在文章中說，自己在研究中也到反向傳播中去尋找靈感。過去幾十年來，反向傳播一直停留在很酷的數學研究領域（多維向量空間），而在實際工程上建樹平平。後來，計算機速度上去了，各種硬體條件更加成熟了，反向傳播一下子就發威顯靈了。也許，通往下一個破冰的研究，比如泰能博和他的學生正在從事的認知計算研究，也會需要這麼一個漫長的等待過程。

助力AI走到今天的反向傳播，究其根本，它只是受生物學啟發的計算；而真正的AI突破，則需要在計算機科學和生物學之間架起一座真正的橋樑。辛頓又走出了實驗性的一步，他宣布了一個被稱作「膠囊」（capsules）的東西，不知道這個膠囊會不會又是下一個三十年的「反向傳播」？

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！

本站內容充實豐富，博大精深，小編精選每日熱門資訊，隨時更新，點擊「搶先收到最新資訊」瀏覽吧！

請您繼續閱讀更多來自 騰訊·大家 的精彩文章: