AI教父Hinton：AI 系統將走向無監督，我們需要真正理解大腦

新智元報道

來源：venturebeat

編輯：肖琴

【新智元導讀】深度學習教父、圖靈獎得主Geoffrey Hinton今天在谷歌I/O大會的「爐邊聊天」上發表演講，討論了深度神經網路、AI研究從大腦得到的啟發，以及真正理解大腦將如何改變許多領域。

最新一屆圖靈獎得主、多倫多大學教授兼谷歌大腦高級研究員 Geoffrey Hinton 今天在谷歌 I/O 開發者大會的爐邊聊天上發表了演講。

Hinton 討論了神經網路的起源—— 模擬生物神經元的數學函數層，以及AI 有朝一日能夠像人類一樣進行推理的可行性和意義。

Hinton 被稱為 「人工智慧教父」。過去 30 年裡，Hinton 一直致力於解決 AI 面臨的一些最大的挑戰。除了在機器學習方面的開創性工作，Hinton 還撰寫 (或與他人合作撰寫) 了 200 多篇 AI 論文，包括 1986 年發表的一篇開創性的機器學習技術論文 ——反向傳播。

Hinton 推廣了深度神經網路這一概念，即以反向傳播為基礎的 AI 模型，其中包含相互連接的層，傳輸 「信號」 並調整連接的突觸強度 (權重)。通過這種方式，神經網路可以從輸入數據中提取特徵，並學會做出預測。

你只需要注意力機制！深度神經網路優化始於Transformers

深度神經網路得到大幅優化是在兩年前，谷歌的研究人員發表一篇名為 「Attention Is all You Need」 的論文，提出名為Transformers的神經網路架構。

Transformers 拋棄了傳統的 RNN/CNN 結構，從自然語言本身的特性出發，實現了完全基於注意力機制的 Transformer 機器翻譯網路架構。

得益於動態計算權重的注意力機制，Transformers 在語言翻譯任務中勝過了此前最先進的模型，同時大幅減少了訓練所需的計算量。

Hinton 承認，創新的速度甚至讓他自己都感到驚訝。他說：「2012 年時，我沒有想到僅僅 5 年之後，我們就能夠使用相同的技術在多種語言之間進行翻譯。」

儘管如此，Hinton 認為目前的 AI 和機器學習方法仍然存在局限性。他指出，大多數計算機視覺模型缺少反饋機制—— 也就是說，它們不會嘗試從更高層次的表示中重建數據。相反，它們試圖通過改變權重來區別性地學習特性。

Hinton 說:「它們並沒有在每一層的特徵檢測器上檢查是否能夠重建下面的數據。」

AI系統主要是無監督的，Hinton團隊轉向人類大腦啟發

Hinton 和同事們最近開始轉向人類視覺皮層尋找啟發。Hinton 說，人類的視覺採用一種重建的方法來學習，事實證明，計算機視覺系統中的重建技術增強了它們抵抗對抗性攻擊的能力。

「腦科學家們都同意這樣的觀點，即如果你的大腦皮層有兩個區域處於感知通路 (perceptual pathway) 中，並且一個區域與另一個區域之間存在連接，那麼總會有一個反向的通路。」Hinton 說。

需要說明的是，Hinton 認為神經科學家可以從 AI 研究人員那裡學到很多東西。他認為未來的 AI 系統將主要是無監督的。無監督學習是機器學習的一個分支，可以從未標記、未分類的測試數據中提取知識 —— 在學習共性和對共性是否存在做出反應的能力方面，無監督學習的能力幾乎達到人類水平。

Hinton 說：「如果你採用一個擁有數十億參數的系統，對某個目標函數執行隨機梯度下降，它的效果會比你想像的好得多…… 規模越大，效果越好。」

「這使得一種說法變得更加合理，即大腦計算某些目標函數的梯度，並根據梯度更新突觸的強度。我們只需要弄清楚它是如何得到梯度的，以及目標函數是什麼。」

這甚至可能解開夢的奧秘。「為什麼我們根本不記得我們做過的夢呢？」Hinton 反問道。

他認為這可能與 「忘卻」(unlearning) 有關，他在與人合著的一篇關於玻爾茲曼機的論文中解釋了這一理論。玻爾茲曼機是由對稱連接的、類似神經元的單元組成的網路，可以隨機決定是 「on」 還是 「off」。Hinton 說，「它們發現…… 觀察到的數據不那麼令人驚訝」。

Hinton 說:「夢的意義可能在於，你把整個學習過程顛倒過來了。」

未來需要真正理解大腦的運作方式

Hinton 相信，這些知識可以改變許多領域，比如教育。例如，他預計教學課程將考慮人類生物化學，因此會更加個性化，更具針對性。

他說：「人們可能會認為，如果我們真正理解了大腦，我們應該能夠改善教育等方面的狀況，我認為這是會實現的。」

「如果我們最終能夠了解大腦中正在發生什麼，大腦是如何學習的，就能適應環境，從而更好地學習。」

但他也警告說，這一切都需要時間。就近期而言，Hinton 設想了智能助理的未來 —— 比如 Google Assistant 或亞馬遜的 Alexa—— 它們可以與用戶互動，並在日常生活中為用戶提供引導。

Hinton 總結說：「再過幾年，我不確定我們會學到多少東西。但如果你仔細觀察，你會發現智能助理現在已經相當聰明了。一旦 AI 助理能夠真正理解對話，它們就能和孩子們真正地交談，並提供教育。」

參考鏈接：

https://venturebeat.com/2019/05/09/geoffrey-hinton-discusses-how-ai-might-inform-our-understanding-of-the-brain/

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！