一個匪夷所思的真相：人類大腦或是高度並行的計算系統，與人工神經網路無本質差別

新智元報道

來源：techtalks

編輯：白峰

【新智元導讀】經過數百萬年的進化，我們的大腦已經非常高效了。現在的人工神經網路也展現出不俗的實力，但是一直飽受詬病沒有人腦類似的推理能力。近日，普林斯頓大學的研究人員就指出，生物神經網路和人工神經網路竟然出奇的相似，人腦可能也是一個高度並行的計算系統！

人腦是如何識別麝香貓的？

看到下面這隻動物，你的大腦會立刻提取出與它相關的信息(棲息地、大小、飲食、壽命等等)。但是，如果你從未見過這種動物，你的大腦則會快速遍歷你見過的所有動物，比較它們的尾巴、耳朵、爪子、鼻子、鼻子等特徵，?以確定這種奇怪的生物屬於哪個物種。

? ?

? ?

其實，這是一隻印度麝香貓，一種與貓、狗和嚙齒類動物毫無關係的世界瀕危物種。它是一個獨立的物種，前段時間有網友在印度大街上發現了這種瀕臨滅絕的麝香貓。

?

雖然我們還沒有了解大腦到底是如何工作的，但我們的大腦仍在不斷自我創造。經過幾十年的開發，研究人員創建了深層神經網路，在特定的任務達到甚至超過了人類的表現。

但是，用於深度學習的人工神經網路是否類似於我們大腦中的生物神經網路？這個問題困擾著無數人工智慧的研究者。

許多人認為人工神經網路是對大腦結構的粗略模仿，人工神經網路只是個統計推理引擎，大腦的許多功能都沒有。他們相信，大腦中充滿了奇蹟，而這些奇蹟不僅僅是神經元之間的聯繫。

最近在同行評議期刊《神經元》(Neuron)上發表的一篇論文挑戰了對人類大腦的傳統認知。這篇題為《直接適應自然: 生物和人工神經網路的進化》的論文指出了一個相反的觀點，即人類大腦是一個強大的大數據處理器，它的參數與跟人的經驗相匹配，而這種描述通常用於深層神經網路。

這篇發人深省的論文出自普林斯頓大學的研究員哈森和納斯塔斯，他們將人工神經網路和生物神經網路之間作了類比，提出了一個更有前途的人工智慧研究方向。

人工智慧真的不能解釋嗎？

神經科學家普遍認為，大腦的複雜功能可以分解成簡單的、可解釋的模型。

比如分析麝香貓圖片的複雜心理過程(在你知道它的名字之前) ，它肯定不是一隻鳥，因為它沒有羽毛和翅膀， 當然也不是一條魚。

考慮到這毛茸茸的皮毛，它可能是哺乳動物，它很可能是一隻貓，因為它有尖尖的耳朵，但是它的脖子有點太長了，而且身體形狀有點奇怪。鼻子有點像嚙齒動物，但是腿比大多數嚙齒動物都長... 最後得出結論，它可能是一種罕見的貓科動物。

人類的腦活動是可解釋的。然而，人工神經網路常常被認為是無法解釋的黑盒子。因為人工神經網路無法解釋他們的決策過程，尤其是那些幾千萬甚至過億參數的複雜深層神經網路。

? ?

? ?

在訓練階段，深度神經網路會檢查數百萬張圖像及其相關標籤，然後他們無意識地將數百萬個參數調整到他們從這些圖像中提取的模式。然後，這些經過調優的參數允許它們確定新的圖像屬於哪個類別。他們並沒有理解人類才有的更高層次的概念(脖子、耳朵、鼻子、腿等等) ，只是尋找像素之間的共性。

哈森和納斯塔斯承認，生物和人工神經網路——在其電路結構、學習規則和目標功能方面有很大的不同。

然而，這兩種網路都使用迭代優化過程來追求一個目標，考慮到它們的輸入或環境ーー這個過程我們稱之為「直接匹配」。「直接匹配」這個術語的靈感來自於進化過程中觀察到的盲目匹配過程，這是一個優雅但無意識的最優化過程，不同的生物體通過一系列隨機的基因轉換在漫長的時間裡學會了適應環境。

現代人工智慧面臨的另一個問題是可解釋性和泛化之間的權衡。科學家正在不斷尋找新的技術和結構，希望它們有更好的泛化能力。

經驗表明，當涉及到人工神經網路時，規模可以提高泛化能力。硬體的進步和大型計算資源使得研究人員能夠在合理的時間框架內創建和訓練非常大的神經網路。事實證明，這些網路在執行複雜任務如計算機視覺和自然語言處理方面，表現得非常出色。

而人工神經網路的問題在於，它們越大，就越不透明。由於它們的邏輯跨越了數百萬個參數，不像簡單的回歸模型那麼容易解釋。

簡化人工神經網路的結構(例如，減少網路層或參數的數量)將使人們更容易理解預測的結果。但是更簡單的模型在處理自然界中複雜和混亂的數據方面的能力也更弱。

「我們認為，神經網路的預測是建立在蠻力直接擬合的基礎上的，它依賴於過度參數化的優化演算法來提升預測能力，而沒有對世界的潛在生成結構進行明確的建模」。

關於這是一把什麼椅子，人的推理表現要好於人工神經網路

假設你想創建一個椅子分類系統，可以在圖像和視頻中檢測椅子。理想情況下，你可以提供一些椅子的圖像，它能夠檢測出這是一把正常的還是古怪時髦的椅子。

? ?

? ?

這是人工智慧長期追求的目標之一，即創造可以「推斷」的模型，給定一些問題域的示例，模型能夠提取基礎規則，並將它們應用到從未見過的樣本中。

當處理簡單的(大部分是人工的)問題域時，通過一小組訓練數據，就可能達到外推級別。例如，在銷售預測和庫存管理等功能有限的領域中，很容易實現。但是，當環境發生根本性變化時，即使是這些簡單的人工智慧模型也可能崩潰。

當涉及圖片、文本之類的非結構化數據時，小數據方法往往會失敗。在圖像中，每個像素實際上變成了一個變數，因此分析一組100*100像素的圖像變成了一個10,000維的問題，複雜性驟然升高。

論文寫道: 「在參數空間的不同部分存在複雜的非線性關係時，小數據推斷註定會失敗。」

許多認知科學家認為，人類大腦可以依賴於內隱的生成規則，而無需接觸到來自環境的豐富數據，而人們普遍認為人工神經網路沒這種能力。

基於問題域的豐富採樣或超越直接擬合的神經網路

研究人員指出: 「問題空間的密集抽樣可以顛覆預測問題，將基於外推的問題轉化為基於插值的問題。」

本質上，有了足夠的示例，神經網路將能夠捕獲問題域中足夠大的區域。這使得在樣本之間進行插值成為可能，只需要簡單的計算，而不需要提取抽象的規則來預測訓練樣本域之外的結果。

當數據結構是複雜和多維的時候，一個「盲目」的直接擬合模型，能夠在現實世界的參數空間內進行插值預測，比傳統的顯式擬合模型更有效，因為後者無法解釋數據中的大量變化。

? ?

外推法(左)試圖從大數據中提取規則，並將它們應用於整個問題空間。插值(右)依賴於問題空間的豐富採樣來計算樣本之間的值。

在監督學習中 ，仍然需要大量人工標註的數據。儘管如此，大數據使得直接匹配方法有可能應用於複雜領域，而這些領域無法用少量樣本和通用規則來表示。

ImageNet 等流行的訓練數據集提供了數百萬不同類型對象的圖片， 但是由於大多數照片是在理想的光照條件下，從傳統的角度拍攝的，基於這些數據集訓練的深層神經網路無法識別這些非正常擺放的物體。

?

??ImageNet vs reality

「無論是人類還是人工神經網路，都不善於推斷他們從未經歷過的環境。」

許多開發人員試圖通過盲目地向訓練數據集中添加更多的樣本來使他們的深度學習模型更加健壯，希望能夠覆蓋所有可能的情況。這通常不能解決問題，因為採樣技術不能擴大數據集的分布。

哈森和納斯塔斯認為，通過為目前在尾部表現不佳的人工神經網路提供一個更加生態化的抽樣機制來擴大插值區域是個不錯的方法。

「長尾現象」在某種程度上是抽樣缺陷。?但解決方案不一定只是更多的樣本，也可以是生物有機體中更複雜的取樣(例如尋求新鮮感)。

這一觀察結果與人工神經網路最近的研究結果一致，即採用更多樣化的抽樣方法實際上可以提高計算機視覺系統的性能。

「我們經常高估生物神經網路的泛化能力，包括人類。但是大多數生物神經網路是相當脆弱的，比如海洋溫度升高2度將對整個生態系統造成嚴重破壞」。

人類大腦或許是一個高度並行的計算系統

許多科學家批評人工智慧系統依賴於非常大的神經網路，認為人類的大腦是非常節省資源的。大腦是一個三磅重的物質，只消耗10瓦多一點的能量，而深層神經網路通常需要兆瓦級功耗的伺服器。

但是撇開硬體不談，將大腦的組成部分與人工神經網路進行比較。最大的深層神經網路由幾十億個參數組成。

相比之下，人腦由大約1000萬億個突觸組成，在量級上跟人工神經網路的參數量是相仿的。此外，大腦是一個高度並行的系統，因此很難將其功能與人工神經網路的功能相比較。

? ?

「雖然大腦受到線路和新陳代謝的限制，但我們還沒明白大腦的計算機制，所以我們不能簡單地認為人腦計算資源匱乏」。

另一個論點是，與人工神經網路相比，人類大腦的神經網路輸入機制非常差，不具備攝取和處理大量數據的能力。這使得人類的大腦不可避免地學習新的任務而不是學習潛在的規則。

進入大腦的輸入是很複雜的， 但是我們經常低估了我們處理的數據量。我們每年可能會接觸到成千上萬個樣本，每個類別可能會在每次接觸中被取樣很多次，所以視覺系統輸入的數據量也是相當驚人的。

超越系統1的神經網路是人工智慧的關鍵所在

然而，有一件事是不可否認的，人類確實從環境中提取規則，用來處理和分析新的信息。這種複雜的符號操作使人類擁有了遷移學習的能力。

理解和應用因果關係仍然是人類大腦的獨特優勢。現在的人工智慧科學家也在極力尋找這種理解機制，一旦被找到將會是人工智慧的重大突破。

毫無疑問，人類可以超越現代人工神經網路的方式學習抽象的規則，並推斷出新的情境。微積分就是在複雜環境中抽象出普適規律的最好例子。這些能力並非來自單個神經網路的激活和交互作用，而是許多頭腦和幾代人積累的結果，這是直接擬合的模型無法做到的。

從科學的角度來說，這種能力是由被稱為系統1和系統2的兩種思維決定的。

系統1指的是那些可以通過死記硬背來學習的任務，比如識別面孔，走路，跑步，開車。你可以在潛意識中完成這些能力中的大部分，同時還可以完成其他任務(例如，邊走邊和別人說話，邊開車邊聽收音機)。而系統2則需要集中注意力和有意識的思考(你能在慢跑的時候解決微分方程問題嗎?)

那麼，我們如何來開發具有系統2功能的 AI 演算法呢？這是一個有很多爭論的領域，包括深度學習先驅Bengio在內的一些科學家認為，純粹的基於神經網路的系統最終會達成系統2級別的人工智慧，先進的神經網路結構已經表現出不錯的符號操縱能力。

「雖然人類的思想激勵著我們去觸摸星星，但它是建立在系統1無意識的數十億擬合參數之上」。因此，直接擬合不是最終目標，而是理解高階認知結構的起點。

另一種觀點是創建混合系統，即將經典符號人工智慧與神經網路結合起來， 這一領域在過去一年中引起了廣泛關注，基於規則的人工智慧和神經網路相互補充創造出了更強大的系統。

「儘管非神經符號計算——類似於馮 · 諾依曼的控制單元和算術邏輯單元模型——本身就很有用，而且可能在某種程度上與描述有關，但人類系統2是生物進化的產物，是從神經網路中產生的。」

哈森和納斯塔斯對一些組件進行了擴展，這些擴展可能幫助神經網路發展出更高級的能力。他們還提了一個有趣的建議，給神經網路一個身體，讓它像其他生物一樣體驗和探索世界。

「將一個網路整合到一個身體中，使其能夠與世界上的物體進行互動，這對於促進在新環境中學習是必要的。」

要求一個語言模型從文本語料庫中的相鄰辭彙中學習詞義，使網路暴露在一個高度限制性和狹窄的語境中。如果這個網路有一個身體，並且能夠以一種與單詞相關的方式與物體和人進行互動，那麼它就有可能在上下文中對單詞的意思有更好的理解。

比如word2vec詞向量模型正是施加了這些「限制」，從而迫使神經網路學習到了更多有用的表示。

這麼看來，生物神經網路和人工神經網路相似度可能遠超我們的認知，只是有些機制尚未被發現。

參考鏈接：

https://bdtechtalks.com/2020/06/22/direct-fit-artificial-neural-networks/

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！