重磅原創：類腦智能與信息理論

編者按：

2017年6月中國電科信息科學研究院成立了認知與智能實驗室，初期布局數據智能、混合智能、群體智能、智能引擎四個研究方向，實驗室注重前沿、基礎、創新性技術突破，努力打造以智能驅動的「諾亞方舟」。

本文主要闡述了將資訊理論應用到大規模的神經元群體編碼的信息處理中，驗證了隨機系統在高維輸入及大規模輸出的情況下香農的交互信息漸近計算公式，在這一過程中形成一系列模型和方法，之後，可應用於腦神經系統與機器學習及深度學習的研究。

作者簡介：

黃文濤

美國約翰霍普金森大學醫學部研究員

現任認知與智能實驗室首席專家

研究方向：類腦智能、信息理論

1.類腦智能技術及其內涵

類腦智能是以神經科學和人類認知行為機理為理論基礎，以計算模型為引擎，結合軟硬體加速共同形成的機器智能。類腦智能具有在信息處理機制上類腦，在認知行為和智能水平上類人的特點,其最終目標是使機器模仿人腦的思維模式實現各種人類認知和相互協同,甚至達到超越人類的智能水平。

類腦智能的研究包括神經科學、類腦模型訓練及處理演算法和類腦硬體這三個方面。它充分體現了腦科學、計算機科學、信息科學和人工智慧等多學科的高度融合，這個領域的發展將會促進人工智慧從專用型向通用型轉變，並向超越人類智能的方向逐步逼近。

腦神經科學被視為科學界「皇冠上的明珠」，近20年成為發展最快的學科之一。一些傳統人工智慧研究者目前也都已經意識到借鑒腦信息處理的機制可能帶來的好處，而腦與神經科學的進展也為人工智慧借鑒腦信息處理機制提供了必要的基礎。腦與神經科學的研究者正在力圖將對腦信息處理的認識應用於更廣泛的科學領域，該學科的發展得益於信息技術與智能技術的發展，而反過來腦與神經科學也將啟發下一代信息技術的變革。

2. 香農資訊理論

1948年10月，被現代稱為「資訊理論之父」的香農（Shannon）在《貝爾系統技術學報》上發表了一篇論文《AMathematical Theory of Communication》（通信的數學理論），這篇劃時代的宏文成為了現代資訊理論研究的開端。他在文中首次提出了用信息熵來定量衡量信息的大小，其衡量信息單位——比特（bit）已成為了日常生活中的最常見的量綱之一。他提出的互信息(Mutual Information)是另一有用的信息度量，它指出了兩個事件集合之間的相關性。香農資訊理論的偉大貢獻就在於，可以用數學公式嚴格定義信息的量，反映了信息表達形式在統計方面的性質。

香農的資訊理論現已成為通信學科的理論基礎，不僅如此，它還被廣泛應用於其它學科中，香農還是一個人工智慧研究的狂熱者，他是1956年美國達特茅斯會議的重要發起人之一。

3. 基於資訊理論的類腦計算理論與模型研究

相對於現有的通信系統而言，腦神經系統是一個非常複雜的信息處理系統。大腦皮層每平方毫米包含的神經元可達到10萬個左右，而且其中它們之間的相互連接錯綜複雜，對由如此巨大數量的神經元構成的複雜系統進行建模分析是一個非常有挑戰的科學難題。

一直以來，挖掘大腦的學習機理應用到信息處理領域是人工智慧研究者的目標之一。現在的深度學習有人說是類腦的，但也有人說跟腦神經沒什麼關係。不過有一點是可以肯定的，那就是深度學習網路借鑒了大腦處理信息的分層結構，而這是在幾十年前就知道的事實。事實上我們到底要怎麼來向大腦學習及學習它的些什麼東西呢？這是我們做類腦研究的要考慮的一個最基本問題。

實際上，我們要先了解大腦是如何處理信息的以及它的具體工作模式。大腦在處理信息時，其組織結構有很多地方值得我們借鑒，但是由於其信息處理系統極其複雜，直到現在我們也還沒有將其研究清楚。但是另一方面，這些迴路結構其實也是在這些基本設計原理和準則下形成的。如，有效編碼假設就是一個典型的神經系統的設計準則，這個假設認為大腦提供的能量是有限的，而希望在有限的能量下使信息傳遞數量達到最大化。實際上，真實腦神經系統處理信息時的根本約束之一就是能量，所以這個假設對於我們的研究是有借鑒意義的。這個假設很早由神經科學家Barlow提出了，但因為直接利用香農的資訊理論來計算香農交互信息是一件非常困難的事情，造成用數學理論與模型來描述這一假設更是一件難上加難的事情。

鑒於此，我們的研究也以資訊理論作為理論基礎，將其應用到大規模的神經元群體編碼的信息處理過程中，推導證明了隨機系統在高維輸入及大規模輸出的情況下香農的交互信息漸近計算公式，從而解決了應用香農交互信息時難於計算這一難題；同時，發展出了一系列的模型與方法去解決大規模神經元群體如何優化編碼這一長久難題。此理論和方法為香農的信息理論應用於腦神經科學及機器學習等領域掃清了諸多障礙，形成的一系列模型和演算法可應用於腦神經系統與機器學習及深度學習的研究方面。

我們提出的理論和方法能很好地解決對大規模的神經群體進行建模與分析的難題。例如，通過我們提出的模型和理論分析發現通過優化神經群體編碼將會導致一些功能性的聚類屬性能自發湧現，由此，我們可以解釋腦神經系統中的很多現象及機制，如視網膜上視色素細胞的形成和分布及光線顏色識別這一難題，還有如聽覺和其它神經系統中功能集群等很多以前難以解釋的現象。我們的方法和結果也證明了信息最優化很可能是腦神經系統設計的一個重要準則。

神經元群體功能性聚類行為湧現

我們把這套理論和方法應用於當前的機器學習及深度學習研究中，能給深度學習研究方面提供理論指導，彌補了當前深度學習研究中理論匱乏的問題。由此理論和方法研究發展出的一系列新的機器學習演算法，無論從其理論、效果和效率等方面都優於其它方法。

神經元群體信息傳遞的結構簡化變換處理

（1） 研究並發展出了基於群體神經元信息最大化的非監督學習理論和演算法，其效果和效率等方面要明顯優於當前已有的經典方法，獲得當前最好的效果，此方法有著更廣泛的適應範圍，為當前非監督學習研究提供了一個全新的途徑。

自然圖像中無監督學習特徵表示

（2）基於我們的理論和方法，得到了完全不用現在常用的反向傳播演算法來對深度網路進行監督的學習與訓練，並能將監督學習和非監督學習在某種程度上統一起來，同時,證明了現在的其它很多方法的目標代價函數（如支撐向量機等）是基於我們方法的一個特例。相對於當前其它深度網路的黑箱結構，我們的理論和方法可用來方便地指導設計深度網路。實驗表明我們的網路只需用很淺層的結構就能獲得比其它多層深度網路得到更好的效果。而且現有的深度學習模型都需要大數據來支撐訓練，而在我們提出的框架下，小樣本也能取得很好的結果。

從研究中還發現，很多機器學習的經典方法都可以從資訊理論的角度來得到解釋，由此可見，資訊理論在類腦智能與人工智慧研究方面存在著巨大的潛力和價值。

關注我們：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！