Hinton近日做報告，講解其研究多年至今未發表的工作

雷鋒網AI科技評論消息：近日，在加拿大多倫多大學由Vector研究所發起的「2017 - 2018年機器學習進展與應用」研討會上，神經網路之父Geoffrey Hinton做了一場報告《What is wrong with convolutional neural nets?》，在報告中Hinton講解了他多年來一直在做的研究工作，他稱之為「膠囊理論」（capsules theory）。

在報告中，他認為「標準神經網路」與真實的大腦神經網路相比有以下四個問題：

1、池化過程並沒有很好地模仿大腦中形狀知覺的心理過程——它不能解釋為什麼我們人類能將內在的坐標系映射到物體上，以及為什麼這些坐標系這麼重要；

2、池化解決的問題是錯的——我們想要的是信息的同變性而不是不變性，是理清信息而不是丟棄信息；

3、池化沒有利用底層線性結構——它沒有利用在圖形中能很好地處理方差最大來源的自然線形流形。

4、池化在處理動態路由時很差勁——我們需要將輸入信息的每一部分路由到知道如何處理它的神經元中，找到最佳的路徑就是在解析圖像。

Hinton提出了他「膠囊」（capsules）的概念。簡單地說，這些「膠囊」就是在神經網路中構建和抽象出的子網路。什麼意思呢？一個標準的神經網路，層與層之間是全鏈接的（也就是說，層1中的每個神經元都可以訪問層0中的每個神經元，並且其本身 也可以被層2中每個神經元所訪問），但這些連接並不一定都是有用的。「膠囊理論」的方案是，神經網路由n個子網路（膠囊）構成，每個膠囊都專註於做一些單獨的任務，膠囊本身可能需要多個層網路來實現。其輸出包括物體所屬類型的概率以及物體的狀態信息（比如位置、方向、大小、形變、速率、顏色等）。低層次膠囊輸出的參數會被轉換成高層級膠囊對實體狀態的預測，如果預測一致，則輸出這一層次的參數。

一個典型的膠囊將從多個低層次的膠囊中獲得信息（多維預測向量），然後尋找一個預測的緊緻束（tight cluster of predication）。如果它能夠找到這個緊緻束，那麼它就會輸出實體在這個域內類型存在的較高的概率，以及生成狀態的重心（狀態平均值）。這種方式可以很好地過濾掉雜訊，因為較高維度的巧合發生的概率很小，所以膠囊的方法要比「標準的神經網路」好很多。Hinton說，他這種「膠囊」的想法是受到腦科學中對「迷你列組織」（mini-column organization）研究的很大的啟發。

此外，據雷鋒網了解，關於「膠囊理論」的研究Hinton已在多個場合做過類似的報告，不過目前Hinton好想並沒有打算把他的研究成果發表出去，因為他覺得現在的研究還沒有讓他滿意——那麼，當他對這項研究滿意的時候，會不會再次成為「the Father of ……」  ？

雷鋒網註：資源鏈接——

1、What"s wrong with convolutional nets? @MIT TechTV(2014年在「腦與認知科學」研討會上的報告視頻，內容類似)

2、Hinton未發表工作：Transforming Auto-encoders（PDF）

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！