新生代脈衝神經網路

接觸過神經網路的朋友們都知道，目前最流行的神經網路是基於連續值作為輸入和輸出的。雖然它在結構上模模擬實的神經元，但是其本質上卻相差甚遠。這一種神經元網路模型統稱為Perceptron，是所謂的第二代神經網路，早在六十多年前就已被人提出。但是，從生物學機制上說，現階段採用的神經網路是一個十分不精確的模型。因此，早在深度學習火熱起來之前，就有很多對神經元進行建模的工作。

生物神經系統中的神經元（圖片來源：Pinterest）

1. 脈衝神經元的工作原理

首先讓我們來了解一下生物神經元的工作原理。上圖是生物中的神經元，細胞核通過突觸吸收外界的刺激，致使細胞電位不斷上升。當電位上升至一定閾值時，神經元會產生一個脈衝，經由軸突傳遞至其他的神經元。然後細胞膜電位恢復到休息狀態。在生物體內的神經網路中，信息傳播是以脈衝信號進行的。這點和現在的人工神經網路有本質的不同。

為了更好的了解和研究生物神經網路的內在工作機制，科學家們提出了第三代神經網路----脈衝神經網路。這是一種更加接近真實神經網路的模型。在第三代神經網路里，神經元之間依靠電脈衝進行信息的交流。這一系列包含很多種神經元模型，從最精確描述生物神經元行為的HH Model [1]，到最常見的漏電-積分-脈衝（Leaky-Integrate and Fire）LIF模型，都屬於脈衝神經網路。（對不同種模型的總結詳見參考文獻2。）在LIF神經元模型中，細胞電位的變化和產生脈衝的過程由如下方程表示：

GIF

LIF神經元細胞膜電位變化（圖片來源：Towards Datascience）

2. 脈衝神經網路的輸入、輸出

脈衝神經網路的輸入和輸出通常是以脈衝的形式存在，而且對於不同形式的輸入（圖片、聲音、文字）都需要編碼轉換為脈衝的形式，同時網路也需要相應的訓練演算法來訓練和學習：

脈衝神經網路的輸入輸出（圖片來源：Springer）

一般可以用二元矩陣描述其輸入輸出。當然，在脈衝神經網路里，神經元之間的連接也是用權值來表示的。

3. 脈衝神經網路的巨大優勢

神經形態系統（圖片來源：Neural Designer）

相比於目前流行的神經網路，脈衝神經網路理論上具有更強大的運算和解釋能力[2]。它可以天然表徵時空數據(Spatio-temporal Data)，這更接近於感官上對真實世界描述。這裡的空間是指神經元相互之間的連接，時間是指脈衝本身所蘊含的時序信息。相比於RNN，脈衝神經網路可以更加簡單和自然的處理時間數據。

IBM TrueNorth晶元（圖片來源：Digital Trends）

另外，脈衝神經網路還具有一個傳統神經網路所沒有的優勢，即脈衝神經網路的硬體實現更為簡潔和高效。著名的IBM TrueNorth晶元就是一個由脈衝神經元組成的神經形態系統（Neuromorphic System）[3]。研究人員通過訓練相同結構的二代神經網路，然後將權值導入構建脈衝神經網路。利用這樣的辦法，他們已經訓練脈衝神經完成諸如手寫體識別，物體追蹤等簡單功能。並且證明了，對於完成相同的任務，脈衝神經網路花費的能量遠遠比傳統神經網路要少的多。

4. 脈衝神經網路的前景

脈衝神經網路的未來（圖片來源：ExtremeTech）

儘管有這麼多的優點，但是為什麼現階段脈衝神經網路使用的很少呢？這是因為人們缺乏有效訓練方法。大多數研究者採用搭建並訓練二代神經，然後將其轉化為三代神經網路的方法來間接訓練脈衝神經網路。但是由於這種方式本身並沒有直接對脈衝神經網路進行優化，導致轉化後的網路性能降低。脈衝序列的不可微分性導致人們無法用傳統的梯度下降來訓練脈衝神經網路。現階段，許多學者正在致力於研究高效脈衝神經網路的訓練方法，而這同時也是作者最後一年的博士工作。

脈衝神經網路的未來是光明而曲折的。目前對於脈衝神經網路訓練的研究，作者已取得一些階段性進展，同時作者所在的小組也在進行對神經形態系統晶元的研究。我相信，未來這個領域一定會得到更多的關注，並且會有越來越多關於脈衝神經網路的運用。

[1]Hodgkin,Alan L., and Andrew F. Huxley. "A quantitative description of membranecurrent and its application to conduction and excitation in nerve." TheJournal of physiology 117.4 (1952): 500-544.

[2]Gerstner, Wulfram, and Werner M. Kistler. Spikingneuron models: Single neurons, populations, plasticity. Cambridgeuniversity press, 2002

[3]Hsu, Jeremy. "IBM"s new brain [News]." IEEEspectrum 51.10 (2014): 17-19.

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！