生物神經網路基礎：從尖峰放電神經元談起

選自Jack Terwilliger"s Blog

作者：Jack Terwilliger

機器之心編譯

參與：Panda

人工神經網路在很多領域都取得了突破性進展，這項技術的最初靈感源自生物神經網路。作為我們人類智能的來源，生物神經系統或許還能給我們的人工智慧創造之路帶來新的啟迪。MIT 自動駕駛汽車和人工智慧方向的副研究員 Jack Terwilliger 近日在自己的博客上發布了其系列文章《生物神經網路》的第一篇，對生物神經元的基本信息以及常見的模型進行了介紹。機器之心對本文進行了編譯。原文中還包含一些比較直觀的互動式圖表，這裡不便呈現，感興趣的讀者可通過文末鏈接訪問原文查看。

神經元是細胞——基本上由水、離子、氨基酸和蛋白質構成的小體具有引人注目的電化學特性。它們是大腦的主要功能單元。我們的心智體驗（感知、記憶和想法）源自神經元雙層脂膜上的鹽分水平的漲落和神經元之間的突觸傳遞。理解神經元和神經計算的方式有助於闡釋我們豐富的心智體驗的構建和表法方式、我們的行為和決策的基本原理，並能為處理信息和實現人工智慧的新方法提供生物學啟發。

在這篇文章中，我將以互動式的方式概述建模神經元的方法。這篇文章不可能全面覆蓋所有內容，也不會給出新的見解。但是，我希望這篇文章能為好奇的讀者提供有關建模神經元的直觀知識。文中的圖表可以讓你嘗試不同的模型和參數。暫時先不要疑慮動態系統、分岔（bifurcation）、動作電位（action potential）是什麼，後文會給出簡要的解釋。

起步：神經元的生物學基礎

在我們深入數學模型之前，我們首先應該簡要了解一下神經元的生物學基礎，這是所有一切的基礎（如果你已經學過神經科學課程，你當然可以跳過這部分）。

神經元的解剖結構

我們首先要了解的是神經元的特殊形態，即它們的形狀和結構。這種形態讓神經元可以從其它數千個細胞接收信息並快速進行長距離通信——從脊髓到腳可長達 1 米！

卡哈爾（Cajal）手繪的浦肯野細胞。注意其中樹突分支的複雜性和數量

神經元通過位於（但不排除其它位置）其樹突樹（dendritic tree）上的突觸接收來自其它神經元的信號。樹突樹是一種複雜的、有分支的、擴散式的結構。如果你想知道樹突複雜度最高的是什麼細胞，那就是浦肯野細胞（Purkinje cell），它能夠接收多達 100000 個其它連接。樹突上有樹突棘（dendritic spine），這是樹突上微小的凸起，是其它神經元與該樹突接觸的位置。

來自樹突的信號會傳播和匯聚到神經元胞體（soma）——神經元細胞的主體，是細胞核和其它典型細胞器所在的位置。

神經元的解剖結構。圖片來自 OpenStax College 生物學《Neurons and glial cells》，CC BY-NC-SA 3.0 License

胞體會延伸出軸丘（axon hillock），並進一步延展成軸突（axon）。軸突與其它神經元的樹突相連。這讓神經元可以快速長距離通信，同時不損失信號完整性。為了讓信號快速傳播，軸突是有髓鞘的——其覆蓋有分散的絕緣體，讓神經元的信號可以在絕緣的區域之間跳躍。為了維持信號完整性，軸突中的神經元信號是「要麼全有要麼全無的」——這是有點像比特（bit）的脈衝信號，我們後面會討論。

神經元的生理機能

關於神經元，要了解的第二件事是它們特殊的生理機能——神經元的細胞功能。神經細胞功能最顯著的特徵是動作電位（action potential）。這種機制讓神經元可以可靠地長距離傳遞信息，而不會出現傳輸衰減。

有一個需要記住的重點：神經元沉浸在主要由水、鹽和蛋白質構成的細胞外液中。由鹽進出細胞以及這些鹽的濃度差異所產生的力是神經元這種顯著行為的物理基礎。神經元中有將鈉排出細胞和將鉀引入細胞的鈉鉀泵（sodium-potassium pump），這會使得細胞外的鈉濃度高於細胞內，細胞外的鉀濃度又低於細胞內。

動作電位是離散事件，其中膜電位會快速上升（去極化）然後回落（極化）。這種離散事件是「要麼全有要麼全無的」，也就是說如果神經元膜上一個部分出現了一個動作電位，那麼其鄰近的部分也會出現，如此繼續擴散直到到達軸突末端。動作電位一般不會反向傳播，因為一旦膜上一個區域發出了一個動作電位，電化學作用力就會將膜的這個區域超極化（hyper-polarize），導致之前開放的通道關閉，並使該區域在一段時間內不活躍。

動作電位源自細胞膜上不同種類的離子經由通道的運動以及這些通道在不同時間尺度上的激活和失活。典型的動作電位會按以下方式發生：

平衡（Equilibrium）：神經元的平衡膜電位大約為 -70 mV，接近能斯特平衡（Nernst Equilibrium）的 EK+≈?75。在平衡時，凈電流為 0——即向內和向外的電流是平衡的。

去極化（Depolarization）：輸入的激勵信號去除膜的極化。快速響應門控 Na+ 通道激活，Na+ 湧入，使膜的電位更高。響應速度更慢的 K+ 通道開啟，K+ 湧入，使膜的電位更低。

放大（Amplification）：如果神經元受到的刺激變多或受到了快速刺激，那麼激活的 Na+ 通道就會遠多於 K+ 通道。這會導致形成一種反饋迴路：Na+ 的流入會導致更多 Na+ 通道激活。

重新極化（Repolarization）：最後，膜電位會接近 Na+ 的能斯特平衡，因為鈉通道已經開到了最大。更慢的 K+ 通道會趕上 Na+ 通道，使得膜電位重新極化。與此同時，Na+ 通道處於失活狀態。

超極化（Hyper-polarization）：K+ 通道開啟而 Na+ 通道失活，會導致膜電位降至典型平衡點之下，接近 K+ 能斯特平衡。

不應期（Refractory Period）：Na+ 通道需要一段時間才能脫離失活狀態，這意味著在一個動作電位之後，它們在一段時間內將一直無法再次開啟。這期間，大多數 Na+ 通道失活時被稱為絕對不應期（absolute refractory period，不管刺激強度如何，神經元都不會放電），而很多 Na+ 通道失活時則被稱為相對不應期（relative refractory period，當刺激足夠強時神經元可以放電）。

正如我們下面會看到的那樣，某些模型（尤其是 Hodgkin-Huxley 模型）能很好地描述動作電位的本質。藉助這些理論模型，你可以探索動作電位的計算性質或其它有趣的神經現象。

尖峰隊列（spike train）

尖峰隊列是神經元的語言。人們往往會將尖峰看作是點事件，將尖峰隊列看作是點過程。我們使用神經響應函數來描述：

其中一次脈衝定義為：

一般而言，假設尖峰隊列是由隨機過程生成的，這會有助於分析。假設尖峰之間相互獨立，我們可以將這個點過程建模為一個泊松過程（Poisson process），所以我們知道在區間 ΔT 中出現 n 個尖峰的概率為：

為了根據泊松點過程產生尖峰，要在一個足夠小的時間區間內生成一個隨機數 r，這樣應該就只會出現 1 個尖峰，並且檢查 r

起步：動態系統

分岔與動態系統

很多神經元模型都是動態系統——它們將神經元的狀態描述成某個向量，並且會根據某些方程隨時間變化。該模型的空間中每一個點都有一個對應的梯度，即其變化的方向。關於模型的很多情況都可以通過查看其相圖（phase portrait）推斷得到。下面給出了兩個相圖的案例。這些相圖看起來很密集——這一節會嘗試解釋如何理解它們。

Fitzhugh-Nagumo 神經元的相圖。相圖看起來可能很嘈雜，但如果你知道如何解讀，其中包含了大量信息：（1）向量場（黑色箭頭）表示狀態空間中的軌跡，（2）nullcline（黑色實線）表示偏導數為 0 的點，（3）固定點（黑點）在這裡是所有點都朝向的點，（4）軌跡（紅色）表示穿過狀態空間的軌跡。

Simple Model 神經元的相圖。這裡還給出了一個吸引盆（basin of attraction，藍色區域），其中所有點都往往指向一個穩定節點（黑點）。分界線（藍色實線）直接連接到鞍點（白點），並且也定義了吸引盆的邊界。

平衡

當動態系統不再隨時間改變時，就達到了平衡。形式上講，如果 f(x)=0，則 x 是系統 x′=f(x) 的一個平衡點。在動態系統中，我們只會考慮 5 類固定點。

穩定節點（stable node）吸引鄰近區域內的所有點。當所有特徵值都為負且為實數時，就會出現穩定節點。

不穩定節點（unstable node）排斥鄰近區域內的所有點。當所有特徵值都為正且為實數時，就會出現不穩定節點。

穩定焦點（stable foci）通過向內盤旋吸引鄰近區域內的所有點。當特徵值為複數且與負實數部分共軛時，就會出現穩定焦點。

不穩定焦點（unstable foci）通過向外盤旋排斥鄰近區域內的所有點。當特徵值為複數且與正實數部分共軛時，就會出現不穩定焦點。

鞍點（saddle）沿兩個方向吸引且沿兩個方向排斥。當特徵值為實數且符號相反時，就會出現鞍點。

根據雅可比矩陣（Jaccobian matrix）的軌跡 τ 和行列式 δ 得到的固定點的分類。圖片來自 Eugene Izhikevich，根據 CC BY-NC-SA 3.0 License 發布。

nullcline

如上述模型那樣的二維神經元模型有兩條 nullcline——這兩條線上的偏導數為 0。當越過一條 nullcline 時，一個變數的演化會改變方向。只需查看動態系統的 nullcline，就能明白有關該動態系統的很多情況，包括固定點的位置。

分岔

分岔是動態系統中的質變——平衡點或極限環（limit cycle）的出現或消失這種質變。這些變化會在一個參數變化時發生——這就是所謂的分岔參數（bifurcation parameter）。在神經元模型中，分岔參數往往是輸入電流 I。我們只會考慮 4 種分岔：

鞍點節點分岔：在鞍點節點分岔處，穩定節點和不穩定節點消除彼此，融合成一個鞍點節點。在神經元模型中，鞍點節點分岔之前會有穩定平衡的消失。

在極限環上的鞍點節點分岔：與鞍點節點分岔類似，但分岔點出現在極限環上。這個細節很重要，因為在平衡點處，極限環具有無限的周期長度，讓周期性可以隨分岔參數連續變化。當鞍點節點沒出現在極限環上時，周期性是不連續的。這對神經元的計算特性有影響。

超臨界 Andronov-Hopf 分岔：在超臨界 Andronov-Hopf 分岔處，隨著極限環的出現和增長，穩定平衡會向不穩定平衡轉變。接近超臨界 Andronov-Hopf 分岔時，如果其輸入是周期性的，那神經元就會尖峰放電。

亞臨界 Andronov-Hopf 分岔：在亞臨界 Andronov-Hopf 分岔處，隨著極限環的收縮然後消失，不穩定平衡會向穩定平衡轉變。

鞍點節點分岔示例。注意這裡的穩定固定點和不穩定固定點在融合成鞍點節點後彼此消除的方式。

發生在極限環上的鞍點節點分岔示例。注意這裡的穩定固定點和不穩定固定點彼此消除的方式。圖片來自 Eugene Izhikevich，根據 CC BY-NC-SA 3.0 License 發布。

超臨界 Andronov-Hopf 分岔示例。注意這裡穩定極限環的出現和增長。圖片來自 Yuri A. Kuznetsov，根據 CC BY-NC-SA 3.0 License 發布。

亞臨界 Andronov-Hopf 分岔示例。注意這裡不穩定極限環的出現。圖片來自 Yuri A. Kuznetsov，根據 CC BY-NC-SA 3.0 License 發布。

現在讓我們繼續深入！

模型

Hodgkin-Huxley 模型神經元

Hodgkin-Huxley 模型神經元是生理學建模領域內一項非常了不起的成就，這讓 Alan Hodgkin 和 Andrew Huxley 獲得了 1963 年的諾貝爾生理學或醫學獎。這是計算神經科學領域內的一種重要模型。有趣的是，這個模型是通過研究魷魚巨軸突（squid giant axon）構建的，這控制了魷魚的噴水推進反射——其直徑很大，易於實驗。

你會看到其中有很多數學內容，但本質上講，Hodgkin-Huxley 模型是將神經元的動態描述成了一個電路，其中電流的激活和失活有不同的時間尺度和不同的電壓。

該模型包含 3 種電流 INa、IK 和 Ileak，都會影響膜電位。Ileak 不是門控的，而是 Cl- 離子緩慢滲透穿過膜。IK 是由 n 門控的，n 是一個無單位的變數 [0,1]，表示 K+ 電壓門控通道的激活狀態（增加鉀的流量）。INa 電流是由 m 和 h 門控的，其中 m 是一個無單位的變數 [0,1]（增加鈉的流量），表示 Na+ 電壓門控通道的激活狀態，h 也是一個無單位的變數 [0,1]，表示 Na+ 通道的失活狀態（停止鈉流動）。

其中

其中

αx 是指門 x 轉換為打開的速率，而 βx 是指門 x 轉換為關閉的速率。

Hodgkin-Huxley 模型是接受範圍最廣的模型。這也是我們在本文中會談到的最複雜的模型。後面的模型會更加抽象，並且缺乏 Hodgkin-Huxley 模型的一些特徵，但它們分析和模擬起來更容易。

人工神經元

在人工神經網路中所使用的人工神經元是對生物神經元的絕妙約簡。它們是對神經行為的抽象，即將神經行為約簡成幾個關鍵特徵：（a）它們整合所有輸入突觸上的信號（求總和），（b）它們根據一個非線性函數對整合後的信號進行變換處理。

我們可以用數學方式描述（a）：

其中神經元 j 是突觸前神經元，i 是突觸後神經元，vj 是從 j 到 i 的信號，wij 是該突觸的強度。

用數學方式描述（b）：

其中 f(Ii) 通常是 sigmoid 函數或線性整流函數。

相當簡單，但有點投機取巧。這些最好是稱為單元，而不是神經元，因為它們並不進行尖峰放電。儘管如此，這些單元的輸出可以被解讀成是放電率。儘管很簡單，但這些單元在探索神經計算的性質上很有用。不僅如此，它們也被用在了當前最佳的人工智慧演算法中。事實證明，只有一個隱藏層的人工神經網路就能近似任意函數。

這一類神經元的強度源自可微分性——即使在網路內堆疊時也是如此。這個性質可以最小化或最大化某些目標來學習任意函數。但是，因為比較簡單（比如缺乏尖峰放電機制和持久狀態），它們並不是生物神經元的實際情況的模型。

整合放電模型

整合放電模型（integrate and fire model）是一種應用廣泛的模型，常被用於探索網路的行為。這種簡單模型抓住了神經行為的幾個特徵：（a）神經元尖峰放電和複位重置所遵循的膜閾值，（b）神經元無法放電的不應期，（c）狀態——這是一種動態系統，膜電位（狀態）會隨時間演變。

但是，這個模型缺乏用於尖峰生成的真實機制。實際上在神經元尖峰放電時，我們也就只畫一條豎線。此外，其膜閾值和不應期是絕對的，而在真實神經元中，它們會根據神經元的狀態而變化。這些神經元也不能共振（resonate）。不是說這個模型無用——整合放電神經元有尖峰放電神經元的最基本特徵，並且很容易推理。很多對網路行為的有趣探索都使用了這個模型。

基於電導的模型

基於電導的模型是一組類似 Hodgkin-Huxley 模型的方程——它們使用這些參數表示神經元：（1）各種離子通道的電導率，（2）細胞膜的電容。基於電導的模型很簡單，但種類很多。和整合放電模型不同，基於電導的模型可以生成尖峰。有些還能進行共振、振蕩、反彈尖峰、雙穩態尖峰等。

展示 Na、K 和漏電電流的 RC 電路。離子通道用可變電阻器表示（帶有箭頭的電阻符號）。

這些模型這樣描述流過神經元膜的電流：

使用了基爾霍夫電流定律（Kirchhoff"s law）。

這些模型的動態的基本形式可以描述為：

正如去羅馬有很多不同路徑一樣，實現模型尖峰放電的方式也很多。我們前面已經看了 Hodgkin-Huxley 模型，但因為那是一個 4 維繫統，所以分析起來不容易。下面我們來看看一個 1 維繫統和一個 2 維繫統，其分別基於鈉通道的動態和鈉&鉀通道的動態。

INa,p

持續鈉模型（INa,p）只有一個鈉通道，且這個鈉通道能立即響應當前的膜電位；由於鈉通道動態的速度相對較快，所以這種模型還算不錯。這讓我們有了一個非常簡單的 1 維模型。現在，如果我們回想一下動作電位的生理過程，那麼缺乏鉀通道就意味著這個模型的動態本身應該無法實現複位重置。實際上我們需要添加一個條件來在尖峰放電後人工重置神經元。

看看狀態空間，下面是一個特定的輸入電流，有兩個固定點——一個對應於平衡的膜電位，另一個對應於該尖峰放電的峰值膜電位。當然，有一個源點（source point）分開這兩者。

在模型經歷了一次分岔之後就會出現尖峰放電：平衡固定點和源點彼此消除，會導致神經元傾向於尖峰放電，不管其初始狀態如何。

INa,p+IK

持續鈉+鉀模型（INa,p+IK）是在 INa,p 的基礎上加上鉀通道。不同於鈉通道，鉀通道不會即時激活，其激活速度比鈉通道慢。不同於 INa,p，這個模型是 2 維的。

建模基於電導的模型的常見方法是將一整個神經元當作單個隔離單元——也就是忽略樹突的所有結構複雜度。源自樹突分支的信號的傳播和合併方式很複雜，其建模的計算成本通常非常高。儘管基於電導的模型比我們前面看到的其它模型更接近實際，但你也應該清楚這個短板。為了解釋這些特徵，可能會用到電纜方程（cable equation）。

簡單的動態模型

如果你不想受限在思考離子通道上——也就是說，如果你暫時想略過濕件（生物硬體）——那麼你能在獲取與神經計算相關的細胞行為情況的同時維持可追蹤的分析和模擬所需的簡潔性嗎？Eugene Izhikevich 的簡單模型背後的直觀思想是好模型需要 1）一個描述膜電位快速變數，2）一個描述恢復動態過程的慢速變數。恢復變數無需明確代表特定的離子電流，而是可以描述所有恢複電流的總和。這種簡單模型的構造取決於正確調整其參數，它可能接近鞍點節點分岔或 Andronof-Hopf 分岔。這在模擬神經元網路時有很大的優勢。這種方法不僅能通過將動態過程簡化為相對簡單的方程描述的 2 個變數來降低計算成本，而且還可以使用一個模型表示多種神經性質。

神經元的計算性質

神經元可以解碼來自其它神經元的信息，轉換這些信息，然後將這些信息編碼成尖峰的形式發送給其它神經元。神經元的計算性質讓它們可以執行這種操作。下面給出了一些計算性質的示例（這個列表當然並不全面）。

1、2 和 3 類神經元

了解神經元的計算能力的一種方式是查看它們的 F-I 函數——即增益函數。Hodgkin 基於這一指標提出了 3 類神經元，如下面的圖片所示：

1 類神經元的 F-I 曲線示例。注意這個曲線是平滑的。這些神經元可以生成任意低頻率的尖峰隊列。在模型中，當鞍點節點分岔發生在極限環上時，這就可能發生。在分岔之後，極限環的周期是無限的。

2 類神經元的示例。其放電率有不連續的跳變。2 類神經元不能生成任意低頻率的尖峰隊列。

3 類神經元沒有有趣的 F-I 曲線，因為它們僅在輸入開始時放電。也就是說，它們在給定一個恆定輸入時只會生成單個尖峰。

但是，這些類別可以使用動態系統進行更豐富的描述。1 類神經元的行為是在極限環上的鞍點節點分岔的結果，而 2 類神經元的行為是其它三種分岔的結果。3 類神經元的行為會在固定點突然移動（比膜電位變化的速度快）時出現，使得神經元尖峰放電，然後返回變化後的平衡狀態。

應該說還有很多其它「類型」的神經元。也就是說，神經元的區分不僅是在增益函數方面。實際上艾倫研究所（Allen Institute）目前就有一個研究神經元分類的項目。他們有一個非常棒的開源大腦細胞資料庫：http://celltypes.brain-map.org。

積分器和共振器

我們也可以看神經元是積分器還是共振器，從動態系統的角度看，即神經元是經歷鞍點節點分岔還是 Andronof-Hopf 分岔。

積分器會累積信號，直到它們的膜電位達到定義好的閾值（定義吸引盆的分界線）。時間相近的信號加到一起可以產生比相隔較遠時更大的效果。積分器是並發檢測器（coincidence detector）。某些積分器是 1 類神經元。

積分器示例。這個神經元會隨時間累積持續的輸入。

上面是一個接近鞍點節點分岔的模型。注意沿吸引盆的定義良好的閾值（藍色線）。正輸入的到來會驅使電流狀態遠離吸引盆，直到其最終避免引發動作電位。

共振器會對輸入信號產生共振（振蕩）。共振器不一定要有明確定義的閾值。在接近超臨界 Andronof-Hopf 分岔的模型情況下，某些螺旋軌跡指向吸引盆之外，但其它軌跡不會。其閾值很模糊。不同於積分器，共振器對某個頻率窄帶最敏感。共振器也是並發檢測器，但它們還是頻率檢測器。所有的共振器都是 2 類神經元。

積分器示例。我們可以使用三個幅度非常小的脈衝構建一個共振器神經元。因為這些脈衝在合適的共振頻率上，所以會將膜電位越推越高。這類似於在鞦韆上按適當的節奏擺動你的腿。

FitzHugh-Nagumo 模型是一種共振器。在一次尖峰放電後，膜電位類似於衰減的振蕩器。

這是一個接近超臨界 Andronof-Hopf 分岔的共振器

結語

神經元處理信息的方式非常迷人和複雜，其中還有很多我們仍不清楚的地方（任何充滿激情的科學家都會覺得振奮）。本文中所討論模型還遠不夠完美。這些模型還沒有考慮到神經元的一些重要方面，比如樹突樹的複雜結構或局部場電位（但確實存在這樣的模型）。但是，要記住未來一段時間內，我們很可能都將無法獲悉大腦中與認知相關的所有相關情況，模擬是一種研究神經計算的非常實用和有趣的方法。我希望這個系列文章能激勵能人巧匠、黑客和程序開發者研究這些模型並找到可能的新發現。

參考文獻

Eugene M. Izhikevich (2007) Equilibrium. Scholarpedia, 2(10):2014.

Yuri A. Kuznetsov (2006) Andronov-Hopf bifurcation. Scholarpedia, 1(10):1858.

Yuri A. Kuznetsov (2006) Saddle-node bifurcation. Scholarpedia, 1(10):1859.

Izhikevich, Eugene M. Dynamical systems in neuroscience. MIT press, 2007.

Dayan, Peter, and Laurence F. Abbott. Theoretical neuroscience. Vol. 806. Cambridge, MA: MIT Press, 2001.

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！