新型超導神經網路，像神經元一樣工作，效率堪比大腦

雖然與以千兆赫速度運行的現代微處理器相比，人腦的運行速度只有幾赫茲，簡直就像蝸牛一樣，但毋庸置疑的是，人類大腦是迄今為止已知的最偉大的計算設備。

人類大腦的強大之處在於，能夠同時進行每秒十億次的計算，這種並行性使得它能夠輕鬆地解決傳統計算機尚未解決的問題，比如駕駛、行走、交談等等。而更不可思議的是，這每秒十億次的計算背後，大腦所需要的能量來源可能僅為一碗稀飯。相比之下，一台超級計算機所需要的電力要超過一座大城市的電力消耗，遠遠多於大腦幾個數量級。

這就是為什麼計算機科學家，一心想要使用神經網路作為計算工具，以模擬人類大腦的計算性能。但說起來容易做起來難。雖然通過普通晶元也可以編入類似於神經網路的程序，但這需要大量的計算和能量消耗。

（來源：Quanta Magazine）

於是，計算機科學家嘗試創建人工神經元，並將它們連接成類似大腦的網路。不過一直以來，並沒有人提出一個設計能夠接近大腦的計算性能和運行效率。

近日，麻省理工學院的 Emily Toomey 和他的同事設計了一個由納米線組成的超導神經元，在很多方面都更加接近一個真實的神經元。研究成果以預印本的形式發表在 arxiv.org 網站上。

研究人員表示，他們的設備與大腦的能量效率相匹配（至少在理論上是這樣），並且是新一代超導神經網路的基石，該超導神經網路的效率將遠遠高於傳統的計算設備。

首先，我們了解一些背景知識。神經元以電脈衝或動作電位的形式編碼信息，這些電脈衝或動作電位沿著神經纖維傳播，神經元之間通過突觸的結構進行彼此分隔和信號傳遞。

一個神經元可以通過突觸影響其它神經元，傳遞的神經信號可以激活或抑制下游神經元。事實上，突觸的存在可以使神經元之間像邏輯門一樣工作，對多個輸入信號產生一個輸出響應。

在生物神經元中，的確有許多重要的特性，比如除非輸入信號超過某個閾值水平，否則信號不會激活，而且在經過一段時間（稱為不應期）之前，它們不能被再次激活；此外，突起沿軸突移動的時間也很重要，因為它編碼了突起已經移動的距離。

因此，人工神經元必須能夠儘可能多地複製這些生物特徵，而這也需要一些更複雜的電路設計。

Toomey 和他的同事指出，超導納米線具有一種特殊的非線性特性，使得它們可以像神經元一樣工作。這種特性的產生是因為當流過納米線的電流超過某個閾值時，納米線的超導性就會崩潰，此時電阻突然增大，產生了一個類似於神經元動作電位的電壓脈衝。

用這種電壓脈衝來調製另一根超導納米線產生的另一個脈衝，使得對生物神經元的模擬更加真實，相當於創造了一個具有許多生物神經元特性的簡單超導電路。研究人員也已經證明超導神經元具有觸發閾值、不應期，以及可以根據電路特性進行調整的傳播時間等特性。

圖 | 超導納米線中的鬆弛振蕩，是納米線神經元中脈衝形成的基礎（來源：arxiv.prg）

至關重要的是，這種超導神經元還可以用來觸發或抑制其它神經元。這種「分列」屬性是創建神經網路的關鍵，也是其它超導神經元設計從未實現的。

Toomey 和同事的計算表明，由於超導電路耗電量很小，這種超導神經網路可以與生物神經網路的效率相媲美。

神經網路中每秒使用 1 瓦特能量可以執行的突觸運行數量，是衡量計算性能的指標。Toomey 表示，他們提出的神經網路應該能夠達到每秒每瓦特 10^14 個突觸運行，與人類大腦大致相當。「從功率和速度的角度來看，納米線神經元可能是一項極具競爭力的技術。」他們說。

當然，納米線神經元也存在一些局限。與大腦相比，超導神經元最大的差距就是只能連接少數其它神經元，相比之下，人類大腦中的每個神經元都與成千上萬的神經元相連。而且，目前 Toomey 等人的超導神經網路還只是一個設計。

儘管如此，模擬結果還是很有希望的。研究人員表示，目前的分析表明，納米線神經元是低功耗人工神經網路發展的一個有希望的候選對象，而且潛力是巨大的。

研究人員認為，超導神經網路可能成為全新計算機硬體的基礎，這些晶元可以通過超導互連連接在一起，也就沒有散熱的問題。「其結果將是一個大規模的神經形態處理器，它可以被訓練成一個脈衝神經網路（spiking neural network），執行模式識別之類的任務或用於模擬大型生物模擬網路的脈衝動力學。」

無論如何，這是一項有趣的工作，儘管在興奮之前還需要進行概念驗證演示。

-End-

參考：

https://arxiv.org/abs/1907.00263

https://www.technologyreview.com/s/613949/superconducting-neurons-could-match-the-power-efficiency-of-the-brain/

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！