如何構建一個硅腦？首先要有一塊神經形態晶元

選自TheScientist

作者：SANDEEP RAVINDRAN

機器之心編譯

參與：羅賽男、張倩

在用硅晶元模擬人類大腦的路上，科學家們已經做了一些嘗試，但其速度和能耗都讓人無法接受。因此，研究者提出用神經形態晶元代替傳統晶元來完成這項艱巨的任務。神經形態晶元是受人腦啟發創建的一種晶元，具有速度快、能耗低、可擴展能優點。本文詳述了神經形態晶元的基本概念、優勢、發展歷程及現狀。

2012 年，計算機科學家 Dharmendra Modha 使用一台強大的超級計算機模擬了超過 5000 億個神經元的活動，甚至比人腦中約 850 億個神經元還要多。這是近十年工作的高潮，十年間，Modha 從模擬嚙齒動物和貓的大腦發展到模擬人類規模的大腦。

這一模擬消耗了大量的計算資源--150 萬個處理器和 1.5PB（150 萬 GB）的內存，計算速度卻仍比人腦慢 1500 倍，令人難以忍受。Modha 估計，要使其達到人腦的實時運行速度，需要 12 千兆瓦的能量，大約是胡佛水壩最大輸出能力的 6 倍。

「然而，這只是模擬大腦處理一幅卡通畫所需的能量」，加州北部 IBM 阿爾馬登研究中心類腦計算首席科學家 Modha 說。這一模擬根本無法複製人腦的功能，因為人腦使用的能量與一個 20 瓦的燈泡相當。

自 21 世紀初以來，硬體的改進以及實驗和理論神經系統科學的進步使研究人員能夠創造出更大更詳細的大腦模型。但是越複雜的模擬越容易受到傳統計算機硬體的限制，正如 Modha 的耗能模型所展現的那樣。

Modha 的人腦模擬實驗在勞倫斯利弗莫爾實驗室中完成，運行於搭載藍色基因 BlueGene/ Q 系統的 Sequoia 超級計算機之上，Sequoia 是一個傳統計算機硬體的超強集合體：它由大量傳統計算機晶元、含數百萬晶體管的指甲大小的硅晶片驅動。控制傳統計算機晶元結構和功能的規則與我們人類的大腦完全不同。

但事實上，計算機完全不同於人類「思考」方式使得它們在進行數值計算等任務時具有優勢。而在其它領域，如理解人類語言或從經驗中學習，計算機明顯落後於人類。如果科學家想要模擬出一個可以與人類智能相媲美的大腦，他們可能必須從更好的構件——由人腦啟發的計算機晶元（神經形態晶元）開始。

所謂的神經形態晶元複製了大腦的結構——也就是說，它們使用類似於神經元動作電位的「神經元脈衝」相互交流。這種脈衝行為允許晶元消耗極少的能量，並且即使將之拼接成非常大規模的系統時，也能保持節能。

「在我看來，最大的優勢是可擴展性」，安大略省滑鐵盧大學的理論神經科學家 Chris Eliasmith 說。在他的《如何構建大腦》（How to Build a Brain）一書中，Eliasmith 描述了一個由他創建並命名為 Spaun 的功能性大腦的大規模模型。

當 Eliasmith 運行 Spaun 的初始版本時，它有 250 萬個「神經元」，即使這個模型運行在最好的傳統晶元上，運行速度也比生物神經元慢 20 倍。「每當我們增加幾百萬個神經元，它就會相應得再慢幾十倍，」他說。

但當 Eliasmith 在數字神經形態硬體上進行一些模擬時，他發現它們不僅速度快得多，而且能效高出 50 倍。甚至更好的是，隨著 Eliasmith 模擬了更多的神經元，神經形態平台變得更有效。這是神經形態晶元旨在複製自然的方法之一，假定大腦模型從蠕蟲大腦的 300 個神經元擴大到人腦的 850 億個神經元，大腦的能量和效率會按比例增加。

神經形態晶元在執行複雜計算任務時消耗極少的能量，這一能力已經引起了科技行業的關注。神經形態晶元的潛在商業應用包括節能超級計算機、低功率感測器和自學習機器人。但是生物學家想到一個不同的應用：構建一個功能完備的人類大腦複製品。

神經形態硬體借鑒了動物神經系統的架構，通過類似於生物神經元動作電位的脈衝轉發信號。這一特性使得硬體消耗的能量更少，比在傳統晶元上運行大腦模擬要快幾個數量級。

圖片由友尼森歐洲有限責任公司提供； 海德堡大學；英特爾公司；IBM 研究院

現今的許多神經形態系統，從 IBM 和英特爾開發的晶元到作為歐盟人腦計劃一部分創建的兩個晶元，都對能夠遠程訪問系統來運行模擬的研究者開放。研究人員正在使用這些晶元來創建單個神經元和突觸的詳細模型，並譯解如何將單元組合在一起來創建更大的大腦子系統。

這些晶元允許神經科學家測試關於視覺、聽覺和嗅覺在實際硬體上工作原理的理論，而不僅僅是在軟體上。最新的神經形態系統也使研究人員能夠開始複製人類思考和學習方式這一更具挑戰性的任務。

現在還為時尚早，真正開發出神經形態晶元的潛力需要理論、實驗和計算神經科學家以及計算機科學家和工程師的共同努力。但是最終的目標是宏偉的——那就是弄清楚大腦的各個組成部分是如何共同創造思想、感覺甚至意識的。

英特爾神經形態計算實驗室主任、計算機工程師 Mike Davies 表示：「對大腦進行逆向工程是我們能夠承擔的最雄心勃勃的技術難題之一。」

一切都離不開架構

加州理工學院科學家 Carver Mead 於 20 世紀 80 年代創造了「神經形態」（neuromorphic）一詞，此前他注意到，與構成現代計算機晶元的數字晶體管不同，模擬晶體管更接近於神經元的生物物理學特性。

具體來說，模擬電路中非常微小的電流——小到電路實際上處於"關閉"狀態——表現出的動力學類似於通過生物神經元通道但不會導致動作電位的離子流。

被 Mead 和他同事們的工作所吸引，20 世紀 90 年代中期，Giacomo Indiveri 決定在加州理工學院進行他的博士後研究。現在，作為瑞士蘇黎世大學的神經形態工程師，Indiveri 管理著為數不多的幾個繼續使用 Mead 方法（即使用低電流模擬電路）的研究團隊之一。

Indiveri 和他的團隊手工設計晶元的布局，這一過程可能需要幾個月的時間。「這是用筆和紙完成的工作，因為我們試圖提出優雅的解決方案以實現神經動力學，」他說。「如果你做的是模擬電路，那麼它在很大程度上仍然是一門藝術。」

一旦完成了布局，他們就會把設計通過電子郵件發給一家代工廠——與生產智能手機和電腦晶元具有相同精度的金屬鑄造廠。最終的晶元看起來大致就像一個智能手機晶元，但它的功能就像是通過幾個節點傳播電子脈衝的「神經元」網路。在這些模擬神經形態晶元中，信號通過不同強度的實際電壓脈衝來轉發。就像在大腦中，信息是通過不同神經元脈衝時序來傳遞的一樣。

「如果你向神經生理學家展示其中一個神經元的輸出，他將無法告訴你這是來自硅神經元還是來自生物神經元，」Indiveri 說。

這些硅神經元代表了一種複製人類神經系統的不完美嘗試。生物神經元是模擬-數字混合系統；它們的動作電位模仿數字硬體的離散脈衝，但它們也是模擬的，因為神經元中的電壓電平影響被傳輸的信息。

模擬神經形態晶元具有與生物神經元的物理行為非常相似的硅神經元，但它們的模擬特性也使得傳輸的信號不那麼精確。雖然我們的大腦已經進化出彌補其不精確部分的能力，但研究人員已經將這一基本概念帶入了數字領域。

IBM 和英特爾等公司專註於數字神經形態晶元，其硅神經元複製具有不同物理特性的信息在生物神經元中的流動方式，其原因與傳統數字晶元統領我們絕大多數計算機和電子產品的原因相同——它們具有更高的可靠性並且易於製造。

照片由友尼森歐洲有限責任公司提供

構建模塊：每個 SpiNNaker 晶元與內存（左上角）封裝在一起，然後拼接成更大的設備，如右上角的 48 節點板。多個板可以連接在一起，形成更大的 SpiNNaker 系統（如上）

但是這些數字晶元按照捕獲到的大腦的架構來維持它們的神經形態狀態。在這些數字神經形態晶元中，脈衝以信息包的形式出現，而不是實際的電壓脈衝變化。英特爾的 Davies 表示：「這與我們通常在計算機上設計的任何東西都大不相同。」

無論脈衝採用何種形式，該系統只在輸入達到某個閾值時傳遞信息，允許神經形態晶元每次少量而不是大量消耗能量。這類似於大腦神經元在它們準備好時而不是在定時器的命令下進行通信的方式。另一方面，傳統晶元大多是線性的，數據穿梭於存儲數據的內存硬體和由嚴格內部時鐘控制進行數據計算的處理器之間。

當 Modha 設計 IBM 的神經形態晶元 TrueNorth 時，他首先分析了大腦的長距離接線圖，這些圖描繪了獼猴和人類大腦不同區域之間的連接情況。「它真正開始告訴我們有關長距離連通性、短距離連通性，以及神經元和突觸動態的信息，」他說。

到 2011 年，Modha 發明了一種含有 256 個硅神經元的晶元，其規模與線蟲的大腦相同。利用最新的晶元製造技術，Modha 將神經元封裝得更緊，以縮小晶元尺寸，並將 4096 個這樣的晶元拼接在一起，才有了 2014 年 TrueNorth 的發布。TrueNorth 包含 100 萬個合成神經元——相當於一個蜜蜂大腦的規模——消耗的能量比傳統晶元少幾百倍

神經形態學晶元（如 TrueNorth）在其人造神經元之間具有非常高的連通性，類似於在哺乳動物的大腦中看到的那樣。大規模並行處理的人腦的 850 億個神經元通過大約 1 千萬億個突觸高度互聯。

TrueNorth 要簡單得多——它包含 2.56 億個「突觸」，連接著 100 萬個神經元——但是通過將多個 TrueNorth 晶元拼接在一起，Modha 創造了兩個更大的系統： 一個模擬了 1600 萬個神經元和 40 億個突觸，另一個模擬了 6400 萬個神經元和 160 億個突觸。目前，超過 200 名來自不同機構的研究人員可以免費使用 TrueNorth。

除了高度互聯性和脈衝特性，神經形態晶元還複製了生物神經系統的另一個特徵： 傳統的計算機晶元將處理器和內存分散在不同的位置，但神經形態晶元往往有許多微型處理器，每個微型處理器都有少量的局部存儲器。

這種結構類似於人腦的組織，神經元同時進行數據存儲和處理。研究人員認為，這種神經形態架構要素可以使得這些晶元建立的模型更好地複製人類的學習和記憶。

學習能力是英特爾 Loihi 晶元的一個焦點，該晶元於 2017 年 9 月首次發布，並於去年 1 月與研究人員共享。

為了模擬大約 13 萬個神經元和 1.3 億個突觸，Loihi 引入了脈衝時間相關的突觸可塑性模型 (STDP)，這是一種通過突觸前和突觸後脈衝相對時間在大腦中調節突觸強度的機制。

如果一個神經元在第二個神經元之前觸發，那麼它與第二個神經元的連接就會增強，而如果觸發順序顛倒，連接強度就會減弱。這些突觸強度的變化被認為在人類大腦的學習和記憶中起著重要作用。

負責 Loihi 開發的 Davies 表示，研究人員的目的是捕獲人類大腦擅長而當前人工智慧模型不擅長的快速終身學習過程。像 TrueNorth 一樣，Loihi 是分散式的，供不同研究人員使用。

隨著越來越多的研究團隊使用這些晶元來模擬大腦，Davies 說，「希望一些更廣泛的原理能夠更清楚地解釋我們在大腦中看到的一些驚人能力。」

神經系統科學中的神經形態學

對於所有潛在的科學應用而言，TrueNorth 和 Loihi 並不是專門為神經科學家構建的。他們主要是研究晶元，旨在測試和優化神經形態結構，以提高其能力和易用性，以及探索各種潛在的商業應用，從語音和手勢識別到節能機器人以及可為智能手機和自動駕駛汽車提供動力的設備上機器學習模型。

另一方面，歐盟的人類大腦計劃（Human Brain Project）已經開發了兩個神經形態硬體系統，其明確目標是理解大腦。

BrainScaleS 於 2016 年推出，它將許多晶元組合在大型硅晶片上，更像是超薄飛盤而不是指甲。每個晶片包含 384 個模擬晶元，它們運行起來相當於增強版的 Indiveri 的模擬晶元，是為提高速度而不是降低功耗而優化的。每個晶片上總共模擬了大約 200,000 個神經元和 49,000,000 個突觸。

作為歐盟人類大腦計劃的一部分，BrainScaleS 和神經形態系統 SpiNNaker 都受益於這一計劃，這一計劃背後有著許多理論、實驗、計算神經科學家組成的大型社區。與這個社區的互動引導著新功能的增加，這可能對科學家有所幫助，並允許從兩個系統中得到的新發現快速反饋回該領域。

英國曼徹斯特大學的計算機工程師 Steve Furber 在 20 年前構想出了 SpiNNaker，他已經設計了超過 10 年。在 SpiNNaker 小型數字基礎晶元上艱難探索 6 年之後，Furber 說，他和他的同事們在 2011 年實現了所有功能。

自那以後，研究小組一直在將這些晶元組裝成規模更大的機器，以 2018 年末開啟的擁有百萬處理器的機器告終。Furber 預計 SpiNNaker 應該能夠實時模擬老鼠大腦中的 1 億個神經元——而傳統超級計算機做到這一點速度要慢 1 千倍左右。

目前，歐盟人腦計劃系統免費向學術研究實驗室開放。神經科學家開始在 SpiNNaker 硬體上運行他們自己的程序，以模擬大腦特定子系統的高級處理過程，如小腦、皮質或基底神經節。

例如，研究人員正在試圖模擬一個小的重複結構單元——皮質微柱，該微柱位於大腦外層，負責大多數高級功能。「微柱很小，但是它仍然有 8 萬個神經元和 2.5 億個突觸，所以建模這個微柱並不是一項小工程，」Furber 說。

接下來，他補充到，「與僅從個體大腦區域著手相反，我們開始想從系統級創建」，逐漸接近為人類智力提供動力的含 850 億個神經元的人腦的全尺寸模型。

模擬大腦

使用神經形態硬體對大腦進行建模可以揭示神經元計算的基本原理，達特茅斯學院的計算神經科學家 Richard Granger 說。神經科學家可以非常詳細地測量神經元的生物物理和化學特性，但是很難知道這些特性中的哪些對大腦的計算能力真的重要。雖然神經形態晶元中使用的材料與人腦的細胞物質完全不同，但使用這種新硬體的模型可以揭示大腦傳遞和評估信息的計算原理。

在硅中複製簡單的神經電路幫助 Indiveri 發現了大腦設計的潛在效益。他曾經給一個博士生一個神經形態晶元，該晶元能夠模擬脈衝頻率適應，這種機制使人類習慣於恆定的刺激。

由於在晶元上壓縮了空間，學生決定不實現這個功能。然而，當努力降低晶元的帶寬和功率要求時，他最終得到了一些看起來與他移除的脈衝頻率適應相同的東西。

Indiver 和他的同事們還發現，長距離發送模擬信號的最佳方式不是將它們表示為連續可變的流，而是像神經元一樣，將它們表示為一系列脈衝信號。「如果你想最小化能量和帶寬，神經元所使用的技術被證明是傳輸信號的最佳技術，」Indiveri 說。

神經形態硬體也可以讓研究人員測試他們關於大腦功能的理論。康奈爾大學的計算神經科學家 Thomas Cleland 建立了嗅球模型來闡明支撐我們嗅覺的原理。使用 Loihi 晶元使他能夠建立足夠快的硬體模型以模擬生物。

當從化學感測器（我們的氣味感受器的人工版本）給定數據，系統在只接觸到一個樣本後就學會了識彆氣味，超過了傳統的機器學習方法，並且更接近人類的優秀嗅覺。

「通過成功地映射類似的東西，並在神經形態晶元上顯示它的工作情況，是你確實理解了這個系統的很好的證明」，Davies 說。

Cleland 的嗅覺模型並不總是像預期的那樣有效，但那些「失敗」的實驗同樣具有啟發性。感測器接收到的氣味輸入有時與模型預測的結果不同，可能是因為氣味比預期的更複雜或更具雜訊，或者是因為溫度或濕度干擾了感測器。

「輸入信息有點不靠譜，我們知道這並不能騙過我們的鼻子，」他說。研究人員發現，通過注意以前忽略的氣味輸入中的「雜訊」，嗅覺系統模型可以正確地檢測到更廣泛的輸入。研究結果使 Cleland 更新了他的嗅覺模型，研究人員現在可以觀察生物系統，看看它們是否使用這種以前未知的技術來識別複雜或含有雜訊的氣味。

Cleland 希望擴大他的模型規模，這個模型運行在生物實時環境中，分析來自成百甚至上千個感測器的氣味數據，這些數據可能需要幾天時間才能在非神經形態硬體上運行。「只要我們能把演算法放到神經形態晶元上，那麼後者的可擴展性就非常好」，他說。「對我來說，最令人興奮的事情是能夠運行這 16000 個感測器的數據集，看看當我們擴大模型規模時，演算法會有多好。」

SpiNNaker、 TrueNorth 和 Loihi 都能以與生物相同的速度對神經元和大腦進行模擬，這意味著研究人員可以使用這些晶元識別刺激——如圖像、手勢或聲音——當它們出現時，立即處理和回應它們。

除了允許 Cleland 的人造鼻子處理氣味之外，這些能力還可以使機器人在消耗很少能源的情況下實時感知並對環境做出反應。對大多數傳統計算機而言，這是一個巨大的進步。

對於某些應用，例如可能需要數周、數月甚至數年才能完成的建模學習過程，這有助於提高速度。這就是 BrainScaleS 的用武之地，它的運轉速度比生物大腦快 1000-10000 倍。而且這個系統只會越來越先進。隨著與神經科學家們密切合作開發新的處理器，它正在被升級為 BrainScaleS2。

這個新系統將能夠更好地模擬學習和建模化學過程，比如多巴胺對學習的影響，這是其他神經形態系統無法複製的。研究人員說，它還能夠建模各種神經元、樹突和離子通道，以及結構可塑性的特徵，如突觸的損失和增長。

也許有一天，這個系統甚至能夠接近人類的學習和智力。海德堡大學的生物物理學家 Johannes Schemmel 說：「我認為，理解生物智能是本世紀最大的問題。」

當前的人工智慧系統在靈活性和學習能力方面仍然落後於大腦。Furber 說：「谷歌的神經網路在看過一千萬張貓的圖片之後才擅長識別出貓，但是如果你給我兩歲的孫子只看一張貓的圖片，他就能一輩子都認得貓了。」

隨著今年晚些時候 Loihi 計劃的推出，Eliasmith 希望能夠為他的 Spaun 模型增加更高層次的認知和學習行為。他說他特別興奮的是嘗試準確建模人類如何快速且容易地學習一項認知任務，比如一個新的棋盤遊戲。像 AlphaGo 這樣著名的人工智慧遊戲玩家必須建模數以百萬計的圍棋棋局才能學會如何下好。

目前還不清楚複製人類智能是否僅僅是建立更大更詳細的大腦模型的問題。「我們不知道我們理解大腦的方式是否存在某種根本性的缺陷，」Eliasmith 說。「我們不知道我們能走多遠，直到我們有更好的硬體能夠實時運行這些具有數以億計的神經元的模型」他說，「我認為神經形態學能幫助我們達到這個目標。」

參考文獻

1. C. Eliasmith et al.,「A large-scale model of the functioning brain,」Science, 338:1202–05, 2012.

2. D.S. Modha, R. Singh,「Network architecture of the long-distance pathways in the macaque brain,」PNAS, 107:13485–90, 2010.

3. P.A. Merolla et al.「A million spiking-neuron integrated circuit with a scalable communication network and interface,」Science, 345:668–73, 2014.

4. M. Davies et al.「Loihi: A neuromorphic manycore processor with on-chip learning,」IEEE Micro, 38:82–99, 2018.

5. J. Schemmel et al.,「A wafer-scale neuromorphic hardware system for large-scale neural modeling,」Proc 2010 IEEE Int Symp Circ Sys, 2010.

6. S.B. Furber et al.,「The SpiNNaker Project,」Proc IEEE, 102:652–65, 2014.

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！