曾被認為不存在的「算珠」，正在重新發明神經網路

作者 | Liesbeth Venema

編譯 | 張震、chenxiaoqing

來源 | 新科學家

我們可以談論人工智慧掌握一些人類本領，比如開車或者玩撲克。但是，當需要讓海量、無序信息變得有意義時，人類還無法打造一個哪怕是接近大腦的 AI。部分原因在於大腦未解之謎，以及已有半世紀歷史的計算機架構，制約了這一目標的實現。

如今，一種新的計算範式為突破瓶頸帶來曙光。這種激進方案使用了一種同時存儲、處理信息的硬體，與大腦神經元網路的差別不是很大。充分發揮這一新範式的潛力，我們就能創造出可以實時分析數據流、識別模式，或許還能獨立自學的機器心智（mind）。

大數據時代，馮·諾依曼架構捉襟見肘

筆記本，智能手機，平板電腦，只要你說上來的，幾乎都遵循著馮·諾依曼結構。70 多年前，他主張計算機處理器與存儲單元應該彼此獨立。聽起來不像是什麼偉大的提議，但這意味著每運行一個新程序，沒必要再重新連接計算機。這種勞動分工的設計很湊效，人類製造出更快的計算機，辦法就是串聯處理器與內存。

但是，這一架構也有短處。

處理器需要數據信息，必須先從存儲單元讀取。這就要求電子在兩個元件之間穿梭，因此，處理器經常覺得很無聊，因為要等數據。你的筆記本為什麼會有「多核」，這就是其中一個原因；多個處理器單元——每一個都與內存連接——意味著，它們可以同時請求數據，從整體上加快計算。

如今，這一局限性真的開始妨礙到人類進步。

數據比以往任何時候都要多，特別是「大數據」革命正在臨近。我們已經可以瞥見未來的樣子：預測心臟病，數據預測分析比傳統醫學方法更快、更准。英國諾丁漢大學研究人員設計了一種演算法，可以處理近 400,000 病人的電子病歷，多麼龐大的數據分析任務。隨著物聯網範圍延伸到我們身邊的日常事物，從交通燈到冰箱，機器會為我們提供更多的生活洞見。

應用得當，前景無限。然而，如此龐大的數據量已經讓計算機過熱。美國能源部的一份報告顯示，世界 5% 到 15% 的能源都被用於計算，許多浪費在了數據的傳輸中。這正是我們需要突破馮·諾依曼瓶頸的原因。

人們為此進行了許多嘗試。上世紀 80 年代，科學家開始考慮利用光子而不是電子來編譯信息。因為光子在光纖中的傳播速度更快，所需傳播時間更少。其他人想要堅持使用電子，不過希望將電子編碼進量子力學特性（自旋）中，讓電子攜帶更多信息。但是，到目前為止，這些辦法都沒有很大進展，主要原因在於實施起來很複雜，以至於投入產出不成比例。

總而言之，多年來，這個問題一直挑戰著人類智慧，之所以很諷刺，是因為大腦本身就是一台超級計算機，但所需能耗與一隻 20 瓦的電燈泡差不多。它們不會存在類似馮·諾依曼結構的瓶頸，因為同一個神經網路既可以存儲信息還可以處理信息。

大腦三大關鍵特徵與傳統模擬方法的弊病

那麼，如何模擬人類神經網路呢？這也是麻煩所在。我們不可能完全知曉大腦如何工作，不過，至少要模擬大腦的三個關鍵特徵。

首先，大腦由大量的神經元以及神經元之間的突觸組成。其次，這些連接具有突觸彈性，也就是說它們可強可弱。學習，其實就是強化某組神經元之間連接。

第三個特徵，脈衝時間相關的突觸可塑性 (spike-time-dependent plasticity)。相對前兩個特徵，這個特徵沒有得到很好的理解。該特徵表明，如果兩個神經元幾乎同時放電，那麼，神經元就會被加強；如果放電不同步，就會變弱。經過這一漫長過程，協同工作的神經元的關係會得到加強，以傳遞信息，不重要的聯繫會被削弱。這就是大腦獨立學習的重要手段。綠燈時，你會立刻反應到「可以走了」，因為經過多年訓練，相關神經元之間的聯繫得到了強化。

事實上，長期以來，我們一直在試圖模仿大腦計算方式。這個研究領域被稱之為神經形態計算，如今已取得一些進步。

最早突破之一，來自研究人員 Frank Rosenblatt。1958 年，他將研究成果 Mark 1 感知機公佈於眾。Rosenblatt 對著機器的攝像頭展示了圓圈或三角型卡片，讓機器進行識別，他來修正錯誤。50 次嘗試之內，機器已經學會輸入代表圓圈或者三角的信號。

不過，當時的電子工程技術限制了感知機的發展。但是，情況已今非昔比。谷歌的 DeepMind 神經網路的成績令人驚呼，比如去年 AlphaGo 戰勝頂尖人類圍棋手。

TMark 1 感知機

然而，DeepMind 神經網路完全是軟體層面的模擬，在標準硅電子元件上運行。所以，儘管和神經元網路學習方式類似，但並未突破馮·諾依曼結構瓶頸。

2014 年問世的 IBM TrueNorth 晶元走的更遠。該晶元有 55 億個硅晶體管，按照人腦 100 萬個「神經元」的結構進行排列。有了這枚晶元，手機可以實時識別視頻物體，比如汽車還是自行車，但是所需電量很少，僅為手機睡眠模式所需量。聽起來很贊，但是，如果將規模擴展到大腦神經元級別，其能耗將是人腦能耗的 1 萬倍。「這個辦法實際上是一種浪費。」瑞士蘇黎世大學神經形態工程師 Giacomo Indiveri 說。

簡言之，儘管想方設法模仿大腦某些特徵，但是，我們從來未曾實現將這三大特徵集中在一個物理系統上。比如，TrueNorth 晶元擁有許多高度連接的「神經元」，但是，如果不藉助軟體，根本無法調節連接強度。

憶阻器，機器獨立學習的未來

失敗要歸結於這樣一個事實：傳統電子產品還沒能力真去模擬神經突觸。但現在，我們有辦法了，這要感謝半個世紀前的思想。

1971 年，加州大學伯克利分校的電子工程師 Leon Chua 正在看一道連接基本電路元件的方程式，這些元件包括電阻、電容和電感。他突然注意到，可以用另外一種方式安排這些術語，結果得到一個關於第四個元件的方程式，這第四個元件的抗阻性會根據電流情況發生變化。Chua 將之稱為「憶阻器」，因為它的阻抗性似乎展示出一種記憶能力。但當時並沒有以這種原理工作的材料或者設備，人們幾乎忘記了這個發現。

約十年前，惠普公司的一個由 Stan Williams 帶領的團隊正在研究一種新型內存，與台式電腦不同，在關掉電源後，新內存仍然保留數據。研究人員研究著使用了極薄鈦膜的設備，他們發現其阻抗性會隨著經過電流而發生奇怪的變化。最終，他們意識到薄膜中活動的不僅僅是電子，也有原子，它們以微妙的方式反轉變化了材料結構及其抗阻性。易言之，這個團隊無意間創造出 Chua 憶阻器。

Williams 的研究有助於解釋以前為什麼從未發現過憶阻性；因為只能在微觀尺度上自證存在。如今，人們相繼發現一系列可充當憶阻器的物質，包括一些聚合物。

真實憶阻器的出現鼓舞了研究人員，原因有幾個，比如有可能開發出新的計算方式，其技術更成熟、所用語言也比現在的更有效。

但不久後，有人動真格了。

緊跟 Williams 的發現，密歇根大學的工程師 Wei Lu 邁出關鍵一步。他向人們展現了這一事實：憶阻器可充當具有彈性的突觸。他拿出了一個由幾層薄硅打造的設備（其中一層帶有少量銀離子），它可以模擬上述大腦的第二個特徵。後來，Lu 展示憶阻器也可以模擬大腦的第三個特徵；應用電脈衝確切時點不同（exact timing of applied electrical spikes），憶阻器做成的突觸也會有強弱變化。

這項研究表明，「對於神經形態工程學來說，這真是激動人心的時刻，」Indiveri 說。「目前應該放棄硅晶體管，」荷蘭格羅寧根大學物理學家 Beatriz Noheda 說，聚焦研發成熟的、使用憶阻器的神經網路。

看起來，這只是擴展 Lu 研究成果的一個簡單案例。儘管他的研究只有一個單獨的突觸（帶有一個輸入和輸出神經元），但是，結果已經表明憶阻器可以實現三大重要大腦功能。接下來的研究會考慮搭建多層憶阻器神經元網路；每增加一層，網路就能進行更加複雜的「思考」。

沒那麼快，位於加州的 IBM Almaden 研究實驗室的 Geoffrey Burr 說。他說，Lu 所證實的脈衝時間依存的可塑性，只是在小規模上可行，但是，神經科學家並不確定在人腦大規模學習上表現如何。「在某種程度上，肯定會發生，」他說，「但是，我們還搞不清狀況。」也就是說，部署在大型人工神經網路，並不意味著可以帶來近似大腦的計算能力。

Burr 更喜歡堅持沒有脈衝時間依存的可塑性的網路。他使用的一個網路類似驅動 DeepMind 的神經網路，軟體控制著彈性突觸。但是，通過在憶阻器上運行這些網路（而不是晶體管），他能夠節省很多能源。

2014 年，Burr 搭建了一個這樣的網路，用了差不多 165000 個突觸。經過手寫書信數據集訓練後，該網路能夠準確識別這些手寫書信。Burr 的憶阻器由一種硫系玻璃（a chalcogenide glass）製成，這種材料能夠在原子有序或無序的兩相之間來回切換，改變材料導性。這種相變憶阻器正變得越來越可靠，晶元製造商們，比如英特爾開始出售使用憶阻器的內存設備。

其他人認為，憶阻器可以幫助實現完全獨立學習的機器。

英國南安普頓大學納米電子學研究人員 Themis Prodromakis 就是其中一員。去年，他搭建了一個神經網路，有四個輸入，兩個輸出神經元，用憶阻器突觸將它們連接起來。他可以輸入電子信號，比如「1001」或「0110」，這與 20 世紀 50 年代向感知機展示圓圈或三角形類似。不過，感知機需要人類告訴機器有沒有猜對圖形形狀，但 Prodromakis 的網路完全自學，看到 1001 就發送（fire off）一個輸出神經元，看到 0110 就發送另外一個。即使是帶有噪音的信號輸入，它也能正常運行。鑒於真實生活數據充滿噪音，這是一個非常重要的優勢。

最後，我們似乎正利用憶阻器重新創造大腦真實狀態（比如，當你望向窗外時）的精華部分：不存在瓶頸的獨立學習。

適當加以擴展，這類自我學習系統就能實時篩查數據，比如，監測自動駕駛汽車行為、橋樑完整性或者核電站，對龐大數據存儲中心（比如，為社交網路存儲數據的中心）的需求也會減少。由於需要冷卻，這些中心有時會建在北極附近。但是，如果憶阻器網路能夠實時解析數據，那麼，可能就不需要存儲數據。

由憶阻器製成的電腦還有一個潛在的優勢：因為運行原理類似大腦，因此，與人類連接或許會更容易些。現在已有一些使用硅晶元的設備，它們可以獲取大腦運動進而將其轉交給現實世界的東西，比如，癱瘓人控制體外骨骼，或者在睡夢中控制電腦。

但是，挑戰依然不少。大腦神經元行為極為複雜，現有的神經介面很難處理所有那樣的信息。「要電子元件處理如此豐富、高寬頻的數據，會讓它不堪重負。」Prodromakis 說道。憶阻器，是一個完美解決方案，因為它們只記錄表現脈衝顯著的信號，忽略嘈雜的背景。這讓 Prodromakis 興奮不已，最近，他開始與 Galvani Bioelectronics 合作研發基於憶阻器的神經介面。Galvani Bioelectronics，一家去年成立的英國公司，源自 GlaxoSmithKline 和谷歌子公司一個 5.4 億英鎊合作項目。

困擾憶阻器網路的最大問題之一，是能否高效量產。運行良好的工廠可量產硅晶元，但也同樣適用於憶阻器嗎？

想找到答案，首先需要挑選最佳製造原料。Noheda 已在 Groningen 建立了一個研究中心從事這方面的研究。如果她和其他憶阻器先驅們獲得成功，那麼，未來計算機可能會由那些四十年來、我們一度認為不存在的材料打造而成。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！