3D列印的深度神經網路，光速執行AI運算

選自techcrunch

作者：Devin Coldewey

機器之心編譯

大腦中神經元之間的信號傳播速度大約是 100 米每秒，而光的傳播速度是 30 萬千米每秒，如果神經元信號也是光速傳播的呢？來自加州大學洛杉磯分校（UCLA）的研究人員利用 3D 列印技術列印出了固態的神經網路，並且利用層級傳播的光衍射來執行計算，實現了手寫數字的圖像識別，相關成果已發表在《science》雜誌上。

這一想法看似新奇，其實也很自然。神經網路中執行的是線性運算，恰好和光衍射的線性相互作用對應，神經元的權重、激活值概念也能和光的振幅、相位對應（可調）。此外，固態光衍射計算還具有能耗小、無發熱、光速執行（儘管傳統計算機電路中的電場傳播也是光速的，但並未直接對應神經網路的計算過程）等優點。該研究方向尚處於起步階段，如果能充分利用其優勢，也許會有很廣闊的應用前景。

如今，機器學習無處不在，但多數機器學習系統是隱形的：它們在「黑箱」里優化音頻或識別圖像中的人臉。但最近 UCLA 的研究人員研發出了一個 3D 列印 AI 分析系統。這一系統不僅看得見，還摸得著。與以往通過調節數字進行分析的系統不同，該系統通過光線的衍射來分析人工智慧。這一新奇、獨特的研究成果表明：這些「人工智慧」系統可以看起來非常簡單。

我們通常將機器學習系統看作人工智慧的一種形式，其核心是對一組數據進行的一系列運算，每一次運算都基於上一次運算或饋送到一個循環中。運算本身並不太複雜——儘管也沒有簡單到可以用紙筆計算的程度。最終，這些簡單的數學運算會得出一個概率，即輸入的數據與系統「學會」識別的各種模式相匹配。

通常，機器學習系統進行每一次參數更新或推斷時所需的運算需要在 CPU 或 GPU 上進行。由於當前的深度學習需要大量並行計算，GPU 成了更廣泛的選擇。但即使最先進的 GPU 也是用硅和銅製成的，信息需要沿著錯綜複雜的電路以脈衝的形式傳播。這就意味著，不論是執行新的計算還是重複的計算，傳統 GPU 都會產生能耗。

因此，當深度學習中的這些「層」已經完成訓練，並且所有參數的值都確定下來，它還會一次次地重複計算與耗能。這意味著 3D 列印 AI 分析系統在訓練完它的「層」後，還可以被優化，不會佔用太大空間或 CPU 功率。來自 UCLA 的研究人員表示，它確實可以固化，這些層本身就是由透明材料製成的 3D 列印層，印有複雜的衍射圖案，這些圖案可以對光線進行處理。

如果這樣描述讓你覺得有點頭疼，不妨想想機械計算器。如今，數字計算都是在計算機邏輯中以數字形式完成的。但是過去，計算器需要移動實際的機械零件才能進行計算——數字加到 10 都會造成零件位置變換。從某種程度上來說，這種「衍射深度神經網路」與之相仿：它使用並操縱數字的物理表示，而不是電子錶示。這就代表著，如果將模型的預測過程固化為物理表示，那麼它在實際預測過程中就能大大降低能耗。

正如研究人員所說：

給定層上的每個點傳輸或反射入射波，該入射波相當於通過光學衍射連接到下一層其它神經元的人工神經元。通過改變相位和振幅，每個「神經元」都是可調的。

「我們的全光深度學習框架能夠以光速執行各種複雜任務，基於計算機的神經網路也可以實現這些任務。」研究人員在論文中描述其系統時寫道。

為了證明這一點，他們訓練了一個深度學習模型來識別寫手寫數字。完成之後，他們會把矩陣數學層轉化為一系列的光學變換。例如，一個層可能會通過將兩者的光線重新聚焦到下一層的單個區域來增加值——實際計算比這要複雜得多，此處只做概述。

通過在印刷版上布置數百萬個微型轉換，光從一端輸入並從另一個結構中輸出，因此系統能以超過 90% 的準確率判斷它是否為 1、2 和 3 等。

讀者可能會疑問這到底有什麼用，因為最簡單的三層感知機在識別手寫數字時都能輕鬆達到 95% 以上的準確率，而卷積網路可以實現 99% 以上的準確率。這一形式目前確實沒什麼實際用處，但是神經網路是非常靈活的工具，系統完全有可能識別字母而不是僅限於數字。因此可以令光學字元識別系統在硬體中運行，且基本上不需要能耗或計算。

真正的局限在於製造工藝：打造一個能實現按需處理任務的超高精度衍射板非常困難。畢竟，如果需要精確到小數點後七位，而印刷版卻只能精確到第三位的話，那就相當麻煩了。

這只是一個概念的證明——對大型數字識別機器並沒有迫切需求——但這個想法十分有趣。該想法可能會對攝像機和機器學習技術產生影響——在物質世界而非虛擬世界裡構造光與數據。看起來像是倒退，但也許只是鐘擺在向後擺動。

論文：All-optical machine learning using diffractive deep neural networks（利用衍射深度神經網路的全光機器學習）

論文地址：http://science.sciencemag.org/content/early/2018/07/25/science.aat8084

摘要：深度學習已經提高了我們使用計算機執行高級推理任務的能力。我們在本文中引入了一種物理機制來執行機器學習，這是一種全光衍射深度神經網路（D^2NN）架構，可以按照基於深度學習設計的、集體工作的被動衍射層來實現多種函數。我們構建了 3D 列印的 D^2NN 來實現手寫數字和時尚產品的圖像分類，以及成像鏡頭在太赫茲光譜的函數。我們的全光深度學習框架能以光速計算多種基於傳統計算機的神經網路也可以實現的複雜函數，並將在全光圖像分析、特徵檢測和目標分類中開發新的應用，此外它還允許設計新的攝像頭和光學器件，以利用 D^2NN 執行獨特的任務。

圖 1：衍射深度神經網路（D^2NN）架構。

圖 2：3D 列印的衍射深度神經網路測試實驗。

圖 3：衍射深度神經網路實現手寫數字識別。

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！