斯坦福研發混合光電CNN網路，有望應用於自動駕駛

Esther｜ 撰文

消費級無人駕駛汽車的市場湧入了越來越多的競爭者，包括Waymo、特斯拉、蘋果、百度等公司，甚至還有公司開發無人駕駛氫氣船。特斯拉和賓士等公司已經開發出了半自動的輔助駕駛技術，另外優步和Waymo的無人駕駛計程車也還沒完全做到完全無人駕駛。

完全無人駕駛的汽車系統將使用到激光雷達、聲吶感測器、攝像頭和AI，覆蓋在車身的多個攝像頭可以探測到周遭360度的環境，並識別捕捉到的圖像，探測周圍的交通標誌、障礙物和路上的其他無人駕駛汽車等物體。隨後，攝像頭的圖像識別系統會將數據傳輸給車上的AI電腦進行分析。AI對於無人駕駛汽車是必不可少的，因為其面對不同情況可以快速做出決定，但是AI處理圖像識別演算法的速度緩慢，且其計算機視覺使用的卷積神經網路計算起來相當耗能。

由斯坦福大學的電子工程師Gordon Wetzstein帶領的一個科研團隊設計了一款基於AI的攝像系統，這款系統的特點將是體積小（可內置在設備中）、節能，而且分類圖像的速度比傳統AI系統快得多。

據青亭網了解，這組科研團隊使用兩種計算機構成了一個基於卷積神經網路（CNN）的混合攝像系統，用他們的話說，用一個帶有優化的相位掩模的光學卷積層來分擔傳統線性、空間不變的成像系統的工作量。簡單來講就是，第一層使用了和數字計算相比耗電低得多的衍射光學計算機，而第二層是傳統數字式電子計算機。

光學卷積層構成

a）4f系統：在傅里葉平面上加入了一層相位掩模，可以作為攝像系統中的光學卷積層

b）傳統數字卷積層中的元件，包括輸入圖像、堆疊的卷積核和對應的輸出數據

c）與光學卷積層中的等效元件，其中卷積核和輸出數據是在2D平面平行擺放的，而不是疊加在一切的。

也就是說，在某種程度上，斯坦福大學的工程師們「將AI的部分計算量分配給了光學計算機」，以此來節省計算成本和時間，提高性能。而且，因為第一層計算機過濾圖像的原理是光線直接通過定製的光學元件，所以這一層的輸入功耗為零，節省了時間和能源，如果輸入數據已經是光學信號，還省去了第二層處理的步驟。因此，工程師們計劃未來讓第一層計算機進行更多的預處理。

為了測試這套系統的圖像分類能力，科研人員設計了兩種模擬案例：1，使用卷積層製作一個只有一個卷積層的光相關器，作為匹配圖像的模板（光學目標探測和追蹤中都有使用）。2，展示如何將實驗測試的光學卷積層應用在混合的光電卷積神經網路中，從該卷積層中輸出的數據將會流入一個數字全連接層。

混合光電神經網路

a） 圖解：一層光學卷積層的模型，通過這層感測器圖像將得到處理，併流入下一步數字卷積神經層。

b） 優化的相位掩模模板和通過顯微鏡觀看的不同縮放比例的模擬相位掩模圖像

c） 對比模擬和相位掩模實際捕捉的PSF（點分布函數），一張樣本輸入圖，單獨的感測器圖像，除去了相應的正子圖像（上面兩排）和負子圖像（下面兩排）後剩下的假負例子圖像。

斯坦福科研人員造出了這套系統的原型產品，然後讓其分類CIFAR-10數據集中的灰度圖，發現：

單一的數字全連接層的準確性達30%，原型的準確率超過了44%，比前者準確率提高了幾乎一半，而耗能幾乎差不多。與此相反，傳統卷積層如果要提高這麼多準確率，需要的耗能可能就要翻一倍了。

據悉，斯坦福科研人員在進行了測試後，發現這款攝像系統可成功識別自然環境中的各種物體和動物。

不過，雖然處理能力快速，這套攝像系統現在還處於原型階段，體積也相對較大。對此，斯坦福的開發者們表示未來會將這套系統縮小到手持攝影機或者航拍無人機那麼小。

這組科研人員在8月17日發表的一篇論文中提到：「我們的目標是站在計算成像的角度開發光學卷積神經網路，通過搭配光學和演算法，來結合圖像採集和計算。計算相機利用了從定製光學器件傳播的光線去編寫環境的信息，填補傳統2D圖像採集技術缺失的部分。我們研發的計算機成像系統，模仿了優化圖像分類性能的前饋式卷積神經網路。」

（END）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！