關於感測器融合，這家創業公司有話要說

自動駕駛汽車觀察周圍環境時，如何滿足安全、準確、實時的要求？其中很關鍵的一點就是把所有感測器的信息融合起來。

加州山景城有一家名叫DeepScale的創業公司，他們研發了一個 「感知系統」，可以用於ADAS和高度自動駕駛汽車。「感知系統」的最大特點在於，採用了原始數據 (raw data) 融合，而不是目標數據 (object data) 融合，並且可以在嵌入式設備上實現。

DeepScale的 CEO Forrest Iandola表示，目前很多深度神經網路（DNN）的研究是在現有DNN框架上調整修改。但是DeepScale利用原始數據開發了自己的DNN網路，這些原始數據不僅來自圖像感測器，還包括了雷達和激光雷達。

早期融合和後期融合

Phil Magney是視覺系統智能（Vision Systems Intelligence，簡稱VSI）的創始人，他認為DeepScale的研究非常與時俱進DeepScale的方案利用感測器的原始數據來訓練神經網路，這和其他感測器融合方法有什麼不同？

後期融合

Iandola介紹，現在，大多數感測器融合都是目標層的融合，而不是原始數據層的融合。在大多數案例中，核心感測器都會在本身的晶元上處理生成目標數據，其他感測器把原始數據傳輸到主處理器生成目標，然後再進行感測器融合，這種融合方法叫「後期融合」。

融合目標數據與原始數據時會遇到一個問題，尤其是在不同感測器數據融合的時候。「比如激光雷達產生的是3D點雲數據，當你要重建環境時，就會發現從攝像頭收到的圖像數據幀率完全不同。」

當生成目標時，無關的信息就會被過濾掉，於是就發生了原始數據的丟失。這些被過濾掉的原始數據可能能跟其他感測器數據融合。設想一些場景，太陽直射導致攝像頭致盲，大雪正好覆蓋了雷達，或者感測器數據得出的結果並不一致，在這種情況下，目標層融合就面臨著很大的挑戰。

早期融合

Iandola介紹道，「所以我們認為要在更早期就開始做感測器數據融合，而且要在更靠近感測器的地方進行，更早的融合可以減少上述那些問題」。

自己設計DNN

計算機視覺方面已經存在經過訓練的DNN框架，並且發展良好，因為有很多早期自動駕駛汽車技術的研發者撬動著這個領域。但是對其他感知數據，比如雷達和激光雷達數據，並沒有使用DNN神經網路進行過訓練。DeepScale希望進入這個空白領域。

DeepScale在開發自己的DNN方面有一定的積累和經驗。

還在學術研究時期，Iandola在加州伯克利大學和團隊主要研究的就是一種名為SqueezNet的深度神經網路模型。團隊里的一些人後來也加入了Iandola的創業公司。SqueezNet一開始不是為解決自動駕駛問題而生的，團隊的研發初衷是「讓這個模型做得儘可能小，同時能保證應用在計算機視覺數據集時，能有達到比較合理的準確率」。

類似的，Iandola也參與開發過一個類似的DNN框架——FireCaffe，用來加速訓練，可以用於嵌入式設備。在一篇論文中，Iandola和他的團隊表示基於一個GPU族群，FireCaffe可以大規模訓練深度神經網路。

在思考「激光雷達和毫米波雷達缺乏DNN框架」這個問題時，Iandola稱，「之所以這樣也是有原因的。因為長期以來，攝像頭成為了最流行並且容易獲得的感測器，已經用來生成了很多感知數據。你從YouTube就能獲得足夠多的視頻數據，結合地圖信息，就可以比較容易地建構DNN」。

近期，DeepScale已經在和一些雷達和激光雷達供應商合作，為主機廠研發經過充分訓練的演算法。合作夥伴中既有老牌供應商，也有新技術研發公司。「DeepScale的目標是研發無需定製的DNN，可以從不同感測器導入數據。」

據Iandola介紹，團隊使用多種感測器共有的信息，使感知環節的準確性最大化並降低不確定性。打過標籤的訓練數據可以被再次利用，這些數據可以來自不同感測器，在感測器端只進行了最小化的標定。

VSI的Magney認為，DeepScale的解決方案不因感測器方案不同而受影響，他們開發的DNN也可以在不同處理器平台上運行。DeepScale的技術可以幫助主機廠和TIER 1搭建出一個基於AI的環境建模方案，不用他們自己訓練神經網路，也不用自己寫演算法。

運行環境

DeepScale認為自己方案的優點在於——不受感測器方案和處理器影響。更重要的是，它在處理器上的運算效率很高，功耗也更小。

感測器原始數據來自4個攝像頭和1個雷達，可以在一塊用於智能手機APP的處理器（比如高通車規級晶元Snapdragon）上運行。12個感測器的原始數據可以在一塊英偉達GPU上處理。

DeepScale十分清楚：主機廠十分關注成本，他們想要一個低功率處理器（無需額外冷卻裝置）。

DRS360平台

有一家名叫Mentor Graphics的公司，和DeepScale 的想法很像，前者最近正在推薦自己的DRS360平台。DRS360平台由Xilinx Zynq UltraScale和MPSoC FPGAs組成，使用了基於機器學習的神經網路演算法。

Mentor的副總裁和嵌入式系統部負責人Glenn Perry稱，「在設計高度自動駕駛的汽車架構時，數據層的感測器融合不是唯一的途徑，但卻是最聰明的方法」。

但是，收集多種感測器數據，實時進行數據層融合，這種想法在汽車行業引起了不同的反應。Perry 認為，OEM發展歷史中逐級遞增的設計思路會帶來一些反對聲音。

比如，一些OEM已經投入研發一款ADAS系統，使用的是來自雷達的目標數據，用於實現巡航控制。攝像頭雷達做融合就可以實現緊急制動系統。讓他們再回頭去做數據層的融合，對他們來說要打破當前的做事方式。

Perry認為DeepScale正在做的用於數據層融合的演算法，是一項很有「錢景」的創新，也正是他們研發DRS360解決方案時已經涉及的一部分，對Mentor Graphics來說是件好事。消費者在使用DRS360硬體平台時，DeepScale的產品可以作為一種可選的融合演算法。

競爭激烈的領域

DeepScale的競爭對手是誰呢？

Magney介紹，很多東西都在發展，不少硬體公司（出售處理器或/和系統）都會提供DNNs/CNNs。他們通常會提供處理器/平台以及附加工具，來支持基於AI的演算法，這部分演算法和DeepScale提供的內容比較相似。「但是，」他又補充道，「大多數硬體公司的解決方案都不能提供DeepScale這樣經過完全訓練的演算法。」

Magney表示，還沒有那麼多公司可以提供包含預先訓練好演算法的AI軟體，用於感測器數據層融合獲得整個環境建模。他補充道，「AImotive和Mobileye有類似的研究，但是需要專用且特定的主處理器」。

那麼英偉達呢？Magney說，英偉達沒有為全環境預訓練好演算法的軟體「棧」。英偉達提供硬體解決方案和用來創建專門應用的工具，也是用原始數據做感測器融合。

但是分析師猜想，AI軟體要耗費大量工作，並不像最初看到的那麼簡單。「創業者都在秘密進行研發，也很少說他們做了些什麼。」

DeepScale在自動駕駛中扮演什麼角色？

在最近公布的演講中，VSI討論了「自動駕駛汽車架構」這個話題。整個架構被分為5大部分——感知、定位&規劃、決策/執行、控制，連接&I/O。

DeepScale的角色

DeepScale的關注點是前兩個部分——感知、定位&規劃，他們會支持整個環境建模，包括：目標識別、柵格網路、車道分割、目標追蹤和自定位。

公司目前剛剛擠進行業。Iandola不覺得DeepScale一定要等待全自動駕駛汽車到來再推廣這項技術。「我們看到感知方面的問題很普遍。類似的技術可以被用在已經量產的ADAS汽車和用來接駁服務的自動駕駛汽車。」DeepScale的感知系統適用於L2-L4/5。

Magney稱Deepscale的產品適合用於現在的ADAS感測器組合，可以讓OEM在中期更新中加入自動化功能。他們的軟體最快可以在2020年進入量產車。

關於安全

顯然，安全是所有自動駕駛公司的關注重點。Deepscale跳出這個問題給了一個回答，他們覺得自動駕駛一定是比人類駕駛要安全的。

Iandola此前提到了「安全監管」的概念——自動駕駛汽車不是等待事故發生，車輛會進行自檢。每個模塊可以自檢「此時能否讓駕駛員放手」，或者「此時開啟自動駕駛的把握有多少」。車不斷發送數據，幫助識別出最壞的情況，並且建立一個有效的安全保障模型。

Magney指出，Deepscale在「棧」里有一個安全監視器，用來監管安全並且捕捉邊緣案例，用來持續提升演算法。此外他還補充道，Deepscale還支持OTA並為之建立了模型，功能和特斯拉十分類似。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！