自動駕駛視覺感知，需要深度玩家「GGAI頭條」

安霸半導體(Ambarella)是一家超高清視頻處理和計算機視覺晶元設計和解決方案供應商，全球有五大研發中心：美國矽谷、台灣新竹、上海、義大利Parma及深圳。日本、韓國、底特律有Office。

安霸半導體的晶元可以分為三個部分：ISP、深度學習加速、高級視頻編碼。2017年推出首款基於CVflow 架構的的SoC晶元，2018年推出兩款，2019年推出一款，構成了一個晶元系列。

CV系列晶元的主要功能有三部分：視頻圖像的採集處理、編碼、 CVflow。視頻編碼包括H264/H265的編碼， CVflow的典型應用是CNN，深度學習硬體加速。

安霸半導體晶元核心功能，因為有圖象處理、視頻編碼和深度學習加速這樣的晶元，可以被用於很多的應用，包括視頻錄製、採集，高精地圖的製作，目前與國內的公司在做高精地圖產品的項目。

安霸半導體資深研發技術總監孫魯毅在《2019高工智能電動汽車開發者大會（蘇州站）》上表示，ADAS的應用中，目前往往都會用深度學習的演算法去做目標檢測、行人檢測，障礙物檢測，安霸的AI晶元可以很好的賦能這些深度學習演算法。除此之外，還可賦能於智能座艙監測、AVM、eMirror、自動泊車等領域產品。

一、晶元系列

A12AQ、A9AQ、H22AQ是主要用於做Viewing/Recording的產品的晶元平台，進行視頻採集、處理，展示給駕乘人員。安霸半導體在視頻處理方面有著豐富的經驗，從2008年左右進入視頻安防，目前是在全球視頻安防SoC海外市場中處於領先地位。

eMirror可能在未來的幾年，改進汽車駕駛安全，通過提升下雨和夜間的表現來提升更好的用戶體驗。3ch eMirror with combined view，是安霸半導體與國、內外Tier-1合作的產品，能夠支持多個視頻採集、融合、疊加，方案在國、內外部分車上已經準備採用。

A9AQ、H22AQ是其傳統產品，可以提供完整的解決方案，包括晶元、參考方案、參考設計，也有相對完整的SDK。A12AQ也不例外，目前是汽車前裝DVR當中份額最大的。

CV25AQ、CV22AQ、CV2AQ三個晶元構成一個全系列。CV22AQ是屬於Mainstream，CV2AQ是比較偏高端的，是High Mainstream。現在在國內已經和不同汽車廠商在三個產品方面都有合作，今年預計會有產品發布。

孫魯毅表示，安霸半導體的風格可能和同樣進入市場的新興企業不同，公司一般會先行儲備技術，然後等待時機成熟，才會對外宣布，彼時產品已初見雛形。

安霸半導體此前做過一款純粹基於視覺的自動駕駛Demo車，名叫EVA。為了給中國客戶提供更容易落地的汽車智能安全駕駛的解決方案，其研發不會停留在晶元層，而是要逐漸深化，在硬體和軟體參考設計，演示程序，圖像演算法和工具，開源深度學習網路支持等方面逐步豐富和完善。

在孫魯毅看來，如果僅僅停留在晶元本身，則較難證明這個晶元如何將很多功能結合在一起，乃至於支持客戶做出適合市場需求的產品。所以安霸半導體的解決方案和測試的完整程度，相比一些半導體公司做得更為深入。

二、CV2 Block Diagram

通常在CPU、GPU以及傳統DSP架構上，是通過簡單多核，包括單指令多數據來解決並行計算問題。每個核的計算性能都接近，很多核並行工作使得系統有一個較高的總性能。這種架構現在仍比較流行。

它的優勢是容易理解的，多核會使得性能會成倍提升；可是劣勢也突出，多核疊加使得晶元片上面積更大，成本更高、從而功耗和發熱也更大。軟體常常是多線程在多核上運行，不同核之間任務切換和同步，數據傳輸等也會耗費資源，而且常常會有一些核空閑從而降低總體效率。

比如ADAS應用中，視覺圖像處理要快、准、穩的處理來自攝像頭的數據，做出判斷，為控制決策執行提供足夠的冗餘時間，對於汽車安全而言，整個處理過程耗費的時間越少越好。如果需要融合雷達數據，時間還要壓縮，留給處理器決策時間。

現在汽車行業相對複雜的自動駕駛器件，前端接感測器的都是攝像頭模組，絕大部分的攝像頭模組裡面帶ISP晶元。ISP會把感測器當中輸出的原始數據進行處理，輸出8比特的YUV數據給後面的處理單元。而自帶ISP有一個好處，性能比較高，比很多攝像頭模組帶的ISP要好。

現在主流的感測器都是12比特甚至更高的比特，如果使用第三方ISP簡單處理後直接輸出8比特，實際上動態範圍有一定的影響。

在解決高動態範圍圖像處理方面，安霸半導體有很多經驗積累和專有的演算法，從而可以直接從感測器端獲取12比特甚至更多位數，在內部經過高比特數的圖像處理管線，運行高動態範圍數據的提取，從而在8比特範圍對於原始場景保留下來更多的動態範圍。

簡而言之，ISP集成在ADAS晶元中有助於感知晶元獲取更豐富、準確的信息，也使得感知晶元有更好的靈活度和策略。現在採用安霸半導體的ISP做的效果，簡單來說就是相同道路場景等獲取的信息更豐富一些，特別在於正午的道路陰影部，進出隧道口，以及夜間低照度等較為困難的場景中。

視頻編碼器，在一些專門做ADAS的視覺應用當中不被考慮，或者認為是可有可無的。隨著時代的發展，越來越多的應用包括高清地圖的採集，自動測試，測試道路的安全性等等。

這個過程中，必然要抓取相當多的圖片、視頻來記錄過程。安霸半導體編碼器的能力非常強，如果作為中間的感知晶元，可以對視頻、圖像、數據進行處理、編碼、記錄。

機器視覺處理器，也是安霸半導體積累很久的成果。第一顆做機器視覺的晶元是CV1，CV2中也有，還包括雙目立體視覺處理晶元。

孫魯毅認為，未來的ADAS會趨向微型、低功耗、容易安裝、成本低的方案，讓更多車廠都可以承受需要有更好的系統功能集成能力，通過單一的晶元實現更多的功能。

三、CVflow 架構

CVflow 是安霸半導體的一個商標，意為如何高速有效地執行深度神經網路。跟很多DSP架構有點不太一樣，並行計算在底層由硬體自動完成，一樣也會有並行計算核。對編程者來講，不需要手動的考慮如何利用多核進行並行計算，需要靠轉換工具進行。

深度學習的開發者採用TensorFlow和Caffe這樣的一些開發神經網路，經過轉換工具，轉換成一些Binary，可以在平台上用CVflow進行載入、執行。工具支持8比特、16比特的量化。

Sparsification Acceleration是架構的一個特點，目前只有極少的架構支持Sparsification Acceleration。

簡而言之，把一個網路的一些權重變成0，理論上它不會影響計算結果，因為權重降為0。但這樣在很多架構上並不會變得更快，只是說因為變成0了以後，經過壓縮，網路的數據會變得更少，但不會變得更快。安霸半導體有專門做Sparsification Acceleration，會使執行速度隨稀疏化比例加快相應倍數。

深度學習開發的一個過程，原始的神經網路經過稀疏化以後有些權重已經消失，通過量化成8比特、16比特，並且對Convolution, Relu, Pooling等操作做硬體支持運算元的轉換，就變成DAG。在PC上提供數據，對比硬體的精度，檢驗是否足夠準確，去衡量結果是否足夠好。如果不夠好，進行不斷的Retrain，等到MODEL的準確性比較好，加進CV Scheduler執行，最後就有一個不錯的結果。

這是工具處理CNN integration的大致過程。國內部分客戶使用了公司的SDK以後，環境搭建省時高效，神經網路模型很快可以得到調試優化。

四、CV22

CV22是CV系列中的中端晶元，一些常見的神經網路，常默認用8比特量化，很多網路進行8比特量化之後，精度損失並不會特別大，經過處理之後，可以很大程度恢復回來。做到20%的Dense，網路比以前減少了很多，很多變成0以後，同樣的網路速度快了很多，個別網路做到20%稀疏化以後快了3倍多、4倍。

孫魯毅表示，這些網路的執行速度，和主流平台相比，是市面上在售的晶元當中最快的。而CV22還不是CV系列中最高性能的晶元，CV2是其4倍。

實測中CV22在如上的參數配置中，功耗也是現在市面上所有晶元中最低的。CV22可以做到，用於車用的深度神經網路加速器裡面性能最高和功耗最低。廣泛支持流行的神經網路模型。這主要是源於架構的特殊性，以及晶元採用了10納米製程。

CV22可以用於車道檢測、行人檢測等，包括AEB、LDW、LKA的應用。目前已經和一些演算法公司進行了合作，在安霸平台上做ADAS方面的應用。

安霸半導體在電子後視鏡方面，有著一定的優勢，圖像質量非常好，低延時等，同時可以在電子後視鏡上疊加一些功能，像盲區檢測、超車檢測、天氣情況等等相關的應用。

CV22、CV25支持多路同步，可以接2路、4路、6路、8路視頻數據，還可以做不同功能的疊加，混合功能，同時因為ISP和深度神經網路的靈活性、性能強大，現在已經有客戶在中國市場做相關的應用。

五、智能安全座艙監測

基於CVflow and ARM的晶元，深度神經網路演算法和計算機視覺演算法可在其上運行，實現DMS的功能。

目前在國內一些商用車領域有一些客戶已經DMS量產，孫魯毅表示從今年開始，陸續會有前裝項目採用深度神經網路加速的晶元。乘用車相關的項目也在推進中，核心的功能對於晶元有更多安全方面的考慮。

DMS CMS，可以稱為智能安全座艙監測系統，不僅要考慮駕駛員的疲勞駕駛檢測，還要關注艙內是否會有遺失的物品，包括小孩或者寵物是否在停車後被遺落車內，保護司機和艙內成員的安全。

RGB-IR感測器可以在正常的光照下獲得彩色元素，也可以在光照不佳或者欠缺的環境下獲得紅外黑白圖像元素，這種技術在座艙監控中非常需要。

實際的應用體驗中，白天光照良好的時候，計程車、大巴上的乘客可以被記錄下來，並且進行行為分析等。如果是在夜晚關燈的情況下，完全沒有光線，後面的乘客也可以正常被檢測、記錄。所有的視頻記錄可以和目標檢測、分析等等結合在一起，安霸半導體的晶元平台實現了ADAS和艙內檢測的方案。

孫魯毅表示，視覺圖像識別和處理技術在逐漸提升，在自動駕駛的感知中會有更好的表現，同其他感測器一起形成感知的冗餘、優劣勢互補。

融合感測器的方式，在當前的技術條件下，對安全性的提高有較大幫助。對於自動駕駛系統的商業化而言，有時候捨棄某些感測器的原因，不是因為加上去不能幫助，而是因為成本、複雜度及可量產性等等原因造成，很多技術都有自己獨特的優勢。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！