觸景無限CEO肖洪波：重構邊緣晶元，打通感知城市前端數據｜CCF-GAIR 2019

雷鋒網按：7 月 12 日至 7 月 14 日，2019 第四屆全球人工智慧與機器人峰會（CCF-GAIR 2019）於深圳正式召開。峰會由中國計算機學會（CCF）主辦，雷鋒網、香港中文大學（深圳）承辦，深圳市人工智慧與機器人研究院協辦，得到了深圳市政府的大力指導，是國內人工智慧和機器人學術界、工業界及投資界三大領域的頂級交流博覽盛會，旨在打造國內人工智慧領域極具實力的跨界交流合作平台。

感知型的城市場景到底需要一款什麼樣的晶元？7月13日，大會迎來了AI晶元專場。會上，觸景無限科技聯合創始人兼CEO肖洪波帶來了《重構邊緣晶元，讓感知融入城市》的演講。

觸景無限科技聯合創始人兼CEO肖洪波

肖洪波指出，現有的智慧城市方案在後端打通了數據，但受限於網路以及處理能力問題，僅能實現沙粒般的智慧化，智慧城市的進一步發展必然需要三大技術進步：物聯網、邊緣計算、通信。只有在前端完成智能分析，以價值數據與後端配合，才能將真正城市量級的物聯網數據完整利用，打造感知城市。

而要實現這一點，現有的晶元方案難以滿足我們推動前端感知技術進步的需求。

在過去兩年中，觸景無限一共研發了四代邊緣計算的產品，基本覆蓋了現在市面上各種前端的晶元解決方案。比如第一代基於嵌入式GPU的產品，隨後的VPU、NPU，以及正在研發的下一代的基於FPGA的產品。

在產品研發和方案落地過程中，觸景無限更加清晰認識到，只有掌握晶元設計技術，實現軟硬體的協同優化，才能實現真正的前端感知。

在演講結束後，雷鋒網對肖洪波進行了採訪。

他提到，晶元技術的發展到了後期，客戶看重的一定是綜合場景下的效果而不僅僅是加速，未來更細分的場景會越來越多，產品落地的時候不僅僅是技術問題而是工程問題，比如系統的功耗、外界氣候、溫度等都會成為關鍵因素。因此，長期做產品的經驗也是觸景無限現有團隊的優勢所在。

目前行業興起一股泛在電力物聯網、智能安防之風，其核心也是圍繞感測器的感知能力展開，需要專用性的功能會更多。雖然通用性到專用性是非常長的一個軸，有很漫長的道路，但觸景無限從一開始就一直圍繞感測器做感知融合和邊緣計算，並且會作為自己的技術路線堅持下去。

採訪中，他還談到，不久之前，在與中國建設銀行5G+智能銀行的案例上，觸景無限從眾多供應商中脫穎而出，憑藉盾悟智能盒與智能分析主機為代表的邊緣智能系統與解決方案，落地了金融科技。

在現階段，從客戶提出需求到集成進客戶系統，觸景無限的產品部署在2天內即可完成，這意味著觸景無限已生成一套完全量產的邊緣計算系統，進入到了標準化的層次。

從未來來看，金融、安防、電力、應急智慧等場景的多種感知能力需求，將有大幅提升。

「從智慧城市到感知城市，其實還有很多工作要做。未來幾年，感知會帶來一個更大的市場。」

以下是肖洪波在 CCF-GAIR 大會上的演講內容，雷鋒網對其進行了不改變原意的編輯整理：

大家下午好！我是來自觸景無限的肖洪波。

我們公司一直專註於邊緣計算，在邊緣計算已經有很多年的經驗。我們在這一塊有很多落地的應用場景，在智慧城市領域包括安防、電力、金融等，特別想借今天這個機會給大家分享一下。

我看到今天有很多關於邊緣計算方面的演講，我們想在邊緣計算方面做更深度的解析，也就是邊緣計算需要一款什麼樣的晶元來提升智慧城市的能力以及為什麼邊緣計算需要對晶元進行重新設計。

這是羅蘭貝格2019年智慧城市戰略指數，調查的153個城市裡面只有15個城市達到或者高於60分，也就是只有10%的城市及格了，90%的城市不及格。智慧城市提出來已經有十幾年的歷史了，從最早IBM提出智慧地球開始，大家就在做智慧城市，而雲計算和大數據也有十幾年歷史了。我們發現智慧城市依然沒有達到理想的效果。

在我們看來，這主要是因為大家都忽略了在邊緣和感知領域的投入，只在後端打通了一些數據，並沒有對前端更豐富的數據進行收集和前端的智能分析。從感知領域對城市進行重構，是一個非常明顯的趨勢。

隨著現在的技術發展，我們覺得有三個技術對感知城市、智慧城市來說非常重要。

第一是物聯網技術，前端多種數據的採集，包括圖像、聲音、溫度、氣壓等等。綜合性的感知終端的出現，會改變前端數據的收集策略。

第二是邊緣計算技術，計算從雲端又回到邊緣端，主要是因為晶元技術的發展使得邊緣擁有越來越強的計算能力。以前前端感測器，比如圖像感測器在前端只是做採集，最終還是需要傳輸到數據中心進行處理。而隨著最近一兩年的發展，大家發現越來越多前端數據可以在前端直接進行分析、處理以及響應。

第三是通訊技術的發展，新一代的物聯網將會給我們的城市帶來重大變革。

這是一個F1賽車。大概二十年前，在F1比賽裡面，真正的勝利取決於兩個點，一個是車的機械性能，另外一個是車手的經驗，靠這兩個點基本可以獲得比賽的勝利。但是隨著遙測技術的出現，徹底改變了F1比賽規則。通過讓前端的車和後端計算機連接，車手成為了整個比賽的一部分，F1比賽轉變成實時的物聯網系統。

每一台F1賽車上有超過幾百個感測器，每一圈超過15萬的數據量，通過前端感測器可以實時收集和傳輸周圍的環境數據、車輛數據，後端計算機團隊進行分析，把數據反饋給前端車手，迅速的做出反應策略。其實城市也需要這樣的變革，通過物聯網前端收集豐富的環境數據，經過分析之後，實時調整城市內部的策略。

2018年，「感知城市」被評為全球十大突破性技術，這是麻省理工的科技評論提到的，那怎麼通過感知技術怎麼去改變現在的城市？

在過去智慧城市的建設當中，我們創建了很多信息的孤島，我們有智慧安防系統、交通管理系統，但是它們都是獨立的，沒有一個整體的信息收集和分析處理的框架。

可以給大家舉個例子，我們在做高速公路項目過程中，發現有一種天氣對司機特別危險的，這種天氣叫做團霧。這種霧不是大面積的霧，大概只有800米-1公里，它會在整個路上隨著空氣的流動飄蕩。這對於開車是非常危險的，大家突然從一個可見度非常高的環境衝到一個看不見的環境裡面去，很容易造成交通事故。那這是一個天氣應用還是一個交通應用呢？我們的高速項目是一個典型的交通應用，但單論團霧則是一個明顯的天氣問題。

然而通過我們的技術，可以通過高速上攝像頭進行可見度分析，非常精確地預測團霧的移動。在這裡我們把交通和天氣兩者進行了融合處理。在未來我們相信在智慧城市的前端會出現多感測器融合的綜合採集處理終端，把多種來自不同感測器的數據進行融合，通過前端的智能分析反饋給我們的應用系統。

我們相信，未來城市+感知會變成「感知城市」，通過感測器技術和邊緣計算相結合，迅速反饋信息到城市的方方面面。

這是最近非常火的一個電視劇《長安十二時辰》，這是今年智慧城市的大戲，完全就是智慧安防和智慧消防的應用，對實時性要求非常高，CIO李必同學創建了一套用武侯和望樓做的融邊緣計算為核心的系統，根據場景來做系統的設計，而且這個系統的設計也完全符合Gartner對邊緣和雲的設計理念。

今天我看到很多嘉賓都講到了邊緣計算和雲計算，大家認為這是兩個事物的極端。其實從邊緣到雲之間分了很多層，從邊緣智能到邊緣的智能網關一直到雲的數據中心分了七層，每一層裡面有很多技術創新都需要我們去實現。

對邊緣計算來講有幾個大的技術點是我們要關注的，首先是實時性，比如毫秒級的響應，這很難在雲端實現，大家可以考慮一下光的傳輸速度就是一個極限。即使中間不經過一些路由器、交換機、網路設備的運算，只是在光纖裡面傳輸，如果數據中心不在本城市，來回傳輸時間可能就達到幾十毫秒。當我們面對一些需要在一百甚至幾十毫秒內響應的場景的時候，就沒有辦法用雲端實現，需要邊緣端來實現。

另外，城市裡面感測器非常多，會產生大量的數據，現在物聯網上產生的數據是遠遠超過如今互聯網數據流量的。而且我們在很多項目實施過程中會發現，在數據中心存在著大量數據丟失的情況，很多幀都丟掉了，因為網路的穩定性不夠，帶寬也不支持傳輸全部信息到數據中心。而且還有各種隱私問題、本地響應的問題，這些都決定了邊緣人工智慧是未來人工智慧落地的重要技術基礎，而不是雲端。

我們在過去幾年時間裡面一直專註做邊緣計算，已經推出多款邊緣計算的產品，這裡列了其中兩個：盾悟智能盒、盾悟智能分析主機，採用了用前端深度學習的加速陣列，功耗僅15瓦，支持多種演算法處理，包括人臉、行人、ReID的前端圖像的處理演算法。

而除了產品，我們還在其基礎上構建了一套分散式邊緣智能系統，我們設計了可以並聯處理的標準單元，由前端感測器、邊緣智能盒、智能網關組成，可以在前端進行各類數據的採集與處理，可以將結果傳輸到後端的應用平台，進行進一步的處理反饋。最近我們剛剛做的地鐵刷臉進站系統，就是把車站的系統分成多個節點來進行處理，從而實現在一兩百毫秒時間內實現刷臉進站。

在物聯網感知系統的應用方面我想舉一個例子，通過例子來說明我們在前端到底有什麼樣的需求。這是我們在武漢做的城市交通的物聯網方案：電子警察系統（見PPT）。在中國大量的車禍都是因為不合規的開車引起的，雖然我們的交通法規裡面制定了很多條款，但是因為技術沒有辦法抓到這些行為，基本上大家的電子警察只抓一個闖紅燈。但相信在上了我們這套系統之後，會對我們的開車行為有更大的規範性。

我們的電子警察系統，使用一個攝像機可以同時覆蓋多個車道，前端可以同時抓16種違章行為。而目前的違章抓拍都是一個攝像機覆蓋一條車道。我們和武漢交警的測試中，和之前的數據相比，路口抓拍的違章數量上升了20倍。以前一個月平均只能抓拍三十多個違章，而現在一個月抓了七百多個違章。我們的抓拍率達到了98.66%，遠超友商。

我們在這套系統中採用了前端感知技術，使用了特殊的圖像感測器、多種並行的高速演算法。而以往的系統往往支持一種演算法，我們可以將除了車輛違規檢測以外的模型同時跑起來，像人臉模型，團霧檢測模型，都可以實時並行處理響應。

在過去兩年時間裡面，我們公司一共研發了四代邊緣計算的產品，基本覆蓋了現在市面上各種前端的晶元解決方案，比如第一代基於嵌入式GPU的產品，隨後VPU和NPU的產品，而最近也正在研發的下一代的基於可編程晶元的產品。這些晶元都是非常優秀，但是我們依然覺得有非常大的提升空間，我們覺得前端需要一款全新的晶元解決智慧城市裡面碰到的問題。

對於前端的感知系統來講，它是這樣一個系統，從場景開始，經過光學部分，到達圖像感測器，經過ISP處理，傳統處理方式事通過編解碼傳輸到雲端，直接做處理。我們認為感知系統，應該融合多種感測器，不僅僅是光學的感測器，還有聲音、激光雷達等其他感測器的數據。前端感知系統經過分析之後，可以對這些感測器進行動態調節，從而獲取想要的數據。不僅僅是拍照記錄，而是根據我關心的場景，比如交通的場景、安防的場景，根據這些場景對感測器進行更細粒度的調節，獲取更好的圖像或者更好的其他感測器的數據。

那麼感知的場景到底需要一款什麼樣的晶元？從做晶元的角度來說，一個是做通用晶元，包括CPU、GPU以及做深度學習加速的一些晶元，都是通用晶元。一種是專用晶元。我們認為，在感知的場景裡面需要的是一個專用SOC，把感知能力在晶元裡面做實現。

我們的晶元設計在三方面滿足了前端需求：高性能、低功耗、感知融合。

高性能和低功耗比較容易理解，因為這是邊緣的晶元，對功耗特別敏感。另外一點是感測器和AI處理的融合，我覺得這是前端晶元最核心的能力，因為在物聯網領域或者在邊緣領域，它的核心數據來源就是在感測器這個地方，怎麼能夠把智能和感測器真正融合在一起，才是我們要去解決的問題。

在前端感知晶元裡面有幾個大的模塊組成，第一部分是來自圖像的數據，當然也有其他的感測器數據，有一些DSP來進行處理。來自於圖像感測器的數據有一個智能的AIISP的處理，來進行動態調節處理。關鍵的AI處理部分是並行神經網路加速單元。

現在大家看到很多AI的晶元都是單核晶元，所有的模型都是要串列計算，也就是放一個模型進行運算，出來一個結果，另一種感測器的數據或者其他功能要換另一個模型再進行處理。但感知系統和人的眼睛一樣，同時有多個功能在運行，這就需要你在前端有一個並行的神經網路來加速。另外，晶元中也包括一些編解碼等功能模塊，這些都是比較成熟。

我們從去年公開感知晶元計劃的時候，也一同公開了我們在美國投資的一家物聯網晶元技術公司Inspirit IoT。在剛剛過去的2019年DAC大賽中，我們的神經網路加速模型獲得了第一名的成績，與其他的一些GPU進行比較也是第一名，我們可以達到最高50倍的DNN加速效率，而能效比方面也達到了8TOPS/W。

在感知融合上，我們會通過邊緣多感測器融合模型，把多種來自於不同感測器的數據在前端進行深度學習的數據融合處理，獲取全面而又精準的數據，實現對實際場景功能需求的滿足。

在ROI方面，我們也進行也較為深度的優化。傳統的ISP技術強調的是拍照或者做視頻，但是IoT場景裡面關注的是信息點，怎麼對信息點來進行智能的調節。就像剛才提到的交通場景一樣，用了超寬幅的相機，但我們並不關心整幅圖像，我們需要在前端對關心的目標進行處理，比如說車輛、人臉，我們會在前端將感興趣區域抓取出來，根據場景實現像素級的ISP優化。主要分兩塊，一個是目標相關，另外一個是場景相關，例如根據周圍的光照調節。

此外我們晶元中也包含了較為出色的細節優化演算法，可以利用多幀演算法對局部細節進行優化，這也是對未來感測器提出的挑戰。雖然大家用的產品都是幾十幀的幀率，但實際上目前感測器可以支持到1000幀，只是很難傳輸出來，而我們在這類感測器上，可以利用演算法來進行優化，有助於我們可以獲取更好的圖像或者數據的質量。

今年我們也將和英特爾進一步合作（見PPT），一起開發一套優化的框架，把感知的演算法在英特爾的FPGA上進行實現。我們會實現非常高的能耗比提升，包括演算法自適應的優化和移植，這裡面包含了非常高效的高層綜合工具，自動產生RTL的FPGA碼，將感知演算法快速移植到FPGA的平台上去。

從感知角度來講，我們認為首先要從場景角度去滿足需求，而不是從技術、深度學習的角度出發，怎麼樣對計算加速。我們是要解決產品和場景裡面碰到的挑戰和問題，提供更易於使用的感知晶元，實現一個軟體內核級和晶元架構級的綜合產品。 謝謝大家！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！