深度學習在無人駕駛汽車領域應用的研究進展

最新 03-28

厚勢按：本文首先闡述了汽車界對無人駕駛的定義，然後詳細分析了國內、外無人駕駛汽車的發展歷史以及各車企和互聯網公司的研究現狀。通過詳細分析無人駕駛汽車工作原理、體系架構設計以及具體實現方法，簡單說明了目前無人駕駛汽車遇到的關鍵問題和難題，同時重點描述了目前深度學習在圖像處理方面的突破性進展以及在無人駕駛汽車領域的應用實踐，最後對無人駕駛的未來發展做了展望。

本文來自 2018 年第 1 期《智能系統學報》，作者是哈爾濱工程大學自動化學院的王科俊、趙彥東和邢向磊。

互聯網技術的迅猛發展給汽車工業帶來了革命性的變化，高精度地圖的進步與普及使得車輛實時精準定位成為可能。與此同時，智能駕駛技術的廣泛應用，使汽車駕駛變得更簡單、更智能。互聯網、高精度地圖與智能駕駛技術相結合，共同推動了無人駕駛汽車技術的發展。

1. 無人駕駛汽車發展現狀

近年來，隨著市場對汽車主動安全和智能化需求的不斷提高，無人駕駛巨大的社會和經濟價值越發凸顯，越來越多的企業與科研機構積极參与並推動無人駕駛領域的發展。目前階段，能夠實現完全無人駕駛的車輛還沒有正式批量生產銷售，但已經有相當一部分實驗車型可以通過環境感知實現高度自主駕駛行為：如起步、加速、制動、車道線跟蹤、換道、避撞、停車等。

表 1 NHTSA 對自動駕駛等級的定義

表 1 給出了 NHTSA（National Highway Traffic Safety Administration）對無人駕駛的定義[1]，它將無人駕駛分為五個等級，分別是：高級輔助駕駛（Advanced Driver Assistance Systems）、特定功能輔助、組合功能輔助、高度自動駕駛以及完全無人駕駛。如表 1 所示，目前大部分量產車型都還停留在組合功能輔助階段（Level 2 級），要實現完全無人駕駛車的量產化，還有很長一段路要走。

1.1 國外無人駕駛汽車發展現狀

20 世紀 70 年代初，美國、英國、德國等發達國家便開始進行無人駕駛汽車的研究，經過近 40 年的發展，在可行性和實用化方面都取得了突破性的進展 [2]。 1995 年，美國卡納基梅隆大學研製的無人駕駛汽車 Navllab-V，完成了橫穿美國東西部的無人駕駛實驗[3]。 2005 年，由美國國防部組織的 Grand Challenge 比賽中，由美國斯坦福大學改造的無人汽車，經過沙漠、隧道、泥濘的河床以及崎嶇陡峭的山道最終獲得成功 [4]。近年來隨著谷歌、特斯拉、賓士、寶馬等紛紛加入無人駕駛汽車的研究，使無人駕駛技術有了突飛猛進的發展。

圖 1 Google 無人駕駛汽車

作為當前無人駕駛的領跑者，Google X 實驗室於 2007 年開始籌備無人駕駛汽車的研發工作，並於 2010 年公開宣布開始研發自動駕駛汽車。2012 年 5 月，美國內華達州的機動車駕駛管理處為谷歌的無人駕駛汽車頒發了美國首例自動駕駛汽車的路測許可。2015 年 6 月，谷歌 2 輛無人駕駛原型車開始上路測試。該車通過車頂上的掃描器發射 64 束激光射線以計算出與物體的距離，另一套在底部的系統測量出車輛在 X、 Y、 Z 三個方向上的加速度、角速度等數據，然後再結合 GPS 數據計算出車輛的位置，所有這些數據與車載攝像機捕獲的圖像一起被輸入計算機，通過智能演算法控制汽車的下一步行動。截至 2016 年 8 月，谷歌共有 58 輛無人駕駛汽車，這些車在加州、內華達州、德州、山景城、菲尼克斯和奧斯汀等允許自動駕駛汽車路測的地區進行實際路測，據 Google 發布的自動駕駛項目月報顯示，截至 2016 年 8 月 30 日，累計行駛距離已經超過 180 萬英里（約 290 萬公里），平均每周1.5~1.7 萬英里 [7~11]。

緊隨其後的特斯拉 Model S 系列汽車，其 Autopilot 技術近年來已經取得重大突破，該系統可以通過車身配備的攝像頭和雷達等多種感測設備感知外界環境，實現自動泊車、自動變道、自動巡航和自動控制車速等諸多輔助駕駛功能，獲得眾多試駕者的一致好評。據今年 5 月份的數據，特斯拉旗下電動汽車車主已通過 Autopilot 自動駕駛功能累計行駛了 1 億英里(約 1.6 億公里)。雖然目前特斯拉的 Autopilot 技術僅被美國國家公路交通安全管理局（NHTSA）認定為 Level 2 階段，但是作為迄今為止量產車型中自動駕駛系統應用最成功的企業，特斯拉向我們展示了在某些特定路況下，汽車已經基本實現自動駕駛 [12]。

2013 年 9 月，賓士公司宣布旗下 S 級轎車完成了從德國曼海姆出發行駛 100 公里到達普福爾茨海姆的無人駕駛路測。 2014 年 9 月在德國漢諾威舉行的 2014 國際商業車輛展覽上，賓士向公眾展示了旗下 FT2025 概念卡車原型，據了解該車已經在德國公路上實測通過，行駛速度可以達到 80km/h。2015 年 1 月，在國際消費電子展上賓士發布旗下 F015 Luxury in Motion 自動駕駛概念級豪華轎車，並於 2015 年 3 月在美國舊金山通過路試。賓士的新 S 級車運用了智能巡航系統、車道保持系統、路標識別系統、自動導航系統以及自動泊車系統，離完全自動駕駛也只有一步之遙 [13]。

2006 年，寶馬開始在賽道上對汽車進行自動啟動和停車等一些簡單的測試。 2011 年，寶馬首次在德國高速公路上對自動駕駛汽車進行公路實測，包括自動躲避障礙等。 2014 年 5 月，寶馬正式公布了旗下輔助駕駛系統「Urban Roads： BAN research」，該技術可以提供預警和路線選擇，並通過調整發動機的動力配置來輔助完成「自動駕駛」。2014 年 7 月，寶馬與百度達成無人駕駛方面的合作，其中百度負責數據和服務部分，寶馬則負責硬體設計製造任務。 2015 年底，寶馬與百度合作研發的無人駕駛車輛順利在北京完成了城市路況及高速路況混合測試。 2016 年 7 月 1 日晚，寶馬、英特爾及 Mobileye 聯合舉行發布會，宣布三方合作，協同開發無人駕駛電動車 iNext，同時聲明寶馬將於 2021 年與兩家合作夥伴共同推出無人駕駛汽車[14]。

圖 2 奧迪無人駕駛汽車

據英國汽車雜誌 Autocar 報道，全新一代奧迪 A8 將於 2017 年上市，率先採用全自動無人駕駛系統「Traffic Jam Assist」，該系統能夠在無需任何人類干涉的情況下自動控制汽車，以時速 60 公里運行 [15~16]。

豐田於 2015 年對自動駕駛項目撥款 10 億美元，同時與斯坦福、 MIT 和密歇根大學合作，特別值得一提的是，豐田是目前自動駕駛專利最多的車企，擁有 1400 多項專利技術 [17]。

2013 年 9 月，日產從日本政府獲得第一張自動駕駛汽車牌照，從此可以在公路上測試自己研發的自動駕駛汽車。 2015 年 10 月，日產開始在東京首都圈測試電動車 Leaf（聆風）的自動駕駛版原型車（即 Piloted Drive 1.0 版本）。據悉，該車配置了 240 多個不同大小和形狀的感測器，其中包括 5 個雷達、 12 個攝像頭、 4 個激光掃描儀以及大量的超聲波感測器，使車輛能夠獲取周圍 360 度的全方位信息。 2016 年 7 月，日產在橫濱總部發布了全新日產 Serena 第五代車型，其中最引人注目的就是其最新的 ProPILOT 自動駕駛技術，該技術可使全新的 Serena 在單向車道中自動行駛 [18]。

2014 年 4 月，本田宣布將在日本宇都宮市的五條特定公共道路上測試一個輔助駕駛系統。 2014年 9 月，在美國底特律舉行的 2014 屆智能交通系統大會上，本田公司展示了全新的無人駕駛技術，該系統可以實現自動轉向、超車和變道等。 2016 年 5月，本田謳歌推出了第二代無人駕駛版 RLX 測試車，並在 GoMentum Station 基地進行了實地測試。

大眾最早於 2005 年與美國斯坦福大學共同對一輛大眾途銳（Touareg）進行無人駕駛改裝， 2007 年又對一輛大眾帕薩特運動款（Passat Sport Wagen）進行了無人化改裝，兩次都是為了參加由美國國防部高級研究計劃局發起和贊助的無人駕駛汽車挑戰賽，並且分別獲得了第一和第二名的好成績。2015 年 10 月，大眾汽車與美國內華達大學合作，在墨西哥首都墨西哥城和美國亞利桑那州諾加萊斯（Nogales）之間完成了長達 1500 英里（約 2400 公里）的無人駕駛測試，成為有史以來在墨西哥境內完成的最長距離的無人駕駛測試 [19~21]。

圖 3 福特無人駕駛汽車

福特於 2015 年宣布組建自己的無人駕駛團隊，並任命已在福特供職 29 年的資深專家 RandyVisintainer 擔任項目負責人。 2016 年 5 月，福特斥資 1.83 億美元入股雲計算公司 Pivotal Software，意圖增強自動駕駕駛技術中必不可少的雲計算實力。2016 年 7 月，福特宣布與麻省理工學院合作，共同發起一項包括機器學習和自動駕駛系統在內的特殊研究計劃，該計劃的目的在於預防碰撞以及改善車輛自主線路規劃 [22]。

作為全球最大的汽車技術和零部件供應商之一，博世在 2011 年就開始研究自動駕駛技術，並且一直在加州帕洛阿爾托技術中心附近進行自動駕駛車輛測試等相關工作。 2015 年，拉斯維加斯 CES 展會上，博世在一輛 Jeep 切諾基車型上展示了其最新的輔助駕駛系統，該系統由智能預剎車、距離感測器、雷達和攝像頭等模塊組成，可以輔助駕駛員在各種緊急狀況下更快速地做出應急避險動作。 2016 年 4 月和 6 月，博世分別在北京國際車展和位於美國密歇根州 Flat Rock 的試驗場地上展示了他們在駕駛員輔助和自動駕駛方面的幾款最新產品，其中包括 Home Zone Park Assist 自動泊車系統、駕駛員輔助系統、第六代超聲波雷達和互聯汽車等[23~25]。

2016 年 5 月 25 日， Uber 宣布獲得豐田公司的戰略投資，豐田除了幫 Uber 開拓現有的車輛租賃業務外，雙方還計劃在無人駕駛研發方面進行合作。 2016 年 8 月 19 日 Uber 宣布與沃爾沃合作，預計 2021 年推出無人駕駛計程車，原型車於當月起在匹茲堡上路測試 [26]。

Delphi（德爾福）汽車於 2015 年 3 月上路實測了自家研發的首款自動駕駛系統，該車基於一輛奧迪 SQ5 改裝而成，完成了從美國舊金山的金門大橋到紐約市中心大約 3500 英里（5600 多公里）的無人駕駛測試。2016 年 8 月 23 日，Delphi Automotive 和 Mobileye 宣布，將合作開發一款符合 SAE（美國汽車工程協會）規定的 4 級自動駕駛全套解決方案，該方案為端對端、可量產、高性能和安全操作的全自動駕駛解決方案（市場上首個一站式 4/5 級自動駕駛解決方案） [27]。

Drive.ai 是一家 2015 年從斯坦福大學人工智慧實驗室分離出來的公司，各領域內在深度學習系統研發方面極富經驗的專家組成了該公司的團隊核心。該公司通過將深度學習應用於全自動集成駕駛堆棧，從而解決了車輛的自動駕駛問題。值得一提的是， Drive.ai 於 2016 年 4 月底獲得了在美國加利福尼亞州測試無人駕駛汽車的執照 [79]。

圖 4 nuTonomy 無人駕駛汽車

2016 年 8 月 25 日， nuTonomy 公司利用 NASA + MIT 技術，讓無人駕駛計程車在新加坡率先完成試運營載客。該公司的無人駕駛計程車裝有六套激光雷達檢測系統，同時儀錶盤上還有兩個攝像頭，用來掃描障礙和檢測紅綠燈變化。 nuTonomy 使用激光雷達數據能提供更準確的定位，不僅能檢測道路上的物體，還能檢測出汽車周圍的靜態物體。與此同時，該公司還在開發用於調配和指揮無人駕駛計程車的雲計算軟體，主要任務是部署無人駕駛計程車隊 [28]。

1.2 國內無人駕駛汽車發展現狀

我國從 20 世紀 80 年代末開始進行無人駕駛技術的研究工作。 1992 年國防科技大學成功研製出中國第一輛真正意義上的紅旗系列無人駕駛汽車 [29]；2001 年研製成功時速達 76 公里的無人車； 2003 年研製成功中國首台高速無人駕駛轎車，最高時速可達 170 公里； 2006 年研製的新一代無人駕駛紅旗 HQ3，則在可靠性和小型化方面取得突破；2011 年 7 月 14 日首次圓滿實現了從長沙到武漢 286 公里高速全程無人駕駛實驗，創造了中國自主研製的無人駕駛車輛在複雜交通狀況下自主駕駛的新紀錄，標誌著中國無人駕駛技術在複雜環境識別、智能行為決策和控制等方面實現了新的技術突破，達到世界先進水平 [30]。

2005 年，首輛城市無人駕駛汽車在上海交通大學研製成功 [31]。從 2009 開始，在國家自然科學基金委「視聽覺信息的認知計算」重大研究計劃支持下，分別在西安、鄂爾多斯、赤峰、常熟等地舉辦了七屆「中國智能車未來挑戰賽」。智能車挑戰賽是現有的國內外唯一專門面向無人駕駛的賽事，對中國無人駕駛車輛研究起到很大的推動作用 [32]。

圖 5 歷屆中國智能車未來挑戰賽

在前幾屆比賽中，參賽無人車輛行駛還比較慢，需要較多的人工干預。在 2013 年之後，國內相關研究單位取得了突破性進展，參賽無人車輛已能在真實交通環境中進行順暢地自主駕駛，與其他車輛進行交互。在諸多研究單位中，湧現出了清華大學、國防科技大學、同濟大學、上海交大、軍事交通學院、西安交通大學、北京理工、北京聯合大學、南京理工大學、中科院合肥物資研究院、武漢大學、湖南大學等知名團隊。這些團隊已經和一汽集團、上汽集團、廣汽集團、比亞迪以及長城汽車等國內眾多車企開展了深度合作[33]。其中 2009 年與 2015 年中國無人駕駛車輛差異對比如圖 6 所示。

圖 6(a） 2009 年參賽無人車輛

圖 6(b） 2015 年參賽無人車輛

由圖 6 可以看出， 2009 年參賽無人車輛都是在現有商用車上經過加裝外置感測器和外置控制器等設備改裝而成。而在 2015 年參賽的部分無人車輛則體現了研究單位與車企深度合作的結果，已經將大部分感測器內置並結合車載匯流排進行控制和深度改造。

圖 7 百度無人駕駛汽車

除此之外，國內 IT 巨頭和各大自主車企近年來起也紛紛投入無人駕駛領域技術的研究。由百度深度學習研究院主導研發的無人駕駛項目於 2013 年起步，其技術核心是 AutoBrain，包括高精度地圖、定位、感知、智能決策與控制四大模塊。此後，百度於 2014 年成立車聯網事業部，推出了 CarLife、MyCar、 CoDriver 等車聯網產品。 2015 年底百度深度學習研究院與寶馬展開合作，在五環上公開演示了一輛全自動駕駛原型車（圖 7）。

2016 年 7 月 3 日，百度與烏鎮旅遊舉行戰略簽約儀式，宣布雙方將致力於在該景區的道路上實現 Level 4 的無人駕駛 [34]。 2016 年 8 月，百度聯合福特共同投資激光雷達廠商 Velodyne，希望降低自動駕駛汽車激光雷達的生產成本。2016 年 9 月 1 日，在百度世界大會上，李彥宏與 NVIDIA 創始人黃仁勛聯合宣布，雙方將達成合作，共同創建從雲端到汽車的自動駕駛平台，並向中國乃至全球的汽車製造商開放。與此同時，百度高級副總裁、自動駕駛事業部負責人王勁宣布美國加州機動車輛管理局（Department of Motor Vehicles）已向百度美國(Baidu USA)發放第 15 張自動駕駛汽車上路測試牌照，同時宣布成立瞄準 NHTSA Level 3 等級自動駕駛技術的 L3 事業部 [35]。截止目前獲得 DMV 發放自動駕駛汽車路測牌照的公司如表 2 所示。

表 2 截止 2016 年 8 月 29 日，DMV 發放的自動駕駛汽車上路測試牌照

上汽集團於 2013 年 9 月正式與中國航天科工三院在上海簽署戰略合作協議，開始實施無人駕駛計劃；不久之後，奇瑞宣布與武漢大學合作開發無人駕駛汽車，北京現代則選擇與軍事交通學院展開合作。 2015 年宇通汽車公司研發了一輛無人駕駛公交車，實現從鄭州到開封城際快速路的演示[36]。同年在江蘇常熟成功舉辦的「中國智能車未來挑戰賽」上，由軍事交通學院代表隊研製的「軍交猛獅號」獲得第一名 [37]。 2016 年 4 月 13 日，長安汽車公司生產的無人駕駛汽車從重慶出發。途經西安、鄭州、石家莊抵達北京，穿越了大巴山、秦嶺、終南山，跨過了華北平原、黃河，行程近 2000 公里。這是我國首次無人駕駛汽車超長距離行駛實測[38]。 2016 年 7 月 6 日，北汽集團新技術研究院與盤錦市大窪區人民政府在北京舉行無人駕駛汽車戰略合作協議簽約儀式。雙方決定藉助盤錦市大窪區獨特的「紅海灘」旅遊資源，在「紅海灘國家風景廊道」合資合作共同開發建設無人駕駛體驗項目 [39]。

圖 8 京東無人駕駛物流車

2016 年 9 月 1 日，京東集團對外宣布，由其自主研發的中國首輛無人配送車已經進入道路測試階段，10 月份即將開始試運營，2017 年有望進行大規模商用[40]。最近，樂視宣布在多處開展無人駕駛汽車研發工作，滴滴 CTO 張博宣布將無人車作為重大戰略布局，並很快實現無人車上路 [41]。

綜上所述，儘管國內車企和各大 IT 公司進入無人駕駛領域較晚，但是隨著越來越多的企業和單位積極投入到其中，中國智能汽車發展迅速，已接近國際先進水平。

2. 無人駕駛汽車產業化瓶頸

目前，無人駕駛汽車產業化的瓶頸問題主要有兩點： 1. 如何更高效快速實現多感測器信息融合；2. 在保證自動駕駛性能的前提下如何最大限度降低設備成本。

2.1 更高效快速實現多感測器信息融合

研發人員當前面臨的最棘手的難題是如何提高汽車的視覺能力，目前所研發的計算機視覺系統還非常的低端和原始，如何賦予計算機系統接近甚至達到人類的視覺能力是一項非常巨大的挑戰。

無人駕駛汽車不僅需要時刻留意周邊的其他車輛和行人，還必須能夠實時準確檢測到周圍的車道、地面上的畫線，認識交通標識、交通燈的含義，應對風霜雨露以及強光、弱光等一系列複雜的環境因素的影響。此外，由於某些原因無法「看清」道路標誌甚至在一些根本沒有道路標誌的環境時，為了實現完全無人駕駛，目前唯一可行的辦法是通過多感測器實現信息融合進行決策，如圖 9 所示綜合利用各類感測器的優勢從而達到理想的效果。

圖 9 無人駕駛實現示意圖

例如，毫米波雷達可以準確檢測前方車輛的距離和速度，具備較強的穿透霧、煙、灰塵的能力；但無法對目標進行細化識別。而相機視覺系統可以獲得車道線、交通信號等目標的顏色和形狀等細節，從而進行深度識別；但是相機視覺系統的測距能力沒有激光雷達精確。激光雷達通過點雲來建立周邊環境的 3D 模型，可以檢測出包括車輛、行人、樹木、路緣等細節；但是價格極其昂貴。所以，通過激光雷達、毫米波雷達與視覺感測器進行融合，不僅可以進行目標物體檢測，而且能很好的實現目標空間測距，目標圖像識別等功能。類似，GPS 定位、視覺感測器和激光雷達進行融合，則可以實現車道保持所需的高精度定位，也能實現多類障礙物目標檢測。

表 3 車載感測器指標對比

在選擇車載感測器時，一般需要綜合考慮多個方面的屬性，包括感測器精度、解析度、靈敏度、動態範圍、感測器視角、主動與被動感測器、時間精度和輸出介面，以及誤報率、溫度適應性、黑暗適應性、不良天氣適應性、硬體成本、信號處理能力等。表 3 為各類車載感測器性能指標對比，表 4 詳細分析實現不同自動駕駛功能所需感測器及感知參數。

表 4 實現不同自動駕駛功能所需感測器及感知參數分析

在自動駕駛功能實現中，通過將雷達、激光雷達、視覺相機（單目、雙目和紅外）、超聲波等常見感測器進行信息融合，最終形成適當的車載感測器配置。如圖 10 所示，車載感測器需要實現覆蓋長、短距檢測、兼顧日夜行駛等需求。

圖 10 實現自動駕駛系統所需的車載感測器配置

除了上述各類感測器之外，還需要選配高精度 GPS 定位系統及高精度測距感測器。如圖 11 所示，參加 DARPA Urban Challenge 比賽的 Stanford 大學 Junior 無人車，在大眾 SUV 基礎上，配備 5 個激光雷達（IBEO，Riegl，SICK 和 Velodyne）， 1 個 Applanix GPS 慣性導航系統， 5 個 BOSCH 毫米波雷達，以及前向相機系統 [42]。

圖 11 Junior 無人駕駛車輛及其感測器配置

由於需要種類繁多的感測器，因此如何將上述各種設備採集到的信息實現高效快速的融合，形成一個穩定而智能的系統從而應對各種突發事件和挑戰，是目前實現無人駕駛的關鍵 [44]。

2.2 如何降低製造成本

當前無人駕駛汽車所使用的設備主要包括激光雷達、車載攝像頭、車載雷達、超聲波設備以及 GPS 等。通過利用激光雷達生成的點雲，可以對反射障礙物的遠近、高低甚至是表面形狀有較為準確的估計，從而大大提高障礙物檢測的準確度，我們能夠在谷歌、 Uber 和其他許多科技公司原型汽車上見到這種設備 [45]。圖 12 為目前常用激光雷達 LiDAR 示意圖，其中 Velodyne HDL-64E LiDAR 預售價在 10 萬美元以上， Velodyne VLP-16 LiDAR 官網報價為稅前 7999 美元，過高的成本大大阻礙無人車的商業化。

圖 12 LIDAR 圖例

由於激光雷達售價過高導致無法量產，目前階段能夠用於量產自動駕駛系統的感測器主要還是毫米波和攝像頭。全球汽車毫米波目前主要生產供應商為博世、大陸、海拉、富士通、電裝、天合、德爾福、奧托立夫和法雷奧等，國內主要有湖南納雷科技、廈門意行，華域汽車、杭州智波、蕪湖森思泰克等，用於車企量產車上的 ADAS 預警類應用 [46]。目前利用攝像頭實現量產無人駕駛系統，最具代表性的廠商包括 Mobileye ，此外 Omni、PointGrey、大恆和微視等公司近年來也取得很大進展。

眾所周知，基於單一攝像頭所採集的 2D 圖像無法得到準確的距離信息，而基於多攝像頭生成深度圖的方法又需要很大的計算量，難以很好地滿足無人車在實時性上的要求。其次光學攝像頭受光照條件的影響巨大，物體的識別準確度不穩定。上述兩點一直是攝像頭實現無人駕駛的重要阻礙，伴隨著近年深度學習技術在圖像和聲音領域不斷取得突破性進展，越來越多的公司和企業開始研究利用雙/多攝像頭來應對複雜的道路環境從而實現無人駕駛，從業比較有名的包括中科慧眼、地平線、東軟和 Minieye 等 [47]。與此同時通過利用 GPU 強大的並行運算能力，在運算速度、效率不斷提高的同時大幅度降低計算成本，更是為深度學習在自動駕駛領域的應用鋪平了道路[48]。

3. 深度學習在無人駕駛領域的應用

深度卷積神經網路模型（CNNs） [87] 顛覆了傳統計算機模式識別領域 [88]，在 CNNs 被廣泛應用前，大多數的識別任務都是先經過人工特徵提取步驟，然後用分類器判斷，而 CNNs 的重大突破在於它能自動地從訓練樣本中學習特徵。儘管 CNNs 模型已經被商業化使用了二十多年[89]，但直到近些年才被大規模地應用，這主要是因為以下兩項重要的突破：

1. 大規模的人工標註數據集更容易獲取，如ImageNet 大規模視覺識別挑戰（ILSVRC） [90]，這些數據可以作為訓練集和驗證集。

2. CNN 學習演算法目前能夠在大規模並行圖形處理單元（GPUs）上運行，極大地提高了學習效率和預測能力。利用深度神經網路自主學習的特性，先通過高性能 GPUs 將龐大複雜的神經網路模型訓練好，然後移植到嵌入式開發平台，就可以實現對圖像/視頻信息進行實時高效的處理[49]。

近年來，從自動駕駛初創企業、互聯網公司到各大 OEM 廠商，都正在積極探索通過利用 GPUs 構建神經網路實現最終的無人駕駛。

3.1 無人駕駛硬體實現

將深度學習應用於無人駕駛領域的代表公司包括 Mobileye 以及 NVIDIA 公司，他們正在把基於深度卷積神經網路的方法用於汽車的視覺系統中，並取得了非常理想的效果。其中 Mobileye 公司生產的基於多核架構晶元 EyeQ4（圖 13 左），使用了 4 顆核心處理器、 6 顆 VMP 晶元、 2 顆 MPC 核心和 2 顆 PMA 核心，每秒浮點運算可達 2.5 萬億次，而功耗僅有 3 瓦。通過一系列的演算法， EyeQ4 可以同時處理 8 部攝像頭（最高 36fps）產生的圖像數據[50~51]。

圖 13 Mobileye EyeQ4 與英偉達 DRIVER PX2

英偉達 DRIVE PX2 無人駕駛汽車平台（圖 13 右），支持 12 路攝像頭輸入、激光定位、雷達和超聲波感測器；包括兩顆新一代 NVIDIA Tegra 處理器，其中每個處理器包括 8 個 A57 核心和 4 個Denver 核心；基於 NVIDIA 的新一代 GPU 架構 Pascal 設計，單精度計算能力達到 8 TFlops，超越 TITAN X 的 10 倍以上的深度學習計算能力 [52]。

圖 14 英偉達自動駕駛開發平台

在整個 NVIDIA AI 計算解決方案中，數據科學家在數據中心利用 NVDIA DGX-1 訓練深度神經網路，然後把訓練好的神經網絡在車輛配備的 NVIDIA DRIVE PX2 上無縫運行。數據中心和車輛使用完全相同的 NVIDIA DRIVEWorks 演算法、庫、工具。與此同時， NVIDIA 官網提供演算法庫支持，利用 NVIDIA DRIVE PX2 構建的 Drivenet 平台（圖15），已在自動駕駛車輛上進行實車測試（圖 16）。這種端到端方法能充分利用 NVIDIA 的統一 AI 架構，讓車輛實現無線接收更新，從而在它的一生中不斷添加新功能和新能力 [81] 。

圖 15 NVIDIA 深度學習無人駕駛平台解決方案

圖 16 NVIDIA 無人駕駛效果圖

2016 年 9 月 13 日， NVIDIA 在 GPU 技術大會上推出了體積更小的節能型車載深度學習計算平台 NVIDIA? DRIVE? PX 2 AUTOCRUISE，該平台採用了新型單處理器配置，功耗僅為 10 瓦。此外許多移動終端產品晶元供應商已經開始為自動駕駛技術提供帶有 GPU 單元的嵌入式處理器。例如高通、三星近年來也推出了各自的車載嵌入式平台：高通驍龍 602A 應用處理器，恩智浦的 BlueBox，Mobileye 的 EyeQ5 等拓展面向汽車的產品組合，實現多系統支持的感知功能；三星處理器晶元目前主打車機互聯繫統、汽車智能硬體等。

由於深度學習方法對圖像處理的高效性，使得無人駕駛汽車可以利用單/雙攝像頭初步實現對自動控制的需求，減輕了傳統方法中對昂貴的激光掃描儀來建立 3D 全景地圖的依賴性。雖然相比於激光掃描儀，利用攝像頭採集的信息精度稍低，但完全可以滿足日常無人駕駛的需要，而改進的深度學習演算法通過對多攝像頭信息融合處理，模擬人的雙眼生成立體空間圖像，從而輕鬆判斷距離，實現更好的自動控制功能 [53~61]。

3.2 無人駕駛演算法實現

Pomerleau 在 1989 年用神經網路搭建了一套自動駕駛系統（Autonomous Land Vehicle in a NeuralNetwork，ALVINN） [91]。 ALVINN 首次證實了端到端訓練的神經網路模型實現無人駕駛的可行性。

圖 17 雙通道網路示意圖

近年來，隨著深度學習的快速發展，利用深度學習實現圖像識別的文章數不勝數。其中 2016 年 5月 18 日， LeCun Y 等發表《Stereo Matching byTraining a Convolutional Neural Network to CompareImage Patches》，首次提出利用 Siamese 網路（圖 17），同時輸入左視圖和右視圖兩幅圖像，利用網路計算出兩幅圖像的視差圖像，從而控制車輛的前進方向 [62]。

圖 18 訓練圖片示例

將 Siamese 網路的雙通道輸入結構應用於深度神經網路，在傳統深度學習的優勢之上，還可以通過兩幅圖像之間的差異從而判斷周圍物體的遠近（圖 18），從而合理操控汽車實現無人駕駛 [63]。

通過不斷調節網路的隱層數和進行海量訓練最終達到以下效果（圖 19）。

圖 19(a) 識別效果圖 1

圖 19(b) 識別效果圖 2

近年來， NVIDIA 公司通過採用卷積神經網路（CNNs）實現無人駕駛取得很大突破。該公司研究人員將攝像頭捕捉到的原始圖片通過 CNNs 映射為汽車的方向操控命令，只需提供少量的訓練數據，系統就能自動學會駕駛技術，甚至可以工作在視線不清晰以及無車道標誌線等區域，例如停車場或者崎嶇的山路上。

圖 20 數據採集系統結構圖

圖 20 展示了該系統的訓練數據採集模塊的塊狀示意圖，數據採集車通過三台攝像機採集視頻信息，並且同步記錄駕駛員操控方向盤的偏轉角度，通過汽車的控制網路（Controller Area Network，CAN）匯流排獲取方向控制命令。為了使系統能夠獨立於汽車的幾何尺寸，採用 1/r 來表示方向控制命令，其中 r 是以米為單位的轉彎半徑。該系統使用 1/r 而不是 r 的目的是防止在直線行駛時出現奇點（直線行駛的轉彎半徑無限大）。同時規定左轉彎的 1/r 值為負數，右轉彎的值為正數。

圖 21 訓練神經網路模型

圖像輸入到 CNNs 計算方向控制命令，將預測的方向控制命令與理想的控制命令相比較產生誤差，利用誤差值不斷訓練調整 CNNs 模型的權值，使得網路模型輸出的方向控制命令與人工駕駛或者調整後的控制命令的均方誤差最小，如圖 21 為訓練系統示意圖。

圖 22 通過將中間攝像機的數據輸入模型生成方向控制命令

訓練完成後，模型通過採用中間攝像機數據生成方向控制命令，具體過程如圖 22 所示。

圖 23 CNNs 結構（該網路約有 2700 萬個連接和 25 萬個參數）

該 CNNs 一共包含九層網路（1 個歸一化層， 5 個卷積層和 3 個全連接層），輸入圖像被映射到 YUV 平面[93]，然後傳入網路進行逐層訓練，詳細網路結構如圖 23 所示。

網路的第一層採用硬編碼技術對輸入圖像進行歸一化 [92]，網路前 3 個卷積層使用了 strided 卷積，其中 stride 為 2x2，卷積核大小為 5x5，後 2 個卷積層選用 unstrided 卷積，卷積核大小為 3x3。在 5 個卷積層之後添加 3 個全連接層，最後輸出為一個控制數字，即轉彎半徑的倒數。此外在訓練過程中通過人工添加了一些偏移和旋轉來補充數據，訓練網路如何修復較差的姿勢和視角，其中調整的幅度按照正態分布隨機選取。

圖 24 CNN 模型處理土路

上方：輸入 CNN 模型的圖像

左下：第一層特徵映射的激活狀態

右下：第二層特徵映射的激活狀態

圖 25 沒有路的圖片示例

上方：輸入 CNN 模型的圖像

左下：第一層特徵映射的激活狀態

右下：第二層特徵映射的激活狀態

圖 24 和圖 25 分別展示了兩張不同輸入圖片在前兩層網路的激活狀態，在圖 24 中，特徵圖片清晰地勾畫出路的邊界，而在圖 25 中夾雜了大量噪音，表示網路模型從圖中找不到有用的特徵（道路信息）。

圖 26 Mobileye 自動駕駛布局

與 NVIDIA 無人駕駛解決方案稍有不同，Mobileye 在自動駕駛的布局分為三個部分，感知、高精地圖和駕駛決策（圖 26）。

圖 27 Mobileye 自動駕駛實現道路的語義級特徵描述

Mobileye 在自動駕駛領域的感知技術比較成熟，已經大量運用在已有產品中，該技術主要提供一個環境模型（Environmental Model），包括運動和靜止的物體、車道線、可行駛區域和交通標誌等。通過多年的技術積累，讓 Mobileye 在環境模型方面能夠提供的內容遠超競爭對手，在其他車企還在嘗試提高單一車道線的檢測精度時，Mobileye 已經可以提供道路的語義級特徵描述，例如當前行駛車道的左右車道線、左右車道的左右線以及道路分叉等等，均通過深度神經網路識別（圖 27）。

圖 28 Mobileye 無人駕駛時序性原理圖

Mobileye 將感知任務劃分成多個模塊，每個對應一個人工監督的神經網路，所得出的效果已經可以產品化。目前 Mobileye 利用深度學習進行進行訓練，訓練過程中考慮了駕駛過程中的時序性（圖 28），最終實現短時預測 [84~86]。

圖 29 UCSD 行人檢測效果圖

2016 年 2 月 18 日，加州大學聖地亞哥分校（UCSD）的工程師們開發了一個非常便宜、有效的行人檢測系統，該系統是基於視覺信號進行實時探測（圖 29）。加州大學聖地亞哥分校的電氣工程教授 Nuno Vasconcelos 表示：他們的演算法可以通過每秒 2 至 4 幀的速度，檢測行人的變化，有效避免行人突然停止移動而出現的緊急剎車或造成意外事故。該演算法的錯誤率只有其他現有類似系統的一半。

圖 30 SegNet 示意圖

此外，劍橋大學研發團隊利用圖像識別和深度學習技術研發的 SegNet 系統僅利用傳統的相機來實現對周圍物體的識別（圖 30）。它能實時將街景照中的物體分成 12 個類別，例如道路、建築物、電線杆、路牌、行人、路標和騎自行車的人等，同時還能應對不同的光照和陰影條件，以及夜間環境，該系統可以保持實時工作狀態並可以在較短時間內對各種新圖像進行評估，標記像素的準確度達到 90% 以上。過去的系統使用的感測器都是以昂貴的雷達或激光技術為基礎，並且無法達到 SegNet 的精度和實時性。在 GPS 失效的地方，該系統可以幫助無人駕駛汽車確定位置和方向，實時識別出各種不同的路況 [64]。

劍橋大學研發團隊運用了深度學習的技術來訓練 SegNet 系統，希望它能在更複雜的環境及氣候條件下能識別出物體。通過劍橋大學的一組本科生手工標記 5000 張圖片中的所有像素，研究人員利用這 5000 張圖片訓練 SegNet 並進行測試，最終達到理想的效果 [65]。傳統基於視覺的汽車安全系統常常面臨既要實時分析視頻圖像，還要快速得到正確的結論的難題。通常情況下簡單的「梯級檢測」計算機視覺演算法可以快速檢測出很多行人特定的圖像，但無法在惡劣環境下分辨行人和外觀類似的物體。另一方面，機器學習演算法或者稱為深度神經網路可以進行這種複雜的模式識別，但是這種演算法過於緩慢，無法進行實時的行人檢測 [66]。劍橋大學研發團隊創造的 SegNet 系統結合了兩者的優勢，既保證了實時性，而且有很高的識別精度。

圖 31 深度學習端到端模型介紹

與此同時 comma.ai 的創始人 GeoHot 不但把公司的自動駕駛技術和代碼開源，同時開源駕駛採集數據，包括前視攝像頭裁剪的數據，共計 7.25 小時，分為 11 個視頻， 160*320 大小，還包括了 GeoHot 採集的轉向、制動、速度以及慣導數據，以及圖像輸入和控制輸出的同步時間數據。通過利用深度學習模型進行 End-to-End 方法進行訓練（圖 31），將攝像頭的原始圖像作為輸入，直接輸出車輛的速度和方向，來擬合逼近最優駕駛策略。

4. 無人駕駛汽車行業發展前景預測

隨著市場對汽車主動安全技術、智能化等技術的需求不斷增加，越來越多的企業投入其中，共同推動無人駕駛汽車的發展。與此同時，伴隨著無人駕駛汽車使用的各種感測器、計算機在性能、技術方面已經取得了很大的進步，價格也將大幅降低，無人駕駛技術的門檻越來越低，前景也越來越明朗。特別是近年來深度學習在圖像識別方面取得突破性的進展，更是為無人駕駛技術的成熟增添了強勁的活力，而利用 GPU 高效的圖像處理性能，從硬體上更高效、經濟、快捷實現了實時圖像處理。雖然國內外的智能車輛研究取得了極大的進展，但是從近期的谷歌無人駕駛汽車和特斯拉自動駕駛汽車的事故來看，相關技術實用化還面臨多重挑戰，因此未來無人駕駛將需要在以下幾個方面取得進步：

首先，需要面向自動駕駛功能進行感測感器選擇和優化配置。由於交通環境的複雜性，需要高精度的感測器進行環境檢測。現階段感測器均受其工作範圍限制以及氣候環境因素和車輛運動的干擾，無法保證所有情況下的保證安全駕駛的行車要素的準確檢出。以激光雷達為典型的外部感測器價格昂貴，極大限制了實際大範圍應用。未來激光雷達會變得更小、更輕便，集成度更高，價格更低以及變成固態。面向複雜環境感知需求，通過融合多種感測器的數據來實現感知、定位、決策和規劃，這是無人車近期的發展方向。

其次，需要面向自動駕駛重新設計的車載集成系統。結合全新自動駕駛架構設計，結合集成化控制系統和新型匯流排分布，對自動駕駛功能進行擴展和集成。通過集成更優秀感知和決策演算法的車載軟體，使得自動駕駛系統具備更高安全性和魯棒性。再次，需要 V2X 無線網路支持。通過車聯網路實現信息共享和感測器視距和感知範圍擴展。需要高精度 GPS 定位和高精度的 3D 地圖支持，降低對高精度環境感知的要求，降低實現高級自動駕駛系統的難度。

此外，需要高性能計算平台支持。通過集成高性能車載計算平台，結合深度學習技術，擴展車輛智能化水平。通過接入遠程智能服務實現智能擴展與共享，將人工智慧技術的新突破應用於無人駕駛 [67~78，81~83]。

無人駕駛汽車發展的終極目標，就是建立一個車輛網路化、信息化、人車合一的自動平台，能夠實時，全天候，高效的無人駕駛系統。無人駕駛技術可以極大的提高社會生產力，產生巨大的社會效益，同時改善人們的出行方式，讓我們的生活環境更美好。

參考文獻