清華大學鄧志東教授：自動駕駛第二幕已經開始上演

雷鋒網新智駕按：從6月開始，新智駕聯合雷鋒網 · AI慕課學院、網易雲課堂企業版舉辦了智能駕駛系列講座，邀請業界、學界頂尖專家一起分享關於自動駕駛現在與未來的多樣見解。6月13日，清華大學計算機系教授，博士生導師鄧志東用一個半小時為自動駕駛從業者們講解了《「未來汽車」大講堂第一期：構建自動駕駛的關鍵》，雷鋒網新智駕對課程內容進行了整理，並做了不改變原意的調整。

友情預告：本系列講座的第二期，我們邀請了高德汽車高精度地圖產品總監谷小豐，分享了高精度地圖在自動駕駛中的作用。之後，地平線機器人技術智能駕駛商務總監李星宇、矽谷自動駕駛技術公司 Vector.ai CEO 蔡長柏（Andrew Tsai）還將為學員分別帶來更多精彩分享，課程內容也將於6月28日、7月12日陸續上線，敬請留意雷鋒網慕課學院。

嘉賓介紹

鄧志東，清華大學計算機系教授，博士生導師。現為中國自動化學會理事，中國自動化學會智能自動化專業委員會主任。曾任國家 863 計劃智能機器人主題專家組組長助理（1998-2001）。主持8年國家級無人駕駛項目，為國內包括騰訊自動駕駛實驗室在內的頂尖團隊輸送培養大量人才。

自 2009 年開始，在國家自然科學基金重大研究計劃重點項目「無人駕駛車輛人工認知關鍵技術與集成驗證平台」和培育項目「面向城區綜合環境的無人駕駛車輛關鍵技術及試驗樣車研發」的資助下，近 8 年的時間內，鄧志東教授主持研發了三輛具有自然環境感知與自主決策能力的無人駕駛汽車，即 THU-IV1 原理性實驗樣車、THU-IV2 技術驗證樣車和 THU-IV3 全線控試驗樣車。

目前的研究方向包括：人工智慧、深度神經網路、計算神經科學，先進機器人、無人駕駛汽車等。曾從事的研究領域：虛擬現實（1998－2001）、無線感測器網路（2001－2009）、計算生物學（2002－2010）。

在自動駕駛發展的初期，比較典型的事件是美國 DARPA 資助的 Grand Challenge（2004、2005），Urban Challenge （2007） 以及義大利帕爾馬大學的新絲綢之路（2010）。

從2009年上路以來，Google Waymo 已經安全自主行駛了超過300多萬英里（483公里），人工干預次數僅為1.25次/萬公里。

2011年，德國柏林自由大學的 MIG 無人駕駛汽車在城區里自主行駛了20公里，經過了46個交通燈，兩處環島，全程無干預安全地回到了目的地。

2013年，義大利帕爾馬大學的自主車 BRAiVE，在帕爾馬城區自主行駛，順利通過單向雙車道等狹窄的城郊道路，其間涉及行人橫穿馬路、交通燈、人工凸起路面、行人區、急轉彎等，同時實現全程無人工干預。

在國內，2009年開始，國家自然科學基金委員會啟動了「視聽覺信息的認知計算」重大研究計劃，並且連續舉辦了八屆「中國智能車未來挑戰賽」，對中國無人駕駛汽車研發水平的提高起到了很大推動作用。這是中國的追跑階段，國內很多高校和研究單位參與了這個計劃。8年的時間裡，發生了很大變化，被視為中國智能車發展的里程碑。

2016年，百度的18輛「雲驍」無人車亮相烏鎮子夜路，在開放的城區道路上行駛了3.16公里。百度稱其為 NHTSA L4 級別的完全自動駕駛汽車。

總的來說，這一時期是科研主導的時期，不考慮成本，（一台車的成本可能要二百多萬、三百多萬）只要求走通技術路徑，但在第二幕整個情況就不同了。

二. 市場主導的自動駕駛第二幕開始上演

第二幕是以市場為主導、企業為主體來推動自動駕駛發展的，必須考慮設備成本、落地實踐、商業模式的因素，這其中有三個重要組成：

• 新車企：特斯拉、蔚來、奇點、小鵬、樂視、車和家等

• 老車企：福特、雷諾-日產、戴姆勒、大眾、寶馬，國內的長安、奇瑞、長城、北汽、比亞迪等

• 跨界科技企業：Google Waymo，Uber，Apple，百度，騰訊，華為等巨頭；初創企業如馭勢科技、智行者、地平線、圖森、商湯科技等

三. 新「四化」趨勢十分明顯

所謂新「四化」，即電動化、信息化、智能化、共享化。

1. 電動化

德國政府已經宣布，2030年後將禁止內燃機車上路；2016年10月8日，國務院常務會議決定，中國原則上不再核准新建傳統燃油汽車生產企業。

2. 信息化

信息化包括數字化或軟體化，以及（內部）匯流排化或（外部）網聯化，它是智能化的基礎和條件，很多新能源汽車都實現了網聯化，OTA 和軟體定義升級現在都開始成為標配。

3. 智能化

智能化就是我們今天正在做的事情——自動駕駛或者無人駕駛。

目前來看，這個方向有兩種選擇，一個是基於視覺主導的方案，主要利用人工智慧、大數據驅動，以單目視覺為主，典型代表是特斯拉。因為第二幕已經不是視覺路徑走通就可以了，還要追求低成本、高可靠度，真正實現商業落地，而要實現這些也只能以企業為主體，由市場來主導。另一種方案是以激光雷達為主導，典型代表是 Google Waymo。

4. 共享化

共享無人駕駛和智能增值服務是眼下汽車產業發展的終極目標。共享無人駕駛汽車作為智能移動終端或智能網聯的一個節點，將推動共享經濟和智慧城市的發展，從根本上顛覆人類的出行方式。

汽車的空間更大，承載能力更強，可以產生並實現對大數據的需求、能夠提供更加多樣化的增值服務，它將成為比智能手機更大的移動終端，並且形成一個共享網聯，從而驅動形成一個無人駕駛生態。無人車將使安全、共享、綠色和節能發揮到最大化。

• 更安全

  人類80%的車禍都跟情緒波動、疲勞駕駛、酒後駕駛有關，自動駕駛就降低了這方面的危險，事故發生頻率可以從10萬公里一次大幅減少到1000萬公里一次。

  去年特斯拉的兩次事故，讓很多人對無人駕駛的安全產生了顧慮，但是根據世界衛生組織（WHO）的數據，全世界每年車禍致死的人數有125萬，平均每天就有3425人在車禍中喪生。從這個數據來看，無人駕駛汽車無疑是更加安全的。

• 汽車共享

  無人車可使城市汽車保有量降低到目前的5%-10%，可從根本上解決交通擁堵等問題。

• 普遍採用新能源，更加環保

• 可以優化無人車的調度與全局路徑，從而節省能源消耗

四. 產業化步伐不斷加快

自動駕駛的產業化步伐正不斷加快，很多人將2021年作為自動駕駛的產業元年。典型的例子是特斯拉的 Autopilot 2.0。

目前，特斯拉所有量產新車都可安裝「具有完全自動駕駛功能」的硬體系統 Auopilot 2.0，並能通過 OTA 進行 ECU 軟體升級，自動駕駛功能從 L2 直接跳躍到 L4 及其以上。這一點能不能成為現實，今年年底就可觀察到部分結果——馬斯克宣稱2017年年底之前特斯拉將以完全自動駕駛模式從洛杉磯開往紐約，包括最為困難的出城、入城，並且4500公里全程無干預。

現在也有很多企業在進行公開路測。2016年8月25日，nuTonomy 在新加坡推出了全球首台無人駕駛計程車免費載客服務，但範圍限定在2.5平方英里的商業住宅區內；9月14號，Uber 在匹茲堡市區推出了大範圍無人駕駛計程車免費載客服務。而Google Waymo、沃爾沃、福特、寶馬、百度、英特爾等全球20家企業均已宣稱，4年後的2021年將會是無人駕駛汽車元年，部分 SAE L4 將實現量產。

同時，產業競爭也在不斷加劇。這裡有兩個主要指標，一個是基於大數據的自動駕駛里程數，一個是千英里內的人工干預頻率。去年，美國加州車輛管理局公布了幾家車企的數據，排名第一的是 Google Waymo，其自動駕駛行駛里程是300萬英里，干預數為0.2次/千英里。第二名通用的 Cruise 是18.5次/千英里。

美國一個雜誌剛剛公布了一個排名，它將全球的自動駕駛企業分為三個梯隊，並從技術、人才、商業模式三個維度進行打分，每個維度5分，滿分15分。第一梯隊有 Google Waymo，它的技術是滿分，人才是4.5分，商業模式僅3.5分；緊跟其後的是Uber，Uber雖然技術做的不是很好，但商業模式是最好的，為滿分5分，它已經在匹茲堡整個城區推出了無人駕駛免費載客服務；第三、第四分別是戴姆勒和德爾福。

1. 活躍的人工智慧初創企業。包括 Zoox，drive.ai，被通用收購的 Cruise Automation，Comma.ai，日本的 Preferred Network，ZMP 等。

2. 雄心勃勃的新車企。比如特斯拉，經過半年的努力，近期已經順利完成了將路測數據從 Mobileye 過渡到運行於 Nvidia Drive PX2 上的 Tesla Vision 軟體系統上，並已於今年3月底發布了 Autopilot 8.1 軟體升級。

特斯拉是離商業化更近的。首先它本身是新能源車企；其次，它有OTA，可以進行軟體升級；第三，它擁有的大數據也是世界上最豐富的（有超過3億英里的路測數據）；最後，它所有的硬體都已經成為量產車的標配。因此，只要將每一個已完成的自動駕駛功能進行嚴格路測，成熟一個，就可以完成一個 OTA 軟體升級。

3. 加速發力的跨界科技巨頭。比如 Google 去年將自動駕駛部門分拆成立了Google Waymo ，通過建立團隊獨自研發，激光雷達成本削減了90%以上，現在差不多在7000美金左右，量產之後，相信這個成本還會更低。Waymo 現在已經在美國鳳凰城地區對500輛克萊斯勒 Pacifia MPV 插電式混合動力無人駕駛汽車進行了社會公測，這也被視為其商業化落地的前奏。此外，百度推出了阿波羅計劃，計劃對自動駕駛代碼進行開源；還有英偉達的 Xavier 開源計劃，它與豐田合作，計劃今年7月開放 Xavier 平台入口，到9月份實現完全開源。

4. 仍具優勢的傳統車企。如福特、通用、雷諾日產、戴姆勒、大眾、寶馬等傳統車企都加速了自動駕駛汽車產品的研發與測試進程，國內如長安、奇瑞、長城、北汽、比亞迪等，也都在積極開發自己的自動駕駛汽車技術。

這是自動駕駛的第二幕。我相信 SAE L4 自動駕駛時代很可能在2021年前後就會到來，但其功能與區域並非一步到位，而是會逐步迭代。

一. 技術上的挑戰

這裡面主要有兩個困難：如何從 L2 跨越到 L3？如何從 L3 跨越到 L4？分別考慮對極端環境的感知和對緊急情況的預判決策。衡量產業化落地則有兩個主要指標，分別是自動駕駛的大數據行駛里程數和每萬公里的人工干預次數。

二. 應用場景和商業模式的選擇，包括低速和高速的選擇

自動駕駛有兩個分級標準，一個是比較老的美國高速公路交通安全局的分級，將自動駕駛水平分為 L0 ，L1，L2，L3到 L4；另一個是美國汽車工程師協會（SAE）的分級，從 L0 到 L5 。

SAE L0-L5 六級其實可以歸納為三個階段，第一個階段叫做輔助與半自動駕駛，包括L0和L1。L0就是我們現在完全由人開車的狀態，只不過可以前裝或後裝告警式的開環 ADAS，如 LDW，FCW，BSD 等；L1則是一個有單項閉環的 ADAS，如 ACC，AEB，LKS，IPAS 等；

第二個階段就是自動駕駛第一幕所能達到的階段，屬於過渡期的無人駕駛，包括 L2 和 L3。如果不考慮成本的話，現在已經普遍達到了這個階段。L2 需要安全駕駛員和監控駕駛員在無人車裡面，安全駕駛員主要負責行車環境的感知監控，手不離開方向盤，以便對極端環境進行感知與認知干預，L2也被稱為部分自動駕駛。L3 則把感知干預全部取消了，僅對緊急情況的出現進行預判決策及認知干預，屬於有條件的自動駕駛。

第三階段是真正的無人駕駛，包括 L4 和 L5。L4 為無任何人類駕駛員，但限定區域或功能。換句話說，即使是在極端環境與對緊急情況，均不存在人的接管或干預問題，屬於高度自動駕駛。L5 則與人類駕駛無異，是全區域和全功能的。同樣地，即使是在極端環境與對緊急情況，也均不存在人的接管或干預，並且已沒有方向盤、踏板和後視鏡，屬於完全自動駕駛。

1. 應用場景和商業模式的選擇

低速L4的自動駕駛，就是在相對封閉的環境中，比如景區、港口、機場、開發區等空曠且交通流稀疏的區域進行的固定線路自動行駛的落地實踐，包括擺渡車和遊覽車等，這部分應主要關注的是商業模式。在開放環境下實現全城區的 L2 到 L4 的技術跨越，就已經不僅僅是商業模式，主要還是要看技術上的突破。總的來說，低速追求商業模式，高速則涉及高可靠、低成本技術路線的選擇，技術的挑戰性要大得多。

2. 困難與挑戰

首先，L2 到 L3 如何跨越？人在開車時，對周邊道路環境是有理解的，看到的目標不僅僅是一個檢測、分類與識別的結果，而且還是有語義的，是有內涵和外延的。人工智慧如果在語義理解方面不實現技術突破，就很難超過人的感知水平。其實 L2 到 L3 的問題就是可靠感知的問題，不管是視覺主導的方案，還是激光雷達主導的方案，都是在解決極端環境下的可靠感知問題。

其次，怎麼從 L3 跨越到 L4？這就涉及到認知干預的問題。出現緊急情況怎麼去預測、去判斷？怎麼去替代人進行認知干預？現在對緊急、極端情況的預測也有一些方法，比如基於深度學習的端到端的自主行為決策與人機混合智能。

總之，這兩個問題都非常困難，具有很大的挑戰性，因為需要處理極端與緊急情況，同時要求絕對可靠，並且考慮低成本實現，這也是做無人駕駛的一個特點。攝像頭的設備成本最便宜，特斯拉的技術方案就是以環視單目攝像頭為主，另外一種就是 Waymo 以低成本激光雷達為主導的技術方案，這兩種都是低成本方案。

還有目標檢測與識別的問題。對交通流稠密的複雜城區，如何進行極端環境下周邊障礙物的檢測與識別，特別是行人等小目標？還有精準導航，怎麼替換掉高成本的高精度組合導航系統？怎麼結合激光 SLAM 和視覺 SLAM，把成本降下來？但不管是目標識別還是精準導航，最大的問題還是信息融合。雖然採用視覺主導或激光雷達主導的方案，但仍需融合其他異構的感知或導航設備。這方面可採用深度學習的方法，進行多感測器的信息融合。

最後一個挑戰就是商業落地，要在保證絕對安全的前提下儘可能地降低成本，這是現在的大難題，這個問題的解決也許會導致技術路線的根本改變。

很多人認為自動駕駛是最具商業價值且有可能最早落地的垂直領域之一。商業價值無需再強調，共享無人駕駛汽車未來可能是萬億美元的市場，將顛覆整個人類的出行方式，意義十分重大，但要實現落地就必須保證絕對安全和低成本。其次，還要進行垂直整合，要有一個完整的解決方案，形成一個產業生態。

深度學習源於原始的大數據，其實時性也正在得到諸如 GPU、TPU、ASIC、 FPGA 和類腦晶元快速發展的支撐，已成為自動駕駛感知、決策與控制的基礎技術。目前，三大晶元巨頭也都在向人工智慧方向轉型，尤其是布局自動駕駛，這是兵家必爭之地。

深度學習已經成為自動駕駛感知與決策的主流方法，其主要包括兩個方面：一個是深度卷積神經網路，另一個就是深度強化學習。

深度卷積神經網路迄今的革命性進展，再加上低成本激光雷達、高精地圖、5G 通信、V2X 以及智能交通系統和智慧城市的合力支撐，將可能使極端條件下周邊行車環境的可靠感知與低成本、高可靠精準導航成為現實，助推自動駕駛從 L2 向 L3 跨越。而實現 L2 到 L3 的跨越，解決了具有人類水平的環境感知，邁向真正無人駕駛之路就走了一大半。

基於深度強化學習的 AlphaGo 可以達到人類水平，甚至超過人類水平。由 AlphaGo 強力助推的深度強化學習的最新進展，有可能使自動駕駛汽車擁有類似人的自主學習能力，獲得包括具有緊急情況預測在內的端到端自主行為決策系統和數據驅動型智能控制系統，從而助推自動駕駛從 L3 跨越到 L4。

人工智慧可望使自動駕駛落地成為可能，主要涉及演算法（深度卷積神經網路+深度強化學習）、數據（目標及行為意圖視覺大數據/激光點雲大數據，駕駛行為大數據等）、計算（如移動端、雲端、離線訓練深度學習加速器）、細分場景（目標及行為意圖感知，認知地圖與導航，信息融合，自主決策，智能控制等）和垂直整合等5個維度。

• 支撐自動駕駛落地的深度學習演算法與開源代碼框架：谷歌的 TensorFlow，加州伯克利的 Caffe，Bengio 的 Theano，Facebook 的 Torch，微軟的 CNTK，Amazon 的 MXNet，百度的 Paddle Paddle；

• 共性關鍵技術：深度學習+環境理解，深度學習+信息融合，深度學習+決策/控制；

• 前沿核心技術：基於深度監督學習的目標及行為意圖檢測與識別；基於深度監督學習的高精度地圖創建；基於深度監督學習的多模態導航信息融合；基於深度強化學習的自主決策與控制；

• 如何替代人進行環境感知：基於深度 CNN 的環境感知，與 HD 地圖結合；基於深度 CNN 的極端環境下道路感知車道線與可行駛路面檢測；基於深度 CNN 的障礙物檢測與識別；

• 如何替代人進行自感知：基於深度學習的多模態自主導航，與認知地圖結合；基於深度強化學習的端到端自主決策，與認知地圖結合；基於深度強化學習的 Actor-Critic 控制，與知識驅動結合。

另外，專有大數據是 AI 產業致勝的關鍵和法寶。深度學習採集與餵食的大數據越多，越能獲得更好的駕駛直覺。

科技巨頭都在瘋狂追逐大數據，誰擁有與利用的大數據越多，誰的產品成熟度就越高，或者離商業化就越近。但是需要解決的還有大數據的完備問題，比如把識別率從99.999%提高至99.99999%，需要的是指數級增長的大數據，需要極大的資源付出。

• 支持自動駕駛落地的計算引擎：基於超級 GPU/TPU 的離線訓練；

• 基於雲平台的在線應用：GPU/FPGA 深度學習處理器；

• 終端應用：NVIDIA 的深度學習晶元 Tegra X1 及 Jetson TX2，深度學習晶元 Tesla，深度學習晶元 Drive PX2，以及開源 Xavier DLA；

• 新汽車晶元製造商：英特爾 Apollo Lake A3900 的「智能互聯駕駛艙平台」，高通驍龍 820A 處理器；

• 類腦晶元：例如 IBM TrueNorth，高通（Qualcomn）Zeroth；

• 支撐自動駕駛落地的其他基礎條件：如基於目標理解的認知地圖，特別地，高精（柵格認知）地圖未來可能成為巨大的產業。此外還有基於 5G 和移動物聯網 NB-IoT 的智能網聯技術（如支持雲端和路測設備通信），智能交通系統（ITS）和智慧城市等，形成合力，支撐自動駕駛產業的落地實踐。

結語

L2 跨越到 L3 的挑戰是：如何利用深度卷積神經網路替代人進行極端條件下周邊行車環境的可靠感知。

L3 跨越到 L4 的困難是：如何利用深度強化學習替代人進行緊急情況預測的自主決策。

深度學習近期的革命性進展，再加上高精地圖、5G通信、智能網聯以及 ITS 和智慧城市的支援，形成合力，將助推自動駕駛產業落地。

共享無人駕駛與智能增值服務將成為智慧出行的終極發展目標。

問：無人駕駛中出現緊急情況要如何干預？

答：Uber、Waymo 測試的車上都有工程師，尤其對 L2 這種級別的自動駕駛汽車，司機的位置上都坐著人，並且手不離開方向盤，遇到緊急情況就可以隨時接管。

如果是認知干預的情況，駕駛員則可以按下緊急制動按鈕控制車輛。不管是通過車上有線還是車外無線的方式，人都可以在判定決策後，進行緊急制動干預。

問：認知地圖是一個什麼概念？

答：認知地圖是開車時，周邊行車環境中各個交通元素之間的時空關係，人類就是利用認知地圖來開車的。人眼可以輕易地分辨出物體以及它們相互之間的時空關係，機器則需要進行檢測和識別，其實這部分是最困難的。

問：現在共享單車破壞這麼嚴重，共享無人駕駛汽車未來如何避免這種尷尬？

答：共享無人駕駛汽車可能不會有這樣的問題，因為它一定是一個公司或企業來運營的，由於設備成本比較高，相信企業也會有更好的運營和組織模式。其實現在說這個問題還為時尚早，重要的是要先發展，之後出現問題再解決問題。

問：自動駕駛的安全性怎麼管控？

答：自動駕駛的安全性一定比人開車要高。人開車時會有疲勞駕駛、酒後駕駛、情緒化的問題，但無人駕駛汽車就避免了這些。

我們現在擔心的只是它能不能達到人類的感知水平。目前確實達不到，前面也說了，深度卷積神經網路有一個缺陷，就是只能解決分割和分類的問題，做不了語義理解。但這個局限性，可以通過多感測器融合，有效利用高精地圖的先驗知識，以及5G、NB-IoT 等組成的智能網聯與 ITS 的合力來進行突破。總的來說，自動駕駛是提高了駕駛的安全性，而不是降低。

問：谷歌、英偉達、英特爾的自動駕駛晶元和演算法各有什麼優勢？

答：谷歌本來是做演算法的，現在也有了 TPU 晶元，並且在試圖擠入晶元的三大巨頭。它的演算法和 TPU 都做得很好，優勢很明顯。在技術上，谷歌肯定是第一。英偉達本身不做演算法，主要做晶元，在人工智慧時代，它的晶元非常有優勢。英特爾眼下也在做人工智慧晶元的布局和轉型。

問：人工智慧汽車最後是不是就是機器人的一種？

答：是，從某種意義上說，自動駕駛汽車就是一個室外輪式移動機器人。

問：自動駕駛是基於地圖、劃線實施計算的，那麼對於越野地理環境，沒有路基，沒有劃線，要怎麼實現自動駕駛？

答：高精地圖只是一個基礎支撐條件，但不是必須有。沒有車道線也沒關係，越野環境沒有車道線，但有可行駛路面等，駕駛時也可融合 GPS 或北斗導航信息等做輔助。

問：百度開源對創新型企業有什麼指導作用嗎？

答：它是一個完整的解決方案，但我想它只會開源第一幕的代碼。第一幕只是把技術路徑走通，但可能會不計成本，因此商業價值不大，不過對剛剛開始做自動駕駛的初創企業，也是有指導作用的。第二幕真正有商業價值的程序，百度未必會開源。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！