鄭南寧教授：實現完全自主無人駕駛仍面臨艱難挑戰——談談認知構建的類人自主駕駛

雷鋒網新智駕按：本文由公眾號「中國自動化學會」整理自西安交通大學人工智慧與機器人研究所、視覺信息處理與應用國家工程實驗室鄭南寧教授今年11月23日在國家智能車論壇（常熟）上的報告。雷鋒網新智駕經授權發布，轉載請聯繫出處。

以下為鄭南寧教授演講內容：

我們人在開車的時候，實際上是有一個選擇性注意的，也就是說，無論車外的場景怎麼千變萬化，但是我們人首先是要找哪些地方可以行駛，哪些地方不可以行駛。

也就是說，車外狀態是無限狀態空間，但我們要把車外的無限狀態空間抽象成可描述的「0、1」的狀態。要實現這一基本目的，就要從人的認知角度重新定義自主駕駛。

這是2002年，我們研發的思源1號無人駕駛智能車。

到2005年，當時我們雄心勃勃，認為在校園裡面可以跑了，它就可以上路了。實際上駛出校門，情況就完全不一樣了。我們當時制定了一個「新絲綢之路挑戰」的計劃。

這是當年在學校的四大發明廣場出征的照片（如上圖）。選擇從西安行駛到敦煌，其目的一是在實際的交通場景中驗證我們的系統，二是為研究工作採集更多的真實交通環境的數據，總距離1700多公里。

但是出了校門以後，大多數時間需要人工干預，是人在開，只是在沙漠的道路上，幾乎沒有來往的車輛和行人，交通場景相當簡單，這個無人車才能平穩緩慢地行駛（這是當時在路上的一段視頻）。

上述介紹的是12年前的研究工作。 從2000年初以來，我們始終堅持在這個方向，從基礎研究到關鍵技術不斷地向前發展。

這是2016年在一個比較複雜的環境中進一步驗證我們研究的基本模型，這是在非結構化的道路來驗證無人車的控制系統。當時後面還有一個裁判車，裁判車遇到這種路面情況要不斷地換檔，適應路況，有時候就陷在泥路上，但是這輛無人車可以平穩的行駛，也就是說，它的感知和控制是適應這樣環境的。

我們再來看一下夸父號無人車在城市交通環境中的表現。當然這個交通場景也並不複雜，它還可以超車，可以實現一個非常平穩的拐彎。我們再來看一下在GPS信號缺失的情況下，無人車如何找出地下車庫的出口。

從2016年進展來看，2005年我們的無人車就是一隻「醜小鴨」，許多科學研究工作就是這樣，總是從一步一步的走向更加完善的階段。

儘管我們看到夸父號可以在城市道路上行駛，也可以從車庫裡出來，但是面對更為複雜交通環境的情況，它沒有辦法作出可靠的響應和判斷。

這裡給出的是城市中複雜交通場景的情況，我們可以看到在這些無交通指示路口、環島路口，還有交通指示複雜的狀況，各種車輛的行駛的不同狀態，無人車無法在這些環境做到準確的判斷。那麼人是怎麼判斷的呢？

這個場景有行人，有非機動車，也有機動車，我們看一看它的狀態是怎麼形成的。十字路口的交通場景是不可預測的，但是每個OBJECT相互關聯形成一個穩定的系統，這裡就反映出，人在這些場景中能夠迅速的理解和判斷各個對象之間的關聯性，而無人車也必須要能夠抽象和表述這種關聯性才能做出準確的判斷。

我們來看看無人駕駛要適應這些複雜的交通環境所面臨的五大挑戰。

第一，複雜交通場景的周密感知。自主駕駛要在所有條件下都要能作出安全的判斷，無論是天氣變化，路況的複雜，它要非常周密的感知周圍的場景。

第二，意外的遭遇的理解和判斷。自主駕駛必須能夠抽象，所謂抽象就是能夠根據環境或其他語境的線索來理解交通情境。

目前自主駕駛很難解釋異常現象，比如說城市經常交通管制，交通管制有時並不提前通知；比如無人車來到這個十字路口，遇上交通管制，交警用手勢指揮車輛的停止和行駛。

另外由計算機來判斷路邊的行人或非機動車是不是很快要闖入到自己前進的方向？這些現象說明僅僅基於簡單規則的自主駕駛是不可能為每個場景進行編碼。

第三，預行為理解。什麼叫預行為呢？人類駕駛員是根據預行為來傳達我們行駛的意圖。

比如，我們開車在路上走，前方的車，我們能判斷出前方開車的是一個老司機還是一個新手，如果是新手，有時候要離它遠一點。但是目前在自主駕駛技術很難解釋或理解這些細微的預行為。

第四，網路安全的風險。這裡給大家展現的這個現象在未來一定會出現。當你早上起來到車庫，讓無人車開出車庫，這個時候你手機上就接到一個簡訊，要你在今天幾點以前支付比特幣才能讓你的車門打開。

雖然黑客的這種行為不會影響你的生命安全，但是你沒有辦法使用自己的車。因此，通過雲端的獲取和更新地圖的自主駕駛將面臨更大的風險。這種風險的存在使得我們在研究自主駕駛無人車的時，必須要考慮：怎麼樣提供更加可靠，更加安全的自主駕駛。

第五，人-車的自然交互。自主駕駛必須以自然的方式與人類交流，要實現車輛與乘客之間的無障礙交流。

比如，乘客上了無人車，自主駕駛系統知曉乘客要去的目的地，理解並回答乘客提出的問題，比如我還有多少時間能到達目的地？請播放一首歌等等。

也就是說，自然的人-車交互的可以為乘客提供更加舒適、愉快、直觀的、人性化的體驗，而不是一個簡單的點到點的行駛。

交通高精計算的複雜性

從我前面所談的這些問題可以清楚地看到，自主駕駛面臨的許多問題是具有不確定性、脆弱性和開放性。而帶來的不確定性、脆弱性和開放性是存在著兩個問題，即，對於駕駛行為來講存在：

1、條件問題。因為我們不可能枚舉出規劃一個行為的所有先決條件。

2、分支問題，我們不可能枚舉出產生一個行為的所有分支。因此我們需要將車外複雜未知的現實世界的描述轉變成有限的語義「推理」，這是一個直觀的理解。人開車在很多場合下是一種直覺的判斷。直覺判斷就是要使得機器也要有對環境有直觀的理解。

這裡展現的圖是目前絕大多數自主駕駛採用的基本技術框架。首先是場景感知，然後是定位，隨著給出駕駛決策、規劃和行為的控制。但是我們人在開車的時候並不是按照這樣一個簡單的串型的方式進行的。

人類駕駛員開車是一個對交通情境認知理解的連續過程。因此我們需要探討類人自主駕駛的一種新的方法，也就是說，自主駕駛不是簡單的AI的形式，不是簡單的一種形式化問題的求解。

既然不是一個簡單的形式化問題的求解，那麼，怎樣定義自主駕駛這個問題？

這裡我們把場景感知和情境認知區別開來，所謂「場景」是指某個交通場合在一個特定的時間和特定的空間中的具體情形或景象。它可以定義為一組實體，當然這種實體的描述是通過感測器的數據來獲得的。

「情境」，它是指某一段時間和空間許多具體情形的概括。「情境」的「境」是指構成和蘊含在場景中的那些相互交織的因素及其相互之間的關係。所以情境計算是對場景各個對象相互關係的解釋。交通環境中各種物體（或對象）關係的描述在自主駕駛中就顯得非常重要。

前面我們分別談到了場景感知和情境計算。那麼我們怎麼用機器來實現它？我們還要定義機器實現的基本科學問題。

這裡我們從情境認知的角度來重新定義自主駕駛：如何使自主駕駛汽車像人一樣理解和記憶交通情境，使其具有記憶、推理和經驗更新的機制，能夠應對高動態和強隨機性的交通場景變化？這裡談到了記憶和理解。

那麼，怎樣實現理解和記憶的目的是什麼？也就是說，我們要發展一種進化的、發展的自主駕駛學習系統，使自主駕駛系統像人類駕駛員一樣熟能生巧。

為什麼談到「進化」，因為，如果設計一個深度學習系統來構建一個自主駕駛，你設計成什麼樣的演算法，你的車就具有什麼樣的能力和屬性。但是我們人不是這樣，我們在駕校學習駕駛，然後取得駕駛執照，隨著開車的時間增長，駕駛技術會越來越嫻熟。所以這裡如何把熟能生巧和系統實現結合，這就是我們現在正在做的工作。

在我們思考這個問題的時候，需要從認知的角度去了解人類駕駛員是如何注意並獲取交通環境信息的？而交通環境的信息是如何在大腦中儲存和加工的？特別是在產生駕駛行為的背後存在怎樣的內部表徵？

人對環境信息的注意是具有高度選擇性，它只注意自己感興趣的，只注意自己在下一步採取行為的時候，周圍的場景因素會對自己的行為產生什麼樣的影響。

從這個角度來看，我們要將許多無意義的線段及場景特徵組織和建立一個有意義的模型。我們從視覺獲得場景的圖像，實際上感測器得到的都是若干個雜亂的無意義的點、線段，那怎麼把無意義的點、線段描述成有意義的實景，這就需要知識。

從認知的層面，將孤立、分別的感知事件轉換成有意義的模型表徵。每一個感測器是從這個感知通道得到孤立的事件，那怎麼能夠把各類感測器所獲得的信息在事件驅動的情況下來構成有意義的模式表徵？按照這樣一個思路，我們逐步來實現怎麼在機器上通過演算法和模型表徵它。

這裡給出場景感知與情境記憶的基本模塊。這是環境信息輸入，我們可以把視覺感測器所獲得的信息看成是感測器對外界場景的快速掃描，快速的掃描是一種預編碼，在這面我們引入一些選擇性記憶，把這樣一個預編碼的信息再送到短期的記憶，後面是長期記憶，長期記憶是把前面短期記憶抽象出來的知識和我們的交通規則整體形成一個長期記憶的知識庫。

人類對視覺空間關注的基本機制

在信息處理模型中有四個認知過程，正如我前面所談到的對場景的快速掃描，是一種選擇性注意。對感覺記憶的一些特定信息的注意，然後進入到「學習」，而這個學習是在短期記憶中建立聯繫，我們又稱之為「組織」。

從圖像處理來看，提取了各個邊緣， 把這些邊緣組織形成有意義的面，這些有意義的面進而構成對一個三維物體的描述，也就是說，從線到面再到三維實體描述，實際上就是一個組織的過程。對這些組織的過程，我們還需要進行整合，這個整合實際上是把長期記憶與現場，還有與交通規則形成關聯描述。

這些長期記憶還要反饋到短期記憶中，然後在短期記憶中再進行整合，這個整合過程是一個再學習的過程。也就是說在已有知識情況下擴充一種新的知識的描述。

得到這樣一個結果以後，我們就可以實現把一個短期記憶轉換成長期的記憶，就可以實現一種編碼。在這個過程中既有前饋又有反饋，而當前主要的自主駕駛汽車框架是串型結構。

另外，人對場景的變化非常敏感，比如人開車看到右前方有一個騎自行車的，這個時候駕駛員的注意力就轉移到具體的位置和視角。從人的駕駛來看，注意力在自主駕駛中是不可或缺的。

從前面討論我們再來看看認知構建的自主駕駛，我們把它稱之為直覺性AI。當前深度學習的「端到端」的自主駕駛方法在結構化或半結構化的交通場景取得了很大的成功，但是在複雜的城區道路或惡劣環境中依然面臨巨大的困難。

帶來這些困難的一個直接原因是，許多交通場景的複雜性和動態性並不都是可觀測和可控的。特別是行駛過程中對異常情況的處理能力是無法通過事先的大量樣本訓練得到，而且也無法獲得大量的負樣本。

但是交通場景沒有辦法在現場採集更多的負樣本，所以怎麼用對抗網路來實現大量交通場景的負樣本訓練汽車，下午會有其專家做更深入的探討。

對於「場景感知」與「情境認知」的融合，我們進一步給出其定義。

情境是對場景動態變化的解釋，還涉及到自主駕駛的行為模型、行動結果和內部狀態，包括轉向、速度、意圖或目標。

雖然場景是對外部環境中感知可信實體的完整描述，但是情境僅包括必須認識到情況和/或啟動適當行為的相關實體。這裡的描述實際上談到就是選擇性，因為感測器是對周圍場景所有數據的採集，但是對於情境認知而言，我們並不需要對所有場景進行計算。

那機器怎麼實現？我們需要要建立世界模型，即情境認知地圖的構建。這裡要給出各個場景的影響關係、因果關係和控制關係。融合先驗信息的概率模型，這裡就是記憶與學習。這裡我們提到了成本函數和預測與優化。

什麼叫認知地圖？這裡舉一個簡單的例子，人類理解或描述物理世界時，大腦總會形成一種對時間的「可視化」圖像。我們把這種可視化圖像稱之為認知地圖。

左邊這幅圖，大家看到就很快會記住，而右邊這個圖你就很難記住，因為右邊這個圖，我們無法按照常識去解釋他們相互之間的關係。也就是說，在物理世界中，各個物體依存的關係是記憶的基礎，這裡又進一步強調了對場景中各個實體相互關聯的描述是自主駕駛中內部表徵一個極其重要的因素。

構建起無人駕駛的認知地圖，包括車輛、交通標識、障礙物行人等構成的可行駛區域的基本屬性。同時也包括遞歸網路所學習得到的關於預注意機制、駕駛意圖等高級認知屬性。我們把車輛當前狀態與交通知識也作為認知地圖的一部分。也就是說，在這樣一個場景中，根據場景動態的變化來形成時間上的認知地圖的一種序列。

上面討論了在認知地圖基礎上構成的基於認知構建的自主駕駛基本框架。這個基本框架有深度卷積神經網路、LSTM單元等，利用這樣一個框架把場景感知與情境計算融合在一起 。

如何檢測可行駛區域？這裡展現的方法是我們提出的智能計算前移技術的實現，即：使不同感測器在數據端進行融合處理。

這裡我們提出一個模型叫「共點映射」，就是把激光雷達數據和圖象數據進行融合，因為這裡面有一個假設，也就是說，深度的不連續往往發生在圖像分割的邊緣上，所謂深度不連續區域，就是我們看到物體的正面和側面顯然不是在一個深度上。

依據「共點映射」， 把激光雷達的數據經處理投影到二維圖像的數據中，這樣可以把物體，即前面我們談到的場景中每一個實體準確的分割出來。我們就可以可靠地找到車的前方哪些是可行駛的區域，哪些是周圍的路沿、建築物、樹木等等。

共點映射的計算有三個層次：

第一，數據層面上進行融合；

第二，特徵提取；

第三，特徵融合。

這裡再簡單介紹一下我們在自主駕駛領域開展的一些基礎理論研究。這是我們用眼動儀檢測人類駕駛員的注意力是怎麼轉移的，他怎麼關注周圍場景的，也就是說，要尋找注意力與視覺線索的關係。

這是眼動儀給出的駕駛員在駕駛過程中不斷關注的點。做了這樣一個實驗，我們可以看到有一個基本的規律，也就是說在多數情況下特徵基本上與目標大小無關，而且注意過程中，它有一個預備性搜索的作用與序列搜索之間的關係，而這種關係是需要一個連續綁定的步驟。

這裡談的綁定是什麼意思？實際上我們從認知角度來看，人在判斷前方目標時，它判斷這個區域大小和目標的形狀，和看見這個目標的顏色分類，實際上在腦部不同區域實現的。

從這個意義上來講，我們在構建這樣一個認知過程時，就需要多個模型對場景特徵並行進行描述。

下面再來看一看自主駕駛混合學習網路。

先是用人在這個環境中開一遍，訓練自主駕駛系統，然後再讓這個自主駕駛系統再在這個環境中行駛一遍。這些點是場景中的顯著性注視點，左邊給出的是它行駛的路徑。

我們用人開車的情況來訓練這個網路，讓這個網路能夠逐步形成一個擬人駕駛的狀態。除了人來訓練自主駕駛汽車，我們再來看看用遊戲來訓練無人駕駛學習網路的情況。

這是學習兩個小時後，這個車基本上就沒有正常行駛過，不斷地出交通事故，學習四個小時以後比剛才要好一些了。這是學習六個小時以後。這是學習十個小時以後，這個網路慢慢能夠學會駕駛了。

上圖看到的視頻片段是無人機與無人車的協同作業。

中國智能車未來挑戰賽是2009年開始的。在2008年國家自然科學基金委設立了一個重大研發研究計劃，計劃的名稱是「視聽覺信息的認知計算」，在這個計劃中我們把無人駕駛平台作為這個重大計劃的驗證平台。它的目的是把視聽覺認知計算的一些模型、一些理論和一些新的方法能夠在這個平台上進行驗證。也就是說，讓實驗室一些研究成果走向真實的物理世界。

2009年是在西安，當時在一個酒店的小區。2010年依然是在西安，在長安大學的試車場。

第一屆和第二屆比賽的內容和水平是非常簡單的。因為那個時候的感測器沒有像今天這樣豐富，當時的計算機的計算能力還非常低下。第三屆我們移師到鄂爾多斯，在鄂爾多斯的挑戰賽有城區道路，也有鄉村道路。第四屆就到了赤峰。在鄂爾多斯和赤峰都是在真實道路上來進行比賽。

第五屆開始就到了常熟，常熟已經連續舉辦了四屆，這個周末在常熟舉辦今年的比賽，賽事安排有高架道路和城鄉道路上。這一屆挑戰賽增加了無人車在高架道路上要匯入眾多的有人駕駛車輛的交通流中、躲避障礙、通過收費站等，在城鄉道路又通過含有障礙的隧道、路遇行人讓行、自主泊車等15項考核。

實現完全自主的無人駕駛是一個令人興奮卻又望而生畏的艱難挑戰。

當然，目前自主駕駛的一些技術已經可以為有人駕駛的車提供先進的輔助安全駕駛系統，無人駕駛汽車也可以在一些特定的區域、小區、城市指定的專用道路或者高速公路正常交通車流的情況下實現自主的駕駛。但是我們要讓無人車能夠進入尋常百姓家，能夠非常自如的進入地下車庫，也能夠停到小街小巷，能夠進入非常複雜的十字路口，我們還面臨著很艱難的挑戰。

當前，一些公司和車企都在進行無人駕駛的路試，一些商業行為表現出的前景很誘人，誘人的前景使人容易忽視發展自主駕駛所面臨的挑戰，也使得社會公眾認為具有高智能的無人駕駛很快就能進入尋常百姓家庭。

以目前的交通狀況和技術水平來看，無人駕駛技術要得到大規模的普及，一方面有待於低成本、高性能的感測技術方面取得突破；另一方面還需要大幅提升無人駕駛的計算能力。因此，我們可能需要十幾年甚至更長的時間完善無人駕駛在複雜的城市道路交通環境中的安全性能。

在這些挑戰的背後，我們需要用什麼樣的方法、什麼樣的新模型，的確需要我們加強基礎研究。還有，無人車的發展離不開企業，特別是整車製造企業一定要成為自主駕駛技術成果轉化落地和創新發展的主體。

近年來，我們與廣汽研究院在無人駕駛技術領域開始了合作，他們在智能車的改裝和平台控制方面走在國內車企的前面。

高校、研究院所和企業一定要緊密的合作，畢竟無人車的研發不同於一般的科研協同，不是簡單的在實驗室或有限的、簡單的環境中實現就行了，它必須要到一個真實、複雜、開放、動態，在不可預測的環境中去實現它。

在會後的討論中，鄭南寧教授進一步談到：

真實的交通環境複雜多變，很難預測車輛在行駛過程中會遇到什麼樣的問題。因此無人車想要投入實際應用，必須在真實的環境下不斷測試。我們面臨的另一個無法迴避的問題是，目前有關交通的法律法規不允許沒有牌照的無人車上路測試，我們只能在特定的試驗場測試。現行《中華人民共和國公路法》第五十一條規定，機動車製造廠和其他單位不得將公路作為檢驗機動車制動性能的試車場地。

所以，當前在國內公共道路上進行無人駕駛車的測試還是違法的。實驗模擬路況和真實路況有很大差距，在對無人駕駛智能車的創新研發上，需要政府和主管部門給予更多政策法規上的支持和提供更加開放的研發環境。比如：能否開放一個指定的區域，給無人駕駛智能車提供臨時牌照允許其上路測試？

從創新驅動發展的意義上來說，在體制上為新技術的發展提供空間和政策支持，與提供充足的科研經費同等重要。

PS：自動駕駛汽車是人工智慧和機器學習領域研究者們數十年科研的成果匯聚，鄭南寧教授的分享報告便是其中的縮影。尤其是以智能未來車挑戰賽為代表的這些參與者、親歷者們，他們這段漫長而豐富的研究過程，值得我們一起重新領略。

2018年1月16日，在中國的另一端，雷鋒網新智駕將在美國矽谷舉辦GAIR矽谷智能駕駛峰會，我們也邀請了重磅嘉賓、2005 年 DAPRA 挑戰賽冠軍斯坦福車隊成員，無人駕駛行業萌芽的親歷者 Adrian Kaehler進行主題演講。詳情請點擊https://gair.leiphone.com/gair/gairsv2018。

這些探索者們、先鋒們在自動駕駛探索過程中的精彩點滴無疑值得我們細細回味。

雷鋒網推薦閱讀：

獨家 | 重訪 2005 DARPA 挑戰賽斯坦福車隊成員：Stanley 奪冠背後那些不為人知的細節

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！