無人駕駛汽車環境感知技術綜述

厚勢按：無人駕駛汽車在行駛過程中獲取外界環境信息是車輛進行導航定位、路徑規劃及運動控制的根本前提。首先對無人車環境感知所需感測器的特點和原理進行了介紹，然後闡述了激光雷達和相機的標定方法，並論述了道路、行人、車輛、交通信號及標識檢測任務中的關鍵技術，同時分析了各種感測器的優勢與限定條件，論述了各項關鍵技術的原理與方法，從而對無人駕駛汽車在環境感知領域的關鍵技術進行了綜合論述。

本文來自 2017 年 2 月 5 日出版的《長春理工大學學報（自然科學版）》，作者是長春理工大學光電工程學院的王世峰、戴祥、徐寧和張鵬飛。

自主行駛機器人包含無人地面行駛車輛、無人航空飛行器和無人水面/水下艦船，它們都具備自主對所行駛/飛行/航行的環境進行感知和判斷的能力，從而指導機器人行進併到達指定位置。

無人地面行駛車輛也稱作無人駕駛汽車（簡稱無人車），由於近年來新型感測器的研製和機器學習技術基礎研究的飛速發展 [1]，使得民用無人駕駛汽車的研製在技術上成為可能。國內外的科研機構和企業紛紛投入智能汽車或無人駕駛汽車的研發行列，其中一些機構稱將在未來五年內實現無人車的商業化推廣 [2]。

無人車的技術結構主要分為環境感知、導航定位、路徑規劃和運動控制四個方面 [3]。本文將詳細對環境感知中的常用技術手段和關鍵技術進行講解與分析，並闡述所涉及使用到的各種感測器。

1. 無人車獲取環境信息的感測器

無人車在行駛過程中需要對環境信息進行實時獲取並處理。從目前的大多數技術方案來看，激光雷達對周圍環境的三維空間感知完成了 60%~75% 的環境信息獲取，其次是相機獲取的圖像信息，再次是毫米波雷達獲取的定向目標距離信息，以及 GPS 定位及慣性導航獲取的無人車位置及自身姿態信息，最後是其他超聲波感測器、紅外線感測器等其他光電感測器獲取的各種信息 [4]。

1.1 激光雷達

激光雷達可獲取環境空間的三維尺寸信息。激光雷達使用遠距測距技術，通過向目標發射光線並且分析反射光來完成距離的測量。有單線（亦稱單層、二維）和多線（亦稱多層、三維）兩種激光雷達，多線雷達能夠增加一定角度的俯仰，實現一定程度的面掃描。一般在無人駕駛汽車上會結合兩種激光雷達來實現障礙物探測和指導汽車安全通過道路的功能。

1.1.1 單線激光雷達

以德國 SICK 公司的 LMS511 單線激光雷達為典型代表 [5]，它能夠發出一條激光束掃描某一區域，並根據區域內各點與掃描儀的相對位置返回由極坐標表達的測量值即測量物體與掃描儀掃描中心之間的距離和相對角度。它可以設置多種角度解析度和掃描頻率組合。該雷達有多種數據傳遞方式，一般選擇網路介面傳輸的方式，由上位機向雷達發送請求，雷達根據請求中的測量要求收集數據並返回給上位機。

式中，ρ為距離值，θ為相對角度值。為了提高數據返回速度，常用網路介面傳輸方式連接上位機。SICK LMS511 可以根據需要設置不同角度解析度和掃描頻率組合，其參數如表 1 所示。在無人駕駛技術中常使用多個單線激光雷達來協助實現地形重建。

表 1 SICK LMS511 參數指標

1.1.2 多激光雷達感測器

多線激光雷達是指發射 2 條或以上的激光束作為探測光的激光雷達，目前以美國 Velodyne 公司的 HDL-64E S2 激光雷達為典型代表[6]，它發出多達 64 個激光束，全部安裝在旋轉電機上，其水平探測範圍 360° 垂直方向探測範圍 26.8°。上位機通過串口連接對其發送控制命令，通過基於 UDP 協議網路連接返回數據。因為雷達 64 對激光發射器與接收器分為上下兩層，傳輸數據也分為兩部分。處理收集到的數據建立幾何模型，首先，由於激光器安放位置不同，而坐標原點應在同一垂直平面因此每一個激光器都有一組校準數據來協助建模。

式中，D_corr為距離校正因子、V_0為垂直偏移量、H_0水平偏移量、θ為垂直校正角、α為旋轉校正角。通過每一條激光束返回的距離 Dret 值和當前激光雷達的旋轉角度γ轉化為激光雷達坐標系中的笛卡爾坐標 (P_x,P_y, P_z)。激光雷達因其測距精度高、實時性好、抗干擾能力強等優點，在障礙檢測、道邊檢測、動態障礙分類、跟蹤、移動機器人定位和導航中被廣泛使用。

1.2 相機

圖像感測器—相機能夠獲取環境彩色景象信息，是無人車獲取環境信息的第二大來源。相機可選擇的型號和種類非常多樣，可簡單分為單目相機、雙目立體相機和全景相機三種。

1.2.1 單目相機

無人車的環境成像是機器視覺在車輛上的應用，需要滿足車輛行駛環境及自身行駛狀況的要求。天氣變化、車輛運動速度、車輛運動軌跡、隨機擾動、相機安裝位置等都會影響車載視覺。無人車任務中對圖像質量要求高，不僅在圖像輸出速度上需要較高幀頻，且在圖像質量上也具有較高要求。單目相機是只使用一套光學系統及固體成像器件的連續輸出圖像的相機。通常對無人車任務的單目相機要求能夠對其實現實時調節光積分時間、自動白平衡，甚至能夠完成開窗口輸出圖像功能。另外，對相機光學系統的視場大小、景深尺度、像差抑制都有一定要求。

值得一提的是以色列 Mobileye 公司的單目智能相機產品 [7]，它將圖像處理及運算部件也集成在同一相機產品之內，完成諸如前向碰撞、行人探測、車道線偏離等檢測功能，其性能在同類產品中具有一定優勢。

1.2.2 雙目相機

雙目相機能夠對視場範圍內目標進行立體成像，其設計是建立在對人類視覺系統研究的基礎上，通過雙目立體圖像處理，而獲取場景的三維信息 [8]。其結果表現為深度圖，再經過一步處理就可以得到三維空間中的景物，實現二維圖像到三維圖像的重構。但是在無人車任務應用中，雙目相機的兩套成像系統未必能夠完美對目標進行成像和特徵提取，也就是說，所需目標三維信息往往不能十分可靠地獲取。

1.2.3 全景相機

以加拿大 Point Grey 公司的 Lady bug 相機為代表的多相機拼接成像的全景相機被用於地圖街景成像的圖像感測器 [9]，它是由完全相同 6 個相機對上方和 360 度全周進行同時成像，然後再進行 6 幅圖像矯正和拼接，以獲得同時成像的全景圖像。使用該全景相機的無人車可以同時獲得車輛周圍環境的全景圖像，並進行處理和目標識別。

另外，使用魚眼鏡頭的單目相機也能呈現全景圖像 [10]，雖然原始圖像的畸變較大，但其計算任務量相對多相機拼接方式較小，且價格低廉，也開始受到無人車領域的重視。

1.3 毫米波雷達感測器

毫米波雷達感測器是工作頻率選在 30~300 GHz 頻域（波長為 1~10 mm，即毫米波段）的雷達 [11]。其優勢在於波束窄，角解析度高，頻帶寬，隱蔽性好，抗干擾能力強，體積小，重量輕，可測距離遠。雖然沒有激光雷達的探測範圍大，但其較好的指向性和穿透力仍然使其無法被激光雷達替代。根據測量原理不同，毫米波雷達感測器可分為脈衝方式和調頻連續波方式兩種。

1.3.1 脈衝方式的毫米波雷達感測器

採用脈衝方式的毫米波雷達需要在短時間內發射大功率脈衝信號，通過脈衝信號控制雷達的壓控振蕩器從低頻瞬時跳變到高頻；同時對回波信號進行放大處理之前需將其與發射信號進行嚴格隔離。

1.3.2 調頻連續波方式的毫米波雷達

調頻連續波測距方式的雷達結構簡單、體積小，最大的優勢是可以同時得到目標的相對距離和相對速度。當它發射的連續調頻信號遇到前方目標時，會產生與發射信號有一定延時的回波，再通過雷達的混頻器進行混頻處理，而混頻後的結果與目標的相對距離和相對速度有關。

1.3.3 ESR毫米波雷達

ESR（Electronically Scanning Rader）高頻電子掃描毫米波雷達，在其視域內可同時檢測 64 個目標。該雷達的發射波段為 76~77 GHz，同時具有中距離和遠距離的掃描能力。因為其硬體體積小且不易受惡劣天氣影響等優點，仍然被應用於無人車領域，且在商用上被廣泛應用在汽車的自適應巡航系統、汽車防撞系統等產品中。

1.4 超聲波感測器

超聲波感測器是利用超聲波的特性研製而成的感測器。超聲波感測器的數據處理簡單快速，檢測距離較短，主要用於近距離障礙物檢測。超聲波在空氣中傳播時能量會有較大的衰減，難以得到準確的距離信息，一般不單獨用於環境感知，或者僅僅用於對感知精度要求不高的場合，如倒車雷達的探測任務中 [12]。

2. 無人駕駛汽車環境感知關鍵技術

無人車使用了多種感測器進行環境感知，將這些感測器安裝於車輛固定位置後，需要對這些感測器進行標定。在無人車行駛過程中，對環境感知的要求是極其多樣和複雜的，作為一個地面自主行駛機器人，其應該具備提取路面信息、檢測障礙物、計算障礙物相對於車輛的位置和速度等能力。也就是無人車對道路環境的感知通常至少包含結構化道路、非結構化道路檢測，行駛環境中行人和車輛檢測，交通信號燈和交通標誌的檢測等能力。

2.1 感測器標定

通過感測器標定來確定感測器輸入與輸出之間的關係，從而完成基礎性的環境識別。

2.1.1 激光雷達標定

激光雷達與車體為剛性連接，兩者間的相對姿態和位移固定不變，為了處理數據的方便性，需要把各個激光雷達的坐標系轉化到統一的車體坐標繫上 [13]。首先進行對激光雷達外部安裝參數的標定，然後通過雷達返回的極坐標數據實現單個激光雷達的數據轉換，最後實現多個激光雷達數據轉換。通過（3）實現基準坐標中的轉化。

式中，β_0為基準坐標系旋轉的角度，d_i為掃描距離，i為激光雷達數據序列號，A是設計採樣步距。通過式 (4) 實現車輛坐標系建立。

式中，L為激光雷達安裝點到車輛質心的距離沿y軸的分量，H_L為激光雷達安裝點離地的高度，H_V為汽車質心離地的高度。

2.1.2 相機的標定

相機與車體也為剛性連接，兩者相對姿態和位置固定不變，相機的標定是為了找到相機所生成的圖像像素坐標系中的點坐標與相機環境坐標系中的物點坐標之間的轉換關係。從而實現把相機採集到的環境數據與車輛行駛環境中的真實物體對應。

單目相機的標定主要包括對相機模型的建立和對物點坐標的轉換 [14]。通過下式可以得到相機環境坐標系中的物點P(x_yc, y_vc, z_vc)到圖像像素坐標系中的像點P_i(u, v)的轉化關係。

式中，f為透鏡的焦距，dx與dy分別為相機感測器x與y方向的像素單元距離由廠家提供，R_c*為 3*3 的坐標旋轉矩陣，T_c*為 1*3 的坐標平移矩陣，u_0與v_0為圖像像素中心坐標，z_c為相機坐標系下 P 點的z_c軸上的值。(5) 忽略實際情況中畸變的誤差。雙目立體相機標定主要包括雙目立體視覺模型建立、雙目圖像去畸變處理、雙目圖像校正、雙目圖像裁切等四個步驟。

2.1.3 相機和激光雷達聯合標定

相機的每一個像素點和激光雷達的每一個數據點都對應著三維空間中唯一的一個點，因此能實現激光雷達與相機的空間對準 [15]。其中有空間上和時間上兩部分數據的融合。空間上數據的融合通過下式實現：

式中，R_c*為坐標旋轉矩陣，T_c*為坐標平移矩陣，X_lv由激光雷達的外參標定，而K_c-1為相機內參標定矩陣，U是可見光圖像中投影點的坐標。確定式 (6) 需要 12 個參數，所以要求多次改變標定箱的遠近和方位，使其位置儘可能均勻分布在圖像解析度的各個位置。時間上的數據融合是為了解決感測器在採集數據時間差異問題的方法。通過 GPS 獲得絕對時間，給不同的感測器所記錄數據進行時間戳標定。

2.2 結構化道路檢測

結構化道路檢測是通過了解具有清晰車道標誌線和道路邊界的標準化道路的信息來準確獲得本車相對於車道的位置和方向 [16]。

2.2.1 結構化道路的常用假設

由於各地的路況都有一定的區別，所以只能提供一個簡化的道路場景。因此建立了道路形狀假設、道路寬度和道路平坦假設、道路特徵一致假設、感興趣區域假設等，有助於識別結構化的道路。

2.2.2 直道檢測

在官方制定的行業標準下，結構化道路的設計和建設都比較規則，有明顯的區分道路和非道路的車道線。在視覺導航系統中，利用距相機不遠處的車道線方向變化不大，即曲率變化很小的假設，近似用直線來擬合車道線。

通過車道線邊緣點搜索和車道線邊緣曲線擬合實現直道擬合。其演算法流程如圖 1 所示。

圖 1 演算法流程

2.2.3 彎道檢測

彎道是公路中必不可少的道路形式，因此需要從道路圖像中檢測出彎麴車道線的邊界，判斷道路彎曲的方向，確定彎道的曲率半徑才能為無人車提供有效的信息。一般公路平面的線形主要分為直線、圓曲線與迴旋線，因此選擇俯視圖進行擬合。

國內外的彎道檢測辦法主要是基於道路模型的檢測辦法。一般分為三個步驟：

建立彎道模型，完成對道路形狀的假設；

提取車道線像素點，把每一條車道線的像素點從前景像素點中提取出來作為依據；

擬合車道模型，運用檢測到的像素點確定彎道數學模型的最優參數。

2.2.4 複雜環境下檢測圖像預處理

實際情況下往往會出現複雜的情況，由於外界環境光線的變化不均勻導致相機提取的圖像出現多塊純白色和純黑色區域，讓圖像識別演算法失去目標。常用圖像預處理來解決這個問題。其中有：Gamma 調節、灰度映射調節、直方圖調節等方法。

由於無人車在車載視覺中的導航圖像對圖像灰度信息、圖像真實性、圖像實時性要求較高，所以圖像預處理方法必須要滿足快速、簡單、合成圖像平滑自然和產生合成痕迹少等要求。可採用設置長短快門進行多重曝光，用雙目相機中不同相機交替曝光等方法。

2.3 非結構化道路檢測

對於鄉村公路、野外土路等非結構化道路的情況，採用基於機器學習的道路探測，結合探測到的環境信息和先驗知識庫中的模型，對圖像和數據進行處理。同時根據環境的不同來修正預測模型，實現模型不斷更新的效果。其方法框架如圖 2 所示 [17]。

圖 2 基於機器學習演算法的非結構化道路檢測方法框架

2.4 行駛環境中目標檢測

根據不同的檢測目標選擇不同的感測器數據、不同的處理演算法來實現行駛環境中的目標檢測。

2.4.1 行人檢測

基於 HOG 特徵的行人檢測 [18]，HOG 特徵是一種對圖像局部重疊區域的密集型描述符，它通過計算局部區域的梯度方向直方圖來構成人體特徵。該方法是提取圖像的 HOG 特徵後通過 SVM 進行決策的檢測方式。

基於 Stixel 模型的行人檢測通過融合激光雷達和視頻數據，可以對目標進行較為準確的檢測。利用激光雷達數據抽取出感興趣的區域，再利用視頻圖像識別該目標的屬性，可以有效地實現不同模態感測器間的互補，提高感測器的性能。分為三步：

首先處理激光雷達數據，得到感興趣區域；

再準備圖像數據，進行基於圖像的行人檢測演算法的訓練；

最後利用訓練好的分類器，基於感興趣區域進行行人檢測。

2.4.2 車輛檢測

V-disparity 方法是基於立體視覺的障礙物檢測方法 [19]。其演算法流程為：首先獲取立體圖像對，然後計算得到稠密視差圖，建立 V-disparity 圖，通過分析 V-disparity 圖，可以提取出行駛環境中的路面，從而計算出路面上障礙物的位置。

視覺與激光雷達信息的結合，避免了機器視覺受光照影響和激光雷達數據不足的問題，實現了感測器信息的互補，通過建立激光雷達、相機和車體之間的坐標轉換模型，將激光雷達數據與圖像像素數據統一到同一坐標中進行識別處理。

結合激光雷達的數據特點選取合適的聚類方法，對聚類後的激光雷達數據新型形狀匹配和模板匹配，確定感興趣區域；通過類 Haar 特徵結合 AdaBoss 演算法在感興趣區域進行車輛檢測，然後通過車輛在激光雷達中的數據特徵實現 Kalman 預估跟蹤。

2.4.3 交通信號燈檢測

交通信號燈識別採用的系統結構可分為圖像採集模塊、圖像預處理模塊、識別模塊和跟蹤模塊。其系統機構如圖 3 所示。

圖 3 交通信號燈識別系統結構

運用基於彩色視覺的交通信號燈識別方法可以檢測到單幀圖像中的交通信號燈。為防止出現誤檢或跟蹤丟失的現象，可以採用基於彩色直方圖的目標跟蹤演算法。CAMSHIFT（Continuously AdaptiveMean SHIFT）演算法 [20]，它可以有效地解決目標變形和遮擋的問題，且運算效率較高。

2.4.4 交通標誌檢測

交通標誌檢測包括三方面內容：色彩分割、形狀檢測和象形識別 [21]。

當光照條件良好時，色彩分割需要通過室外環境的圖像採樣選取閾值，運用 HSV 彩色空間的色度和飽和度信息能夠將交通標誌從背景中分離出來。通常情況下交通標誌和駕駛方向並不是垂直的。在對圓形標誌進行判斷時往往採用基於隨機連續性採樣的橢圓檢測。而在色彩分割後的邊緣直線可以通過 Hough 直線變換獲得。選擇相關的模板對處理後的圖像大致分成紅色禁止標誌、藍色允許標誌和黃色警告標誌。

對於每一類交通標誌分別設計分類器。首先運用 OTSU 閾值分割演算法對探測到的標誌進行預處理，能有效避免光照陰影和遮擋造成的誤差。然後基於演算法獲得的圖像運用矩運算提取輻射狀特徵，最後選取多層感知器來完成識別內核的目標。輸出相似程度最高的結果。

3. 結語

無人駕駛汽車為減少交通事故，優化人類時間結構，節約能源消耗等實際的問題在市場的強烈需求下應運而生。無人車對空間環境的感知十分依賴於單線或多線的激光雷達，對交通信號燈及交通標誌燈圖像信息的採集使用相機來完成，同時應用毫米波雷達等其它感測器共同進行環境信息的採集。各種信息數據的分析與識別使用了多項數據分析與解算方法，並利用人工智慧的機器學習手段進行各種目標的識別工作，從而最終完成無人車的環境感知任務。

參考文獻

[1] http：//www.rand.org/pubs/research_reports/RR443-2.html

[2] http：//news.xinhuanet.com/info/2015-12/15/c_134917019.htm

[3] Raj Madhavanm，Elena Messina.James Albus. Intelligent vehicle systems：a 4D/RCS approach［M］.New York：Nova Science Publishers，2006：6-15，302-309.

[4] Sebastian Thrun.Toward robotic cars［J］.Communications of the ACM, 2010（53）：99-106.

[5] https：//www.sick.com/media/pdf/5/45/945/dataSheet_LMS511-10100S01 _1055659_en.pdf

[6] http：//velodynelidar.com/hdl-64e.html

[7] http：//www.mobileye.com/products/mobileye-5-series/

[8] 張堯，趙洋，劉博宇，等.一種基於雙目測距系統的亞像素精度自適應圖像匹配演算法 [J]. 長春理工大學學報：自然科學版，2016，39（2）：1-4

[9] https：//www.ptgrey.com/360-degree-spherical-camera-systems

[10] 李松，張欽泉，呂卓，等.基於特徵點的球面全景圖快速生成演算法 [J]. 長春理工大學學報：自然科學版，2012，35（3）：1-4

[11] 趙爽. 汽車毫米波防撞雷達的研究與實現 [D]. 長春：長春理工大學，2013

[12] 湯傳國. 基於超聲波測距的倒車雷達系統研究 [D]. 長安：長安大學，2015

[13] 諶彤童. 三維激光雷達在自主車環境感知中的應用研究 [D]. 長沙：國防科學技術大學，2011

[14] Bertozzi Massimo，Broggi Alberto，Fascioli Alessandra. Vision-based intelligent vehicles：state of the art and perspectives [J]. Robotics and Autonomous Systems，2000（1）：1-16

[15] 葉春蘭.基於圖像顏色與激光點雲信息的智能車輛行駛環境三維重建 [D]. 北京：北京理工大學，2013

[16] Hendrik Deusch，Jürgen Wiest，Stephan Reuter，Magdalena Szczot，Marcus Konrad und Klaus Dietmayer. A random finite set approach to multiple lane detection [C]. 15th International IEEE Conference on Intelligent Transportation Systems，Anchorage，2012：270-275

[17] 周聖硯.基於學習演算法的智能車輛非結構化道路檢測技術研究 [D]. 北京：北京理工大學，2011

[18] Pedro Felzenszwalb，Ross Girshick，David McAllester，et al. Object detection with discriminatively trained part based models [J]. IEEE Transactions on Software Engineering，2014（9）：1627-1645

[19] Sayanan Sivaraman，Mohan Trivedi. A review of recent developments in vision-based vehicle detection [J]. IEEE Intelligent Vehicles Symposium，Gold Coast，2013：310-315.

[20] Z Wang，X Yang，Y Xu，et al. CamShift guided particle filter for visual tracking [J]. Pattern Recognition Letters，2007（4）：407-413

[21] Jiang Yanhua，Zhou shengyang，Jiang Yan，et al. Traffic sign recognition using ridge regression and otsu method [J]. IEEE Intelligent Vehicles Symposium，Baden-Baden，Germany，2011：613-618

編輯整理：厚勢分析師拉里佩

轉載請註明來自厚勢和厚勢公號：iHoushi

-END-

文章精選

企業家

智能駕駛

新能源汽車

項目和評論

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！