基於視覺和毫米波雷達的車道級定位方法
厚勢按：本文提出了一種基於視覺和毫米波雷達的車道級定位方法：
利用機器視覺方法，通過攝像頭檢測車道線，並用圓曲線模型進行擬合；
採用毫米波雷達檢測道路兩旁的靜止護欄邊沿，以獲取道路的邊界信息；
採用低精度全球定位系統獲取當前道路信息，並對比車道線與道路邊沿的相對位置關係，從而進行車道級定位。
結果表明，針對中、高速城市道路及高速公路場景，所提出的車道級定位方法的定位效果較好。
本文來自 2018 年 01 月 28 日出版的《上海交通大學學報》，上海交通大學自動化系與上海市北斗導航與位置服務重點實驗室的趙翔博士、王冰高工和楊明教授以及上海交通大學機器人研究所的王春香副教授。
隨著汽車數量的不斷增加，道路安全問題越顯突出且不容忽視，因此，高級駕駛輔助系統已成為研究熱點。在 20 世紀 70 年代，美國開始研究用于軍事領域的無人駕駛技術，並將其用於高速公路行駛和城市智能交通運輸領域 [1]。例如，1995 年，美國卡耐基梅隆大學研製的 Navlab-V 型無人駕駛汽車橫穿了美國東、西海岸，且在全程近 5000 km 的州際高速公路上的車輛自主駕駛部分高達 98.2％。
在包含車道偏離預警、車輛輔助轉向的諸多高級駕駛輔助系統應用中，車輛的車道級定位非常重要，且關注最多的是車輛的橫向定位。主要的定位方法包括基於全球定位系統（GPS）和基於激光雷達的方法，其中基於 GPS 的定位方法有：
GPS／DR（Dead Reckoning）組合定位 [2]，它使用 GPS 定位和航位推算，但由於定位感測器存在測量誤差，所以航位推算的誤差隨時間增加而增大。
差分 DGPS（Differential GPS）定位方法 [3]，其較為有效，但建設和維護差分基站的成本非常高，定位效果受到車輛距離、基站位置和基站數量的限制。
基於激光雷達的定位方法是通過多線激光雷達的點雲數據進行特徵匹配的 [4]，但因激光雷達的數據量很大，在雨雪天等條件下表現不佳，故實時性不強。
針對中、高速城市道路及高速公路場景的橫向定位問題，本文提出一種基於視覺和毫米波雷達的車道級定位方法。與激光雷達相比，毫米波雷達的數據量非常小、可靠檢測距離較長，適用於全天氣環境，在感測器端即可實現動、靜態障礙物的識別，識別道路兩旁連續規則的護欄的計算量小且穩定可靠。
1. 系統概述
圖 1 系統框架示意圖
本文提出的基於多感測器在線數據和 OSM（Open Street Map）離線地圖資料庫的車道級定位系統的輸入分別為感測器實時數據（單目攝像頭、毫米波雷達和GPS）以及 OSM 離線地圖，輸出為當前車輛行駛的車道級定位，主要分為檢測、定位與匹配及車道級定位 3 大模塊，如圖 1 所示。
其中，檢測模塊分為車道線檢測和道路邊沿檢測兩部分：
車道線檢測使用單目攝像頭作為輸入，單目攝像頭安裝在擋風玻璃後，用於獲取車前道路的實時圖像，進而識別當前車道的左、右車道線；
道路邊沿檢測採用毫米波雷達作為輸入，毫米波雷達通常用於識別障礙物，本文主要用來識別高速公路兩旁的護欄等連續規則的靜態障礙物，並以此作為道路邊沿的輸出。
定位與匹配模塊的輸入是 GPS 天線定位信息和 OSM 地圖信息。OSM 地圖是一種開放的 GIS（Geography Information System）數據，是免費開源、可編輯的地圖服務，其元素主要包括點、路和關係，並以此構成整個地圖畫面。本文所用 OSM 地圖包含道路名稱、道路類型、車輛行駛方向、車道數量和每條車道寬度等信息。在車道級定位模塊中，主要通過 GPS 獲取的經、緯度，從 OSM 離線地圖資料庫中檢索當前的道路信息，這裡特指當前道路的車道數量以及每條車道寬度。
車道級定位模塊首先將車道線和道路邊沿的位置結果進行數據融合，即將各類坐標統一轉換為世界坐標系下的坐標；然後，將融合後的數據與當前道路的車道數量、車道寬度信息進行對比，根據車道線與道路邊沿的相對位置關係進行車道級定位。
2. 車道線檢測
車道線的檢測方法主要分為模板法和特徵法。
模板法採用直線、拋物線和其他曲線模型來匹配車道邊界點，例如，Mechat 等 [5] 使用支持向量機（SVM）方法對車道線進行分類，並用 Catmull-Rom 曲線模型進行擬合；
基於圖像特徵的方法是根據圖像特徵提取邊沿，如 McDonald 等 [6] 利用車道線的幾何特徵對 Hough 變換的參數進行限制。
本文所用車道線檢測方法：
對攝像頭採集的原始圖像進行逆透視變換，並對逆透視變換的圖像進行二維高斯濾波和分位數二值化（P-Tile）預處理，以過濾雜訊並增強車道線特徵；
採用概率 Hough 變換提取候選車道線集合，利用含多規則約束的自定義投票檢測方法篩選左、右車道線，並用圓曲線模型進行擬合而得到最終的檢測結果。
2.1 逆透視變換
圖 2 原始圖像和經逆透視變換的圖像
本文採用求解齊次坐標變換矩陣的方法 [7] 計算逆透視變換矩陣，以建立圖像平面坐標繫上的點P_I＝ [u v 1] ^T與世界坐標繫上對應的點P_w＝ [x y z 1] ^T之間的對應關係。該方法只需選取平面上的多個特徵點，測量獲得特徵點在世界坐標系和圖像平面坐標系中的坐標，用最小二乘法求解即可得到變換矩陣。逆透視變換的圖像效果如圖 2 所示。
與基於相機模型進行逆透視變換的方法 [ 8~9 ] 相比，本文採用的逆透視變換方法無需攝像頭的內、外參數且容易實現，但無法在線修正相機外部參數（例如俯仰角等）變化的影響。逆透視變換的效果和攝像頭與地面的俯仰角有關，顛簸和坡面情況都將對逆透視變換的結果產生影響，本文主要研究平坦和輕微傾斜的路面情況。
2.2 圖像預處理
車輛在行駛中經常受到各種環境因素的影響，包括車道線磨損、陰影和逆光等。本文所用圖像預處理方法分為高斯濾波和分位數二值化 2 部分。
默認車輛的行駛方向與車道線的延伸方向基本一致，本文在逆透視變換圖像的縱向採用 1 階高斯平滑處理，在其橫向採用 2 階差分高斯處理，以增強車道線特徵。車輛的行駛過程中很難用單一的固定閾值進行圖像分割。
本文使用分位數二值化的方法統計高斯濾波處理後的逆透視變換圖像幅值直方圖，並保留像素值最大的 (100 - P)% 個像素點，P為設置的閾值。經過多次實驗得出，P＝97.5 時的二值化效果最佳。這種二值化處理方法適用於不同亮度的環境，在陰影、逆光和反光等條件下均能夠得到較好的分割效果。
2.3 車道線檢測與濾波
針對預處理後的圖像，採用概率 Hough 變換方法粗提取候選車道線；然後，在車道的左、右邊分別採用自定義投票空間的方法選取長度較長且距離中心最近的實線或虛線作為左、右候選車道線；在候選車道線的周圍選定一塊平行四邊形興趣區域，並對興趣區域的白色特徵點進行曲線擬合。結合我國道路設計與施工規範，本文採用圓曲線模型進行曲線擬合，圖 3 所示為原始圖像及其擬合圖像。
濾波過程主要分為 2 個部分：
對車道線的檢測結果進行濾波。對於攝像頭採集的視頻連續輸入序列，本文採用一種自適應模型進行幀間濾波，將當前幀和前一幀的檢測結果進行加權疊加，並作為當前幀的輸出結果；
根據當前幀的檢測結果，在車道線的周圍設置一系列興趣區域，下一時刻的圖像輸入僅考慮興趣區域內的車道線特徵點（如圖 3(c) 所示），從而進一步提高車道線檢測方法的準確率。
3. 基於毫米波雷達的道路邊沿檢測
毫米波雷達是高級駕駛輔助系統中的感測器，主要用途是檢測動態障礙物。本文使用毫米波雷達檢測道路邊沿，識別靜態障礙物[10]，如道路兩旁護欄等邊界物體，並通過最小二乘法擬合道路的左、右邊沿。相比於不到 40° 視角的攝像頭，毫米波雷達的水平視場角更大，可以識別約 200 m 範圍內的靜、動態障礙物。
圖 4 毫米波檢測道路邊緣示意圖
由於本文採用毫米波雷達檢測道路兩旁護欄等邊界物體，故需將毫米波雷達安裝在與護欄高度相同的位置。如圖 4 所示，首先，根據障礙物的橫坐標將障礙物分為左、右 2 個集合，記為P_L和P_R。為獲取道路的主方向，在道路邊沿仍採用直線模型進行擬合。對於每個集合，採用隨機抽樣的方法獲取該側的邊沿。以P_L＝｛P_1，P_2，…，P_n｝為例，任意選取 3 個初始點擬合直線，計算所有點到該直線的偏差，將偏差在預設閾值範圍內的所有點添加為內點，並重新使用 3 個初始點和所有內點擬合新的直線。重複上述步驟迭代 100 次，所得含內點數量最多的直線模型即為最終結果。
根據時空連續性原理，連續 2 幀道路邊沿位置圖像的偏差不會太大。因此，為了提高檢測結果的連續性，將前一幀車道線檢測結果進行疊加。針對車道左、右兩側的檢測結果，分別使用 2 個 Kalman 濾波器進行跟蹤。以左側護欄為例，靠近上、下邊緣設置 2 條橫向掃描線，每幀檢測所得車道線和 2 條掃描線的交點坐標分別為(x_1, 40)和(x_2, 360)。基於方向不會發生突變的假設，設置狀態變數X(k)＝ [x1 x′1 x2 x′2] ^T，觀測變數Z(k)= [x1 x2] ^T，系統的狀態方程和觀測方程如下：
其中：W(k)和V(k)分別為系統雜訊和觀測雜訊，假設兩者均為滿足高斯分布且均值為零的白雜訊；A和H分別為狀態轉移矩陣及系統觀測矩陣，
系統的狀態方程和觀測方程的誤差R及協方差矩陣Ｑ分別為：
每次獲得最新的測量值Z(k)，通過k－1時刻的 Kalman 濾波器輸出值x ( k-1 | k-1 )來估計k時刻的預測值x(k | k-1)，通過計算最小均方差誤差矩陣獲取誤差增益矩陣G(k)，從而獲得修正後 k 時刻的輸出值x( k | k )。
4. 基於視覺和毫米波雷達的定位方法
4.1 攝像頭和毫米波雷達的數據融合
本文定義了世界坐標系 Ｗ、以攝像頭光學中心為原點的攝像頭坐標系 C 以及圖像平面坐標系 I，3 個坐標系之間的關係和數據融合效果如圖 5 所示。
圖 5 坐標系定義及數據融合效果
在本文定位方法的實驗平台中，將毫米波雷達安裝在車前方保險杠下方，攝像頭安裝在車前擋風玻璃的後方，所建兩者的坐標系均以自身為原點。為了融合兩者的數據，需要先將 2 種感測器進行聯合標定。本文以毫米波雷達坐標係為准，將攝像頭坐標系進行旋轉和平移，並與毫米波雷達坐標系對齊。
對攝像頭的原始圖像進行逆透視變換時，選取的地面特徵點均以毫米波雷達為原點，並測量其在世界坐標系（毫米波雷達坐標系）下的坐標。為直觀顯示融合效果，將毫米波雷達的數據點和道路邊緣檢測結果透視顯示在原始圖像上，如圖 5 (b) 所示。其中，左、右兩側的圓點為過濾動態車輛後的靜態障礙物。
4.2 車道級定位方法
根據定位與匹配模塊，通過當前的 GPS 定位以及 OSM 離線地圖輸入可以獲得當前道路的車道數量N以及每條車道寬度｛ｗ_i| i = 1, 2,…, n｝。第 1 條車道和最右側車道與左、右護欄之間存在一定的間隔，在不同位置，間隔距離可能不同。經過多次實驗發現，第 1 條車道與左側護欄之間的距離相對更加準確且更易於人工標註，因此，本文使用的 OSM 離線地圖還包含了第 1 條車道左側車道線與左側護欄的距離d_1 = w_0的信息。
圖 6 各車道與左車道線到道路邊沿距離的對應關係
計算當前車道的左、右車道線與左側護欄之間的距離d_l和d_r，由於當前車道的右車道線也即右側車道的左車道線，如圖 6 所示，所以當 |d_l－d_k|和 |d_r－d_(k+1)| 均在閾值範圍內時，當前車道即為第k條車道（k= 1,2,3,4）。對於車道級定位輸出，同樣使用基於歷史連續幀的數據濾波，以避免因為車道線或道路邊沿誤檢或漏檢而造成車道定位突變等錯誤。
5. 實驗與結果分析
5.1 實驗平台
圖 7 Cyber Tiggo 實驗平台
本文以圖 7 所示的上海交通大學自主研製的智能 車 Cyber Tiggo 為實驗平台進行本文方法的驗證實驗。其中，攝像頭採用加拿大 Point Grey 公司的 Dragonfly2 工業攝像頭，解析度為 800 像素 X 600 像素，安裝在汽車前擋風玻璃後；毫米波雷達採用美國 Delphi 公司的電子掃描毫米波雷達，檢測距離長達 174 m。
5.2 車道線檢測結果
圖 8 不同情況下的圖像預處理和車道線檢測結果
採用二維高斯濾波和分位數二值化方法對圖像進行預處理，以消除橫線干擾、車道線殘損模糊和陰影等的影響，圖 8 示出了在不同情況下的車道線檢測結果。圖中，從左到右依次為原始圖像、預處理後的圖像和車道線檢測結果。
5.3 車道級定位結果
本文所用測試數據取自一段高速公路，共 10748 幀，其中，圖像、毫米波雷達數據以及 GPS定位數據均為 10748 幀。數據的真值採用人工標註的方法得到，對 10748 幀數據的車道序號進行人工標註。
圖 9 車道級定位方法的定位結果
圖 9 所示為採用本文的車道級定位方法所得定位結果。圖中，淺色點為人工標註真值（為了直觀顯示，將其略下平移），深色點為本文的車道級定位結果。由圖可見，所提出的車道級定位方法能夠準確檢測 9788 幀圖像，其準確率為 91.07％。車道級定位結果的誤檢原因在於：
在車輛換道時，採用視覺的車道線檢測可能出現車道線誤檢；
當車輛穩定行駛在某一條車道時，採用毫米波雷達檢測道路護欄邊沿變化可能產生護欄誤檢。
6. 結語
本文提出了一種基於視覺和毫米波雷達的車道級定位方法。通過低精 GPS 從 OSM 離線地圖中獲取當前車道的基本信息，採用單目攝像頭檢測車道線，利用毫米波雷達檢測道路兩旁連續規則的護欄或樹木並作為道路邊沿，根據先驗車道信息，對比車道線與道路邊沿的相對位置關係，從而獲得橫向車道級定位。
結果表明，從感測器配置上來說，相比多線激光雷達，毫米波雷達的數據量非常小、可靠檢測距離較長，適用於全天氣環境的車道級定位，在感測器端即可實現動、靜態障礙物的識別，識別道路兩旁連續規則的護欄或樹木的計算量小且穩定可靠。
通過車道定位實驗發現，針對中、高速城市道路及高速公路場景，採用本文提出的車道級定位方法可以得到較好的定位效果，其定位準確率依賴於車道線以及道路邊沿檢測的準確率。
由於車道線方向與道路邊沿方向基本一致，下一步研究將增強基於視覺的車道線檢測模塊和基於毫米波雷達的道路邊沿檢測模塊的耦合性，進而提高車道級定位結果的穩定性。
參考文獻
[1] HILLELAB, LERNERR, LEVID, etal. Recent progress in road and lane detection: A survey [J]. Machine Vision and Applications, 2014, 25 (3):727-745
[2] WANG H Y, ZHANGXX, LIXL, etal. GPS/DR information fusion for AGV navigation [C] // World Automation Congress. Puerto Vallarta, Mexico: IEEE, 2012: 1-4
[3] ALAM N, DEMPSTER A G. Cooperative positioning for vehicular networks: Facts and future [J]. IEEE Transactionson Intelligent Transportation Systems, 2013, 14 (4): 1708-1717
[4] YONEDAK, YANGC, MITAS, etal. Urban road localization by using multiple layer map matching and line segment matching [C] // Intelligent Vehicles Symposium (IV). Seoul, South Korea: IEEE, 2015:525-530
[5] MECHATN, SAADIA N, M"SIRDIN K, et al. Lane detection and tracking by monocular vision system in road vehicle [C]//5th International Congresson International Congress on Image and Signal Processing.Congqing: IEEE, 2013: 1276-1282
[6] MCDONALDJB, FRANZJ, SHORTENR. Application of the hough transform to lane detectionin motorway driving scenarios [EB/OL].[2016-10-01].http://citeseerx.ist.psu. edu/viewdoc/summary?doi = 10.1.1.16.402.
[7] 白聰敏. 區域交通環境下的智能車全自主導航方法研究 [D]. 上海交通大學機械與動力工程學院，2012
[8] BERTOZZIM, BROGGIA. GOLD: A parallel realtime stereo vision system for generic obstacle and lane detection [J]. IEEE Transactions on Image Processing,1998,7 (1): 62-81
[9] CAO Yu, FENG Ying, LEI Bing, etal. Eror analysis and precision validation of inverse erspective mapping formulae [J]. Acta Photonica Sinica, 2011, 40 (12): 1833-1838
[10] JANDA F, PANGERL S, LANG E, et al. Road boundary detection for run-off road prevention based on the fusion of video and radar [C] //Intelligent Vehicles Symposium (IV). Gold Coast, Australia: IEEE,2013: 1173-1178
編輯整理：厚勢分析師蓋布林
轉載請註明來自厚勢和厚勢公號：iHoushi
-END-
文章精選
企業家
智能駕駛
新能源汽車
項目和評論
TAG:厚勢 |