特徵融合的雙目半全局匹配演算法

文後有彩蛋↓↓↓

經典雙目立體匹配演算法回顧

導語：在微小飛行器、小型機器人等嵌入式系統中，如何實時獲取高質量深度信息是實現環境感知、自主避障的關鍵問題。在體積功耗的限制下，應用場景的速度和精度要求使這個問題變得極具挑戰。

論文看點

1. 本文設計了基於特徵融合的雙目SGM匹配演算法並在GPU平台上進行了實現。

2. 利用GPU特性，對立體匹配中的各個步驟使用共享內存、SIMD及混合流水線優化以提高運行速度。

本文方法

使用沿極線方向的一維差分計算紋理信息，使用中心平均Census特徵及AD特徵進行代價計算，通過紋理優化的SGM演算法聚合代價並獲得初始視差圖；然後，通過左右一致性檢驗檢查剔除粗略視差圖中的不穩定點和遮擋點，使用線性插值和中值濾波對視差圖中的空洞進行填充；最後，利用GPU特性，對立體匹配中的代價計算、半全局匹配（SGM）計算、視差計算等步驟使用共享內存、單指令多數據流（SIMD）及混合流水線進行優化以提高運行速度。

▲本文演算法流程圖

▲匹配代價計算效果對比

▲代價融合結果對比示意圖

對於雙目匹配而言，低紋理區域的匹配是性能提升的關鍵。使用灰度梯度作為紋理信息。對圖像提取垂直方向和水平方向的梯度，可觀察到紋理信息。

▲紋理信息示意圖

實驗結果

在Quarter Video Graphics Array（QVGA）解析度的middlebury雙目圖像測試集中，本文提出的ADCC-TSGM演算法總壞點率較Semi-Global Block Matching（SGBM）演算法降低36.1%，較SGM演算法降低28.3%；平均錯誤率較SGBM演算法降低44.5%，較SGM演算法降低49.9%。

GPU加速實驗基於NVIDIA Jetson TK1嵌入式計算平台，在雙目匹配性能不變的情況下，通過使用CUDA並行加速，可獲得117倍以上加速比，即使相較於已進行SIMD及多核並行優化的SGBM，運行時間也減少了85%。

在QVGA解析度下，GPU加速後的運行幀率可達31.8幀/s。本文演算法及其CUDA加速可為嵌入式平台提供一種實時獲取高質量深度信息的有效途徑，可作為微小飛行器、小型機器人等設備進行環境感知、視覺定位、地圖構建的基礎步驟。

▲不同演算法的總壞點率與平均錯誤率

▲演算法精簡後的總壞點率平均值與平均錯誤率均值

GIF

經典回顧

雙目立體匹配演算法

雙目立體匹配演算法可分為特徵匹配和稠密匹配。特徵匹配使用特徵點進行左右視圖的像素點匹配，計算精度較高，但所得的深度信息稀疏，並不適合複雜場景。對於稠密匹配演算法，Scharstein等人進行了詳細分類和評價[1]，提出了現有立體匹配演算法的4大模塊，即匹配代價計算、代價/支持聚合、視差計算/最優化以及視差校正。一般而言，稠密匹配的雙目視覺處理流程圖下圖所示。

▲雙目視覺處理流程圖

參考文獻：Scharstein D, Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International Journal of Computer Vision, 2002, 47(1-3): 7–42. [DOI:10.1023/A:1014573219977]

第一作者

通信作者

研究所簡介

▲研究所部分成果：倫敦塔橋模型的全過程並行數值模擬

浙江大學航空航天學院空天信息技術研究所成立於2007年，依託空天信息技術二級學科博士點。研究所支持航空航天數值模擬與驗證教育部重點實驗室（B類）的建設。空天信息技術為浙江大學自主設置的二級學科，歸屬於計算機科學與技術一級學科，由浙江大學航空航天學院與浙江大學計算機學院共同建設。研究所現有教師8人，其中教授/博士生導師2人，副教授6人。

研究所主要研究方向有航空航天計算工程、無人機指揮控制技術、無人機智能化與網路化技術、無人機視覺導航、天地一體化信息網路、飛行器綜合控制技術、科學可視化、虛擬現實與遙操作技術、飛行器信息獲取與處理技術等。研究所自成立以來承擔了包括軍工973項目、國防基礎科研項目、科技部支撐計劃項目、國家自然科學基金項目、航天創新基金項目等各類項目。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！