亮風台2D AR演算法新突破，奪冠世界權威評測｜ICRA 2018

在目前的AR應用中，2D AR跟蹤，如海報、卡牌等平面物體的跟蹤已經成為核心技術之一，在營銷、教育、遊戲、展示展覽等方面都很常見。然而，儘管近年來2D AR跟蹤演算法已經取得了很大的進步，但在一些外部條件、環境因素影響下的效果仍然有很大提升空間，如何處理光照變化、運動模糊等因素帶來的挑戰，也是目前進行底層演算法研發的AR公司以及學者的研發熱點。

雷鋒網近日消息，AR公司亮風台在2D AR跟蹤方面取得了新突破，其研發人員提出的基於約束置信度的魯棒跟蹤演算法（CCM），提高了在局部遮擋、光照變化和運動模糊等各種因素干擾情況下的魯棒性，並在UCSB和TMT兩個國際評測集中刷新了最好成績。目前，這一成果已經在機器人領域頂級會議ICRA 2018上發表。ICRA 是機器人領域三大頂級會議之一（其它兩個為IROS和RSS），AR跟蹤的很多經典工作（例如ESM跟蹤演算法）都曾在ICRA和IROS上發表。

在局部遮擋、運動模糊和照明改變條件下的CCM演算法效果示例（只顯示在目標周圍放大的區域以便展示）

據了解，這兩年亮風台依然有不少工作在針對2D AR的演算法優化，在2017年的ICRA上發表了針對光照變化的基於梯度方向的AR跟蹤演算法；同年提出的基於圖匹配的跟蹤演算法利用圖結構來處理目標物體內部的空間關聯，從而實現在強幹擾的準確平面物體跟蹤，該工作已被人工智慧領域國際頂級期刊《PAMI》（IEEE模式分析和機器智能彙刊）錄用。其它在CVPR、ICCV、ECCV、ICRA、ISMAR、PAMI 等AI、CV、AR相關領域頂級期刊會議上公開發表的研究成果涉及圖像語義識別、人臉圖像分析、手勢識別、AR場景建模定位、超圖匹配，視覺顯著性等方面。

跟蹤平面物體，例如2D標記，通常是相機定位和場景配準的重要步驟。在過去的幾十年中，大量的研究致力於視覺跟蹤問題，平面目標跟蹤的流行方法可以大致分為基於關鍵點的方法和基於模板的方法。基於模板的方法直接利用像素的外觀而不提取特徵，並基於牛頓法或其變體優化模板與捕獲圖像之間的相似性度量，以確定平面的姿態。

不同與傳統的基於模板的跟蹤方法，CCM（ Constrained Confidence Matching）根據測量雜訊對每個像素分配不同的匹配係數，而不是在計算運動參數時對模板中的每個像素進行相同的處理。在此基礎上，為了進一步提高對光照變化和重運動模糊的魯棒性，亮風台研發人員還提出了一種魯棒卡爾曼濾波器，它採用新的控制輸入模型來處理物體的外觀變化。

給定目標的初始圖像或位置，新方法（即CCM）自動從視頻中跟蹤定位目標所在位置。

第一步：從視頻第一幀中提取目標區域作為模板T；

第二步：從視頻讀取下一幀圖像It；

第三步：在圖像It中跟蹤匹配目標；

第四步：根據第三步的跟蹤結果更新模板T。

第五步：跳轉到步驟二處理下一幀圖像。

為了徹底評估，CCM演算法在兩個公共數據集上進行了測試：加利福尼亞大學提出的UCSB基準和加拿大阿爾伯塔大學提出的操作任務跟蹤（TMT）基準。UCSB數據集包括96個視頻流，顯示6個不同紋理的平面目標，總共6889幀，具有幾何失真（搖攝、縮放、傾斜、旋轉）、九個運動模糊等級以及不同的照明條件，所有幀都受到不同程度的噪音影響。TMT數據集由人為和機器記錄的操作任務的圖像序列組成，它包含109個圖像序列，共70592幀。

對應於每個視頻類別的平均跟蹤精度匯總在表I（UCSB）和II（TMT）中，如下：

從實驗結果可以看出，所提出的CCM演算法在兩個數據集上顯著地優於所有基線。事實上，CCM在幾乎所有視頻類別中都獲得了最佳或幾乎最佳的跟蹤性能，明顯優於現有的主流跟蹤演算法，如基於關鍵點的跟蹤（keypoint-based tracker）,基於模板的跟蹤（ template-based tracker）以及概率跟蹤（probabilistic tracker），並且它對於極端姿態變化以及嚴重的環境擾動都表現出很高的魯棒性。

CCM演算法與其他演算法相比，在各類內在和外在變化的幾個典型示例如下，包括具有重複圖案的圖像傾斜；劇烈而動態的日落畫面引起照明變化，紋理非常弱；存在部分遮擋；運動模糊，在這種情況下檢測不到可靠的關鍵點。

AR的研究仍需持續努力

儘管計算機對於「常規」平面物體的認識已經能達到很高的速度、精度，以及穩定性，但這明顯還不夠，研究人員希望計算機能夠儘可能「模擬」人的視覺效果，甚至在一定條件下超過人眼，這樣，在演算法工程化之後面向普通用戶時，才能保障優質的用戶體驗，如在傳統的平面物體跟蹤中，容易出現快速運動丟失或漂移等現象，反映到用戶體驗上，車窗外的廣告牌就容易識別不到，在走動過程中玩AR遊戲發現地面上的傢具會「飄」起來等。

這就需要相關的學術人員以及企業研發人員不斷的優化演算法、提出新方法，如此才能結合不斷升級的硬體環境實現高度的市場化。對於目前的2D AR甚至整個AR行業來說，需要從業人員把現有技術應用化市場化，但同樣需要大量真正的創新人員向前推進底層技術邊界，讓AR走向成熟。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！