inside-out tracking 那麼火，它的原理呢

關於SLAM，關於VIO（視覺慣性里程計），AR醬曾經多次介紹。

inside-out這麼火，相關技術原理我們也要多學習一個嘛。

ARKit的單目VIO給我們留下了很深刻的印象，在不升級硬體的情況下，蘋果公司能單單利用手機原有的單目攝像頭和IMU完成即時定位和地圖構建，並且精度還那麼好，實在是厲害。

單目VIO由於是獨眼龍，在實現難度上比雙目方案難得多。雙目則類似人眼結構，通過自身的視覺差就能算出空間中的深度數據，所以實現起來也簡單很多。

單目VIO確實是很難，ARKit能做到目前的精度也是非常不容易，不過即便他演算法再先進，也不得不承認單目的先天不足。

ARKit相當大程度上克服了單目的尺度不確定問題，但是仍然無法解決初始化和攝像頭高速運動時產生的問題。

單目在成本和硬體需求上是最容易實現的，所以在硬體條件足夠的情況下，我們當然優先考慮更為可靠的雙目方案了。

雙目立體視覺慣性測量應用

雙目模仿了人類的視覺模式，原理相對簡單，所以雙目立體視覺系統構成的視覺里程計在三十年前就開始被研究了。

1980年代早期，NASA工程師、著名機器人學家漢斯-莫拉維克就已經製造出了這種狀態測量系統。

經過多年的努力優化，NASA成功把視覺里程計和慣性測量元件構成的視覺定位系統裝在「機遇號」和「勇氣號」火星車主頻僅有20MHz的特製晶元上，送上了火星。它們搭載當時最為先進的圖像採集與立體視覺技術，幫助探測器在複雜的星球表面完成各項未知任務。

在無人機領域，對於SLAM的研究和應用也頗為深入。國產無人機巨頭大疆在技術上有著獨步全球的實力。

例如這款大疆精靈4上，便裝配有兩套雙目立體視覺系統，一套向前看，一套向下看。

松耦合和緊耦合

開始講雙目視覺慣性里程原理之前，首先介紹兩種攝像機坐標系與慣性（來自IMU）坐標系的融合系統。

camera數據和IMU數據通常是不同步的，松耦合是攝像機與IMU這兩個模塊各玩各的，以不同的速率運算，最後再將他們的結果進行融合。

這樣的優點是保持了視覺和慣性模塊各自的模塊特性，更利於各自獨立的優化

緊耦合則是將視覺和慣性的原始數據融合在一個優化的濾波器裡面，所以不同的感測信息之間的耦合關係被考慮了，但是演算法的實時性一般很難做的很好，還有一個問題是不利於處理外部較大校正信號（如來自GPS的校正）

單目一般採取緊耦合，而雙目則相反，一般是松耦合。

這是因為單目對於IMU更為依賴，其攝像頭並不能獲取深度信息，所以只能藉助IMU 來實現絕對尺度的估計。

但是雙目並不需要，因為雙目立體視覺可以實現高精度絕對尺度的六度自由位姿解算，它本身就是一個完整的里程系統，松耦合反而可以對其各模塊進行單獨優化。

具體原理

慣性單元通過陀螺儀、加速計對旋轉角度和加速度從而對物體的位姿進行解算，建立空間坐標系。

但是慣性系統只能在短時間內有效解算位姿，所以我們將其和雙目立體視覺進行結合，獲取精確的里程計。

和單目不同的是，雙目立體視覺可以及時通過左右圖像匹配來恢復特徵點的三維坐標，克服了單目的位移尺度不確定。

雙目系統一般由兩個兩個同型號的攝像機組成，先考慮左右兩個攝像機之間存在的相對旋轉和平移關係，然後通過三角測量原理將左右圖像中匹配成功的點三維坐標計算出來。

而這其中最大的難度在於如何獲取左圖像上在右圖像上對應的點。

讓左右兩個攝像機的坐標系盡量平行，x軸在同一直線上，然後進行圖像校正。

在圖像校正後，利用特徵點匹配演算法對左右圖像進行匹配。

對於VIO，跟蹤的特徵點有一定的選取要求，需要特徵點明顯且可靠性高的點。

接下來，三維重建。

雙目立體視覺里程計演算法流程

接下來要進行對IMU和視覺系統的融合了。

慣導和視覺之間相對具有一定獨立性，在各自完成運動估計之後才進行融合，這就是松耦合。

上文中關於視覺里程的介紹中可以看到，雙目本身就可以獲取高精度的里程信息，可以對三維運動的六個自由度進行估計，不存在單目的尺度不確定，用松耦合是再適合不過了。

總結

雙目VIO除了有絕對尺度外，相比RGB-D，體積小，功耗低，也適用於各種移動端。

對於單目存在的高速運動不穩定問題，雙目也是表現出色。

不過也存在著缺陷，比如假如空間範圍大，雙目效應就得不到體現，比如俗話說望山跑死馬，因為山太遠了，雙目無法估算山的距離，這個時候就跟一隻眼睛沒有區別。應用到雙目VIO時就是，當周圍尺度大時，會退化為單目VIO，一定程度上可以通過換更高像素攝像頭解決。

還有個缺陷就是，面對一整面白色的牆，視覺系統找不到合適的特徵點，視覺判定丟失。

和先天不足的單目相比，雙目立體視覺還是要強上不少的，無論是穩定性上還是實現難度上。

不過期待利用手機上的雙攝像頭實現雙目VIO的同學還是不要抱幻想了，手機雙攝一般是RGB+灰度攝像頭組合的組合，並不能滿足雙目VIO的需求。

AR醬原創，轉載務必註明

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！