iPhone＋紙盒眼鏡如何實現 Inside-Out 追蹤？

因為 ARKit 是針對 AR 場景開發的，所以對快速旋轉跟蹤的並不好。這種局限就造成了 Luke Ritchie 描述的現象：「只是對類似看畫廊的那種平移移動效果比較好。」

GIF/86K

iPhone+紙盒眼鏡？Inside-out被玩出新高度

ARkit 的推出令不少開發者躍躍欲試，最近腦洞大開的 NexusStudios就借用蘋果的這款 AR 框架將 Inside-Out Tracking 玩出了新高度。從該團隊發布的段視頻中我們可以看到，只需戴上 Cardboard ，用戶就可以在 VR/AR 之間任意穿梭，暢享虛擬現實與真實空間交互的樂趣！

Nexus Studios 測試視頻

Nexus Studios 的互動藝術部門負責人 Luke Ritchie 向媒體透露，"說實話，十分鐘的測試顯示，在配合 ARkit 的 iPhone 7 上實現 AR 效果並達到每秒 60 幀 VR 畫面 Inside-out 追蹤，是完全有可能的。但頭部快速轉動就甭想了，畫面會不穩定的。快速移動下稍長的延時，仍然是阻礙這一技術向消費者市場轉化的一大板斧。"

GIF/86K

耍寶背後的原理認知

為什麼會出現 Luke 所說的現象呢？我們 uSens 凌感的技術副總裁馬賡宇博士在接受雷鋒網採訪時如此解釋道：

ARKit 的 SLAM 技術，是基於單目相機和 IMU 感測器融合的，它可以通過對攝像頭圖像中的特徵點識別和跟蹤重建現實場景的 3D 模型。但單目相機的缺點就是無法得到尺度信息，因此還需藉助 IMU 中的陀螺儀和加速度信息進行融合，得到場景的真實尺度信息。

測試場景

無論是 VR 還是 AR，估算 SLAM 空間定位的技術都是一致的，只是顯示的內容不一樣。SLAM 識別出雙眼在世界坐標系下的位置，AR 應用中是把一個虛擬物體顯示在一個世界坐標系中的某個位置，同時顯示真實場景的內容；VR 應用則是只顯示虛擬物體，不顯示真實場景。

因為 ARKit 是針對 AR 場景開發的，所以對快速旋轉跟蹤的並不是那麼出色。這種局限就造成了 Luke Ritchie 描述的現象：「只是對類似看畫廊的那種平移移動效果比較好。」

GIF/86K

ARkit ，你距離我們有多遠？

解剖完原理後，我們來探究一番 ARkit 距離落地普及還有一段多長的路吧。

從硬體成本來考慮，深度相機成本最高，雙目次之，單目最低。與價格相對應的是，硬體性能也隨之遞減。深度相機能夠處理的數據量很大，計算比較複雜；雙目可以通過單幀圖像得到場景的真實尺度且初始化比較簡單，但是由於基線長度限制，對太遠的場景初始化不好；單目使用的信息最少，但估算尺度仍需要較高的 IMU精度，跟蹤丟失時需要相對較長的時間進行初始化。

高性能伴隨著高價格或產品稀缺性，這對大眾市場來說並不是一個好消息。馬博在此以谷歌的 Tango 舉例道：Tango 的硬體普及與消費市場仍有一段距離，開發者必須要特殊的硬體才能用，所以一般也不會在 Tango上開發應用。而應用內容的缺乏，又構成了阻礙消費者購買 Tango 手機的一大因素。

可以試驗卻不能普及到大眾消費市場，類似的小尬舞經常在新興技術領域上演。但Nexus Studios 的測試至少某種程度見證了 ARkit 框架下 Inside-Out 追蹤的可行性。

編者註：

需要指出的是，蘋果的單目 SLAM 在 VR 中效果不好，並不意味著其技術就差了，只是他們沒有針對 VR 場景。同樣用單目相機，高通的效果就好很多。

單目相機也是可以獲得精確尺度的。只是需要比較長的初始化時間，需要對著場景移動幾秒鐘。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！