AR目前無法跨越的三座高山： 視場角、理解物體和自適應設計

沉浸感按：蘋果和谷歌相繼加入 AR 戰局後，該技術的火熱程度瞬間被拔高了一個層次，在數千萬潛在用戶面前，開發者也鼓起了幹勁，準備為市場提供吸引力十足的沉浸式 AR 體驗，那些我們在視頻上見識過的神奇魔法彷彿即將成真。

確實，我們比以往更接近夢想成真，但事實上在沉浸式 AR 進入主流之前，我們在研發和設計上依然需要多年的努力。下面，我們就對 AR 面臨的三大關鍵挑戰進行一次概覽。

沉浸式視場

同樣的VR體驗中，不同視場效果比對

在 YouTube 上看炫酷的 AR 演示（沉浸感此前介紹過很多）是一個事，在現實中體驗 AR 又是另一個事兒。即使是今天最為先進的便攜 AR 頭戴設備在視場方面也不夠理想，甚至與 VR 設備還差著一大截呢。

就拿微軟 HoloLens 來說，它已經是市場上能買到的最好的 AR 頭戴設備了，但視場卻只有可憐的 34 度，而就連谷歌的廉價 VR 產品 Cardboard 都有 60 度的視場。

對 AR 來說，視場相當重要，因為要實現一定的沉浸感，AR 世界必須與現實世界無縫融合。如果不能實時看到眼前的 AR 世界，你就會不自然的挪動頭部「掃描」周邊環境，就像通過望遠鏡在看世界。這樣一來，大腦就無法通過直觀的映射將 AR 世界看作真實世界的一部分，所謂的沉浸感也會化為烏有。

其結果自不用說，沉浸感不夠強，無法變成人們的自然意識，也意味著，這並不能成為針對消費和娛樂市場的自然的人機交互。

不過，現在不是有了 Meta 2 AR 眼鏡嗎？它的視場可是達到了 90 度，難道這也不行嗎？

確實，Meta 2 是市場上視場最為寬廣的 AR 頭戴設備，它幾乎能與現在的 VR 產品媲美，不過 Meta 2 依然非常笨重，如果不犧牲一定的視場，就無法縮小光學系統的體積。

Meta 2 AR 眼鏡

Meta 2 的光學組件其實非常簡單，頭盔上那個巨大的「帽檐」裡面藏著一個類似智能手機的屏幕，這塊屏幕角度衝下面向地面。此外，那塊巨大的塑料護目鏡則內部鍍銀，它會把屏幕上顯示的畫面投射到用戶眼中。如果想縮小頭戴設備的體積，就得把屏幕和護目鏡同時縮小，這樣視場角度也會跟著縮小。對開發者來說，Meta 2 是絕對的神器，但如果放在消費市場上恐怕難有消費者問津。

ODG R9

ODG 也在運用類似方案做 AR 眼鏡，不過它們的光學系統有所瘦身，視場也降到了 50 度，一款名為R-9 的產品售價依然高達 1800 美元。以消費市場的角度來看，這傢伙不但價格不合格，體積也不合格。與其相比，運用光導式技術的 Lumus 則利用 2 毫米厚的光學系統實現了 55 度的視場。

Lumus

雖然 50 度的視場已經相當不錯了，但與頂級 VR 設備 110 度的視場相比還是差距太大，而且消費者對視場的追求是無窮無盡的。Oculus 此前也表示，想實現真正的沉浸感，視場至少要達到 90 度，因此 AR 必須儘快翻過這座大山。

理解不同的物體

蘋果的 ARKit 和谷歌的 ARCore 都能給你帶來新穎且漂亮的 AR 體驗，但由於智能手機能力有限，這兩套系統只能理解平面上的「新世界」，這也是如今 iOS 上 99% 的 AR 應用在牆面或桌面上玩耍的原因。

為什麼非要是桌面或牆面？因為它們容易分類。地板或牆壁的平面與另一地板和另一牆壁的平面相同，所以系統有信心假定這一平面能夠向所有方面延展，直到與另一平面相交。

注意，在這裡我用了「理解」（understand）而非「感知」（sense）或「探測」（detect）等詞語，這是因為系統雖然能「看到」物體的形狀（除桌面和牆壁以外），但卻無法理解它們。

打個比方來說，當你看著一個杯子時，看到的絕對不是一個形狀。而且你已經對杯子非常了解，那麼了解程度有多高呢？

1. 你已經知道杯子與它所在的平面截然不同；

2. 即使不看杯子，你也知道它有能容下液體和其他物體的空間；

3. 你深知杯子里的液體不會冒出杯口；

4. 你知道我們能用杯子喝水；

5. 你清楚的知道杯子很輕，容易被撞倒，從而導致杯子內物體被拋灑出來。

……

看起來有點傻，不過我還能繼續往下說。這裡我列出以上的文字主要是為了告訴大家，我們知道的常識計算機可不知道。它們只能看到一個形狀，而不是一個杯子。計算機無法得到杯子內部的完整視圖並映射出完整的形狀，計算機甚至不能假定杯子內部存在一定的空間。同時它也不知道杯子是獨立於其所在平面的一個對象。但你知道這一切，因為在你看來它就是一個杯子。

對計算機來說，只看到一個形狀可不行，它必須「理解」這個杯子。這也是多年以來我們在 AR 演示中把基準標記附加到物體身上，以實現更細緻的追蹤和交互的原因。

那麼為什麼讓計算機「理解」杯子這麼難呢？第一大挑戰在於分類，杯子有數千種形狀，大小，色彩和紋理。一些杯子還擁有特殊的屬性和用途，因此不同的杯子會適用於不同的場景和背景。

如果要類比，其難度就相當於寫一個幫計算機理解以上所有概念的演算法，或者說寫幾行代碼來向計算機解釋杯子和碗之間區別。

僅僅是解決一個杯子的問題就能帶來如此巨大的挑戰，所以想把世界上成千上萬的物體都囊括進來就更加困難了。

如今，以智能手機為基礎的 AR 確實可以融入周邊環境，但交互起來卻很困難，這也是蘋果和谷歌不約而同選擇桌面和牆面的原因。現有系統無法與我們周邊的環境進行令人信服的交互，因為系統雖然能夠「看到」地板和牆壁，但無法「理解」它們。

想要我們幻想中的科幻式 AR 成真（如 AR 眼鏡直接顯示咖啡的溫度或微波爐剩餘時間），我們需要系統對周圍的世界有更深刻的「理解」。

那麼我們要如何跨越這座高山呢？答案中肯定要有所謂的「深度學習」。我們必須為各種類型的物體編寫出手寫分類演算法，而且要知道，即使是普通演算法也是超級複雜的任務。不過，我們可以訓練計算機神經網路，把這種神經網路設計為擁有隨時間發展而自動調整編程，並具有可靠地檢測周圍常見物品的能力。

業內已經有人開始在該領域進行探索了，他們也取得了一定的突破。在下面的視頻中，系統在檢測任意人類、雨傘、交通燈和汽車之間的差異上已經有了初步能力。

使用 Tensorflow API 的物體識別

下一步，我們則需要大幅擴展分類，然後將以圖像為基礎的探測和與從 AR 追蹤系統採集到的實時環境映射數據融合起來。一旦我們能將理解周邊世界的能力賦予 AR 系統，就可以著手解決 AR 體驗的適應設計挑戰了。

自適應 AR 設計

第三個問題還是要先打個比方。對於網路開發者來說，可靠、實用的設計規則是多年開發的成果，這也是網頁能適應不同屏幕形狀的原因。不過，與自適應 AR 設計（Adaptive AR Design）相比，這隻能算是一個簡單的任務，因為後者需要涵蓋跨越三維的任意環境。

這並非一個簡單的問題，即使在 VR 遊戲設計行業，設計師還處在解決該問題的基礎階段，他們只能針對不同的遊戲場所大小進行設計。一般來說，VR 遊戲場所都是正方形或矩形，而且這塊空間都是玩家獨佔，而 AR 要解決的麻煩可是複雜得多。

想像一下，即使住對門的鄰居，家裡的傢具和物品擺設也完全不同，因此要找到打造令人信服娛樂體驗的方法，設計師還需要打磨多年。畢竟這種娛樂體驗需要一個近乎無限的環境需求，它需要覆蓋從地面到天花板再放大到數以百萬計家庭和建築的空間，當然室外環境也不能忘掉。

你可能會認為打造一個簡單的 AR 射擊遊戲並不困難，因為遊戲中的 NPC 會從特定房間中鑽出來。不過別忘了，如果不預先對環境進行映射，AR 系統連屋子裡有另一個房間都不知道。

假設我們已經解決了物體分類問題，即系統已經可以在人類層面上理解你周圍的對象，那開發者該怎麼利用這一突破打造遊戲呢？

假設我們要打造一款簡單的農場遊戲，玩家可以在增強現實中種植並用杯子澆灌農作物，但如果你周邊沒有杯子呢？是不是這遊戲就沒法玩了？當然不是，開發者聰明著呢，他們準備了不少備用方案。玩家可以將手握成拳頭當杯子，傾斜拳頭時，水就會流下來。

搞定了以上這些問題後，我們就可以著手種地了。美國開發者希望玩家能準備一個屋子種十排玉米，但對於歐洲玩家來說，這樣的空間實在是太奢侈了，家裡根本沒有這麼多的空間供 AR 娛樂使用。

如果需要，這個故事還能繼續講述下去，但總的來說，如果我們想體驗不只是局限於地板和牆面的沉浸式 AR，我們需要設計出自適應 AR 遊戲和應用，它們會充分利用到我們周圍的空間和物體。通過一些巧妙的設計，我們就能控制無數的變數。

自適應 AR 設計是三大挑戰中最難實現的，但在能滿足需求的設備誕生前，我們可以先進行理論設計。

去年，不斷有人提出意見，稱 AR 和 VR 在成熟度上可以旗鼓相當，但事實上 AR 比 VR 落後好幾年。AR 確實是一個令人興奮的產品，但從硬體到感知再到設計，都有巨大的進步空間。現在的 AR 確實趕上了好時候，這一領域相當開放，留給新來者去突破的機會和空間也很多，如果你有信心，現在絕對是進軍 AR 的好時機。

via RoadtoVR 沉浸感編譯

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！