混合現實未來展望（一）

本文將為大家分享混合現實應當成為未來主流解決方案的深度分析。它不僅僅是對現有解決方案的改進，而且是徹底改造和影響各種沉浸式技術（包括增強現實）的未來和大規模應用。

混合現實研究組

混合現實研究組（Mixed Reality Research Group）是我們最近在Unity Labs內部創建的一個團隊。目的是為了研究混合/增強現實技術在未來幾年內的影響與前景，制定對應策略，幫助Unity開發者們在這新計算時代中，時刻掌握最前沿的遊戲和應用的創建、部署與消費方式。研究組進行了超前的研究，假想了長遠的未來，並預測了一些場景。我們的任務是協助研發部門為開發者提供支持，幫助他們為長遠的未來做好準備。

我們為什麼創立這個小組

原因很多，核心目的是為那些會在未來成為主流的新生技術做準備。此外，我們任務的另一個目的是探索新科技，並通過展示未來的可能性，激發開發者和工作室的靈感。

為何聚焦混合現實（MR）

虛擬現實連續統概念由Milgram 1994年的論文「增強現實：現實世界中的一種表現形式」提出。圖像編輯：Matteo Valoriani, Etna dev 2016 – 使用HoloLens的混合現實介紹

虛擬連續統的原始定義只考慮了視覺刺激來源。2009年，Jeon和Choi將其擴展到包含觸覺。在這二軸連續統中，混合現實包含了任何由現實和虛擬或觸覺元素組成的體驗。例如，我們的研究原型Carte Blanche (CB)是個Oculus Rift應用程序，程序中的虛擬桌子在現實中有一張物理桌子與其對應，由此增加的舒適度可以延長創作的時間。另外，我們使用Touch控制器API通過震動來提供觸覺反饋。這些元素使CB成為了一種混合現實體驗，明確歸於虛擬現實-觸覺混合顯示（vV-hMR）分類。

研究人員Jeon和Choi將觸覺維度添加到現實-虛擬連續統中，形成了一個2軸坐標譜，其中MR包括了現實和虛擬視觸覺元素(圖中的灰色區域)的體驗。

我們的Carte Blanche研究原型是一種混合了現實和觸覺反饋的混合現實體驗。虛擬和物理的桌子完全對齊，我們還通過Touch控制器API提供了觸覺反饋。

Jeon和Choi的「複合視覺-觸覺現實-虛擬連續統」僅涵蓋了傳統意義上的兩種人類感官。其他的呢？多感官沉浸體驗的研究已經持續了相當一段時間；早在2003年，筑波大學(University of Tsukuba)研究開發了一種包括觸覺反饋的味覺模擬器，而最近的一個味覺模擬器的例子來自新加坡國立大學(National University of Singapore)。用於在虛擬體驗期間產生氣味的系統也在進行中，就在今年，一家日本初創公司展示了一種最新的虛擬現實頭盔氣味釋放附件。那麼，我們是否應該把更多的維度添加到這個圖中，直到包含所有五個經典人類感官？或者我們應該用其他的方法來定義感官的多維度空間標準？關於現實-虛擬連續統定義的另一個重要問題是：為什麼某些感官，特別是視覺，被認為是必須的，而另一些則不是？

不管我們增加多少維度，我們研究組使用混合現實連續統概念的原因是，避免自己視野受限或局限於特定的體驗類型(如增強現實)。虛擬現實是虛擬連續統的一側端點，體驗發生在受控和純合成的環境中。它就像電視、廣播、甚至是一本書：你體驗一段時間，然後回到現實。這是一種逃避現實和體驗非真實或遙遠世界的手段，因此它可以提供豐富的娛樂/教育體驗，對於設計新場景非常重要。但是我們相信，虛擬+物理混合沉浸式技術將成為日常使用的主流。混合現實將被廣泛使用，因為它在日常生活中將表現為與物理世界具有一致性的體驗層——Carte Blanche就是一個例子。第二個例子是在現實之上疊加持久性圖層的AR技術，它最終會取代你的智能手機、電視和其他日常設備。當前的沉浸式技術浪潮始於消費者VR頭盔。能夠在VR / AR模式間進行來回切換的設備將是這一進化的終極形態。MR將成為日常生活中的主導性技術，我們將確保Unity能幫助創造者們將想像轉化為體驗。

預測

我們預想，在未來5年內，顯示解析度的巨大飛躍將推動混合現實的常態化應用，使人們能夠直接在MR設備中長時間工作。文本的可讀性將成為推動這種用法的主要因素。而在VR和AR之間輕鬆切換的能力，是另一個使常態化應用成為可能的因素。

MR已準備變得更具有社交性，但由於多人共處一室時，感測器遮擋仍然是一個問題，我們可以期待更多使用各種感測器的混合位置跟蹤技術出現；例如，我們可能會看到用於點雲生成的靜態LiDAR晶元和MR設備inside-out跟蹤技術的組合。

無線系統和眼動跟蹤將是基本配置，還有採用無線感測器的手勢跟蹤，人們會逐漸減少對他們電腦的依賴，圍坐在客廳的桌子旁，和朋友們一起玩虛擬桌游。隨著虛擬屏幕的增多，他們可以坐在沙發上看電子競技比賽，或者躺在床上玩電子遊戲。這意味著我們必須改變我們有關MR應用設計的思維定式，以適應這些新常態。

自動數字演員（全息機器人、虛擬化身）將充滿混合現實層。例如，語音助手可能會有與真人無異的帶感情的聲音，並擁有一個可與用戶進行更直接交互的虛擬軀體(也許坐在旁邊的椅子上，或者走在前面帶路等等)。

像全息機器人這樣的MR應用將會在我們的日常生活中無處不在

我們研究組將在2017-2018年做什麼？我們將做定期發布消息，但是有一些MR中我們認為應該做些改進的有趣領域，已在2017年的SIGGRAPH的演講中做了簡要的提及。

應用是無形的，而無形的東西是容易被遺忘的

正如我們在上面提到的，MR設備最終可能會取代智能手機。隨著蘋果的ARKit在所有iOS設備中都可用，以及Android設備上的谷歌ARCore，從智能手機到成熟MR設備的過渡已經開始了。隨著設備的發展，移動應用市場已經很成熟了，這導致了一個飽和問題。通常情況下，人們僅在應用程序下載後使用它一次，而且隨著時間的推移，他們會慢慢地忘記這些應用程序。

遊戲，這個被稱為「移動行業的寵兒」的應用分類，其使用時間比去年同期下降了4%。

10年後，移動行業迎來了關鍵時刻。隨著iPhone慶祝它的第一個十年，移動行業已經發展成為一個弱肉強食的世界。增長率減速可能預示著市場的成熟、飽和或僅僅是應用程序淘金熱的結束(在它們十周年的時候，移動應用開始自噬)

在一個已經達到飽和的世界裡，「1個內容/服務= 1個移動應用」的模式不再可能，而重新使用AR應用程序來替代平面應用程序的思路也不是解決方案。所有品牌/公司/初創公司都會嘗試尋找其他的載體來與消費者互動。我們正在研究如何讓MR應用程序更加吸引人，而不是成為一次性用品。正如我們的同事Mauricio Vergara所指出的，「隨著沉浸式計算的普及，實時3D圖形將成為我們與世界互動的方式。」

擴展混合現實超越現有觀念

到目前為止，MR應用程序被主要設計為單獨和單一使用的實驗性產品。因此，今天許多的用戶場景都是在某種程度上受限的，而且似乎更傾向於被認為是一種新奇事物而非可行的解決方案。

「最令人興奮的混合現實體驗包括實時和三維環境映射，這使得虛擬物體能夠與現實世界中的表面和物體進行交互。」例如，一個電腦生成的生物可以站在桌子上，或者藏在桌子後面。(為什麼谷歌和蘋果將會統治混合現實 —— Mike Elgan)

要創造未來的應用，我們必須改變陳見，問自己一些有趣的問題：當我們閉上眼睛，現實會消失嗎？在未來，設備可能不再被用來生成沙箱現實，而會變成將用戶與某個持久現實層進行連接的工具。例如，博物館可以為藝術品創建互動式字幕，體育館可以在運動場中的運動員身上顯示實時虛擬效果，餐館可以在餐桌上顯示互動式菜單……等等。可能性是無限的，在這樣未來，用戶只需要在合適的地方就可以使用疊加層。像谷歌的視覺定位服務(VPS)這樣的平台可以提供快速、精確的室內定位和理解，將有助於在任何地方提供無縫的增強體驗。MR研究小組將致力於創造能幫助用戶和開發者將他們的想法與這種新視角結合的工具。

未來的MR體驗應當更具社交性

當前許多MR體驗並沒有足夠強大的社交部分，最終使用戶和觀察者都變得孤獨；我們想要幫助打破這種困局。過去的一年裡湧現出了一些值得注意的社交VR應用，但製作社交增強現實體驗要困難的多，而且仍處於初級階段。通常，即使觀察者和參與者在同一個房間里，觀察者也很難想像出用戶的體驗，因為他們看不到任何東西。

過去的幾個月里，我們在活動中觀察了許多增強現實用戶；我們的結論是，他們會感到無聊，不再和佩戴者互動，有點視而不見的樣子(這裡有一些視頻例子)。同樣的，要記住VR的流行並不是因為那些嘗試VR頭盔的人，而是那些在YouTube上用「混合的現實形式」進行演示的人。同時看到內容和用戶反應是觀察者產生興趣的原因。

Mark Billinghurst告訴我們，增強現實可以產生移情計算：「允許我們與他人分享我們所見、所聞和所感的系統」。這是一個了不起的想法，但是就像獲得新的超能力一樣，它是要付出代價的。強化社交性會自然引發關於隱私和自由的問題，這對於未來的沉浸式技術來說，不論實現的具體細節為何，都將是一個大問題。每個相關人員都必須考慮隱私和自由：工程師、美術人員、設計師和決策者。由於MR技術可能在10年內變得無處不在，相關討論需要從現在就開始，而我們將貢獻自己的一份力量。

MR的社交方面對於個人和商業用途都很重要

遊戲創作進化

遊戲和遊戲創作的未來從未如此光明。MR帶來了一個全新的時代，充滿了新的遊戲類型和新的遊戲方式。身處Unity的我們是能夠影響那個未來的。我們的研究組將協助研究在這個混合現實的新時代里，遊戲能夠如何演化，以及將會如何演化。遊戲將如何進行？它們會在何時運行？它們的位置與參與是否多變？它們的製作方式將會變成怎樣？這些都是重要的問題，而混合現實提供了一大堆的可能性來回答這些問題。我們的部分工作有希望幫助Unity走向那個未來。話雖如此，Unity的核心優勢在於它的開發者社區，而我們研究組的工作將會影響一個具體計劃的產生。這個計劃能使我們的開發者在這新世界中立於潮頭。我們將與Unity中的其他團隊一起參與創建新的和改進的MR相關開發工具，以幫助我們的用戶取得成功。

結語

今天就為大家分享到這裡，後面我們還將繼續和大家探討上述問題的含義，並將深入探討我們在面對這種新媒體時，所面臨的設計挑戰，在Unity官方中文社區（unitychina.cn），請保持關注。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！