混合現實未來展望（三）

在《混合現實未來展望（一）》中，我們總結了混合現實在適應主流的過程中，當前所遇到的和未來將面臨的問題。在《混合現實未來展望（二）》中，我們探討了這種新的混合現實媒介的開發人員將會面臨的設計挑戰。在這個系列之後一個部分中，我們將分析基礎性平台的進化方向和必要性，並勾勒出我們眼中未來MR應用程序的創造和執行方式。

基礎的MR服務

Unity提供的用於創建應用程序的工具和服務必須存在於一組基礎服務中並與之進行交互，而這些應用程序也要具備這樣的功能。因此，為了了解MR創造與應用的未來和發展方向，我們需要進行回顧，全面思考。

2014年Facebook收購了Oculus，開啟了消費者虛擬現實設備和應用的最新潮流，由此，混合現實被預測成為下一個計算平台。Goldman在2016年初表示，VR和AR有潛力「從特定用例發展成為更廣闊的計算平台」。2017年3月份一篇題為《下一代移動計算平台：一副太陽鏡》的福布斯文章預計隨著基礎軟體和服務的相應發展，MR眼鏡將取代手機、顯示器和電視機。

來自路透社的一些文章將這一新興平台視為增強現實、人工智慧和雲服務的組合體，我們可以發現主要的科技公司都在文章中提供自己的觀點和方案。Clay Bavor認為VR、AR與人工智慧和機器學習的結合，使「組織世界信息成為Google下一階段使命」。 憑藉Windows 10 Fall Creators 更新和VR / AR設備，微軟旨在構建「讓每個人都能創造的平台」。今年6月，蘋果公司推出了具有iOS 11的ARKit，他們在演講中展示了A11仿生晶元，該晶元擁有可進行人工智慧計算的神經引擎，其設計初衷是用於人臉識別。

操作系統和平台服務已經擁有沉浸式技術特徵。Android Nougat在操作系統級別對虛擬現實進行了支持和優化。 Windows混合現實平台API也是通用Windows平台的一部分。正如我們在今年的Keynote主題演講所看到的那樣，蘋果公司的新硬體是為AR和AI而設計，並與操作系統及SDK緊密耦合，以獲取最優性能。現在，MR操作系統中還缺少什麼？ 它會是什麼樣子？

來自第14屆操作系統熱點研討會的一篇論文，探討了操作系統應如何發展以支持AR應用。由於AR需要自然用戶輸入，作者在其環境下重新設想輸入是對現實世界的連續感知。由於敏感信息與原始數據混合，所以需要分析用戶隱私機制。此外，文章認為感測器輸入訪問不應該一次限於一個應用程序; 相反，希望讓來自不同供應商的多個AR應用程序同時讀取感測器輸入並在共享3D現實中渲染虛擬疊加層。文章還指出，傳統GUI中的合成窗口抽象不再可行，因此操作系統必須演變，「將3D對象暴露為顯示抽象，並在3D空間中執行顯示隔離和管理」。而在AR應用程序（例如計算機視覺和AI）中非常常見的功能應該從應用程序剝離並成為專用操作系統的模塊。

現在，我們正在重新思考「一個內容或服務等於一個應用圖標」的原則。我們認為MR應該是以人為本，以對象為中心，以世界為設備。所以我們正在重新審視應用程序作為單獨圖標顯示，而用戶必須點擊才能執行的這種做法。在新型計算平台中，計算機視覺和AI是基礎性服務，我們設想的MR體驗不僅會在用戶要求時，而是在用戶需要時啟動。例如：當用戶拿起物理的玩具槍時自動啟動戰鬥遊戲，當用戶從冰箱中挑選一頓晚餐時，出現微波烹飪說明。這需要操作系統的平台服務允許應用程序註冊其啟動條件，作為一種移動設備上的自動定位型任務擴展。

在之前的文章中，我們提到了我們的規劃，MR設備之外的感測器將填充我們周圍的物理空間。物聯網將與MR可穿戴設備進行雙向通信。很明顯，這個場景是受Vernor Vinge的Rainbows End啟發的。「現在的加密機器無處不在。它們潛伏在牆上，藏在樹中，甚至散落於草坪。它們每天二十四小時都默默無聞地工作」。但是已經有一些通用感測的案例。例如：卡內基梅隆大學的合成感測器計劃。有了感測器才能更好地了解物理世界。但正如Greg 在本系列第二部分中所指出的那樣，世界即遊樂場以及使用戶與其周圍的有形世界保持聯繫，也需要在混合現實中操縱物理對象的能力。Reality Editor和Open Hybrid 是目前實現這種雙向通訊的較好例子。對於新興的MR計算平台來說，這意味著，MR眼鏡的操作系統服務應該將輸入/輸出設備的概念擴展到新的非本地硬體，這些硬體在運行時可以進行識別、連接或控制。即當進入房間時，識別並連接到環境感測器，或在運行時識別並與智能戶外攝像機進行交互。這樣的話，單獨的應用程序不必每次重新啟動。因此，根據目前的趨勢和我們對「下一個計算平台」發展方向，我們研究工作的進行了一些假設：

連接不是問題：第五代（5G）無線網路預計將與固定寬頻競爭。光保真（LiFi）通信已經部署，預計將在美國和歐洲或世界上其他地區很快上市。

操作系統和平台將提供機器學習和計算機視覺服務，並允許與物聯網進行雙向通信。

雲服務將允許存儲持久矩陣,即物理世界的數據副本，以及同步的共享混合現實。 通過這種方式，設備將成為進入持續現實的窗口。

連接到IoT的各種感測器和設備將遍布周遭並與MR設備進行雙向通信。

當然，我們並不完全知道基於這些假設的服務和技術將如何成型，以及對Unity引擎可以創造的功能會產生什麼深刻的影響。 此外，數據隱私和安全隱患巨大，需要每個參與者認真考慮。我們希望我們的實驗能夠帶來一些答案，並在正確的方向上將混合現實塑造成主流。

增強應用

在《混合現實未來展望（二）》描述的世界中，我們假象了使用環境應用程序形式的MR體驗，比如提供的名片和麥片盒遊戲。這類應用程序需要改變部分創建和開發的方式。

首先，我們提出，在需要時啟動MR體驗。作為在Unity中創建MR應用程序的過程的一部分，創建者應該能夠指定啟動應用程序必須滿足的條件。我們用環境觸發器（contextual trigger）這個術語來定義它。環境觸發器是用戶激活MR體驗的虛擬或物理環境的標準。它們可以是某個時間、GPS坐標、靠近特定物理對象、基準標記、互聯網設備上的序列號等。通過腦機介面，及隨著神經科學和機器學習的進步，環境觸發器將會來自用戶的意圖、偏好和行為。特定體驗的環境觸發器將進行一組判斷，在有效時啟動MR體驗。

其次，我們提出遠離那些以獨立可執行文件形式存在，並運行在自己內存空間中的應用程序。以環境應用程序取而代之。環境應用程序是一組能訪問持久現實，並可以定義MR體驗的數據集合。簡單來說，我們將「互動式應用程序」的經典定義「增加」為：

環境觸發器。

應用程序邏輯，又稱互動規則：如何與用戶和世界交互。

Assets：在客戶端上渲染的3D / 2D視覺和音頻。

環境觸發器和應用只是即將到來的研究和實驗的基礎概念。我們目前正在對它們進行闡釋和原型設計，但還有更多的問題需要回答。例如：當3D對象，而不是窗口是顯示抽象時，Unity畫布應該怎麼樣？如何將物理對象帶入創作過程？在編輯現實時，調試器或觀眾模塊是什麼樣的？

「編輯現實」是一個重要的主題。我們不僅需要考慮應用程序如何使虛擬和物理現實交互，而且還要考慮創建這些應用程序的過程。

這裡有一個模擬應用程序的視頻，探索如何在MR中創建MR環境應用程序。通過重用許多熟悉的UI元素，向純虛擬UI邁出了一小步。工作區周圍的框架被作為容器，UI被錨定在框架外面，那樣將框架拖向新的物理對象時將會帶動UI元素。該框架還引導用戶並指示在哪裡查看以激活/停用UI。正如《混合現實未來展望（二）》所述，UI應該是乾淨、微妙、高效和環境相關的。 這一步是一個進化，而不是一個革命，這樣它可以馬上投入應用，但是我們正在不斷重新思考UX和交互，為了實現物理屏幕都能消失的那個未來。

使用ARkit呈現（或捕獲）的模擬應用程序，展示如何在MR中創作MR環境應用程序

結語

我們正在為這些以及更多的想法製作原型，以理解差距，並推動創新。我們將及時公布相關信息在Unity官方中文社區（unitychina.cn），請保持關注！

感謝本文的主要作者UX / IxD設計師和未來學者Colin Alleyne，感謝Unity Labs的創作工具組編寫了視頻中顯示的模擬應用程序。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！

本站內容充實豐富，博大精深，小編精選每日熱門資訊，隨時更新，點擊「搶先收到最新資訊」瀏覽吧！

請您繼續閱讀更多來自 Unity中國 的精彩文章: