與虛擬互動—混合現實

原標題：與虛擬互動—混合現實

本文主要內容

1.混合現實是一個全新的，與以往完全不同的媒介

2.當前的默認交互模型過於簡單，限制了我們用混合現實技術所能做的事

3.為了改善這種情況，我們需要研究更自然的與世界的交互方式，並且做以下四件事

· 在真實世界裡放置交互元素以藉助觸覺反饋

· 允許直接操縱虛擬對象

· 在桌面以上用空間錨點來拓展界面

· 利用3D聲音提升定向提示的體驗

這將支持我們做兩件很棒的事：將我們變成超級人類，並且可以讓我們將人的感官加到技術中，來更好的與虛擬物體交互

前言

雖然現在頭戴式虛擬現實設備和應用程序已經誕生了幾十年。但混合現實（增強現實的一個子集） 直到最近才因有了實驗原型而慢慢成熟。我們通過建立原型的方式研究更自然的交互方式，並且探索它除了在平常的娛樂與遊戲之外的潛在用途

我們正在聊的這個混合現實到底是什麼？

每當我們談起混合現實，就會經常提到微軟Holoenlens，一個頭戴式的，有異於VR的設備，它可以讓你像戴著一副太陽眼鏡一樣觀察你周圍的世界。

Hololens在真實場景中覆蓋上虛擬的元素或者全息圖，並且由於沒有用相機去記錄場景再反饋到屏幕上呈現一個「真實」世界的必要（就像你手機上的AR程序一樣），它在感知上讓用戶感受不到延遲。你可以像平常一樣看物體，而相應的虛擬元素已經添加到了這些物體上。除此之外它還會通過一整套的加速度感測器，羅盤和其他感測器組成的設備，實時的3d掃描你所處的空間。更贊的是，它還有一對3D揚聲器，能感知到3d空間的聲音。

當前交互模型有什麼問題？

當前的交互模型是基於一套很老的VR模式的，它需要利用你的視線去移動屏幕中心的十字線到一個物體上，然後用「捏」的手勢與它交互。這樣雖然實現起來很簡單但卻極其不自然。試想我們平時會有多少機會站在原地不動，來回移動我們的頭部，然後舉起我們的手到半空中呢，與此同時，在觀察你的手勢與周圍環境關係上，這種交互方式也是不盡如人意的。因為用戶很難實時的感知到自己在房間中所處的位置，這讓用戶感到不適。

因為MR從根本上說是一種增強真實世界的新媒介方式，它不是將我們變成一個虛擬的人。因此我們必須在我們對周圍真實世界的感知中尋找MR交互的線索。

今天的人類其實和50000年前的人類是相仿的。我們通過感官的組合來感知事物，首先最重要的是視覺，其次依次是聲音、嗅覺、觸覺和味覺。我們與這個世界互動最多的方式是通過觸摸－我們點擊按鈕，觸摸物體表面，旋轉旋鈕，移動物體等。當我們表達我們的想法或參與到一個談話時，觸覺會緊跟著聲音。更微妙的是，我們平時觀察一個事物。有時周圍的人也會無意識的去看它。

在我們的工作場所和家裡，我們經常根據功能區域來移動，從辦公桌，到工作台，或者相片牆和廚房

我們該如何改進它？

理論上，我們認為有四種方式可以讓虛擬維度的交互體驗變的更好、更直觀：

1. 在真實世界裡放置交互元素以藉助觸覺反饋

2. 允許直接操縱虛擬對象

3. 在桌面以上用空間錨點來拓展界面

4. 利用3D聲音提升定向提示的體驗

在真實世界裡放置交互元素以藉助觸覺反饋

在真實對象的表面上放置交互元素可以讓交互變得更真實，他們不僅能看到，並且在他們觸摸時由於實際的手感，他們還能感覺到。這樣的設置可以很明顯的增加精準度，並且可以節省掉必須在空中空舉手臂的體力。（這仍是超聲觸覺交互的一個問題）

允許直接操縱虛擬對象

讓用戶直接操作對象而不是使用一個界面元素，比如移動或旋轉物體。

這減少了認知負荷，可以讓他們忘記界面本身，更專註在他們正在執行的任務上。如果物體漂浮到了半空中，可以給出一個簡單的提示，這對於交互體驗是很有好處的，這樣可以讓用戶再一次回到使用真實觸感的交互體驗中。

在桌面以上用空間錨點來拓展界面

藉助像hololens的頭戴式MR設備，我們可以將物體與界面元素放置在我們周圍的空間中，而不僅僅是我們面前的一個桌面。這擴展了桌面以外可用的交互區域。它為我們提供了創建焦距區域交互的能力，我們可以在物理空間上的移動，這就像是在一個真實的車間工作一樣。同時作為附屬的好處，這樣做還可以簡化個別的交互介面，並且可以幫助檢測解析度的問題。

利用3D聲音提升定向提示的體驗

空間聲音可以為我們提供關於我們周圍物體的狀態和位置的微妙信息－從我們點擊一個交互按鈕的咔嚓聲到遠處物體發出的一個溫和提示。聲音比視覺在一個更無意識的層面運行。當我們有意識地引導視覺朝向物體時，聲音可以從它的發射器向我們發出。這意味著我們不僅能通知用戶一個對象的狀態（舉例來說，火車到站了或者一個烤箱正開著），還有他們的方向，並且可以引導用戶朝向物體。再加上其餘的感測器設備以及頭戴設備上的語音控制。這種組合方式可以滿足一些非常高級並且自然直觀的場景。比如，3D聲音通知從對象的方向發出。用戶就會朝向它（縮小尋找的範圍）並且發出一個針對於那個對象的及時語音命令。這樣AI的負載就減少了，機器也會更快的給出相應地響應。

按這種方式創造實例

在原型設計的過程中，我們建立了一組例子，涉及到了上面講述的各種要素，我們會在不斷的實踐中對他們進行更深入的分析。我們預計這個月晚些時候會在GitHub上發布開源的代碼，這樣你就可以實際的使用這些例子了。

旋轉佛像演示了如何用旋轉茶杯來映射到一個界面操作上，使其變得更真實

機械臂展示了直接操作一個虛擬物體

上午簡報展現了娛樂以及規劃等不同功能空間是如何聯繫的

找到你的鑰匙演示了3D聲音結合視覺線索來使用，可以幫助你更好的瀏覽空間，並找到你丟的東西

令人驚奇的事情即將到來

混合現實在結合真實與虛擬的應用上還存在無限的可能－不是完全像VR場景或遊戲一樣完全沉浸在虛擬中，而是對現實的拓展與增強。這種給現實中的物體增加虛擬信息的能力，開啟了我們成為超級人類的機會（從讓我們成為專業的駕駛員到解放手工勞動力，再到作戰中的遠程輔助設備。）。與創建三維互動式虛擬原型的能力相結合，我們可以在不失去與人聯繫的情況下實時的進行協作，MR這種新媒介很可能是下一代的交互方式。

原文作者：Peter Koraca

原文鏈接：https://medium.com/method-perspectives/interacting-with-the-virtual-a-mix-of-realities-5d83547c96d2

轉自公眾號：DUBEST

·End·

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！