從VR手套到大腦感知，Facebook的VR延遲探索之路

在此前的《為了VR社交，Facebook打造出最逼真虛擬頭像系統》一文中，青亭網曾報道Facebook Reality Labs（FRL）會在為期一年裡，通過一系列博文來向大家展示其5年來在光學、顯示、計算機視覺、音頻、圖形、體感交互、腦機介面、眼球/手勢/面部/姿態識別領域的相關研究。

近期，繼講述Facebook Codec Avatar逼真頭像系統的首篇文章後，FRL再次通過博文向大家展示了用體感手套來測量VR時延，並優化用戶感知性時延的一項研究。

據了解，Facebook首席科學家Michael Abrash在OC 5上就曾展示過一個體感手套研究的Demo視頻，視頻中，一名VR用戶戴著支持手指追蹤的體感手套在VR中玩抽積木遊戲，當她在遊戲中操控的手碰到積木後，手套就會在當下產生相應的體感反饋。

但大家所不知道的是，這款體感手套的早期版本曾受到時延問題的限制，在體感反饋、音頻和視覺上都存在延遲，比如：體驗者在VR中看到自己的手碰到了積木，卻沒能同步感受到觸覺或聽到聲音。

為了測量並優化體感手套在VR中的時延，FRL研究人員構思了多種方法。其中一名軟體工程師Forrest Smith表示：只測量軟體延遲的話比較簡單，有很多工具都能辦到，但測量硬體延遲要更困難些。

遊戲時延測量法

一開始，FRL研究人員參考遊戲時延的測量辦法，考慮的是如何測量輸入時延。據悉，輸入時延的概念很簡單，打個比方：當你按下按鈕後，馬里奧需要多久才會跳起來？或者按下遙控器後，電視畫面需要過多少毫秒才會變化？

在簡單的情況中，利用智能手機就能完成時延測量，你只需要錄製一段刷新率240fps的慢動作視頻，然後數數幀數。

在手柄接入帶LED燈的主板進行測試

或者也可以選用更優化的辦法，將VR手柄接入一塊配備LED燈的定製主板，當主板識別到手柄按鈕信號後，LED就會點亮。然後利用高速攝像頭捕捉全過程，就能實現較精確的測量。

另一種更好的方法是，製作一款黑白色調的小遊戲，遊戲中有一個黑色方塊，當感應到按鈕信號後，方塊就會變成白色。然後，利用與顯示屏相連的光感測器，也能測量非常精確的時延。

端對端延遲測量法

當然，上述方法只是用來測試按鈕控制光子的時延，並不能測量手套內置的體感致動器的時延，原因是 ：攝像頭測量法並不適用，而且體感手套使用的是手勢輸入，並不具備物理按鈕。

端對端傳輸流程

此外，單獨測量體感反饋的時延還不夠，想要實現體感手套與VR之間的低延時體驗，需要考慮的是整個端對端體驗的時延，也就是說要考慮多個方面，包括：硬體追蹤系統、內部軟體、第三方軟體、設備驅動和輸出硬體。而且為了更完整的優質體驗，體感反饋、VR影像和音頻的時延都需要得到測量和優化。

於是研究人員想出了一種聲音測量法，即：將一張實際存在的桌子與VR中的桌子對齊，然後讓一個人戴體感手套去觸碰桌子，與此同時VR中的虛擬手和桌子也會相碰。

在這個過程中，研究人員採用多個感測器來記錄：1，一個對準桌子的麥克風，用來記錄實際接觸產生的聲音；2，一個位於手套內的麥克風，用於記錄體感反饋；3，一個記錄Rift頭顯音頻的麥克風；4，用於識別顯示屏改變的光電二極體。為了讓採集的音頻同步，研究人員用了一個攜帶型錄音機將麥克風的信號匯總。

此外，為了測量手勢追蹤系統的延遲，還使用了一個電容性電路試驗板作為可敲擊的實物目標，捕捉較準確的軟體時間戳。

同步的音頻和視頻流

接著，他們將同步的4種數據流在後期音效工具Nuendo中打開，並用手標記和計算差量時間，最後得出端對端時延為300毫秒，其中約200毫秒來自於第三方軟體。據悉，Facebook這款體感設備的建議刷新率為1000Hz，因此300毫秒時延帶來的體驗感並不夠好。

而體感手套運行的軟體是基於多個子系統，並以多線程運行，更新的速率各不相同。如果出現線程問題，則會造成周期浪費或信號損壞，為了查看可視化的多線程表現，FRL研究人員使用了一個叫FramePro的工具。

在完成軟體線程修復後，為了驗證結果，研究人員還使用了示波器（可將肉眼看不見的電信號變成可視的圖像）來測量體感致動器。

感官延遲信息圖

利用上述方法，FRL研究人員對整個體感手套體驗進行了優化，並用直觀的信息圖將300毫秒時延分成為了視覺、體感和音頻三個部分，其中從觸碰到產生聲音反饋的時延最高。而且優化後的抽積木Demo運行起來也比之前更流暢，體驗者認為視覺和體感反饋幾乎可以達到同步。

感知性同步

追求完美的FRL研究人員當然不會就此停止，他們繼續著手研究人腦對視覺、聲音和體感的實際感知。

Smith表示：人類很擅長根據多種不同的感官信息來建立對世界的心智模型，但感官有時候也會騙人，原因是大腦會將多個感官信號融合成統一的感官。也就是說，儘管你看到、感覺到並聽到手指敲擊桌面是三件事，但大腦會將這三種感官刺激理解成一件事。

正是因為這樣，當視覺、音頻、體感的時延產生差異時，時延較高的感官會拖累其他感官，比如抽積木Demo中的音頻時延較高，因此會讓人覺得體感時延比實際更高。這種感官的變化是人體自發且無意識的，不管你多努力去忽略音頻，體感反饋的時延都會受音頻時延影響。

於是，當FRL研究人員關閉音頻後，體感反饋的體驗感得到了明顯的提升，在讓許多人體驗過之後，也得到了肯定的答案。

心理物理學實驗

那麼問題來了，能否通過調整感官刺激的同步性來營造更低時延的整體感觀呢？對於體驗感來講，更加同步更重要，還是低時延更重要呢？

為了深入了解這一問題，FRL研究人員展開了一項心理物理學實驗。實驗第一部分是製作一款VR測試程序，參與者需要去敲打虛擬方塊，同時體感手套會對整個手部動作進行追蹤。這項測試的目的是，為了研究人類所能承受的視覺和體感延遲，也就是說兩種感觀之間相差多長時間會讓人感到「未同步」。

調查結果顯示，在體感反饋比視覺延遲50毫秒以內，且不比視覺超前20毫秒以上的情況，會被大部分參與者認為是同步。而在他們的抽積木Demo中，體感反饋僅比視覺延遲20毫秒，剛好在同步範圍內。

感官刺激的同步性

為進一步分析三種感官的同步性，FRL研究人員整理了一個分布圖。從圖中來看，XY軸的原點代表聽覺、視覺、體感的完美同步，x軸代表音頻與視覺之間的延遲，x值為正說明音頻比視頻有所延遲，為負則相反。而y軸代表體感與視覺之間的延遲，分布圖中的顏色則代表不同的延遲程度。

從這個分布圖中，研究人員發現低延遲的範圍並不是正好在原點上，而且參與者對於超前於視覺的體感或音頻非常敏感。另外低延遲範圍的形狀更像是橢圓而不是正圓，相比音頻延遲，參與者們對於體感延遲更加敏感，這也印證了之前的，音頻延遲造成體感感覺更加延遲的說法。此外還發現，改變交互方式有可能會提高人對於不同步的接受能力。

FRL研究人員也表示：現在下結論還太早，實驗樣本量較小，而且實驗也比較簡單。未來的目標是，為高度逼真的場景和體驗制定一系列標準，由於當前還未完成三種感官刺激同步性的研究，因此這個目標仍在進行中。本文系青亭網翻譯自：Facebook

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！