如何最大化利用CPU性能創作沉浸式VR體驗

原標題：如何最大化利用CPU性能創作沉浸式VR體驗

在三年多的時間，我有幸負責管理一家名為Chronosapien的工作室，而我們主要是通過新興技術組件來創建互動式內容。我們涉足了大量不同的技術，但VR已經成為了我們最關注的領域，所以我們開始了一個名為「Shapesong」的項目。

從許多不同的角度來看，「Shapesong」項目都是一次十分獨特的經歷。但其中一個最有趣的方面是，我們一直在學習如何最大化系統性能，同時不停地適應不斷發展的媒介。在這篇文章中，我希望向大家分享如何製作一個可信和引人入勝的VR環境，包括從硬體角度來出發，尤其是CPU。

1。 全新的期待

隨著第一代設備在2016年出現，普羅大眾開始第一次接觸到VR體驗。由於虛擬現實是一種更為自然的用戶界面，所以人們對待它的方式與傳統媒體設備不同。我們期望VR中的內容和體驗能夠足夠自然。例如，當用戶第一次穿戴VR設備的時候，他們不會先問「我應該要按下什麼按鈕？」，而是會問「我的雙手在哪裡？」。當傳送至虛擬環境中時，用戶不會詢問他們應該做什麼，他們立即開始觸摸對象，拾取對象，以及傳統計算機程序用戶所無法想像的其他交互。

當期望無法得到滿足時，真實感就會被打破，而虛擬現實的幻覺則會瞬間消失。用戶不再是身處於虛擬現實之中，他們只是通過透鏡來感知一個數字模擬，周圍則充斥著毫不掩飾的設計元素和腳本化場景。

虛擬現實存在一系列不涉及構建虛擬環境的用例。但如果VR應用程序的目標是沉浸和傳送，作為開發者和設計者的我們就必須創建一個栩栩如生的世界，能夠像我們的物理世界那樣響應用戶。這意味著我們要創建一個可以改變和轉換的環境，創建可以抓取和投擲的對象，以及創建可以塑造和變形的工具。

這就是下一代互動式體驗，一個栩栩如生的虛擬世界。對此，用戶自然而然地期望他們可以像物理世界一樣與虛擬世界進行交互，但他們忽略的是沉浸感和交互性背後的所有計算。開發者的責任是利用現有工具和技術實現這種逼真的虛擬世界，但他們的力量有限。在某些時候，他們需要利用更高性能的硬體來實現目標。

這是我和我的團隊所面臨的挑戰。在開發VR體驗「Shapesong」的時候，我們學習到創建沉浸感所需的一切，我們知道如何才能實現這一點。但交互性和沉浸感的廣度是如此之大，而計算資源在傳統系統上又是如此受限制，我們被迫進行權衡選擇，或者發揮自己的創意。這種感覺就像是把一根吸管塞進一塊石頭。

在本文中，我希望與大家探討「Shapesong」在什麼方面為CPU性能施加了壓力，這對用戶有什麼影響，以及為什麼功能更強大的CPU能夠加強沉浸感。我的目標是幫助大家更好地理解高端VR系統在實現這種高度沉浸感體驗中的優勢。

2。 「Shapesong」是什麼？

首先，我們先來看看什麼是「Shapesong」。「Shapesong」是我們面向下一代音樂互動式體驗的解決方案。用戶可以自由探索音樂環境，發現可以用於虛擬樂器中的聲音，創建可以舞動和遊樂的歌曲，以及與自己或其他人的克隆體一起演奏音樂。我喜歡把它簡單描述為《幻想曲》與《查理和巧克力工廠》在一個共享虛擬世界中的結合。

我們對「Shapesong」的目標是創造一個能夠以音樂形式遊樂的完整世界，並支持用戶通過他們發現的環境與樂器來製作出屬於自己的體驗。我們同時試圖創造一種融合視覺和音樂表演的聯覺體驗，讓表演者和觀眾都能完全沉浸其中。

體驗存在大量需要設計和實時控制的方面，所以運行「Shapesong」的系統功能變得尤為重要。

3。 創建一個音樂世界

虛擬現實要求的幀率達到90fps，或者說每幀11毫秒。與之相比，傳統體驗的幀率為30FPS，而且在特定位置低於30FPS也不會造成重大影響。但虛擬現實卻非如此。VR實際上需要渲染兩個版本的場景，一個左眼一個右眼。儘管要求存在一定的例外，而且存在可以利用的輔助技巧，但毫無疑問的是VR對計算的要求十分嚴格。

我們為「Shapesong」設計了一系列特定的功能，而這對VR系統提出了更加嚴格的性能要求。從技術的角度來看，「Shapesong」是數字音頻工作站 （DAW） 和遊戲在虛擬環境中的結合。這三者均對CPU提出了巨大的計算負擔。下面我們不妨來看看「Shapesong」中完全依賴於CPU性能的部分。

3.1 音頻處理

作為一款音樂遊戲，「Shapesong」需要處理大量的音頻。除了對環境，玩家和UI聲音進行基準渲染以外，我們還會在不同時間段播放與樂器相關的聲音。事實上，多個樂器的平均音頻處理負載是基準（只演奏一件樂器時）的20倍。

這是樂器的幕後工作原理。如果你希望在樂器上演奏一個聲音（或者說一個音符），你需要播放這個音符的音頻片段。從某些方面來說，完整的鋼琴包含88個可以在特定時間內彈奏的不同琴鍵（或者說音符）。如果你在「Shapesong」中彈奏類似的虛擬樂器，你最多可以同時播放88個不同的音頻片段。然而，這是假設了每個音符在同一時間段只彈奏一個活動音符（或者說聲音），但對「Shapesong」而言情況並不總是如此。

除了基於音頻片段的樂器演奏方法外，我們還可以通過另一種方法來演奏樂器：聲音合成。但聲音合成不能代替採樣（sample），而且這需要獨特的處理負載。我們希望「Shapesong」能夠支持兩種方法，從而在彈奏音樂時可以實現最大的靈活性。

3.2 環境效果

我在上文已經提到，我們希望在「Shapesong」中實現視覺和音樂表演的結合，從而實現全新的音樂體驗。所以，播放的音樂需要與環境中的視覺效果保持同步。

大多數人認為遊戲或體驗中的所有圖形都是由GPU渲染，但實際上CPU圖形渲染管道上扮演十分重要的角色，因為繪製調用是由CPU所執行。繪製調用本質上是指CPU確定圖形任務並將其發送到GPU的過程。總的來說，當存在需要繪製到屏幕的獨特任務時，系統將需要CPU執行繪製調用。

在Unity中，「Shapesong」引擎和繪製調用在一個名為「批量處理」的流程中得到了優化。批量處理採集相似的繪製調用，將它們聚集到單個調用，然後再發送至GPU，這能夠極大地節省計算時間。但Unity只有在特定條件下才會對調用執行批量處理，而其中一個條件是所有對象都共享相同的材料。另一個條件則是批量處理對象必須全部靜止，不能夠改變位置或以任何方式運動。對於靜態環境而言（比方說共享相同材料的200棵樹），批量處理的效果非常優秀。但如果你希望每一顆樹都對玩家輸入或音樂演奏產生獨特的響應，批量處理將無法起到相同的作用。

無論虛擬世界是否需要響應音樂，這對創建栩栩如生的虛擬世界而言提出了巨大的挑戰。如果無法移動或改變某個場景中的對象，我們應該如何令這個場景變得栩栩如生呢？現實情況是，你不得不權衡需要進行生動演示的部分，而且在實現方式上發揮自己的創意（這也是遊戲開發所普遍面臨的一個長期問題）。正如我在前文所說，傳統體驗和下一代體驗的區別在於用戶的期待。

3.3 物理對象

要實現一個栩栩如生的虛擬世界，我們不僅需要在環境中添加動畫，我們還要根據大家早已習以為常的物理定律來設計動畫。事實上，你甚至可以認為當前的VR系統不是真正的VR系統，它們只是疊加了一層虛擬世界的增強虛擬。為什麼這麼說呢？因為儘管在VR中看到了虛擬環境，但我們依然站在物理世界中，受所有物理世界的自然規律所束縛。重點是，如果你希望創建一個無縫的自然體驗，同時不破壞這種幻覺，你將需要確保虛擬世界的物理與現實世界相匹配。

我們希望在「Shapesong」中創建一種自然的體驗，能夠支持用戶利用環境中的對象進行演奏，並以此來探索音樂環境。例如，當用戶撿起一塊石頭並在池塘上打水漂時，我們希望石頭滑過水麵時會播放音符；或者說當用戶往下拍球時，球體下落時會出現音高的變化。這樣做的目的是，以一種不令人膽怯的方式來鼓勵非專業人士進行音樂探索。

儘管在遊戲引擎中啟用物理並非是難於登天，但成本極其高昂，對CPU資源的消耗也十分可觀。物理系統不僅需要逐幀計算受物理約束的對象的新位置，同時還需要檢測對象與其餘環境的接觸。隨著這種物理支持的對象和相接觸對象的數量增多，成本也將隨之增加。

3.4 表演錄製

令「Shapesong」與眾不同的一點是，用戶可以自行錄製表演。我們希望表演錄製能夠充分利用VR及其運行系統的功能。以往在通過數字音頻工作站錄製音樂時，你只能捕捉彈奏的音符，系統不能捕捉手指演奏琴鍵的動作，也無法捕捉頭部的擺動。但音樂的重點不僅只是你所彈奏的音符，你所彈奏的方式同樣是十分重要的組成部分。

我們記錄了用戶的所有輸入，並將它們製作成一段可以通過虛擬化身實現的動畫。當用戶錄製一次表演的時候，他們基本上是克隆自己在特定時間段內的活動。對於彈奏樂器，這意味著克隆你在演奏音樂時的一切行為。對於其他，這意味著克隆你與環境的交互，你的跳舞，或者僅僅只是打招呼這一動作。

儘管錄製一場表演不會消耗太多的資源，但播放表演卻會恰恰相反，尤其在以表演規模進行播放時。例如，一首歌的某一節中可能同時彈奏了四種或五種樂器，而這期間可能同時包含一定的視覺表演，如跳舞或與環境中對象進行交互。因此，用戶在典型演奏中的任意時刻可能會播放10個或以上的演奏錄製。每一個角色都有三個部分需要錄製：左手，右手和頭部。我們同時追蹤了角色所握持的對象，以及這些對象的狀態。在典型環境中，播放的對象或屬性總計至少有100個，而每一幀都需要對它們進行處理。

4。 更強大的硬體性能將帶來怎樣的變化？

顯然，虛擬現實提出了嚴格的性能要求，模擬沉浸式環境及其功能可能需要付出高昂的資源消耗。但這意味著什麼呢？CPU的性能要求將會對VR的最終體驗產生怎樣的影響呢？

更強大CPU性能可以帶來的一個主要影響是，擴大虛擬環境的規模。你不妨看看以往的虛擬現實體驗，它們幾乎全部存在於小房間之內，而且交互性非常有限。例如，Tilt Brush限制了環境畫布的規模，而它們在最近的更新中才支持用戶走出房間尺度的範圍。《Lab》的場景位於一個實驗室之內，而這實際上只有幾個房間尺度的大小。即使是《Lucky』s Tale》這樣看起來更為開放的VR環境，它們也遠遠比不上同類的現代平台遊戲（如《超級馬里奧銀河》）。由於CPU提供了更卓越的性能，這種環境能夠進一步擴大，從而為玩家創建一個更加無縫和更為多樣的世界。

更強大CPU性能可以為VR體驗帶來的另一個影響是，提高VR體驗的交互性。大多數舊款體驗注重於某一類交互性，然後再對其進行擴展。例如《Job Simulator》是一款物理沙盒，支持用戶拾取對象或以獨特和有趣的方式來混合對象；《Raw Data》屬於大型射擊遊戲，系統可以生成一波接一波的敵人；《Audio Shield》則是根據音樂節奏生成球體，而玩家可以利用盾牌進行格擋。儘管上述遊戲非常優秀，同時十分好玩，但體驗的深度相對不足。因此，它們的吸引力遠遠比不上其他熱門的非VR遊戲。更強大的處理能力可以減輕每個交互系統對硬體施加的壓力，而這有助於提升交互性的寬度和深度。《亞利桑那陽光》就是一個例子，這款遊戲在原有的多人射擊體驗基礎上利用高性能CPU啟用了大量的物理對象和殭屍，大大增加了遊戲的沉浸感和吸引力。

這種效果正是「Shapesong」所提供的體驗。隨著我們啟動更多的功能，我們必須節省環境的投入；隨著我們添加更多的角色，我們必須限制主動音頻語音的總數；當我們為音樂啟用更多的視覺效果時，我們必須降低其它方面的圖形保真度。這種妥協並非僅限於虛擬現實，它們一直存在於各種遊戲或體驗之中。但不同之處在於用戶的預期，我們都期待一個逼真的虛擬環境，所以虛擬現實系統對性能的要求至少比傳統系統高出兩倍。提升VR系統中的CPU性能將有助於創建這種高度沉浸和高度逼真的虛擬世界。

5。 展望未來

對於虛擬現實，我們正處於媒介新範式變革的最前沿。我們不再是通過一個有限窗口來知覺腦海中的奇幻世界，我們直接進入了人類幻想的深處，我們現在可以與這個世界及其裡面的對象進行生動而逼真的交互。這是一個全新的目標，而我們在定義下一代虛擬體驗之前必須重新思考實現這一體驗的技術。正如宇航員不會坐著一架嚓嘎嚓嘎的飛船前往月球，我們也不會藉助用於瀏覽網頁的PC來探索VR世界。

但要實現這種虛擬現實體驗，我們不能只依賴於最新的計算技術。我們創建的設計需要能夠模擬出一個足夠沉浸的世界，同時又可以實現真正的逃避感。對於開發「Shapesong」的開發者來說，這意味著我們需要通過一種既熟悉又新穎的物理法則來創建環境，並且利用直觀而獨特的互動式方法來創建樂器。當然，每一種全新的虛擬現實體驗都有其獨特的風格和挑戰極限的方式。但是，它們都需要依靠一定的技術條件來實現相應的目標。

from：映維

新浪聲明：新浪網登載此文出於傳遞更多信息之目的，並不意味著贊同其觀點或證實其描述。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！