當VR畫面可以做的很逼真時，VR音頻的發展又如何呢？

科技 08-16

VR音頻一直伴隨VR畫面而存在著，但似乎總是會被大家所「忽略」……

正文共

3392

字

圖；

預計閱讀時間

分鐘

VR可以說是當下最火熱的科技趨勢之一，但VR音頻技術卻從沒有在專業音頻領域獲得熱捧。雖然音頻技術幾乎是和視頻服務一起進入市場，但在VR遊戲、VR電影等中的表現卻遠不如畫面更「吸睛」。

這麼久以來，VR音頻這個概念一直都不溫不火。無論是CD、SACD音樂、黑膠唱片還是流媒體音樂服務使用的都是較為傳統的立體聲音頻技術。這幾年，儘管有類似純音頻藍光環繞技術、雙聲道錄製技術、宣稱能真實還原家庭影院級的環繞聲體驗等的不斷出現，但並不能讓大眾發現其在技術上有什麼較大的突破。

雖然早在2010年，配備Realiser A8處理器的耳機確實有著強大的空間定位能力，並能做出令人震撼的聲音效果，但遺憾的是，其生產商已經不再生產這一產品。

如此一來，VR音頻的身影也變得越發莫測了起來，彷彿越來越沒了存在感。難道說，VR音頻就要這樣涼涼了么？

斯坦福研發全息聲音合成系統，

自動渲染動畫聲音

而就在近日，斯坦福新開發出的一項有關聲音的新技術，又將VR音頻帶回了大家眼前。斯坦福研究人員通過計算快速移動和振動表面所產生的壓力波，開發出了一款全息聲音合成系統。斯坦福方面宣稱該系統可以自動為計算機動畫渲染逼真的聲音。

對於這個新系統，斯坦福大學計算機科學系的Doug James教授說道：「我們可以用物理和計算機圖形為場景製作動畫。在此之前，行業內的技術無法為複雜的動畫內容生成逼真又同步的聲音，比如說濺水或碰撞物體。而此時，該系統填補了技術上的這一空白。」

通過幾何和物理運動，系統可以計算出每個對象的振動，以及如何像揚聲器那樣通過振動來激發聲波。其能計算由快速移動和振動表面拋出的壓力波，但不能複製室內聲學。因此，儘管不能在宏偉的大教堂中重現回聲，但該系統可以實現各種其他情況下的聲音。例如，鈸相撞、顛倒的碗旋轉到停止、往杯子里倒滿水、虛擬人物用擴音器說話等。

由此方法產生的模擬聲音將非常的逼真。該系統顧及到了動畫中每個對象所產生的聲波，同時還能預測這些聲波，在場景中與其他對象和聲波相互作用，將會產生什麼樣的彎曲、反彈或削弱的效果。斯坦福方面表示，許多的測試都表明了該系統生成的聲音都十分讓人震撼。

但這項系統也有令人遺憾的地方。其仍難以逼真的模擬出，那些複雜對象間相互作用所發出的聲音。對此，斯坦福研究小組也坦言，這需要他們繼續投入研究來找到應對的解決方案。

VR音頻對於VR來說究竟重不重要？

其實相較於視覺，人們在聽覺上並沒有那麼敏感。很多時候，在畫面與聲音同步進行的情況下，人們更容易在畫面中獲取到較多的信息，從而忽略了一些聲音上的細節。那麼，是不是說明VR音頻就不重要了呢？

答案顯然是否定的。對於VR中的音頻處理，小編認為大家需要用一種新的思考方式。過於逼真的聲音確實不適合所有的承載模式。比如在影院中，當觀眾面對著2D視頻，然而聲音卻從四面八法而來，這確實會分散觀眾的注意力，並讓其產生對視頻內容的不解。

但是，VR頭顯的出現，改變了這一切。研究顯

示，

逼真的音頻是在

中建立臨場感的重要先決條件

。

通過VR頭顯，用戶可以轉向任何方向，並看到一個連續的視覺場景。視覺上連續的場景與環繞式聲音，兩者共同構建了一個VR系統。也正因此，才有望為用戶提供一個更接近現實的臨場感。

而為了追求好的臨場感、現場感，其必不可少的就是交互性。當用戶佩戴上頭顯，其至少轉頭會看到不同的全景內容，聲音也隨之變化。類似於在遊戲裡邊，玩家從一個房間進入到另外一個房間，聽到從同一個點發出的聲音都應該是不一樣的。這和視覺的變化其實差不多。正是由於這些交互特性的引入使得真實性的提升，也證明了VR音頻的存在是很有必要的。

VR音頻就是需要通過交互來給用戶一個更好的臨場感。另外很重要的一點，

開發者通過VR音頻可以更方便的展現自己的意圖

。用戶還可以通過聲音來更好地理解開發者想表達的意

思。相反，如果沒有聲音的提示，那麼觀眾在觀看的時候是完全按照自己的喜好，邊看視頻邊猜測視頻到底在表達什麼。

很顯然，這是非常沒有效率的。而但凡是國外那些拍的非常好的VR作品，無一例外其聲音效果都做得非常棒。依賴於VR音頻，這些視頻將更有目的性的去引導觀眾觀看內容。這樣一來，也讓視頻作品更具有了節奏感。

各大廠商來研發，

VR音頻都有了哪些解決方案？

在VR中，用戶處於場景中心，可以自主選擇觀看的方向和角度。用戶想要通過頭顯加耳機的方式感受VR體驗，就需要在雙聲道立體聲輸出的耳機上聽到來自各個方向的聲音。另一方面，用戶時常需要來迴轉動頭部

或有大幅度的身體運動，因此還要考慮身體結構對於聲音的影響。如此一來，

就需要解決兩個關鍵的問題，一個是怎麼放，另一個是怎麼聽

。

首先，聲音怎麼放？開發者在

中製作聲音時，就要以用戶為中心，在整個球形的區域內安排聲音位置。當其確定某一方向為基準後，畫面內容與用戶位置也就相對確定了。以此來定位的話，

既有水平方向的環繞聲，也有了垂直方向上的聲音

。通過水平轉動和垂直轉動這兩個參數，開發者就能控制視角在

360

度球形範圍的朝向，以及隨時與畫面配合的聲音的變化。

另一方面，用戶只有一副耳機，該如何實現電影院里杜比全景聲的效果呢？這裡面用到一項技術叫做HRTF（Head-related Transfer Function，頭部傳送函數），該技術能夠計算並模擬出聲音從某一方向傳來以及移動變化時的效果，有點類似於一個濾波

器。

其

對原始聲音進行頻段上的調整，使其能更接近人耳接收到的聽感效果，並通過耳機來回放

。

而基於這樣的原理，有不少的廠商已經進行了嘗試來創造VR中的音頻。

Valve

Valve曾收購了音效公司Impulsonic，Impulsonic有一個基於物理的聲音傳播和3D音頻解決方案，名為「Phonon」。去年，Valve開放了Photon音效工具的後續產物Steam Audio SDK。該方案能夠通過空間音效增強VR沉浸體驗，允許遊戲的音頻與場景幾何體建立交互與反彈迴音，從而增強體驗。Steam Audio支持Windows、Linux、macOS和安卓等多個平台，也不局限於特定的VR設備和Steam。

谷歌

2017年，谷歌也與音頻公司Firelight和Audiokinetic合作，推出了一個VR音頻插件。開發者利用該插件可以根據虛擬空間大小、材料以及對象位置的改變來調整聲音，營造更加逼真的氛圍。該插件可以無縫集成到Unity和Unreal引擎中，使用時開發者只需要對3D音頻進行簡單調節，能夠很輕易地創造空間音頻。

與英偉達類似，2016年8月，AMD曾發布了一項名為TrueAudio Next的實時動態聲音渲染技術，讓虛擬現實中的聲音和畫面更為同步。該技術同樣使用物理方式模擬，讓渲染的聲音無限接近真實環境的聲音，在虛擬建模中進行多次反射，利用Radeon Rays光線追蹤技術讓系統辨別VR空間布局並定位空間中的物體。AMD已將該技術開源。