當前位置:
首頁 > 最新 > VR的未來,少不了「聽聲辨位」技術

VR的未來,少不了「聽聲辨位」技術

聽聲辯位,並非金庸武俠里才有的絕世武功,而是人們理解環境並作出合適反映的基本技能。為了提供更真實的虛擬體驗,人們很早便把聲源定位技術用於遊戲,比如早前的《反恐精英:全球攻勢》,以及如今的《絕地求生:大逃殺》(即大家說的「吃雞」遊戲)。

虛擬現實亦同理,要讓大家有身臨其境的體驗,有一半的工作得由「空間音頻」來完成。


大腦是如何「定位」聲源位置的

我們的大腦處理聲音和視覺輸入的方法完全不同,這給VR帶來了挑戰。

當我們用眼睛看東西時,視網膜的受體細胞識別光線照射下的物體。這些信息傳遞到大腦,被用來判斷物體位置。在VR中,我們可以利用這個原理欺騙我們的大腦,達到模擬的效果,但音頻是另一回事。

GIF

大腦要根據雙耳時間差、雙耳聲級差等各種複雜因素計算出聲音位置,不同方向的聲音與我們的身體進行交互。

除此之外,距離定位是另一個問題,判斷距離需要計算響度、混響、聲音到達耳朵的時間差等。

所有這些因素(包括其他因素)都會影響到VR音頻技術的發展。因此,為了提供更逼真的自然音頻,我們需要使用專門的錄音系統和演算法。


音頻公司一直試圖重新創造定位方法,更好模擬現實世界中的音頻。最有效的方法之一已經在VR中得以應用,稱為「雙耳音頻」或3D音頻。

雙耳音頻已經存在了幾個世紀,但耳機和手持音頻設備的興起,使它重新出現在人們視線中。

但虛擬現實並不是雙耳音頻唯一的應用。在YouTube上,有大量雙耳音頻剪輯,用於放鬆、學習、娛樂以及其他用途。效果是顯著的:例如,在下面的「3D理髮」視頻中,你可以聽到身後或頭頂的修剪聲。(請戴耳機體驗)

但儘管有種種優勢,光是雙耳音頻也並非虛擬現實的理想音頻技術。在一個VR環境創建最有效的聲音,聲音需要隨著用戶的定位變化而變化。

耳機是提供 VR音頻的最佳選擇,因為可以隔離外部的聲音。與此相反,外部揚聲器不適合,因為即使是最好的「環繞聲」也會被外界聲音影響,減少沉浸感。

最基本的問題是頭部運動:當我們的頭部位置改變,VR中的聲音也需要相應進行距離或方向的改變。如果沒有,那麼虛擬體驗就不那麼真實了。

頭部跟蹤技術有助於解決這個問題。如3D Sound Labs、Dysonics等初創公司專註耳機與運動感測技術。

Ossic(原Sonicvr)正在開發ossic x耳機,其中每個組件都被設計為身臨其境的3D音頻播放。 Ossic還未正式發布ossic X,但Kickstarter上超過一萬名支持者眾籌超過了270億美元,充分表現出該公司的潛力。

Ossic X獲得如此多支持者的原因是什麼?因為ossic X的「空間化」3D音效功能可以提供VR產品的最理想的音頻體驗。下面我們來了解空間音頻技術是如何欺騙大腦對聲音的定位。

空間音頻技術使用演算法提供與現實世界一樣的聲音,包括音高、音量、混響等因素。

但是方向和距離並不是大腦計算聲音位置的唯一線索。

如前所述,聲波反射在人體的變化對我們大腦對聲音定位提供重要信息。雙耳音頻也無法傳遞這種信息。

HRTF(頭相關變換函數)可以提供高度身臨其境的音頻空間。它以聲波的方式在不同角度擊打我們的身體。通過頭部跟蹤頭顯,進行定製的測量。

但目前捕捉一個人的HRTF數據成本很高。因此目前主要使用的是「通用」HRTF,數據來自公開可用的數據集。

有幾家初創公司也正在致力於空間音頻新技術。

- G"audio的生產工具包可以精確定位三維環境的聲音。他們最近試行一種新的解決方案,在VR中實現流媒體空間音頻。

- Kinicho,最近入選AR / VR加速器計劃Augmentor,正在開發一個「聲音現實引擎」,用於製作AR / VR高保真空間音頻。

無論是空間音頻演算法,還是這些公司,都會繼續發展。但前提是更多人採用VR,因為科技公司提高演算法需要更多的用戶數據。


喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 黑匣 的精彩文章:

利用AI與VR打造虛擬化身,ObEN獲1000萬美元融資
Visbit播放器登陸Viveport M,可在移動VR上播放8K全景視頻

TAG:黑匣 |