論空間音頻對於VR體驗的重要性

Esther｜ 撰文

「星戰之父」喬治·盧卡斯在2011年MPSE「金捲軸」頒獎禮上曾說過：「電影的一半體驗由音效組成」。音效對於電影來說無比重要，一個恐怖片嚇不嚇人，很大程度上受到了音效的影響。拿恐怖片經典《閃靈》舉個例子，這部片子偉大的關鍵就在於其通過搭配適時的音效來烘托恐怖和緊張氣氛的能力。

以下面兩段音頻/視頻為例，溫馨提示：第一個膽小勿點。

這一點對於VR和AR內容是值得借鑒的，若要營造浸入感和逼真感，它們需要提供的不僅是360°視覺體驗，搭配立體空間音頻也是必不可少的。

音效設計師兼聽力學醫生Laura Sinnott認為，聲音通常在畫面之後出現，它是無形的，它通過分子的震動傳播，人用手並不能抓住，它只存在於時間，它用聲波代表了物體的活動。

她說的沒錯，而且這些聲波存在於生活的每個角落。值得注意的一點是，在都市長大的人因為常常接觸各種各樣的噪音，大腦不得不採取麻木的方式，屏蔽大部分音頻來適應這種嘈雜的環境（突觸修飾），簡化人們的生活。

看過《吸血鬼日記》的應該知道，吸血鬼的感官相較於人類是更加放大的，他們如果不去控制這些感官，估計會因為聽到周圍的各種噪音而被逼瘋吧。

刺激麻痹的聽覺

Sinnott表示，聽覺是人類在子宮中第一個產生的感官，它對於人類的存在起到了根本作用。聽覺不僅僅是交流的媒介，也是人類情緒健康、認知甚至生存的關鍵。現在我們對聲音的靈敏度似乎大不如前了，這種與人的本能中心相連的器官需要重新被激活，而XR或許能夠成為這個問題的解決方案。

她繼續說道，聽覺在進化過程中很可能先於視覺，緊隨平衡系統之後，因此音效設計師不管在設計用於網頁的沉浸式音頻還是還是單聲道音頻，應該多了解一下聲音的強大效果。

雖然相比於聽覺體驗，目前的VR/AR更注重浸入式視覺內容，但是在10月的紐約VR博覽會上的VR/AR空間音頻分論壇上，專家們似乎認為XR能夠打開復興聽覺的大門，喚醒人們對它的重視。據悉，該分論壇的主旨是，我們只能看到眼前的東西，但是耳朵能收集身邊各處的信息。

空間音頻重在設計

XR開發者們越追求數字影像的逼真程度，就會越發現音效從來都不是畫面的附屬品。一名台灣作曲家兼音效設計師Larry Change發現了這一點，他表示，如果沒有合適的音效設計，敘事內容將失去魅力，也無法令人信服。

並提出，XR內容的音效設計可以被分為四大元素：音效、音樂、環境音和對話，在設計這些聲音特效的時候，開發者應該注意：碰撞和交互的聲音、使用聲音去講故事（通過聲音對用戶進行間接的引導）、空間音頻在VR中的放置（營造固定的音響空間或者跟著用戶移動來強化清晰度）、如何將四大元素混合。

如果XR內容缺少了空間音頻，甚至音畫不同步，那用戶的臨場感將大打折扣。好的內容應該觸發用戶的感官、本能、思想與情感，因此空間音頻如果不協調，就會讓用戶感覺突兀和不適，就像是劣質的視頻拼接效果一樣。

各大VR/AR公司也開始重視起這個問題，Magic Leap甚至在官方博客上專門發文解釋空間音頻，其音頻專家Jean-Marc Jot解釋，音頻也會與真實環境產生交互，比如聲波被物體擋住會變得低沉，因為物體材料和形狀的不同，聲波接觸後可能會產生混響或者回聲效果。

另外，聲音還能為用戶提供移動物體的遠近信息。這些真實聲音傳播的規律，也是Magic Leap空間音頻希望達到的效果。為了進一步助力這一技術，該公司還與森海塞爾合作，推出了一款空間音頻耳機。

除此之外，HTC Vive在今年6月也曾推出空間音頻SDK（3DSP），通過融入對距離、形狀和背景噪音等實際環境因素，幫助開發者更快速地為用戶創造逼真且身臨其境的音頻體驗。NVIDIA在10月推出的VRWorks SDK 2.0在強化全景視頻拼接的基礎上，還優化了對三維立體聲音頻的支持。

音效是VR/AR體驗的核心

聲音是人類認知的根本，VR/AR內容搭配音效將會對加強用戶對內容的記憶有著很大的影響。下圖為戴爾的經驗之塔（視聽教育的主要理論依據），其中從上數第三行的橘色代表了音頻/錄音/相片，可以看到在文字/語言符號和圖片/視覺信號基礎上，有了音頻人們會更加專註，對知識的記憶力也更強。

作曲家、涉足電影/電視/廣告/新媒體的多樂器演奏家Jefff McSpadden表示，將聽覺與視覺結合，可讓人們進一步記住百分之90%的知識（所以大家才會那麼愛看視頻）。

McSpadden是網頁版沉浸式空間與互動式音頻公司Composure（專註於減壓與提升用戶健康）的CEO，他們的網頁版空間音頻體驗支持用戶自定義，通過用戶主動權，強化他們的放鬆和專註效果。

今年3月，知名音響公司Bose也曾提出一個大膽的想法，希望通過立體聲，取代AR顯示技術來增強現實。據悉，該公司的這款產品曾獲得5000萬美元融資，用於打造其生態環境。

McSpadden認為Bose的「AR」眼鏡將會為盲人帶來很大好處，他們將通過與空間音頻的教育來接受培訓、教育和娛樂，這款產品的出現，將推動空間音頻進入日常生活的進程。

XR結合空間音頻的潛力

科研人員在聲音的操控上進行了多年研究，包括今年10月美國空軍構建的無迴音室（吸收迴音），是為了更好了解聲音傳播的原理。Sinnott將這種沒有迴音的環境描述為，在物理環境中沒有可反射聲波的物體時的樣子。

美國空軍的無迴音室

有了XR技術，不用構建這麼大型的無迴音室，我們也能控制聲音的頻率與震動，真正強化音效和音樂。

不過不管空間音頻被應用在消費級產品、企業及產品還是心理聲學（研究人對聲音感知的學科）的研究上，浸入式的音頻設計毫無疑問將加深讓人們對聲音在環境中傳播規律的了解，希望它也能讓我們意識到，這種「不太主動的知覺」其實還是有很大的潛力和價值。

（END）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！