VR內容短板怎麼補？有位聲音魔法師想用這個產品改變行業格局

如果大家和小探年紀相仿的話，一定記得幾年前紅遍全網的這條神奇的3D音頻（正確打開方式——戴耳機聽）：

當時小探的好友們轉發的配文都是「太逼真太可怕了」，「聽完感覺頭髮都被剪光了！好涼啊！」

點擊播放 GIF/532K

這條音頻之所以可以如此逼真動人，是因為它採用了「人頭錄音」技術，還原了真實的聲場。

換句話說，就是用複雜的錄音方式，模擬還原了人耳在現實環境中的聽音效果，比如剪刀在靠近右耳的地方「咔嚓咔嚓」，此時在音頻中雙耳聽到的聲音大小、時間都有會有一定的區別。雖然同樣是用耳機來聽，但由於3D音頻對聲場空間的還原，騙過了我們的耳朵和大腦，所以會讓人感覺「震撼」、「真實」，有極強的沉浸感。

這麼多年過去了，隨著虛擬現實（Virtual Reality）技術的發展，我們已經可以輕鬆擁有沉浸式的視頻觀看體驗了，但 VR 的音頻內容卻沒有跟上視頻的腳步。業內領先的 VR 內容創作公司 Jaunt 首席工程師 Adam Somers 曾說：「在沉浸感這件事上面，聽覺佔了五成，視覺占剩下五成。然而，無論是遊戲還是電影，很多人過分關注了視覺元素，很多時候音頻都被當作最後添加的內容，被忽略了其重要性。」

為什麼會這樣呢？原因只有兩個字——難啊！

最近，矽谷密探（微信公眾號 SVS-007）獨家專訪了一家叫Mint Muse的公司，CEO 向奕裴告訴小探，他們所開發的產品，將徹底打破 VR 視聽發展不平衡的尷尬格局，解決這個難題。

也許你要問，既然3D音頻這麼「帶感」，為什麼我們沒有在生活中看到它的應用呢？其實最簡單的應用，就是在電影院。

為什麼人們喜歡在電影院看電影呢？當然是因為視聽體驗好，有「現場感」。比起大銀幕和放映廳的光線環境給人在視覺上帶來的影響以外，影院對音響位置的精心設計是更重要的因素：從環繞聲到全景聲，影院在放映廳的各個方位擺放音響設備，儘可能地擴充聲音維度的準確性。VR 作為給人帶來沉浸感的視聽體驗方式，僅僅有充分模仿現實的視覺設施，缺少聲音的刺激，不僅會讓體驗者覺得「少了點什麼」，還有可能因為聲畫的不一致，給人帶來暈眩感。

3D音頻發展的困境

其實早在十幾年前，人們就已經開始著手發展3D音頻了。自 VR 開始強勢發展以來，很多公司也已開始投入大量物資為VR提供與之匹配的音頻編輯系統。Facebook 收購了著名的空間音頻技術公司 Two Big Ears， 並發布了 Facebook 360 空間音頻工作站。

Google、Valve 等也都為VR內容製作者提供了 VR 音頻編輯的 SDK，方便製作者將3D音頻嵌入視頻當中，但是目前最嚴重的問題是：3D音頻源文件的製作還存在很多限制。

向奕裴在採訪中告訴小探，傳統的3D音頻製作，可以通過「人頭錄音」設備來實現，就像我們熟知的3D虛擬理髮店這類內容一樣。這樣產生的3D音頻直接可用，但是價格昂貴，並且音頻的各類要素都完全依賴現場的錄製狀況，後期完全不可編輯。然而視頻的製作是需要視、音頻文件嚴絲合縫的對應的，一旦音頻無法二次編輯，這將給視頻製作帶來很大的阻礙。

（人頭錄音設備）

況且，就傳統的影片拍攝方式來說，直接實現3D錄音是不現實的。「人頭錄音設備價格非常昂貴。影片的攝製團隊較為龐大，對於預算和工作周期有嚴格的要求，在有限的條件下，如果要全程錄製3D音頻，工程量將非常大，」向奕裴說，「目前一般都還是採取後期製作的方式來進行聲畫一致性的調節。」

然而，目前後期製作3D音頻的插件編輯器又太不人性化了！

比如下圖 Panorama 5 3D 音頻編輯器的這種畫風，製作者不僅得業務熟練，萬一腦補力不足，想像不出與畫面對應的3D場景，工作起來也是寸步難行。由於這需要音頻製作者在想像聲場空間設置的基礎上，手動調節每個節點的坐標數值，依賴這類軟體，3D音頻製作周期也會變得非常長。

（Panorama 5 的操作界面）

「想像一下，音頻編輯一會兒在2D屏幕上拖動各種按鈕，腦補3D聲音的場景，一會兒又得帶上VR頭顯監聽監看，這種操作方式簡直是反人類！」向奕裴說。

為了徹底解決這個問題，向奕裴想到：為何不直接讓製作人員戴著頭顯，直接在 VR 的環境下進行視頻、音頻的編輯呢？這樣一來，小編們再也不用冥思苦想，腦補實況，監聽監看也變成了順便的事情。

Mint Muse 近期在 Steam 發布的 VR 3D 音頻編輯器 Sound Flare，就突破性地 讓製作人員全程在 VR 環境中，直接根據全景視頻文件進行 3D 音頻製作，打破了以往3D 音頻製作的各種限制，。

點擊播放 GIF/420K

（在Sound Flare上拖動音頻位置，與視頻進行對應）

這款發布在 Steam 上的編輯器，允許人們帶上 VR 頭顯，用所見即所得的方式進行音頻編輯和製作。

點擊播放 GIF/477K

（Sound Flare 讓VR音頻編輯變得生動可見）

內容製作者可以戴著 VR 頭顯，在所看到的軟體界面上直接拖動音頻文件，除了調整市場、剪接、調音量等基本功能，通過打點、拖動關鍵幀等方式，也可以根據發聲路徑改變聲音的遠近，讓發聲的人物和聲音效果相符。

點擊播放 GIF/535K

（在Sound Flare 上可以直接進行拖動操作）

Sound Flare 到底能實現怎樣的效果呢？舉個簡單的栗子，你就懂了。

在一段 VR 視頻里，探長 Peter 和 Paul 都在矽谷密探的辦公室里，Peter 在呼嚕呼嚕地吃牛肉麵，Paul 在打電話。使用 Sound Flare 將音頻進行 3D 處理編輯後，小探用 VR 頭顯觀看視頻——從門口走進辦公室，如果將畫面拉近 Peter，Peter 吃牛肉麵的聲音就大一些；如果把畫面拉近 Paul，小探就能聽清 Paul 在說什麼；把畫面對向牆壁時，甚至可以聽到回聲。如果把畫面拉到門口之外，就什麼也聽不清啦。

這樣一來，人物的位置信息在聲音和畫面上都保持了一致，VR視頻將真正做到給人有「能忘卻所佩戴設備的真實空間感」。

點擊播放 GIF/218K

（用戶可以直接在Sound Flare上實現音頻文件的混縮輸出）

目前在 Sound Flare 上已經可以輕鬆實現兩耳3D音頻的製作，在未來的版本中，Sound Flare 將增加對環境立體聲（ambisonics）的支持，讓VR音頻實現全沉浸式的空間音效效果。

除了帶來行業變革的 VR 3D 音頻編輯器，Mint Muse 還為包括優酷在內的多個VR 視頻播放平台提供全景聲解決方案，讓3D音頻的播出不受平台技術限制，讓人們更全面地體驗到全景聲帶來的奇妙感受。

他給聲音變魔法

雖然創業者的傳奇故事大家都已聽得太多，但像向奕裴這樣「專業的」、文藝學霸也是鳳毛麟角。

（Mint Muse 的 CEO 向奕裴）

出生於音樂世家，從小學習鋼琴和雙簧管的他，沒有按照人們能想到的慣例，就此走入音樂演藝行業，而是去清華大學電子工程系當了一名理工男。擔任清華大學交響樂團首席雙簧管的他，不僅在校園裡小有名氣，更是與知名音樂人合作，為一系列專業唱片擔任編曲和製作人。

（向奕裴的豆瓣音樂小站）

在美國加州大學聖地亞哥分校電腦音樂和現代數字音頻技術博士畢業後，向奕裴順利進入 Qualcomm 高通工作，在高通的音頻組參與開發音頻音效演算法設計以及標準制定。雖然工作繁忙，但是向奕裴一邊堅持進行音樂創作，一邊還在搗鼓著創業！

（向奕裴在iTunes上的音樂專輯）

除了「偶爾」和愛樂樂團開幾場演奏會，「偶爾」寫寫歌、編編曲，「順便」在2011年出了一張個人專輯《To The Moments》以外，向奕裴與志同道合的小夥伴一起，先後做了白雜訊生成器 Loopless Relax Sound，運用過音頻演算法隨機組合內容，為用戶生成例如流水、雨聲、蛙鳴等不間斷的自然環境聲，還有通過控制聲波頻度改變用戶聽歌體驗的 Binaural Beats Mint 和「可記錄當時環境」的水印相機 Oiday 等在 App store 被用戶熱評的應用。

（Sound Flare 的編輯界面）

說到創辦 Mint Muse 的經歷，向奕裴說，創業和做音樂一樣，都是先有了想法，再仔細打磨、研究實現的方法。Mint Muse 團隊在很早以前就開始做與聲音有關的各種應用，在投入時間專心研究市場與產品後，最終確定方向，專攻空間聲效的編輯與製作。

VR 內容爆發仍需時日

向奕裴告訴小探，目前VR行業的一大短板，還是在內容。VR給人的體驗感是其他方式無法比擬的，但是即使平台和設備開發得再好，優質的內容始終是決定行業格局的關鍵。不管VR在設備和科技上有了怎樣的突破，如果音頻製作一直處於滯後狀態，VR在發展上仍會受到制約。可以很直接地說，VR內容的行業格局將會在很大程度上依賴於VR音頻的發展。

每一個看好VR 發展的人都熱情高漲，民用的360度攝像機、支持手勢的VR頭顯都已不再新鮮，然而，用於VR的內容質量仍然參差不齊。雖然有很多專業的VR內容製作公司和遊戲公司，但是最終給VR內容產業帶來繁榮的強心劑，很可能還是UGC（用戶產生內容）的參與。

Sound Flare編輯器可以說是行業首創的直接可在VR界面工作的後期處理工具，對於這個痛點實現了針對性地解決。向奕裴說，他希望 Sound Flare 不僅是為VR內容製作者提供便利，更希望通過 Sound Flare 的普及，可以讓VR在內容上有新的爆發。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！