MIT開發出能分離不同樂器聲音的應用

mit|youtube

當你製作甜品的時候，將澱粉、糖、雞蛋等材料混合在一起，進行烘烤。這一過程和演奏音樂有些相像，不同的樂器，不同的聲音特質，按照某種既定規則交織在一起。當演奏過程被記錄到音頻文件中，就像是蛋糕烘烤出爐，等待人們的品嘗。沒有辦法逆轉這一過程，將澱粉和糖從中析出還原。所以，也沒有辦法將音頻文件中的不同樂器聲單獨摘出來……按道理是的吧？

麻省理工學院計算機科學與人工智慧實驗室的研究人員開發出了一款應用程序，利用它可以識別出合奏演出視頻/音頻文件中不同的樂器聲。當它生成視頻中出現過的樂器列表之後，用戶只需要點擊選中特定的樂器，就能直接獲取視頻中該樂器的單獨演奏的效果。

這可不像說起來那麼輕鬆，實際上，之前還沒有哪種傻瓜式應用程序能做到這一點。顯出特定的樂器聲音，比消除背景雜音凸顯人類對話聲音的操作要難得多，因為樂器演奏的時候，不同聲音合併在一條音軌上，音調音節的起伏彼此相合。而之前的音頻處理技術，通過頻率之類的參數，來消抹或截取相關聲音，需要調音師極多的精細操作。

他們的神經網路深度學習系統對時長60小時的各種音樂家演奏視頻進行分析訓練。最終，它能夠識別出20多種不同的樂器，然後自動將每種樂器的聲音隔離出來。用戶只需要點擊他們想要聽到的樂器，就能單獨得到一段音頻。以往的音響工程師要想實現這一效果，通常需要數個小時的處理和調整。

CSAIL的研究人員指出，隨著神經網路系統進一步升級，它將能分辨同一族樂器之間的差異。未來，它可以被用於混音處理和重新灌制唱片，哪怕母帶出現損毀也沒有關係。具體的應用方向，比如說在演出完成錄製後，還可以提高小號的聲音，同時降低鋼琴的音量以改善整體混音效果。或者，對還處於學習階段的音樂家來說，用該軟體可以將著名樂隊中特定的演奏者的演奏效果提取出來加以揣摩學習。

該軟體還有可能徹底改變DJ行業，或許這也是麻省理工學院不想此時就推廣應用程序的原因。但是，操作如此便捷的音頻處理程序是每位調音師和混音DJ都想放到自己工具箱中的強大工具。

本文譯自 gizmodo，由譯者 majer 基於創作共用協議(BY-NC)發布。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！