MIT 新的科技突破：用 AI 過濾聲音，讓音樂聽起來更洪亮或更柔和

據報道， 麻省理工學院又出科技新突破，其計算機科學和人工智慧實驗室的研究人員所研發的新系統 PixelPlayer，能夠利用人工智慧來區分和過濾聲音，讓音樂聽起來更洪亮或更柔和。

據悉，將指定視頻錄入經過充分訓練的 PixelPlayer，系統隨機能夠過濾伴奏，同時識別音源，接著計算圖像中每個像素的音量，然後通過「空間定位」確定產生相似音波的片段。

PixelPlayer 的核心是一種基於樂器組合多模態訓練的神經網路，數據集採用了 Youtube 上 714 條未經修剪且未經標記的視頻。其中，總時長為 60 小時的 500 條視頻用於訓練，剩餘的則用於驗證和測試。在訓練過程中，研究人員分別根據原聲吉他、大提琴、單簧管、長笛和其他樂器向系統饋入了演算法。

這只是 PixelPlayer 多重機器學習框架的一個部分。經過訓練後的視頻分析演算法將從剪輯幀中提取出視覺特徵，這就是系統的第二個神經網路，即音頻分析網路。音頻分析網路將聲音拆分為片段，並從中提取特徵。最後，音頻合成網路將把上述兩個網路輸出的特定像素和聲波關聯起來。

PixelPlayer 進行完全自監督的學習，人們無需對數據注釋，而且系統目前已經能識別 20 種樂器。

圖片來源：123RF

MIT 新的科技突破：用 AI 過濾聲音，讓音樂聽起來更洪亮或更柔和最先出現在動點科技。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！