成為Beatbox大佬：AI助力將聲音轉化為節奏

編譯：chux

出品：ATYUN訂閱號

為了幫助嶄露頭角的音樂家為他們的歌曲創造最佳節奏，來自日本AI創業公司的開發人員開發了一種名為Neural Beatboxer的深度學習系統，可將日常的聲音轉換為數小時自動編譯的節奏。

用戶可以訪問網站，那裡提供一些聲音，神經網路自動生成一個可以持續數小時的自定義鼓組。

Qosmo首席執行官Nao Tokui表示，他在日本擔任DJ時想出了這個想法。他對當前AI音樂生成的研究方向感到沮喪，並希望他的神經網路能夠提供幫助。

Tokui使用NVIDIA的Quadro GPU的GP100，與cuDNN -accelerated Keras深度學習框架，建立了卷積神經網路音頻分類模型。

「我使用了在線提供的鼓機聲音數據集，並訓練了卷積神經網路，根據其頻譜圖對音頻進行分類，」他解釋道。「該模型經過訓練，可以對以下鼓聲進行分類：kick，snare，hi-hat-closed， hi-hat-open，low tom，mid tom，high tom，clap，rim。」

為了節奏的產生，他使用了谷歌Magenta項目提供的預先訓練好的鼓類回歸神經網路。

Web前端使用TensorFlow.js，magenta.js和p5.js構建。

「最初，我考慮使用相同的技術來製作我在DJ集中播放的音樂混音，」Tokui解釋道，「我一直在為AI DJ的項目努力，在那裡我和AI DJ一起播放音樂。」

他說，如果AI DJ可以選擇和混合音樂，並且以人類無法實時的方式重新混音，那將會很棒。

Tokui表示，「我的目的是製作有趣，怪異的節奏，使用通過麥克風錄製的原始聲音材料，這個系統可能能夠產生令人興奮的或新穎的節奏，在沒有任何AI幫助的情況下沒有人想要手動編寫。」

網站：codepen.io/naotokui/pen/NBzJMW

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！