谷歌全端到端語音合成系統Tacotron：直接從字元合成語音

選自arXiv

作者：王雨軒等

機器之心編譯

參與：李澤南、吳攀

最近，谷歌科學家王雨軒等人提出了一種新的端到端語音合成系統 Tacotron，該模型可接收字元的輸入，輸出相應的原始頻譜圖，然後將其提供給 Griffin-Lim 重建演算法直接生成語音。該論文作者認為這一新思路相比去年 DeepMind 的 WaveNet 以及百度剛剛提出的 DeepVoice 具有架構上的優勢。

現代文本轉語音（TTS）的流程十分複雜（Taylor, 2009）。比如，統計參數 TTS（statistical parametric TTS）通常具有提取各種語言特徵的文本前端、持續時間模型（duration model）、聲學特徵預測模型和基於複雜信號處理的聲碼器（Zen et al., 2009; Agiomyrgiannakis, 2015）。這些部分的設計需要不同領域的知識，需要大量精力來設計。它們還需要分別訓練，這意味著來自每個組件的錯誤可能會複合到一起。現代 TTS 設計的複雜性讓我們在構建新系統時需要大量的工作。

此前，WaveNet（van den Oord et al., 2016）是一種用於生成音頻的強大模型。它對 TTS 來說效果良好，但由於樣本級自回歸採樣的本質（sample-level autoregressive nature），速度較慢。它還需要對來自現有 TTS 前端的語言特徵進行調節，因此不是端到端的：它只取代了聲碼器和聲學模型。另一個最近開發的神經模型是百度提出的 DeepVoice（Arik et al., 2017），它通過相應的神經網路代替經典 TTS 流程中的每一個組件。但其中的每個組件都是獨立訓練出來的，改變系統以端到端形式訓練非常重要。

論文：Tacotron：一個完全端到端的文本轉語音合成模型（Tacotron: A Fully End-to-End Text-To-Speech Synthesis Model）

摘要：

一個文本轉語音的合成系統通常需要多個處理階段，例如文本分析前端、聲學模型和音頻合成模塊。構建這些組件經常需要多種領域的專業知識，而且設計選擇也可能很脆弱。在本論文里，我們提出了 Tacotron——一種端到端的生成式文本轉語音模型，可以直接從字元合成語音。通過配對數據集的訓練，該模型可以完全從隨機初始化從頭開始訓練。我們提出了幾個可以使該序列到序列框架在這個高難度任務上表現良好的關鍵技術。Tacotron 在美式英語測試里的平均主觀意見評分達到了 3.82 分（總分是 5 分），在自然感（naturalness）方面優於已在生產中應用的參數系統（parametric system）。此外，由於 Tacotron 是在幀（frame）層面上生成語音，所以它比樣本級自回歸（sample-level autoregressive）方式快得多。

圖 1：模型架構。該模型接收字元的輸入，輸出相應的原始頻譜圖，然後將其提供給 Griffin-Lim 重建演算法以生成語音

圖 2：CBHG（一維卷積庫+highway 網路+雙向 GRU）模塊，改編自 Lee et al. (2016)

表 1：超參數和網路架構。「conv-k-c-ReLU」表示寬度為 k、有 c 個輸出通道、帶有 ReLU 激活的一維卷積。FC 代表全連接。

圖 3：在測試短語上的注意對齊（attention alignment）。由於使用了 r=5 的輸出規約（output reduction），Tacotron 的解碼器的長度更短。

圖 4：使用和不使用後處理網路的預測譜圖對比

研究人員進行了平均意見得分測試（mean opinion score，MOS）——由測試者對合成語音的自然程度進行 5 分制的李克特量表法（Likert scale score）評分。MOS 的測試者均為母語人群，共使用 100 個事先未展示的短語，每個短語獲得 8 次評分。當計算評分時，只有在測試者佩戴耳機時打出的評分被計算在內。作為對比，研究人員將 Tacotron 與參數式（parametric）系統（基於 LSTM（Zen et al., 2016））和拼接式（concatenative）系統（Gonzalvo et al., 2016）做了比較，後兩者目前均已投入商業應用。測試結果如下表顯示：Tacotron 的 MOS 分數為 3.82，優於參數系統。由於參照基準已經非常強大，以及 Griffin-Lim 合成的引入，這一新方法具有非常好的前景。

表2：意見得分測試結果

項目 GitHub：https://github.com/google/tacotron

語音合成音頻試聽：「Tacotron: A Fully End-to-End Text-To-Speech Synthesis Model」

https://google.github.io/tacotron/