Facebook機器翻譯全面用神經網路，每日處理45億次翻譯

20萬，這是新智元今天達到的用戶總數。在飛向智能宇宙的旅程中，感謝每一位和新智元同行的朋友。您的關注和支持是「新智元號」星艦永不枯竭的燃料。

20 萬，每一位乘客對我們來說都彌足珍貴。我們希望加深對每一位乘客的了解，懇請您對這份問題不多、且不涉及任何隱私的調查問卷給出寶貴的反饋。

新智元正在舉行評論贈書活動，點擊閱讀原文投票，並留下你對新智元公眾號的建議，贏取《深度學習》免費贈書。

新智元編譯

來源：code.facebook.com

編譯：熊笑 弗格森

【新智元導讀】Facebook 今天宣布，從使用基於短語的機器翻譯模型改為使用神經網路系統來處理其社交網路後端每天的翻譯請求，每天翻譯超過 45 億次。與基於短語的系統相比，BLEU 平均相對提升了 11%。通過使用 Facebook 開源的深度學習框架 Caffe2，基於 RNN 的翻譯能夠迅速擴展。

GIF/38K

Facebook 今天宣布，已經開始使用神經網路系統來處理其社交網路後端每天的翻譯請求，總的翻譯數量超過 45 億次。通過使用 Facebook 在今年4月份開源的深度學習框架 Caffe2，基於 RNN 的翻譯能夠迅速擴展。

「使用 Caffe2，我們顯著提高了Facebook上機器翻譯系統的效率和質量。 我們的效率提升了 2.5倍，這使得我們能夠將神經機器翻譯模型部署到生產中，「Caffe2團隊在一篇博文中說。 「因此，Facebook上的所有機器翻譯模型已經從基於短語的系統轉換為所有語言的神經模型。

讓我們看看研究團隊是如何介紹這次意義重大的轉變的——

從基於短語的機器翻譯模型改為神經網路

給 Facebook 的 20 億用戶打造無縫、高度準確的翻譯體驗是個很有難度的任務。我們需要考慮上下文、俚語、打字錯誤、縮寫和寓意。為了繼續提高翻譯質量，我們最近從使用基於短語的機器翻譯模型改為使用神經網路，以支持我們所有在後端的翻譯系統，這些翻譯系統每天執行超過2000 種翻譯方向（translation directions）和45 億次翻譯。這些新模型提供了更準確和流暢的翻譯，改善了人們消費 Facebook 上非熟悉語言的內容的體驗。

Sequence-to-sequence LSTM with attention：使用上下文

我們以前的基於短語的統計技術是有用的，但它們也有局限性。基於短語的系統的一個主要缺點是它們將句子分解成單個單詞或短語，因此在生成翻譯時，他們每次只能考慮幾個單詞。這導致難以翻譯具有明顯不同詞序的語言。為了彌補這個問題，構建我們的神經網路系統，我們開始使用一種被稱為序列到序列LSTM（long short-term memory）的循環神經網路。這樣一個網路可以考慮源語句的整個上下文以及之前生成的一切內容，以創建更準確和流暢的翻譯。這允許長距離重新排序（long-distance reordering），例如在英語和土耳其語對譯時遇到的問題。下列土耳其語到英語的翻譯是基於短語的系統：

與我們的新的基於神經網路的土耳其語到英語系統的翻譯相比較：

使用新系統，與基於短語的系統相比，BLEU （一種機器翻譯自動評價方法，是一種用於判斷所有語言機器翻譯準確性的廣泛使用的度量標準）平均相對提高了11％。

處理未知詞

在許多情況下，源語句中的辭彙在目標辭彙表中沒有直接的對譯。當發生這種情況時，神經系統將為未知詞生成佔位符。在這種情況下，我們利用注意力機制在源詞和目標詞之間產生的soft alignment，以便將原始源詞傳遞到目標句子。然後，我們從利用我們的訓練數據構建的雙語詞典中查找該詞的翻譯，並在目標句替換未知詞。這種方法比使用傳統詞典更加強大，特別是對於噪音的輸入。例如，在英語到西班牙語的翻譯中，我們可以將「tmrw」（明天）翻譯成「ma?ana」。雖然詞典的增加只小幅改善了 BLEU 得分，但Facebook 上的用戶評分卻提高了。

辭彙削減（Vocabulary reduction）

典型的神經機器翻譯模型會計算目標辭彙中所有詞語的概率分布。我們在此分布中包含的詞語數越多，計算所用的時間越多。我們使用一種稱為辭彙削減（Vocabulary reduction）的建模技術，在訓練和推理時間上彌補這個問題。通過辭彙削減，我們將目標辭彙中最常出現的詞語與給定句子的單個詞語的一組翻譯備選相結合，以減少目標辭彙量的大小。過濾目標辭彙會減少輸出投影層的大小，這有助於使計算更快，而且不會使質量過多地降低。

調整模型參數

神經網路幾乎總是具有可調參數，可以控制模型的學習速度等。選擇這些超參數的最佳組合對於性能可能非常有益。然而，這對於大規模機器翻譯提出了重大挑戰，因為每個翻譯方向（translation direction）由具有獨特的一組超參數的唯一模型表示。由於每個模型的最優值可能不同，因此我們必須分別對每個系統進行調整。我們在數月內進行了數千次端對端翻譯實驗，利用FBLearner Flow platform微調超參數，如學習率，注意力類型和ensemble size。這對一些系統有重大影響。例如，僅僅是微調了模型超參數，英語到西班牙語翻譯的BLEU 就相對提高了3.7％。

在 Caffe2 框架下神經機器翻譯

過渡到神經系統的挑戰之一是讓模型以Facebook 這樣規模的應用所需的速度和效率運行。我們在深度學習框架 Caffe2 下實施了我們的新翻譯系統。它的靈活性使我們能夠在我們的 GPU 和 CPU 平台上進行訓練和推理，來調整翻譯模型的性能。

對於訓練，我們實施了內存優化，如 blob 回收和 blob 重新計算，這有助於我們進行更大批量的訓練，訓練時間也更快。對於推理，我們使用專門的向量數學庫和權重量化來提高計算效率。舊有模型的 early benchmark 表明，支持2000 多個翻譯方向的計算資源將會非常高。然而，Caffe2 的靈活性和我們實現的優化使我們的效率提高了 2.5 倍，從而使我們能夠將神經機器翻譯模型部署到生產中。

我們遵循在機器翻譯中常用的在解碼時使用 beamsearch 的做法，以改進我們根據模型對最高概率輸出句子的評估。我們利用Caffe2 中的循環神經網路（RNN）abstraction 的 generality 來實現 beam search（直接作為單獨的前向網路計算），這使我們實現了快速高效的推理。

在這項工作的過程中，我們開發了RNN 構建模塊，如LSTM、multiplicative integration LSTM 和注意力。我們很高興將這項技術作為 Caffe2 的一部分分享，提供給研究和開源社區。翻譯的演算法可以在Caffe2 GitHub 頁面找到。

CNN 會更多地應用到翻譯系統中

Facebook人工智慧研究院（FAIR）最近發表了使用卷積神經網路（CNN）進行機器翻譯的研究。我們與FAIR 密切合作，在不到3個月的時間內，將這項技術首次從研究帶入了實際的產出系統（production system）。我們推出了英文到法文、英文到德文翻譯的 CNN 模型，與以前的系統相比，新系統帶來了 BLEU 12.0％（+4.3）和14.4％（+3.4）的質量提升。這些質量改進使CNN 成為一個令人興奮的新發展道路，我們將繼續努力，將 CNN 更多地應用到翻譯系統中。

我們剛剛在翻譯中開始使用更多的「語境」。神經網路開啟了許多未來的發展路徑，這些路徑都與添加更多「語境」相關，例如伴隨文本的照片，由此創建更好的翻譯。

我們也開始探索可以翻譯不同語言方向的多語種模型。這將有助於解決為每個特定語言對的系統進行微調的挑戰，並且還可以通過共享訓練數據從某些方向上帶來質量提升。

完成從基於短語到神經機器翻譯的過渡，是Facebook 改善用戶翻譯體驗的里程碑。我們將繼續推進神經機器翻譯技術，目的是為Facebook 上的每個人提供更為人性化的翻譯。

原文地址：https://code.facebook.com/posts/289921871474277

【號外】新智元正在進行新一輪招聘，飛往智能宇宙的最美飛船，還有N個座位

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！