「重磅」Facebook全新機器翻譯超越谷歌，用CNN替代RNN創世界紀錄（開源）

新智元編譯

開源地址：https://github.com/facebookresearch/fairseq

論文地址：https://s3.amazonaws.com/fairseq/papers/convolutional-sequence-to-sequence-learning.pdf

Facebook的使命是讓世界更開放、連接全世界，所以，語言的翻譯對他們來說至關重要，這一技術能讓每一個人都能用自己喜歡的語言來瀏覽帖子或視頻。

今天，Facebook AI 研究 （FAIR）團隊發布了一項使用創新性的、基於卷積神經網路的方法來進行語言翻譯的最新成果。Facebook 稱，該研究取得了截止目前最高準確度，並且速度是基於循環神經網路(RNN)系統的9倍（谷歌的機器翻譯系統使用的就是這一技術）。

此外，FAIR 所推出的序列建模工具包 （ fairseq）的源代碼和訓練好的系統已經在Github上開源，感興趣的研究者可以基於此定製用於翻譯、文本摘要和其他任務的模型。

為什麼是卷積神經網路（CNN）？

幾十年前，Yann LeCun 對CNN 進行了開創性的發展，自那以後，CNN在許多機器學習領域，比如圖像的處理上獲得了巨大的成功。但是，循環神經網路一直都是文本類應用的常用的技術，並且，由於其極高的準度，它也成為了語言翻譯的首選。

雖然在語言翻譯的任務中，從歷史上看，RNN 的表現都要優於CNN。但是，這一模型的設計有其固有的缺陷。如果你去觀察它們是如何處理信息的，你就能理解這種缺陷。計算機是通過閱讀一種語言中國的一個句子然後預測出另一種語言中帶有相同含義的一系列詞語，來進行文本的翻譯。

RNN 遵循一種嚴格的「從左至右」或者「從右至左」的順序，每次處理一個單詞。這與現代的、由高並行的GPU硬體支撐的機器學習匹配起來並不那麼自然。

具體說來，計算本身不能夠被完全的並行（parallelized），因為每一個單詞必須等到神經網路處理完前一個單詞才能被處理。作為對比，CNN 能夠同時處理所有的元素，完全利用GPU 並行計算的優勢。進而，CNN在計算上的效率也會更高。CNN 的另一個優勢是，信息的處理是分層次的（ hierarchically），這能讓它更容易地捕捉到數據中的複雜關係。

在此前的研究中，把CNN用於翻譯，性能上一直都沒能超越RNN。但是，由於CNN 在架構上的潛力，FAIR 開始了一系列相關研究，開發出一系列用於翻譯的模型，展示了CNN在翻譯上的強大性能。CNN在計算上的效率優勢也有潛力被擴展到翻譯上，覆蓋世界上6500種語言。

最高性能和創紀錄的速度

Facebook 在官方博客中稱，他們的技術在機器翻譯峰會（WMT）所提供的公共基準數據集上，相比RNNs2，取得了新的最高水準。特別是，基於CNN 的模型準確度也超越了被用於評判機器翻譯準確度的業界廣泛認可的數據集WMT2014 英語-法語翻譯任務中的歷史記錄 1.5 BLEU。在WMT 2014 英語-德語的翻譯中，提升是0.4 BLEU，WMT 2016英語-羅馬尼亞語，提升到1.8BLEU。

基於神經網路的機器翻譯技術要用於實踐，其中的一個考慮的要素是，在我們把一句話輸入系統以後，需要花多長時間，才能獲得相應的翻譯。 FAIR 的 CNN 模型在計算上是非常高效的，比企鵝比最強的RNN系統要快9倍。有很多的研究一直的著眼於如何通過量化權重或者精餾（distillation）的來提升速度，這些方法同樣也能被用到CNN的模型中，來提升速度，甚至還能提升更多。這意味著，CNN 有著巨大的潛力。

使用多跳（muti-hop）注意力（attention）和門來獲得更好的翻譯

Facebook 架構的一個顯著組成部分是多跳注意力。注意力機制類似於一個人在翻譯句子時會分解句子的方式：神經網路會在句子上重複地「回顧」，以選擇下一步將會翻譯哪個詞，而不是僅僅看一次句子，然後寫下完整的翻譯而不回頭看。這跟人的翻譯過程很像，我們通常會在翻譯中偶爾回顧前面出現的具體關鍵詞。多跳注意力是這種機制的增強版本，它允許網路進行多次這樣的「回顧」，以產生更好的翻譯。這些「回顧」也取決於彼此。例如，第一次「回顧」可以集中在一個動詞上，而第二個「回顧」則是關聯的輔助動詞。

在下圖中，我們顯示系統何時讀取法語短語（編碼），然後輸出英文翻譯（解碼）。他們首先運行編碼器，使用CNN為每個法語單詞創建一個向量，同時進行計算。接下來，解碼器CNN產生英文單詞，一次一個。在每一步，注意力都會能「回顧」法語句子，以決定哪些詞語與翻譯中的下一個英文單詞最為相關。

在解碼器中有兩個所謂的層，下面的圖說明了每個層中的注意力機制是如何完成的。綠線的強度表示網路對每個法語單詞的重視程度。當網路被訓練完成時，翻譯總是可用的，英文單詞的計算也可以同時進行。

系統的另一個特點是門，其控制神經網路中的信息流動。在每個神經網路中，信息流經所謂的隱藏單元。我們的門機制將控制哪些信息傳遞到下一個單元，以便能夠產生較好的翻譯。例如，當預測下一個字時，網路會考慮到迄今為止產生的翻譯。門將允許它放大翻譯的一個特定方面或獲得更廣泛的圖像——這一切取決於網路在當前上下文中認為適合的內容。

未來發展

這種方法是用於機器翻譯的另一種架構，為其他文本處理任務開闢了新的可能性。例如，在對話系統中，多跳注意力使得神經網路能夠聚焦在談話的重點部分，比如將談話內容中兩個相互獨立的事實聯繫在一起，以便更好地應對複雜的問題。

新智元招聘

職位：客戶經理

職位年薪：12 - 25萬（工資+獎金）

工作地點：北京-海淀區

所屬部門：客戶部

彙報對象：客戶總監

工作年限：3 年

語 言：英語 + 普通話

學歷要求：全日制統招本科

職位描述：

1. 精準把握客戶需求和公司品牌定位，策劃撰寫合作方案；

2. 思維活躍、富有創意，文字駕馭能力強，熟練使用PPT，具有良好的視覺欣賞及表現能力，PS 能力優秀者最佳；

3. 熱情開朗，擅長人際交往，良好的溝通和協作能力，具有團隊精神；

4. 優秀的活動籌備與執行能力，較強的抗壓能力和應變能力，適應高強度工作；

5. 有4A、公關公司工作經歷優先；

6. 對高科技尤其是人工智慧領域有強烈興趣者加分。

崗位職責：

參與、管理、跟進上級指派的項目進展，確保計劃落實。制定、參與或協助上層執行相關的政策和制度。定期向公司提供準確的市場資訊及所屬客戶信息，分析客戶需求，維護與指定公司關鍵顧客的關係，積極尋求機會發展新的業務。建立並管理客戶資料庫，跟蹤分析相關信息。

應聘郵箱：jobs@aiera.com.cn

HR微信：13552313024

新智元歡迎有志之士前來面試，更多招聘崗位請點擊【新智元招聘】查看。