阿里雲PAI將神經機器翻譯訓練效率提升5倍

近兩年，神經機器翻譯（NMT: Neural Machine Translation）技術異軍突起，翻譯質量取得大幅提升。但不幸的是，NMT 系統的訓練成本非常高，限制了這一技術的大範圍使用。

阿里翻譯團隊通過使用阿里雲機器學習平台PAI實現了模型訓練效率5倍的飛躍，並已應用在英俄電商翻譯質量優化項目中。

1

什麼是NMT

NMT一詞的出現要追溯到2014年9月1號，加拿大蒙特利爾大學Bengio教授研究組在開放論文網站arxiv上發布了他們最新的研究成果『neural machine translation by jointly learning to align and translate』，NMT進入了人們的視野。

他們設計了一組神經網路，使用一個編碼器將源語言句子編碼為一個向量，然後使用一個解碼器對該向量進行解碼，產生譯文。同時，引入了注意力機制進一步提高譯文質量。

2

阿里翻譯如何使用PAI

在阿里巴巴內部，阿里翻譯負責為1688國際站、全球速賣通等提供多語言服務，中國賣家填寫的一些中文信息會被機器自動翻譯成多國語言。該團隊同時還為釘釘、東南亞電商Lazada等提供服務。

去年，他們首次將NMT技術應用在通訊場景下。雖然翻譯質量取得很大的提升，但模型訓練耗時太長。3000萬的訓練數據在單塊GPU卡上一般需要訓練20天以上，才能得到一個初步可用的模型。

之後，他們嘗試在阿里雲機器學習平台PAI上開發支持分布式訓練的NMT系統，並於3月底完成了第一個版本。在英俄電商翻譯質量優化項目中，分布式NMT系統大大提高了訓練速度，使模型訓練時間從20天縮短到了4天。

圖：使用不同卡數時，在中英100萬訓練語料上獲得的收斂加速比

現在，阿里翻譯團隊還在破解線上服務處理延時的難題，為神經網路機器翻譯模型的大規模應用掃除最後障礙。

3

PAI是什麼

PAI是阿里巴巴「NASA」計劃發布的首個重磅工具，可完全兼容全球主流的深度學習開源框架。同時，底層提供強大的雲端異構計算資源，包含CPU、GPU、FPGA。在GPU方面，可靈活實現多卡調度。

在阿里巴巴內部，PAI已經被廣泛使用。淘寶搜索使用PAI的參數伺服器，可以把百億個特徵的模型，分散到數十個乃至於上百個參數伺服器上，打破規模瓶頸。最終實現搜索結果基於商品和用戶的特徵進行排序。

在過去的一年時間裡，阿里雲協助客戶落地了多項重大的人工智慧應用。但人工智慧要想真正成為成為普惠技術，需要一件人人可用的生產工具。PAI正是為此而生。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！