谷歌Transformer解決了機器翻譯中的一個難題

北京時間9月1日上午消息，機器學習已經成為一種非常有用的翻譯工具，但它還存在一些弱點，翻譯模式傾向於逐詞翻譯是其中之一，可導致嚴重錯誤。谷歌在iResearch博客上發表了一篇有趣的帖子，詳細說明了這個問題的性質以及解決方案。該公司自然語言處理部門雅克布·烏茲考瑞特（Jakob Uszkoreit）給出了很好的解釋。請思考以下兩個句子：

我過了馬路就到了銀行（bank）。

我過了河就到了岸邊（bank）。

顯然，每句話中的「bank」指代不同的東西，但是，逐字翻譯的演算法可能很可能挑選錯誤的含義——因為它不知道哪一個「bank」是正確的，除非它能看到句子結尾。你稍加留意就能發現，這種歧義隨處可見。

我會改寫句子，當然，翻譯系統不會選擇這樣走。如果為了這種簡單的句子而修改神經網路，那將是非常低效的。

谷歌的解決方案是所謂的關注機制（attention mechanism），也就是說在翻譯軟體中內置一個名為「變壓器」（Transformaer）的系統。它將句子中的單詞逐一進行比較，以確定它們之間是否以某種關鍵方式相互影響——例如，看「他」或「她」是否在說話，或者像「銀行」這樣的詞是否以特定的方式表示。

當翻譯句子被構建時，關注機制將每個詞與其他詞進行比較，就像下面GIF所演示的那樣。

如果這一切聽起來很熟悉，那可能是因為本周早些時候你讀過一篇報道：谷歌翻譯的競爭對手DeepL也在使用一種關注機制。該公司的聯合創始人提到了這個問題，他們正在為此而努力工作，他甚至提到那篇報道谷歌的文章，但顯而易見，他們的產品與谷歌有所區別，非常有效，甚至好於後者的版本。

有趣的是，谷歌的方法讓人們有機會看到系統的運作原理，因為Transformer給每個詞提供一個與其他單詞相關程度的得分，你可以看到它認為是相關的詞，或者潛在的相關詞：

很酷，對吧？嗯，我想是的。但也存在另一種類型的歧義，因為在英文里，「它」可以指代街道或動物，必須看到最後一個字才能確定bank的含義。人腦可以自動計算和分辨，但機器仍然必須有人教。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！