FB ICLR 2017研究成果概述，對話研究的創新與優勢

選自Facebook

作者：Alexandre Lebrun等

參與：李澤南、微胖

深度學習盛會 ICLR 2017 正在法國的土倫舉行，Facebook 在大會前夕對人工智慧實驗室 FAIR 近期在對話系統上的研究進行了梳理，並列出了即將在大會上發表的 7 篇論文，讓我們先睹為快。

建立有效的對話系統

在 Facebook AI Research（FAIR），讓機器理解自然語言對話的內容是一項雄心勃勃的長期人工智慧研究目標。真正有效的對話系統將會成為有效的輔助技術——其中會包含通過自然語言與人類進行交互的聊天系統。對話系統可以幫助用戶更好地理解周遭的世界，更有效地與他人進行交流，消除溝通不暢的問題。隨著網路世界的不斷擴大，研究和開發這類技術正在變得越來越重要。

讓機器理解和解釋對話內容並不是一種全新的嘗試。在過去 20 年中，很多人曾試圖構建一台可以與人自然對話，或可以從人類那裡學會對話的機器。這些技術和工程結合的系統各自只適用於很小的一部分領域，使用預編程內容對需求產生回應。

隨著近年來機器學習的興起，讓人工智慧與人類使用自然語言展開交談的夢想正變得越來越接近現實。這一展望也得到了學界和業界的共同關注。

然而，技術的發展並沒有人們想像得那麼快。今天的大多數對話系統仍然是腳本化的：其中的自然語言理解模塊或許是基於機器學習的，但它們生成的回答仍然基於編程中的 if/then——或其他已經寫好的規則。儘管目前的技術相比過去已經有了很大改觀，但其本質仍然是一種基於大容量資料庫的反應機制。

解決兩端挑戰

使用自然語言與聊天機器人進行順暢的對話目前仍然是一個挑戰，仍需要一系列技術突破。在 FAIR，我們希望從兩端同時著手解決這些問題：從通用人工智慧和機器在交流中的推理能力，到對話系統面臨的實際問題（從已公開發布的聊天機器人在運行中收集到的問題）。Facebook 的優勢在於同時能夠探究這兩種角度的多樣性——從致力於長遠角度的 CommAI initiative 到面向短期應用方向的 FastText 和 Facebook M。所有這些，結合 Facebook 人工智慧團隊的強大實力，通過深度學習的自然語言處理、強化學習、計算機視覺和計算機工程能力，這家公司正在打造先進的自然語言處理系統。

FAIR 在對話系統中的研究有著堅實的基礎：

• 強大的基線：用於自然語言處理的先進學習系統應該能夠有效提升性能（較之更加傳統的辦法）。為此，我們打造了 FastText，旨在使用相對簡單、容易理解的技術實現最好的結果。

• （更加）清楚的評估：評估對話系統比較困難。在 FAIR，我們的辦法是通過改善工具實現這一目標。在 ICLR 2017 大會上，我們會與研究社區分享這方面的成果和工具。包括用來訓練和評估推理模型的 CommAI 環境，可用來測試端到端對話模型的 bAbI 任務。謝謝 Facebook M 的協作，我們已經利用真實產品條件下的模型，測試了這些工具。

• 開放研究：FAIR 在會議以及研究發表網站上幾乎全部公開了所有自己的研究。類似的，代碼和數據，包括上面談到的兩個評估項目已經開源。正如 FAIR 研究工作的多樣性，整個人工智慧研究社區的研究也存在廣泛多樣性。我們相信，開放對話以及共享工具和學習將會讓整個行業取得更大的進步。

共享帶來進步

在這次 ICLR 大會上，我們將展示 7 篇論文，這些論文將會例證 FAIR 對話研究的質量、創新之處以及廣度。Lazaridou 以及 CommAI 提出的方向——打造能夠發現和使用基礎對話技術的系統，是邁向通用人工智慧的第一步。Li 的兩篇論文研究了端到端對話系統通過使用進行中的對話來提升系統自身性能的辦法。Bordes 介紹了一種在面向目標的場景下，用於測試端到端對話系統的 bAbI 的對話任務。我們也提交了兩篇關於機器閱讀的論文，作者是 Grave 和 Henaff，他們的研究推進了機器文本理解。

ICLR 2017 上出現的相關研究

[1]「CommAI: Evaluating the First Steps Towards a Useful General AI」M Baroni, A Joulin, A Jabri, G Kruszewski, A Lazaridou, K Simonic, T Mikolov

[2]「Dialogue Learning With Human-In-The-Loop」J Li, AH Miller, S Chopra, MA Ranzato, J Weston

[3]「Improving Neural Language Models with a Continuous Cache」E Grave, A Joulin, N Usunier

[4]「Learning End-to-end Goal-oriented Dialog」A Bordes, YL Boureau, J Weston

[5]「Learning Through Dialogue Interactions」J Li, AH Miller, S Chopra, MA Ranzato, J Weston

[6]「Multi-Agent Cooperation and the Emergence of (Natural) Language」A Lazaridou, A Peysakhovich, M Baroni

[7]「Tracking the World State with Recurrent Entity Networks」M Henaff, J Weston, A Szlam, A Bordes, Y LeCun