百度提出互動式學習方法：讓人工智慧代理在對話中學習說話

選自baidu.research

機器之心編譯

參與：黃小天、李澤南

自然語言處理一直是人工智慧發展道路上面臨的巨大挑戰。此前，大多數研究都是讓機器學習模型在大量已標記數據集上進行訓練的。最近，百度研究院人員提出了一種全新的方法，研究人員讓人工智慧系統通過與「教師」的口語對話來學習自然語言和知識。這種類似嬰兒學習語言過程的方法展現出了很大的潛力。機器之心對該文及其研究論文摘要進行了編譯，原文鏈接見文末。

四月上旬，百度研究團隊通過由虛擬教師（a virtual teacher）發出自然語言指令，成功地教會了人工智慧代理（agent）在迷宮中導航（參閱：用自然語言教育人工智慧：百度新演算法發展出 zero-shot 學習能力）。今天，百度研究團隊又很高興地宣布，通過與虛擬老師之間的交互，其人工智慧代理成功地學會了說話。

說話，以及其他人類基本能力，在創建通用人工智慧的道路上不可或缺。儘管今天與機器進行簡單的交談很常見，但是百度研究團隊教機器說話的方法與傳統方法大不相同。

百度的人工智慧代理以一種類似於嬰兒互動的方式學習說話。相反，傳統方法依賴於有監督訓練，使用包含大量預搜集訓練集的靜態語料庫，難以捕捉到語言學習過程中的動態交互屬性。結果，通過傳統方法訓練的系統主要反映了數據集中的行為，適應性和泛化能力有限。百度的人工智慧代理通過交互學習說話，旨在獲取語言學習與理解能力而不僅僅是捕捉到數據之中的統計模式。

當一個嬰兒學習說話時，他與人產生交互，並通過模仿和反饋進行學習。嬰兒最初通過模仿其會話者來產生言語行為，掌握字句生成的技巧。嬰兒也會向其父母發出聲音，並根據父母的糾正和鼓勵調節其言語行為。

研究概述

百度研究人員提出了一種基於自然語言學習的互動式方法，其中人工智慧代理通過與虛擬教師（教授者）交互、獲得反饋來學習自然語言，從而學習和提高自然語言技能以達到參與對話的程度。在這裡，沒有帶標籤數據形式的監督學習來引導學習者；取而代之的是，系統必須通過不斷嘗試說來學習說話，而教授者會提供口頭反饋（如是/否）和非口頭反饋（如點頭/微笑）。

下圖顯示了訓練中幾種不同形式的對話。在一開始，代理只能生成無意義的句子，它只能在純粹對話中提升自己的技能。而到了最後，代理可以正確運用自然語言回答教授者提出的問題。

另一方面的實驗進一步證明了新方法具備學習自然語言的能力。研究人員證明訓練後的人工智慧代理可以回答由已知知識或問題中的概念組成，但經過重組後形成的全新問題。例如，在訓練中，「avocado，east」組合從未出現在問答中；而 orange 僅被描述過，從未被教授者問到過。而在測試中，代理可以回答有關在「east」的「avocado」的問題，或有關「orange」的問題，如上圖所示。

百度的研究人員表示，他們會在未來進一步增加語言學習環境的複雜性，以訓練出更為複雜的語言行為。另外，他們還計劃探索機器學習系統的知識建模與快速學習，讓人工智慧代理能夠與人類進行自然交互，並讓它可以從物理世界中進行有效的學習。

論文：Listen, Interact and Talk: Learning to Speak via Interaction

論文鏈接：https://arxiv.org/abs/1705.09906

摘要：人工智慧的一個長期目標是構建一種可與人類進行自然語言交互的代理。然而，目前的大部分自然語言學習的研究都依賴大量帶注釋標籤的數據集以進行訓練，這導致人工智慧代理的任務變成了外部數據集的統計學抓取。由於訓練數據本質上是由標註者對知識進行的靜態表述，人工智慧代理經過學習後的適應性和拓展性受到了限制。此外，這種訓練方法與人類學習自然語言的過程非常不同，後者是一個交流的過程，通過說話和獲得反饋來進行。

在本論文中，我們提出了一種交互形式的自然語言學習方法。其中，人工智慧代理通過與教授者（teacher）用自然語言互相交流，從而在談話中學習和提高語言技能。為了達成這個目標，我們構建了一個包含模仿和強化學習方法的模型，用以比較句子和教授者的反饋。我們進行了實驗，證明了這種方法的有效性。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！