我中心推出對話技術平台-DTP

摘要：我中心近日推出「對話技術平台-DTP」（Dialog Technology Platform）測試版(http://dtp-cloud.cn)，其搭載了哈工大社會計算與信息檢索研究中心多年積累的自然語言處理（NLP）和人工智慧（AI）技術，是專為第三方開發者打造的中文對話機器人搭建平台。開發者可以通過DTP輕鬆賦予自身產品智能對話交互的能力，這大大降低了開發對話機器人的技術門檻，並提高了開發效率。

一、前言

隨著人工智慧的浪潮興起，人們希望機器能像人一樣思考，與人類對話，並成為人類的幫手，智能對話機器人便成了目前熱門的研究課題。當前的對話機器人主要分為兩大類：一類是閑聊機器人，這類機器人通常不會有明確的目標，只關注生成流暢、合理並且自然的回復；另一類是私人助理機器人，或者稱為任務型對話系統，該類系統主要幫助用戶完成任務型的指令，例如：查詢天氣、訂車票機票等。就像漫威電影里的Jarvis那樣，他能夠幫助鋼鐵俠完成各種事情。

因此，很多產品都希望採用人機對話的交互形式，然而對於沒有NLP方面技術積累的普通開發者來說，搭建對話系統是一項很困難的工作。為此，我們推出了對話技術平台，用於供開發者創建自己的基於自然語言交互的任務型對話系統。DTP（Dialog Technology Platform，對話技術平台）是搭載了哈工大社會計算與信息檢索研究中心多年積累的自然語言處理（NLP）和人工智慧（AI）技術，專為開發者打造的中文對話機器人搭建平台。開發者可以通過DTP輕鬆賦予自身產品智能對話交互的能力，這大大降低了開發對話機器人的技術門檻，並提高了開發效率。

DTP給開發者提供了語義理解模塊和對話管理模塊的演算法黑箱，開發者不需要了解構建對話系統的複雜模型，只要上傳一定量的語料和定義系統所需要的各種特定參數和規則，就可以創建出一個用來完成特定意圖功能的任務型對話系統。通過藉助DTP提供的雲服務，開發者無需親自掌握NLP、AI等技術，只要基於DTP的會話API即可在多種終端（網站、移動APP、智能硬體）中構建自己的智能會話機器人界面。

二、DTP的整體架構

要了解DTP的架構，我們需要了解任務型對話系統基本的組成部分。

圖1任務型對話系統的組成部分

如圖1所示，當用戶說出一條語音指令後，對話系統首先會通過語音識別模塊（ASR）將其轉換成文本，之後便會進入自然語言理解模塊（NLU），這部分的主要工作是將用戶表達中所包含的「意圖」和「語義槽」提取出來，之後便進入對話管理模塊（DM），這部分包含了兩個子模塊，對話狀態追蹤模塊（DST）和策略優化模塊（DPO），前者負責將本輪的語義信息與歷史的對話狀態進行整合；後者則負責根據機器人當前的對話狀態從多個系統動作中選擇一個最優的。得到需要執行的動作後，對話系統會再通過自然語言生成模塊（NLG）和語音合成模塊（TTS）生成最後的結果返回給用戶。

最終，通過DTP搭建的對話系統的整體架構如圖2所示。

圖2整體架構

首先，最上層是開發者應用，這部分包含了開發者自己的應用程序，DTP所提供的對話機器人服務將會以API的形式接入開發者應用。在開發者應用層之下，便是我們的DTP，DTP主要包含兩個部分，一部分是語義理解，另外一部分是對話管理。以「幫我訂一張去北京的機票」為例，語義理解將要對用戶說的這句話進行分析並理解，通過這個模塊，系統可以判斷出，用戶的意圖是「訂機票」，語義槽「到達地」的值是「北京」。但只理解單輪的對話還不夠，系統還要與用戶進行交互，在這個例子里，由於用戶只說了「到達地」，沒有說「出發地」，因此，機器人就會反問「請問您從哪裡出發呢？」，這部分的工作便由對話管理模塊來負責。而整個架構最底層則是：LTP（語言技術平台）和大詞林，通過借力於一系列久經打磨的領先技術，包括詞法分析、語義計算、知識挖掘等等，機器理解的能力得到了大大提升。

三、DTP的技術特點

DTP的技術特點主要體現在以下四個方面：

圖3 DTP技術特點

① 精準的語義理解:

語義理解模塊（NLU）是對話系統中最重要的一個組成部分，在傳統的對話系統架構中，語義理解模塊會把用戶的每句表達看成相互獨立的輸入，只分析單輪的用戶表達語義信息，但是這種機制會在多輪的對話交互系統中帶來很多問題，比如用戶說「上海」時，如果不分析機器人的問題（「請問您從哪裡出發呢？」），模型無法區分「上海」是「出發地」還是「到達地」，因此我們採用了基於記憶的自然語言理解模型，更好地利用了對話過程中的歷史信息。

圖4基於記憶的自然語言理解模型

② 小數據集辦大事:

通常情況下，訓練一個聊天機器人需要大量的標註語料數據，如何在訓練數據較小的情況下提升語義理解的能力便成為關鍵的問題。通過藉助實驗室研究多年的語言分析技術（LTP）和知識圖譜（大詞林）來構建知識庫，語義理解模型的泛化能力得到了大大提升。開發者在僅錄入幾十條標註數據的情況下也能訓練出在特定領域內表現較好的機器人。比如，開發在只錄入一條語料「幫我訂一張去北京的機票」的情況下，其他的城市實體也都會被識別出來。

③ 靈活的對話管理:

在對話過程中，機器人不僅要理解用戶的單輪意圖，還要結合多輪對話來進行反饋並更新記憶，DTP支持開發者定義面向語義槽的多輪對話交互，開發者可以自行定義機器人在語義槽缺失時的詢問，從而引導用戶的回答。

圖5面向語義槽的多輪對話交互

④ 上下文輕鬆定製:

在傳統的聊天機器人搭建的過程中，開發者需要定義非常複雜的交互邏輯，從代碼層面上來看，需要寫很多邏輯判斷，一旦需求出了變更修改起來很麻煩，可擴展性不好。為了能讓開發者更容易地控制機器人的對話流程，我們從這種複雜的邏輯中抽象出了一種新的模式—上下文，我們的系統支持開發者定義基於上下文的多輪對話交互。

我們將上下文進一步分為輸入上下文和輸出上下文。每一個定義的意圖可以包含0個或者多個輸入上下文，以及0個或多個輸出上下文。輸入上下文的作用是，如果當前對話狀態中含有名稱為X的上下文，那麼下一個意圖識別僅會分類到那些定義有X的輸入上下文的意圖中。輸出上下文的作用是，將該意圖最後識別得到的語義槽打包為一個指定名稱的上下文，存儲到上下文對象中。

以一個完成發簡訊功能的機器人為例，該機器人需要向用戶提供進行簡訊內容確認以及簡訊修改的功能，我們可以如下使用輸入上下文和輸出上下文來控制意圖之間的跳轉。

圖6基於上下文的多輪對話交互

四、總結

隨著人工智慧技術的發展，全球智能聊天機器人市場呈指數級增長，醫療、零售、金融、娛樂、出行、電商等各個領域的需求都在逐年遞增，越來越多的企業正在將聊天機器人服務整合到自己的產品中，以降低人力資源成本。與此同時，智能聊天機器人的市場容量也非常大，覆蓋的行業面非常廣，可以說，語義交互無處不在，它滲透到了各個領域中。然而，開發對話系統的技術往往只被自然語言處理領域的專家們掌握，普通開發者對這些技術的了解少之又少。通過DTP，開發者可以快速、靈活的按自身業務需求定製對話系統，滿足智能助手、智能家居、智能客服、機器人等各類產品和場景需求。

本期責任編輯： 丁 效

本期編輯： 趙懷鵬

「哈工大SCIR」公眾號

主編：車萬翔

副主編： 張偉男，丁效

責任編輯： 張偉男，丁效，趙森棟，劉一佳

編輯： 李家琦，趙得志，趙懷鵬，吳洋，劉元興，蔡碧波，孫卓

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！