任務型對話中的跨領域＆個性化＆遷移學習

本文原載於微信公眾號：AI部落聯盟（AI_Tribe），AI研習社經授權轉載。歡迎關注AI部落聯盟 微信公眾號、知乎專欄 AI部落、及AI研習社博客專欄。

1.遷移學習

什麼是遷移學習? 人們利用之前的經驗和知識進行推理和學習的能力。一個系統將別的相關領域中的知識應用到本領域中的學習模式。

1.1為何需要遷移學習？

1.1.1 目標領域的訓練數據太少，導致效果不佳甚至過擬合；

1.1.2 很多情況下，很多已有模型只需要fine-tuning就可以用，從頭訓練費時費力，甚至還不討好；

1.1.3遷移學習可以可以做多任務多目標的學習；

另外從模型角度說下遷移學習的好處：

Lisa Torrey和Jude Shavlik在遷移學習的章節中描述了使用遷移學習的三個好處：

1.更高的起點。源模型的初始技能比其它模型要高。

2.更高的提升效率。訓練源模型過程中提升技能的效率比其它模型要高。

3.較高的漸近線。訓練好的模型的融合技能比其它模型要好。

1.2 遷移學習的分類

1.2.1 按特徵空間分：同構遷移學習、異構遷移學習

1.2.2 按transfer方法分：Model-based、Feature-based、Instance-based、Relation-based。

1.2.3 按場景分：歸納遷移、直推遷移、無監督遷移。

1.3 遷移學習跟機器學習的比較

1.3.1 機器學習需要train data 和test data有相同數據分布，如果數據分布不同，最終結果可能是災難式的，可能一點不亞於特徵選擇的重要性（決定任務的上限，而模型選擇只是無限逼近於這個上限）；而遷移學習不需要train data 和test data有相同數據分布，相反可能很多時候數據分布是不同的。

1.3.2 遇到新任務時，機器學習需要重新建模和訓練；遷移學習可以復用之前的建模和訓練。

1.3.3 機器學習需要有足夠數據；遷移學習不一定需要有足夠數據。

2.任務型對話中為啥需要遷移學習

2.1 目前任務型對話的標準數據集個數比較少，而且每個數據集的數據量非常非常小，而任務型對話中涉及到的領域遠遠大於目前數據集包含的領域個數，這就導致了很多目標領域數據非常有限；

2.2 任務型對話中的數據標註非常的費時費力，一個可能的思路是復用已經標註好數據的其他領域訓練的模型；

2.3 任務型對話中很多模型都是用了神經網路，訓練時間較長，如果每次都從頭訓練的話，得不償失；

3.遷移學習在任務型對話中的應用

遷移學習在任務型對話中的可能應用包括：跨領域（系統角度的遷移）、個性化（用戶角度的遷移）、跨語言（數據角度的遷移）等。目前跨領域和個性化角度都有一些不錯的工作，而跨語言方面的工作我看到的相對較少，如果有人了解，歡迎告知。

下面分別介紹一下遷移學習在任務型對話系統的不同模塊的應用方式：

3.1 遷移學習在SLU中的用法：

3.1.1 Instance based transfer for SLU

用源域和目標域分布之間的KL散度對目標域模型進行規則化。

Multitask learning for spoken language understanding.

3.1.2 Model adaptation for SLU

在域之間自動映射相似的classes，並在域之間傳遞類似的instances。

Model adaptation for spoken language understanding

3.1.3 Parameter transfer

使用詞嵌入向量和相似標籤分類器之間的參數共享，相似的分類器具有相似的超平面。

A Model of Zero-Shot Learning of Spoken Language Understanding

3.2 遷移學習在DST中的用法：

3.2.1 Feature based transfer for DST

Multi-domain learning and generalization in dialog state tracking

Markovian discriminative modeling for cross-domain dialog state tracking

3.2.2 Model based transfer for DST

Multi- domain dialog state tracking using recurrent neural networks

3.3 遷移學習在DPL中的用法：

3.3.1 Linear Model transfer for Q-learning

Transfer learning for user adaptation in spoken dialogue systems.

3.3.2 Gaussian Process transfer for Q-learning

Incremental on-line adaptation of POMDP-based dialogue managers to extended domains

POMDP-based dialogue manager adaptation to extended domains

Distributed dialogue policies for multi domain statistical dialogue management

3.3.3 Bayesian Committee Machine transfer for Q-learning

Policy committee for adaptation in multi-domain spoken dialogue systems

3.4 遷移學習在NLG中的用法：

3.4.1 Model fine-tuning Transfer for NLG

Recurrent neural network based languagemodel personalization by social network crowdsourcing

3.4.2 Instance Synthesis Transfer for NLG

Multi-domain neural network language generation for spoken dialogue systems

以上就是我對「任務型對話中的跨領域&個性化&遷移學習」的一個簡單總結，文中貼了部分論文。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！