CMU邢波組對抗網路新研究：實現準確預測隱式篇章關係

機器之心報道

參與：李澤南

最近，上海交通大學和卡耐基梅隆大學（CMU）邢波組的研究人員提出了一種新形式的對抗網路。通過將隱性關係網路i-CNN與連接增強關係網路a-CNN處理後的結果同時輸入鑒別器和分類器中，新的方法實現了準確預測隱式篇章關係的能力。這一方法或許能為語音識別帶來新的方向。

摘要

隱式篇章關係（Implicit discourse relation）的識別，因為缺乏連接詞作為強提示，對於機器來說一直是個巨大的挑戰，這種情況推動了使用標註隱式連接來提高識別。在本研究中，我們提出了一種特徵模擬框架，其中一個隱式關係網路從具有連接的另一個神經網路中學習，從而鼓勵提取類似的突出特徵以進行準確的分類。我們開發了一種對抗性模型，通過隱性網路與對手的特徵鑒別器之間的競爭來實現自適應模仿（adaptive imitation）。我們的方法有效地將連接詞的區別性轉移到隱含的特徵，並且在PDTB基準測試中達到了目前最佳的表現。

圖1：該方法的框架。其中包含兩個主要部分：a.處理原句的隱性關係網路i-CNN，b.連接增強關係網路a-CNN，它使用了隱式連接增強的輸入內容，c.用於區分兩個網路輸出特徵的鑒別器。特徵被輸入進分類器（C）進行最後的分類。鑒別器和i-CNN形成了特徵模仿的對抗。在測試時，使用帶有分類器的隱式網路i-CNN進行預測。

演算法1：用於識別隱式的對抗模型

圖2：i-CNN的神經結構。其中有兩個過濾器，分別為紅色和藍色。兩個過濾器的權重與輸入參數相關。

圖3：鑒別器（D）的神經結構

表1：PDTB-Lin和PDTB-Ji測試集設置的多集分類準確度（%）對比。

圖4：測試集三個組件的性能表現。其中a-CNN和i-CNN使用多分類準確度衡量（左右分別是有/沒有隱式連接），鑒別器用二進位分類精度進行評估。上：PDTP-Lin設置（Lin et al., 2009），其中前8個epochs為初始化階段（分類器數據固定，未顯示）；下：PDTB-Ji設置（Ji和Eisenstein, 2015），其中前3個epochs為初始化階段。

總結

本研究發展出了一種對抗性神經框架，通過模擬連接增強網路來幫助隱式關係網路提高辨別特徵的能力。該方法在隱式篇章關係分類的測試中達到了目前最優水平。除了隱語連接的例子，該模型可以自然地利用顯式連接數據並進一步提高語義分析的水平。

本次提出的對抗特徵模擬方法也適用於其他上下文語義分析，包括在訓練中增強可用於推理的信息。這一框架與iterative knowledge distillation法（Hu et al., 2016）類似，後者訓練了一個「學生」網路來模擬分類知識並提供給「教師」網路。上海交大和CMU的新方法注重模擬水平而不是最終預測水平。這意味著新方法適用於回歸任務。此外，學生和教師網路預測出的上下文並不相同，在某些情況下，互相傳遞知識可能會產生有益影響。最後，這一對抗機制也提供了一種度量方式用以推動模仿程序。