MIT 新型神經網路訓練技術，讓模型決策不再黑箱

來自MIT計算機與人工智慧實驗室的研究者設計了一種新的神經網路訓練方法，利用這種方法訓練過的神經網路不僅可以預測和分類還能給出決策理由。

最近幾年，人工智慧研究領域表現最好的系統都來自於神經網路，它能夠尋找訓練數據中的模式，產生有用的預測或分類。例如，神經網路經過訓練可識別數字圖像中的某些目標或者推斷文本的主題。

但是神經網路是黑箱子。在訓練之後，神經網路或許能非常好地分類數據，但即使其創建者也不知道為什麼。通過可視化數據，有時有可能自動操作那些決定神經網路響應哪些視覺特性的實驗。但是文本處理系統往往更加不透明。

在計算語言學會自然語言處理實證方法會議（Association for Computational Linguistics Conference on Empirical Methods in Natural Language Processing）上，MIT 計算機科學與人工智慧實驗室（CSAIL）的研究人員將提出一種新的訓練神經網路的方法，使他們不僅提供預測和分類，而且為他們的決策提供理論依據。

MIT 電氣工程和計算機科學研究生、論文第一作者 Tao Lei 說道：「在現實應用中，有時人們真的想知道為什麼模型做出這種預測。醫生不相信機器學習方法的一個主要原因是沒有證據。」

MIT 電子工程與計算機科學系教授、Tao Lei 的論文導師 Regina Barzilay 補充說：「不僅僅是醫學領域。在任何領域，錯誤預測的成本都是非常高的。你需要證明你為什麼這樣做。」

論文第三作者 Tommi Jaakkola 說，「這項工作還有更廣泛的影響，你可能不想只是驗證模型是以正確的方式進行預測；你可能還想對它應該做出的預測類型施加一些影響。外行人如何與一個複雜的、他們所不知道的演算法訓練出的模型進行交流？他們可能有能力告訴你做出特定預測的理由。在這個意義上，它打開了一種與模型交流的不同方式。」

虛擬大腦

神經網路的得名是因為它們大致模仿了大腦的結構。它們由大量的處理節點組成，像單個神經元一樣只能進行非常簡單的計算，但是在密集網路中彼此連接。

在被稱為「深度學習」的方法中，訓練數據被饋送到網路的輸入節點，網路的輸入節點對其進行修改（modify）並將其饋送到其它節點，其它節點修改並將其饋送到另外的節點，並重複該過程。然後存儲在網路輸出節點中的值與網路嘗試學習的分類類別相關聯——例如圖像中的目標或文章的主題。

在網路訓練的過程中，由各個節點執行的操作被連續地修改，從而在整個訓練樣本集合上產生一致的良好結果。在過程結束時，編程網路的計算機科學家通常不知道節點的設置是什麼。即使他們明白，也很難將低級信息轉換回系統決策過程的可理解性描述。

在新論文中，Tao Lei、Barzilay 和 Jaakkola 專門描述了在文本數據上訓練的神經網路。為了能夠解釋神經網路的決定，CSAIL 研究人員將網路分為兩個模塊。第一模塊從訓練數據中提取文本段，並且根據它們的長度和它們的相干性來對分段進行評分：分段越短，並且從連續單詞串中提取的越多，其分數越高。

然後將由第一模塊選擇的文本段傳遞給執行預測或分類任務的第二模塊。兩個 模塊一起訓練，訓練的目標是最大化所提取文本段的分數以及預測或分類的準確性。

研究人員測試他們的系統的數據集之一是來自用戶評價不同啤酒的網站的一組評論。數據集包括評論的原始文本和相應的評級，評級使用五星級系統在三個屬性上評定：色（appearance）、香（aroma）、味（palate）。

該數據集對自然語言處理研究者有吸引力的原因是它也被手動注釋過，指示評論中哪些句子對應於哪些分數。例如，評論可以包括八個或九個句子，並且注釋可以突出顯示指示啤酒的「大約半英寸厚的棕褐色泡沫」，「顯著愛爾蘭啤酒氣味」和「缺乏碳酸化」等等。每個句子與不同的屬性等級相關聯。

驗證

因此，數據集為 CSAIL 研究人員的系統提供了一個很好的測試。如果第一模塊已經提取了這三個短語，並且第二模塊將它們與正確的評級相關聯，則系統已經識別了人類注釋器所做的判斷的相同基礎。

在實驗中，系統與人類對於色和香評級的一致性分別為 96％和 95％，對於更渾濁的味覺概念則是 80％。

在論文中，研究人員還報告了在自由形式技術問答的資料庫上測試他們的系統，其中任務是確定給定問題是否之前就已經被回答。

在未發表的成果中，他們已經將該系統應用於數千份關於乳腺活檢的病理報告，在那裡它已經學會提取文本來為病理學家作解釋以提供診斷基礎。他們甚至使用它來分析乳房的 X 線照片，其中第一個模塊提取圖像的部分而不是文本的部分。

東北大學計算機與信息科學助理教授 Byron Wallace 說：「現在關於深入學習有很多炒作，特別是用於自然語言處理的深度學習。」「但這些模型的一個很大缺點是，它們通常是黑箱。擁有一個不僅可以做出非常準確的預測，還可以告訴你為什麼做這些預測的模型是一個非常重要的目標。

「實現這一目標後，我們在同一會議上會提交一份主旨相似的論文，」Wallace 補充說。「我當時不知道 Regina 正在做這個，實際上我認為她的更好。我們的方法在培訓過程中，當有人告訴我們，例如，某個電影評論是非常積極的，我們假設他們會標記一個句子並給你理由。我們利用這種方式來訓練深度學習模型去提取這些理由。但他們不做這個假設，所以他們的模型運行時沒有使用帶有標記的直接注釋，這是一個非常好的方式。」

論文：Rationalizing Neural Predictions

摘要：沒有根據（justification）的預測往往限制了其應用。作為補救，我們學習提取輸入文本的碎片作為根據（或者說論據，rationales），裁剪出的文本要短卻具有相干性，而且足夠做出同樣的預測。我們的方法是結合兩個模塊，也就是生成器和編碼器，訓練後的模塊要很好的協同運行。生成器指定在文本段上的一組分布作為候選論據，然後將這堆論據輸入編碼器進行預測。論據不是在訓練過程中給出的。該模型通過渴求論據而被正則化。除了手動注釋的測試案例，我們在多方面情感分析上評估該方法。我們的方法以顯著的優勢超過了基於注意力的基線，我們也成功的在問題檢索任務上解釋了該方法。

TAG:機器之心 |

※神經網路演算法可採用新型光子技術快速實現
※德國著力打造下一代潛艇 採用新型AIP技術和3D列印武器
※CRISPR新技術！神奇的「剪刀」：可用於任何細胞類型
※新型修復技術使RNA能夠精確校對
※黑科技：三星展示具備伸展能力的AMOLED屏幕技術
※使用神經網路技術生成的圖像，真可謂科技改變藝術！
※面向TDD系統手機的SAW濾波器的技術動向
※百度NLP｜神經網路語義匹配技術
※當黑客攻擊全球電腦時 另一群黑客卻在MIT創造新的技術
※VR可能曇花一現 AR技術才是真正黑科技
※UFC技術流KO方式，技術流集錦
※創業公司新技術：可用意念控制VR遊戲
※基於CRISPR技術的工具或可進行大規模遺傳性篩查
※CIA特工染指尖端企業，幫助美軍孵化諜戰技術裝備
※技術型VS重擊型，一龍王者挑戰賽預測！
※中國轟炸機技術進步神速：新型號轟6K作戰性能讓國內外媒體信服
※技術宅魔改大哥大磚頭機進入數字時代，使用GSM網路
※用VR開坦克會怎麼樣？遊戲機技術可有效提升戰鬥力
※全電力推進技術已裝備國產新型潛艇 防禦美軍戰船將不再困難