結合感知和概念思維，DeepMind提出可微歸納邏輯框架?ILP

最近，DeepMind 在 JAIR 上發表論文《Learning Explanatory Rules from Noisy Data》，表明將直觀感知思維和概念可解釋性推理思維整合到單個系統中是可能的。他們介紹的系統?ILP 對雜訊數據具備魯棒性，且可以高效地利用數據，並生成可解釋的規則。

假設你在踢足球，足球到了你腳下，你決定把球傳給無人盯防的前鋒。看似一個簡單的動作其實需要兩種不同類型的思維。

首先，你識別到腳下有一顆足球，這需要直觀感知思維，你無法清晰地表達你是如何知道腳下有一顆足球的，你只是看到它就在那裡。其次，你決定將球傳給某個前鋒，這個決定需要概念性思維。你的決策是有依據的，你把球傳給那個前鋒是因為她沒有被盯防。

這種區別很有意思，因為這兩種類型的思維對應兩種不同的機器學習方法：深度學習和符號程序合成（symbolic program synthesis）。深度學習聚焦於直觀感知思維，而符號程序合成聚焦於概念性的、基於規則的思維。每個系統有不同的指標，深度學習系統對帶噪數據具備魯棒性，但其工作原理難以解釋，且需要大量訓練數據；而符號系統更容易解釋，只需要少量的訓練數據，但難以處理帶噪數據。雖然人類感知能力可以無縫結合這兩種思維方式，但如何將二者整合到 AI 系統中，尚無清晰的結論。

最近，DeepMind 在 JAIR 上發表論文《Learning Explanatory Rules from Noisy Data》，表明將直觀感知思維和概念可解釋性推理思維整合到單個系統中是可能的。他們所描述的系統?ILP 對雜訊是魯棒的，可以高效地利用數據，並生成可解釋的規則。

作者展示了?ILP 如何處理歸納任務。給定一對表示數字的圖像，其任務是輸出標籤（0 或 1）指出左圖的數字是否比右圖的數字小。解決這個問題需要上述的兩種思維：直觀感知思維將圖像識別為特定數字的表徵，概念性思維理解完全一般性的「小於」關係。

歸納任務示例

給標準的深度學習模型（如帶 MLP 的卷積神經網路）提供足夠的訓練數據，它可以有效地解決這個任務。一旦網路經過了訓練，你就可以向網路輸入一對它未見過的圖像，網路可以正確地對其分類。然而，只有用每對數字的多個樣本進行訓練，網路才能正確地泛化。這種模型的視覺泛化能力很好：泛化到新的圖像上，假定它已經見過測試集中的所有數字對（參見下圖中的綠框部分）。但它無法進行符號泛化：泛化到它從未見過的數字對（參見下圖中的藍框）。Gary Marcus 和 Joel Grus 近日通過發人深省的文章指出了這一點。

?ILP 和標準的神經網路不同，它可以進行符號泛化；?ILP 也和標準的符號程序不同，它可以進行視覺泛化。它從可讀取、可解釋和可驗證的樣本中學習顯式的程序。向?ILP 提供部分樣本集（期望結果），它可以生成一個滿足需求的程序。它利用梯度下降來搜索程序空間。如果程序的輸出和參考數據的期望結果相衝突，系統將修正程序以更好地匹配數據。

?ILP 訓練循環

?ILP 能夠進行符號泛化。在它見過足夠的 x < y、y < z、x < z 樣本之後，它就會考慮 < 關係可傳遞的可能性。一旦它意識到這條泛化規則後，就可以將其應用到未見過的新的數字對。

實驗結果總結如上圖：標準深度神經網路（藍色曲線）無法正確泛化至未見數字對。相反，?ILP（綠線）在只見過 40% 數字對的情況下仍能達到較低的測試誤差。這表明它能夠進行符號泛化。

DeepMind 認為該系統可以初步回答深度神經網路能否進行符號泛化的問題。未來，DeepMind 計劃將?ILP 類系統整合進強化學習智能體和更大的深度學習模塊。DeepMind 希望其系統可以同時具備推斷和反應的能力。

論文：Learning Explanatory Rules from Noisy Data

論文鏈接：http://www.jair.org/media/5714/live-5714-10391-jair.pdf

摘要：人工神經網路是強大的函數逼近器，能夠對大量監督式、非監督問題提供解決方案。隨著神經網路規模和表達性的增長，模型方差也在增長，出現了比較普遍的過擬合問題。儘管過擬合問題可以通過多種模型正則化方法得到改善，但最常見的解決方案是使用大量訓練數據（可能很難獲取足量訓練數據），以充分逼近我們想要測試的範疇的數據分布。相反，邏輯編程方法如歸納邏輯編程（ILP）可以高效利用數據，從而模型可以被訓練在符號範疇上進行推斷。但是，這些方法無法應對多個範疇，而神經網路可以：邏輯編程方法對輸入中的雜訊或錯誤標註不具備足夠的魯棒性，更重要的是，它們無法應用到數據模糊的非符號範疇中，例如處理原始像素。本文提出一種可微歸納邏輯框架（Differentiable Inductive Logic framework），不僅能夠解決傳統 ILP 適合的任務，還展示了 ILP 不具備的對訓練數據中雜訊和誤差的魯棒性。此外，由於它能針對似然估計的目標函數執行反向傳播來訓練，它可與神經網路結合處理模糊數據，以應用於 ILP 無法處理的範疇，同時提供數據處理高效性和神經網路無法達到的泛化性能。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！