AI研究的盲點：無解的神經網路內在邏輯

論人工神經網路內在邏輯的研究歷史及現狀。

伴隨著大數據，人工智慧（AI）在沉寂了多年之後，又迎來了新的高潮。在這場涉及大部分科學的革命中，人工神經網路釋放了人工智慧（AI）。但科學家們發現，這一關鍵技術暗含著一個問題：人工神經網路就是一個「黑匣子」。

我們都知道，無論人工神經網路有多麼複雜，都可以將其看作是三部分：輸入層、輸出層和隱含層。其中，我們通過深度學習，對神經網路進行一層一層的疊加訓練，以此來有效調整神經網路各級神經元的權重。但是，這裡有一個問題，除去輸入和輸出，我們對隱含層發生了什麼一無所知，即對神經網路內部邏輯行為無從認知。

華盛頓大學的研究生Marco Ribeiro使用過一種叫做反事實探測的方法來了解這個「黑匣子」。此方法具體就是通過給輸入一點微小的變化，隨即查看輸出的變化，並記錄這些變化。但是很顯然，這一方法需要上千次的操作和嘗試，而且無法幫助我們全面認識人工神經網路。

而Google的另一位計算機科學家Mukund Sundararajan設計了一種探測器，大大減少了輸入。不同於Ribeiro採取的隨機輸入， Sundararajan的研究創新點是引入一個空白的參考。

首先，Sundararajan輸入一個零排列的數組，隨後讓輸入數據逐步向需要測試的目標數據轉變，以此通過輸出變化來反過來研究內在邏輯。這裡值得注意的是，隨著每一步的變化，科學家們就能看到它確切的變化軌跡，從而可以以此預測變化特徵。但這依然不可信，預測的結果仍然是存在很大誤差的。

對此，美國華盛頓州微軟研究所計算機科學家RiCh Caruana融入廣義加法模型（GAM）來對數據間的複雜關係進行處理。我們都知道，統計學中GAM就是一種基於線性回歸，然後在一組數據中找到線性趨勢的方法。Caruana增加了這一過程，他先利用機器學習來輸出變化，隨後將網路輸出的數據輸入到GAM，找出變化之間的相關性，以此來研究神經網路的內在邏輯。

除此之外，在圖像研究領域，還有科學家利用生成式對抗網路（GAN）對神經網路進行研究，然而所有的這些努力都是嘗試，普適的研究方法至今尚未得出。

現在，不僅科學家認識到這一問題的緊迫性，多國政府也意識到這一問題。根據歐盟的一項指示，明年所有有巨大影響力的公司需向公眾解釋其模型的內在邏輯。此外，美國軍方的藍天研究機構國防高級研究計劃署也正在向一個稱為「可解釋AI」的新計劃投入7000萬美元。

Google的機器學習研究員Maya Gupta說，矽谷的研究人員們也在試圖打開AI的「黑匣子」。除了運行後操作的準確性，所有人心中還有一個非常大的顧忌：因為不知道它在做什麼，所以不確定能不能相信它。

伴隨著人工智慧（AI）應用的蓬勃之勢，出於安全隱患的考慮，神經網路內在邏輯的這一「盲點」確實急需規避。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！