DeepMind 最新研究：通過刪除神經元理解深度學習

新智元報道

來源：Deepmind

編輯瞿之真

【新智元導讀】深度神經網路由許多個體神經元組成，具有很高的複雜性。這種複雜性使其難懂，被認為是看不透的黑匣子。DeepMind最新發表針對對單一方向泛化的重要性的研究，採用來自實驗神經科學的啟發的方法，即通過探索刪除神經元帶來的影響確定深度神經網路中神經元小組的重要性。

理解深度神經網路的運作機制對於幫助我們解釋它們的決定，以及構建更強大的系統起到了至關重要的作用。例如，試想在不了解個體齒輪如何嚙合的情況下去構建時鐘會有多麼的困難。在神經科學和深度學習中，理解神經網路的一種方法是調查個體神經元所扮演的「角色」，尤其是那些易於解釋的神經元。

我們對單一方向泛化的重要性的研究（On the importance of single directions for generalization）即將在第六屆國際學習表徵會議 （ICLR）上問世，該研究採用的方法受到數十年實驗神經科學的啟發– 通過探索刪除神經元帶來的影響 – 來確定深度神經網路中神經元小組的重要性，以及相對容易解釋的神經元是否對神經網路的計算更為重要？

我們通過刪除單個神經元以及神經元小組對其所在的網路性能的損害來研究它們的影響力。我們的實驗帶來了兩個令人驚訝的發現：

雖然以前的許多研究都集中於解讀易解釋的單個神經元（例如，「貓神經元」，或深層網路隱藏層中只對貓的圖像有反應的神經元），但是我們發現這些可解釋的神經元相對於難懂的，難以解釋其活動的神經元來說並沒有更加重要。

能夠對未知圖像進行正確分類的網路比只能對已知圖像進行正確分類的神經網路更能適應神經元的刪除。換句話說，泛性好的網路比那些記憶網路更少依賴單一方向的輸入。

「貓神經元」可能更易於解釋，但它們並不重要

在神經科學和深度學習中，對單個輸入類別的圖像（例如狗）作出響應的易於解釋的神經元（「選擇性」神經元）已經得到了廣泛的研究。在深度學習中，這導致了對貓神經元，情緒神經元和括弧神經元的強調；在神經科學，有詹妮弗安妮斯頓神經元研究，等等。然而，這些少數高選擇性神經元相對於大多數具有低選擇性、更難懂，難以解釋其活動的神經元的重要性仍然未知。

具有明顯響應模式（例如，對貓活躍，對其他所有活動不活躍）的神經元比看到隨機圖像活躍和不活躍的神經元更容易解釋。

為了評估（某個）神經元的重要性，我們測量了當該神經元被刪除時，神經網路在圖像分類任務上的表現變化。如果一個神經元是非常重要的，刪除它應會對神經網路產生高度的破壞性，大大降低該網路的性能；相反地，刪除一個不重要的神經元則應該無法對神經網路構成很大影響。神經科學家經常進行類似的實驗，然而他們很難達到這些實驗所需的精度，而這精度在人工神經網路中恰恰容易獲得。

刪除神經元對簡單神經網路影響的直觀圖示。顏色較深的神經元更加活躍。嘗試點擊隱藏層中的神經元並刪除它們，觀察輸出神經元的活動會如何改變。請注意，刪除一個或兩個神經元對輸出影響很小，而刪除大部分神經元則會對輸出影響很大，並且一些神經元比其他神經元更重要！

令人驚訝的是，我們發現選擇性強的神經元和重要性之間幾乎沒有關係。換句話說，「貓神經元」並不比難懂神經元更加重要。這一發現與最近在神經科學方面的工作相互呼應，即難懂神經元實際上可以提供很多信息。我們需將視野拓展到最易於解釋的神經元以外來了解深度神經網路。

「貓神經元」可能更易解釋，但它們並不比難懂的沒有明顯偏好的神經元更重要。嘗試點擊上圖的二維線畫圖函數，看看重要性和易解釋性之間的關係！

儘管可解釋的神經元在直覺上更容易理解（「它喜歡狗」），但它們並不比難懂的，沒有明顯偏好的神經元更重要。

越泛化的神經網路，越難被打破

對於我們正在努力構建的智能系統來說，只有當這種系統能夠推廣到對新的情況進行解讀時，我們才能稱之為智能系統。例如，一個圖像分類網路如果只能對以前看過的特定狗的圖像進行分類，而不能對同一隻狗的新的圖像進行分類的話，那麼它是無用的。只有當它可以對新的例子進行智能分類時，這個系統才能展現了它的效用。 一篇由Google Brain，Berkeley大學和DeepMind最近在ICLR 2017上獲得最佳論文的合作論文表明，深度網路可以簡單地記住它們接受過培訓的每個圖像，然而卻不能以類人類的方式對圖像進行學習（例如，了解抽象的「狗」概念）。

通常我們不知道網路是否已經學會了一種能夠推廣到新情況的解決方案。通過逐漸刪除越來越大的神經元組，我們發現，相比起對以前訓練期間看到的圖像進行簡單記憶的網路，泛化良好的網路在應對刪除時表現出的穩健性要強得多。換句話說，泛化好的網路很難被打破（儘管它們肯定還是會被打破的）。

隨著越來越多的神經元組被刪除，泛化的網路性能的下降速度遠遠低於記憶網路的性能。

通過以這種衡量網路的穩健性的方式，我們可以評估一個網路是否在利用記憶來進行「欺騙」。了解網路在進行記憶時的變化將有助於我們建立新的網路，這種網路記憶較少，泛化較強。

受到神經科學啟發的分析

總之，這些發現證明了使用受實驗神經科學啟發的技術對理解神經網路的重要作用。通過這些方法，我們發現選擇性強的個體神經元並不一定比不具選擇性的神經元更加重要，並且，單個神經元對泛化的網路的影響比其對單純依靠記憶數據訓練出來的網路更小。這些結果意味著單個神經元的重要性可能比你乍看上去的要低。

試圖了解所有神經元，而不僅僅是那些易於理解的神經元的作用可以幫助我們更好地理解神經網路的內部工作，更加重要的是，我們可以利用這種理解來構建更加智能和應用廣泛的系統。

這項工作由Ari S Morcos，DavidGT Barrett，Neil C Rabinowitz和MatthewBotvinick合作完成。

可視化圖像由Paul Lewis，AdamCain和Doug Fritz創建。

原文鏈接：https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！