DeepMind提出神經元刪除法：通過理解每個神經元來理解深度學習

近日，DeepMind 發表博客介紹其對神經網路可解釋性的最新研究成果。受神經科學啟發，他們通過刪除神經元來探索其對網路性能的影響。研究發現，和過去的經驗直覺相反，選擇性神經元（如「貓神經元」）對於網路的泛化能力並不重要。而某些行為難以理解的非選擇性神經元卻是不可或缺的。此外，作者還對比了泛化好和記憶好的網路對刪除操作的響應行為。

深度神經網路由很多獨立的神經元組成，這些神經元以一種複雜而反直覺的方式結合，從而完成一系列的挑戰性任務。這一複雜性保證了神經網路的效力，但也使其成為了一個令人困惑且不透明的黑箱。

理解深度神經網路的工作原理對於解釋其決策、構建更強大的系統來說至關重要。比如，想像一下，如果不了解每個齒輪之間的協作原理，那麼製造一個鐘錶該有多麼困難。探索獨立神經元的作用，尤其是那些可以輕鬆解釋的神經元，可以幫助我們理解神經科學和深度學習中的神經網路。

我們的論文 On the importance of single directions for generalization 將很快出現在 ICLR 2018 上，它使用一種受到數十年神經科學實驗成果啟發的方法來決定深度神經網路中小批神經元的重要性，以及更易解釋的神經元對網路計算是否更重要，從而探索破壞帶來的影響。

我們通過刪除單個神經元和神經元集群來測量破壞網路造成的性能影響。實驗得出了兩個出人意料的結果:

儘管許多早先的研究集中探討容易解釋的單個神經元 (如「貓神經元」或深度網路中只對貓的圖像有反應的神經元)，但我們發現這些可解釋的神經元並不比激活行為難以解釋的困惑神經元更重要。

與只能對以前看過的圖像進行分類的網路相比，能對未看過的圖像進行正確分類的網路在神經元刪除時表現出了更強的適應性。換句話說，泛化良好的網路比記憶良好的網路對單方向的依賴要小得多。

「貓神經元」也許更易解釋，但並不重要

在神經科學和深度學習中，人們已經廣泛分析了只對單一輸入類別的圖像（比如狗）作出積極回應的易於解釋的神經元（「選擇性」神經元）。在深度學習中，這導致了對貓神經元、情感神經元和括弧神經元的重要性強調；在神經科學中則是 Jennifer Aniston 神經元，等等。然而，相比於具有低選擇性、高度困惑性和難以解釋的行為的絕大多數神經元，這些少量的高選擇性神經元的相對重要性依然不得而知。

相對於那些對圖像集做出似乎隨機性的積極和消極回應的令人困惑的神經元，帶有清晰回應模式（比如只對狗積極回應，對其他一切消極回應）的神經元更易解釋。

為了評估神經元的重要性，我們測量了當刪除神經元時神經網路在圖像分類任務上的表現是如何改變的。如果一個神經元非常重要，刪除它的後果應該很嚴重，並導致網路性能銳減；而當刪除一個不重要的神經元時則影響較小。神經科學家也慣常地執行類似的實驗，儘管他們無法達到實驗所需的細粒度精確度，但應用於人工神經網路則毫無難度。

刪除操作對簡單神經網路的影響的概念圖。顏色越深，表明神經元越活躍。嘗試單擊隱藏層神經元對它們進行刪除，並查看輸出神經元活躍度的變化（原網頁）。請注意，僅刪除一個或兩個神經元對輸出的影響很小，而刪除大多數神經元則影響很大，並且某些神經元的重要度高於其他神經元！

出人意料的是，我們發現選擇性和重要性之間沒有什麼關係。換句話說，「貓神經元」並不比困惑神經元更重要。這一發現與神經科學最近的研究成果相呼應，後者已經證明，困惑神經元實際上可以提供相當多的信息，除了那些最容易解釋的神經元之外，我們還應研究其他神經元，只有這樣才能理解深度神經網路。

雖然「貓神經元」可能更具可解釋性，但它們相對於沒有明顯偏好的困惑神經元並沒有更強的重要性。可以嘗試點擊上圖（原網頁）來查看重要性和可解釋性的幾種可能關係（正相關、負相關或不相關）。

儘管可解釋的神經元在直覺上更易理解（「它喜歡狗」），但它們並不比沒有明顯偏好的令人困惑的神經元重要。

泛化能力更好的網路更不容易崩壞

只有當系統能泛化到新的場景中時，該系統才能稱得上是智能的。例如，一個圖像分類網路僅能分類它見過的特定的狗的圖像，而對於同一隻狗的不同圖像則無能為力，該網路就是無用的。近期一篇由 Google Brain、Berkeley 和 DeepMind 合作的論文《Understanding deep learning requires rethinking generalization》表明深度網路可以簡單地記住訓練過的每張圖像，而不是像人類一樣學習（例如，理解「狗」的抽象概念）。（參見：解讀 | ICLR-17 最佳論文：理解深度學習需要重新思考泛化問題）

然而，關於神經網路學習到的解的泛化能力是由什麼因素造成的，至今仍未得到清晰的解答。通過持續刪除越來越大的神經元集群，我們發現泛化能力更好的網路對於刪除操作更具魯棒性（相對於僅在訓練過程中記憶圖像的網路而言）。換句話說，泛化能力更好的網路的性能更不容易崩壞（雖然仍可能遭遇崩壞）。

隨著被刪除的神經元集群越來越大，泛化能力好的網路的性能下降顯著慢於在訓練中記憶的網路。

通過這種方式來測量網路的魯棒性，我們可以評估網路是否使用記憶能力在「作弊」。理解網路記憶過程中的變化，可以幫助我們建立泛化能力更好、更不依賴於記憶的網路。

神經科學啟發的分析方法

綜上，這些發現表明使用實驗神經科學啟發的技術可以幫助我們理解人工神經網路。通過這些方法，我們發現高度選擇性的獨立神經元並不比非選擇性的神經元更加重要，而泛化能力更好的網路相對於簡單地記憶的網路，對獨立神經元的依賴性更小。這些結果暗示我們，獨立神經元的重要性可能小得多。

通過解釋所有神經元在任務中的角色，而不僅僅是那些更好解釋的神經元，我們希望能更好地理解神經網路的內部工作原理，並通過這種理解構建更智能和更通用的系統。

論文：ON THE IMPORTANCE OF SINGLE DIRECTIONS FOR GENERALIZATION

論文鏈接：https://arxiv.org/abs/1803.06959Despite

儘管有能力記憶大規模的數據集，深度神經網路通常也能獲得良好的泛化性能。然而，關於神經網路學習到的解的泛化能力是由什麼因素造成的，至今仍未得到清晰的解答。此外，人們曾強調過探索單個方向的微調屬性（被定義為一個單元或多個單元的線性組合的激活值對一些輸入的反應）的方法，但其重要性也未被評估過。在本文中，我們將這些探究方向連接起來，並證明網路對單個方向的依賴性可以很好地預測其泛化性能（通過讓網路在不同比例的損壞標籤的數據集上訓練，讓網路在未修改標籤的數據集上訓練並集成，進行不同的超參數試驗以及多項訓練試驗）。dropout 僅能在一定程度上將這個量正則化，批量歸一化卻隱含地會減弱單一方向的依賴性，這部分是因為減少了獨立單元的類別選擇性。最後，我們發現類別選擇性並不能很好地預測任務重要性。這不僅意味著網路可通過減少選擇性來最小化對獨立單元的依賴性，從而提高泛化能力；還表明獨立地選擇的單元對於強大的網路性能可能不是必須的。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！