深度牛頓！24歲博士小哥用圖神經網路重新發現宇宙

新智元報道

編輯：白峰、舒婷

【新智元導讀】深度學習模型取得了很大進展，但是依舊難以解釋。傳統的符號模型可以很好地解釋和泛化，但高維數據又不好處理，那二者能否優勢互補呢？近日，普林斯頓大學的博士Miles Cranmer發表了一篇論文，將符號模型和深度學習模型結合了起來，給天體物理學帶來了新的驚喜！

19歲時，Miles Cranmer讀了一篇物理學家李 · 斯莫林的採訪。其中的一句話改變了他整個職業生涯的研究方向：

「讓我們把注意力集中在量子理論和相對論及其關係上，如果我們成功了，將需要幾代人的時間來理清由此衍生的知識。我們仍在忙於完成愛因斯坦掀起的革命，毫無疑問，這是一個漫長的過程。」

Cranmer讀完之後深感不安，「 在我生命的盡頭，我們對物理學的理解已經達到了極限， 我感到沮喪，因為無論我多麼努力地工作，也許永遠無法找到其中的終極奧秘。」

但是... ?也許我們可以找到一種方法來打破這個限制。人工智慧提出了一種新的科學探究機制，我們可以自動化研究過程本身。這個領域知識的增長是指數級的，而不是線性的，所以有了新的可能。

? ?

? ? ?Cranmer自己設計的個人主頁，致力於用AI加速天體物理學進展

圖神經網路更擅長知識發現，符號表達泛化能力更強

為了使科學自動化，我們需要把知識發現自動化。然而，什麼時候機器學習模型才能變成知識？為什麼麥克斯韋方程組被認為是科學事實，而深度學習模型只是數據的插值？

首先，深度學習不能像符號模型一樣概括物理模型。然而，似乎也存在一些使用簡單符號模型描述物理世界的例子。

從純機器學習的角度來看，符號模型也擁有許多優點: 它們緊湊，提供了明確的解釋，並且概括得很好。「符號回歸」就是這樣一種用於符號模型的機器學習演算法: 它是一種有監督的技術，用組合分析來為數據集建模。

然而，通常人們使用的是遺傳演算法(基本上是像施密特和利普森(2009年)那樣的蠻力程序) ，這種演算法的輸入特徵很難擴展。因此，許多機器學習問題尤其是高維數據的，仍然很棘手。

而深度學習最擅長高維數據建模，但是泛化性和可解釋性差。那麼，是否有一種方法可以將兩者的優勢結合起來呢？

深度模型不僅僅是預測目標，而且可以將目標分解為低維空間上運行的小型內部函數進行預測。然後用符號回歸解析表達式逼近深度模型的每個內部函數。最後提取出符號表達式，得到一個等價的解析模型。

我們選擇「圖神經網路」(GNN)作為基礎架構，將內部結構分解為三個模塊，並行表示粒子的相互作用。GNN 的「消息函數」類似於一個力，「節點更新函數」類似於牛頓運動定律。

?

? ?

通過鼓勵 GNN 中的消息變得更稀疏，降低了每個函數的維數，使得符號回歸更容易提取表達式。

用圖神經網路體驗一把發現牛頓運動定律的快感

為了驗證我們的方法，我們首先生成了一系列的 二維和三維的力學模擬。

我們對 GNN 進行模擬訓練，並嘗試從每個 GNN 中提取解析表達式。然後我們檢查消息特徵是否等於真正的力向量。最後，我們將符號回歸應用到 GNN 內部的消息函數中，看看是否可以在沒有先驗知識的情況下還原力學規律。

? ?

? ?

消息的稀疏性顯示了它對於提取正確表達式的重要性。如果不鼓勵消息中的稀疏性，GNN 似乎會對消息中的冗餘信息進行編碼。隨著時間的推移，訓練過程顯示出稀疏性鼓勵信息函數變得更像一個力學公式:

把GNN用到天體物理學中，奇蹟發生了！

如果把這種方法應用到天體物理學中，會有什麼奇蹟發生嗎？我們用GNN來探究一下宇宙學中的暗物質，暗物質本身占宇宙總物質的85% (Spergel 等，2003)。

宇宙各種物質和能量的相互作用，推動了星系和恆星等複雜結構的演化。暗物質促進了星系的發展，?暗物質粒子聚集在一起，形成稱為「暗物質暈」的引力盆地，將規則的物質拉到一起產生恆星，並形成更大的結構，如絲狀體和星系。

? ?

? ?

宇宙學的一個重要挑戰是根據暗物質暈周圍的「暈」來推斷暗物質暈的性質。在這裡，我們研究的問題是: 如何只使用它的性質和它的鄰近暈的性質，來預測暈的超密度？

我們採用相同的 GNN 模型，只是現在我們預測的是暈的超密度而不是粒子的瞬時加速度。圖中每個暈都與半徑為50 mpc / h （距離單位）的暈有聯繫。GNN準確地學習了這個關係，擊敗了以下手工設計的模型:

?

其中 ri 是位置，mi 是質量， Ci 是常數。

經過檢查，在這個 GNN 中傳遞的消息只有一個重要的特性，這意味著 GNN 已經知道它只需要對相鄰的函數求和(很像手工設計的公式)。然後我們擬合節點函數和消息函數，每個節點都輸出一個標量，並找到一個新的解析方程來描述給定環境下暗物質的超密度:

? ?

GNN推出來的平均絕對誤差僅0.088，而手工製作的方程平均絕對誤差是0.12。值得注意的是，我們的演算法已經發現了一個比科學家設計的更好的解析方程式。

? ?

一個神經網路經歷監督式學習，然後符號回歸接近模型的內部函數

結論：符號表達式比圖神經網路更穩定

有趣的是，當我們當掩蓋20% 的數據進行相同的訓練後，從這個子數據集的圖形網路中提取到了一個功能相同的表達式。

然後，我們比較了 GNN 和符號表達式的泛化效果。圖形網路本身在訓練集上得到的平均誤差為0.0634，在非分布數據上得到的平均誤差為0.142。而符號表達式在訓練集上達到0.0811，在非分布數據上達到0.0892，泛化能力相當穩定！

因此，對於這個問題，符號表達式的概括能力比圖神經網路要好得多。結果又回到了尤金 · 維格納的文章:「 僅用簡單的符號語言就能有效地描述宇宙」。

本文作者是普林斯頓大學的博士，他一直在嘗試用AI來加速天體物理學的發展。? ?

你如果感興趣可以去作者的GitHub找到論文的源碼，親自體驗一下發現物理定律的快感！

參考鏈接：

https://github.com/MilesCranmer/symbolic_deep_learning

https://blogs.scientificamerican.com/cross-check/troublemaker-lee-smolin-says-physics-8211-and-its-laws-8211-must-evolve/

https://astroautomata.com/paper/symbolic-neural-nets/

https://arxiv.org/pdf/2006.11287.pdf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！