加州大學提出從因果革命七大成就中為機器學習尋求良好的模型指導
圖：pixabay
原文來源：arxiv
作者：Judea Pearl
「雷克世界」編譯：嗯~是阿童木呀
可以這樣說，目前的機器學習系統幾乎完全是以統計模式或無模型模式運行的，這對於其功率和性能來說存在著嚴格的理論限制。這樣的系統不能引發乾預和反思，因此不能作為強人工智慧的基礎。為了達到人類的智力水平，學習機器需要一個現實模型的指導，就類似於在因果推理任務中所使用的模型。為了演示這些模型的基本作用，在本文中，我將對當前機器學習系統所無法實現的7項任務作一個總結，而且這些任務是使用因果建模工具完成的。
科學背景
如果我們檢查如今驅動機器學習的信息是什麼，我們會發現它幾乎完全是統計信息。換句話說，學習機器通過優化來自環境的感官輸入流上的參數來改善其性能。這是一個緩慢的過程，在很多方面類似於推動達爾文進化論觀點的自然選擇過程。它解釋了老鷹和蛇這樣的物種是如何在數百萬年的時間裡進化為具有高超的視覺系統的。然而，它並不能解釋為什麼人類在僅僅一千年的時間裡就能製造出眼鏡和望遠鏡這樣的超級進化過程。人類所擁有的其他物種所缺乏的是一種心理表徵，一種他們可以操縱的環境藍圖，從而他們可以想像另一種假想的環境以進行規劃和學習。像N. Harari和S. Mithen這樣的人類學家普遍認為，在4萬年前，我們的智人祖先（Homo sapiens ancestors）之所以具有實現全球統治的能力，決定性因素在於他們具有這樣一種能力，對其環境進行心理表徵編排、不斷問詢該表徵、通過想像的心理行為扭曲它、最後回答「如果？」類問題。例如介入性問題：「如果我採取行動，會怎麼樣？」以及反思性或解釋性問題：「如果我採取了不同的行動，結果又會怎麼樣呢？」今天，沒有任何一個學習機器可以回答這樣的問題，比如「如果我們禁止吸煙，會怎麼樣？」除此之外，今天的大多數學習機器都不能從這樣的問題中提供一些表徵，其中，這些問題的答案是可以推導出來的。
我認為，對於阻礙實現加速學習速度和人類水平性能表現的主要障礙來說，應該通過消除這些障礙並為學習機器配備因果推理工具來克服。其實，這個假設在二十年前，在反事實數學化（mathematization of counterfactuals）之前就已經被推測出來了。但今天的情況不一樣了。
圖形化和結構化模型的進步使反事實在計算上易於管理，從而使得模型驅動推理成為一個更有前途的研究方向，從而建立強人工智慧。
下面，我將使用一個三級層次來描述機器學習系統所面臨的障礙，這個三級層次管理因果推理中的推理。
因果關係的層次結構。只有當i級或更高級的信息可用時，i級的問題才能夠被回答
我們從上圖可以看出，因果推理的邏輯揭示了一個極其有用的見解，即對因果信息的一個清晰分類，就每個類別能夠回答的問題類型而言，這個分類形成了一個三層次的層次結構，這意味著只有當j級（j≥i）的信息可用時， i級（i = 1,2,3）上的問題才能被回答。
因果革命中的七大支柱（或者你只能使用因果模型才能做，不使用便不能做的是什麼？）考慮以下五個問題：
?在預防疾病方面，一種治療方法的效果如何？
?新的稅收減免是否導致我們的銷售額增長？
?因肥胖引起的年度醫療保健費用是多少？
?僱傭記錄可以證明僱主有性別歧視嗎？
?我即將辭職，但我應該這樣做嗎？
這些問題的共同特點是它們關心的是因果關係。我們可以通過諸如「防止」、「原因」、「歸因於」、「歧視」和「我應該」這樣的字眼來識別它們。這些詞是常見的日常用語，以及我們的社會不斷地要求對這些問題進行回答。然而，直到現在，科學還是沒有辦法將其表達出來，更不用說回答它們了。與幾何、力學、光學或概率規則不同，因果規則早已被否定了數學分析的好處。
哈佛大學教授Golry King從歷史的角度給出了這樣一種轉變：「在過去的幾十年里，人們對於因果推斷的了解比以前所有歷史記錄中所學到的事物總和還要多」（Morgan和Winship於2015年提出）。我把這種轉變稱為「因果革命」（Pearl和Mackenzie於2018年提出），而對於導致它出現的數學框架，我將其稱之為「結構性因果模型（SCM）」。SCM部署了三個部分：
1.圖形化模型
2.結構化方程
3.反事實和介入邏輯
圖形化模型作為一種語言，用以表達我們對世界的了解，反事實有助於我們闡明我們想知道的東西，而結構化方程則是將這兩者結合在一起，形成一個堅實的語義。
該圖展示了，SCM「推理引擎」是如何將數據與因果模型（或假設）結合起來，以生成對有用查詢的答案
接下來，我們將對SCM框架的七項成就進行一個概述，並討論每個支柱為自動推理藝術帶來的獨特貢獻。
支柱1：對因果假設進行編碼 ——透明度和可測試性
一旦我們認真對待透明度和可測試性的要求，用一種緊湊的、可用的形式對假設進行編碼的任務並不是一件簡單的事情。透明度使分析人員能夠辨別所編碼的假設是否合理（基於科學依據），或者是否有必要進行額外的假設。可測試性使我們（無論是分析師還是機器）能夠確定所編碼的假設是否與可用數據兼容，如果不能，則確定那些需要修復的假設。
支柱2：做微積分和對混淆的控制
混淆（confounding），或者是存在於兩個或更多變數中未被察覺的原因，長期以來一直被認為是從數據中得出因果推斷的主要障礙。這一障礙已經通過一個被稱為「後門（back-door）」的圖形化標準揭開且被「去混亂（deconfounded）」了。特別地，選擇一組適當的協變數來控制混淆的任務已經被簡化為一個可以通過簡單演算法（Pearl，1993）進行管理的「路障」難題。
支柱3：反事實的演算法化
反事實分析處理的是特定個體的行為，通過一組不同的特徵對其進行確定。例如，考慮到喬的薪水是Y = y，並且他讀了X = X年大學，那麼，如果他再接受一年的教育，他的薪水會是多少。
支柱4：中介分析與直接和間接影響評估
中介分析（Mediation Analysis）涉及的是一個將變更從原因傳遞到其影響的機制。這種中間機制的識別對於生成解釋是必不可少的，而反事實分析必須被調用以促進這種識別。反事實的圖形化表示使得我們能夠定義直接和間接的影響，並決定何時這些影響該從數據或實驗中進行評估（Robins和Greenland於1992、Pearl於2001年、VanderWeele於2015年提出）。通過這種分析可以回答的典型查詢是：X對Y的影響有多少是由變數z來調節的。
支柱5：外部有效性和樣本選擇偏差
每個實驗研究的有效性都受到實驗和實施設置之間差異的挑戰。在環境條件改變的情況下，在一個環境中進行訓練的機器不能期望其能夠表現良好，除非這些改變是局部的且是可以確定的。這個問題及其各種表現形式已經得到機器學習研究人員的認可，諸如「領域適應」、「遷移學習」、「終身學習」和「具有可解釋性的AI」等企業只是研究人員和資助機構確定的一些子任務，試圖緩解魯棒性的通用問題。不幸的是，魯棒性問題需要一個環境的因果模型，並且不能在關聯級別上進行處理，在這個層面上，大多數的補救措施都被嘗試過了。而關聯還不足以確定受所發生變化影響的機制。上面討論的do-calculus提供了一個完整的方法以克服由於環境變化造成的偏見。它既可用於重新調整學習政策，以規避環境變化，也可用於控制非典型樣本的偏差（Bareinboim和Pearl於2016年提出）。
支柱6：缺失數據
缺失數據的問題困擾著實驗科學的每一個分支。受訪者不回答問卷中的每個一項，隨著環境條件的變化，感測器會逐漸消失，而患者往往因為不明原因從臨床研究中退出。關於這個問題的豐富的文獻與統計分析的model-blind模式相吻合，因此，它被嚴重地限制在隨機發生的情況下，也就是說，與模型中其他變數所取的值無關。通過使用缺失過程的因果模型，我們現在可以在把因果關係和概率關係從不完整的數據中恢復的情況下，對條件進行形式化，並且只要條件滿足，就可以產生對所需關係的一致估計（Mohan和Pearl於2017年提出）。
支柱7：因果發現
上述的d-分離標準使我們能夠檢測和列舉給定因果模型的可測試含義。這就開啟了這樣一種可能性，即假設一組與數據兼容的模型，並可以很緊湊地對這個集進行表徵。系統搜索已經被開發出來，在某些情況下，可以將一組兼容模型顯著地裁剪到可以從該集中直接對因果查詢進行估計的程度。
結論
哲學家Stephen Toulmin於1961確定了model-based和model-blind的二分法，認為這是理解巴比倫與希臘科學之間古代競爭的關鍵。根據Toulmin的說法，巴比倫天文學家是黑盒預測的主人，在準確性和一致性方面遠遠超過了他們的希臘對手。然而科學青睞希臘天文學家的創造性思辨策略，這些天文學家對形而上學的意象充滿了狂熱：充滿火焰的圓形管、小洞通過神聖的火焰可以看到星星、還有騎在龜背上的半球形地球。然而，這種狂熱的建模策略，並不是巴比倫的僵化，而是促使Eratosthenes（公元前276 - 194年）早在古代世界就進行了最有創造性的實驗之一，並測量了地球的半徑。這在巴比倫的曲線鉗工身上是絕對不會發生的。
回到強人工智慧上，我們已經看到model-blind的方法對它們可以執行的認知任務的內在局限性。我們描述了其中的一些任務，並展示了如何在SCM框架中完成這些任務，以及為什麼基於模型的方法對於執行這些任務是必不可少的。我們的總體結論是人類水平的AI不能單純地從model-blind的學習機器中出現，它需要數據和模型的共生協作。
數據科學只不過是一門科學，它有助於對數據進行解釋——一個兩體問題，將數據與現實聯繫起來。而不管數據有多大，以及它們被操縱得多麼巧妙，數據本身並不是一門科學。
TAG:雷克世界 |