論文中的準確率指標靠譜嗎？5個機器學習悖論改變你對數據的看法

曉查 編譯自 Medium

量子位 報道 | 公眾號 QbitAI

道路越多越擁堵、越智能的演算法需要的計算力越少。這些反常識的機器學習悖論你知道是怎麼回事嗎？

悖論是在哲學和數學中常見的一種問題，它是根據假設前提得出了兩種互相矛盾的結果。AI就是重構人類的認知方法，所以機器學習也會產生一些悖論。

最近，數據科學家Jesus Rodriguez總結了機器學習解決方案中最著名的5個悖論，或許能幫助你更深刻地理解AI中的數據，避免在處理數據的時候出現一些低級錯誤。

Simpson悖論

這個悖論是以英國數學家Edward H. Simpson的名字命名的。

Simpson悖論是指在分類統計時，某組數據具有優勢，而把所有數據組合起來的時候，這種優勢卻消失了。

1973年，伯克利大學由於女性在入學時存在性別差異而被起訴。有人調查了伯克利大學研究生院的錄取率發現：各學院女性入學率均高於男性，但是總體入學率反而低於男性。這怎麼可能？

在這個具體的例子中，婦女大量申請入學率低的學校：像法律和醫學。這些學校錄取的學生不到10％。因此，接受的女性比例非常低。另一方面，男性往往更多地申請入學率高的學校：與工程學一樣，入學率約為50％。因此，接受的男性比例非常高。

在這個具體的案例中，因為女性大量申請入學率低的學院，比如法律和醫學，這些學院的錄取率甚至不到10%；而男性往往更多地申請入學率高的學院，比如工程，錄取率高達50%。因此，男性總的錄取率高於女性。

用機器學習的術語來說，就是簡單平均值不考慮整個數據集內特定類別的關聯性。

許多無監督學習演算法推斷出不同訓練數據集的模式，當這些數據集組合起來時會產生矛盾。

Braess悖論

這個悖論是德國數學家Dietrich Braess在1968年提出的。他以擁堵的交通網路為例：

在道路網路中增加一條道路可能會阻礙交通，而封閉一些道路可能會縮短出行時間。

Braess的推理是基於這樣一個事實：在納什均衡博弈中，司機沒有動力改變他們的路線。根據博弈論，如果其他人堅持同樣的策略，那麼這個人從新策略中將不會有任何收穫。

在上圖中，從A點到D點有ABD和ACD兩條路可走，當開通近道BC後，所有車都走近道，導致擁堵。

對於司機來說，策略就是一條路線。就Braess悖論而言，儘管整體表現有所下降，但司機們將切換道路，直到達到納什均衡。因此，與直覺相反，關閉某些道路可能會緩解擁堵。

Braess悖論在自主的多智能體強化學習場景中非常重要，在這種場景中，模型需要基於未知環境中的特定決策來獎勵智能體。

Moravec悖論

上世紀80年代，卡內基梅隆大學移動機器人實驗室主任Hans Moravec，對AI模型獲取知識的方式提出了一個反直覺的命題：

高級推理比低級無意識認知需要更少的計算力，它與「計算力越強則系統越智能」的直觀概念背道而馳。

一種簡單的解釋Moravec悖論的方法是：

AI模型可以完成非常複雜的統計和數據推理任務，這些任務對人類來說是不可能的。然而，許多對人類來說微不足道的任務，比如抓取物體，需要複雜的AI模型。

正如Moravec所說的，「讓計算機在智力測試或玩跳棋時表現出成人水平的表現相對容易，而在感知和移動性方面，讓它們具備一歲孩子的能力卻很難，甚至不可能做到。」

從機器學習的角度來看，Moravec悖論在遷移學習方面非常適用。遷移學習的目的是在不同的機器學習模型中推廣知識。此外，Moravec悖論告訴我們，機器智能的一些最佳應用將是人與演算法結合。

準確性悖論

準確性（Accuracy）悖論與機器學習直接相關。

與直覺相反，準確性並不總是對預測模型有效性進行分類的良好指標。

怎麼解釋這樣一個複雜的表述呢？準確性悖論源於不平衡的訓練數據集。

例如，在A疾病的發病率較高的數據集中，發現了99%的病例，那麼預測發現A疾病的準確率為99%是完全具有誤導性的。

理解準確度悖論的一個更簡單的方法是在機器學習模型中找到精確率（precision）和召回率（recall）之間的平衡。

在機器學習演算法中， 精確率定義為你對正確的預測中哪一部分是有效的，它=真陽性/(真陽性 假陽性)。召回率指標衡量你實際上預測正確的概率，它=真陽性/(真陽性 假陰性)。

在許多機器學習模型中，精確率和召回率之間的平衡可以獲得更好的準確度。

例如，在用於欺詐檢測的演算法的情況下，召回率是更重要的指標。即使存在一些誤報也要儘可能抓住每一種可能的欺詐行為。

另一方面，如果為情緒分析創建演算法，並且需要的只是在推文中指出的高級情感概念，那麼精確度更重要。

哥德爾悖論

哥德爾悖論將機器學習模型的能力與哥德爾不完備定理聯繫起來。1931年，數學家哥德爾發表了他的兩個不完備性定理：

使用標準數學語言無法證明某些命題是真是假。

也就是說，數學是一種不足以理解宇宙某些方面的語言。這些定理被稱為哥德爾的連續統假設。

在最近的一項工作中，以色列理工學院的AI研究人員將哥德爾連續統假設與機器學習模型的可學習性聯繫起來。

研究人員證明，如果連續統假設是真的，一個小樣本就足以進行推斷。但是如果它是假的，沒有一個有限樣本是足夠做推斷的。

通過這種方式，他們表明可學習性的問題相當於連續統假設問題。

簡單來說，研究中的數學證明表明，AI問題受到哥德爾連續統假設的影響，這意味著AI可能無法解決許多問題。

雖然這個悖論在今天對現實世界中的AI問題影響不大，但對於AI在將來的發展是至關重要的。

總結

悖論在機器學習問題中無處不在。雖然演算法沒有常識的概念，它們可能不受統計悖論的影響。

然而，大多數機器學習問題需要人工分析和干預，並且基於人類收集和標記的數據集，我們還將在很長一段時間內生活在一個悖論的世界中。

—完—

小程序|get更多AI資訊與資源

加入社群

量子位AI社群開始招募啦，量子位社群分：AI討論群、AI 行業群、AI技術群；

歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「微信群」，獲取入群方式。（技術群與AI 行業群需經過審核，審核較嚴，敬請諒解）

喜歡就點「在看」吧 !

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！