AI計算趨勢解讀：接下來四年，沒人玩得起下一個AlphaGo

  在這篇文章中，我將探討兩個問題。首先，如果實驗繼續以如此之快的速度增長，很快會變得不堪重負，這種趨勢也將臨近終點。除非經濟出現大幅轉變，否則這一趨勢最多只可持續 3 年半到 10 年，具體取決於支出水平和計算成本的演變情況。其次，如果這種趨勢持續了 3 年半以上，那麼 AI 實驗的計算量將會超越一些有趣的里程碑。具體地說，一個實驗的計算量將超過使用神經元模擬人類（0-18 歲）思維所需的計算量。簡單地說，在給定等效演算法的前提下，這一趨勢將超越達到成年人智力水平所需的計算量。

1. AI 計算趨勢能持續多久？

為了弄清 AI 計算趨勢能夠持續多久，我們需要了解三件事：實驗成本的增長率、當前實驗的成本以及未來可用在實驗上的最大存量。

大型實驗的規模變得越來越大，每 3 個半月就翻一番（相當於每年一個數量級），而單位計算成本每 4-12 年減少一個數量級（長期趨勢每 4 年將成本降低 10 倍，而最近的趨勢每 12 年將成本降低 10 倍）。因此，最大型實驗的成本每 1.1-1.4 年增加一個數量級。

目前最大型的實驗——AlphaGo Zero——成本約為 1000 萬美元。

實驗規模可以達到何種程度取決於主導實驗的人，而美國政府可能會是最富有的實驗主導者。之前，美國將 GDP 的 1％用在了曼哈頓項目上，在阿波羅計劃期間，又將 GDP 的 0.5％用在了 NASA 的項目上。現在，我們假設他們同樣可以花費 1％的 GDP（2000 億美元）在 AI 實驗上。按照每 1.1-1.4 年一個數量級的增長速度，並且初始實驗規模為 1000 萬美元，那麼根據這樣的 AI 計算趨勢，2000 億美元的實驗規模將在 5-6 年內出現。因此，從目前的經濟形勢來看，AI 計算趨勢將在不久的將來到達終點。

我們還可以考慮另一種情況，就是在政府不參與的情況下這個趨勢可以持續多久。相對於政府，企業會相對較快地到達經濟屏障。其中較大的科技公司亞馬遜和谷歌目前的研發預算約為每年 200 億美元，因此，我們可以假設政府以外最大的實驗規模是 200 億美元。那麼企業可以讓 AI 計算趨勢保持約 3.5-4.5 年，相當於政府的四分之三。

另一方面，專用硬體的發展可以減少計算量，從而讓趨勢可以持續更長時間。如果一些新的硬體能夠超越摩爾定律，將計算量削減了 1000 倍，就可以將經濟屏障往後推 3-4 年。

為了讓 AI 計算趨勢能夠維持更長時間（超過十年），經濟必須每年增長一個數量級或更多。這是一個非常極端的情況，而能夠實現這一目標的主要推動力可能是來自強大的人工智慧技術所帶來的巨大經濟收益，這也是對大規模人工智慧投資的合理性所做出的有力辯護。

當然，以上的這些數字都是以上界值為例，所以不排除 AI 計算趨勢可能會更快走到終點（例如，如果事實證明 AI 研究對經濟的作用低於預期）。

因此，我們得出的有關 AI 計算趨勢的結論是——它不會持續很長時間，最多不超過 3.5-10 年。

2. AI 計算趨勢何時會超越 AGI 里程碑？

我們可以得出的第二個結論是，如果 AI 計算趨勢繼續以目前的速度發展，它將超越一些有趣的里程碑。如果 AI 計算趨勢能夠持續 3.5-10 年，那麼最大型實驗的規模預計將達到 10^7-5×10^13 pfs-day，因此問題變成了哪些里程碑位於該水平之下。這些里程碑有可能是以下三個：

模擬人類童年階段的大腦所需的計算量。

模擬人類大腦，像 AlphaGo Zero 那樣成為超人所需的計算量。

模擬人類大腦進化所需的計算量。

人類童年裡程碑

我們很自然地想到了創建人工智慧所需的計算量應該與人腦使用的計算量相當。假設 AI（與人類相比）：

擁有一種類似人腦的高效演算法，用於學會執行各種任務；

掌握了與人類相似的知識；

擁有與人類相似的數據；

擁有足夠的算力來模擬運行了 18 年的人類大腦。

那麼，這個 AI 應該就能夠學會解決一個 18 歲的孩子可以解決的問題。

對於模擬人類大腦一秒所需的浮點運算量，存在一系列的估計值。AI Impacts 收集的中位數為 10^18 FLOPS（大致相當於使用 Hodgkin-Huxley 神經元的全腦模擬），範圍從 3×10^13 FLOPS（Moravec 估計）到 1×10^25 FLOPS（模擬代謝組）。運行這樣的模擬 18 年相當於 700 萬 pfs-day 的中位數（範圍為 200-7×10^13 pfs-day）。

因此，對於最短的估計，例如 Moravec 估計，計算已經可以超過人類童年裡程碑。對於中位數估計和 Hodgkin-Huxley 估計，將在 3.5 年內超過里程碑。對於代謝組估計，在 AI 計算趨勢遇到經濟屏障之前，未來十年內無法達到所需的計算量。在 AI 計算趨勢停止之後，摩爾定律有可能會再次出現，並導致實驗的規模緩慢增長。但根據摩爾定律，像代謝組估計這樣的里程碑可能需要幾十年的時間。

AlphaGo Zero 里程碑

人們對人類童年裡程碑持有反對意見，因為他們認為目前 AI 的學習能力比人類慢。AlphaGo Zero 經過 250 萬盤圍棋的訓練才變成超人，如果每盤棋需要一個小時，下完這麼多盤棋需要 300 年。為了超越這一里程碑，AI 計算趨勢需要比人類童年裡程碑多持續 14 個月。

大腦進化里程碑

最保守的一個里程碑是模擬所有神經進化所需的計算量。這是 Shulman 和 Bostrom 在 2012 年的一篇論文中描述的一種方法，即研究模擬神經系統進化的成本。這需要模擬 10^25 個神經元，並且需要 10 億年的時間。Shulman 和 Bostrom 估計模擬一個神經元每秒的成本為在 1-10^10 個浮點運算，因此模擬進化的總成本是 3×10^21-3×10^31pfs-day。這個數字在 AI 計算趨勢結束之前是無法達到的。因此，AI 計算趨勢並沒有改變 Shulman 和 Bostrom 的結論，即模擬大腦進化是一件很遙遠的事情——即使大力增加投入，這個計算里程碑也需要幾十年才能達到。

總的來說，雖然大腦進化里程碑遠遠超出了 AI 計算趨勢。但對於其他估計——尤其是代謝組估計——也無法超越人類童年和 AlphaGo Zero 里程碑。但如果 AI 計算趨勢在未來幾年持續下去，將有望達到人類童年和 AlphaGo Zero 里程碑。

3. 討論和限制

那麼，基於這樣的分析，為了預測 AGI，我們應該著重關心哪個裡程碑？這個很難說，但我猜想實現 AGI 比超越大腦進化里程碑要容易得多，但 AGI 可能會在達到 AlphaGo Zero 里程碑之前或之後實現。

之所以說 AGI 比實現電腦進化里程碑容易，是因為大腦進化里程碑假定演算法發現過程必須由 AI 本身主導。但在我看來，演算法似乎主要是由人類設計的。

評估 AGI 相對於 AlphaGo Zero 里程碑的難度則更為複雜一些。我們之所以認為 AGI 比 AlphaGo Zero 里程碑容易，其中一個原因是訓練 AlphaGo 需要更多的樣本。為了可以執行更多的任務，就需要考慮更大範圍的依賴關係，並學習更複雜的操作與應用之間的映射。我們可以比較各種已解決的 AI 問題的樣本效率，並根據通用智能的複雜性來推斷 AGI 的樣本效率，以此來進一步探索這個問題。然而，AlphaGo Zero 里程碑也可能讓事情看起來很難。首先，AlphaGo Zero 不使用任何預先存在的知識，但 AGI 系統可能會。如果我們看過最初的 AlphaGo，相對於 AlphaGo Zero，它所需要的訓練量下降了一個數量級，並在一般性的學習任務上可能可以獲得更高的效率。其次，對於模擬人類大腦的方法，可能存在一個或多個數量級的衰退。在當今的硬體上模擬人類大腦可能是非常低效的，也就是說人類大腦只能用到模擬它所需計算的一部分。因此我們很難判斷 AlphaGo Zero 里程碑會比 AGI 晚還是早。

還有另一個原因讓我更加確信 AGI 與 AlphaGo Zero 里程碑之間至少還有 6 年的差距。我們可以簡單地看一下 AI 計算趨勢，並問自己：AGI 與 AlphaGo Zero 之間的差距是否像 AlphaGo Zero 與 AlexNet 之間的差距那樣？如果我們認為第一對之間的差異（在能力、計算或 AI 研究的組合）大於第二對，那麼可以說，AGI 距離 AlphaGo Zero 至少還有 6 年之遙。

總之，AI 計算趨勢發展非常迅速，在經濟方面，如果 GDP 沒有大幅增長，將無法支撐超過 3.5-10 年。不過，從現在算起，如果 AI 計算趨勢能夠持續幾年，它將超越一些可能與 AGI 要求相當的計算里程碑，包括模擬人類（0-18 歲）大腦思維所需的計算量。但是，在經濟因素導致 AI 計算趨勢達到終點之前，將無法實現其他里程碑。例如，上述分析表明，我們沒有足夠的算力來模擬人類大腦幾十年的進化。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！