入門書籍：《終極演算法》的簡介與深思

機器之心報道

The Master Algorithm 介紹

The Master Algorithm 是一本介紹機器學習的科普性質讀物，未涉及公式與代碼，不要求讀者具備相關的專業知識，一定的理科基礎便足以通過閱讀概念化的核心演算法形成基礎的框架式理解。作者 Pedro Domingos 是機器學習領域的資深專家，現任華盛頓大學計算機科學教授，著有多篇機器學習論文且榮獲多項頂級科研獎項。全書條理清晰，內容豐富，深入淺出地介紹了機器學習中五大流派的衍生、發展和應用：推崇逆向演繹的符號學派、主張逆行分析的聯結學派、模擬自然選擇的進化學派、奉行概率推理的貝葉斯學派、以及根據相似性判斷作出推理的類推學派。即使目前各種典型演算法可以解決具有針對性的特定問題，書中有大量篇幅介紹通用演算法的設想，試圖將不同學派融為一體，博採眾長，以一舉解決所有的綜合應用問題。作者對通用演算法的存在和其即將出現的必然性所懷有的信心滲透在行文的字裡行間。

The Master Algorithm Program 是研學社現下推出的一個入門級項目，基於 Pedro Domingos 所著的 The Master Algorithm 的閱讀和討論，旨在聚集起以此書入門機器學習的初學者，鼓勵自由提問和開放式討論，定期匯總問題並整理出相應的詮釋，以創建一個有良好氛圍的學習社區。項目推出至結束將持續十周，閱讀進度為每周一章，每章討論周期為一周，每周會引入一批新學員，通過相應章節測試題的申請者將被視為合格並會被邀請加入特定微信群。詳情如下：

The Master Algorithm 第一、二章預覽

章節概要

第一章主要大體介紹了演算法以及演算法如何工作的。在此章節中，你也可以概覽不同的演算法（包括如何創造新演算法）。演算法的學習方式是不同的，而這種不同會產生影響。關於學習演算法，作者給出了生動的暗喻。「學習演算法就是種子，數據是土壤，學到的程序就是長出的植物。機器學習專家就像是農民，播種、感概、施肥，照看植物的健康，但在其他方面置身事外。」

在第二章中，主要討論了一個問題：一個演算法怎麼能學習如此多不同的、困難的事情？所有的主要學習器（learner)，包括最近鄰、決策樹、貝葉斯網路、樸素貝葉斯的泛化，只要你給這些學習器足夠多的合適數據，它們就能隨意的逼近一個函數。

重點

第一章細節

• 第一章 | 了解學習器：我們所知的學習器，也就是做出其他演算法的演算法。有了機器學習，計算機能夠寫自己的程序，所以我們就沒必要寫了。

• 第一章 | 為什麼商業開始接受機器學習：機器學習是很酷的一項新技術，但這並非商業接受它的原因，而是因為他們別無選擇。

• 第一章 | 為該科學方法增壓：生成、測試、放棄或維持假設。

• 第一章 | 10 億個比爾·柯林頓：學習案例

• 第一章 | 一個時走陸路，兩個時就走網路（Internet)：機器學習的另一應用。

• 第一章 | 我們要到哪？：總結

第二章細節

在詳細列出所有演算法之前，作者從不同角度給出了以下論點：

神經科學：大腦中所有的信息表達方式都一樣，通過神經元的電刺激（electrical firing）模式。學習機制也是如此：通過強化形成記憶；神經元之間的聯結同時激發，使用了一種名為長時程增強（long-term potentiation）的生物化學過程。

大腦就是主演算法。有大腦無法學習的東西嗎？我們還未見過。

進化：進化是一種演算法。它的輸入是所有生物的經驗和命運。

物理：在物理學中，所有用於不同工程量的同一等式經常描述完全不同領域的現象，例如量子力學、電磁學、流體力學。所有的這些等式相當簡單，都涉及到同樣少的時間、空間工程量的變體。

這裡，主演算法就是等式。

統計：一種簡單的公式成為所有學習的基礎。貝葉斯定理是一個機器能夠將數據轉化為知識。根據貝葉斯統計理論，這是將數據轉化為知識的唯一正確方式。

計算機科學：如果你能有效的解決 NP 類問題中的一個，你就能解決所有的 NP 問題，包括彼此。一個問題是在 P 中，我們是否能有效的解決它，在 NP 中，我們是否能有效的檢查它們的解決方案。

主演算法像是一台圖靈機。

主演算法對於演算法就像是手對於筆、劍、螺絲刀和叉子。然後，下面是機器學習的 5 個陣營：

• 符號主義

• 建構主義（Constructionists)

• 進化主義

• 貝葉斯

• Analogizers

主要概念

• 演算法：演算法是告訴計算機做什麼的指令。每個演算法都可簡化到三種運算：AND、OR、NOT。

• 學習演算法：也被稱為學習器，是能做出其他演算法的演算法。有了機器學習，計算機能寫自己的程序，我們就不需要寫了。

• 樸素貝葉斯：樸素貝葉斯是構建分類器的一種簡單技術：模型為問題分配類型標籤，表達為特徵值的向量，其中分類標籤來自於有限的數據集。它並非訓練這種分類器的唯一演算法，但這類演算法基於同樣的理論：所有的樸素貝葉斯分類器假設特定特徵的值獨立於其他特徵的值，給定類別的變數。例如，如果一種水果是紅色、圓的、直徑大約為 10 厘米，它可能是蘋果。一個樸素貝葉斯分類器將這些特徵當成「此水果是蘋果」概率的獨立貢獻，忽視顏色、形狀、直徑特徵之間關聯所帶來的可能。

• 最近鄰演算法：最近鄰演算法是首個被用來決定旅行推銷員問題解決方案的演算法之一。其中，推銷員隨機從一個城市開始，然後反覆到最近的城市，直到所有的城市都到過。它能快速的產生最短行程，但通常布施最優規劃。

• 主演算法：從過去、現在到未來的所有知識，都可由一種通用學習演算法從數據中獲得。我們要做的只是提供足夠多正確類型的數據。

關於終極演算法的思考

探討人類和計算機之間「思考」和學習的差別，演算法已經在多大程度上影響了我們的生活，以及當機器最終學會如何學習時將會發生什麼。您說我們生活在一個演算法時代。可是，為什麼我們卻感覺不到每天有如此多的演算法在為我們工作，或是給我們搗亂呢？機器學習是如何在幕後悄悄工作，而不被我們注意到呢？計算機所做的每一件事都使用到了演算法。你的手機、電腦、汽車、房子和家用電器都是基於演算法。但是它們卻是隱蔽的：你看見一個閃光的小裝置，但是卻不知道裡面的運行機制。Siri用演算法來理解你說的話，Yelp用演算法來幫你選擇餐館，車子內的GPS系統用演算法來幫你選擇最佳路線，刷卡機用演算法來幫你支付。公司用演算法來選擇職位申請者，共同基金使用它們來交易股票，國家安全局用它們來標記可疑電話。

「常規」演算法和學習演算法的不同是前者必須由軟體工程師來人為編程，一步一步地解釋計算機需要做的事情。而後者則是由計算機自己通過觀察數據來決定它們需要怎麼做：這是輸入數據，那是想要的輸出，我該怎麼實現中間的轉化？引人注目的是，同樣的學習演算法能學習做無數不同的事情——從下國際象棋到醫學診斷——只需要給它們合適的數據即可。書名中的「主演算法（master algorithm）」是什麼？它與Ray Kurzweil的奇點有何不同？它有哪些潛在的優勢呢？主演算法是一種能夠從數據中學習任何東西的演算法。如果給它關於星球運動、斜面和鐘擺的數據，它能發現牛頓定律。如果給它關於DNA的晶體圖像數據，它能發現雙螺旋結構。從你手機里所有的數據，它能學習預知你接下來會做什麼並想辦法幫助你。也許從大量的癌症病人的病曆數據中它甚至能找到一個治療癌症的辦法。

它能帶來的其他好處還有：家庭機器人、一個能回答你問題的萬維腦（World Wide Web）而不僅是一個只能呈現網頁的萬維網；一個了解你和你最好的朋友的360度推薦系統，不僅僅推薦書籍和電影，還有約會、工作、住房和假期——你生活中的任何事情。

Kurzweil的奇點是人工智慧超越地球人的一個點，因此變得無法理解。或者更確切的說是奇點的「視界」，就像任何光都無法逃脫的黑洞視界一樣。如果沒有主演算法，我們就無法很快到達奇點。如果有了主演算法，人工智慧的發展必然會加速，但我認為我們依然能夠理解這個世界，因為人工智慧將會設計來為人類服務。我們也許不會理解它們是如何生產出它們給予我們的東西，但是我們能夠理解這些產品能為我們做些什麼，否則我們也不會想要它們。除此之外，這個世界總有一些部分已經超出我們的理解範疇。不同的是，現在它的一部分是由我們設計的，這無疑是一個改善。您在形容這個領域時，將其劃分為多個「部落」，每一個都有一個不同的機器學習方法，它們在某些特定問題上的表現比其他方法更好，但是沒有一個部落擁有可以包羅萬象的演算法——也就是一個可以回答所有可回答問題的機器學習程序。您將主演算法與粒子物理學標準模型或分子生物學中心法則相比較：「它是一個統一的理論，能理解我們迄今為止所知的一切，並為今後幾十年甚至幾十年的發展奠定了基礎。」這聽起來口氣很大。為什麼主演算法看起來可行？又是什麼在阻止著分離的部落們來創造它呢？就算是一些最簡單的學習演算法也有數學上的證據，證明它們能從足夠多的數據中學習。因此從這個層面上說，主演算法無疑是存在的。實際上，每個部落中都有一些研究者們相信他們已經找到它了。但問題是演算法要能夠利用實際的數據和計算來學習你想要它做的事情。這裡讓我們轉向經驗證據：自然為我們提供了至少兩個能學習（幾乎）任何事物的演算法例子，即進化和大腦。因此我們知道主演算法是存在的。問題在於我們是否能夠準確完整地把它弄清楚並寫下來，就像物理學家將物理定律用公式寫出來一樣（公式本身也是一種演算法）。