谷歌發布AutoML新產品，為何被質疑是吹捧過度？

矽谷Live / 實地探訪 / 熱點探秘/ 深度探討

本文經 AI前線（ID: ai-front）授權轉載

2018 年 7 月 24 日深夜，Google Cloud Next 2018 大會在美國舊金山正式拉開序幕。會上，由李飛飛和李佳組成的「佳飛」組合又攜 AutoML 狠狠地刷了一波存在感。拋開 TPU 3.0 上崗谷歌雲以及眾多機器學習 API 更新不談，今天 Next 大會上最為重磅的發布無非兩項：今年年初剛登場就紅透半邊天的 Cloud AutoML 又新增自然語言和翻譯兩大新功能；谷歌「通過圖靈測試」的打電話 AI 正式投入商用，不過這次換了個名字——「客服中心 AI（Contact Center AI）」，主要用來接電話。

Next 大會首日發布結束，各家媒體自然是爭相報道、熱鬧非凡，但其中卻有一些不太一樣的聲音。Next 大會前日，深度學習專家 Fran?ois Chollet 發布了這樣一條推文：「不久之後，AutoML 就會發現他們將面臨和強化學習一樣的問題：人們會用非常具體的（有缺陷的）方法來解決許多寬泛的問題。」而 fast.ai 創始者之一 Rachel Thomas 更是連發三篇文章，詳細分析了 AutoML 的現在和未來。AutoML 這個工具是否真的那麼強大？還是說只是廣告打得響？今天我們就來理智地聊一聊 Google 的 AutoML 技術。

Google AutoML 再添新功能

雖然 AutoML 領域已經發展了好幾年，2017 年 5 月，谷歌在它的神經架構搜索中加入了 AutoML 這個術語。在谷歌開發者大會上，Sundar Pichai 表示：「這就是我們為什麼創造 AutoML 這一工具，它證明了讓神經網路設計神經網路是可能的。」

同時，谷歌 AI 的研究者 Barret Zoph 和 Quoc Le 也表示：「我們的方法（AutoML）中，一個控制器神經網路可以生成一個子模型架構……」

2018 年 1 月份，谷歌雲首席科學家李飛飛和谷歌雲研發負責人李佳宣告 Cloud AutoML 的問世，按照谷歌的宣傳：毫無技術基礎的人都可以盡情地享受 AI 帶來的便利，甚至可以用 AutoML 技術搭建自己的訓練模型。

AutoML Vision 是 Cloud AutoML 這個大項目推出的第一項服務，提供自定義圖像識別系統自動開發服務。根據谷歌介紹，即使是沒有機器學習專業知識的的小白，只需了解模型基本概念，就能借這項服務輕鬆搭建定製化的圖像識別模型。只需在系統中上傳自己的標籤數據，就能得到一個訓練好的機器學習模型。整個過程，從導入數據到標記到模型訓練，都可以通過拖放式界面完成。

發布之初，谷歌就表示會將 AutoML 服務拓展到翻譯、視頻和自然語言處理等領域。於是，六個多月之後，李飛飛如約帶著升級版的 AutoML 出現在了 Google Cloud Next 大會舞台上。

一方面，針對圖像分類的 Cloud Vision API 正式發布公共測試版。這個 API 可以快速將圖片歸類到數千個類別，檢測圖中的不同對象和面孔，找到並讀取圖片的印刷文字，還能進行圖片情感分析。

另一方面，Cloud AutoML 一次上線了兩個新功能，分別是：

1. AutoML Natural Language，用於解析文本的結構和含義，可從文本文檔、新聞或博客文章中提取有關人物、地點、事件等信息。

2. AutoML Translation，可使用最新的神經機器翻譯技術將一串字元翻譯成任何支持的語言。

據介紹，這些新功能已經開始在國外一些媒體中應用，如金融時報、彭博社等。

說了這麼多，如果不放出 AutoML 新功能的鏈接就太不厚道了，下面是目前谷歌三款 AutoML 功能的傳送門，歡迎體驗（Google 頁面上提供了詳細的使用和收費介紹，均提供中文版本和免費試用）：

• CLOUD VISION API

https://cloud.google.com/vision/

• CLOUD NATURAL LANGUAGE

https://cloud.google.com/natural-language/

• TRANSLATION API

https://cloud.google.com/translate/

先冷靜想想，AutoML 真有那麼神奇嗎？

fast.ai 創始人之一 Rachel Thomas 在最新發布的文章《Google"s AutoML: Cutting Through the Hype》中對谷歌 AutoML 技術提出了質疑。

在提出谷歌 AutoML 前，CEO Sundar Pichai 曾寫過這麼一段話：

目前，設計神經網路非常費時，並且需要專家只在科學和工程領域中的一小部分進行研究。為了解決這一問題，我們創造了一種名為 AutoML 的工具，有了它，神經網路可以設計神經網路。我們希望 AutoML 能做到目前博士們可以達到的水平，三至五年之後，我們希望它能為眾多開發者設計不同功能的新的神經網路。

谷歌 AI 的負責人 Jeff Dean 表示，100 倍的計算力可能會替代機器學習專家，對計算有大量需求的神經架構搜索是他唯一舉出的例子。

這就引出了一系列問題：

開發者們需要「設計不同功能的神經網路」嗎？

神經網路是否能用有效的方法解決類似的問題呢？

巨大的計算力真的可以替代機器學習專家嗎？

在評價谷歌的言論之前，我們要知道谷歌之所以一直強調高效使用深度學習的關鍵是更多的計算力，是與它的利益相關的，因為在計算力上，谷歌足以吊打其他人。如果真如他們所說，那我們可能都需要購買谷歌的產品了。這並不意味著谷歌的說法是錯誤的，但是我們最好意識到他們言論之下的經濟動機。

神經架構搜索vs遷移學習：兩種不同方法

在一篇名為《谷歌 AutoML 憑什麼成為「下一代 AI 黑科技」？》中曾經提到過，Google Cloud AutoML 服務使用了三個核心技術，分別是：神經架構搜索技術（Neural Architecture Search Technology）、learning2learn以及遷移學習（Transfer Learning）。

在 Rachel Thomas 的文章中，我們了解到了一些有關遷移學習和神經架構搜索更深層次的解釋。

遷移學習利用預訓練模型，可以讓人們用少量數據集或者較少的計算力得到頂尖的結果，是一種非常強大的技術。預訓練模型此前會在相似的、更大的數據集上進行訓練。由於模型無需從零開始學習，它可以比那些用更少數據和計算時間的模型得到更精確的結果。

遷移學習之下的基礎理念是，神經網路結構會對相同種類的問題進行泛化：例如，很多圖片都有基礎特徵（比如角度、圓圈、狗狗的臉、車輪等等），這些特徵構成了圖片的多樣性。相反，提升神經架構搜索的效率是因為，每個數據集都是獨一無二的，它的結構非常個性化。

來自 Matthew Zeiler 和 Rob Fergus 的示例，圖像分類器對 4 個特徵進行學習：角度、圓圈、狗狗的臉和車輪

當神經架構搜索發現了一種新結構，必須從零開始學習該結構的權重。但是有了遷移學習，則可以從預訓練模型上已有的權重開始訓練。這也意味著無法在同一個問題上同時使用遷移學習和神經架構搜索：如果你要學習一種新的結構，你可能需要為此訓練一個新權重；但如果用遷移學習，可能無需對結構進行實質性改變。

當然，你可以將遷移學習運用到一個經過神經架構搜索的結構上（作者認為這是個不錯的想法）。這隻需要幾個研究者用神經架構搜索和開源的模型即可。如果可以用遷移學習，並不是所有機器學習從業者都要在問題上使用神經架構搜索，然而，Jeff Dean、Sundar Pichai 以及谷歌和媒體的報道都表示：每個人都應該直接用神經架構搜索。

神經架構搜索當然是有好處的！比如，神經架構搜索很適合用來尋找新的結構。谷歌的 AmoebaNet 就是通過神經架構搜索學習來的，另外 fast.ai 很多技術進步也都得益於神經架構搜索。但作者認為，沒有證據表明每個數據集最好在它自己的模型上建模，而不是在現有模型上微調。由於神經架構搜索需要大型訓練集，這對小型數據集來說可能不太友好。即使是谷歌自己的一些研究也會用遷移技術而不是為每個數據集尋找一種新結構，例如 NASNet。

為什麼還要吹捧 Google AutoML 呢？

有了上述那麼多限制，為什麼還要還有很多人在宣傳 AutoML 的有用性呢？我們在整理 fast.ai 這篇文章的時候，綜合出了以下幾種解釋：

1.谷歌的 AutoML 真實反映了一些學術研究機構摻雜了盈利機構之後的危機。很多科學家都想創建有關熱門學術研究領域的產品，但並不評估它能否滿足實際需求。這也是很多 AI 初創企業的現狀，作者的建議是不要試圖將博士論文變成產品，並且盡量不要僱傭純學術研究人員。

2. 谷歌很擅長營銷。人工智慧對很多門外漢來說門檻較高，以至於他們沒辦法評估某種主張，尤其是谷歌這樣的巨頭。很多記者也隨波逐流，爭相報道谷歌的新技術、新成果。作者經常跟那些不在機器學習界工作的人談論谷歌的成果，即使他們根本沒有用過谷歌的機器學習產品，但也表現得非常興奮，可是如果仔細深究又講不出個所以然來。

谷歌造成的新聞誤導的另一個案例是谷歌 AI 研究人員宣布「他們創建了一種深度學習技術，能夠重建人類基因組」，並且他們還將這項技術與諾貝爾獎獲得者做了對比，連線雜誌（《Wired》）對此做了報道。在這之後，約翰霍普金斯大學生物統計學家、生物工程教授 Steven Salzberg 對報道進行了批判。Salzberg 指出，這項研究實際上並沒有重建人類基因組，而且「在現有軟體上僅有微小提升，甚至還不如現有軟體」。很多基因研究者對 Salzberg 的說法表示了贊同。

谷歌確實有很多偉大的成果，但是我們在欣賞的同時也要注意鑒別。

3. 谷歌因為利益相關，說服我們高效利用深度學習的關鍵是更強的計算力，因為谷歌在計算力方面非常有優勢。AutoML 通常需要大量計算，例如為了學習 AmoebaNet 需要用 450 個 K40 GPU 訓練 7 天。

機器學習專家短缺的問題還有何解？

如果 AutoML 並沒有那麼神奇和萬能，那還有什麼方法可以解決全球機器學習從業者短缺的問題呢？Rachel Thomas 給出了以下幾種方法：

1. 讓深度學習更易使用

2. 給深度學習去神秘化

3. 讓資金不夠充足的人也能用到雲 GPU

讓深度學習更易使用

為了讓深度學習更易使用，很多研究已經使其能夠更快、更輕易地訓練更好的網路。典型的案例有：

• Dropout 能讓模型在更小的數據集上訓練，並且不存在過度擬合

• 批歸一化使訓練速度更快

• 線性整流函數（ReLU）避免了梯度爆炸

其他提高使用簡易程度的研究包括：

• 學習速率探測器使訓練過程更穩定

• Super convergence 加速了訓練時間，並且需要更少的計算資源

• 「Custom heads」對現有的架構來說，可以在很多問題上重複使用

給深度學習去神秘化

另外一個障礙是，很多人總認為深度學習離他們很遠，或者覺得他們的數據集太小、並未接受過深度學習訓練或者計算力不夠等等。還有一種觀點認為，只有到了機器學習的博士階段才能用到深度學習，或者很多公司根本無法負擔招聘一位深度學習專家。

但是在作者的經歷中，進入深度學習的門檻遠比他們想像中的低，只要你有一年的編程經驗以及一個 GPU。

提供更多資源：谷歌 Colab Notebooks

雖然雲 GPU 的花費普通人還能負擔得起（每小時大約 50 美分，約合人民幣 3.4 元），但是很多學生表示確實有點貴。在某些國家因為規定，他們無法使用像 AWS 這樣的服務，而谷歌 Colab Notebook 可以解決這個問題，它提供了 Jupyter notebook 環境，無需設置即可使用，在雲上運行並給用戶使用免費的 GPU。谷歌 Colab Notebook 將會為深度學習做出更多努力，也許這也是谷歌在機器學習未來發展的一個更好的目標。

你認為谷歌AutoML是真的強大還是廣告打得響？歡迎留言和我們分享！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！