「解密」谷歌內部機器學習系統Vizier曝光：用遷移學習自動優化超參數

1 新智元編譯

谷歌最近開發了一個 AI，專門用於優化其他 AI。這套機器學習系統名叫 Google Vizier，能夠優化整個 Alphabet 公司的演算法。

值得一提，研究人員在測試這套系統時選擇了一個有趣的方法——製作餅乾。

現代機器學習系統的演算法堪比 F1 賽車，擁有巨大的潛力，但卻無比敏感，要讓系統高效運作，只能不斷調參——手動調參，再加上機器學習系統是「黑箱」，無法確定內部過程究竟如何，因此調參耗時耗力，還很難出結果。

一個常見的解決方法被稱為「博士生下降」（grad student descent），簡單說，就是找個博士生，讓他一直調參，直到演算法工作為止。

Google Vizier 能夠自動優化機器學習系統的超參數。使用之前研究中用過的數據，Vizier 演算法能夠給出一個演算法最優的超參數設置建議。Vizier 使用的方法之一是遷移學習，因此，當相關數據多的時候，給出的建議質量也越高。

谷歌研究人員表示，該系統已經在谷歌內部全面使用。他們在本周公布的一篇論文中寫道：「我們的部署已經得到擴展，用於服務整個 Alphabet 內部的超參數調節 workload，這個工作量是非常龐大的。」

研究人員使用 Vizier 自動調參的研究項目，「包含了幾百萬次 trial……如果沒有這種高效的黑箱優化，這個研究項目根本無法實現」。

除了研究，Vizier 也投入了實際應用。作者在論文中寫道，該系統「顯著改進了許多谷歌產品的生產模型，為 10 億多人帶來了明顯更好的用戶體驗」。這些改進包括對谷歌網站功能的自動 A/B 測試，優化字體、顏色和搜索結果的格式。例如，在谷歌地圖上，系統正在優化特定搜索的相關性與該用戶距離之間的trade-off，無疑，這是瞄準了提高用戶的粘性和參與度。

自動調參：餅乾食譜測試

不僅如此，Vizier 系統還能用於現實世界中紛繁雜亂的黑盒優化問題。這也是餅乾上場的地方。

為了測試他們的系統，研究人員給谷歌食堂製作布丁的承包商提供了餅乾食譜。他們對結果進行了口味測試，並追蹤了廚師為提高口味所做的改變。

食譜也是一種演算法，並且具有類似的黑盒的性質，因為你無法確切知道中間什麼地方出錯了。這項測試讓研究人員測試遷移學習的方法：

他們在論文中寫道：「在開始批量生產前，我們以較小的規模試驗性地製作了一些食譜……這提供了有用的數據，作為我們大規模烘焙遷移學習的基礎。」

雖然中間偶有插曲——例如，當麵糰被放置更長時間後，「意外地，頗為戲劇性地增加了實驗中含有辣椒的曲奇餅的主觀辣味」。不過，研究人員表示，經過幾輪之後，餅乾口味顯著提升，

「之後幾輪這些曲奇的得分極高，在本文作者看來，好吃。」

論文：黑箱優化服務 Google Vizier

摘要

任何足夠複雜的系統，當實驗比理解更容易的時候，都會成為黑箱。因此，隨著系統變得越來越複雜，黑箱優化變得越來越重要。本文中，我們介紹了 Google Vizier，這是一款谷歌內部用於黑箱優化的服務，已經成為谷歌在調整引擎時默認使用的服務。除了優化許多機器學習模型，Google Vizier 還為其他系統提供核心功能，比如谷歌雲機器學習 HyperTune 子系統。我們討論了我們的要求，基礎設施，底層演算法，以及這項服務的高級功能，比如遷移學習和自動 early stopping。

Google Vizier 服務的架構如下：

論文地址：https://research.google.com/pubs/pub46180.html

編譯來源：

http://www.wired.co.uk/article/google-vizier-black-box-optimisation-machine-learning-cookies

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！