「谷歌官方年度報告」Jeff Dean曬穀歌大腦成績單

【谷歌官方年度報告】Jeff Dean曬穀歌大腦成績單，TPU、AutoML、TensorFlow等重大突破

2018-01-12 新智元

【新智元導讀】谷歌大腦負責人 Jeff Dean 今天在谷歌博客刊文，從AutoML、語言理解、機器學習演算法、機器學習系統等核心研究工作，以及開源軟體、數據集和新的機器學習硬體等方面，全面總結谷歌大腦在2017年取得的成績。

谷歌大腦團隊作為整個谷歌AI的一部分，致力於通過研究和系統工程推進人工智慧的進步。去年這個時候，我們分享了2016年的工作總結。自那以後，我們繼續在讓機器擁有智能的長期研究進程中不斷取得進展，並與谷歌和Alphabet的許多團隊合作，利用這些研究成果來改善人們的生活。在本文，我將重點介紹我們在2017年的一些工作，包括一些基礎研究工作，以及開源軟體，數據集和新的機器學習硬體。在即將發表第二篇文章中，我們將深入介紹機器學習可能產生重大影響的特定領域的研究，例如醫療保健，機器人和一些基礎科學領域，以及關於創造性、公平性和包容性的工作。

核心研究

我們團隊重點關注的是增加我們的理解、提高我們解決機器學習領域的新問題的能力。以下是去年我們研究的幾個主題。

AutoML

自動化機器學習的目標是為計算機開發能夠自動解決新的機器學習問題的技術，而不用每次遇到新問題都需要人類機器學習專家干預。如果我們想要真正的智能系統，這是所需要的最基本的能力。我們開發了使用強化學習和進化演算法設計神經網路結構的新方法，將這項工作推廣到ImageNet圖像分類和檢測領域的最新成果，並展示了如何自動學習新的優化演算法和有效的激活函數。我們正在積極與谷歌Cloud AI團隊合作，將這項技術提供給谷歌的客戶，並繼續在多個方向推進這項研究。

利用神經結構搜索發現卷積結構

利用AutoML發現的網路進行對象檢測

話語理解與生成

另一個主題是開發新的技術來提高計算機理解和生成人類語言的能力，包括我們與Google speech團隊合作，對谷歌的端到端語音識別方法進行了一系列改進，將谷歌的語音識別系統的相對詞錯率降低了16％。這項工作的一個很好的方面是，它需要結合許多不同的研究思路（你可以在Arxiv上找到：1,2,3,4,5,6,7,8,9）。

用於語音識別的Listen-Attend-Spell端到端模型的組件

我們還與谷歌的Machine Perception團隊合作開發了一種新的文本到語音生成方法（Tacotron 2），大大提高了生成語音的質量。這個模型達到了4.53的平均意見得分（MOS），相比之下，有聲讀物中的專業錄音的MOS為4.58，而以前最好的計算機生成語音系統得分是4.34。你可以在這裡試聽：https://google.github.io/tacotron/publications/tacotron2/index.html

Tacotron 2的模型架構

新的機器學習演算法和方法

我們繼續開發新的機器學習演算法和方法，包括Hinton提出的capsules的工作（在執行視覺任務時，顯式地尋找激活特徵中的一致性作為評估多個不同雜訊假設的方式），稀疏門控專家混合層（實現了超大規模但仍有計算效率的模型），hypernetworks（使用一個模型的權重來生成另一個模型的權重），新的multi-modal模型（在同一個模型上執行音頻、視覺和文本輸入的多個學習任務），基於attention的機制（卷積和循環模型的代替），symbolic和non-symbolic學習的優化方法，通過離散變數反向傳播的技術，以及一些新的強化學習演算法的改進。

拓展閱讀：

【重磅】Hinton 大神 Capsule 論文首次公布，深度學習基石 CNN 或被取代

【一個深度學習模型解決所有問題】谷歌 MultiModel 通吃文本、圖像、翻譯

【谷歌機器翻譯破世界紀錄】僅用 Attention 模型，無需 CNN 和 RNN

計算機系統的機器學習

我們非常感興趣的另一個方向是在計算機系統中用機器學習取代傳統的啟發式方法。我們已經展示了如何使用強化學習來進行放置決策（placement decision），以將計算圖映射到比人類專家更好的一組計算設備上。與Google Research的其他同事一起，我們在「The Case for Learned Index Structures」 這篇論文中展示了神經網路比傳統數據結構（如B-trees，哈希表和Bloom過濾器）速度更快，也更小。我們相信，在核心計算機系統中使用機器學習方面我們仍僅是摸到了皮毛，正如在NIPS的Machine Learning for Systems and Systems for Machine Learning研討會上所述。

作為Index結構的學習模型

隱私和安全

機器學習及其與安全和隱私的交叉領域仍然是我們的主要研究問題。在一篇獲得ICLR 2017最佳論文獎的論文（arXiv:1610.05755）中我們展示了機器學習技術可以以一種提供不同隱私保證的方式應用。我們還繼續調查了對抗樣本的性質，包括在物理世界中展示對抗樣本，以及如何在訓練過程中大規模利用對抗樣本，以使模型相對於對抗性樣本更加robust。

了解機器學習系統

雖然深度學習取得了許多令人印象深刻的成果，但更重要的是理解它為什麼work，以及什麼時候不work。在另一篇ICLR 2017最佳論文獎的論文（Understanding deep learning requires rethinking generalization）中，我們發現目前的機器學習理論框架無法解釋深度學習方法的令人印象深刻的結果。我們還發現，最優化方法找到的最小值的「平坦度」（flatness）並不像最初認為的那樣與良好的泛化緊密相關。

為了更好地理解深層架構下的訓練是如何進行的，我們發表了一系列分析隨機矩陣的論文，因為隨機矩陣是大多數訓練方法的出發點。了解深度學習的另一個重要途徑是更好地衡量它們的表現。在最近的一項研究（arXiv:1711.10337 ）中，我們展示了良好的實驗設計和統計嚴謹性的重要性，比較了多個GAN方法，發現許多流行的生成模型增強並沒有提高性能。我們希望這項研究能夠為其他研究人員提供一個可靠的實驗研究的例子。

拓展閱讀：【谷歌大腦團隊 GAN 生態權威報告】6 種優化 GAN 模型對比，最優秀的仍是原始版本

我們正在開發能夠更好地解釋機器學習系統的方法。在2017年3月，谷歌大腦與OpenAI，DeepMind，YC Research等合作，宣布推出Distill，這是一本致力於支持人類對機器學習的理解的在線開放的科學期刊。Distill在機器學習概念的清晰闡釋和在其文章中出色的互動式可視化工具方面贏得了聲譽。在第一年，Distill發表了許多有啟發性的文章，旨在理解各種機器學習技術的內部原理，我們期待在2018年發表更多工作。

特徵可視化

如何有效使用t-SNE

機器學習研究的開放數據集

MNIST，CIFAR-10，ImageNet，SVHN和WMT等開放數據集，極大地推動了機器學習領域的發展。谷歌大腦和Google Research在過去一年一直積極地為開放式機器學習研究開源有趣的新數據集，以及提供更多的大型標記數據集，包括：

• YouTube-8M：使用4,716個不同類別注釋的700萬YouTube視頻

• YouTube-Bouding Boxes：來自210,000個YouTube視頻的500萬個bounding boxes

• Speech Commands數據集：包含數千個說話者說的短指令詞

• AudioSet：200萬個10秒的YouTube視頻剪輯，標記有527個不同的聲音事件

• Atomic Visual Actions（AVA）：57,000個視頻剪輯中的21萬個動作標籤

• Open Images：使用6000個類別標記的900萬個創作共用許可的圖像

• Open Images with Boundign Boxes：600個類別的120萬個bounding boxes

YouTube-Bouding Boxes數據集樣本：以每秒1幀採樣的視頻片段，圍繞相關項目成功標識邊界框

TensorFlow和開源軟體

TensorFlow用戶的分布地圖

縱觀我們團隊的歷史，我們已經開發了一些工具，幫助我們進行機器學習研究，並在谷歌的眾多產品中部署機器學習系統。2015年11月，我們開源了第二代機器學習框架TensorFlow，希望能讓機器學習社區整體從我們機器學習軟體工具的投資中受益。去年2月，我們發布了TensorFlow 1.0，11月，我們發布了v1.4版本，增加了以下重要功能：用於互動式命令式編程的Eager execution，用於TensorFlow程序的優化編譯器XLA，以及用於移動設備和嵌入式設備的輕量級解決方案TensorFlow Lite。預編譯的TensorFlow二進位文件已經在180多個國家被下載了超過1000萬次，GitHub上的源代碼現在已經有超過1200個貢獻者。

拓展閱讀：【重磅】谷歌 TensorFlow 1.0 發布，智能手機也能玩轉深度學習

【重磅】谷歌正式發布 TensorFlowLite，半監督跨平台快速訓練 ML 模型

2017年2月，我們舉辦了第一屆TensorFlow開發者峰會，超過450人參加了在山景城的活動，超過6500人觀看了直播，包括在全球35多個國家和地區舉辦了超過85場的本地觀看活動。所有的talk都被錄像下來，涉及的主題包括TensorFlow的新功能，使用TensorFlow的技巧，以及低層TensorFlow抽象的細節。我們將在2018年3月30日在灣區舉辦第二屆TensorFlow開發者峰會。

視頻中的「石頭剪刀布」實驗是使用TensorFlow的一個創新實踐。2017年出現了許多利用TensorFlow的實踐，包括自動分選黃瓜，利用航拍圖像尋找海牛，分選切丁馬鈴薯以製作更安全的嬰兒食品，識別皮膚癌，在紐西蘭一個鳥類保護區解讀鳥鳴錄音，在桑坦尼亞幫助鑒定塊莖植物病株，等等。

2017年11月，TensorFlow慶祝其開放源代碼項目兩周年。充滿活力的TensorFlow開發人員和用戶齊聚一堂，這是非常令人欣慰的。

TensorFlow是GitHub上的第一個機器學習平台，也是GitHub上的五大軟體庫之一，被許多公司和組織所使用，包括GitHub上與TensorFlow相關的超過24,500個不同的軟體倉庫。

現在，許多研究論文都與開放源碼的TensorFlow一起出版，以配合研究結果，使社區能夠更容易地理解每篇論文所使用的準確方法，並重現或得以擴展工作。

TensorFlow也受益於其它Google研究團隊的開源相關工作，其中包括TensorFlow中的生成對抗模型的輕量級庫TF-GAN，用於處理晶格模型的一組估計器TensorFlow Lattice，以及TensorFlow Object DetectionAPI。 TensorFlow模型庫隨著越來越多的模型不斷發展。

除了TensorFlow，我們還在瀏覽器中發布了deeplearn.js，一個開源的硬體加速深度學習的API。

deeplearn.js主頁有許多很好的例子，其中包括用戶可以使用網路攝像頭訓練的計算機視覺模型：Teachable Machine，以及基於實時神經網路的鋼琴組合和性能演示模型：Performance RNN。我們將在2018年開展工作，以便將TensorFlow模型直接部署到deeplearn.js環境中。

TPU

TPU提供高達180 teraflops的機器學習加速

大約五年前，我們認識到深度學習會大大改變我們所需要的硬體種類。深度學習的計算量非常大，但它們有兩個特殊的性質：它們主要由密集的線性代數運算（矩陣倍數，向量運算等）組成，它們對精度容忍度高。

我們意識到我們可以利用這兩個屬性來構建能夠非常有效地運行神經網路計算的專用硬體。我們為Google的平台團隊提供了設計輸入，他們設計並生產了我們的第一代Tensor Processing Unit（TPU）：一種旨在加速推理深度學習模型的單晶元ASIC（推理是使用已經過訓練的神經網路，與訓練不同）。

這款第一代TPU已經在我們的數據中心部署了三年，並且已經被用於每個Google搜索查詢，Google翻譯，Google相冊中的圖片，AlphaGo與柯潔的圍棋比賽中，以及其他許多研究和產品用途。

去年6月份，我們在ISCA 2017上發表了一篇論文，顯示這款第一代TPU比現代GPU或CPU同類產品快15-30倍，性能/功耗約為30-80倍優化。

拓展閱讀：【重磅】谷歌發布 TPU 論文，75 位聯合作者，GPU 迎來最強勁對手

Cloud TPU Pod可以提供高達11.5 petaflops的機器學習加速

隨著所使用的TPU設備數量的增加，在ImageNet上進行ResNet-50訓練的實驗顯示接近完美的加速。

推論是重要的，但加速培訓過程是一個更重要的問題，這也更難。我們在去年5月份Google I / O上發布的第二代TPU是一個旨在加速培訓和推理的系統（定製ASIC晶元，電路板和互連）。

我們展示了一個設備配置以及一個深度學習超級計算機配置：TPU Pod。我們宣布這些第二代設備將作為雲端TPU在Google雲端平台上提供。我們還推出了TensorFlow研究雲（TFRC），該項目旨在為頂級的ML研究人員提供服務，他們致力於與世界分享他們的工作，免費獲得1000個雲端TPU的集群。

在17年12月，我們可以在22分鐘內在TPU Pod上訓練一個ResNet-50 ImageNet模型，而在一個典型的工作站上需要幾天或更長的時間來完成，這個模型的精度更高。

我們認為以這種方式縮短研究周轉時間將大大提高Google的機器學習團隊以及所有使用雲端TPU的組織的工作效率。如果您對Cloud TPU，TPU Pods或TensorFlow Research Cloud感興趣，可以通過g.co/tpusignup註冊以了解更多信息。我們很高興能夠讓更多的工程師和研究人員在2018年使用TPU！

新智元AI技術+產業社群招募中，歡迎對AI技術+產業落地感興趣的同學，加小助手微信號: aiera2015_1 入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名-公司-職位；專業群審核較嚴，敬請諒解）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！