AI領域為何缺乏突破？前Quora工程VP：Hinton沒有說到點子上

選自 Quora

作者：Xavier Amatriain

機器之心編譯

參與：路、張倩

2018 年還剩 7 天！前 Netflix 研究／工程負責人、Quora 工程 VP，現人工智慧創業公司 Curai 聯合創始人&CTO Xavier Amatriain 回顧了這一年的機器學習／人工智慧進展。讓我們來看看他的觀點。

如果非要用幾行字總結 2018 年機器學習領域的亮點，那麼我會用以下四條來總結：

AI 炒作和散播 AI 恐懼降溫

更加關注具體問題，如公平性、可解釋性或因果關係

深度學習對圖像分類以外的實踐也很有用（尤其是 NLP）

AI 框架之爭逐漸白熱化。如果你想在該領域功成名就，最好先發布自己的框架。

接下來我們來看一下具體內容。

AI 炒作和散播 AI 恐懼降溫

2017 年可能是散播 AI 恐懼和 AI 炒作的一年，而 2018 年這些「宣傳」開始降溫。儘管一些大人物繼續發表關於 AI 恐懼的言論，但他們或許太忙了，沒把這件事當作日程重點。同時，媒體等群體在對待這個問題時似乎變得較為平靜，儘管自動駕駛汽車和類似的技術不斷發展，但不會立刻成真。也就是說，仍然有聲音在抵抗「約束 AI 而不是約束 AI 產出」的糟糕主意。

更加關注具體問題

過去這一年，人們的關注點似乎轉移到可以解決的更具體問題。例如，關於公平性的討論增多，不止很多學術會議在談論這個話題，一些在線課程（如谷歌開發的課程）也在討論公平性。

這一年，可解釋性、解釋（explanation）、因果關係等問題也得到了廣泛討論。因果關係似乎重新引起了大家的注意，這主要是因為Judea Pearl著作《The Book of Why》的問世。Judea Pearl 不僅決定寫下自己的第一本「通俗」讀物，他還在 Twitter 上鼓勵大家討論因果關係。實際上，即使最通俗的媒體也把因果關係描述為現有 AI 技術的「挑戰」，甚至 ACM Recommender Systems Conference 的最佳論文就在講如何在嵌入中納入因果關係（《Causal Embeddings for Recommendations》）。也就是說，很多作者認為因果關係某種程度上是一種理論偏移，我們應該重新關注更具體的問題，如可解釋性或解釋。說到解釋，這方面的一大亮點是 Anchor 論文和代碼的發布（Anchors: High-Precision Model-Agnostic Explanations），這是著名的 LIME 模型作者的後續之作。

深度學習對圖像分類以外的實踐也很有用

儘管深度學習作為最通用的 AI 範式仍然存在很多問題，儘管 Yann LeCun 和 Gary Marcus 就此辯論了 n 次，但是我們可以確定的是深度學習不止於此，從可以提供的能量來看，它離到達平台期還很遠。具體來說，這一年深度學習方法在視覺以外的其他領域取得了空前成功，包括語言、醫療等。

今年最有趣的進展實際上出現在 NLP 領域。如果非要我選擇今年印象最深刻的 AI 應用，那麼我選擇的兩個都是關於 NLP 的（而且都來自谷歌）。第一個是 Smart Compose，第二個是 Duplex 對話系統。

NLP 的大量進展受到使用語言模型這一思路的啟發，ULMFiT 使大家了解到語言模型的力量（參見：NLP 領域的 ImageNet 時代到來：詞嵌入「已死」，語言模型當立）。我們看到很多其他（以及改進版）方法，如 Allen 的 ELMO、Open AI 的 transformer和谷歌近期提出的BERT。這些模型被描述為「NLP 的 Imagenet 時刻」，因為它們提供了即用的預訓練通用模型，可在用於特定任務時再進行微調。除了語言模型以外，還有很多有趣進展，如 Facebook 的多語言嵌入系統。我們看到這些方法很快被整合到更通用的 NLP 框架，如 AllenNLP 或 Zalando 的 FLAIR 框架。

AI 框架之爭

在框架方面，2018 年，「AI 框架之戰」白熱化。令人驚訝的是，Pytorch 似乎追趕上 TensorFlow。儘管將 Pytorch 用於生產環境仍然是次優的，但 Pytorch 在這方面的追趕速度超過TensorFlow在易用性、文檔和教育方面的追趕速度。有趣的是，選擇 Pytorch 框架來實現 Fast.ai 庫可能發揮了很大助力。不過，谷歌意識到這些，並走在正確的方向上，如將 Keras 集成到 TensorFlow 中、聘用具備開發者背景的管理者 Paige Bailey。不管怎樣，我們都從這些很棒的框架中獲益良多。

在框架空間中取得很多有趣進展的另一個領域是強化學習。雖然我覺得 RL 研究進展不像前幾年那樣令人印象深刻（只能想起來 DeepMind 的近期研究IMPALA），但在僅僅一年的時間裡看到所有主流 AI 玩家發布 RL 框架還是非常驚喜的。谷歌發布了Dopamine研究框架，Deepmind 發布了頗有競爭力的 TRFL 框架。Facebook 不甘落後，發布了Horizon，微軟也發布了專門用於訓練基於文本的智能體的 TextWorld。希望這些開源福利可以幫助我們在 2019 年取得更多 RL 進展。

谷歌最近發布了基於 TensorFlow 的 TFRank。排序是 ML 應用中極其重要的一個應用方向，應該得到更多應有的重視。

基礎性突破

深度學習似乎已經消除了對數據的精細要求，但事實並非如此。在提高數據質量方面的研究仍然有非常有趣的進展。例如，儘管數據增強之前就被提出，對很多 DL 應用都很重要，但今年穀歌發布了一種可自動增強訓練數據的深度強化學習方法——auto-augment。一種更加極端的想法是用合成數據訓練 DL 模型。這方面的實踐已經有了一些，許多人將其看做 AI 未來的關鍵所在。英偉達在其論文《Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization》中展示了有趣的新想法。在《Learning from the experts: From expert systems to machine-learned diagnosis models》中，我們還展示了如何使用專家系統生成可用於訓練 DL 系統的合成數據，這些數據甚至可在與現實世界數據相結合後用於 DL 系統訓練。最後，利用「弱監督」減少大量手工標註數據需求的方法也很值得一提。Snorkel 就是一項有趣的項目，旨在通過提供一個通用框架改進弱監督方法。

要說 AI 領域還有什麼基礎性突破，我看到的並不多。我並不完全贊同 Hinton 的觀點，他認為 AI 領域缺乏創新是因為這一領域的研究者「年輕人多，資深者少」，儘管必須承認，年紀較大的人比較容易取得研究突破。在我看來，缺乏突破的主要原因在於，現有方法及其變體還有很多有趣而實用的應用，因此研究者不願去冒險嘗試現在看來並不實用的方法。這一領域的大部分研究都是由大公司資助的，因此這點更加明顯。一篇有趣的論文《An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling》確實挑戰了一些假設。儘管這份研究是高度經驗性的，使用的也是已知的方法，但它打開了發現新方法的大門，證明公認的最佳方法實際上並不是最佳的。另一篇具有探索意義的論文是NeurIPS 最佳論文《Neural Ordinary Differential Equations》，它挑戰了 DL 中的一些基本內容，包括層本身的概念。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！