AI/機器學習2018年度進展綜述

本文為 AI 研習社編譯的技術博客，原標題 ：

The year in AI/ML advances: 2018 roundup

作者 | Xavier Amatriain

翻譯 | leogle97

校對 | 醬番梨 整理 | 菠蘿妹

原文鏈接：

https://medium.com/@xamat/the-year-in-ai-ml-advances-2018-roundup-db52f7f96358

AI/機器學習2018年度進展綜述

對我來說，在每年的這個時候來總結機器學習的進展已經成為一種慣常(例如我去年在Quora上的回答)。和往常一樣，這個總結必然會因為我自己的興趣和關注點而有所偏頗，但我努力讓它儘可能的涉獵廣泛。請注意，下面是我在Quora上的博客作答。

如果我需要在幾行內總結在2018年的機器學習的主要亮點，這些將是我可能會提及的：

• 人工智慧的炒作和恐懼的散播逐漸冷卻下來；

• 更多關注聚焦於具體問題，如公平、可解釋性或因果關係；

• 深度學習有所發揮並在實踐中不僅適用於圖像分類(尤其是自然語言處理)；

• 人工智慧框架的戰鬥正在升溫，如果你想成為名人，你最好發布一些你自己的框架；

讓我們更為細緻地探討他們吧。

如果說2017年可能是恐懼散布和人工智慧炒作的頂峰，那麼2018年似乎是我們開始些許冷靜下來的一年。誠然，一些人一直在繼續宣揚他們對人工智慧的恐懼，但他們可能忙於其他問題而沒有把這一點作為他們的重要議程。與此同時，出版社和其他媒體似乎已經平靜下來，認為雖然自動駕駛汽車和類似技術正在向我們走來，但它們不會立刻誕生。儘管如此，仍有一些人在為我們應該監管人工智慧而不是專註於監管其結果的壞主意辯護。

但是值得高興的是，今年的重點似乎已經轉移到可處理的更具體的問題上。例如，有很多關於公平的討論，並且有許多關於這個主題的會議(參見FATML或ACM FAT)，甚至還有一些谷歌的在線課程。

（圖）谷歌的關於公平的在線課程

沿著這些方面，今年被廣泛討論的其他問題還包括可闡釋性、解釋性和因果性。從後者開始，因果關係似乎重新回到聚光燈下，主要是因為Judea Pearl的《為什麼之書》一書的出版。作者不僅決定寫他的第一本「通俗易懂」的書，而且他還在Twitter上推廣關於因果關係的討論。事實上，就連流行媒體也將其描述為對現有人工智慧方法的「挑戰」(例如，請參閱《大西洋刊》的這篇文章)。實際上，即使是ACM Recsys大會上的最佳論文獎也頒給了一篇關於如何在嵌入式中包含因果關係的論文(參見「因果嵌入的建議」)。話雖如此，許多其他作者仍然認為因果關係在某種程度上是一種理論上的干擾，我們應該再次關注更具體的問題，比如闡釋性或解釋性。說到解釋性，這一領域的一個亮點可能是關於Anchor的論文及代碼的發布，它們是著名的LIME模型的同一作者的後續。

（圖）Judea Pearl的時下經典

雖然仍然存在一些關於深度學習作為最通用人工智慧模型範例的問題（考慮到那些疑問，算我一個）,雖然我們繼續瀏覽的第n個在Yann LeCun與Gary Marcus間的迭代,顯而易見的是深度學習不僅是存在的,並且它仍然是遠遠沒有達到它可達到的水平。更具體地說，在這一年裡，深度學習方法在從語言到醫療保健等不同於視覺的領域取得了前所未有的成功。

事實上，很可能是在自然語言處理領域，我們看到了今年最有趣的進展。如果我必須選擇今年最令人印象深刻的AI應用程序，它們都是自然語言處理(而且都來自谷歌)。第一個是谷歌超級有用的智能架構，第二個是他們的雙工對話系統。

使用語言模型的想法加速了這些進展，這種想法在今年由Fast.ai的UMLFit普及(參見「理解 UMLFit」)。然後，我們看到了其他(和改進的)方法，如艾倫的ELMO、Open AI的變形金剛，或者最近谷歌的打敗了許多SOTA的結果的BERT。這些模型被描述為「自然語言處理的 Imagenet 時刻」，因為它們提供了可使用的預訓練通用模型，這些模型也可以針對特定任務進行微調。除了語言模型之外，還有許多其他有趣的改進，比如Facebook的多語言嵌入便是一個例子。有趣的是，我們還看到這些方法和其他方法是如何迅速地集成到更一般的自然語言處理框架中，比如AllenNLP或Zalando的FLAIR。

（圖）BERT是深度雙向的，OpenAI GPT是單向的，而ELMo是淺雙向的

說到框架，今年的「人工智慧框架之戰」愈演愈烈。令人驚訝的是，就在Pytorch 1.0發布時，Pytorch似乎正在趕上TensorFlow。雖然在生產中使用Pytorch的情況仍然不是最理想的，但是Pytorch在這方面的進展似乎比Tensorflow在可用性、文檔和教育方面的進展要快。有趣的是，很可能選擇Pytorch作為框架在實現Fast.ai庫上扮演了重要角色。話雖如此，谷歌意識到了這一切，並正在朝著正確的方向推進，如將Keras作為最高級而納入框架，或者增加像Paige Bailey這樣的以開發人員為中心的關鍵領導。最後，我們都能從這些偉大的資源中獲益，所以請繼續努力吧!

（圖）pytorch VS tensorflow 的搜索量趨勢

有趣的是，框架空間中另一個在框架空間有著諸多有趣的發展的是強化學習。雖然我不認為強化學習的研究進展像前幾年那樣令人印象深刻(我只想到DeepMind最近的Impala的工作)，但令人驚訝的是，在一年時間裡，我們看到所有主要人工智慧廠家都發布了強化學習框架。谷歌發布了Dopamine框架用於研究，而Deepmind(也在谷歌內部)發布了某種程度上與之競爭的TRFL框架。Facebook不能落後，它發布Horizon，而微軟則發布了TextWorld，而它更擅長訓練基於文本的代理。有希望的是，所有這些開源的好處將幫助我們在2019年看到許多強化學習的進步。

為結束框架層面的討論，我很高興地看到谷歌最近在Tensor Flow上發布了TFRank。排名是一個非常重要的機器學習應用，而最近它可能沒有得到應有的喜愛。

似乎深度學習最終消除了對數據的智能需求，但事實遠非如此。圍繞著改進數據的想法，該領域仍有一些非常有趣的進展。例如，雖然數據增強已經存在一段時間了，而且對於許多深度學習應用程序來說很關鍵，但是今年穀歌發布了自動增強，它是一種自動增強訓練數據的深度強化學習方法。一個更極端的想法是用合成數據訓練深度學習模型。這已經在實踐中被嘗試了一段時間，並被許多人視為是人工智慧未來的關鍵。NVidia在使用合成數據進行深度學習訓練的論文中提出了有趣的新想法。在我們的「向專家學習」中，我們還展示了如何即使是在與現實數據相結合下，都能使用專家系統來生成合成數據，並使用這些數據來訓練深度學習系統的方法。最後，還有一個有趣的方法，就是使用「弱監管」來減少對大量手工標記數據的需要。Snorkel是一個非常有趣的項目，旨在通過提供一個通用框架來促進這種方法。

至於人工智慧方面的更多基礎性突破，可能是我和我的關注點，但我並沒有看到太多。我不完全同意辛頓的觀點，他說缺乏創新是因為這個領域有「一些資深人士和無數的年輕人」，儘管在科學領域確實存在一種趨勢，即突破性研究是在較晚的年齡完成的。在我看來，目前缺乏突破的主要原因是現有方法和變化仍然有許多有趣的實際應用，所以很難冒險採用那些可能不太實際的方法。當該領域的大部分研究由大公司贊助時，這一點就更加重要了。無論如何，一篇對某些假設提出挑戰的有趣論文是「對用於序列建模的通用卷積網路和循環網路的實證評估」。雖然它是高度經驗主義並使用已知的方法，但它打開了發現新方法的大門，因為它證明了通常被認為是最佳的方法實際上不是最佳的。需要明確的是，我不同Bored Yann LeCun所認為的看法，即卷積網路是最終的「主宰演算法」，而是認為RNN也不是。即使是序列建模也有很大的研究空間。另一篇具有高度探索性的論文是最近的NeurIPS最佳論文獎「神經常微分方程」，它挑戰了深度學習中的一些基本內容，包括層本身的概念。

有趣的是，該論文的動機來自一個項目，作者在該項目中研究醫療數據(更具體地說，是電子健康記錄)。我必須在這篇總結時提及人工智慧和醫療保健交叉領域的研究，因為這是我在Curai的重點所在。不幸的是，在這個空間里發生了太多的事情，以至於我需要寫另一篇文章。所以，我會指出在MLHC會議和ML4H NeurIPS研討會上發表的論文。我們在Curai的團隊成功地讓論文在這兩處都被接受，所以你會在許多有趣的論文中發現我們的論文，它們會讓你了解我們的世界正在發生什麼。

想要繼續查看該篇文章相關鏈接和參考文獻？

長按鏈接點擊打開或點擊【AI/機器學習2018年度進展綜述】：

https://ai.yanxishe.com/page/TextTranslation/1380

AI研習社每日更新精彩內容，觀看更多精彩內容：雷鋒網雷鋒網雷鋒網

等你來譯：

對混亂的數據進行聚類初學者怎樣使用Keras進行遷移學習強化學習：通往基於情感的行為系統一文帶你讀懂 WaveNet：谷歌助手的聲音合成器

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！