深度學習果實即將摘盡？11位大牛談AI的當下與未來

選自kdnuggets

作者：Matthew Mayo

機器之心編譯

參與：王淑婷、劉曉坤

KDnuggets 向 11 位來自學界和業界不同領域的機器學習和 AI 專家諮詢，以期總結出今年的業內進展並預測明年的關鍵趨勢。

KDnuggets 分別獲得了來自 Anima Anandkumar、Andriy Burkov、Pedro Domingos、Ajit Jaokar、Nikita Johnson、Zachary Chase Lipton、Matthew Mayo、Brandon Rohrer、Elena Sharova、Rachel Thomas 和 Daniel Tunkelang 的回答。

這些專家挑選出的關鍵詞包括深度學習的進步、遷移學習、機器學習的局限性、自然語言處理不斷變化的現狀等等。

Anima Anandkumar：英偉達的 ML 研究主任和加州理工學院的 Bren 講座教授。

2018 年機器學習和人工智慧的主要進展是什麼？

「深度學習容易獲得的果實幾乎已經摘盡」（Low hanging fruits of deep learning have been mostly plucked）。

深度學習的焦點開始從標準的監督學習轉向更具挑戰性的機器學習問題，如半監督學習、域適應、主動學習和生成模型。GAN 繼續受到研究人員的歡迎，他們正在嘗試更加艱巨的任務，如照片級圖像生成（BigGAN）和視頻到視頻合成。人們開發了替代的生成模型（例如，神經渲染模型）以在單個網路中組合生成和預測以幫助半監督學習。研究人員將深度學習的應用擴展到許多科學領域，如地震預測、材料科學、蛋白質工程、高能物理和控制系統。在這些情況下，領域知識和約束與學習相結合。例如，為了改善無人機的自主著陸，我們可以學習地面效應模型以校正基礎控制器並保證學習穩定，這在控制系統中很重要。

預測：

「人工智慧將把模擬和現實聯繫起來，變得更安全，更具物理真實性。」

我們將看到人們開發新的域適應技術，以便將知識從模擬無縫遷移到現實世界。使用模擬將有助於我們克服數據稀缺性並加快新領域和新問題的學習。使 AI 從模擬到實際數據（Sim2real）將對機器人技術、自動駕駛、醫學成像、地震預報等產生重大影響。模擬是解決自動駕駛等安全關鍵應用中所有可能情況的好方法。內置於複雜模擬器中的知識將以新穎的方式使用，使 AI 更具物理意識、更強大，並能夠推廣到新的場景。

Andriy Burkov：Gartner 機器學習團隊的負責人。

這是我作為一名從業者的看法，而不是 Gartner 基於研究的官方聲明。

2018 年機器學習和人工智慧的主要發展是什麼？

TensorFlow 在學術界輸給了 PyTorch。有時谷歌的巨大影響力和能力可能會使市場偏向次優的方向，因為 MapReduce 和隨後的 hadoop 狂熱已經導致了這種情況。

Deepfakes（以及相似的語音轉換模型）粉碎了最值得信賴的信息來源：視頻片段。幾十年前我們不再相信印刷文字，但直到最近，視頻的可信度還是不可動搖。

強化學習以深度學習的形式回歸是非常意外和酷的！

Google 致電餐廳並（成功）假裝為真正人類的系統是一個里程碑。然而，它引發了許多關於道德和人工智慧的問題。

個人助理和聊天機器人很快就達到了極限。他們比以往任何時候都好用，但又不如去年每個人所希望的那麼好。

你認為 2019 年的主要趨勢是什麼？

1）我估計每個人都會對今年的 AutoML 進展感到興奮。但我也預計它會失敗（除了一些非常具體和明確定義的用例，如圖像識別、機器翻譯和文本分類，其中手工製作的特徵不是必要或是標準的，原始數據接近於機器期望作為輸入，並且數據是豐富的）。

2）營銷自動化：利用成熟的生成對抗網路和變分自編碼器，可以生成數千張相同人物或圖像的圖片，這些圖像之間的面部表情或情緒差異很小。根據消費者對這些圖片的反應，我們可以製作出最佳的廣告活動。

3）移動設備上的實時語音生成與真實人類無法區分。

4）自動駕駛的計程車將保持在測試/ PoC 階段。

Pedro Domingos ：華盛頓大學計算機科學與工程系的教授。

經過多年的炒作，2018 年變成了對人工智慧過度恐懼的一年。聽媒體甚至是一些研究人員的言論，你可能會認為機器學習演算法是偏見和歧視的垃圾桶，機器人正在接手我們的工作，然後是我們的生活... 不僅僅是談話：歐洲和加利福尼亞州已經通過了嚴厲的隱私法，聯合國正在就智能武器禁令等進行辯論。公眾對人工智慧的看法越來越消極，這既危險又不公平。希望 2019 年將看到理智回歸。

Ajit Jaokar：牛津大學物聯網數據科學的首席數據科學家和創始人

2018 年，一些趨勢開始起飛。AutoML 是一個，強化學習是一個。這兩個新生趨勢將在 2019 年大幅擴展。作為我在牛津大學教學的一部分，我認為物聯網越來越多地交織在自動駕駛汽車、機器人和智能城市等大型生態系統中。通過與 Dobot 的合作，我見證了一種新的機器人技術，即協作機器人（cobots），這是 2019 年的一個關鍵趨勢。與以前的裝配線機器人不同，新的機器人將能夠自主並理解情緒。最後，有一個有爭議的觀點：在 2019 年，我們所知道的數據科學家的角色將傾向於從研究轉向產品開發。我認為人工智慧與下一代數據產品的創建密切相關。數據科學家的角色將相應改變。

Nikita Johnson：RE.WORK 的創始人。

我們在 2018 年目睹的一個發展是開源工具數量的增加，這些工具降低了進入門檻，使所有人都能更容易地應用 AI，以加強組織之間的協作。這些社區對於確保人工智慧在社會和企業各個領域的傳播至關重要。

同樣，在 2019 年，我們將看到關注「人工智慧」的公司數量有所增加，這是基於谷歌最近宣布的 AI for Social Good 計劃，以及微軟的 AI for Good 計劃。隨著社會要求公司擁有更高的社會目標，這種向人工智慧的積極轉變正獲得推動力。

Zachary Chase Lipton：卡內基梅隆大學機器學習助理教授，Approximately Correct Blog 創始人

讓我們從深度學習領域開始，這個領域佔據機器學習和人工智慧的公共話題的最大份額。也許會惹惱一些人，但我認為對 2018 年的一個合理解讀是：最大的發展是沒有發展！當然這太簡單了，但請允許我展開這個問題。最大的發展很大一部分是「調參」與定性新思想的本質區別。BigGAN 是一個 GAN，但更大。GAN 的逐漸發展產生了真正有趣的結果，在某些意義上邁出了一大步，但從方法論上來說，它只是一個帶有課程學習技巧的 GAN。在 NLP 方面，今年最重要的進展是 ELMO 和 BERT 的語境化嵌入。但是至少從 2015-16 開始，我們已經預先訓練了語言模型並對下游分類任務進行了微調，當時 Andrew Dai 和 Quoc Le 的實驗規模較小。所以也許更憤世嫉俗的說法是，這不是由全新思想主宰的一年。另一方面，積極的說法可能是現有技術的全部功能尚未實現，硬體、系統和工具的快速發展可能會從這裡發揮作用，來擠出這些流行了三四年的思想的所有成果。

我認為現在正在醞釀的很多新想法都出現在新興的深度學習理論中。有很多研究人員，包括 Sanjeev Arora、Tengyu Ma、Daniel Soudry、Nati Srebro 等等，他們正在做一些非常令人興奮的工作。我們早就已經有了第一性原理理論，這些理論是嚴謹的，但經常忽略了實踐，然後是「實驗性」ML，它真正在實踐科學，但卻導致了排行榜追逐現象。現在出現了一種新的探究模式，理論與實驗的結合更緊密。你開始看到受實驗啟發的理論論文，進行實驗的理論論文。

2019 年及以後。我認為應用機器學習領域會有一個清算。我們正急於進入所有這些聲稱「解決」問題的實際領域，但到目前為止，我們工具箱中唯一可靠的鎚子只有監督學習，而且我們只能通過模式匹配來做些約束。受監督的模型可以找到關聯，但它們不提供正當理由。它們不知道哪些信息是安全的，或脆弱的（因為它可能會隨著時間的推移而發生變化）。這些模型沒有告訴我們干預措施的效果。當我們在人類交互系統中部署基於監督學習的自動化系統時，我們並沒有預料到它們會扭曲激勵因素，從而改變它們的環境，打破它們所依賴的模式。我認為在接下來的一年裡，我們會看到更多 ML 項目的案例被廢棄，或者因為這些限制而陷入困境。我們會看到社區中更有創意成員的轉變，從關注函數擬合排行榜，到更多地關注與彌合表徵學習和因果推理之間差距相關的問題。

Matthew Mayo：KDnuggets 的編輯

對我而言，2018 年的機器學習發展很好。例如，遷移學習有更廣泛的應用，特別是在自然語言處理方面，這要歸功於通用語言模型微調文本分類（ULMFiT）等技術和 Transformers 的雙向編碼器表徵（BERT）。另外需要注意的是語言模型嵌入（ELMo），這是一個深層語境化的單詞表徵模型，它對模型的每個任務都進行了相當大的改進。今年的其它突破似乎集中在現有技術的改進上，例如 BigGAN。此外，關於機器學習的包容性和多樣性的非技術性討論也成為主流。

我相信，在 2019 年，研究注意力將從監督學習轉向強化學習和半監督學習等領域，因為這些領域的潛在應用越來越多地得到實現。例如，我們現在正處於圖像識別和生成問題已經「解決」的階段，並且沿途學到的東西可以幫助研究人員追求更複雜的機器學習應用。

作為業餘的 AutoML（自動化機器學習）傳播者，我認為我們將繼續看到 AutoML 的逐步進步，以至於普通的監督學習任務將能夠通過開發中的可行方法有效地進行演算法選擇和超參數優化。我認為人們對 AutoML 的普遍看法將轉變。AutoML 將不再被視為機器學習工具箱的替代品，而是作為其中的另一種工具。我認為，在日常情景中，從業者將經常使用這些工具，這將成為定局。

Brandon Rohrer：Facebook 的數據科學家

2018 年的一個重要趨勢是數據科學教育機會的擴散和成熟。在線課程是原始的數據科學教育場所。它們在各個層面繼續受到歡迎，每年學生和主題都在增加，以及有更多教育形式的變體。

在學術界，新的數據科學碩士課程正以每年約十幾個的速度增長。我們的高等院校正在響應公司和學生的請求，為數據相關領域提供專門的計劃。

在非正式的層面，教程和博客文章無處不在。它們為讀者和作者對數據科學的集體理解做出了巨大貢獻。

在 2019 年及以後，數據科學學術計劃將成為學習數據科學職位所需基本技能的更常見方式。這是件好事。受認證的機構將填補長期的空白。到目前為止，數據科學資格主要通過以前的工作經驗來證明。新數據科學家無法展示自己的資歷，因為他們從未從事過數據科學工作；反過來，因為他們無法獲得數據科學工作，他們也無法展示自己的資格。教育機構的證書是打破這一循環的一種方式。

但是，在線課程不是哪裡都有。有許多人無法接受大學教育的時間和經濟要求。通過對項目工作、相關經驗和在線培訓的展示，即使沒有學位，新數據科學家也能夠展示他們的技能。在線課程和教程將繼續變得更加普遍、更複雜、對數據科學教育更為重要。事實上，一些著名的數據科學和機器學習計劃甚至將他們的課程放在網上，甚至為非預科學生提供入學選擇。我預計數據科學大學學位與在線培訓課程之間的界限將繼續變得模糊。在我看來，這是「數據科學民主化」的最真實形式。

Elena Sharova：ITV 的高級數據科學家

2018 年機器學習和人工智慧的主要發展是什麼？

在我看來，2018 年 AI 和 ML 社區發生了以下三個值得注意的事件。

首先，旨在提高公平性和個人數據使用透明度的歐盟全球數據保護條例（GDPR）的啟用。該規定明確了個人控制其個人數據和獲取其使用信息的權利，但也引起了對法律解釋的一些混淆。迄今為止的最終結果是，許多公司認為自己是合規的，對數據處理做了一些表面上的改變，忽略了重新設計數據存儲和處理基礎設施的基本需求。

其次，還有劍橋 Analytica 醜聞，它給整個數據科學社區蒙上陰影。如果之前的辯論主要是關於確保 AI 和 ML 產品的公平性，那麼這個醜聞則會引發更深層次的倫理問題。對 Facebook 參與的最新調查意味著它不會很快消失。隨著數據科學領域的成熟，這些發展將在許多行業中發生。比如亞利桑那州的 Uber 自駕車案，這種事件之後會有強烈的公眾反應。技術就是力量，力量就是責任。正如諾姆喬姆斯基所說：「只有在民間故事、童話故事中，權力才被用來摧毀邪惡。但現實世界教給我們的是截然不同的教訓。除非故意或者太無知，否則我們無法忽視這些教訓。」

最後，從一個更積極的角度來看，亞馬遜自己的伺服器處理器晶元的最新發展意味著，我們可能會越來越接近雲計算的普及，到那時，雲計算的成本不再是問題。

你預計 2019 年的主要趨勢會是什麼？

數據科學家的角色和責任已不再限於建立實現準確預測的模型。2019 年，ML、AI 和 DS 從業者的主要趨勢將是越來越多地關注既定的軟體開發實踐，特別是測試和維護。數據科學的終端產品將必須與公司其它技術堆棧共存。高效運行和維護專有軟體的要求將適用於我們構建的模型和解決方案。這意味著，最好的軟體開發實踐將鞏固我們需要遵循的機器學習規則。

Rachel Thomas：fast.ai 聯合創始人，舊金山大學助理教授。

2018 年人工智慧的兩個主要發展是：

1. 遷移學習在 NLP 的成功應用

2. 越來越多的人開始關注人工智慧的反烏托邦濫用（包括仇恨團體和獨裁者的監控和操縱）

遷移學習是指將預訓練的模型應用到新的數據集。遷移學習是計算機視覺迅猛發展的一個關鍵因素。2018 年，遷移學習在 NLP 中的成功應用包括：fast.ai 的 ULMFiT、艾倫研究所的 ELMo、OpenAI transformer 和谷歌的 BERT。

有些一直存在的問題在 2018 年也終於開始受到主流媒體的關注，如 Facebook 在「Genocide in Myanmar」事件中的決定性作用，YouTube 不當地推薦陰謀論（其中許多宣揚白人至上），以及政府和執法機構使用人工智慧進行監控等。雖然 AI 的這些濫用很嚴重也很可怕，但越來越多的人開始意識到這個問題並進行抵制。

我估計隨著 NLP 的快速進步（正如 Sebastian Ruder 今年夏天說的，NLP 的 ImageNet 時刻已經到來），以及技術方面的反烏托邦發展，這個趨勢將在 2019 年繼續。

Daniel Tunkelang：專門從事搜索、發現和 ML/AI 的獨立顧問。

2018 年，自然語言處理和理解的詞嵌入方面有兩大進展。

首先是 3 月份，來自艾倫人工智慧研究所和華盛頓大學的研究人員發表論文《Deep contextualized word representations》，引入了 ELMo (Embeddings from Language Models)，一個開源的深度語境化詞表徵，該表徵改進了 word2vec 或 GloVe 這樣的無語境嵌入。作者證明，通過簡單地用來自 ELMo 預訓練模型的向量進行替換就可以在現有 NLP 系統上實現改進。

其次是 11 月的時候，谷歌開源了 BERT (Bidirectional Encoder Representations from Transformers)。它是一個在 Wikipedia 上預訓練得到的雙向無監督語言表徵。作者在論文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中證明，他們在多種不同的 NLP 基準上實現了很大的改進，甚至是與 ELMo 相關的基準。

從智能語音助手的快速普及（2018 年底達到 1 億用戶）到移動手機上無處不在的數字助手，自然語言理解方面的進展正迅速從實驗室轉移到產品。對 NLP 的實踐和研究來說，這些成果都令人激動。

但我們還有很長的路要走。

同樣是今年，艾倫人工智慧研究所的研究人員發表了《Swag: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference》，這是一個需要常識理解的句子補充任務數據集。他們的實驗表明，當前最先進的 NLP 模型仍然遠不如人類表現。

但我們可能將在 2019 年看到更多 NLP 方面的突破。因為很多非常優秀的計算機科學人才都在為之努力，而業界也已整裝待發。

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！