機器學習研究趨勢分析：TF已超越Caffe成研究最常用框架

選自Medium

作者：Andrej Karpathy

機器之心編譯

參與：李亞洲

開玩笑地說，現在提交論文的主題是不是應該圍繞把全卷積編碼器解碼器BatchNorm ResNet GAN應用於風格遷移，用 Adam 進行優化？

你是否使用過 Google Trends？相當的酷，你在裡面輸入關鍵詞，看一下谷歌搜索中這一詞條如何隨時間變化的。我想，過去 5 年中 arxiv-sanity 資料庫中剛好有 28303 篇機器學習論文，為什麼不做一些類似的工作，看一下過去 5 年機器學習研究有何進化？結果相當的有趣，所以我把它貼了出來。

arXiv 奇點

首先，讓我們看一下在 arxiv-sanity 類別下（cs.AI、cs.LG、cs.CV、cs.CL、cs.NE、stat.ML）所遞交論文的總數。隨時間變化，得出以下結果：

是的，2017 年 3 月，該領域有幾乎 2000 篇論文被提交。這一峰值可能是由於大會截止日期（例如 NIPS/ICML)。注意，這不是關於該領域自身體量的一個直接說明，因為不是每個人都會把論文提交到 arXiv 上，而且研究人員做研究的分類也會隨時間變化。但有一點可以說明，人工智慧領域正有大量論文被發現、瀏覽、閱讀。

把論文的總量做為分母，我們現在看一下有多少比例的論文包含確切的關鍵詞。

深度學習框架

作為熱身，我們先看一下深度學習框架。為了計算這個關鍵詞，我們記錄了在全部文本中的某處提到框架名的論文以及其比例（任何地方，包括 bibiliography 等）。在 2017 年三月份提交的論文中，我們得出了下面的結果：

也就是說，2017 年 3 月提交的論文中 10% 提到了 TensorFlow。當然，不是每篇論文都宣布使用了該框架，如果我們假設那些提到框架的論文都有一定概率使用該框架，那看起來社區中有 40% 的人在使用 TensorFlow（或者更多，如果你把帶有 TF 後端的 Keras 也算在內）。下面是更多框架隨時間變化的圖繪：

我們能看到 Theano 已經出現很長時間了，但其增長趨於停滯。Caffe 在 2014 年有急劇的增長，但在過去幾個月被 TensorFlow 超越。Torch（以及最近的 PyTorch）也在攀爬階段，緩慢卻穩定。接下來幾個月的發展值得注意，我個人的猜測是 Caffe／Theano 將繼續緩慢的衰退，TensorFlow 也會因為 PyTorch 出現，增長速度變的更慢。

ConvNet 模型

接下來看一下常見的 ConvNet 模型。下圖中，我們能清楚的看到 ResNet 的漲幅，直到三月份所有論文的 9% 提到了它。

還有，在 InceptionNet 之前誰在討論「inception」？對此也很好奇。

優化演算法

在優化演算法方面，看起來 Adam 正在流行，所有論文中 23% 提到了 Adam。實際使用的比例難以估計，但可能要比 23% 高，因為一些論文沒有公布用到的優化演算法，而且一批論文可能沒優化任何神經網路。然後它可能還低了 5%，也就是 Adam「隱藏」在背後，可能與作者的名字衝突，因為 Adam 優化演算法到了 2014 年 12 月才發布。

研究人員

我們對深度學習中一些重要人物出現的比例也很好奇，所以進行了繪圖。這有點類似於引用量，但它要比論文非零即一的統計更為穩健，而且對所有的論文進行了標準化。

可以注意的：所有提交的論文中 35% 提到了「bengio」，但研究人員中有兩個 Bengio：Samy 和 Yoshua，在此圖中是合并統計的。特別提到的一點，在所有新論文中有超過 30% 提到了 Geoff Hinton，看起來非常的多。

熱詞或非關鍵詞

最後，除了手動查閱的關鍵詞類別，讓我們看一下一些熱詞或不熱的關鍵詞。

頂級熱詞

有很多方式可對此進行定義，但該實驗中我觀察了所有論文中的單字母組合或雙子母片語，並記錄了相比於去年最大使用量的比例。超越此標準的論文就是一年前還是有潛力的，但在今年就有相當高關聯頻率的論文。列表如下：

例如，ResNet 的比例是 8.17。因為一年前它在所有提交論文中出現的比率是 1.044%（2016 年 3 月），但今年 3 月它出現的比例是 8.53，所以 8.53 除以 1.044 約等於 8.17。所以得出的結果是，過去一年所有的核心創新領域是 1) ResNets, 2) GANs, 3) Adam, 4) BatchNorm，在研究中多使用下這些模型。在研究興趣方面，我們看到 1) 風格遷移，2) 深度強化學習，3) 神經機器翻譯，以及 4) 圖像生成。在架構上，熱於使用 1) 全卷機網路 (FCN)，2) LSTMs/GRUs，3) Siamese 網路，以及 4) 編碼器-解碼器網路。

頂級但不熱

相反的一面呢？過去一年有哪些詞有較少的提交，但歷史上有更高的比例？下面列出了一些：

我不太確定「fractal」指代什麼，但更普遍的可能是貝葉斯非參數在被攻擊。

結論

現在提交論文的主題應該圍繞把全卷積編碼器解碼器 BatchNorm ResNet GAN（Fully Convolutional Encoder Decoder BatchNorm ResNet GAN）應用於風格遷移，用 Adam 進行優化。聽起來也不那麼不靠譜。