2017年最後一篇推送，仍然與技術有關盤點深度學習論文年度之「最」

今年有很多的學術論文發表，以下是小編覺得能夠深刻影響到自己的幾篇，為大家推薦。對於每一篇文章，都闡述了論文的「目標」，簡要總結了相關工作，並解釋了推薦的原因。

最酷的視覺效果:在未成對的圖像和循環的圖像之間進行轉換

·標題:未配對的圖像到圖像的轉換使用循環一致的敵對網路

·作者:Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros (來自伯里克利AI研究院)

·目標:學會在不同的圖像集之間進行轉換。

在這裡沒有描述作者具體所做的事情，先看一些令人難以置信的結果：

這些令人驚嘆的圖片來自於CycleGAN的論文，其中作者學習了一對翻譯網路，能夠在未成對的圖像之間進行翻譯。

作者以來自不同領域的兩組圖像開始，學習兩個翻譯網路：一個翻譯馬圖像為斑馬圖像，另一個翻譯斑馬圖像為馬圖像。每個翻譯器都執行一種樣式轉換，不是針對單個圖像的樣式，而是發現一組圖像的聚合樣式。

翻譯網路被訓練成一對生成敵對網路，每個網路都試圖欺騙一個鑒別者，讓他們相信「翻譯」出來的圖像是真實的。使用CycleGAN方法為我們最近的一篇論文生成逼真的綜合訓練數據，結果令人印象深刻：GeneSIS-RT轉換結果引入了一個額外的「循環一致性損失」，鼓勵圖像在通過翻譯網路後保持不變（即前進和後退）。

本文的視覺效果令人驚嘆，強烈建議參閱GitHub項目頁面以獲取更多示例。對這篇論文感興趣的原因是因為它不像許多以前的方法，它學習在不成對的圖像集之間進行翻譯，為匹配圖像對可能不存在的應用程序打開大門，或者可能很難獲得。此外，該代碼非常易於使用和實驗，證明了方法的穩健性和實現的質量。

以下是這篇論文的相關截圖：

最優雅：使用WASSERSTEIN DISTANCE更好的神經網路訓練

·標題：Wasserstein GAN

·作者：Martin Arjovsky，Soumith Chintala，LéonBottou（來自Courant Institute of Mathematical Sciences和Facebook AI Research）

·目標：使用更好的目標函數來更穩定地訓練GAN。

本文提出了使用稍微不同的目標函數訓練生成敵對網路。新提出的目標函數比標準GAN訓練要穩定得多，因為它避免了在訓練過程中漸變消失：

使用這個修改的目標，作者還避免了一個稱為模式崩潰的問題，其中標準的GAN只從可能輸出的一個子集產生樣本。事實上，作者聲稱：「在沒有實驗的情況下，我們看到了WGAN演算法模式崩潰的證據。」例如，如果GAN正在訓練產生手寫數字4和6，則GAN可能只產生4個，並且在訓練期間無法逃離該局部最小值。通過消除訓練目標中消失的梯度，所謂的Wasserstein GAN設法避免這個問題。

即使我們一直在朝著更好的神經網路方向前進，但值得記住的是，仍然有機會通過簡單的見解來產生巨大的變化。這篇論文是非常獨立的：作者（1）激發了一個簡單的想法（2）從數學上顯示為什麼它應該改進當前的藝術狀態（3）有一個令人印象深刻的結果部分，展示其有效性。此外，作者提出的改變在幾乎在所有流行的深度學習框架中都很容易實現，使得採用所提議的變更是切實可行的。

以下是這篇論文的相關截圖：

最有用的：未經監督的模擬訓練數據使用GANS進行優化

·標題：通過對抗訓練學習模擬和非監督的圖像

·作者：Ashish Shrivastava，Tomas Pfister，Oncel Tuzel，Josh Susskind，Wenda Wang，Russ Webb（蘋果公司）

·目標：使用真實世界的圖像，使模擬訓練數據更有用於真實世界的應用程序。

收集真實世界的數據可能比較困難且耗時。因此，許多研究人員經常使用模擬工具。像OpenAI健身房這樣的工具，對訓練數據渴望的深度強化學習代理特別有用。它們能夠產生幾乎無限量的標記的訓練數據。然而，大多數模擬數據對於訓練在真實數據上操作的深度學習系統是不夠現實的。

為了克服這個限制，本文使用了一個生成敵對網路（GAN）來使用未標記的真實世界圖像來改進標記的模擬圖像。他們訓練一個「精細化網路」來欺騙一個辨別分類器，該分類器被訓練成用來區分精緻的模擬圖像和真實圖像。由於細化網路和分類器的協同訓練，精緻的模擬圖像開始顯得非常逼真：

來自Shrivastava等人的這個圖顯示了他們的「精細化網路」背後的基本思想，其中標記的模擬更加逼真，通過GAN來使用未標記的現實世界的圖像。在許多情況下，精緻的合成圖像與真實世界的圖像是無法區分的。

對這篇論文感興趣的原因是因為它提出了第一個彌合模擬和現實世界數據差距的實用方法。特別是在機器人技術方面，提出了一個有趣的挑戰：為領域特定的應用程序收集和標記數據需要資源，而這些資源學術界可能無法獲得，但大部分的研究工作仍得進行。這裡的關鍵問題是該演算法是無監督的，這意味著用戶不需要手動標籤真實的數據。

對於深度學習應用來說，數據為王，然而大多數學術實驗室都沒有資源來生成快速處理新研究領域所需的大量數據：如果有一個公共數據集不存在這個問題，你可以自己收集和標記數據。本文的外延信息是，只要你有一個你正在試圖解決的問題的模擬器，你應該能夠生成你所需要的訓練數據。

以下是論文相關的截圖：

最令人印象深刻的是：GOOGLE的圍棋程序從頭到尾都在學習

·標題：掌握沒有人類知識的圍棋遊戲

·作者：David Silver，Julian Schrittwieser，Karen Simonyan，Ioannis Antonoglou，Aja Huang，Arthur Guez，Thomas Hubert，Lucas Baker，Matthew Lai，Adrian Bolton，Yutian Chen，Timothy Lillicrap，Fan Hui，Laurent Sifre，George van den Driessche，Thore Graepel＆Demis Hassabis

·目標：學習玩沒有任何人的例子的圍棋遊戲

如果不承認谷歌的DeepMind在過去一年的令人印象深刻的成就，尤其是它與AlphaGo的關係，那麼，2017的榜單將會是不完整的。這裡有一篇非常出色的論文，描述了他們如何構建系統。但是，這個系統是以專家級的人性化遊戲為出發點的。

最近的AlphaGo Zero論文避免了結合任何人類的知識或遊戲玩法：它只通過「自我玩耍」進行訓練。這是通過改進的強化學習訓練程序來實現的，其中當遊戲的前向模擬發生時更新策略。用於指導搜索的神經網路在遊戲過程中得到改善，使訓練速度更快。 AlphaGo Zero甚至超過了AlphaGo Lee的表現，僅在大約40個小時的遊戲時間後，它在2016年推翻了Lee Sedol。

儘管對這篇論文的興趣主要集中在工程學層面，但AlphaGo採用的混合經典和深度學習方法也讓我倍受鼓舞，在這種方法中，蒙特卡洛樹搜索的增加使得系統性能優於單片神經網路。作為研究機器人的一員，我被這種組合方法所鼓舞：使用經典演算法作為決策的主幹，並使用機器學習來提高性能或克服計算限制。這篇論文和2016 的AlphaGo論文也都很棒，充滿了有趣的技術細節和見解。如果沒有其他原因，這些文件值得詳細閱讀。

最深思熟慮：深度圖像

·標題：在深度圖像之前

·作者：Dmitry Ulyanov，Andrea Vedaldi和Victor Lempitsky（來自Skolkovo科學與技術學院和牛津大學）

·目標：了解我們的神經網路模型在我們的實驗中所傳遞的信息。

這篇論文的作者並沒有用大量的數據來訓練一個深度神經網路，而是像現在這樣相當標準的，而是想要探索如何使用神經網路本身作為一個先驗，可以幫助我們解決一些流行的圖像處理任務。他們從一個未經訓練的神經網路開始，用作者的話來說「不是在圖像空間中搜索答案，而是在神經網路的參數空間中搜索它」，並且避免從屬於大型數據集中的神經網路。

Deep Image Prior文章改編的這個圖像顯示了應用他們的技術去除JPEG壓縮偽影的效果。隨著演算法迭代，它最終會過度適應輸入，但是會首先發現沒有任何偽影的更自然的圖像;網路的結構是這樣的，比較容易找到一個自然的圖像而不是腐敗的。為了更多的例子，需要查看論文的項目頁面。

深度圖像優先：De-JPEG迭代

這個結果令人著迷，神經網路的結構對我們的數據有什麼意義？我們怎樣才能更好地理解這一點？我們如何利用這種方法來建立更好的網路模型？我也很感興趣看看性能如何隨著神經網路初始化的功能而變化。我們可以用這種方法來選擇更合理的初始化技術嗎？當然，作為一個社區，我們隱含地理解了我們的網路結構對我們的數據所施加的一些限制：如果「斑馬」圖像全部顛倒，CycleGAN方法不可能有效地發揮作用。然而，它提出了一些關於我們的神經網路模型的深刻的問題，並為來年提供了一些有趣的方向。

以下是論文相關截圖：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！