【Ian Goodfellow 強推】GAN 進展跟蹤 10 大論文（附下載）

新智元報道

編譯：小潘、肖琴

【新智元導讀】生成對抗網路GAN的提出者Ian Goodfellow在推特上推薦了10篇GAN論文，是跟蹤GAN進展，了解最新技術不容錯過的。本文帶來整理和介紹，希望能給讀者帶來啟發。

1. Progressive Growing of GANs for Improved Quality, Stability, and Variation

Tero Karras, Timo Aila, Samuli Laine & Jaakko Lehtinen (NVIDIA and Aalto University)

來自NVIDIA Research的GAN論文，提出以一種漸進增大（progressive growing）的方式訓練GAN，通過使用逐漸增大的 GAN 網路（稱為PG-GAN）和精心處理的 CelebA-HQ 數據集，實現了效果令人驚嘆的生成圖像。作者表示，這種方式不僅穩定了訓練，GAN生成的圖像也是迄今為止質量最好的。

它的關鍵想法是漸進地增大生成器和鑒別器：從低解析度開始，隨著訓練的進展，添加新的層對越來越精細的細節進行建模。「Progressive Growing」 指的是先訓練4x4的網路，然後訓練8x8，不斷增大，最終達到1024x1024。這既加快了訓練速度，又大大穩定了訓練速度，並且生成的圖像質量非常高，例如1024×1024的CelebA圖像。

數據集和代碼都已開源。

論文：https://arxiv.org/pdf/1710.10196.pdf

源代碼：https://github.com/tkarras/progressive_growing_of_gans

新智元報道：迄今最真實的 GAN：英偉達漸進增大方式訓練 GAN，生成前所未有高清圖像

2. Spectral Normalization for Generative Adversarial Networks

Takeru Miyato, Toshiki Kataoka, Masanori Koyama, Yuichi Yoshida (2018)

來自日本研究者的ICLR 2018論文，提出了一種叫做 「譜歸一化」（spectral normalization）的新的權重歸一化（weight normalization）技術，來穩定判別器的訓練。這種新歸一化技術計算輕巧，易於併入現有的部署當中。我們在 CIFAR10，STL-10 和 ILSVRC2012 數據集上測試了譜歸一化的功效，通過實驗證實了相對於那些使用此前提出的訓練穩定技術訓練的 GAN，譜歸一化 GAN（SN-GAN）能夠生成質量相同乃至更好的圖像。

簡單說，論文提出了一種新的權重歸一化方法，用於穩定判別器的訓練。作者在論文中寫道，他們的歸一化方法需要調整的超參數只要一個，就是 Lipschitz 常數，而且即使不調整這個超參數，也能獲得滿意的性能。此外，演算法實現簡單，額外的計算成本很小。

論文地址：https://openreview.net/pdf?id=B1QRgziT-

新智元報道：一個 GAN 生成 ImageNet 全部 1000 類物體

3. cGANs with Projection Discriminator

Takeru Miyato, Masanori Koyama (2018)

這篇論文提出了一種新的、基於投影的方法，將有條件的信息（conditional information）納入GAN的判別器。這種方法與當前的大多數條件GAN（cGAN）的框架不同，它是通過將（嵌入的）條件向量連接到特徵向量來使用條件信息。通過這樣的修改，研究者在ImageNet的class conditional圖像生成質量比當前最優結果顯著提高，並且這是只通過一對discriminator和generator實現的。該研究還將應用擴展到超解析度，並成功地生成了高質量的超解析度圖像。代碼、生成的圖像和預訓練的模型可用。

論文：https://openreview.net/pdf?id=ByS1VpgRZ

代碼：https://github.com/pfnet-research/sngan_projection

4. High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs

T-C Wang, M-Y Liu, J-Y Zhu [NVIDIA Corporation & UC Berkeley] (2017)

來自NVIDIA和UC Berkeley的研究，Pix2pixHD 利用條件 GAN 進行高清圖像合成和處理（解析度 2048x1024），輸入語義標註圖，系統能夠生成逼真的現實世界圖像，例如街景、人臉。

研究者提出一種多尺度的生成器和判別器架構，結合新的對抗學習目標函數。實驗結果表明，條件 GAN 能夠合成高解析度、照片級逼真的圖像，不需要任何手工損失或預訓練的網路。

不僅如此，作者還提出了一種方法，讓用戶能夠互動式地編輯物體的外觀，大大豐富了生成的數據類型。例如，在下面的視頻中，你可以發現用戶能夠選擇更換街景中車輛的顏色和型號，給街景圖增加一些樹木，或者改變街道類型（例如將水泥路變成十字路）。類似地，利用語義標註圖合成人臉時，給定語義標註的人臉圖像，你可以選擇組合人的五官，調整大小膚色，添加鬍子等。

作者在文中指出，他們的方法可以擴展到其他領域，尤其是醫療圖像這樣缺乏預訓練網路的領域。

項目和論文：https://tcwang0509.github.io/pix2pixHD/

5. Are GANs Created Equal? A Large-Scale Study

M Lucic, K Kurach, M Michalski, S Gelly, O Bousquet [Google Brain] (2017)

這是來自谷歌大腦團隊的研究，他們對 MM GAN、NS GAN、WGAN、WGAN GP、LS GAN、DRAGAN、BEGAN 等近期出現的優秀 GAN 模型進行了客觀的性能比較，發現這些模型並沒有像它們聲稱的那樣優於原始 GAN。

研究者稱，他們對 state-of-the-art 的一些 GAN 模型進行了公平、全面的比較，證明在有足夠高的計算預算的情況下，幾乎所有這些 GAN 都可以達到相似的 FID 值。

他們的實驗證據（重現這些實驗的計算預算大約是 60K P100 GPU 小時）證明為了比較 GAN 的性能，有必要報告其結果分布的一個 summary，而不是只報告最好的結果，因為優化過程存在隨機性和模型不穩定性。

Ian Goodfellow 評論此工作：ML 的研究人員，審稿人和有關 ML 的新聞報道需要對結果的統計穩健性和超參數的效果進行更認真的研究。這項研究表明，過去一年多的很多論文只是觀察抽樣誤差，而不是真正的改進。

論文：https://arxiv.org/pdf/1711.10337.pdf

新智元報道：【谷歌大腦團隊 GAN 生態權威報告】6 種優化 GAN 模型對比，最優秀的仍是原始版本

6. Improved Training of Wasserstein GANs

Gulrajani, F Ahmed, M Arjovsky, V Dumoulin, A Courville

生成對抗網路（GANs）是一個功能十分強大的模型，但現階段仍然受到訓練不穩定的問題干擾。最近新提出的 Wasserstein 對抗網路(WGAN)在對GANs的訓練的穩定性方面取得了進展，但有時仍然只能產生低質量的樣本，或者出現無法收斂的問題。這篇文章中提出的方法比標準的WGAN性能優越，在幾乎不需要超參數調優的情況下，可以保證對各種結構的GAN進行穩定的訓練，其中包括101層的ResNets模型和基於離散數據的語言模型。

文章的主要貢獻如下：

1. 保證對各種各樣的GAN結構進行穩定的訓練

2. 提出了一種基於梯度懲罰的生成對抗網路（(WGAN-GP），同樣可以保證穩定的訓練

3. 對各種GAN模型結構訓練的穩定性進行了改善，並展示了權重的剪枝問題對結果的改善情況，同時論文中也展示了對高質量圖像的生成以及對一個無離散採樣的字元級的語言模型的性能改進。

實驗結果對比如表1所示：

表1

論文：https://arxiv.org/pdf/1704.00028.pdf

7. StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks

Han Zhang et. al.

儘管生成的敵對網路(GANs)在各種任務中已經取得了顯著的成功，但它們仍然在生成高質量圖像方面面臨挑戰。本文提出了一種堆疊的生成對抗網路(StackGAN)，目標是生成高解析度的現實圖像。

首先，本文提出了一個包含兩階段的生成對抗網路架構stack GAN-v1用於文本-圖像合成。根據給定的文字描述，GAN在第一階段描繪出了物體的原始形狀和顏色，產生了低解析度的圖像。在第二階段，GAN將第一階段的低解析度圖像和文字描述作為輸入，並以逼真的細節生成高解析度的圖像。

其次，提出了一種多階段的生成對抗性網路架構，即StackGAN-v2，用於有條件和無條件的生成任務。提出的StackGAN-v2由多個樹狀結構的生成器和判別器組成。樹的不同分支可以生成對應於同一場景的多個尺寸的圖像。通過對多個分布的聯合逼近，StackGAN-v2顯示了比StackGAN -v1更穩定的訓練結果。大量的實驗證明，在生成高清圖像時，文章提出的堆疊的生成對抗網路比其他現階段表現優異的演算法更具優勢。文章中提出的模型如圖1所示：

論文：https://arxiv.org/pdf/1710.10916.pdf

8. Privacy-preserving generative deep neural networks support clinical data sharing

B K. Beaulieu-Jones, Z S Wu, C Williams, C S. Greene [University of Pennsylvania] (2017)

儘管人們普遍認識到，數據共享促進了科學的快速發展，但保護參與者隱私的合理需求阻礙了醫學的實踐。通過生成患者的模擬數據，作為訓練數據來對深度神經網路進行訓練。以SPRINT實驗為例，實驗中展示了通過使用模擬數據對機器學習模型進行訓練可以泛化得到原始數據。通過結合不同用戶的隱私，提出方法可以強有力地保證模型數據可以對應到每一編製數據集的調查人員。

對於數據集構建完成的研究人員，他們可以用論文中提出的方法，為進行相關研究的科研人員提供自用訪問的公共版本數據集。即使在需要考慮隱私的條件下，生成的數據也可以與相關代碼一起發布，方便其他研究人員進行演算法復現。通過解決數據共享的挑戰，深度神經網路可以促進對臨床數據集進行嚴格的可重複調查。

論文：https://www.biorxiv.org/content/early/2017/07/05/159756

9. Adversarial Variational Bayes: Unifying Variational Autoencoders and Generative Adversarial Networks

L Mescheder, S Nowozin, A Geiger [MPI Tubingen & Microsoft Research Cambridge] (2017)

變分型自動編碼器(VAEs)是一種具有表達能力的潛在變數模型，可用於從訓練數據中學習複雜的概率分布。然而，結果模型的質量主要依賴於推理模型的表達能力。文中引入了對抗型的變分貝葉斯（AVB），這是一種通過使用任意表達的推斷模型來訓練可變汽車編碼的技術。文中通過引入一個輔助的判別網路來實現這一目標，這個網路允許將最大似然問題重新定義為雙方博弈問題，因此在VAEs 和生成對抗網路之間建立了一個規則連接。

結果表明，在非參數的限制條件下，提出方法可以獲得生成模型參數的最大似然估計，並且通過觀察可以得到隱變數的準確的後驗分布。不同於VAEs和GANs相結合的競爭方法，論文中提出的方法有一個明確的理論依據。而且演算法中保留了標準變分自動編碼器的大多數優點，並更容易實現。演算法模型與標準AVE的對比圖如圖下所示：

在二值化的MNIST數據集上的結果如表2所示，分別對應的是AVB和基於VAEs的各種改善演算法。通過對表中結果分析可以發現，提出演算法在二值化的MNIST數據集上可以獲得最優的對數似然估計。在表的下半段的對數似然估計不是通過AIS獲得的，而是通過重要性抽樣的方法。

表2

論文：https://arxiv.org/pdf/1701.04722.pdf

10. Gradient descent GAN optimization is locally stable

V Nagarajan, J. Z Kolter [CMU] (2017)

儘管生成對抗網路（GANs）的應用日益突出，但是GANs的優化仍然是一個棘手的問題。這篇文章分析了基於梯度下降形式的GANs的優化，例如在自然環境中，生成器和判別式參數同時使用小梯度的下降。文中證明了，即使是簡單的參數化問題，GAN的優化也不與凹凸優化問題對應。在合適的條件下，對於傳統的GAN演算法的規則，優化過程的平衡點仍然是局部漸進平穩的。

另一方面，論文中也證明了最近提出的Wasserstein GAN在接近平衡點的時具有非收斂的限制周期。受到這一穩定性分析的啟發，文中提出了一種新的正則化方法，用於對GAN的梯度下降的更新，既能保證WGAN和傳統GAN的局部穩定性，又能在加速收斂和處理模型衰竭方面具有實際的應用前景。

對比結果如下圖所示，左邊為使用了梯度正則化方法的結果圖，右邊為傳統的DCGAN結構獲得的結果圖，分別對應的是經過1，4，20次迭代後的結果：

論文：https://arxiv.org/abs/1706.04156

來源：https://weibo.com/ttarticle/p/showid=2309404212119326295632

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！