只有條件GAN才能穩定訓練？對抗+自監督的無監督方法了解一下

針對 GAN 在線對抗訓練時出現的不穩定性問題，來自 UCLA 與谷歌大腦的研究者提出了對抗訓練+自監督訓練的新訓練方法。該方法是無監督的，不需要標記數據，但可以達到和條件 GAN 相當的訓練穩定性，同時 ImageNet 生成質量可以達到 FID33（這是在 ImageNet 上無條件訓練獲得的最佳結果。）。該研究入選了 NeurIPS 2018 Workshop。

生成對抗網路（GAN）是一類無監督的生成模型 [1]。GAN 涉及對抗地訓練生成器和鑒別器模型，使得生成器可以從期望的數據分布中生成樣本。訓練 GAN 具有挑戰性，因為它涉及在高維參數空間中搜索非凸博弈的納什均衡。在實踐中，GAN 通常使用交替的隨機梯度下降進行訓練，這通常是不穩定的並且缺乏理論保證 [2]。因此，訓練可能表現出不穩定性、發散、循環行為或模式崩潰 [3]。為此，人們提出了許多穩定 GAN 訓練的技術 [4,5,6,7,8,9,10]。導致訓練不穩定的主要原因是生成器和鑒別器在非靜態環境中學習。因為鑒別器是一種分類器，其中一類（假樣本）的分布隨著生成器在訓練期間改變而改變。

在非穩態在線環境中，神經網路忘記了以前的任務 [11,12,13]。如果鑒別器忘記了先前的分類邊界，則訓練可能變得不穩定或循環。這個問題通常通過重複使用舊樣本或應用連續學習技術來解決 [14,15,16,17,18,19]。在複雜數據集下，這些問題變得更加突出。其中的關鍵技術是條件化 [9,20,21,22]，由此生成器和鑒別器都可以訪問標記數據。可以說，用監督信息增強鑒別器可以鼓勵它學習更穩定的表徵，防止災難性的遺忘。此外，學習每個類的條件模型比學習聯合分布更容易。此設置的主要缺點是標記數據的必要性。即使標記數據可用，它通常也是稀疏的，僅涵蓋數量有限的高級抽象概念。

受上述挑戰的驅使，來自 UCLA 與谷歌大腦的研究者的目標是表明人們可以在不需要標記數據的情況下實現條件化的好處。為了確保鑒別器學習的表徵更穩定和有用，研究者為鑒別器添加輔助的自監督損失。這實現了更穩定的訓練，因為鑒別器表徵對生成器輸出質量的依賴性降低。研究者引入了一種新的模型：自監督的 GAN（self-supervised GAN，SS-GAN），其中生成器和鑒別器在表徵學習的任務上合作，並在生成任務上進行競爭。

本研究的貢獻：研究者提出了一種無監督的生成模型，它將對抗訓練與自監督學習相結合。該模型實現了條件 GAN 的優勢，但不需要標記數據。特別是，在相同的訓練條件下，自監督的 GAN 彌補了無條件和條件模型之間的自然圖像合成的差距。在此設置中，鑒別器表徵的質量大大提高，這在遷移學習中可能會有潛在的應用價值。該模型實現了大規模無條件 ImageNet 圖像生成。研究者認為，這項工作是朝著高質量、完全無監督、自然圖像合成方向邁出的重要一步。

圖 1：具有基於旋轉的自監督的鑒別器。鑒別器 D 執行兩項任務：真 VS 假的二值分類，以及旋轉角度分類。真圖像和假圖像都分別旋轉了 0°、90°、180°和 270°。彩色箭頭表示只有直立的圖像被用於真假分類損失任務中。至於旋轉損失，所有的圖像都需要讓鑒別器根據其旋轉程度進行分類。

圖 2：線性分類模型性能，該模型利用鑒別器的最後一層提取的表徵在 ImageNet 上訓練。Uncond-GAN 表示無條件 GAN。SS-GAN 表示添加自監督時的相同模型。對於 Uncond-GAN，該表徵收集關於圖像類別的信息並提高了準確率。然而，在 50 萬次迭代後，表徵損失了類別信息，同時性能開始下降。SS-GAN 緩解了這個問題。

表 1：通過三個隨機種子獲得最佳 FID。在這種情況下，本文提出的方法實現了條件化的大部分好處。

研究者擴大了 SS-GAN 的訓練，以獲得無條件生成 ImageNet 的最佳 FID。研究者在 Google TPU v3 Pod 的 128 個核心上，使用了 1024 的批量，以 350,000 步訓練所提出的模型，並獲得了 33.5 的 FID 分數。附錄中提供了架構的詳細信息。

圖 5 顯示了模型生成的圖像的隨機樣本。在 ImageNet 上無條件訓練比有條件訓練要難得多，因此，現有的相關技術並不多。使用自回歸模型的無條件 ImageNet 生成結果已經出現，但並沒有報道 FID 分數 [34]。通過使用很多附加的技巧和技術，一個基於條件生成的最新方法通過大規模訓練已經獲得了 9.6 的 FID 分數。雖然本文的無條件模型仍然遠遠落後於此，但在第 4.2 節的結果表明，在相同條件下，SS-GAN 和條件 GAN 的性能相當。這一方法有望在將來獲得與無條件模型相當的分數。這是在 ImageNet 上無條件訓練獲得的最佳結果。

圖 5：自監督模型無條件生成圖像的隨機樣本（非隨機樣本）。雖然本文的無條件模型可以明顯改進，但 4.2 節中的結果表明，在相同條件下，本文提出的方法可以與條件模型對應的方法性能相當。這是在 ImageNet 上無條件訓練獲得的最佳結果。

論文：Self-Supervised Generative Adversarial Networks

論文地址：https://arxiv.org/abs/1811.11212

摘要：條件 GAN 正處於自然圖像合成的最前沿。這種模型的主要缺點是標記數據的必要性。在這本文中，我們利用兩種流行的無監督學習技術：對抗訓練和自監督，來縮小條件和無條件 GAN 之間的差距。特別是，我們允許網路在表徵學習任務上進行協作，同時利用經典的 GAN 機制進行對抗訓練。自監督的作用是鼓勵鑒別器學習有意義的特徵表徵，這些表徵在訓練期間不會被遺忘。我們通過實驗測試了學習到的圖像表徵的質量和合成圖像的質量。在相同條件下，自監督的 GAN 獲得了與最先進的條件 GAN 相似的性能。這種完全無監督學習的方法擴展到無條件 ImageNet 生成時可以達到 33 的 FID 分數。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！