學界｜讓莫奈畫作變成照片：伯克利圖像到圖像翻譯新研究

選自arXiv.org

機器之心編譯

參與：李澤南

UC Berkeley 的研究者們在圖像風格轉換領域的探索一直引人注目，幾個月前的人工智慧生成「貓片」：edges2cats 圖像轉換系統風靡一時。最近，該論文作者之一 Jun-Yan Zhu 又為我們展示了另一種圖像風格轉換技術。經過訓練，這種被稱為 CycleGAN 的新方法可以讓馬變成斑馬，莫奈的畫作變成照片，橘子變成蘋果……在論文發表後，研究小組在 GitHub 上公布了該項研究的 Torch 實現。讀者可點擊閱讀原文下載此論文。

論文：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

摘要：圖像到圖像轉換是一類視覺和圖形問題，其目標是通過訓練學習輸入圖片的風格，將其映射到框架類似的輸出圖片中。儘管對於很多任務而言，配對訓練數據可遇不可求。我們提出了一種在沒有配對的情況下從來源域 X 到目標域 Y 進行圖像轉換的方式。我們的目標是實現 G:X→ Y，其中 G(X) 的圖像分布與使用對抗性損失分布的 Y 難以區分。因為映射非常不完全，我們將其以 F:Y→ X 的方式建立映射，同時引入循環一致性損失函數來推動 F(G(X))≈X（反之亦然）。我們在無法配對的訓練數據中演示了新方法的成果，其中包括風格遷移、材質改變、季節變化、圖像增強等。我們業餘之前一些方法進行了定量比較，展示了新方法的優越性。

圖 1：給定兩個無序圖像集 X 和 Y，CycleGAN 可以自動對它們進行互相「翻譯」。

圖 3：該模型包含兩個映射函數 G : X ! Y 和 F : Y ! X，以及相關的對抗式鑒別器 DY 和 DX。DY 鼓勵 G 將 X 翻譯為 Y 風格的圖像，反之亦然。為了進一步規範映射，研究者引入了兩個「循環協調損失函數」，確保轉換後的風格在反轉換後可以回到處理之前的狀態。

圖 5：在道路圖片上，CycleGAN 與一些其他方法效果的對比

圖 8：CycleGAN 處理 pix2pix 配對數據集的效果

在論文中，作者表示儘管這一研究在很多包含紋理與顏色的風格轉換任務中表現優秀，但它在一些包含幾何圖形變化的任務中（如貓→ 狗轉換）仍無法達到令人滿意的表現。研究人員在未來將向這一方向展開新的探索。

相關鏈接

• GitHub：https://github.com/junyanz/CycleGAN

• 論文鏈接：https://arxiv.org/abs/1703.10593