StarGAN - 圖像到圖像的翻譯

本文為 AI 研習社編譯的技術博客，原標題 ：

StarGAN — Image-to-Image Translation

作者 | Pranoy Radhakrishnan

翻譯 | tobepellucid

校對 | Pita 審核 | 醬番梨 整理 | 立魚王

原文鏈接：

https://towardsdatascience.com/stargan-image-to-image-translation-44d4230fbb48

通過輸入來自兩個不同領域的訓練數據，StarGANs模型可以學習將某一個領域的圖片轉換成為另一個領域。

例如，把一個人的發色（屬性）從黑色（屬性值）轉換成棕色（屬性值）。

我們把領域定義為擁有相同屬性值的一系列圖片。黑色頭髮人群是一個領域，棕色頭髮人群則是另一個領域。

1. 生成器把圖像和目標領域標籤作為輸入，生成一張非真實的圖像.（b）

2. 生成器試圖根據所給的原始領域標籤，把非真實圖像重構為原始圖像。

3. 這裡，為了生成器能夠產生與真實圖像難以區分的圖像且該圖像可以被判別器分類為目標領域，判別器不僅要區分非真實性，而且要對一張圖像作出它相應領域的分類。也就是說，生成器將最終學到可以生成對應於所給目標領域的真實圖像。（d）

判別器的目標

這裡的判別器有兩個任務：

1. 它應該能夠鑒別一張圖像真實與否。

2. 在位於判別器頂部的輔助分類器的幫助下，判別器也可以預測輸入給它的圖像的對應領域。

輔助分類器的作用是什麼？

有了輔助分類器，判別器能夠學習到原始圖像的映射以及它在數據集中所對應的領域。當生成器產生一張指定目標領域c（比如棕色頭髮）的新圖像時，判別器可以預測所產生的圖像的領域。因此生成器會產生新圖像直到判別器給出對應的目標領域c（棕色頭髮）的預測為止。

判別器的損失函數

生成器的目標

這裡的生成器有三個目標：

1. 為了生成圖像接近真實，生成器的權重會被不斷調整。

2. 為了生成圖像能夠被判別器鑒定為目標領域，生成器的權重會被不斷調整。

3. 生成器將根據所給原始領域標籤把生成的非真實圖像重構為原始圖像。我們將使用單一的生成器兩次，第一次把原始圖像翻譯成目標領域的圖像，第二次把翻譯圖像再重構成原始圖像。

生成器的損失函數

CelebA. 名人臉部屬性（CelebA）數據集包含了202,599張明星的臉部圖像，每張都被標註了40個二分類屬性。雷鋒網雷鋒網雷鋒網

拉德堡德臉部資料庫（RaFD）由收集自67位參與者的4,824張圖像組成，每位參與者在三個不同的注視方向上做了八種臉部表情，拍攝於三個不同的角度。

StarStarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

想要繼續查看該篇文章相關鏈接和參考文獻？

點擊【StarGAN-圖像到圖像的翻譯】即可訪問：

https://ai.yanxishe.com/page/TextTranslation/1611

AI入門、大數據、機器學習免費教程

35本世界頂級原本教程限時開放，這類書單由知名數據科學網站 KDnuggets 的副主編，同時也是資深的數據科學家、深度學習技術愛好者的Matthew Mayo推薦，他在機器學習和數據科學領域具有豐富的科研和從業經驗。

點擊鏈接即可獲取：https://ai.yanxishe.com/page/resourceDetail/417

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！