插畫師要丟飯碗了！只因中國學霸開發了這一款 AI！

動漫 09-01

點擊藍字「

十繪

」▲快速訂閱繪畫人專屬資料內刊

關注微信公眾號：十繪，回複數字

領取800GB各類繪畫學習教程

事先聲明，這篇文章的標題絕不是在聳人聽聞。事情的起因是今天早上在朋友圈看到同學在轉發一篇論文，名字叫

《Create Anime Characters with A.I. !》

，打開一看，論文主要是通過各式屬性生成二次元人物的頭像，使用的方法是cGAN，效果非常

impressive

。

論文作者來自復旦大學、CMU、石溪大學、同濟大學

下圖左側為通過屬性金髮、雙馬尾、害羞、微笑、緞帶、赤瞳生成的人物，右側是通過屬性銀髮、長發、害羞、微笑、張嘴、藍瞳生成的人物，都表現得非常自然，完全看不出是機器自動生成的：

模型生成的隨機樣本：

固定cGAN雜訊部分生成的樣本，此時人物具有不同的屬性，但是面部細節和面朝的角度基本一致：

更加令人興奮的是，作者搭建了一個網站，任何人都能隨時利用訓練好的模型生成圖像，進行實驗！（點擊閱讀原文即可到達實驗網站）

這裡的按鈕的含義都比較簡單，總的來說我們要先選定一些屬性（完全隨機也是可以的），然後點擊左側的generate按鈕生成：

完全隨機生成的結果，看起來非常好：

選擇發色（Hair Color）為金色（Blonde），髮型（Hair Style）為雙馬尾（Twin Tail），點擊生成，效果同樣很贊！如下圖：

技術細節

我之前也寫過兩篇文章，一篇介紹了GAN

（全稱為生成式對抗網路，人工智慧中的一種生成式模型）

的原理（GAN學習指南：從原理入門到製作生成Demo），一篇介紹了cGAN

（全稱為條件生成式網路）

的原理（通過文字描述來生成二次元妹子！聊聊conditional GAN與txt2img模型），這兩篇文章都是以生成二次元人物來舉例，但是生成的結果都比較差，只能看出大概的雛形。今天的這篇論文大的技術框架還是cGAN，只是對原來的生成過程做了兩方面的改進，

一是使用更加乾淨、質量更高的資料庫，二是GAN結構的改進，

下面就分別進行說明。

改進一：更高質量的圖像庫

之前使用的訓練數據集大多數是使用爬蟲從Danbooru或Safebooru這類網站爬下來的，這類網站的圖片大多由用戶自行上傳，因此質量、畫風參差不齊，同時還有不同的背景。這篇文章的數據來源於getchu，這本身是一個遊戲網站，但是在網站上有大量的人物立繪，圖像質量高，基本

出於專業畫師之手，同時背景統一：

除了圖像外，為了訓練cGAN，還需要圖像的屬性，如頭髮顏色、眼睛的顏色等。作者使用Illustration2Vec，一個預訓練的CNN模型來產生這些標籤。

改進二：GAN結構

此外，作者採取了和原始的GAN不同的結構和訓練方法。總的訓練框架來自於DRAGAN經過實驗發現這種訓練方法收斂更快並且能產生更穩定的結果。

判別器也要做一點改動，因為人物的屬性相當於是一種多分類問題，所以要把最後的Softmax改成多個Sigmoid：

詳細的訓練和參數設定可以參照原論文。

一些問題

雖然大多數的圖像樣本都比較好，但作者也提出了該模型的一些缺點。

由於訓練數據中各個屬性的分布不均勻，通過某些罕見的屬性組合生成出的圖片會發生模式崩壞。

比如屬性帽子(hat)、眼鏡(glasses)，不僅比較複雜，而且在訓練樣本中比較少見，如果把這些屬性組合到一起，生成的圖片的質量就比較差。

如下圖，左側為aqua hair, long hair, drill hair, open mouth, glasses, aqua eyes對應的樣本，右側為orange hair, ponytail, hat, glasses, red eyes, orange eyes對應的樣本，相比使用常見屬性生成的圖片，這些圖片的質量略差：