惡狗變萌犬，路人妹子變老婆：日本開源GAN「插件」，想P哪裡點哪裡

花栗子 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

這是一隻面露凶光的哈士奇。

但它凶不過三秒，只要在眼睛上刷一刷：

就回歸了呆萌的本性。

機智的你可能已經發現，是左下角那隻 (有點像博美的) 小狗，幫它找到了自我。

既然眼睛圓潤了，耳朵就沒必要再掙扎，也刷一下吧：

一鍵換上梗犬的耳朵，更加溫柔了。

還有，只要讓憂鬱的小獵犬保持皺眉，再把嘴張開，便可以獲得職業假笑。

想修哪裡點哪裡，這是東京大學和日本獨角獸Preferred Networks開源的「插件」，可調教各種GAN：包括BigGAN和StyleGAN，也不用重新訓練。

另外，既然是來自東瀛的AI，當然可以定製老婆啦：

已為您生成，棕瞳的貓女。

有Demo可以玩，還有開源代碼。

不過為什麼，修改局部也可以這樣天衣無縫？

面露凶光

團隊用了兩種方法。

一種是標籤拼貼(Label Collage) 。拼貼大法名叫sCBN。

通俗地說，圖上的各種色彩代表不同的標籤，共同組成一張標籤圖(Label Map) 。比如，紅色是狐狸的頭：

修改一個標籤，把圖上的某個部分，標成自己想要的樣子：比如把狐狸的頭，標成狗頭。它就真的變成了狗：

「綠色」的後背部分也修改了

這就是從標籤圖上生成的結果。

做法很簡單，只要在歸一化參數上，應用一下位置相關的仿射變換 (Affine-Transformations) ，就能在空間上改變語義信息，不用重新訓練一隻GAN，直接用預訓練網路就可以。

這樣，把金毛變成獅子，人類依然笑得燦爛：

就算不是動物，兩岸青山相對出，中間的綠草如茵，也能變成碧波粼粼：

但有時候，要修改的部分，對應的並不是單一的標籤。

這時，便有了名叫特徵混合(Feature Blending) 的第二種方法。

它不需要用標籤圖，直接把幾張圖拼起來就可以了。

一張是源圖：

兩張作為樣本，老爺爺的鬍子，和小朋友的劉海：

然後，最初的男生就有了花白的鬍子和棕色的頭簾：

原理是，雖然想要修改的部位，對應的不是某一個標籤；但圖上的一個區域，依然可以對應到一組神經元。

前段時間轟動的GAN Dissection演算法，就是給網路做解剖，找到一組神經元，對應某個中間特徵(Intermediate Feature) 。

特徵混合，就是要加工各種中間特徵，把它們無縫融合到一起。

你看，丹鳳眼的面癱少年：

有了棕色的大眼睛，再加上愉快的嘴：

畫風就全然不一樣了。

你一定還記得，開頭的老婆也是這樣生成的：

如果「紅瞳才是正義！」，今後就可以把這樣的方法插進各種GAN，一鍵追求正義，不用再截下轉瞬即逝的緣分了：

這是英偉達StyleGAN的作品

開源了

上周，新版本的論文已經發布了。

演算法也開源了，近期可能有更新。

想定製老婆的同學，可以使用Demo：

https://colab.research.google.com/github/quolc/neural-collage/blob/master/NeuralCollage_demo.ipynb

代碼傳送門：

https://github.com/quolc/neural-collage

論文傳送門：

https://arxiv.org/pdf/1811.10153v2.pdf

—完—

活動報名|多模態視頻人物識別

加入社群

量子位AI社群開始招募啦，量子位社群分：AI討論群、AI 行業群、AI技術群；

歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「微信群」，獲取入群方式。（技術群與AI 行業群需經過審核，審核較嚴，敬請諒解）

喜歡就點「好看」吧 !

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！