視頻換臉新境界：CMU不僅給人類變臉，還能給花草、天氣變臉

圓栗子 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

把一段視頻里的面部動作，移植到另一段視頻的主角臉上。

大家可能已經習慣這樣的操作了。

就算目標主角並不是人類，大概也算不上精彩。眼睛鼻子嘴，至少零件齊全。

那麼，怎樣的遷移才可走出這個框框，讓這個星球上的萬物，都有機會領取視頻改造的恩澤？

按著你想要的節奏開花：中老年表情包利器

來自卡耐基梅隆大學的團隊，開發了自動變身技巧，不論是花花草草，還是萬千氣象，都能自如轉換。

雲，也變得急切了

或許是懷著超越大前輩Cycle-GAN(來自朱俊彥團隊) 的意味，團隊給自家的GAN起了個非常環保的名字，叫Recycle-GAN。

這位選手，入選了ECCV 2018。

Recycle之道，時間知道

Recycle-GAN，是一隻無監督學習的AI。

用不成對的二維圖像數據，來訓練視頻重定向(Video Retargeting) 並不容易：

一是，如果沒有成對數據，那在視頻變身的優化上，給的限制就不夠，容易產生不良局部極小值 (Bad Local Minima) 而影響生成效果。

二是，只依靠二維圖像的空間信息，要學習視頻的風格就很困難。

你開花，我就開花

針對這兩個問題，CMU團隊提出的方法，是利用時間信息(Temporal Information) 來施加更多的限制，不良局部極小值的現象會減少。

另外，時間、空間信息的搭配食用，也能讓AI更好地學到視頻的風格特徵。

時間信息：進度條撐不住了 (誤)

重要的是，視頻里的時間信息唾手可得，無需尋覓。

然後，看一下Recycle-GAN，是怎樣在兩段視頻的圖像之間，建立映射的。

三位選手對比一下

Pix2Pix是有成對數據的；CycleGAN靠的是循環一致性 (Cycle Consistency) ；RecycleGAN用的是視頻流的時間信息。

翻來覆去的，比CycleGAN的歷程還要艱辛。好像終於感受到，Recycle-GAN這個名字是有道理的。

把對抗損失(Adversarial Loss) ，朱俊彥團隊的循環損失(Cycle Loss) ，反覆損失(Recurrent Loss) ，以及CMU團隊自己造的「再」循環損失(Recycle Loss) 都用上，才是強大的損失函數。

效果怎麼樣？

似乎只有和CycleGAN比一場，才知道時間信息好不好用。

第一局，先來看看換臉的效果：

RecycleGAN用奧巴馬生成的川川，除了嘴皮子，臉的角度也在跟著變化。而中間的CycleGAN，只有嘴的動作比較明顯。

第二局，你見過蒲公英開花的樣子么：

當RecycleGAN的蒲公英，學著菊花的動作，變成茂密的糰子，CycleGAN還在慢慢地綻放。

注意，團隊是預先把兩種花，從初開到完全凋謝的時間調成一致。

除此之外，再看雲捲雲舒 (片頭也出現過) ：

原本是悠然地移動。

和噴氣一般的雲，學習了之後，就獲得了急躁的節奏。

這樣一來，改變天氣就不難了。團隊說拍電影的成本，可以用這樣的方法降下來。

代碼也快來了

CMU的科學家們說，大家很快就可以看到代碼了。

不過在那之前，我們還是有許多資源可以欣賞。

團隊在項目主頁里，提供了豐富的生成效果：

https://www.cs.cmu.edu/~aayushb/Recycle-GAN/

論文請至這裡觀察：

https://www.cs.cmu.edu/~aayushb/Recycle-GAN/recycle_gan.pdf

最後吐個槽

原本是日落：

看了黎明之前的視頻，就跟著變了日出：

可是，日落變日出這樣的操作，直接倒放不好么？

—完—

加入社群

量子位AI社群28群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字「專業群」，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！