Facebook趣味AI研究：讓「閉眼」的照片完美「睜眼」

編輯 | 都保傑

微信 | ai_xingqiu

網址 | 51aistar.com

拍照時一不小心拍到了閉眼的照片又無法去重拍一次怎麼辦？

之前，業內有種解決方案是如果要拍人物照片，手機的AI演算法會自動鎖定人臉，並且為人臉多拍幾張照片做後備，如果發現有人閉眼了，則可以通過人臉回溯的功能找到一張不閉眼的頭像做替換。

而現在AI演算法不僅可以幫助我們進行美顏處理，還能把人物的閉眼照片變成睜眼的照片。目前，Facebook就在做這樣的嘗試，還原睜眼的逼真程度毫無PS痕迹以及違和感，其發表於CVPR 2018的論文「Eye In-Painting with Exemplar Generative Adversarial Networks」對此進行了闡述。

圖像補全（In-Painting）其實是一個傳統圖形學的老話題，在一幅圖像上挖一個洞，看如何利用其他的信息將這個洞補全，並且達到讓人眼無法辨別的程度。

從左至右：示範圖像、源圖像、Photoshop睜眼演算法、Facebook演算法

在常用的PS軟體中，Adobe通過其「上下文感知填充（context-aware fill）」這個技術，允許用戶無縫地替換不需要的特徵元素，例如突出的分支或雲，通過很好地模擬該處應有的元素來進行預測和填充，但有些功能總是超出了這類工具的替代能力，其中之一就是眼部位置的替換。

眼睛的精細度和高度可變的性質，使系統改變或創建這些位置變得困難。而深度神經網路（DNN）可以學習「打開」一雙閉合的眼睛，但是模型本身並不能保證新的眼睛正好對應於這個人的特定眼睛結構和表情，如何利用其他的信息，如何判斷補全的結果是否足夠逼真，都是需要綜合考慮的問題。

近來，得益於神經網路對圖像中高層特徵（high-level feature）的提取能力，研究人員可以將大數據和high-level feature組合起來，使這個十分困難的問題得到了比較好的解決，Facebook通過一個生成式對抗網路(Generative Adversarial Network，GAN)來解決這個難題，進一步提出ExGANs。

ExGAN是條件GAN（cGAN）的擴展，利用示例信息，生成高質量、個性化的圖像補全，與以前的條件GAN不同，在判別器網路里插入了額外的參考信息（參考圖片或者感知代碼），讓ExGAN有更強的細節處理能力。

ExGANs的總體訓練流程可以概括為：從輸入圖像中標出眼睛;以參考圖像（reference image）或感知代碼（perceptual code）為指導，對圖像進行補全;通過輸入圖像和補全圖像之間的內容/重構損失，計算生成器參數的梯度;用補全圖像、另一個ground truth圖像和參考圖像或感知代碼，計算鑒別器參數的梯度;通過生成器反向傳播鑒別器的誤差。還有可選的一步，用感知損失對生成器的參數進行更新。

在後期測試中，人們錯誤地將虛假的睜眼照片誤認為是真實的照片，或者說他們不能分辨哪些是經過處理的圖像，ExGAN不僅了解了這個人的眼睛看的是什麼，還了解了這個人的眼睛的結構、瞳孔的顏色等等，最終補全的結果非常逼真且自然。

據Facebook相關研究人員介紹，在某些情況下，這種「睜眼」處理仍然會失效，比如一個人的眼睛被頭髮部分覆蓋，或者有時不能正確地重新創建顏色，就會產生奇怪的處理效果，目前，研究人員正在解決這個問題。此外，ExGAN做為一個通用的框架，可以拓展到其他計算機視覺任務乃至其他領域的問題上做延伸。

作為社交科技巨頭，Facebook擁有海量的用戶社交圖片，如果這種AI睜眼演算法能夠嵌入或者做成一些功能應用，想必會非常受歡迎。

如果你想了解最前沿的AI技術和場景應用

一網打盡AI世界的前瞻科技和深度報道

歡迎關注AI星球，並轉發朋友圈為我們打Call~~

你們的支持是我們創造優質內容的不竭動力

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！