為了修復打碼女神臉，他們提出二階段生成對抗網路EdgeConnect

選自arXiv

作者：Kamyar Nazeri、Eric Ng

機器之心編譯

參與：曉坤

當圖像缺失部分太多的時候，結合多階段方法和邊緣先驗信息，這個 GAN 實現了高還原度的圖像修復，玩法還不止於此。

在過去幾年中，深度學習技術在圖像修復方面取得了顯著進步。然而，許多這些技術無法重建合理的結構，因為它們通常過度平滑和/或模糊。比如：

或者合成結果很好，視覺效果真實，但和原始照片卻不一樣。比如：

兩張修復照片看起來都很正常，但原人不是長這樣。深度生成模型只把生成範圍限定在了「眼睛」上，而沒有定位到更精細的紋理。對比一下廬山真面目：

再看看這個例子，空白區域越多，圖像補全的時候就越任性（最右側是原始圖像）：

以上示例皆選自論文《Image Inpainting for Irregular Holes Using Partial Convolutions》，讀者可參見《心中無碼：這是一個能自動腦補漫畫空缺部分的 AI 項目》一文。

在用媒介還原真實世界的歷史上，人們有一個共識，即邊緣才是物體最具辨識度的信息。所以，在彩色照相技術出現之前，我們是通過素描、速寫、黑白照片等來記錄世界，並認為其足夠真實和還原。

除非你是立體主義、超現實主義、印象主義、浮世繪主義、國風主義...

不知道是不是也抱著這樣的想法，加拿大安大略理工大學理學院的研究者開發了一種結合邊緣信息先驗的圖像修復方法，其可以更好地再現顯示精細細節的填充區域。

生成效果如下所示，補全模型會先生成中間所示的完整邊緣信息，然後結合失真信息一起生成最終的修復圖像。

更好玩的是，該模型還可以幫你做精準編輯。想削掉那個山峰嗎？不用再做圖層和重新上色，簡單畫幾條邊緣就行了。

兩位小姐姐都很美，但更喜歡黃色的皮膚，怎麼辦？

具體來說，作者們提出了一個二階段生成對抗網路 EdgeConnect，它包括一個邊緣生成器，然後是一個圖像補全網路。邊緣生成器在圖像的缺失區域（規則和不規則）生成預測邊緣，然後圖像補全網路使用預測邊緣作為先驗填充缺失區域。研究者通過公開可用的數據集 CelebA、Places2 和 Paris StreetView 對模型進行端到端評估，並表明它在數量和質量上優於當前最先進的技術。

論文：EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning

論文地址：https://arxiv.org/pdf/1901.00212.pdf

項目地址：https://github.com/knazeri/edge-connect#citation

研究者已經在 GitHub 中基於 Places2、CelebA 和 Paris-StreetView 數據集給出了全部預訓練模型。

下圖中展示了他們的方法和其它已有模型的對比。相比之下，EdgeConnect 修復的邊緣信息精確得多，基本不會無中生有，和真實圖像最接近。

圖 3：和已有方法的定性結果對比。（a）原始圖像；（b）添加白色掩碼的圖像；（c）Yu et al.；（d）Iizuka et al.；（e）本文的方法（端到端）；（f）本文的方法（Canny σ = 2）

下圖是方法概覽。不完整的灰度圖像和邊緣圖以及掩模是第一階段 G1 的輸入，用於預測完整邊緣圖。將預測的邊緣圖和不完整的彩色圖像傳遞給第二階段 G2 以執行修復任務。

其中，下圖中間的藍色顯示的邊緣是由邊緣生成器網路所預測而補全的（對於缺失的區域）。

圖 1：(左）輸入缺失區域的圖像。缺失的區域用白色表示。（中）計算邊緣。使用 Canny 邊緣檢測器計算以黑色繪製的邊緣（對於可用區域）；而藍色顯示的邊緣是由邊緣生成器網路所預測而補全的（對於缺失的區域）。（右）圖像修復的結果。

再看看更多的圖像拼接、移除和編輯的例子吧：

圖 10：使用（a）的左側和（b）的右側生成（c）的邊緣圖，最後生成（d）的拼接圖。

圖 11：使用 EdgeConnect 進行目標移除和圖像編輯的示例。（左）原始圖像。（中）使用可選邊緣信息移除不想要的目標來引導圖像修復。（右）最終生成圖像。

定量分析

現在將注意力轉向這項工作的關鍵假設：邊緣信息有助於圖像修復。表 3 顯示了有和沒有邊緣信息的修復結果。當邊緣信息被整合到修復模型中時，EdgeConnect 在每個度量上都獲得了更好的分數，即使圖像的大部分缺失也是如此。

表 3：有邊緣信息（完整模型）和無邊緣信息（僅包含 G2 階段）的修復結果的對比。

研究者使用了參數σ來控制圖像補全網路可用的邊緣信息量。

對於較大的σ值，可用的邊緣太少，不能保證生成的圖像質量。另一方面，當σ太小時，生成太多邊緣，這對於所生成圖像的質量也會產生不利影響。也就是說，存在合適的最佳σ值，或者說我們只需要適當的邊緣信息量。圖 6 展示了修復圖像的質量隨 σ的變化。

圖 6：PSNR 和 FID 隨 σ的變化。

圖 7 展示了σ的不同值如何影響具體的修復任務。注意，在邊緣數據稀疏的區域中，修復區域的質量降低。例如，在σ= 5 的修復圖像中，左側人臉的左眼重建得比右眼更銳利。但是並不是說每張圖像需要的最優σ值都是一樣的。

圖 7：Canny σ對圖像修復結果的影響。

實際上，EdgeConnect 可以看成是兩個模型，包含了第一階段的邊緣預測就可以用於圖像修復，不包含則可以用於圖像編輯，只要描繪出合適的邊緣就能在第二階段生成合適的圖像。實際上，在最上方展示的人臉案例中，EdgeConnect 可能也很難還原真實的邊緣信息，他們也給出了一些失敗案例。

研究者計劃開發更好的邊緣探測器。雖然有效地描繪邊緣比數百條細節線更有用，但是邊緣生成模型有時無法準確地描繪高度紋理化區域中的邊緣，或者當圖像的大部分缺失時，如圖 9 所示。

圖 9：無法生成相關邊緣信息的修復結果的失敗案例。

這項研究值得關注的地方在於，使用了多階段的方法，選擇了相關度足夠高的、生成難度較低的先驗信息，作為下一階段的先驗，簡單而高效。

研究者表示，通過改善邊緣生成系統，或許可以將該模型擴展到高解析度修復應用。

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！