漸進式圖像重構網路：像畫畫一樣重構圖像

知識 04-03

選自arXiv

作者：Sheng You、Ning You、Minxue Pan

機器之心編輯部

繪畫的時候，我們一般會先勾勒出輪廓，然後再一步步細化、上色，最終完成畫作。圖像生成是否也可以遵循這個步驟呢？研究人員受此啟發，構建了漸進式圖像重構網路。該網路僅根據稀疏邊緣和顏色域，按照模擬、重構、微調三個階段生成了詳細的逼真圖像。

Demo 演示動圖

引言

圖像重構（IR）對物理與生命科學領域的圖像應用軟體來說至關重要，其目的在於根據 ground truth 圖像抽取出的的各類信息對圖像進行重構。

一般而言，一幅圖像由內容和樣式組成。提取自圖像或者手工繪製的草圖是草圖-圖像（sketch-to-image，S2I）合成領域的常見內容。但是，包含線條粗細和邊緣強度（boundary intensity）等密集詳細信息的草圖很難編輯或繪製。具有梯度的二值等值線圖也可以表示圖像，但僅限於圖像編輯領域。簡而言之，上述方法所提取的內容並不足夠稀疏，也不便於控制。

近來，在圖像到圖像（I2I）轉化領域，Pix2Pix等可以從稀疏的二值邊緣圖中合成逼真圖像，並根據條件生成對抗網路（cGAN）部署循環框架。這些方法將圖像的內容和樣式解耦，以便分別提取。但是，在邊緣到圖像（edge-to-image，E2I）轉化領域，示例引導的樣式輸入無法在輸出中準確地重構高保真樣式或顏色。

上述限制因素使我們考慮如何解決更稀疏輸入和更可控樣式空間這兩者間的矛盾。本文在一定程度上受到了繪畫過程的啟發，繪畫過程又可以概括為三部分：臨摹、初始繪畫和微調。繪畫界建議有抱負的年輕畫家在初學繪畫的時候可以通過臨摹大師的畫作來加強自己的基礎技能。在繪畫初始的階段，簡單幾筆輪廓和背景填充提供了一幅圖畫基本要素和結構信息。在微調階段，隨著圖畫顏色層次感的不斷提升帶來的光影效果，整個畫作得以逐步細節化。

與這種繪畫過程類似，研究人員提出了一種通用的圖像重構方法，以便展示具有二值稀疏邊緣和平面顏色域（color domain）的細節圖像。二值邊緣和顏色域的輸入足夠稀疏和簡單，因而可以提取（圖 1（a））、可以手繪（圖 1（b））或者可以編輯（圖 1（c））。為了提高圖像樣式的可控性和可解釋性，研究人員沒有像在 I2I 轉化中那樣提取隱含的潛在樣式向量，而是輸入顏色域作為顯式的樣式特徵。具體來說，研究人員構建的基於生成對抗網路的模型也包含三個階段：模擬階段、生成階段和微調階段，三者分別對應繪畫過程的三部分內容。如圖 1 所示，在 E2I 轉化域內，模型 PI-REC 在稀疏輸入的用戶自定義樣式測試中表現良好。相較於以往的方法，模型 PI-REC 可以生成更準確的、具有顏色風格的內容細節。

論文代碼參見：https://github.com/youyuge34/PI-REC/

本文的主要貢獻如下：

提出了一種新穎的通用圖像重構架構，其中所使用的漸進式策略使模型 PI-REC 能夠從稀疏輸入重構高保真圖像。

研究人員沒有提取 I2I 轉化中常用的潛在隱式向量，而是將平面顏色域用作顯式的樣式輸入，從而提高了可控性和可解釋性。

研究人員提出了針對模型 PI-REC 的超參數混淆（HC）操作，進而獲得了顯著的手繪草圖轉化結果，希望此研究能推動自動繪畫技術的發展。

圖 1：（a）圖像重構結果。本文中的方法能夠從提取的稀疏邊緣和平面顏色域中重構逼真圖像。（b）手繪草圖轉化。本文中的方法可以在手繪草圖的基礎上合成準確和微調圖像。（c）用戶自定義 E2I 轉化。用戶可以將自定義和像素級的樣式圖像注入模型 PI-REC 中以便精準獲得期望輸出。

論文：PI-REC: Progressive Image Reconstruction Network With Edge and Color Domain

論文地址：https://arxiv.org/pdf/1903.10146.pdf

研究人員提出了一種通用的圖像重構方法以展示僅根據二值稀疏邊緣和平面顏色域重構的詳細圖像。受繪畫過程啟發，研究人員構建了基於生成對抗網路的框架，該框架由三個階段組成：旨在初始化網路的模擬階段、重構初始圖像的生成階段以及微調初始圖像以生成最終詳細輸出的微調階段。該框架允許模型根據稀疏輸入信息生成大量高頻細節。

研究人員還探討了從圖像中隱式分解樣式潛在空間的缺陷，表明模型中顯式的顏色域在可控制性和可解釋性方面表現更好。在實驗中，研究人員在重構真實圖像以及將手繪草圖轉化為令人滿意的圖像方面都取得了突出結果。此外，在邊緣到圖像（E21）的轉化任務中，研究人員構建的模型 PI-REC 成為目前定量和定性評估真實性和準確性的最佳方法。

PI-REC

本文的最終目的是僅根據二值稀疏邊緣和顏色域重構逼真的圖像。因此，研究人員提出了 PI-REC 模型架構，它由三個階段構成：模擬階段、生成階段和微調階段，這些階段都僅用一個生成器和一個判別器。在訓練期間，在同一個生成器上利用漸進策略可以減少時間成本和 RAM 內存成本。

預處理訓練數據

預處理訓練數據需要注意三個方面：邊緣、顏色域和超參數混淆。

在本文中，邊緣被視為圖像的內容。研究人員選擇 Canny 演算法來獲得粗糙但堅實的二值邊緣，這樣可以用相對稀疏的輸入增強模型的泛化能力。

用顯式的方式提取與樣式特徵對應的顏色域。研究人員使用中值濾波器演算法、K-均值演算法來獲得平均顏色域。之後再次用中值濾波器來模糊邊界線的銳度。

超參數混淆（HC）：從輸入圖像中提取邊緣或顏色域時，有些演算法需要超參數。在訓練過程中，研究人員採用了一定範圍內不同的超參數隨機值，這可以增強訓練數據，防止過擬合。同時，HC混淆還會以一定概率去除邊緣像素信息，進一步加強模型在處理手繪輸入時的泛化能力。

實驗

數據集

為了訓練模型，研究人員使用了不同類型的數據集：edges2shoes、edges2handbags、anime faces of getchu、CelebA。

控制變數研究

架構優勢。如圖 3 所示，本文的方法在重構高頻圖像方面具有優勢。具體來說，研究人員將 U 網路架構與本文的 G_1-2 架構（圖 3d/e）進行了比較。來自 BicycleGAN（pytorch 版本項目）的 U 網路生成帶有更多棋盤效應偽影的粗糙高頻細節，導致逐步提高圖像質量變得異常困難。

輸入的稀疏性。如圖 4 所示，本文的模型對一組固定的參數不太敏感，其中 C 和σ是控制稀疏性的 K 均值演算法和 Canny 演算法的超參數。和預期相一致，如果輸入的信息越詳細，那麼輸出的結果也會更好。

定性評估

手繪草圖轉化。研究人員設計了一款用來繪製草圖的繪圖軟體，它可以依次分別記錄邊緣和顏色域。此外，此外，研究人員可以方便地觀察到實時合成的草圖和輸出的轉化結果，如圖 5 和圖 1(b) 所示。補充材料中展示了該互動式軟體的 demo。一方面，邊緣在生成內容方面起著重要作用，雖然輸入信息非常稀疏，但是由於模型的優秀泛化能力，仍然可以生成各種細節，如劉海（圖 5c/d/h）、嘴（圖 5f）、頭髮（圖 5a/b/g）。另一方面，模型在高保真合成圖像的邊緣和顏色域之間進行權衡。

與基線的比較。在圖 6 中，研究人員使用數據集 edges2shoes 和 edges2handbags 定性比較了 PI-REC 和基線在 E2I 任務上的結果。結果顯示，本文的模型同時在內容和樣式重構上超過了當前最先進的方法。就內容級別而言，本文的模型生成了更準確的細節（圖 6 上半部分）。同時，此模型根據用戶指定的顏色樣式生成了更加準確的顏色，而非僅僅是根據樣例指導圖片生成粗略的顏色分布（圖6下半部分）。

定量評估

評估指標。研究人員從真實性和準確性兩方面對輸出結果進行了定量評估。在真實性方面，給定各種方法生成的圖像對，五個工作人員在沒有時間限制的情況下從中選出更逼真的圖像。此外，研究人員使用 logits 輸出的kernel-MMD和 FID 分數來定量評估輸出質量。

真實性準確率評估。如表 3 中所述，研究人員將本文的模型與 BicycleGAN 、MUNIT 進行了對比，它們分別是監督 I2I 轉化領域和無監督 I2I 轉化領域的代表性方法。為了獲得質量最好的重構結果，研究人員將真實圖像作為樣式圖像輸入 MUNIT 和 BicycleGAN。另外，為了公平比較，研究人員還將顏色域作為樣式圖像輸入其中。