風格遷移新方法：微軟與上海交大提出深度圖像類比技術

選自arXiv.org

作者：廖菁等

機器之心編譯

參與：李澤南

近年來，科學家們已經開發出了多種圖像內容轉換工具，其中包括顏色轉換、紋理轉換和風格轉換。最近這一領域的研究集中於深度卷積神經網路，除康奈爾大學和 Adobe 的真實照片風格轉換以外，UC Berkeley 推出的手繪紋理生成模型也引起了很多人的關注。它們隨著社交媒體的發展而變得廣為人們所知——因為圖片分享是互動的重要組成部分。Prisma 和 Facetune 等應用就成功利用了這種吸引力。

來自微軟和上海交大的廖菁等人最近推出了又一種圖像風格轉換方法。據研究者稱，這種名為 Deep Image Analogy 的技術相比最近的其他研究可以得到更好的風格遷移效果，並適用於多種不同的圖像轉換任務。

摘要

我們提出了一種在圖片中進行視覺風格轉移的新技術，可以讓圖片進行外觀上的轉換，但保留感知上相似的紋理結構。我們的技術可以在兩個輸入圖像之間找到有意義的對應關係。為了實現這點，它使用「圖像類比」方式用深度卷積神經網路進行對比；我們把這一新技術稱為 Deep Image Analogy。它使用粗化-精細的策略來計算生成結果的鄰域紋理。我們在各種任務中驗證了新方法的有效性，包含風格/紋理轉換、顏色/風格對換、素描/繪畫到照片的轉換和不同時間的光照條件轉換。

圖 1. 新技術可以在兩張圖片（A 和 B"）之間建立起語義有意義的對應關係，A"和 B 是風格轉換後輸出的結果

這項新技術在輸入圖像之間建立起了有意義的予以對應關係，從而讓有效的視覺轉換成為可能。研究者在論文中稱，該研究的主要貢獻在於：

1. 提出了「深度圖像類比」方法，並證明了新方法在不同圖像類別任務的處理中是有效的。

2. 將 PatchMatch 和重建從圖像域延展到了特徵域，後者可以引導語義上有意義視覺風格轉換。

圖 2. 該方法將相對困難的 A→B0（紅色）映射分解為兩個相對簡單的映射：A→A"和 A"→ B。

圖 3. 輸入圖 A（或 B"）在 CNN 中每層的抽象程度。在這裡，每一層的圖像過濾都做了可視化。

圖 4. 系統處理過程

圖 8. 神經網路中每一層 NNF 的可視化（第一行），NNF 重建結果（中間行）以及獨立層 NNF 重建結果（第三行）。

Deep Image Analogy 演算法

圖 11. 對比不同對應密度的方法。

圖 14. 對比其他基於神經網路的方法與應用（包括 Prisma）

圖 21. 該方法與其他目前表現最佳的圖像風格轉換的處理結果對比，其中包括康奈爾大學和 Adobe 最近的研究。左側小圖為輸入圖像和參考圖像。

通過調整圖像深層空間中的類比概念，研究人員發現了語義上的密集對照關係。Deep Image Analogy 在光照、顏色、紋理和風格的表現上都優於此前推出的其他方法。該方法在真實世界照片的風格轉換任務中展現了廣泛的適用性。在 Adobe 之後，微軟和上海交通大學將圖像風格轉換又向前推進了一步。