伯克利最新研究：GANs在字體風格遷移上的應用

雷鋒網AI科技評論按：怎樣能快速生成風格相同的字體呢？伯克利AI研究院最新發表的一篇博客告訴你他們最新的研究。以下是雷鋒網AI科技評論對原博文的編譯。

左：給出的電影海報，右：由MC-GAN生成的新電影片名

文字是平面設計中很突出的視覺元素。藝術家投入大量時間來設計不同的字形，使得它與其他元素在形狀和紋理上相協調。這個過程是需要大量勞動力的，藝術家通常只設計標題或注釋所需的字形子集，這使得設計一旦完成後，要想將觀察到的字體形式遷移到自己的項目中或改變文本變得很困難。

字形合成的早期研究主要集中在輪廓的幾何建模上，限於特定的字形拓撲（例如，不能應用於裝飾性文字或手寫字形），不能用於圖像輸入。隨著深度神經網路的興起，研究人員已經研究了從圖像中建模字形的方法。此外，與局部觀察一致的人工合成數據是計算機視覺和圖形中的一個有趣問題，例如多視圖圖像生成，完成圖像中的缺失區域以及生成 3D 形狀。字體數據就是一個提供了純凈的風格和內容的因式分解示例。

有條件生成對抗網路（cGANS）[1] 的最新進展在許多生成應用中取得了成功。但是，它們只在相當專業化的領域才能做到最好，而在一般的或多領域的風格轉移中表現的一般。同樣，直接用於生成字體時，cGAN 模型會產生重要的人為因素。例如，鑒於以下五個字母：

有條件生成對抗網路模型在生成具有相同樣式的 26 個字母中表現的並不成功：

適用於少數字體樣式轉換的多內容生成對抗網路

我們沒有為所有可能的字體訓練單一網路，而是設計了多內容的 GAN 體系結構 [2]，為每個觀察到的字符集重新定製了一個神奇網路（只有少數觀察到的字型）。該模型考慮沿著網路層的頻道和風格（即字形裝飾）的內容（即，A-Z 字形）將給定的字形的風格轉移到未看到的字形的內容。多內容的 GAN 模型由一個堆疊的 cGAN 架構組成，用於預測粗略的字形形狀，以及一個裝飾網路來預測最終字形的顏色和紋理。第一個稱為 GlyphNet 的網路預測了字形蒙版，而第二個網路稱為 OrnaNet，用於對來自第一個網路的生成的字形進行顏色和裝飾。每個子網路都遵循有條件的生成對抗網路（cGAN）體系結構，該體系結構因其特有的雕刻字形或裝飾預測目的而修改。

網路架構

下面是 GlyphNet 的示意圖，用於從一組訓練字體中學習字體流形的一般形狀。GlyphNet 的輸入和輸出是為每個字母分配通道的字形堆棧。在每次訓練迭代中，x1 包含隨機選擇的 y1 個字形子集，其餘輸入通道被清零。

通過這種新穎的字形堆棧設計，不同字形之間的相互關係可通過網路渠道獲知，以便自動傳輸其樣式。以下圖表通過結構相似性（SSIM）度量對隨機設置的 1500 個字體示例的這種相關性進行表示。計算每個生成的字形與其基本事實之間的結構相似性時，一次只觀察一個字母就可以找到 25 個分布。這些圖顯示了當字母β被觀察到時（藍色）與其他字母而不是β被給出（紅色）時生成字母α的分布α|β。圖中顯示了兩個信息最豐富的給定字母的分布和兩個最不明顯的信息，分別用於生成 26 個字母。例如，查看圖中的第五行，字母 F 和 B 在生成字母 E 時最有建設性，與其他字母相比較，而 I 和 W 是信息量最少的字母。作為其他例子，O 和 C 是用於構造 G 以及用於生成 P 的 R 和 B 的最具指導性的字母。

因此，對於只有少數觀察字母的任何想要的字體，預先訓練的 GlyphNet 會生成全部 26 個 A-Z 字形。但我們應該如何轉移裝飾？第二個網路 OrnaNet 採用這些生成的字形，並在經過簡單的重塑轉換和下圖中用 T 表示的灰度信道重複後，使用條件 GAN 體系結構生成富含希望顏色和裝飾的輸出。OrnaNet 的輸入和輸出是批量的 RGB 圖像，而不是堆棧，其中每個字母的 RGB 通道作為圖像重複其由 GlyphNet 生成的相應灰度字形。OrnaNet 中的多個正規化處理程式化字母的掩碼與相應字形的偏差。

結果

下面，我們演示使用單個詞中給出的字體樣式的示例句子。

GIF

另外，這裡是OrnaNet預測的逐步改進：

參考文獻

[1] Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A. Efros. "Image-to-Image Translation with Conditional Adversarial Networks." CVPR 2017.

[2] Samaneh Azadi, Matthew Fisher, Vladimir Kim, Zhaowen Wang, Eli Shechtman, and Trevor Darrell. "Multi-Content GAN for Few-Shot Font Style Transfer." CVPR 2018.

雷鋒網報道

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！