一起來塗鴉吧！用風格遷移把iPhoneX的照片變成藝術畫

本文為雷鋒字幕組編譯的技術博客，原標題Creating Intricate Art with Neural Style Transfer，作者為Kalai Ramea。

翻譯 | 陳俊雅 校對 | 凡江

自從Gatys發表了神經風格遷移演算法，我們見證了海量的圖片搖身一變成了藝術品。

演算法用了一個前饋網路把給定圖片的風格輸入網路。我們還看到了超厲害的「非藝術氣質的風格遷移演算法」，「非藝術畫」或者日常用品都可以鋪開來構成風格圖片來創造藝術。後來這個領域有了進展，由Johnson等人發展出了一個快速風格遷移方法。這個方法就為手機應用市場鋪平了道路，其中一個著名的就是Prisma，用戶可以在幾秒內把手機拍攝的照片打造成藝術作品。

然而，利用這個演算法生成的大部分藝術品主要內容是來自於內容圖片。

這篇文章介紹了一種新穎的方式：以輪廓剪影為內容，以塗鴉風格來生產（設計）複雜藝術。

三大最流行的 AI 文章

從感知器到深度神經網路（https://becominghuman.ai/from-perceptron-to-deep-neural-nets-504b8ff616e）

用來解微分方程的神經網路（https://becominghuman.ai/neural-networks-for-solving-differential-equations-fa230ac5e04c）

把你的樹莓派打造成私家Google Home（https://becominghuman.ai/turn-your-raspberry-pi-into-homemade-google-home-9e29ad220075）

繁複畫作思想的起源

我是一個手繪「禪繞畫」藝術家的超級粉絲。這種藝術品把複雜的圖案或者塗鴉鑲嵌進長方形或任何其他形狀，看起來繁複而優美。

手繪禪繞畫

它們最近用於中年少男少女的塗色繪本。可以想見，繪製這類藝術品需要很好的耐心。

缺乏耐心的那種人（包括我）仍然希望能夠繪製一些複雜的藝術大作，那麼我們就需要藉助深度學習來拯救自己尚未泯滅的童心了。

複雜風格遷移的框架

這個框架是在Gatys的風格遷移演算法為基礎做一些小改動。我們的做法是，內容圖片是一張剪影，風格圖片可以是任何圖案（從簡單的黑白塗鴉到更複雜的色彩鑲嵌）。這段代碼包含了轉換圖案和創建基於內容圖片的掩模，它們最終都會被用到生成圖案中。

這個應用的權重是來源於預訓練網路（VGGNET）。前面的特徵層視為圖片風格服務的，後面的特徵層視為內容圖片服務的。Gram陣度量了風格損失和內容損失，每次迭代需要極小化這個聯合損失。

複雜藝術的神經風格遷移框架

生成了融合的圖片以後利用掩模遷移並保存為輸出。這個代碼用以tensorflow為後端的keras編寫的。詳細代碼可以點擊這裡的Github鏈接查看（https://github.com/PARC/intricate-art-neural-transfer）。

按照機器學習的實際應用的傳統，演算法一開始放在一隻貓的剪影上進行了測試。

由貓剪影生成的複雜藝術品

不算太差吧。這幅畫的風格來自於一組簡單的塗鴉堆積在一起。

我們來嘗試一下更複雜的色彩圖案作為風格輸入吧！這些大概需要100到250次迭代。如果迭代次數不夠多，輸出圖片就會還留有一部分的剪影黑底。

輸入風格（左）與生成的藝術品（右）

我們把給定的幾何圖案作為風格輸入，就生成了極其有趣的，彩色玻璃效果的藝術品。

幾何圖案藝術品作為風格（左）與生成的藝術品（右）

這個代碼還可以選擇指定背景圖片或背景色彩。

由文字剪影生成的藝術品

圖案已經用光了？拍一張外婆被子的照片吧！

被子圖案（左）與Darth Vader被子藝術（右）

現在Darth Vader和你外婆有的好聊啦～

為什麼用剪影

為什麼我們偏要來生成剪影輪廓？不能直接從已有的圖案上面摳圖么？或者就用白雜訊來生成一種新的圖案然後摳圖安到任何圖形上不好么？為什麼偏偏想不開要用剪影呢？

把剪影用作內容圖片當然有它的好處。以樓下三個生成的藝術作品為例。(X) 就是從原始圖案直接摳圖到舞者形狀里的。(Y)是由白噪音加到內容圖片上生成圖案，然後摳圖到舞者形狀上，構成了最後的圖片。(Z)是把剪影作為內容然後用掩模遷移來剪出最後的圖片的。

前面兩個圖片(X)和(Y)，我們看到圖案（不管是不是生成的）都不能填充滿整個舞者。(Y)我們雖然有了新的圖案，但和形狀配不起來。然而(Z)看起來圖案放在這個圖形里宛如天生般的適合。

沿著邊邊卡準的圖案（左）和沿著邊邊的被子針腳（右）

用被子圖案生成的藝術品(見上方的Darth Vader)有著沿著邊邊的針腳，就好像布特地剪切好做出來的！用白雜訊和內容圖片生成圖案或者直接從圖案上剪切下來的時候就不會產生這樣的情形。

另外，剪影不一定要全部都是黑色的。其實各種顏色就像種子(生成隨機數的種子)一樣可以生成不同種類的藝術品。我們想要把哪種顏色作為主色來選擇剪影顏色（注意：黑色就像一個分界顏色——它是中性的）。

由同一風格生成的不同剪影的藝術品

應用

任何圖案設計（例如:logo, 符號, 海報）

客戶服裝設計（有自己個性的或者印有自己喜歡的名言的Ｔ恤，或者設計一件抽象款的衣服）

印刷設計（就把圖案塞到文字輪廓里）

設計塗色繪本

注意

本項工作原為Self-Organizing Conference on Machine Learning, 2017的海報。

參考文獻

Leon A. Gatys, Alexander S. Ecker, Matthias Bethge. A Neural Algorithm of Artistic Style. 2015. https://arxiv.org/abs/1508.06576

Roman Novak and Yaroslav Nikulin. Improving the Neural Algorithm of Artistic Style. 2016. https://arxiv.org/abs/1605.04603

Some of the code is developed based on Somshubra Majumdar』s implementation of neural style transfer: https://github.com/titu1994/Neural-Style-Transfer

鳴謝

本項工作的完成離不開Palo Alto Research Center為我們提供的GPU，和 PARC研究員為我們提供寶貴的意見。

博客原址 https://becominghuman.ai/creating-intricate-art-with-neural-style-transfer-e5fee5f89481

更多文章，關注雷鋒網(公眾號：雷鋒網)，添加雷鋒字幕組微信號（leiphonefansub）為好友

備註「我要加入」，To be a AI Volunteer ！

春節 AI 學習狂歡，精品課程 豪華特輯

優惠折上折，福利搶不停！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！