解讀｜藝術家如何藉助神經網路進行創作？

機器之心原創

作者：Liao

參與：王灝、吳沁桐

1. 藝術家如何理解神經網路？

David Aslan 是一個傳統油畫家，但他同時也對與藝術相關的科學技術有著濃厚的興趣。他想要通過撰寫這篇博客來分享他使用神經網路創作藝術作品的經驗與知識，從而幫助其他的藝術家也能理解神經網路，甚至讓他們也能在日後的工作里找到更有趣更炫酷的方式來實現並呈現他們的作品。

David 把神經網路看成一種用來解決問題的運算工具，不過，它和傳統的計算工具還是有很大區別的。他認為神經網路把一堆數據當作輸入來進行處理，但是卻輸出並不是太相關的結果。但是，神經網路卻可以從這些錯誤中進行學習，直到它達到一種平衡以至於得到一個近似「正確」的結果。David 打了一個比方來解釋這一處理過程：

你扔進了一堆數據，你得到了一堆垃圾；你告訴計算機輸出的結果是過熱還是過冷，然後計算機再進行下一次嘗試。

2. 藝術家如何通過神經網路創作藝術作品？

和那些希望通過神經網路直接產生出藝術作品的計算機科學家不同，David 卻是把神經網路當作一種創作藝術的工具。

他使用「Deep Style」將原始的照片或者繪畫作品轉化成擁有其他藝術風格的圖像。基於這些通過神經網路轉換出來的圖像，他再利用 Photoshop 來修改並完善圖像中的細節。

具體來說，他的工作流程是這個樣子：

1. 準備好一張打算轉換的圖像（被稱作「內容圖像」，content image）和若干張風格圖像（用於提取圖像中的藝術風格，style image）。

2. 通過 Deep Style，他可以獲得若干張轉換好的，擁有不同的藝術風格，但是內容一致的輸出圖像（被稱作「風格化圖像」）。

3. 將這些風格化圖像通過圖層功能堆疊在原始的內容圖像之上，最後再在 Photoshop 里用蒙版功能有選擇性地保留或刪去風格化圖像的部分內容。

4. 最後再添加一個圖層用於完善細節以及將上述步驟中最終保留下來的擁有不同風格的部分混合在一張圖像里。

他將第三步和第四步統稱為「混合神經技術」（Fusion Neural Technique），這也是他整個處理流程里的亮點。以下的這張動圖則粗略地展示了他的處理過程。

3. 實驗中的關鍵點

神經網路和 Photoshop 中傳統濾鏡功能的區別

David 發現 Photoshop 中的藝術濾鏡功能並不能識別出輸入圖像里的物體，因此這些濾鏡只是對每一個像素都做了同一個簡單運算。這種情況下，輸入圖像就失去了自己的「特異性」。與之相反，神經網路不僅能夠識別出圖像中的物體，也就是圖像的內容，同時還可以鑒別出圖像的紋理特徵，從而使最終的輸出結果更加真實。

「混合神經技術」的作用

合成圖像通常有著模糊的邊界以及相對來說較低的解析度。因此，人為增加的混合圖層可以補償一些由於神經網路處理而導致的信息或解析度的損失，從而使最終的輸出結果有著更加銳利的邊緣以及更高的解析度。這一部分的處理過程正是藝術家的」再創作「，也正如他所說，他將神經網路看成創作的工具之一。

David 對神經網路和藝術的一些獨到觀點

藝術與科技的關係：他認為藝術的發展和技術的發展是密不可分的。打比方來說，「印象派」的出現正源自於光學領域的科學發現；具備電子放大器的樂器則為我們帶來了搖滾樂。因此，從這個角度來說，神經網路也可以當成藝術創作的一種工具。

4. 他的藝術工作背後的技術細節

在這篇博客里，David 使用 Deep Style 來創作藝術作品。其中，Deep Style 則是基於《A Neural Algorithm of Artistic Style》這篇論文的一個具體實現。

這篇論文使用 VGG-Net 來分別從內容圖像和風格圖像中提取內容信息和風格信息，然後再分別計算它們和隨機噪音圖像之間的損失。通過反向傳播演算法，隨機噪音圖像最終可以被轉換成擁有給定圖像內容，但擁有另外的藝術風格的圖像。

以下插圖展示了這個網路的概覽：

將內容圖像和生成圖像分別記為vec{p} 和 vec{x}，而它們對應在 l 層的特徵表達分別記為 P^l 和 F^l。那麼內容損失則可以定義成以下式子：

該式相關的偏導數記為：

通過使用反向傳播演算法，初始的隨機輸入圖像 vec{x} 能夠不斷改變直到它的特徵表達非常接近 P^l，也就意味著內容被重構出來了。

這篇論文同樣定義了一副圖像的「風格」。G^l 是 Gram 矩陣用來表示 l 層的風格特徵表達。該矩陣的每個元素可以通過以下式子計算得到：

風格圖像和生成圖像分別記為 vec{a} 和 vec{x}，A^l 和 G^l 分別是它們的特徵表達。這樣一來，風格損失則可以定義成：

這裡，N_I 是 l 層的濾波器的個數。它的偏導數可以通過以下式子計算：

結合內容損失和風格損失，我們可以得到最終的目標優化函數：

通過優化該式子，就可以生成目標圖像 vec{x}。最終目標圖像不僅擁有內容圖像的內容，同時還擁有給定的風格，如下圖所示：

5. 一些其他的思考

顯然，藝術家更願意將神經網路看成「繪畫」的工具。與之相反的是，計算機科學家則致力於設計能夠真正自己「創造」藝術的神經網路。我認為就目前在該領域的研究成果來說，神經網路更適合成為一種「創作工具」而不是「創作者」。因為目前的神經網路或多或少都是基於概率模型設計的，也就是說，這些網路都是在給定條件下，通過輸入的數據來預測一個輸出結果。

不能否認，人也是從過往的經驗里來學習新的知識與能力，正如機器學習中的「監督學習」。但是人學習的這一過程則要複雜得多。對前文提到的神經網路來說，訓練集僅僅只是「真實的照片」和「繪畫作品」，我們希望從中能夠找到某種能夠將它們兩者聯繫起來的映射關係。然而，除了基於實實在在的場景（也就是所謂「真實的照片」）以外，藝術家更會結合自己的個人體驗與經驗來進行創作——這些個人的體驗與經驗是極難被量化成計算機所能理解的數據。

這篇博客同時也從藝術家的角度提供了一些很有趣的觀點。在藝術家眼中，自然圖像（也就是真實的場景）中的噪音要遠比圖畫這類藝術作品中的噪音多。這一觀點其實是和部分計算機科學家的理解相悖的，比如論文《ArtGAN-Artwork Synthesis with Conditional Categorical GANs》。

博客作者也指出目前這種生成類的神經網路存在的一個問題是：生成的圖像通常會有很模糊的邊緣。因此他不得不使用「混合神經技術」在 Photoshop 中來手動銳化這些邊緣。的確，這種附帶的模糊效果是很難在這一類神經網路中避免的。對此，論文《Face Aging with Conditional Generative Adversarial Networks》的作者提出可以使用一個訓練好的用於識別的神經網路來分別提取原圖和生成圖像的深層次特徵，然後計算二者的 L2 損失來進行優化，從而減弱邊緣模糊的效應。儘管如此，這也僅僅只能「改善」輸出結果而非徹底解決這一問題。