大漠孤煙，長河落日：面向景深結構的風景照生成技術

機器之心專欄

上海交通大學電子工程系

作者：楊蕊

簡介

2014 年以來，生成對抗網路（Generative Adversarial Networks）已經在各式各樣的圖像生成任務中大放異彩，無論是圖像描述，圖像編輯，圖像超解析度，GAN 網路都展現了巨大潛力。然而儘管已經存在很多對於數字，人臉，動物的生成的研究，對於風景照生成的研究卻少之又少。

風景照生成的最大挑戰在於如何合理地組合不同視覺元素，如何排布不同景深的內容，例如天空經常出現在風景照的背景中，沙灘與海常常一同出現。然而，如何對處於不同位置處視覺元素的相互關係建模並指導生成過程，是一個長期以來困擾計算機視覺領域的難題。傳統的基於條件隨機場的方法，無法表徵景深方向特性。而基於 GAN 的方法，又不能顯式地對景深層次特性進行定量地建模。使用原始 GAN 生成的風景畫，如下圖所示：可以看到，原始 GAN 方法生成的圖像非常模糊，不同景深位置上的物體邊界並不清晰，景深信息丟失嚴重。

針對這個問題，最近上海交通大學電子工程系楊小康教授, 倪冰冰教授團隊的張文冬、晏軼超、徐經緯三位博士提出了一種新穎的可以保存景深信息的風景照生成網路： DSP-GAN。這個網路基於 Hawkes 點過程，將位於不同景深的層與層之間的空間依賴關係進行建模，並用子 GAN 網路生成每一層的風景元素。點過程能夠將時序上出現的不同事件之間相關性進行建模，基於這個性質，本文使用它來模擬深度方向上的構圖元素相關性。

方法

該方法構造出基於點過程的非同步圖層生成模型如上圖。在網路的頂層輸入圖片首先根據景深被分解成不同的層，每一層中的元素可以理解為在景深方向上發生的事件。然後用非同步網路衡量層與層之間的關係。在網路的底層，該演算法採用層上的層級 GAN 網路來生成保留了層關係的自然風景圖像。

在上圖中，設定天空為初始深度 t0 上的標籤，即以天空作為背景，然後隨機選取另外兩個深度位置 t1 和 t2 並計算不同類別元素出現的概率，最終概率最大的元素將被選中作為輸出。得到的景深位置和相應的類別信息會指導整幅圖像的生成。

在模型訓練階段，首先將訓練集中的風景圖分割成位於不同景深位置上的圖層，每個圖層對應一個標籤和相對景深，將圖層看作處於景深方向上的非同步事件，這樣圖層間的關係就能使用 Hawkes 過程進行建模。更詳細地講，Hawkes 過程中被優化的是強度函數，這一函數刻畫了不同類事件對其他類事件的影響程度。在描述層間模塊時，所採取的 log-likehood function 可以表示為：

其中 A 表示激勵矩陣，μ表示基礎強度，λ表示條件強度函數。要極大化這個方程得到 A 和 u，這樣就刻畫了 Hawkes 過程。

訓練好 Hawkes 過程之後，系統給出起始層的標籤（例如：全部選為天空），然後隨機選擇兩個景深位置根據強度函數計算不同類別事件發生的概率，從而得到標籤信息，這樣就得到了若干個不同景深位置和標籤的信息，以此作為風景圖生成的條件。其次，將標籤和景深信息按次序依次輸入到長短記憶網路 LSTM 中，每個時間戳（timestamp）的輸出作為子 GAN 網路的輸入，實現對每一圖層的生成，最後將三個子 GAN 生成的圖層進行疊加得到最終的風景圖。加入 LSTM 的目的在於，在生成後一個圖層時，生成器可以接收前一圖層的相關信息，從而能夠充分利用圖層間的上下文關係，優化得到最終的生成結果。

實驗結果

在該工作中，人工將 800 張左右了 SUN2012 數據集的部分圖片進行分層標註，共有 13 種不同的標籤。最終演算法的生成結果示例如下：

括弧中的數字表示景深，前三行表示不同的深度上的元素，最後一行表示完整圖片。

可以發現，DSP-GAN 網路生成的風景照在層次上非常自然，有效的展示了大自然遠近不同，多變而又遼闊的美。當然，在一些例子上，所生成的風景畫也並不完美，圖像的大小也比較有限。大漠孤煙，長河落日，探究風景照生成技術的道路也將任重道遠。

該工作已在最近發表於 Arxiv.org 上。

論文鏈接: https://arxiv.org/abs/1706.00212

三位博士的郵箱為：張文冬 diergent@sjtu.edu.cn； 徐經緯 xjwxjw@sjtu.edu.cn；晏軼超 yanyichao@sjtu.edu.cn；上海交通大學圖像通信所人工智慧實驗室，由長江學者楊小康教授領銜，青年千人倪冰冰教授指導。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！