NTIRE奪冠論文：用於單一圖像超解析度的增強型深度殘差網路

知識 07-18

選自SNU

作者：Bee Lim等

參與：Smith

圖像超解析度（SR）問題，尤其是單一圖像超解析度（SISR）問題，在近幾十年中已經受到了廣泛的研究關注。SISR 問題旨在從一個單一低解析度圖像中重構出一個高解析度圖像。通常情況下，低解析度圖像和原始的高解析度圖像可根據情境而產生變化。很多研究都假設低解析度圖像是高解析度圖像的降採樣結果。最近，深度神經網路在 SR 問題中的峰值信噪比（PSNR）方面帶來了很大的性能提升。然而，這種網路也在結構最優化原則（architecture optimality）中暴露了其局限性。

摘要：近期關於超解析度（super-resolution）的研究已經隨著深度卷積神經網路（DCNN）的發展而進步了。殘差學習的方法（residual learning ）尤其能展現出其性能表現的提升。在本篇論文中，我們研發了一種增強型深度超解析度網路（enhanced deep super-resolution network —— EDSR），其性能表現超越了那些當前最新型的 SR 方法。我們的模型之所以有顯著的性能提升是因為我們在優化時去除了傳統殘差網路中的不必要模塊。另一個原因就是，在使訓練過程保持穩定的情況下，我們擴展了模型的規模。我們也提出了一種新型的多尺度深度超解析度系統（multi-scale deep super-resolution system —— MDSR）和訓練方法，它可以在一個單一模型中，對升規模因子（upscaling factors）不同的超解析度圖像進行重構。這種方法在基準數據集中展現了超過當前一流方法的優越性能，並且通過贏得 NTIRE2017 超解析度挑戰賽證明了它的卓越性。

圖 1：我們的單尺度 SR 方法（EDSR）與其它演算法的 ×4 超解析度結果的對比情況。

圖 2 ：原始 ResNet、SRResNet、和我們的殘差模塊的對比。

我們對比了每個網路模型（原始 ResNet、SRResNet、和我們提出的網路）的基礎模塊。我們在我們的網路中去除了批歸一化（batch normalization）層（Nah et al. 在他們的圖像去模糊相關工作中提出的方法）。由於批歸一化層使特徵標準化，同時它們也去除了網路中的範圍柔性（range flexibility），所以最好去除這些批歸一化層。這一簡單的修改可以大幅增加性能表現。

再者，GPU 的內存使用率也會顯著減少（因為批歸一化層會消耗與之前卷積層等量的內存）。

與 SRResNet 相比，我們沒有批歸一化層的基準模型，在訓練過程當中大概減少了 40% 的內存使用率。因此，我們就可以創建一個更大型的模型，它在計算資源有限的情況下比傳統 ResNet 有著更好的性能表現。

圖 3：單尺度網路（single-scale SR network —— EDSR）結構。

我們用我們提出的圖 2 中的殘差模塊構造了基準（單尺度 —— single-scale）模型。其結構類似於 SRResNet ，但是我們的模型在殘差模塊之外並沒有設置 ReLU 激活層。而且，我們的基準模型也沒有殘差縮放層（residual scaling layers），因為我們僅僅為每一個卷積層使用了64維的特徵映射。在我們最終的單尺度模型（single-scale model —— EDSR）中，我們通過設置 B = 32 ，F= 256，比例因數（scaling factor ）為 0.1 對基準模型進行了擴展。模型結構如圖 3 所示。

當在升採樣因子（upsampling factor）為 ×3 和 ×4 的時候，我們用預訓練的 ×2 網路初始化了模型參數。這一預訓練方法加速了訓練進程，也提升了最終的性能表現，詳見圖 4 。對於升採樣 ×4 的情況，如果我們使用了一個預訓練的 scale×2 模型（藍線），訓練就會比隨機初始化的訓練（綠線）收斂的更快。

圖 4：在 ×4 模型（EDSR）中使用預訓練 ×2 網路的結果。紅線表示綠線的最優性能。使用 10 張圖片用於在訓練過程中進行驗證。

從圖 4 中的觀察結果我們得出結論，多尺度情況下的超解析度是具有相互關聯性的任務。我們利用 VDSR 的尺度間相關性創建了多尺度結構，從而進一步探索了這個想法。我們設計了帶有一個單一主分支的基準（多尺度 —— multi-scale）模塊，含有 B = 16 的殘差模塊，所以大部分參數都可以在不同尺度間進行共享，如圖 5 所示。

在我們的多尺度結構中，我們引入了尺度特定（scale-specific）的處理模塊，以在多尺度下控制超解析度。首先，預處理模塊被置於網路的前端，以減少不同尺度的輸入圖像的變化幅度，每一個預處理模塊包括兩個 5×5 內核（kernels）的殘值區塊（residual blocks ）。通過在預處理模塊中採用較大的內核，我們可以使尺度特定的部分保持淺層（shallow）狀態，在網路的早期階段可以覆蓋較大的接受域（receptive field）。

在模型的末端，尺度特定的升採樣模塊被並行放置，以進行多尺度重構。其升採樣（upsampling）模塊與單尺度模型中的情況相類似。