CVPR 2018｜Poster論文：處理多種退化類型的卷積超解析度

本文介紹了 CVPR 2018 的一篇 Poster 論文《Learning a Single Convolutional Super-Resolution Network for Multiple Degradations》。

論文地址：http://www4.comp.polyu.edu.hk/~cslzhang/paper/CVPR18_SRMD.pdf

1． 摘要

近年來，深度卷積神經網路（CNN）方法在單幅圖像超解析度（SISR）領域取得了非常大的進展。然而現有基於 CNN 的 SISR 方法主要假設低解析度（LR）圖像由高解析度（HR）圖像經過雙三次 (bicubic) 降採樣得到，因此當真實圖像的退化過程不遵循該假設時，其超分辨結果會非常差。此外，現有的方法不能擴展到用單一模型解決多種不同的圖像退化類型。為此，提出了一種維度拉伸策略使得單個卷積超解析度網路能夠將 SISR 退化過程的兩個關鍵因素（即模糊核和雜訊水平）作為網路輸入。歸因於此，訓練得到超分辨網路模型可以處理多個甚至是退化空間不均勻的退化類型。實驗結果表明提出的卷積超解析度網路可以快速、有效的處理多種圖像退化類型，為 SISR 實際應用提供了一種高效、可擴展的解決方案。

2．引言

單幅圖像超解析度（SISR）的目的是根據單幅低分辨（LR）圖像輸入得到清晰的高解析度（HR）圖像。一般來說，LR 圖像 y 是清晰 HR 圖像 x 由下面的退化過程得來，

。

其中

表示 HR 清晰圖像 x 與模糊核 k 之間的卷積，

表示係數為 s 的降採樣運算元，n 表示標準差（雜訊水平）為

的加性高斯白雜訊（AWGN）。

SISR 方法主要分為三類：基於插值的方法、基於模型的方法以及基於判別學習的方法。基於插值的方法（例如：最近鄰插值、雙三次插值）雖然速度快，但是其效果比較差。基於模型的方法通過引入圖像先驗，例如：非局部相似性先驗、去噪先驗等，然後求解目標函數得到視覺質量較好的 HR 圖像，然而速度較慢。雖然結合基於 CNN 的去噪先驗可以在某種程度上提升速度，但仍然受限於一些弊端，例如：無法進行端對端的訓練，包含一些比較難調的參數等。基於判別學習的方法尤其是基於 CNN 的方法因其速度快、可以端對端的學習因而效果好等在近幾年受到了廣泛關注，並且逐漸成為解決 SISR 的主流方法。

自從首個用 CNN 解決 SISR 的工作 SRCNN 在 ECCV（2014）發表以來，各種不同的改進方法相繼提出。例如，VDSR 在 PSNR 指標上取得了非常大的提升；ESPCN 和 FSRCNN 分別在速度上進行了改進；SRGAN 在放大倍數較大情況下針對視覺效果的改善提出了有效的方法。然而這些方法都存在一個共同缺點，也就是它們只考慮雙三次 (bicubic) 降採樣退化模型並且不能靈活的將其模型擴展到同時（非盲）處理其它退化類型。由於真實圖像的退化過程多種多樣，因而此類方法的有效實際應用場景非常有限。一些 SISR 工作已經指出圖像退化過程中的模糊核的準確性對 SISR 起著至關重要的作用，然而並沒有基於 CNN 的相關工作將模糊核等因素考慮在內。為此引出本文主要解決的問題：是否可以設計一個非盲超解析度（non-blind SISR）模型用以解決不同的圖像退化類型？

3．方法

本文首先分析了在最大後驗（MAP）框架下的 SISR 方法，藉此希望可以指導 CNN 網路結構的設計。由於 SISR 問題的不適定性，通常需要引入正則項來約束解空間。具體來說，LR 圖像 y 對應的 HR 圖像 x 可以通過求解下述問題近似，

其中為似然（也即數據保真）項，為先驗（也即正則）項，為似然項和先驗項之間的權衡參數。簡單來說，上述公式包含兩點：1）估計得到的 HR 圖像不僅要符合 SISR 的退化過程，並且還要滿足清晰圖像所具有的先驗特徵；2）對於非盲超解析度問題，x 的求解與 LR 圖像 y、模糊核 k、雜訊水平以及權衡參數有關。簡而言之，非盲 SISR 的 MAP 估計可以表示為，其中為 MAP 估計中的參數。進而如果將 CNN 看作 MAP 估計另一種形式的解，那麼有如下結論：

1) 由於數據保真項對應著 SISR 的退化過程，因此退化過程的準確建模對 SISR 的結果起著至關重要的作用。然而現有的基於 CNN 的方法其目標是求解下面的問題,

。由於沒有將模糊核和雜訊等因素考慮在內，因此其實用性非常有限。

2) 為了設計更加有效的基於 CNN 的 SISR 模型，應該將更多的圖像退化類型考慮在內，一個簡單的思路就是將模糊核 k 和雜訊水平

也作為網路的輸入。由於權衡參數

可以融入雜訊水平

之中，因此 CNN 映射函數可以簡化成如下形式：

3) 由於 MAP 估計中大部分的參數都對應著圖像先驗部分，而圖像先驗是與圖像退化過程不相關的，因此單一的 CNN 模型具有處理不同退化類型的建模能力。

通過上述分析可以得出非盲 SISR 應該將退化模型中的模糊核和雜訊水平也作為網路的輸入。然而 LR 圖像、模糊核和雜訊水平三者的維度是不同的，因此不能直接作為 CNN 的輸入。為此本文提出了一種維度拉伸策略。假設 LR 圖像大小為

，首先將向量化的模糊核 PCA 降維，然後和雜訊水平並在一起得到一個t+1維的向量 v，接著將v拉伸為

維的張量，我們將此張量稱之為退化圖（Degradation Maps），其中第i個圖的所有

元素均為

。

圖 1：維度拉伸示意圖。

至此，我們可以將退化圖和 LR 圖像合併在一起作為 CNN 的輸入。為了證明此策略的有效性，選取了快速有效的 ESPCN 超分辨網路結構框架。值得注意的是為了加速訓練過程的收斂速度，同時考慮到 LR 圖像中包含高斯雜訊，因此網路中加入了 Batch Normalization 層。

圖 2 給出了提出的超解析度網路（簡稱 SRMD）結構框架。

圖 2：提出的超解析度網路結構框架（卷積層數為 12，每層通道數為 128）。

4．實驗

在訓練階段，SRMD 採用了各向同性和各向異性的高斯模糊核、雜訊水平在 [0, 75] 之間的高斯白雜訊以及 bicubic 降採樣運算元。需要指出的是 SRMD 可以擴展到其它降採樣運算元，甚至其它退化模型。

在測試階段，SRMD 比較了不同方法在同為 bicubic 降採樣退化下的 PSNR 和 SSIM 結果（如表 1 所示）。可以看出雖然 SRMD 是用來處理各種不同的退化類型，但是仍然在 bicubic 降採樣退化下取得不錯的效果。需要指出的是 SRMD 在速度上也有很大的優勢，在 Titan Xp GPU 上處理 512 × 512 的 LR 圖像僅需 0.084 秒，是 VDSR 超解析度兩倍所用時間的一半。表 2 給出了不同退化類型下的 PSNR 和 SSIM 結果比較，可以看到 SRMD 同樣取得了不錯的效果。圖 4 舉例說明了 SRMD 可以設定非均勻退化圖，進而可以處理退化空間不均勻的 LR 圖像。最後，圖 5 展示了不同方法在真實圖像上的視覺效果比較，可以看到 SRMD 復原的 HR 圖像在視覺效果上明顯優於其它方法。

表 1：不同方法在 bicubic 降採樣退化下的 PSNR 和 SSIM 結果比較（其中 SRMDNF 表示不考慮雜訊情況下訓練得到的模型）。

圖 3：不同方法在 bicubic 降採樣退化下超解析度四倍的視覺效果比較。

表 2：不同方法在不同退化類型下的 PSNR 和 SSIM 結果比較。

圖 4：舉例說明 SRMD 可以處理退化空間不均勻的情形。（a）雜訊水平以及模糊核寬度的空間分布；（b）LR 圖像（最近鄰插值放大）；（c）復原得到的 HR 圖像（放大兩倍）。

圖 5：不同方法在 SISR 經典測試圖像「Chip」上超解析度四倍的視覺效果比較。

5．結論

最後總結一下，本文的主要貢獻有三個方面：

• 提出了一種簡單、有效、可擴展的超解析度模型，其不僅可以處理 bicubic 降採樣退化模型，並且可以處理多個甚至是退化空間不均勻的退化類型，為 SISR 實際應用提供了一種解決方案。

• 提出了一種簡單有效的維度拉伸策略使得卷積神經網路可以處理維度不同的輸入，此策略可以擴展到其他應用。

• 通過實驗展示了用合成圖像訓練得到的超分辨網路模型可以有效的處理真實圖像複雜的退化類型。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！