兩種方法解決圖片的去雨問題

去雨指的是：對於一張雨中的圖片，去除畫面中的雨滴，得到還原後的圖片，與圖片去霧、超解析度等同屬CV領域中圖像處理的範疇。去雨作為一種偏向low level的圖像處理，本質上是分離圖片中的內容與疊加的雨滴模式，並加以去除。這一問題以往多採用字典學習、稀疏編碼等方法加以建模。在今年的CVPR中同時出現了2篇使用deep learning處理去雨問題的文章，而思路各不相同，故分別介紹供大家參考。

第一篇Removing rain from single images via a deep detail network（下稱deep detail），對於雨滴模型的創新主要是提出了2點insights。

1、類似ResNet的思路，回歸帶雨圖像與原圖的殘差，而不是直接輸出還原圖像。這樣一來可以使演算法操作的圖像目標值域縮小，稀疏性增強。實際上這一點在超解析度等很多問題中已經被廣泛應用。

2、使用頻域變換，分離圖像中的低頻部分和高頻部分，只對高頻部分做去雨操作。原因是雨滴基本只存在於高頻部分，分離後可以使得操作目標進一步稀疏化，實驗效果顯著優於不做這一操作的結果。

實現上作者使用了一個26層的ResNet，為了保證輸出解析度不變，去掉了所有的Pooling操作。實驗表明：與直接輸入帶雨圖像、輸出原圖相比，一個26層的ResNet效果已經與原始方法50層的ResNet效果相近，並顯著優於其他舊方法。這證明了兩個技巧的有效性。

第二篇Deep Joint Rain Detection and Removal from a Single Image（下稱joint detection）對於雨滴建模如下：

其中B是原圖，O是帶雨的圖片，其他的量代表雨滴帶來的影響。S指疊加的雨滴的強度，R指含雨滴範圍的一個 binary mask，A對雨霧進行建模。之所以將S、R分別描述並分別用網路預測，是為了避免只回歸S影響了圖中不含雨滴的部分，R實際上描述了雨滴存在的區域，這也是標題中rain detection的含義。S、R預測的例子可見下圖。t指的是圖片中多個方向的雨疊加的效果，訓練所用的合成雨的圖片就是多次疊加的結果。最後A描述了一個圖像整體的偏移，這是由大雨中遠處大量雨滴疊加造成的類似霧的效果，實際演算法中也用了去霧演算法做處理。

在訓練時作者使用了多分支的dilated convolution網路，以在節約計算量的同時擴大網路的感受，也獲得更多的context信息。網路級聯地預測S和R，在訓練時都提供loss，在測試時得到S、R後，按之前的模型進行去雨處理。在實際實驗中還發現採用去雨1次 – 去霧1次 – 再去雨1次的流程得到的結果是最好的。

此外兩篇文章在訓練數據和測試方法上都是沿用之前工作的方法。訓練數據都是使用不帶雨的圖片人工合成帶雨的圖片，並從圖中抽取patch進行訓練。在測試流程上，對於合成圖片，主要比較衡量圖片結構相似度的SSIM指標。對於真實環境的帶雨圖片，主要是視覺上的qualitative比較。

對於去雨演算法的應用領域，join detection論文作者表示，主要可以用於監控視頻、比賽視頻等場景中，需要增強畫質的時候應用。此外deep detail論文的作者還表示，他們的框架在其他畫質增強的應用實驗中也得到了不錯的效果，包括透過玻璃觀看景物而玻璃上有大量雨滴等情形。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！