CVPR2017 成像演算法論文拾英（1）

最新 06-21

(IEEE Conference on Computer Vision and Pattern Recognition)是模式識別和計算機視覺類的會議，每年錄取的論文大部分都為圖像分類、物體檢測、分析理解這三大類計算機視覺問題，但是仍然有部分論文屬於low&mid levelvision以及computationphotography類的論文，而這類論文就是圖像/成像從業者比較關心的論文。

先說下今年的整體論文感受：

（1）繼承了去年『無Depp不論文』的特點，很多low level vision（例如awb、denoise、deblur）的問題也開始用DNN來解決，對於工業界人員目前看起來不算是個很好的事情，畢竟DNN在有些low level vision上效果沒有好太多，而且應用起來也是個很大的問題。

（2）Low level vision方面的演算法進步都不大，但是3D vision開始越來越成熟了，3D人臉重建、3D物體建模等的效果看起來越來越不錯了，對於手機雙攝從業者應該是一些比較關心的方向，畢竟Iphone也要把3D感測器放到手機上了，未來會擴展更多好玩的應用。

下面就來說一下幾個和成像行業最直接相關的話題：

（1）Denoising

今年有四篇關於denoise的論文，和往期比較起來，應該算增加了，從題目上看我個人比較想看的是：「Benchmarking DenoisingAlgorithms With Real Photographs」這篇論文，但是很遺憾作者沒有公開。

另外來自莫斯科的一篇降彩噪文章還不錯：

「Non-local Color Image Denoising withConvolutional Neural Networks」

原圖：

處理後：

效果看起來確實不錯。

下面是文章的演算法結構圖，雖然文章採用了CNN，但是眼尖的同學第一眼就會感覺，怎麼和BM3D這麼相似，其實論文就是把很多BM3D中的操作換成了DNN中的模型。

結果也和BM3D保持了很接近的水平，

（2）Smooth

CVPR每年都有一到兩篇關於smooth的論文，前幾年的smooth類論文，大部分都是集中在指導濾波、雙邊濾波的變形及擴展上。今年也不例外，今年提出的「Co-Occurrence Filter」也是基於雙邊濾波的擴展，不知道速度如何，可能對做特效後處理的小夥伴多了一種選擇吧。

原圖：

平滑後：

這是我們常見的雙邊濾波的公式：

其中一個是距離權重，一個是亮度權重。

而Co-Occurrence Filter就是把其中的亮度權重替換為了：

這個其實就是一個出現概率，可以粗略的理解為，如果是平坦區域的話，和當前像素一樣的像素在周圍出現的頻率很高，因此和周圍點進行加權就和的權重就很大。

3） awb

今年關於awb的論文有三篇：

（a）來自谷歌的：「Fast Fourier Color Constancy」

（b）來自adobe的「Deep Outdoor Illumination Estimation」

（c）看名字就沒什麼吸引力的FC4:Fully Convolutional Color Constancy With Confidence-Weighted Pooling

來自google的這篇

（a）「Fast Fourier Color Constancy」

效果看起來還不錯，

運行時間也足夠快：

（用相機縮略圖來計算的，1.44ms一張圖，佔用cpu小於5%，google pixel手機，滿足系統30幀每秒的要求。說明軟體isp方案在諾基亞手機式微後，現在被google採用，已經出現在高端camera方案中，這個信息值得各家手機廠商考慮，軟體isp圖像質量好，功能靈活等優點確實值得高端手機採用----編者注）

另外還有幾個相對好玩的論文也稍微介紹下：

（1）果凍效應去除

「Unrolling theShutter: CNN to Correct Motion Distortions」

算是單幀去除果凍效應裡面效果比較好的論文了。