堆疊解卷積網路實現圖像語義分割頂尖效果

選自arXiv

機器之心編譯

參與：路雪

本文介紹了一種堆疊解卷積網路（Stacked Deconvolutional Network），它可用於高效的圖像語義分割。該方法堆疊多個淺層解卷積網路，採用層級監督幫助網路優化，在多個數據集上實現了頂尖效果。機器之心對該論文進行了介紹。

鏈接：https://arxiv.org/pdf/1708.04943.pdf

摘要：語義分割領域的近期進展主要由改善全卷積網路（FCN）下的空間解析度而得到。為了解決該問題，我們提出了一種堆疊解卷積網路（Stacked Deconvolutional Network/SDN）用於語義分割。在 SDN 中，多個淺層解卷積網路（即 SDN 單元）依次堆疊，以整合語境信息，確保位置信息的精細恢復。同時，單元間和單元內的連接被用來支持網路訓練和提升特徵融合，因為這些連接可以改善信息流和整個網路內的梯度傳播。此外，在每個 SDN 單元的上採樣過程中使用層級監督（hierarchical supervision），可以確保特徵表示的區別並幫助網路優化。我們實現了綜合性實驗，並在三個數據集（PASCAL VOC 2012、CamVid、GATECH）上實現了頂尖結果。尤其是，我們的最好模型沒有使用 CRF 後處理就在測試集上的 intersection-over-union 得分是 86.6%。

圖 1. 我們方法的架構。上半部分表示我們提出的堆疊解卷積網路（SDN）的結構，下半部分表示 SDN 單元（a）、下採樣模塊（b）和上採樣模塊（c）的具體結構。

圖 2. 上採樣過程中帶有分數圖連接（score map connection）的層級監督。

圖 3. 不同的堆疊 SDN 結構。

圖 4. 我們的方法在 PASCAL VOC 2012 驗證集上的結果。每一列列出了輸入圖像（A）、SDN_M1 網路的語義分割結果（B）、SDN_M2 網路的語義分割結果（C）、SDN_M3 網路的語義分割結果（D）和真值（E/Groundtruth）。

表 5. 我們的方法在 PASCAL VOC 2012 測試集上的實驗結果。

圖 5. 我們的方法在 PASCAL VOC 2012 數據集上的結果。每一行的圖像從左到右分別是（1）輸入圖像（2）真值（3）語義分割結果。

圖 6. 我們的方法在 CamVid 數據集上的結果。每一列從上到下依次是：（1）輸入圖像（2）語義分割結果（3）真值。

表 6. 我們的方法在 CamVid 測試集上的實驗結果。

表7. GATECH 測試集上的實驗結果

圖 7. 我們的方法在 GATECH 數據集上的結果。每一列的圖像從上到下依次是：（1）輸入圖像（2）語義分割結果（3）真值。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！