Keras】基於SegNet和U-Net的遙感圖像語義分割

上兩個月參加了個比賽，做的是對遙感高清圖像做語義分割，美其名曰「天空之眼」。這兩周數據挖掘課期末project我們組選的課題也是遙感圖像的語義分割，所以剛好又把前段時間做的成果重新整理和加強了一下，故寫了這篇文章，記錄一下用深度學習做遙感圖像語義分割的完整流程以及一些好的思路和技巧。

數據集

首先介紹一下數據，我們這次採用的數據集是CCF大數據比賽提供的數據（2015年中國南方某城市的高清遙感圖像），這是一個小數據集，裡面包含了5張帶標註的大尺寸RGB遙感圖像（尺寸範圍從3000×3000到6000×6000），裡面一共標註了4類物體，植被（標記1）、建築（標記2）、水體（標記3）、道路（標記4）以及其他(標記0)。其中，耕地、林地、草地均歸為植被類，為了更好地觀察標註情況，我們將其中三幅訓練圖片可視化如下：藍色-水體，黃色-房屋，綠色-植被，棕色-馬路。更多數據介紹可以參看這裡。

現在說一說我們的數據處理的步驟。我們現在擁有的是5張大尺寸的遙感圖像，我們不能直接把這些圖像送入網路進行訓練，因為內存承受不了而且他們的尺寸也各不相同。因此，我們首先將他們做隨機切割，即隨機生成x,y坐標，然後摳出該坐標下256*256的小圖，並做以下數據增強操作：

原圖和label圖都需要旋轉：90度，180度，270度

原圖和label圖都需要做沿y軸的鏡像操作

原圖做模糊操作

原圖做光照調整操作

原圖做增加雜訊操作（高斯雜訊，椒鹽雜訊）

這裡我沒有採用Keras自帶的數據增廣函數，而是自己使用opencv編寫了相應的增強函數。

經過上面數據增強操作後，我們得到了較大的訓練集：100000張256*256的圖片。

卷積神經網路

面對這類圖像語義分割的任務，我們可以選取的經典網路有很多，比如FCN,U-Net,SegNet,DeepLab,RefineNet,Mask Rcnn,Hed Net這些都是非常經典而且在很多比賽都廣泛採用的網路架構。所以我們就可以從中選取一兩個經典網路作為我們這個分割任務的解決方案。我們根據我們小組的情況，選取了U-Net和SegNet作為我們的主體網路進行實驗。

SegNet

SegNet已經出來好幾年了，這不是一個最新、效果最好的語義分割網路，但是它勝在網路結構清晰易懂，訓練快速坑少，所以我們也採取它來做同樣的任務。SegNet網路結構是編碼器-解碼器的結構，非常優雅，值得注意的是，SegNet做語義分割時通常在末端加入CRF模塊做後處理，旨在進一步精修邊緣的分割結果。有興趣深究的可以看看這裡

現在講解代碼部分，首先我們先定義好SegNet的網路結構。

然後需要讀入數據集。這裡我們選擇的驗證集大小是訓練集的0.25。

然後定義一下我們訓練的過程，在這個任務上，我們把batch size定為16，epoch定為30，每次都存儲最佳model(save_best_only=True),並且在訓練結束時繪製loss/acc曲線，並存儲起來。

然後開始漫長的訓練，訓練時間接近3天，繪製出的loss/acc圖如下：

訓練loss降到0.1左右，acc可以去到0.9,但是驗證集的loss和acc都沒那麼好，貌似存在點問題。

先不管了，先看看預測結果吧。

這裡需要思考一下怎麼預測整張遙感圖像。我們知道，我們訓練模型時選擇的圖片輸入是256×256，所以我們預測時也要採用256×256的圖片尺寸送進模型預測。現在我們要考慮一個問題，我們該怎麼將這些預測好的小圖重新拼接成一個大圖呢？這裡給出一個最基礎的方案：先給大圖做padding 0操作，得到一副padding過的大圖，同時我們也生成一個與該圖一樣大的全0圖A，把圖像的尺寸補齊為256的倍數，然後以256為步長切割大圖，依次將小圖送進模型預測，預測好的小圖則放在A的相應位置上，依次進行，最終得到預測好的整張大圖（即A），再做圖像切割，切割成原先圖片的尺寸，完成整個預測流程。

預測的效果圖如下：

一眼看去，效果真的不錯，但是仔細看一下，就會發現有個很大的問題：拼接痕迹過於明顯了！那怎麼解決這類邊緣問題呢？很直接的想法就是縮小切割時的滑動步伐，比如我們把切割步伐改為128，那麼拼接時就會有一般的圖像發生重疊，這樣做可以儘可能地減少拼接痕迹。

U-Net

對於這個語義分割任務，我們毫不猶豫地選擇了U-Net作為我們的方案，原因很簡單，我們參考很多類似的遙感圖像分割比賽的資料，絕大多數獲獎的選手使用的都是U-Net模型。在這麼多的好評下，我們選擇U-Net也就毫無疑問了。

U-Net有很多優點，最大賣點就是它可以在小數據集上也能train出一個好的模型，這個優點對於我們這個任務來說真的非常適合。而且，U-Net在訓練速度上也是非常快的，這對於需要短時間就得出結果的期末project來說也是非常合適。U-Net在網路架構上還是非常優雅的，整個呈現U形，故起名U-Net。這裡不打算詳細介紹U-Net結構，有興趣的深究的可以看看論文。

現在開始談談代碼細節。首先我們定義一下U-Net的網路結構，這裡用的deep learning框架還是Keras。

注意到，我們這裡訓練的模型是一個多分類模型，其實更好的做法是，訓練一個二分類模型（使用二分類的標籤），對每一類物體進行預測，得到4張預測圖，再做預測圖疊加，合併成一張完整的包含4類的預測圖，這個策略在效果上肯定好於一個直接4分類的模型。所以，U-Net這邊我們採取的思路就是對於每一類的分類都訓練一個二分類模型，最後再將每一類的預測結果組合成一個四分類的結果。

定義U-Net結構，注意了，這裡的loss function我們選了binary_crossentropy，因為我們要訓練的是二分類模型。

讀取數據的組織方式有一些改動。

訓練：指定輸出model名字和訓練集位置

預測單張遙感圖像時我們分別使用4個模型做預測，那我們就會得到4張mask（比如下圖就是我們用訓練好的buildings模型預測的結果），我們現在要將這4張mask合併成1張，那麼怎麼合併會比較好呢？我思路是，通過觀察每一類的預測結果，我們可以從直觀上知道哪些類的預測比較準確，那麼我們就可以給這些mask圖排優先順序了，比如：priority:building>water>road>vegetation，那麼當遇到一個像素點，4個mask圖都說是屬於自己類別的標籤時，我們就可以根據先前定義好的優先順序，把該像素的標籤定為優先順序最高的標籤。代碼思路可以參照下面的代碼：

模型融合

集成學習的方法在這類比賽中經常使用，要想獲得好成績集成學習必須做得好。在這裡簡單談談思路，我們使用了兩個模型，我們模型也會採取不同參數去訓練和預測，那麼我們就會得到很多預測MASK圖，此時 我們可以採取模型融合的思路，對每張結果圖的每個像素點採取投票表決的思路，對每張圖相應位置的像素點的類別進行預測，票數最多的類別即為該像素點的類別。正所謂「三個臭皮匠，勝過諸葛亮」，我們這種ensemble的思路，可以很好地去掉一些明顯分類錯誤的像素點，很大程度上改善模型的預測能力。

少數服從多數的投票表決策略代碼：

模型融合後的預測結果：

可以看出，模型融合後的預測效果確實有較大提升，明顯錯誤分類的像素點消失了。

額外的思路：GAN

我們對數據方面思考得更多一些，我們針對數據集小的問題，我們有個想法：使用生成對抗網路去生成虛假的衛星地圖，旨在進一步擴大數據集。我們的想法就是，使用這些虛假+真實的數據集去訓練網路，網路的泛化能力肯定有更大的提升。我們的想法是根據這篇論文(pix2pix)來展開的，這是一篇很有意思的論文，它主要講的是用圖像生成圖像的方法。裡面提到了用標註好的衛星地圖生成虛假的衛星地圖的想法，真的讓人耳目一新，我們也想根據該思路，生成屬於我們的虛假衛星地圖數據集。 Map to Aerial的效果是多麼的震撼。

但是我們自己實現起來的效果卻不容樂觀（如下圖所示，右面那幅就是我們生成的假圖），效果不好的原因有很多，標註的問題最大，因為生成的虛假衛星地圖質量不好，所以該想法以失敗告終，生成的假圖也沒有拿去做訓練。但感覺思路還是可行的，如果給的標註合適的話，還是可以生成非常像的虛假地圖。

總結

對於這類遙感圖像的語義分割，思路還有很多，最容易想到的思路就是，將各種語義分割經典網路都實現以下，看看哪個效果最好，再做模型融合，只要集成學習做得好，效果一般都會很不錯的。我們僅靠上面那個簡單思路（數據增強，經典模型搭建，集成學習），就已經可以獲得比賽的TOP 1%了，當然還有一些tricks可以使效果更進一步提升，這裡就不細說了，總的建模思路掌握就行。完整的代碼可以在我的github獲取。

Github:https://github.com/AstarLight/Satellite-Segmentation

原文：http://www.cnblogs.com/skyfsm/p/8330882.html

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！