CVPR2017精彩論文解讀：結合序列學習和交叉形態卷積的3D生物醫學圖像分割

雷鋒網 AI科技評論按：雖然CVPR 2017已經落下帷幕，但對精彩論文的解讀還在繼續。下文是宜遠智能的首席科學家劉凱對此次大會收錄的《結合序列學習和交叉形態卷積的3D生物醫學圖像分割》（Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation）一文進行的解讀。

3D醫學圖像的切割的背景

3D醫學圖像的切割是醫學圖像處理里一個非常重要的工作，比如腦部MRI數據、肺CT數據和X光數據等等。現在大多數的3D醫學圖像分割方法都只用了一個形態或把多個形態堆起來變成不同的通道，該工作中提出了一個包含交叉形態卷積層（cross-modality convolution layer）的深度編碼-解碼的網路結構（deep encoder-decoder structure)來合併核磁共振的不同形態，還利用卷積LSTM來對2D切片序列建模，並且把多形態卷積和LSTM網路結合在一起，做到端到端的學習。為了防止收斂到某一特定的類，我們使用了權重策略和two-stage訓練來處理類不均勻的情況。

該工作主要針對使用核磁共振（MRI）對腦部腫瘤部位做切割。腦腫瘤如神經膠質瘤和膠質母細胞瘤有各種不同的形狀，並且會出現在大腦的任何地方，對精確的定位腫瘤帶來了挑戰。腦腫瘤手術掃描頭部腫瘤的核磁共振有四種不同策略，自旋晶格弛豫（T1），T1-對比（T1C），自旋自旋鬆弛（T2）和流體衰減反轉恢復（FLAIR），對應著四種不同的形態，每一種掃描的策略對不同的腫瘤組織會有特定的反應，可以利用多種形態的核磁共振圖像來自動的區分腫瘤組織，輔助醫生診斷。

網路結構

該工作的主要貢獻是把多形態卷積和LSTM網路結合在一起，做到端到端的對3D影像做切割。網路結構的輸入是多形態的核磁共振數據序列，可以給每個像素預測出腫瘤類型，模型主要包含三個部分：多形態編碼，交叉形態卷積和卷積LSTM。系統的詳細框架如下圖1，不同形態的切片被堆疊在一起（b）然後傳到多形態編碼部分里不同的卷積網路（一個卷積網路對應一種形態），獲得語義上的隱藏特徵表示（c），多個形態的隱藏特徵在交叉形態卷積層發生聚合（d），然後使用卷積LSTM來更好的挖掘連續切片的空間序列關聯（e）。通過拼接2D的預測結果序列生成3D圖像分割。模型綜合切片序列學習和多形態融合一起優化，形成一個端到端的系統。

圖1 系統框架：(a)根據切片為每個3D核磁共振形態（Flair, T2, T1, T1c）提取切片，(b)相同深度的4個切片被堆疊在一起，(c)每個堆裡面4個切片被放到多形態編碼器裡面學習隱藏語義特徵表示，(d)利用交叉形態卷積來聚合不同形態的信息，(e)利用卷積LSTM來對連續的切片建模，(f)解碼網路用來對卷積LSTM的輸出進行上採樣，獲得和輸入圖像一樣的解析度，(g)最後的結果是對每個像素位置預測腫瘤類型，(h)堆疊2D的預測結果到3D的分割。

系統的三個主要部分：

（1）編碼器和解碼器

因為BRATS-2015訓練集比較小，我們希望多形態編碼器和解碼器的參數盡量少，防止過擬合。編碼器是用和SegNet類似的結構，包含4個卷積層和4個最大池化層。每個卷積層用3X3的核來生成特徵映射，然後通過batch Norm層和ReLU。最大池化層大小為2，步長為2，下採樣的因子為2。在解碼器網路，每個解卷積層做轉置卷積，然後用一個卷積和batch normalization。完成上採樣後，特徵映射變成了和輸入一樣的解析度。我們再把解碼器的結果到多標籤的soft-max分類器來輸出每個像素每個類的概率。

（2）交叉形態卷積

用來融合全部的形態，在多形態編碼器之後，4個形態的切片被編碼成了一個大小為h*w*C的空間，w和h是特徵的維度，C是通道，我們把4個形態同一個通道的切片放到一起，變成C*4*h*w的特徵空間，然後用核為4*1*1的核來做3D卷積。這樣同時綜合了空間信息和不同的形態信息。

交叉形態卷積相當於給4個形態設置了權重。多形態編碼器輸出的特徵是4*h*w*C的，我們reshape成C*h*w*4的然後做交叉形態卷積。

（3）切片序列學習

該工作使用一個端到端的切片序列學習框架去建模切片之間的相關性。使用帶卷積的LSTM，和普通的LSTM區別是，在輸入到初始狀態以及狀態之間的轉移，卷積LSTM（convLSTM）把矩陣乘法替換為卷積操作，這樣就保留了較長系列的空間信息。

除了方法上的創新，在應用方面也有一些不錯的trick，比如：

1.BRATS-2015數據集的類嚴重不均勻，模型容易收斂到預測所有的像素為沒有腫瘤問題，使用了median frequency平衡法，在交叉熵loss函數設定了一個權重。

2.兩階段訓練：第一階段只採樣包含了腫瘤問題的切片，然後用median frequency方法來減少大類的權重，在第二階段，降低學習率，去掉median frequency，讓分布接近真實的分布。

3.在第一階段訓練中，避免採樣到空的序列（全部切片都是正常的大腦組織）。訓練LSTM的時候，使用正交初始化來處理梯度消失的問題。

缺陷

這篇論文有一點小瑕疵，雖然提到KU-Net模型是和他們方法最相關的模型，但是在最後實驗部分提了因為KU-Net沒有公開源碼而沒有進行實驗對比，這種理由比較少見，個人認為既然很相關，應該把別人的演算法實現，然後跟他們的結果作比較才比較有說服力。

論文地址：https://arxiv.org/abs/1704.07754

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！