U-Net 和 ResNet：長短跳躍連接的重要性（生物醫學圖像分割）

本文為 AI 研習社編譯的技術博客，原標題 ：

Review: U-Net+ResNet — The Importance of Long & Short Skip Connections (Biomedical Image Segmentation)

作者 | SH Tsang

翻譯 | 斯蒂芬二狗子

校對 | 醬番梨 審核 | 約翰遜·李加薪 整理 | 立魚王

原文鏈接：

https://medium.com/datadriveninvestor/review-u-net-resnet-the-importance-of-long-short-skip-connections-biomedical-image-ccbf8061ff43

這次，我們來聊一聊用於生物醫學圖像分割的的一種全卷積神經網路，這個網路帶有長短跳躍連接。

上次，我已經回顧了 RoR (ResNet of ResNet, Residual Networks of Residual Networks)（這是2018年的TCSVT論文，如果有興趣，請訪問我的評論。）在RoR中，通過使用長短跳躍連接，圖像分類準確性得到提高。實驗結果證明了使用長短跳躍連接的有效性。

這一次，作者還提供了一種通過分析網路中的權重來展示其有效性的方法，而不僅僅是展示實驗結果。

儘管這項工作的目的是進行生物醫學圖像分割，但通過觀察網路內的權重，我們可以更好地理解長短跳躍連接。它發佈於2016年DLMIA（醫學圖像分析中的深度學習），引用次數超過100次。 （SH Tsang @ Medium）

電子顯微鏡（Electron Microscopy，EM）圖像分割

1. ResNet中的Skip連接，跳躍連接

2. 長和短的跳躍連接

3. 損失函數

4. 結論

5. 權重分析

1.ResNet中的跳躍連接

ResNet 建立的模塊

• 在ResNet中，使用連續的ResNet網路構建模塊。

• 僅使用短跳躍連接。並且沒有長連接。

2.長和短的跳躍連接

（a）具有長跳躍連接 的ResNet，（b）Bottleneck塊，（c）Basic塊，（d）Simple塊。 （藍色：可選下採樣，黃色：可選上採樣）

（a）具有長跳躍連接的殘差網路

• 下採樣（藍色）：這是一個收縮路徑。

• 上採樣（黃色）：這是一個不斷擴展的路徑。

• 這是一種類似U-Net的FCN架構。

• 從收縮路徑到擴展路徑有很長的跳躍連接。

(b) Bottleneck Block

1. 用1x1Conv-3x3Conv-1x1Conv這樣的結構，因此它被稱為瓶頸。它已經在ResNet中使用。

2. 在每個Conv之前使用BN-ReLU，這是來自Pre-ResNet的idea。

(c) Basic Block

• 兩個3x3Conv，同樣ResNet使用過

(d) Simple Block

• 一個3x3Conv

(b)-(d)

• 所有塊都包含短跳躍連接。

詳細的模型架構說明

考慮了2種損失函數

3.1. 二元交叉式損失函數

• 標準的交叉熵損失函數

3.2. Dice Loss

• Dice Loss是生物醫學圖像分割的另一種常見損失函數。

4.結果

4.1數據集

• 訓練集：30個電子顯微鏡（EM）圖像，大小為512×512。 25個圖像用於訓練，留5個圖像進行驗證。

• 測試集：另外30張圖片。

• 圖像是全解析度輸入到網路。

• 沒有後處理步驟。

4.2 長和短的跳躍連接

隨著epoches的損失/準確性：（a）長和短連接，（b）僅短，（c）僅長

最好的損失值

• 如上所述，在上述3種設置中，同時使用長和短連接可以獲得最小的損耗或最高的精度。

4.3 與最先進的方法進行比較

ISBI EM分割挑戰

(http://brainiac2.mit.edu/isbi_challenge/)

• 在ISBI EM分段挑戰中，Vrand和Vinfo值用於排名評估。

• 前景限制Rand評分值：它是Rand分割分數得分和Rand合併得分的加權和的均值。分割和合併分數可以被解釋為精度，並且在像素對的分類中被看為屬於相同的分割（正類）或不同的分割（負類）。

• 資訊理論評分Vinfo：資訊理論分割得分和信息理論合併得分的加權和的均值。它是互信息（MI）的衡量標準，可作為Rand評分的替代方案。

• 兩個指標的細節:https://www.frontiersin.org/articles/10.3389/fnana.2015.00142/full

• 所提出的方法（表格底部）與CUMedVision和U-Net相當。雖然它有點遜色，但提出的方法不使用任何後處理步驟，這是一種端到端的學習解決方案。

：權重分析

（a）長短跳躍連接，（b）只有9次重複簡單塊的長連接，（c）只有3次重複簡單塊的長連接，（d）只有7次重複簡單塊的長連接沒有BN。

• 藍色： 小權重值

• 紅色: 大權重值

（a）長/短跳躍連接

• 當存在長跳過連接和短跳過連接時，參數更新似乎分布均勻。

（b）只有9次重複簡單塊的長連接

• 當刪除短連接時，網路的深層部分幾乎沒有更新。

• 當保留長連接時，至少可以更新模型的淺層部分。

（c）只有3次重複簡單塊的長連接

• 當模型足夠淺，可以很好地更新所有圖層。

（d）只有7次重複簡單塊的長連接沒有BN

• 沒有批量規範化BN的網路對網路中心的更新減少了。

在關於權重分析進行總結，由於梯度消失問題（通過短跳過連接減輕），更靠近模型中心的層不能有效地更新。

參考

[2016] [DLMIA]The Importance of Skip Connections in Biomedical Image Segmentatio

想要繼續查看該篇文章相關鏈接和參考文獻？

點擊【U-Net 和 ResNet：長短跳躍連接的重要性（生物醫學圖像分割）】或長按下方地址：

https://ai.yanxishe.com/page/TextTranslation/1525

AI研習社今日推薦：雷鋒網雷鋒網雷鋒網

卡耐基梅隆大學 2019 春季《神經網路自然語言處理》是CMU語言技術學院和計算機學院聯合開課，主要內容是教學生如何用神經網路做自然語言處理。神經網路對於語言建模任務而言，可以稱得上是提供了一種強大的新工具，與此同時，神經網路能夠改進諸多任務中的最新技術，將過去不容易解決的問題變得輕鬆簡單。

加入小組免費觀看視頻：https://ai.yanxishe.com/page/groupDetail/33

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！