借鑒傳染病學原理探索醫學圖像CNN可解釋性

知識 12-16

機器之心發布

作者：牛鈺浩、谷林（共同一作）, 陸峰（通訊作者）等

雖然深度學習在醫療圖像的病變檢測上取得了巨大成功，然而，現有的方法幾乎都將 CNN 作為黑盒使用，沒有進一步揭示做出分類的依據。CNN 缺乏「可解釋性」嚴重製約了其在醫療等涉及公眾安全的關鍵領域應用。北京航空航天大學聯合日本國立信息學研究所以及中南大學湘雅醫院，湘雅二醫院對這一問題展開探索。參考傳染病學金標準：「科赫法則」，本文提供了一種解釋醫療圖像深度學習的方法並發表在 AAAI 2019。通過了 5 位眼科醫師雙盲測試，本方法表現出了令人滿意的性能。

回顧醫學的歷史，病菌感染曾一度困擾著人們：致病微生物也是看不見、摸不著的。微生物學鼻祖之一的羅伯特·科赫提出了一套科學驗證方法——科赫法則（Koch"s postulates），用於將某種病變與特定的病原體建立聯繫。這一方法隨後成為傳染病病原學鑒定的金標準。科赫也因此獲得了 1905 年的諾貝爾生理學或醫學獎。

這套準則分為四條：

1.每一例患病動物體內都可以分離到該病菌。

2.該病菌可以在體外培養數代。

3.培養了數代的細菌可以通過接種，使健康的實驗動物患上同樣的疾病。

4.被接種的動物中可以分離到同樣的病菌。

自然界的微生物種類是天文數字，這其中僅有一小部分能夠感染人類，而對人類致病的就更微乎其微了，科赫法則成為確定這些病原體的金標準並成為現代醫學基礎之一。檢測醫療圖像的 CNN 網路中也往往包含幾十萬乃至上百萬參數。受此方法啟發，可以使用類似的方法論來確定極少量的關鍵參數並研究 CNN 病變檢測器的決策依據。

論文 Pathological Evidence Exploration in Deep Retinal Image Diagnosis 以糖尿病視網膜病變為例，展示了 CNN 檢測器的決策依據，增進了醫生與 AI 之間的相互理解。

論文：Pathological Evidence Exploration in Deep Retinal Image Diagnosis

論文鏈接： https://arxiv.org/pdf/1812.02640.pdf

圖 1：受柯赫準則啟發，本論文對病變證據進行發掘、提取、重現

具體來說，本文首先在經典 CNN 病變檢測演算法中提取病理描述符，並利用一種 CNN 的可視化方法來定位病變（圖 1.a）；模仿科赫法則中在無數微生物中分離病原體這一過程，本方法從百萬級神經元中定位到數千維直接參与疾病診斷的參數並提取出描述符（圖 1.b）；科赫法則接著將分離的微生物接種到健康生物體並觀察產生的疾病癥狀，同樣，本方法訓練一個基於 GAN 的生成器，通過輸入病理描述符中來合成眼底圖（圖 1.c, d），如果眼底圖復現了相應的病變，就可以確認其與病理描述符的直接關係。

病理描述符的提取

本文以糖尿病視網膜病變（Diabetic Retinopathy，簡稱 DR）為例。全球範圍內，有超過 4 億糖尿病患者。根據 2016 年美國的統計，約有 40%-45% 的患者會發展出 DR 的癥狀。這種病變通常根據視網膜眼底圖來進行診斷。DR 患者的眼底圖上會出現不同程度的微動脈瘤、出血、滲出等病變。

圖 2：DR 患者眼底圖中的病變

Kaggle 於 2016 年舉行了 DR 眼底圖檢測的競賽。本文使用的冠軍演算法中的一種：o_O(Antony 2016)。仿造 Zeiler 和 Fergus 的 CNN 可視化方法，我們在檢測器後接上了一個激活網路，用對稱的結構來還原每個卷積層中被激活的神經元。

圖 3：病理描述符的提取

具體來講，為每一個卷積層構造一個轉置卷積層，為每一個池化層構造一個反池化層，激活網路和檢測網路共享權重。使用這樣的網路架構，激活網路某一層的結果是從 #9 層的神經元激活結果翻譯回來的，一定程度上代表了這一層的神經元對 #9 的影響。

圖 4 將輸入的眼底病變圖和輸出的激活圖進行放大對比。輸入的病變圖經過一層層卷積，保留了病理特徵，丟棄了血管等正常生理特徵。由結果對病變的選擇性，可以窺見 CNN 做出決策的證據。雖然在訓練 CNN 檢測器時僅僅使用了「病變圖-嚴重程度」這樣的圖像級別標註，它仍能學到各種病變的特徵，並且主動關注這些區域。

圖 4：輸入的病變圖和輸出的激活圖

接下來，根據病變參考圖的特徵層和激活層，定義一個病理描述符，用於代表每一個病變的信息。首先，對最後的激活圖其進行閾值處理，得到二值掩碼圖，用於指示病變的位置信息。然後，通過尋找最大連通區域，可以得到每個病變的邊界框。這一步操作即可將不同的病變分離開來。最後，使用邊界框，在特徵網路和激活網路的中間層中截取出一些特徵塊、激活塊，將它們作為病理描述符（圖 3）。這些病理描述符編碼了完整的病變特徵，可以為病變眼底圖的合成提供關於病變的所有信息。

病變眼底圖的合成

柯赫準則中，將不可見的純化病菌注射到健康動物體內，可以使其患上相應的疾病。類似地，本文使用 GAN 來重現病理描述符中的特徵、說明 DR 檢測器提取出的病理描述符確實包含了病理信息。

圖 5：病變眼底圖合成網路架構

本節的任務是訓練一個合成病變圖的生成器。生成器以血管分割圖、雜訊向量為輸入，通過一個 U-Net (Ronneberger, Fischer, and Brox 2015) 結構來合成出包含特定病變的眼底圖。

訓練生成器的時候，使用的數據集是正常眼底圖和它的血管分割圖。而病變信息，全部來自於之前提取出的病理描述符。計算 Loss 時，設置了多個子網路來達到不同的目標。

子網路 1：判別器網路

判別器子網路判別一張圖片是真實圖還是合成圖。進而計算出「生成對抗 Loss」，使生成器和判別器相互競爭，增加合成眼底圖的真實性。對於生成器、判別器，有。

子網路 2：視網膜細節網路

視網膜細節網路使用 VGG 網路來提取健康眼底圖與合成眼底圖的特徵，做差得到「視網膜細節 Loss」，讓合成圖像的特徵與其接近，保證合成圖片的生理細節。用來代表 VGG 特徵提取函數，則視網膜細節 Loss 為

。

子網路 3：DR 檢測網路

DR 檢測子網路用來計算最重要的「病理 Loss」，使合成的眼底圖中出現病變。

計算病理 Loss 的時候，將合成的病變圖輸入到 DR 檢測器網路中，從想要合成病變的地方截取出特徵塊，與病理描述符中的相應特徵塊進行對比、做差即可得到合成病變與真實病變的差異。利用病理 Loss，能夠讓合成圖在特徵層的與病變相關的神經元激活，從而保證病變的復現。

使用代表合成圖的特徵塊，用代表描述符中的特徵塊，則病理 Loss 為

。計算過程中使用了 Gram 矩陣來保留樣式而非內容：

。

合成結果

在測試階段，文章使用了 DRIVE 數據集 (Staal et al. 2004) 作為正常眼底圖，使用 STARE (Hoover, Kouznetsova, and Goldbaum 2000) 和 Kaggle 中的圖像作為病變參考圖，進行了多組實驗。

圖 6 是使用不同的病變參考圖來合成出的結果。根據專業眼科醫生的評估，前兩列的微動脈瘤合成較好，第三列合成的激光瘢痕與參考圖一致，不過第四列合成的硬性滲出有些欠真實。

圖 6：不同病變的合成效果

為了進一步說明合成結果的先進性，我們將本文方法與 Zhao 等人的 Tub-sGAN 生成的圖片隨機混合，並組織了 5 位專業的眼科醫生，對其進行雙盲評測。對於每幅合成圖像，醫生為其進行三個評分：1. 眼底圖的真實性，2. 合成病變的真實性，3. DR 的嚴重程度（評分範圍是 1-10，得分越高越好）。最後收集到對 560 組評分，其平均值如表 1 所示。本文方法在合成的真實性上有明顯優勢。