吳博：目標檢測集成框架在醫學圖像 AI 輔助分析中的應用｜AI 研習社第 78 期大講堂

如何界定 AI 用於醫學圖像分析時的範疇，設置相關的任務及採用合理的模型方法？醫學圖像分析中目標檢測任務的普遍性，使得開發目標檢測集成框架顯得必要。

近日，在雷鋒網 AI 研習社公開課上，深圳市宜遠智能科技有限公司負責人吳博剖析了目標檢測已有的框架，重點分享如何對目標檢測框架進行改造，以便在醫學圖像分析中產生更好的效果。公開課回放視頻網址：http://www.mooc.ai/open/course/559?=aitechtalkwubo

吳博

學術背景：先後在清華大學、香港浸會大學求學，並在英國利茲大學完成博士後，師從計算機視覺專家唐遠炎教授等人。在 ICML/ACL 等頂級會議發表過多篇人工智慧論文。

工業界經驗：2017 年創立醫療 AI 公司——宜遠智能，該公司集結了 20 多名人工智慧博士以及眾多海內外醫學顧問，為醫療健康領域提供 AI 增強解決方案，並與多家知名醫院達成合作，並推出成型產品。創立宜遠智能之前，吳博曾在愛立信大數據研究院任職，還曾主導過百億級虛擬品電商、數字貨幣系統的業務及數據架構建設與運營。

分享主題：目標檢測集成框架在醫學圖像 AI 輔助分析中的應用

分享提綱：

1. 醫學圖像分析的任務類型和對象

2. 目標檢測已有框架用於醫學圖像分析的流程

3. 如何與醫生合作做好 AI

雷鋒網 AI 研習社將其分享內容整理如下：

今天給大家講一下目標檢測集成框架在醫學圖像 AI 輔助分析中的應用。

醫學圖像分析的任務類型主要有：

分類與識別：這是最簡單最直接的任務類型。左邊的圖是吳恩達教授之前做的一個 X 光模型，這個模型中主要做分類，判斷是否有肺炎等病症。圖像分類與識別是常見的圖像分析（MIA: Medical Image Analysis) 任務，是圖像檢索的基本單元。

像 ImageNet 被 AlexNet、VGG、GoogleNet、ResNet、SENet 等深度神經網路從 72% 的準確率，逐步提升到 97.75%，超越人眼 94.9% 的水平。而醫學圖像的分類也非常具有現實意義，比如可以判斷人是有病還是無病、以及是哪類病，像 Nature、Science 雜誌就發表過皮膚癌、胸片、眼底照等醫學場景的圖像分類模型。

但在實操過程中，我們發現將醫學影像當成一個分類問題來處理，任務設置未免過於宏大和粗放。深度學習的模型具有黑盒模型的特點，特點就是端到端（end to end）一步到位，從輸入到輸出而不管中間的過程，雖然也能實現較好的結果，卻往往令人對整個學習過程，知其然而不知其所以然。並且，將醫學影像簡單當成一個分類問題，也算不上解決醫療問題，雖然其可視為一定程度的計算機輔助診斷（CAD: Computer Aided Diagnose），但歸因以及可解釋性得缺陷，並不足以讓醫生全盤參考

目標檢測：這個任務類型也很普遍，並且現在越發普及，意義越來越重大。我們從 CAD 的歷史和發展進程中，可以看到目標檢測與醫學圖像分析之間的聯繫。CAD 分為兩類：

計算機輔助診斷 (CADx: Computer Aided Diagnose) ：對病症進行分類、識別、預測

計算機輔助檢測 (CADe：Computer Aided DETection)：主要做對圖像內病灶/病變 (lesion) 的檢測。從歸因到果的角度來說，CADe 可能在做醫學圖像分析時更切合實際。CADe 更接近目標檢測。

而 ImageNet 2013 年推出目標檢測挑戰，在四萬張互聯網圖片中檢測 200 類物體，mAP 從 0. 2258 提升到 2017 年 0.7322，這個水平也幾乎達到了人類的水平。

分割：這也是常規的醫學圖像分析中的一類任務。分割主要包括：語義分割 (semantic segmentation)、實例分割 (instance segmentation)。醫學圖像分析則涉及到器官分割勾畫 (organ and substructure segmentation)，還有病變/病灶分割 (lesion segmentation) 等。而醫學影像分割跟常規圖像的語義分割、實例分割不太一樣。我們得看法是，把分割問題當作目標檢測來處理，也方便借力於目標檢測領域方法的蓬勃發展。

【關於醫學影像分割的不同點和難點的更多講解，請回看視頻 00：13：10 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

我們也探索一下醫學圖像分析的研究對象。

我們在研究醫學圖像分析時，也針對醫學影像學這個名詞參考了很多論文，並進行了諮詢、學習和了解。其中，醫學影像學的一個權威定義為：醫學影像學（Medical Imaging）研究藉助於介質（如 X 射線、電磁場、超聲波、內窺鏡等）把人體內部組織器官以影像方式表現出來，從而方便對人體健康狀況進行評價。

【關於醫學影像學定義的更多講解，請回看視頻 00：19：45 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

廣義而言，醫學影像學包括成像技術/設備、圖像處理技術，以及日益重要的醫學圖像分析。所以文獻中，MIA 與醫學影像學（Medical imaging）常交替使用。

而醫學圖像分析涵蓋的圖像類別，也不僅限於「內部組織器官」，還包括體表皮膚、五官、外部關節特徵等的拍攝圖像，顯微查看及掃描的組織與細胞病理圖像等。放射影像因為數字化程度高，格式標準，其分析處理最為流行；但其他圖像領域，成像設備、處理分析都在日新月異發展，數字化程度升高，使得 AI 介入成為可能，且愈發體現出價值與意義。

在下圖中，我們可以看到醫學圖像分析的類型以及對應的特點：

【關於醫學圖像分析的類型及特點的講解，請回看視頻 00：23：35 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

進入到今天分享的第二個部分——目標檢測。我們主要講一下相關流程和經驗。

在進行目標檢測之前，需要做好目標檢測訓練數據準備 。從醫院、醫療機構、醫生以及數據源中，我們會積累、整理以及清洗很多數據。其中，清洗是一個非常複雜和龐大的一個環節。而數據準備的重點，主要是標註。

【關於目標檢測訓練數據準備（標註）和標註系統的更多講解，請回看視頻 00：29：40 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

下圖展示了用第三方工具 LabelImg 來標註足球場的視頻：

醫學圖像領域還涉及到複雜的審核、內部影像管理，單純的開源工具無法滿足這些任務的需求，需要自研和自建一些工具。

在圖像 AI 領域，標註極耗成本和時間，所以 AI 反過來輔助標註也是有價值的做法。

【關於 AI 的輔助標註的更多講解，請回看視頻 00：35：15 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

接下來講今天的主要部分——目標檢測框架及流程。

我們比較推薦 Detectron 這個框架：

【關於 Detectron 框架的更多講解，請回看視頻 00：37：15 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

實驗過程中，我們也對照 Detectron 嘗試了其他一些非集成的演算法，也發現了 Detectron 本身存在的一些問題，比如醫學圖像領域有時需要將分割和目標檢測穿插使用，而 Detectron 框架無法實現二者的穿插使用。針對醫學圖像領域以及 Detectron 自身存在的一些問題，我們內部優化出一個框架——eWingDET 框架。它的特點和優勢包括：

第一，支持 bbox 和 mask 兩種識別目標的任意切換，支持 backbone 網路的自由更換，支持多種類的圖像增強方式，支持 2D、3D 圖像的目標檢測。

第二，以 tensorflow 為內核，以 Faster-RCNN/Mask-RCNN 為核心，可進行 python 端多 GPU 訓練，兼容 Horvod 分散式框架。

第三，訓練好的模型可以直接在前端使用 C++在 CPU 上進行 inference，產出結果。

第四，自定製對模型性能的評價函數，加入了 FPN，提升了對小目標檢測的性能，如 CT 中鈣化病灶目標的檢測。

【關於 Detectron 框架的一些問題以及 eWingDET 框架的特點、流程、訓練、推斷的更多講解，請回看視頻 00：39：50 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

醫學圖像的演算法也好，模型也罷，怎樣將其變成一個比較完備的系統，落地到醫院的系統部署方式，往往更具有現實意義。

【關於系統部署方式的更多講解，請回看視頻 00：50：30 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

我們的醫學圖像 AI 也會落地到醫院，進行合作，對外賦能。比如通過醫學圖像 AI as a Service(AIaaS) 平台集成多類醫學圖像分析功能，經審核合資格的機構用戶與專業用戶，可以進入到該平台，使用模型體驗、API 調用等服務。平台根據模型體驗和 API 調用的次數，進行額度扣除。而用戶也可因為幫助改善模型和提供算力，獲得額度獎賞。

案例分享

案例 1：牙齒根管識別

案例 2：目標檢測用於皮膚圖像分析

關於皮膚圖像分析的案例，我會講到銀屑病 AI、面部皮膚病 AI 以及面部皮膚 AI 副產品，即皺紋斑點等目標檢測處理這三個案例。

【關於牙齒根管識別、目標檢測用於皮膚圖像分析的案例具體講解，請回看視頻 00：59：58 、00：63：22 處，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

我們做得比較好的還有用於肺結節 CT 分析的 3D 目標檢測，下面我也跟大家簡單分享一下。

3D 目標檢測在肺結節 CT 分析中的應用，表明目標檢測的集成框架和方法除了可以用於比較淺層次的皮膚識別領域，還能在醫學圖像識別中比較大型的、難度比較大的場景中使用。肺結節識別採用的是 3D Faster RCNN 的 RPN 網路，它能減少需要調節的網路參數，既沒有後續的全連接做分類，也不需要在後面接一套 3D CNN 來做降假陽。

【關於 3D 目標檢測用於肺結節 CT 分析的講解，請回看視頻 00：72：20，http://www.mooc.ai/open/course/559?=aitechtalkwubo】

最後分享一下如何跟醫生做好 AI 合作，我們看重的 AI 工程師的能力主要有以下幾個：

第一個，和醫生協作的能力（這一能力與 EQ 有關）。傳統的機器器學習中，往往只需要跟設備和代碼打交道，而醫學影像研發需要經常和醫生溝通，把醫生的思路不斷地模擬成代碼。其中的很多思路和方法都無法從論文裡面得來，和醫生的協作往往是 AI 研究人員需要具備的能力。

第二個，從數據中找尋優化模型思路的能力，即問題解決能力（這一能力與 IQ 有關）。醫學影像數據，每個醫院都不一樣，主要體現在醫院的場景、拍攝手法等。很多時候，甚至每個病種的數據都沒有前人的工作可參考。這就需要我們花大量的時間泡在數據裡面，尋找數據裡面的規律，來優化模型。控制好數據敏感性，防止 garbage in garbage out，從而能控制好數據，就能控制效果。

AI 工程師這一能力的天分體現在：每次接觸的數據都不同，判斷思路路都不同的情況下，能迅速的找到解決問題的關鍵。而進一步的天分還體現在能抽象推出標準、實用新框架的能力。

而且需要注意的是，機器學習是【法】，深度學習是【術】，AI 工程師不能太痴迷於工具，而忽略問題的本質。

第三個，把 paper 新思路和新框架引入 實際工作的能力（這一能力跟勤奮有關）。因為新的框架替換舊的框架，帶來的往往是門檻的提升，不 follow 就落後，所以我們一定要緊跟最新的前沿進展。不過這種能力，往往只能解決公開數據集的問題。對於我們碰到的實際複雜多變的醫學圖像，肯定是不夠的，很容易會陷入到坑裡面去。

目前我們也在招聘 AI 工程師、機器學習工程師、演算法工程師以及數據工程師，感興趣的同學歡迎聯繫我們。

對本次分享做一下總結：

第一，我們講了一下醫學圖像分析的方法和流派之分，在我們實際工作中，目標檢測這種方法的作用凌駕於其他方法之上。我們通常不會選擇優先去解決圖像分類、重構以及分割問題，而更多地將其當做目標檢測問題。雖然這一方法論比較固定，但實際用於醫學影像分析時，應用面也非常寬泛。

第二，分享了目標檢測的全流程，包括框架的學習、模型打造後怎樣跟醫療機構對接的問題等。

最後，分享了怎樣跟醫生做好 AI 合作，進而分享了 AI 工程師應該具備的幾個能力以及需要進行哪些方向的修鍊。

以上就是本期嘉賓的全部分享內容。更多公開課視頻請到雷鋒網(公眾號：雷鋒網) AI 研習社社區（https://club.leiphone.com/）觀看。關注微信公眾號：AI 研習社（okweiwu），可獲取最新公開課直播時間預告。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！