AI怎麼幫醫生看X光片？看完這篇文章你就明白了！

7月27日，由3W企服和企服頭條主辦的Open Forum活動—— 「AI+」行業應用如何落地在杭州舉辦。微醫集團雲醫療影像智能研發負責人、生物醫學工程博士吳邊分享了《醫學智能技術發展和應用的挑戰》。 以下內容整理自吳邊分享，內容略有刪改：

微醫集團雲醫療影像智能研發負責人、生物醫學工程博士吳邊

醫學人工智慧的範疇是一個非常大的領域，比如說從醫療預前、預中、預後以及醫療相關知識的服務，比如說支付、葯企以及大的疾病治療以及大的疾病管理，都可以算在這裡面，所以說這裡面有很大的空間，可以讓很多企業入駐。

為什麼需要醫療人工智慧？大家知道在這裡面有一大堆的苦水等著吐嘈，企業覺得這東西要推進，需要做很多信息化和智能化的工作。微醫在這裡面做了很多連接性的工作，把醫院和醫生、醫療機構以及患者連接起來。

我們最大的出發點就是在於要把醫療資源下沉，現在因為很多時候醫療資源集中在大的三甲醫院等核心醫療機構，但是我們希望把這些東西和基層、偏遠地區的醫療機構聯繫起來，一方面使他們不用往大的三甲醫院去跑，另一方面也可以讓所有地方的人都享受到這樣的服務。

但是，僅僅靠連接是不夠的，沒有解決供應端的問題，而醫學人工智慧就是從供應端解決醫療資源難題。

為什麼需要醫學人工智慧？一是專業人力資源的瓶頸。二是醫生的個人工作壓力越來越大。三是醫療中的重複性勞動。我們能做的就是通過醫療人工智慧的方法去放大人的智慧和解決問題的能力，最終實現解決這裡面的一些痛點。

醫學和人工智慧的結合，有幾個大的領域可以做：一是人工智慧的信息平台建設，二是醫療應用。大家可能看到很多新聞報道上說，比如說人和機器挑戰，這可能只是集中在這方面，但是除了這方面以外，還有很多醫學科研、第三方服務方面，它能做的工作其實更多。

醫學人工智慧和人工智慧總體目前的發展關係是這樣的：一是醫學AI受益於AI技術的總體發展。比如說醫療影像的智能輔助診斷髮展受益於AI技術在自然影像領域的多方位發展。另外，全科診療輔助、醫生助手受益於NLP等技術的發展，還有預訓練的模型。但是，不是說醫療人工智慧只要利用這些成果就可以了，它有一些特殊的挑戰在裡面，這裡有幾個常見的點：

一是與自然影像不同的介質類型。很多自然圖像和自然語言的模型和工具不是可以直接經改造就可以用在醫療人工智慧里，我們也有經驗，如果直接用會出現問題。

二是數據缺乏、標記更缺乏。它需要有很多專業的醫生來做這樣的事情，但是因為他們很忙，讓他們做的代價是很大的。

三是單一診斷中涉及信息的多樣性以及數據質量多變的問題。最後要強調的一點是需要對模型決策的理解。

應對之道，加強與醫生的溝通，需要醫療診斷對於的特點。二是減少對數據標記需求。三是多模態診斷模型，用來對付多模態的數據。四是生成性模型，去改變數據的質量。五是更加智能的分析工具。

微醫在醫療人工智慧的平台是建在微醫雲上，建立在睿醫AI平台，我們現在上線包括接近上線的內容是非常多的，大家看到這裡面覆蓋了所有常見的醫療影像、醫療信息服務等。

第一個案例，醫療影像。這是一些常見的醫療影像，它有一些3D的影像，CT等等。還有病理的影像，三是內窺鏡，還有就是心電、肌電，它也是在醫療影像範疇里。

非完全標記。這是一個病例，圈圈裡的地方都是癌變的地方，還有一些是數據的標記，大家看到除了這些圈的地方，沒有圈的地方也有很多病變的組織，在這個地方也是一樣。但是醫生一般去做標記的時候，只標記大的和明顯的東西，小的就不做。這也可以理解，如果是這樣的圖像，如果把每個細節一一畫出來，那麼我也會受不了。所以我們拿到的數據一般是這樣的，最右邊的是弱標記，就是說只是告訴你圖像里有病變，並不告訴你什麼地方有病變，這需要我們自己去辨別出來。

還有一種常見的問題是像一個3D的數據里，這是一個物標，是呈一個球形的東西，但是醫生大多數的時候往往只標其中直徑最大的，其他的都不再進行處理。這塊還有一個2.5D標註。

我們用標記的方法主要是重採樣方法以及LOOS加權，弱監督學習，見效未標記類別對LOOS產生的貢獻。什麼意思？舉個例子，我們現在做的眼底影像。眼底影像是眼科檢查的常用方法，它檢查比較方便而且比較低廉，所以是比較重要的手段。

這邊是拿出來的一個典型的圖像，這是幾種不同的病變，這邊是提取出來的特徵。

這裡一個例子，這些圈是醫生標的，這邊是有病變的，但是這裡還有一些零散的病變沒有標進去。

我們做的方法是採用重採樣的方法，基本上對這些大塊分成很多小塊，首先對它的特徵在這邊進行聚類，然後我們把那些和這個樣本相似的一些區域排除掉，只保留那些真正的負樣本，然後再把它重新權重加大，最後進入到一個常規的模本里去。結果就是這樣，其實剛才這個圖裡，我們加的那些箭頭不是我們自己選的，是演算法自動選出來的，就是它能夠把這些正樣本的地方標記出來。這個方法加上其他以後，顯著效果比不使用這種方法高的多。

弱監督學習的例子，這是在我們病例圖像檢查中，這是一個大的圖像，我們總體進行標記，然後局部個例沒有標記，我們通過這條通路返回到特定的instance上去。

第二個案例，多模態數據和多模態模型。第一種是同一對象同介質的影像數據。比如說CT，我們做CT掃描會做多次，然後進行對比來看。第二種是同一對象不同介質的影像數據，第三種是影像+結構化數據。

比如說，宮頸病變診斷，我們有病毒的檢測以及病理的分析報告，這兩個都是以結構化文本的形式存在的，為了做這樣的事情，我們這邊做了雙模態的模型，把依次檢查中的圖片放在通路里，然後加入不同的模態把信息融合起來。在最末端也把結構化數據在這邊融合進去。

實際上，因為有時候檢驗的時候並不是說所有的模塊都有，有時候可能缺了結構化的數據，在這樣的情況下，我們不希望在一個組合上用單獨的演算法去做，所以我們用演算法的能力把數據全部融合在一起，即便有些模態不存在，這個模型也能夠處理，同時一個模型可以處理所有的情況。

試驗結果，我們把兩種不同的結果全部放在一起，我們可以看到它比中間任何一種單獨去做，以及取兩種去做，都要來的好。

第三個案例，生成性模型用於圖像畫質改變。我可以把一種模態的影像轉變為另外一種模態，把比較疏的影像差值變密。

圖像優化處理，我們用GAN的模式，把原圖做一個深入，做輸出以後，在這邊相當於把它優化的結果放在這裡，已經輸出出來了，和正式的圖片進行對比以後，作為判別的依據。

這裡主要是一些效果，我們主要用於畫像畫質改善，比如說眼底影像案例，它的作用是可以把低可視度圖轉化為高可視度，減少對主模型的識別能力要求，擴充數據豐富度。還有一種是用於圖像脫敏，它的作用是可以保護患者隱私，簡化脫敏工作，避免消除文字後留下空白或黑色遮罩。

第四個案例，更加智能的標註工具。前面講到的標註數量不足的問題，其中一個原因是因為醫生去標的時候工作量太大，我們希望給他們提供一種工具，就是說它在這裡大致畫一個圈，我們的工具可以自動搜索到這個範圍里。這裡面傳統的做法是CRF模型，可能做這方面研究的人會知道這個東西，這是一個對肝臟進行分割的工作，這是肝的本體，在沒有進行處理之前，這個東西是非常邊緣，不是特別完美的，但是經過我們的演算法以後，它變的非常的光滑。

我們現在自己正在研發的新方法，是一個graph search，它不依賴於人工智慧，對物體進行邊緣提取的演算法，把問題轉化為一個優化問題，這是一個試驗中的效果，最終我們是希望達到這樣的結果，就是對這邊進行點擊以後，會對直接對內部進行填充。

第五個案例是AI分析依據的可視化，這也以眼底為例，我們做的工作是它會產生一個熱圖，它能夠告訴你對特定的疾病，對判定結果是最重要的，這裡都被勾划出來了。

除了我們前面講到的以外，還有一塊我們做的工作是關於全科輔助診療。在這方面做的工作主要是關於文本方面的處理，目前已經完成的工作包括像病理結構化、全科輔助診斷等。病理結構化，就是把文本里的關鍵字提取出來。

這邊有一個例子，像我們這邊拿到的很多電子病歷，是沒有經過處理的原始數據是這樣的，經過我們結構化處理以後，會把這些時間和人的各種癥狀單獨提取出來，每一個關鍵欄位和醫院的系統銜接。

這邊是一個語義理解的過程，這是我們在線問診助手搜集到的數據，這也是一個例子，既有問我要去掛什麼科的，又問一些癥狀代表什麼樣的疾病，還有比如說正在問某一個醫生或者某一家醫院是否有空餘的時間，這邊是我們提取到的關鍵詞。知識圖譜這邊，是整個基於文本AI能力的核心。

這邊是所有的信息，這邊是通過LSTM-CRF對模型進行處理，然後這邊是得到分解以後的詞語，這個專家審核是必須要經過一個過程，實際中獲得的樣本質量是不一的，誰拿去用的話會污染知識庫，所以我們會經過嚴格的審查去做這個模型，因此這是一個閉環的循環過程。所有的工作都是在強化這個知識圖譜，在使用過程中可以直接輸出模型。

最後一點是關於應用落地。微醫這邊的業務生態，是想建立一個HMO健康管理組織，把單純看病的形式變成健康管理的體系。目前做的基本上包括微醫雲、微醫保。微醫雲，我們是全部出於微醫雲這塊，所以項目落地都是經過微醫雲，主要做的是117個醫聯體項目系統接入。開發部署方案、設計清單也是從微醫雲上走，包括從網路上在線平台的直接服務。

總結一下，我們感覺從我們的研究開始到落地，在醫療AI有這麼一些東西需要注意：

第一，數據治理的工作量與AI開發不相上下，甚至有可能會更大。因為項目的第一步往往是協助醫院完成數據篩選和清洗，這裡面需要做很多的整理和審核。醫院那邊拿到的病歷質量是參差不齊的，有些地方的質量並不是那麼高。

第二，減少標註的勞動量很有必要。這對於醫生來說，雖然我們能接觸到很多醫生，但是在每個人的工作量一定的情況下，減少他在對一個東西進行標註的工作量，能使我們獲得更多的樣本。

第三，產品：與醫生的診斷治療流程匹配，表現實用價值是關鍵。很多時候可能我們在一些節目上看到競賽，它只是集中在一個疾病的一個方面，但是實際上在醫療的過程中，醫生那邊是要從病人進去開始，到最後的跟蹤隨訪都有一個需求，如果只是解決了其中的一個環節，對他們來說價值不是那麼大。

第四，涉及落地的大量複雜而艱難的工作。最主要的是我們要把這些技術，做出來的產品融入到現有的流程中，與他們的系統進行打通，也包括從三甲醫院到基層，不同醫院的需求是完全不一樣的，有些是要求儘可能快地處理更多的數據，有些反過來說我門診量不是那麼大，但是要提供非常精確、完整地診斷結果，因為我這邊可能醫生不像三甲醫院的醫生一樣有這麼強的診斷能力。

我們現在是要適應這個流程，但是並不代表我們完全不對這個流程進行改造，要有兩個途徑，就是在深度結合的基礎上才能改造。

這也很好理解，因為我們最終目的還是為了希望改變整個醫療體系的流程，最大的比如說是一些診療看病的方式方法，因為只有這樣做才能真正地落實它的最終意義，服務於患者和醫生、醫院，提高醫療效率。

最後，我講一個案例，就是我們眼底疾病從研究開始到落地的這麼一個過程。眼底疾病是和北京同仁醫院進行合作的，目前已經建立了全國最大的眼底標註數據集。

我們最開始做這個的時候也是從目前最流行的糖尿病相關的視網膜病變入手，為了讓醫生進行標註，首先得對醫院的數據進行清洗，有大量原始的數據，但是數據的質量和種類非常多，首先是需要進行一些基礎工作，既包括像區分眼底和眼表照片，還有區分左右眼照片，如果醫生去手動做這個事情，耗費的精力太多，包括像判別圖片質量等。

第二步是醫生和專家完成10萬份的標註，我們做了一個分類的標準，比如說特異性98%，敏感度91%，這個數字還不錯，但是還不夠，所以我們進行了調整，第一是希望不是說給一個模型、給一張圖片就直接給出結果，而是對圖片進行局部的分析，然後對病灶進行標註。

這個工作量比分類標註的工作量大很多，所以在一段時間內大概只完成了2萬張。然後我們研發出了非完全標註樣本的機器學習演算法，又為了提高對黃斑和水腫分類績效，開發了黃斑區、視盤定位能力。經過這些東西的改造以後，在糖網病識別方面，特異性99%，敏感度95%。

為了使這個產品變得好用，我們也做了一個項目，就是診斷結果報告的自動生成。它初期採用了一個模板方法，現在研發的是採用結合NLP的方法。

現在我們從2種疾病擴展到了12種疾病，專家新完成4萬多種類疾病的標註，12分類眼底疾病準確率達到94.5%，更新了對多疾病並存診斷能力的需求，並且開發了多標籤分類模型，平均準確率99%，敏感度96%。目前正在做的一個疾病是可視化，針對12疾病，每一個都可以單獨實現。我們希望對醫生來說，讓它變得真正好用。

責任編輯：

本文來自大佬說事，創業家系授權發布，略經編輯修改，版權歸作者所有，內容僅代表作者獨立觀點。[ 下載創業家APP，讀懂中國最賺錢的7000種生意 ]

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！