Google提出新型增強現實顯微鏡，可提高醫療中癌症檢測的準確率

原文來源：Google

作者：Po-Hsuan (Cameron) Chen、Krishna Gadepalli、Robert MacDonald、Yun Liu、Kunal Nagpal、Timo Kohlberger、Greg S. Corrado、Jason D. Hipp、Martin C. Stumpe

「雷克世界」編譯：嗯~是阿童木呀、KABUDA、EVA

最近，深度學習在包括眼科、皮膚科、放射科和病理學在內的醫學學科中的應用顯示出了極大的發展前景，可以提高世界各地患者對高質量醫療保健的準確度和可獲得性要求。在谷歌，我們也發表了一份研究結果，顯示一個卷積神經網路能夠檢測出淋巴結中的乳腺癌轉移，其準確度與經驗豐富的病理學家相當。然而，由於使用複合光學顯微鏡進行直接的組織可視化仍然是病理學家診斷疾病的主要手段，所以在病理學中廣泛採用深度學習技術的關鍵性障礙是依賴於對微觀組織的數字表示。

前不久，我們在美國癌症研究協會（AACR）年會上發表了演講，在一篇名為《用於實時自動檢測癌症的增強現實顯微鏡》（正在審查中）的文章中，描述了一個原型增強現實顯微鏡平台，我們認為，該顯微鏡（ARM）平台將有助於加速和民主化世界各地的病理學家對深度學習這一工具的採用。該平台由改進的光學顯微鏡組成，可實現實時圖像分析，並能夠將機器學習演算法的結果直接呈現在視野中。重要的是，僅使用低成本、易於獲得的部件，就可以將ARM改裝到世界各地的醫院和診所中現有的光學顯微鏡中，而不需要對組織的整個切片數字化版本進行分析。

現代的計算組件和深度學習模型（例如建立在TensorFlow上的模型）將允許大範圍的預訓練模型在此平台上運行。比如在傳統的模擬顯微鏡中，用戶通過目鏡觀察樣品。而機器學習演算法將其輸出實時投影到光路中。該數字投影在視覺上被疊加在樣本的原始（模擬）圖像上，以幫助觀看者定位或量化有用的特徵。重要的是，計算和視覺反饋的更新速度很快——我們目前的實現成果近似以每秒10幀的速度運行，因此當用戶通過移動玻片和/或改變放大率掃描組織時，模型輸出會不停頓地進行更新。

左圖：ARM的示意圖。數碼相機捕獲到與用戶相同的視圖（FoV），並將圖像傳送到一個能夠運行機器學習模型的實時推斷的附加計算單元。然後結果將被反饋到一個自定義的AR顯示屏中，該顯示屏與目鏡一致，並將模型輸出投影到與玻片相同的平面上。右圖：該圖展示了原型機已被改裝成典型的臨床級光學顯微鏡

原則上，ARM可以提供各種各樣的視覺反饋，包括文本、箭頭、輪廓、熱圖或動畫，並且能夠運行多種類型的機器學習演算法，旨在解決諸如目標檢測、量化或分類等不同的問題。

為了展示ARM的潛在用途，我們將其配置為運行兩種不同的癌症檢測演算法：一種檢測淋巴結標本中的乳腺癌轉移，另一種檢測前列腺切除標本中的前列腺癌。這些模型可以在4—40倍的放大倍數下運行，並且給定模型的結果可以通過用綠色輪廓列出所檢測到的腫瘤區域來顯示。這些輪廓有助於將病理學家的注意力吸引有用的區域中，而不會模糊潛在的腫瘤細胞外觀。

通過ARM鏡頭的樣本視圖。這些圖像顯示了使用具有4x、10x、20x和40x顯微鏡目標的淋巴結轉移模型所觀測到的樣本

雖然這兩種癌症模型最初都是在由一個具有完全不同光學配置的整個玻片掃描儀所獲得的圖像上進行訓練的，但這些模型在ARM上執行得非常好，且不需要進行附加的重新訓練。例如，在ARM上運行時，淋巴結轉移模型的曲線下面積（AUC）為0.98，我們的前列腺癌模型在視圖中國的癌症檢測（FoV）的AUC為0.96，只比在WSI上所得到的性能稍微低一些。我們認為，通過在直接從ARM本身所獲取的數字圖像上進行附加訓練，可以進一步提高這些模型的性能。

我們認為，ARM有潛力對全球健康產生重大影響，特別是對發展中國家傳染病（包括肺結核和瘧疾）的診斷。此外，即使在不久將要採用數字病理學工作流程的醫院中，ARM也可以與數字工作流程結合使用，即掃描儀仍面臨重大挑戰或需要快速周轉的數字工作流程（如細胞學，熒光成像或手術後的冷凍切片）。當然，光學顯微鏡在病理學以外的很多行業都被證明是有用的，我們相信ARM可以適用於醫療保健、生命科學研究和材料科學等廣泛的應用。我們很高興能夠繼續探索ARM將如何幫助加速採用機器學習，從而在全球範圍內產生積極影響。

論文簡述

目標

對玻璃玻片上的組織進行顯微鏡檢查是癌症診斷的黃金標準，並為癌症生物學提供了基本見解。利用數字圖像，人工智慧（AI）演算法已經被證明可以提高診斷的精確性，並提供無法單獨在玻璃組織玻片上呈現的定量指標；然而，這需要對數字病理學工作流程進行大量的投入。在本文中，我們描述了將現代AI集成到一種標準顯微鏡中，這種顯微鏡常規上用於檢查癌症試樣並進行基礎和轉化研究。

實驗設計

我們修改了一個標準光學顯微鏡，以內置實時AI功能。這要求將增強現實顯示器集成到光學器件中，訓練一個用於癌症檢測的深度神經網路，並以低延時運行連接到顯微鏡的AI演算法。作為樣本應用，我們訓練了AI演算法，以檢測前哨淋巴結中的轉移性乳腺癌和前列腺切除術試樣中的前列腺癌。

結果

將投影光學器件集成到現有的顯微鏡中，提供了一個無視差、高解析度的信息顯示，這些信息是通過機器學習對樣本進行覆蓋檢測得到的。該AI演算法是實時運行的，它使用來自相機的實時圖像饋送，並生成了高精度的癌症檢測結果。對該設備進行測試的病理學家報告了一種無停頓運行的體驗，提供了即時有用的信息。

結論

這種增強顯微鏡在研究和臨床應用方面有所應用，並且可以為基於整個玻片圖像的數字病理學提供一種補充技術。它的主要作用在於擴大現代AI演算法的可用性。

在本文中，我們提出了一種新型解決方案：集成了實時AI功能的增強型顯微鏡使這些AI演算法能夠被無縫集成到現有工作流程中和相對較低的設備成本中。通過利用最新的AI演算法，我們的顯微鏡修改有可能提高對於臨床實踐和轉移組織實驗的定量組織評估的速度、質量和精確度。

顯微鏡是解剖病理學中癌症診斷的黃金標準。它在上百年的時間裡，在各種各樣的試樣和染色劑中，都已經被證明是有效的。這些模擬顯微鏡對於患者的AJCC（American Joint Committee on Cancer，即美國癌症聯合委員會）癌症分期至關重要。該分期使得治療決策和預後決斷成為可能。對於病理分期，一位病理學家檢查了組織切片，以確定癌症的類型和等級、淋巴結的擴散和向其他器官的轉移。AJCC和臨床研究的最新版本要求病理學家對他們的組織或試樣檢驗提供更多的定量評估。例如，乳腺癌分期需要病理學家通過測量腫瘤病灶的最大尺寸和計數腫瘤細胞來量化前哨淋巴結的腫瘤數量。其他研究已經表明了計數腫瘤浸潤淋巴細胞的重要性。雖然這些任務耗時、乏味，並且表現出相當大的相互變異性和內部變異性，但它們有助於臨床醫生確定免疫治療計劃。最後，對人類表皮生長因子受體2（human epidermal growth factor receptor 2，HER2）、雌激素受體（Estrogen Receptor，ER）和孕酮受體（Progesterone Receptor，PR）免疫組織化學（immunohistochemistry，IHC）生物標記表達進行定量測量對乳腺癌治療的選擇至關重要。在癌症分類、治療和伴隨診斷方面取得的這些進展，對病理學家而言，增加了複雜度並提高了報告要求，在某些情況下，延伸了人類進行有效評估的能力。

作為一種潛在的解決方案，在人工智慧領域，特別是深度學習方面的最新進展，已經證明計算機系統能夠在醫學圖像分析中，完成人類智能水平的任務。研究還表明，將深度學習演算法應用於對癌症進行分類和檢測的完整的病理切片圖像中，將有效提高診斷準確率、量化能力和效率。然而，由於掃描儀、傳輸和存儲圖像所需的基礎設施以及對操作設備的人員進行培訓需要大量前期成本，因此數字病理學在臨床和轉化醫學領域的採用進展緩慢。

為了扭轉這一局面，將深度學習的優勢引入模擬世界，我們提出了一種增強光學顯微鏡，可以實時使用和顯示AI演算法的結果。與在傳統模擬顯微鏡下一樣，用戶可以通過目鏡觀測樣本，而人工智慧演算法可以看到與用戶眼中相同的樣本視圖，並將其預測結果實時投影到光路中。這個投影圖像被疊加在樣本的原始（模擬）圖像上。由於用戶仍能看到實際樣本，而非數字化版本，因此這一過程被稱為增強現實，所以我們將我們的顯微鏡稱為增強現實顯微鏡（ARM）。雖然我們在本文中著重討論了這一新技術在癌症診斷領域的應用，但ARM本身的應用並不局限於此，它同樣適用於生命科學及其他更多領域。

鑒於這些優勢和限制，我們認為，ARM的主要潛力在於將AI的服務範圍涵蓋至更多的用戶，而這些用戶在不久的將來不太可能會採用數字化工作流程。這其中包含數字工作流程一體化或經濟門檻過高的領域，例如小型實驗室或診所，尤其是在發展中國家，顯微鏡的部署較為容易，而推行標準化數字病理學解決方案則不切實際。在發展中國家，ARM在諸如傳染病檢測（例如：肺結核、瘧疾）等方面的應用尤為突出。即使在即將採用標準數字病理學工作流程的領域，仍有一些數字掃描儀面臨重大挑戰（例如：細胞學或熒光成像），或需要降低延遲（例如：冰凍切片），在這些領域，ARM可以同數字工作流程結合使用。

博客鏈接：

https://research.googleblog.com/2018/04/an-augmented-reality-microscope.html?m=1

論文鏈接：

https://drive.google.com/file/d/1WRBCqJItaGly-9PDSMlwQ5Ldhc8lB0lf/view

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！