當心！醫療AI系統極易引發欺詐與錯誤狀況

來自哈佛大學的研究人員們已經在arXiv上發表了一篇論文，其中展示了首例對醫療系統的操縱方法。此項研究的第一作者及其同事在圖像識別模型當中使用投射梯度下降（簡稱PGD）攻擊，旨在誤導AI系統以使其得出並不存在於圖像中的結論。

來自哈佛大學的研究人員們已經在arXiv上發表了一篇論文，其中展示了首例對醫療系統的操縱方法。此項研究的第一作者Sam Finlayson及其同事Andrew Beam、Isaac Kohane在圖像識別模型當中使用投射梯度下降（簡稱PGD）攻擊，旨在誤導AI系統以使其得出並不存在於圖像中的結論。

PGD演算法能夠從圖像當中找出最理想的像素以創建對抗性示例，而這些示例將推動模型作出錯誤的對象識別結論，最終引發診斷錯誤。

該團隊在三種數據處理方案當中測試了這一攻擊手段：首先是用於檢測視網膜掃描結果以診斷糖尿病視網膜病變的眼底檢查模型; 另一種為掃描胸腔x光片以查看肺萎縮癥狀的模型; 最後則是用於檢查痣中皮膚癌徵兆的皮膚鏡模型。

為了增加測試範圍，該團隊還使用了兩種技術。首先是白盒攻擊，即假定黑客已經擁有用於解釋模型工作方式的所有資源; 接下來是黑盒攻擊，即假定黑客無法理解AI模型的起效原理。

在應用PGD演算法之後，所有三種模型的準確性水平都在白盒攻擊之下由極高下降為零; 黑盒攻擊同樣能夠將準確度降低超過60%。

白盒與黑盒PGD攻擊前後，三種不同圖像分類模型的準確性水平。

Finlayson與Beam在接受採訪時解釋稱，PGD攻擊能夠進行多次迭代，從而對修改過的圖像作出進一步微調。雖然調整結果很難被人類所分辨，但卻可以有效愚弄AI系統甚至導致其對某些對象視而不見。

「令人驚訝的是，這一過程導致的變化往往非常細微，以至於人眼根本無法識別。但在另一方面，神經網路會認為圖像中包含著完全不同的內容。」

人工智慧——聰明，但又令人難以置信的愚蠢

眾所周知，圖像識別模型極易受到愚弄。舉例來說，對於一張經過精心設計的對抗性海報，這類模型會將其中極為明顯的香蕉誤認為為烤麵包機。而在實踐場景下，這意味著自動駕駛汽車可能會誤讀標誌，或者面部識別系統無法正確判斷人臉信息。

這篇論文指出，醫學領域「可能會受對抗性攻擊受到特殊影響，且這類惡意行為往往存在著顯著的動機——包括經濟刺激及技術漏洞等。」

目前，大多數效能最出色的圖像分類器普遍利用ImageNet等開源模型構建而成。這意味著攻擊者對於系統的工作原理可以具備良好的認知，並更有可能以此為基礎成功攻擊其它AI模型。

當人工智慧技術被引入臨床環境之後，我們無法確定未來的醫學專業人員還需要掌握多少深厚的專業知識。但就目前來講，Finlayson與Beam表示此類對抗性攻擊主要屬於探索性研究。

並解釋稱，「大家需要對數學及神經網路具備一定了解，才能正確構建起對抗性示例。然而，整個流程可以輕鬆實現自動化，並通過應用程序或網站進行發布，以便非專家們隨時加以利用。」

另外，研究團隊希望這項研究能夠激勵從業者們更積極地研究相關議題，進而發現一切可能的基礎設施防禦措施，最終以更安全的方式利用圖像識別為病患以及醫護人員服務。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！