UC 伯克利的實物對抗性樣本研究：穩定騙過 YOLO和Faster R-CNN

雷鋒網 AI 科技評論按：自從Ian Goodfellow 等人發現經過細微修改的正常照片就可以成為能騙過神經網路圖像分類器的「對抗性樣本」以來，這種現象就引起了越來越多研究者的關注，相關的研究成果也越來越多。

之前我們就報道過來自 UIUC 的研究成果：「對抗性樣本是紙老虎，一出門就不好使」，表明作為電子文檔時可以輕易騙過圖像分類器的對抗性樣本，列印成實物、經過鏡頭拍攝之後效果就大大減弱；另一項 OpenAI 的研究則顯示出，可以修改出不同強度的對抗性樣本，修改程度越高就對視角變換越魯棒、越能夠穩定騙過分類器，不過在人眼看來也就越發不自然。

下面這篇來自 UC 伯克利大學人工智慧實驗室（BAIR）的研究博客（兼論文預告）進一步研究了如何騙過物體檢測器，是對抗性樣本研究方向上的另一個新成果。雷鋒網 AI 科技評論對其進行了全文編譯。

深度神經網路（Deep Neural Networks, DNNs）使得大量的應用領域獲得了極大進步，包括圖像處理、文本分析和語音識別。DNNs 也正逐漸成為許多信息物-理系統的一個重要組成部分。例如，無人駕駛汽車的視覺系統會利用 DNNs 來更好地識別行人、車輛和道路標誌。然而，近期的研究表明，DNNs 易受對抗樣本攻擊：在輸入中小心地添加人造對抗性干擾可以誤導被攻擊的 DNN 系統，使其在使用時不能正確對人、交通工具和路標分類。這些對抗樣本在現實世界中會引發個人和社會的安全隱憂。比如，帶對抗式性擾動的輸入會誤導自動駕駛車輛的感知系統，使其錯誤地對路標分類，從而帶來潛在的災難性後果。

現有一些技術可用來生成對抗樣本以及防禦它們。在這篇博客中，我們簡要地介紹下最先進的生成數字對抗樣本的演算法，然後討論我們在各種環境條件下基於真實物體生成對抗樣本的演算法。我們將提供我們為目標檢測器生成真實對抗樣本所做努力的最新情況。

數字對抗樣本

在白盒條件下，生成對抗樣本已經提出了許多不同的方法，此時對抗器可以知道深度學習網路所有信息。白盒條件下假設存在一個強大的對抗器，且能夠幫助未來開發萬無一失的防禦系統打下堅實基礎。這些方法有助於理解數字對抗樣本。

Goodfellow 等提出了快速梯度法，應用損失函數的一階近似來構建對抗樣本。

也有人提出基於優化的方法來為針對性攻擊創建對抗性干擾。特別地，這些攻擊構造了一個目標函數，其求解過程尋求最大化輸入數據的真實標籤與攻擊者期望的目標標籤之間的差異，同時在某種相似度下最小化輸入數據之間的差異。在計算機視覺的分類問題中，一個常用的度量方法是輸入向量的 L2 範數。通常地，具有較低 L2 距離的輸入樣本之間互相接近。因此，計算出對人眼來說非常相似但對分類器來說非常卻不同的輸入數據是可行的。

近期的研究工作驗證了數字對抗樣本的黑盒遷移能力，即在黑盒條件下生成對抗樣本也是可行的。這些技術涉及在一個白盒下的已知模型上生成對抗樣本，然後到待攻擊的未知模型上測試它們。

實物對抗樣本

為了更好地理解這些脆弱性， 有大量的工作是研究物質世界中對抗樣本是如何影響 DNNs 的。

Kurakin 等的研究表明通過智能手機攝像頭去分類列印在紙上的對抗樣本，容易被錯分。Sharif 等人通過在人臉眼鏡框幀上添加對抗性干擾攻擊了人臉識別系統。他們的工作表明在相對穩定的真實條件下，微小的姿態變化、攝像頭距離或角度變化、以及光照變化，都可以成功地進行實物攻擊。這為理解穩定環境下實物對抗樣本貢獻了一個有趣的解釋。

我們近期的研究「深度學習模型中魯棒的實物攻擊」已經展現出了對分類器的實物攻擊。合理的下一步是，我們對檢測器展開攻擊。這些計算機視覺演算法識別出一個場景中的相關物體並預測一個包圍框，表示物體的位置和類別。與分類器相比，檢測器更難欺騙，因為它們在預測時處理整個圖像且使用上下文信息（例如目標物體在場景中的方向和位置）。

YOLO 檢測器是一個流行的、實時的先進演算法，我們展示在其上進行實驗的實物對抗樣本。我們的例子以貼紙干擾的形式放在真實的停車路標上。下面的圖片是我們的實物對抗干擾的例子。

我們還執行了動態測試，通過記錄一個視頻來測試檢測器的性能。從視頻中可以看出，YOLO 網路在幾乎所有的幀上都不能識別出停車路標。如果一個真實的自動駕駛車輛在路面行駛，路過一個帶對抗性特徵的禁止通行路標，那麼它將看不到停車路標，從而可能在交叉路口導致車禍。我們創建的干擾對距離和角度變化魯棒—-這是無人駕駛場景中最常見的變化因素。

GIF

動態測試 1：YOLO 識別帶有對抗性貼紙干擾的停車路標

GIF

動態測試 2：YOLO 識別帶有對抗性貼紙干擾的停車路標

更有趣的是，為 YOLO 檢測器生成的真實對抗樣本同樣也能欺騙標準的 Faster R-CNN 網路。我們的視頻包含一個在 Faster R-CNN 上進行的實物對抗樣本的動態測試。由於這是在 Faster R-CNN 上進行的黑盒攻擊，其不如在 YOLO 案例中那樣成功，這是預期的結果。我們相信，增加其他技術（如集成訓練），黑盒攻擊會更加高效。此外，特別為 Faster R-CNN 優化一個攻擊器能產生更好的結果。我們正在寫一篇論文，探究這些攻擊的更多細節。下面的圖片是 Faster R-CNN 不能識別出停車路標的例子。

GIF

動態測試 3：為 YOLO 生成的真實對抗樣本對 Faster R-CNN 做黑盒遷移測試

在兩種案例中（YOLO 和 Faster R-CNN），僅僅當攝像頭離停車路標非常近時才能檢測出來（大約 3 至 4 英尺）。在真實場景中，這個距離對於車輛來說太近了從而不能採取有效的糾正措施。請繼續關注我們即將發表的論文，其包含了關於演算法的更多細節和在先進的物體檢測器上的實物干擾的結果。

攻擊演算法概述

這個演算法是基於我們前期分類器攻擊的工作。本質上，我們採用一個優化方法來生成對抗樣本。然而，我們的實驗經驗表明，為檢測器產生魯棒的實物對抗樣本相比欺騙分類器需要模擬一套更大的不斷變化的真實環境。這是可能是因為檢測器在預測時需要考慮更多的上下文信息。演算法的主要特性包含指定真實環境模擬中序列的能力，以及指定平移不變性的能力。即一個干擾無論目標物體位於場景中的哪個位置都應該是有效的。由於一個物體可在場景中自由地移動，這取決於觀察者的角度，不為這種情況優化的干擾很可能在物體移動時失效。針對該課題，我們即將出來的論文會包含該演算法的更詳細信息。

潛在的防禦

給定這些實物對抗樣本和數字對抗樣本，可能的防禦方法已有廣泛研究。在這些方法當中，有幾種類型的對抗訓練方法是很有效的。Goodfellow 等首次提出採用對抗訓練作為提高 DNNs 魯棒性的有效方法，而 Tramer 等將它擴展到對抗學習。Madry 等通過對抗樣本的迭代訓練也提出了魯棒的網路。要進行對抗訓練，就需要一個更大的對抗樣本數據集。此外，集成訓練表明，如果這些對抗樣本來自不同的模型，那麼就能使得防禦更加魯棒。集成對抗訓練的好處在於提升對抗樣本的多樣性，使得模型能搜索整個對抗樣本空間。同樣，也存在幾種不同的防禦模型，但是 Carlini 和 Wagner 表示沒有任何現有防禦方法是魯棒的，即使是自適應攻擊。

總之，為了找到防禦這些對抗樣本的最佳防禦策略，我們還有很長一段路要走，我們將滿懷期待地探索著這個激動人心的領域。

via:BAIR，雷鋒網 AI 科技評論編譯、

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！