對抗樣本到底會不會對無人駕駛目標檢測產生干擾？又有人質疑了！

GIF/1.7M

原文來源：arXiv

「機器人圈」編譯：嗯~阿童木呀、BaymaxZ

7月中旬，來自伊利諾伊大學厄巴納―香檳分校的4位研究人員Jiajun Lu、Hussein Sibai 、Evan Fabry、David Forsyth發布了一篇關於對抗樣本的論文，名為《不用擔心無人駕駛汽車在目標檢測中的對抗樣本（NO Need to Worry about Adversarial Examples in Object Detection in Autonomous Vehicles）》（機器人圈第一時間進行了報道：點擊此鏈接查看詳情）該論文認為，應用於停止標誌檢測的現有對抗擾動方法只能在非常仔細挑選的情況下才有效，在許多實際情況下，特別是無人駕駛不需要擔心，因為一個訓練好的神經網路絕大部分情況會從不同距離和角度拍攝對抗樣本。此文一發，立馬引起了爭議。

OpenAI在第一時間便在自己的博客上進行了回擊，他們認為物理世界是有穩定的對抗樣本的，詳見（https://blog.openai.com/robust-adversarial-inputs/）。

這不，又有人反駁了。來自華盛頓大學、密西根大學安娜堡分校、紐約州立大學石溪分校、加利福尼亞大學伯克利分校的8名工作人員，他們提出了一種新的攻擊演算法，而這種演算法有效地把無人駕駛的神經網路給「黑」了，我們一起來看看，他們是如何做到的。

眾所周知，基於深度神經網路的分類器很容易受到對抗樣本的影響，即通過添加小幅度干擾而從導致對輸入的錯誤分類。然而，最近的研究結果表明，這種對抗樣本在現實世界中並不是非常有效的——它們完全不會導致錯誤分類，或者僅在相對複雜的圖像受到干擾且列印在紙上的限制性情況下才會發生。在本文中，我們提出了一種新的攻擊演算法——魯棒物理干擾（RP2）——通過在不同條件下拍攝圖像以產生干擾。我們的演算法可以產生模擬破壞或藝術的空間約束性干擾，以減少偶然觀察者檢測到的似然值。我們展示了RP2所產生的對抗樣本通過使用捕捉物理世界條件的評估方法，在各種條件下實現真正的道路標誌識別的高成功率。實際上，我們實現並評估了兩次攻擊，一個是以100％的概率將停車標誌錯誤分類為測試條件的速度限制標誌，另一個以100％的概率將右轉標誌錯誤分類為測試條件下的停車或添加車道標誌。

從語音處理到醫療診斷，儘管深度神經網路（DNN）已經在很多領域取得了巨大的成功，但最近的研究結果表明，它們很容易受到對抗干擾。對DNN輸入所進行的這種惡意製作的改變將會導致它們以一種意想不到的和存在潛在危險的方式行事。

然而，這種攻擊在現實世界中的有效性卻受到並行和獨立研究的質疑。一方面，Jiajun Lu等人研究了快速梯度符號法、迭代法和L-BFGS演算法，並聲稱，當列印在紙上時，不同的觀察條件（改變角度和距離）對路標分類器所產生的干擾是無效的。另一方面，Athalye和Sutskever表明，更複雜的演算法可以產生受干擾圖像，當列印出來時，這些圖像對相機視角的變化具有很好的魯棒性。

雖然以前的研究在對現實世界分類器的攻擊方面取得了顯著進展，但是仍然存在幾個有關現實可實現性的關鍵缺口。首先，對目標的背景添加干擾是不可行的。第二，在諸如路標等簡單的目標中隱藏干擾，要比在用於並行工作中的複雜圖像中進行此操作困難得多。第三，對干擾的不可察覺性有附加的物理性限制——當前的方法產生非常高度微妙的干擾，以致相機可能無法在廣泛變化的條件（長距離和廣角）中對它們進行捕捉。

在此項研究中，我們探討了以下幾個關鍵問題：「是否有可能在物理世界的目標上製造出具有魯棒性而又微妙的對抗干擾？」而我們之所以專註於路標分類，主要是因為其在道路安全和安防方面的關鍵功能。如果是攻擊者能夠以物理性的和具有魯棒性的方法來操縱路標，如通過基於機器學習的視覺系統將停車標誌解釋為速度限制標誌，然後可能導致嚴重的後果。我們的目標是深刻地研究物理世界的細微差別，並且證明，在現實假設下物理對抗干擾可以強有力地存在。

創造物理世界中的對抗干擾需要克服幾個基於環境因素的挑戰：

（1）車輛相機與道路標誌之間的距離要根據具體道路、特定車輛、車道數量和車輛相對於標誌的位置而不斷變化；

（2）攝像機的角度相對於標誌的變化；

（3）照明；

（4）路標上或車輛上的碎片。

此外，物理干擾製造過程中存在的缺陷可以降低攻擊的有效性。因此，用於車輛視覺的DNN中的具有魯棒性和有效性的攻擊必須能夠容忍多個誤差源。此外，當前的對抗演算法旨在創建人類不可察覺的干擾。在物理世界中，不可察覺性會影響干擾的魯棒性——道路標誌的修改可能非常微妙，以至於攝像機可能無法察覺到這些變化。此外，可以添加干擾的區域是非常有限的。在數字圖像中，演算法可以在各個地方自由地添加干擾，包括拍攝圖像時路標後面出現的任何背景圖像。在物理世界中，在標誌的背景中添加干擾是不可行的（因為沒有固定的背景），從而限制了路標本身的干擾。

通過我們對以上問題的分析，以及最近的研究，我們設計和評估了魯棒物理干擾（RP2），第一種攻擊演算法，即針對改變攝像機的距離、角度和解析度的魯棒性。RP2僅僅干擾的是標誌的區域，而不是實際中變化的背景。我們為目標函數添加一個掩碼矩陣，以實現干擾的空間約束性。

使用這種提出的演算法，我們引入了兩類物理攻擊：

（1）海報列印攻擊（poster-printing attacks），即攻擊者在紙上列印實際大小的路標並將其覆蓋到現有標誌上。

（2）貼紙攻擊（sticker attacks），即攻擊者僅僅編造干擾，然後把它們粘在現有的路標上。

為了使我們的攻擊對人類觀察者來說不那麼顯眼，我們生成的是看起來相對常見的具有破壞行為的的貼紙干擾。對於海報列印攻擊，我們展示的一些非常微妙的干擾——佔據整個標誌區域的小幅度干擾（不包括任何背景圖像，且只有非常仔細的觀察者才會注意到）。對於貼紙攻擊，我們展示了塗鴉和抽象藝術的偽裝攻擊。我們的兩個攻擊類都不需要特殊的資源——只需要彩色印表機和相機就行了。

我們在不同距離、角度和解析度下的道路標誌分類器上所進行的實驗結果表明，我們可以創建魯棒的物理攻擊：在一個具有真正的停車標誌與偽裝抽象藝術干擾的貼紙攻擊中，我們展示了在所有受控測試條件下，停止標誌被可靠地錯誤分類為速度限制45標誌。因此，RP2回答了一個關鍵的基本問題，即現實世界中圖像分類器對對抗輸入的敏感性問題。

在最近的研究中，主要探討了在現實世界中的對抗干擾是否有效。我們將現存的這些干擾分為兩種類型：

（1）微妙干擾（subtle perturbations），即干擾的幅度太小，以至於一般的人類觀察者感受不到；

（2）偽裝干擾（camouflage perturbations），即干擾的幅度不一定是非常小，但是主要集中於定義區域，且以諸如塗鴉或是藝術這類不起眼的形式存在。

下面我們就來簡單了解一下微妙干擾。

Kurakin等人已經展示了當觀察通過智能手機拍攝的照片時，列印對抗樣本是如何被錯誤地分類的。這種攻擊巧妙地處理了圖像的數字化表示，然後列印出被處理的圖像，即通過智能手機攝像頭將圖像輸入給分類器。意識到這種對道路標誌的攻擊在物理上可能會引起人類觀察者的關注，因為這種方法需要將干擾添加到路標的背景中（除了在圖像中添加干擾）。請參閱下圖1，以了解我們所說的背景圖像。

當前的對抗深度學習演算法擾亂了背景圖像（波動區域）以及主要對象（停車標誌）。

在現實世界中，沒有固定的道路標誌——它可以根據觀察者的視角變化而變化。這意味著，Kurakin所述的攻擊的物理部署需要在紙上列印出背景，當然路標本身是不需要的。背景是對環境的一個非常明顯的補充。與此相反，我們引入了一種基於優化的方法，它將空間約束限制在道路標誌的區域內。此外，我們在空間約束性干擾也可以應用到列印出來的路標上，也可以以「貼紙攻擊」的形式應用到現有的物理路標上。此外，通過我們的評估方法，我們發現我們的攻擊對更廣範圍的不同的距離和角度來說是強大的。

表一：具有海報列印停車標誌以及真實停車標誌的目標物理干擾實驗的綜合結果。在所有的攻擊中，我們試圖將停車標誌錯誤分類到速度限制45標誌，並且我們報告了前兩個類以及置信度值。偽裝攻擊以「愛恨（LOVE HATE）」字樣的形式增加了干擾。抽象藝術攻擊為標誌添加了兩個黑色和兩個白色矩形。微妙攻擊將整個區域的干擾傳播到整個區域。每個攻擊列都列出了分類器做出的前兩個預測以及預測的置信度。圖例說明：SL45 =速度限制45，STP =停車，YLD =產量，ADL =增加車道，SA =信號提前，LE =車道末端。

表2：在不同距離和角度上進行的右轉標誌—海報列印干擾（褪色箭頭）。 測試條件下，我們的攻擊獲得66.7％的成功。

下面我們展示一些表一和表2中所提及的實驗樣本圖像。

微妙海報實驗中從不同距離和角度拍攝的實驗圖像樣本。從右到左：（a）5"0°（b）5"15°（c）10"0°（d）10"30°（e）40"0°

右轉標誌實驗中從不同距離和角度拍攝的實驗樣本圖像。從右到左：（a）5"0°（b）5"15°（c）10"0°（d）10"30°（e）40"0°

偽裝塗鴉貼紙實驗從不同距離和角度拍攝的實驗樣本圖像。從右到左：（a）5"0°（b）5"15°（c）10"0°（d）10"30°（e）40"0°

結論

在本文中，我們引入了具有魯棒性的物理干擾（RP2），即一種具有魯棒性的，物理上可實現的對抗干擾演算法。以前的演算法假設DNN的輸入可以通過數字化修改來實現錯誤分類，但這樣的假設是不可行的，因為具有DNN輸入控制權的攻擊者可以用他所選擇的輸入替代它。因此，對抗攻擊演算法必須在物理上實施干擾，在這樣做時，需要考慮到所面臨的新的挑戰，如由於距離、攝像機角度、不同的照明條件和標誌的遮擋等所帶來的視角的改變。此外，在干擾的生成過程中由於印表機中的色域有限而引入了新的錯誤源。

我們使用RP2創建兩種類型的干擾：微妙擾動，這對整個標誌來說非常的小，以至不可檢測的變化；偽裝干擾，這是一種以塗鴉或藝術形式呈現的的可見干擾。當停車標誌被列印出來時，微妙干擾在不同的物理條件下100%地愚弄了分類器。而當只將干擾添加到標誌中時，分類器就被迷彩的塗鴉和藝術干擾所迷惑，分別在不同的物理條件下達到66.7%和100%地愚弄了分類器。最後，當一個沒有目標的海報偽裝干擾被覆蓋在一個右轉標誌上時，這個分類器將會被100%地愚弄。在未來的工作中，我們將計劃通過改變我們在本文中沒有考慮到的其他一些條件進一步測試我們的演算法，，例如標誌遮擋等。

了解更多信息，歡迎下載論文原文：https://arxiv.org/pdf/1707.08945v1.pdf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！