無人駕駛目標檢測會遭到對抗樣本干擾？也許你的擔心是多餘的！

原文來源：arxiv

作者：Jiajun Lu、Hussein Sibai 、Evan Fabry、David Forsyth（伊利諾伊大學厄巴納―香檳分校）

「機器人圈」編譯：嗯~阿童木呀、多啦A亮、BaymaxZ

現如今，機器學習在人工智慧領域有著廣泛的應用，而事實表明，大多數機器學習演算法很容易受到對抗樣本的干擾。在圖像空間中一個精心挑選好的方位對圖像進行輕微干擾，就可能導致已訓練神經網路模型對圖像進行錯誤分類。最近，有樣本顯示，這種情況也存在於物理對抗樣本中：將被干擾的圖像列印出來，然後把他們拍成照片，這樣操作後的結果仍然會導致錯誤分類，這一系列的樣本引發了大家對於安全問題的思考。

然而，這些實驗忽略了物理對象的一個重要屬性：相機可以從不同距離和不同角度查看對象。在本文中，我們演示了實驗，其結果表明，目前物理對抗樣本的結構不會造成移動平台的物體檢測。相反，一個訓練好的神經網路絕大部分情況會從不同距離和角度拍攝對抗樣本。我們認為這是因為干擾樣本對抗部分的比例對於整個查看過的干擾樣本圖片足夠敏感，所以，（例如）一輛無人駕駛汽車只有在非常小的範圍內才會錯誤識別停止標誌。

我們的研究成果引出了這樣一個重要的問題：我們能夠構建一種對於許多或者大部分檢測情況都對抗的樣本么？如果是這樣，構建過程應該可以提供非常深刻的見解，以便通過深度網路來認知圖案的內部表達。如果不是這樣的話，那麼前景十分光明：對抗樣本可以逐步減少，直至幾乎不受任何實際影響。

現如今，深度神經網路正在如圖像分類、語音識別，這樣具有挑戰性的任務上大獲成功。鑒於神經網路的架構，其參數由一個基於有限輸入空間集的訓練演算法選擇，其被稱之為訓練集。

但是，對於輸入來說，一個精心挑選的小干擾可能會導致不同的答案。在這種情況下，新的輸入被稱之為對抗樣本。例如，它可以干擾圖像從而導致神經網路進行錯誤分類，而與此同時，這種變化足夠的小，以至於人眼無法察覺。更糟的是，我們發現，這些干擾廣泛存在於不同的神經網路架構和訓練數據集中。這意味著干擾者可以訓練分類器並使用它來生成圖像的對抗版本，然後使用它來愚弄另一個模型。

在過去幾年中，研究人員試圖解釋為什麼神經網路對這樣的樣本很敏感，儘管他們在隨機測試數據集上取得了很大的成功，提出了新的方法來產生對抗性樣本並測量神經網路對其的魯棒性，並提出了改進網路對這些樣本的魯棒性的方法。在這些情況下，對抗性干擾被添加到數字圖像中，然後將其作為輸入饋送到神經網路。

那麼，一個自然而然的問題是，如果使用相機從物理世界拍攝的圖片作為輸入，那這些被干擾的的圖像是不是確實是對抗性的？實際上它們可以像Kurakin、Goodfellow和Bengio所著的《物理世界的對抗性樣本》 中展示的那樣。在那篇文章中，作者使用Goodfellow、Shlens和Szegedy所著的《解釋並應用對抗性樣本》 中提出的快速方法及其中的兩個迭代版本，從ImageNet數據集中創建了圖像的對抗樣本。然後他們列印了這些樣本，並使用手機相機拍攝照片。圖像作為輸入傳遞給訓練後的神經網路，以證明輸入結果仍然是被錯誤分類的。這表明對抗性干擾樣本對於相機和電話處理產生的轉換和雜訊是魯棒的。

在Sharif、Bhagavatula、Bauer和Reiter.所著的《追究犯罪行為：最先進的臉部識別技術中的真實和隱身的干擾》中，提出了對面部檢測系統的另一次衝擊。作者展示了黑白盒方法來列印太陽眼鏡，導致最先進的臉部識別系統將干擾者臉部錯誤分類到特定或任意其他臉部。類似於《物理世界的對抗性樣本》中闡述的那樣，照片是從短距離拍攝的，且為每張圖像只拍攝了一張照片。

這些實驗引發了嚴重的安全和安保問題，特別是當這些網路涉及安全關鍵系統（如無人駕駛車輛）時。例如，將人類通常不會注意到的微妙的對抗干擾，填加到停車標誌上，使其被錯誤分類為最低限速標誌，可能導致致命的車禍。

在本文中，我們利用實驗表明，物理對抗樣本概括對象檢測器的多個距離和角度。具體來說，研究結果表明，無論加上停車標誌的物體對抗干擾多麼易於或難以察覺，大部分從汽車上相機取景的視頻幀都將被正確分類。因此，無人駕駛汽車的控制器將這些幀作為輸入，在大部分時間裡都會作出正確的決定。

我們針對YOLO檢測器和交通標誌分類器生成了對抗性樣本，然後列印出這些對抗圖像。我們模擬了汽車駛過這些列印圖像的過程，並查看了YOLO檢測器的檢測率。具體來說，我們做了以下步驟：

1.我們駕車，同時在副駕駛位置用一部iPhone7手機拍攝了180張停止標誌的圖片。在不同的照明條件下，從各種不同的角度和距離拍攝照片。這些樣本代表了《物理世界的對抗性樣本》中的平均情況，它們是由正常駕駛條件生成的隨機樣本，它們並不意味著代表極端天氣和照明條件。

2.我們安裝了預訓練的開源對象檢測器Darkflow（YOLO）。該模型在MSCOCO數據集上進行了預處理，其中包括停止標誌類。對於收集的前100幅圖像，我們使用三種不同方法，基於Darkflow檢測器生成了三個對抗圖像。

3.我們使用德國交通標誌數據集，從頭開始訓練了一個VGG16交通標誌分類器。但是，該分類器無法識別美國的停止標誌。為了解決這個問題，我們將收集到的前150個停止標誌圖像添加到訓練集中。對於剩餘的30張圖像，我們使用三種不同的方法生成了對抗性樣本。

4.我們計算了全尺寸非裁剪數字原始圖像和擾動圖像的檢測率。結果顯示在表1的第三列中。

5.我們從前100個收集的乾淨圖像中手動裁剪停止標誌，並為檢測器中的每一個生成三個擾動版本。裁剪停止標誌及其擾動版本的樣本如圖1所示。我們檢查了這400個數字圖像的檢測率，結果顯示在表1第四列的前四行中。我們還裁剪並生成針對分類器的最後30張圖像的對抗樣本，結果顯示在同一列的最後四行中。圖2中顯示了一個裁剪乾淨標誌的樣本及其針對分類器的擾動版本。

圖1：YOLO檢測器的對抗樣本（無干擾和其他三種干擾）。在這種情況下，對抗擾動具有相對較高的頻率，因此擾動從近距離更可見，遠距離不能保持可見性。

圖2：交通標誌分類器的對抗樣本。在這種情況下，對抗擾動具有相對低的頻率，因此擾動從遠距離相對更明顯。

6.我們在A4紙上列印了所產生的（100 + 30）×4個裁剪停止標誌的圖像，然後從0.5米到1.5米兩個距離拍攝照片（圖3）。請注意，我們選擇了這些距離，因為A4紙（8.27英寸×11.7 英寸）遠小於實際的美國停車標誌（18英寸×18英寸，24英寸×24英寸，或30英寸×30英寸），這意味著從這些距離拍攝照片，相當於從汽車相機那裡拍攝幾米的真實停車標誌。然後，我們計算了這些攝影照片的檢測率。結果顯示在表1的第六列中。我們在圖4中，展示了一個樣本，該樣本將四個圖片放置在一起，干擾同樣失效。（照片使用Logitech C922 Pro攝像機拍攝；使用的印表機是imageRUNNER ADVANCE C5030）。

圖3：我們使用列印的停車標誌來模擬具有自然背景的實際停車標誌。這些是成功的0.5米和1.5米檢測的樣本：在兩個距離檢測到原始圖像和對抗樣本。它表明在物理環境中的對抗性樣本不能可靠地欺騙停車標誌檢測器。

圖4：一起檢測四個圖像的樣本。一個原始的非對抗停車標誌和三個不同的對抗停車標誌都被檢測為停車標誌。這意味著對標誌檢測器的對抗性干擾失敗。

表1：該表總結了物理對抗性干擾實驗。所有評估均使用預訓練的YOLO檢測器進行，DR表示停止標誌檢測率。表格的上半部分總結了從檢測器生成的對抗性樣本，下表總結了從分類器生成的對抗樣本。Ori DR表示具有停止符號的全場景圖像的檢測率。Crop DR表示在靠近停止標誌邊緣裁剪的圖像上的檢測率。我們列印原始和各種對抗停止標誌，並將它們放在不同的距離。物理DR是指這些重新拍攝的圖像的檢測率（見圖3）。Relative DR表示相同的設置對抗圖像和原始圖像之間的相對檢測率。破壞率（Destruction Rate）的計算過程見第3節。從表中可以看出，1.5米處探測器的對抗樣本的破壞率很高，0.5米處的破壞率可能很高。這意味著物理探測器的對抗干擾在不同距離之間是不成功的，特別是當距離很遠並且小圖案不可見時。分類器的對抗樣本的破壞率隨著快速簽名干擾（Fast Sign attack）的距離而變化，迭代干擾（Iterative attack）仍然相對較高，對於LBFGS干擾而言也是很高的。這表明物理分類器對抗干擾在不同距離之間也不成功。

總而言之，在本文中，我們經驗地表明，即使對抗性擾動可能導致深層神經網路檢測器在從特定距離和角度範圍拍攝照片時，物理環境中的停車標誌圖像誤檢，但是它們不能可靠地從不同距離和角度的範圍欺騙對象檢測器。我們使用三種不同的對抗干擾方法收集停止標誌的圖像，併產生擾動版本，干擾分類器和對象檢測器。我們使用YOLO檢測器來測試和測量所有這些圖像的檢測率。然後，我們列印他們，從不同的距離拍攝照片，並檢查在每個距離沒有保持對抗（破壞率）的擾動版本的分數。在大多數情況下，破壞率高，當距離增加時，破壞率增加。最後，我們展示了一個小小的實驗，我們拍攝的角度也可以改變對抗性擾動的有效性。

總之，應用於停止標誌檢測的現有對抗擾動方法（使用我們的數據集和對照實驗）只能在非常仔細挑選的情況下才有效，我們的初步實驗表明，在許多實際情況下，特別是無人駕駛車輛，我們可能不需要擔心。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！