對抗攻擊最新研究：僅修改「一個像素」即可騙過神經網路！

原文來源：arXiv

作者：Jiawei Su、Danilo Vasconcellos Vargas、Sakurai Kouichi（九州大學）

「雷克世界」編譯：BaymaxZ

最近的研究證實，深度神經網路（DNN）的輸出不是連續的，對輸入向量的微小擾動非常敏感，因此人們已經提出了幾種方法來制定對網路的有效擾動。在本論文中，九州大學的科研人員提出了一種基於差分進化演算法的極小對抗擾動（少像素攻擊）的新方法。它需要很少的對抗信息，對更廣泛的DNN模型類型有效。

結果表明，73.8％的測試圖像可以在一個像素上修改為對抗圖像，平均具有98.7％的置信度。另外，我們都知道，調查DNN的魯棒性問題可以為高維輸入空間理解DNN決策圖的幾何特徵提供關鍵線索。與以前的工作相比，進行少量像素攻擊的結果有助於對不同角度的幾何理解進行定量測量和分析。

但需要注意的是，這種攻擊在jpg格式下可能會失敗，比如說，壓縮或解壓縮過程去除或減少了一些像素，但該論文並沒有對此進行闡述。

介紹

在圖像識別領域，基於DNN的方法克服了傳統的圖像處理技術，甚至達到媲美人類的結果。然而，一些研究表明，對自然圖像的人為擾動很容易使DNN錯誤分類，因此提出了生成稱為「對抗圖像」的樣本的有效演算法。創建對抗圖像的主要方式是將少量的調整好的附加擾動添加到正確分類的自然圖像中，使人眼不可察覺。這種修改可能導致分類器將修改的圖像標記為完全不同的東西。然而，大多數以前的攻擊並沒有考慮到有些特殊的對抗案例，即修改的數量有時在實施中，是可以被肉眼識別出來的。此外，研究在有限場景下創建的對抗圖像更有趣，因為它們可能更接近源和目標類別之間的邊界，並且研究這些關鍵點可能會給出關於DNN輸入空間的幾何特徵的新見解。

圖1：僅修改了一個像素，我們的演算法生成的圖像便騙過了目標DNN。括弧內的標籤是目標類，而外部的標籤是它們的原始類。修改的像素可能不明顯，因此讀者必須仔細查看（點擊圖片查看大圖）

在本論文中，通過差分進化演算法擾動幾個像素（1024或1024像素中的1、3或5個像素），我們提出了一個黑盒DNN攻擊，我們稱之為「少像素攻擊」，只有可用的信息是概率標籤。 我們的建議主要有以下優點：

?能夠通過修改1、3或5個像素，發起非目標攻擊，成功率分別為73.8％、82.0％、87.3％，平均目標類別的概率標籤為98.7％。

?僅需要黑盒反饋（概率標籤），但不需要目標DNN的內部信息，如梯度和網路結構。我們的方法也更簡單，因為它不會將搜索擾動的問題抽象到任何明確的目標函數來解決，而是直接關注改進目標類的概率標籤值。

?可以攻擊更大範圍的DNN（例如，不可微分的網路或計算梯度比較困難的網路）。

我們使用少像素攻擊有兩個主要原因。

1）少像素攻擊可以在實踐中隱藏修改的效果。據我們所知，之前的論文都不能保證所做的擾動是完全看不見的。減輕這個問題的一個最直接的方法就是使擾動儘可能的小。具體來說，我們提出一個經驗解，而不是理論上提出額外的約束或考慮更複雜的擾動成本函數，而是通過嚴格控制32×32圖像中特定的1、3或5個像素中可修改的像素數量，即我們使用像素數作為單位，而不是擾動矢量的長度，以測量擾動強度，並考慮最差情況，對一個像素修改，以及另外兩個場景（即3和5像素）進行比較。

2）幾何上，以前的幾篇論文通過限制像素修改的強度，分析自然圖像的臨近區。例如，通用擾動為每個像素增加了小的值，使得它在自然圖像周圍的球體區域中搜索對抗圖像。另一方面，提出的少像素擾動可以被認為是使用非常低維的切片，切割輸入空間，這是探索DNN輸入空間特徵的不同方法。

根據實驗結果，我們工作的主要貢獻包括：

?使用少像素攻擊進行非目標攻擊的有效性。結果顯示，只有1個像素修改，有73.8％的圖像可以被擾亂為一個或多個目標類，在3個和5個像素攻擊的情況下，數據為82.0％和87.3％。我們證明，非敏感圖像甚至比敏感圖像更稀少，即使將擾動限制在這麼小的範圍內，因此，少像素修改是搜索對抗圖像的有效方法，但在實踐中幾乎不會被人眼識別出來。

?自然圖像可以偽裝的目標類的數量。在1個像素擾動的情況下，每個自然圖像平均可以擾動2.3個其他類。具體來說，有18.4％、17.2％和16.6％的圖像可以被擾亂到1、2、3個目標類。在5個像素擾動的情況下，可以被擾亂到1到9個目標類別的圖像的數量幾乎相等。

生成的對抗圖像的圖示。擾動是在總像素的約4％上進行的，並且可以很容易被人眼識別。 由於對抗像素擾動已經成為生成對抗圖像的常見方法，因此可以通過專業知識識別出這種異常「雜訊」。

?與特定目標類相似的擾動方向。通用擾動的有效性表明，許多圖像可以通過類似的方向進行擾動，使得決策邊界可能泄漏多樣性，而我們的結果表明，屬於同一類的數據點總是可以更容易地被擾亂到具有相同數量擾動（即1、3或5個像素的修改）。

?對高維輸入空間數據點分布的幾何理解。在幾何上，通過進行少像素攻擊獲得的信息也可以被認為是通過使用簡單的低維切片，切割輸入空間，而獲得的橫截面上的類別標籤的變化的定量結果。特別的是，我們的研究結果表明，一些決策域可能對許多不同的方向有很大的深度，但在這些深度區域內，決策域相當窄。換句話說，這些域可以在輸入空間中朝向不同方向具有許多長而薄的延伸突觸。

結論

在本論文中，我們提出了一種用於產生對抗圖像的基於差分進化演算法的方法。實驗結果表明，我們的建議在非常有限的條件下生成對抗圖像是有效的。例如，在理想的情況下，可以通過總共1024個像素中的一個像素擾動來完成。我們還討論了我們的結果如何有助於定量地了解高維輸入中DNN的幾何特徵。

附論文下載鏈接：https://arxiv.org/pdf/1710.08864v1.pdf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！