谷歌大腦研究人員展示可以劫持神經網路的對抗攻擊方法

AiTechYun

編輯：chux

計算機視覺演算法並不完美。就在本月，研究人員證明了一種流行的物體檢測API可能會被人誤以為貓是「瘋狂的被子」和「玻璃紙」。不幸的是，這不是最糟糕的：它們也可能被迫計算圖像中的方塊，對數字進行分類，並執行預期任務之外的任務。

在Arxiv上發表的題為Adversarial Reprogramming of Neural Networks的論文中，谷歌人工智慧研究部門Google Brain的研究人員描述了一種實際上重新編程機器學習系統的對抗方法。轉移學習的新形式甚至不需要攻擊者指定輸出。

研究人員寫道：「我們的研究結果首次證明了目的是重新規劃神經網路的對抗攻擊可能性，這些結果證明了深度神經網路中令人驚訝的靈活性和脆弱性。」

以下是它的工作原理：惡意攻擊者可以訪問正在執行任務的對抗神經網路的參數，然後以轉換的形式引入擾動或對抗數據，以輸入圖像。隨著對抗性輸入被饋送到網路中，它們將其學習的功能重新用於新任務。

科學家在六種模型中測試了該方法。通過嵌入來自MNIST計算機視覺數據集的操縱輸入圖像（黑色幀和白色方塊的範圍從1到10），他們設法獲得所有六種演算法來計算圖像中的方塊數，而不是識別像白鯊或鴕鳥這樣的對象。在第二個實驗中，他們強迫它們對數字進行分類。在第三次也是最後一次測試中，他們讓模型識別來自CIFAR-10（一個物體識別資料庫）的圖像，而不是最初訓練它們的ImageNet語料庫。

攻擊者可以竊取計算資源，例如，通過重新編程雲託管照片服務中的計算機視覺分類器來解決圖像驗證碼或挖掘加密貨幣。儘管該論文的作者沒有在復現神經網路（一種常用於語音識別的網路）中測試該方法，但他們假設成功的攻擊可能會導致這類演算法執行一系列非常廣泛的任務。

研究人員寫道：「對抗性程序也可以作為一種新的方式來實現更傳統的計算機攻擊，例如，隨著手機普遍充當人工智慧驅動的數字助理，通過將某人的手機暴露於對抗性圖像或音頻文件來重新編程，這種可能性會增加。由於這些數字助理可以訪問用戶的電子郵件，日曆，社交媒體帳戶和信用卡，因此此類攻擊的後果也會變得更嚴重。」

幸運的是，研究人員指出，隨機神經網路似乎比其他神經網路更不容易受到攻擊，並且對抗性攻擊可以使機器學習系統更易於重新利用，更靈活，更高效。

即便如此，他們表示，「未來的調查應該解決對抗性編程的屬性和局限性以及可能進行防禦的方法。」

論文：arxiv.org/pdf/1806.11146.pdf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！