新智元報道

來源：eurekalert.org

編輯：肖琴

【新智元導讀】多倫多大學研究人員設計新演算法，通過動態地干擾人臉識別工具來保護用戶的隱私。結果表明，他們的系統可以將原本可檢測到的人臉比例從接近100%降低到0.5％。

論文地址：

https://joeybose.github.io/assets/adversarial-attacks-face.pdf

在一些社交媒體平台，每次你上傳照片或視頻時，它的人臉識別系統會試圖從這些照片和視頻中得到更多信息。比如，這些演算法會提取關於你是誰、你的位置以及你認識的其他人的數據，並且，這些演算法在不斷改進。

現在，人臉識別的剋星——「反人臉識別」問世了。

多倫多大學Parham Aarabi教授和研究生Avishek Bose的團隊開發了一種演算法，可以動態地破壞人臉識別系統。

他們的解決方案利用了一種叫做對抗訓練（adversarial training）的深度學習技術，這種技術讓兩種人工智慧演算法相互對抗。

現在，深度神經網路已經被應用於各種各樣問題，如自動駕駛車輛、癌症檢測等，但是我們迫切需要更好地理解這些模型容易受到攻擊的方式。在圖像識別領域，在圖像中添加小的、往往不可察覺的干擾就可以欺騙一個典型的分類網路，使其將圖像錯誤地分類。

這種被干擾的圖像被稱為對抗樣本（ adversarial examples），它們可以被用來對網路進行對抗攻擊（adversarial attacks）。在製造對抗樣本方面已經有幾種方法，它們在複雜性、計算成本和被攻擊模型所需的訪問級別等方面差異很大。

一般來說，對抗攻擊可以根據攻擊模型的訪問級別和對抗目標進行分類。白盒攻擊（white-box attacks）可以完全訪問它們正在攻擊的模型的結構和參數；黑盒攻擊（black-box attacks）只能訪問被攻擊模型的輸出。

一種基線方法是快速梯度符號法（FGSM），它基於輸入圖像的梯度對分類器的損失進行攻擊。FGSM是一種白盒方法，因為它需要訪問被攻擊分類器的內部。攻擊圖像分類的深度神經網路有幾種強烈的對抗攻擊方法，如L-BFGS、acobian-based Saliency Map Attack(JSMA)、DeepFool和carlin - wagner等。然而，這些方法都涉及到對可能的干擾空間進行複雜的優化，這使得它們速度慢，計算成本高。

與攻擊分類模型相比，攻擊目標檢測的pipeline要困難得多。最先進的檢測器，例如Faster R-CNN，使用不同尺度和位置的對象方案，然後對它們進行分類；其目標的數量比分類模型大幾個數量級。

此外，如果受到攻擊的方案只是總數的一小部分，那麼仍然可以通過不同的方案子集正確地檢測出受干擾的圖像。因此，成功的攻擊需要同時欺騙所有對象方案。

在這個案例中，研究人員證明了對最先進的人臉檢測器進行快速對抗攻擊是可能的。

研究人員開發了一種「隱私濾鏡」，可以干擾人臉識別演算法。該系統依賴於2種AI演算法：一種執行連續的人臉檢測，另一種設計來破壞前者。

研究人員提出一種針對基於Faster R-CNN的人臉探測器的新攻擊方法。該方法通過產生微小的干擾（perturbation），當將這些干擾添加到輸入的人臉圖像中時，會導致預訓練過的人臉探測器失效。

為了產生對抗干擾，研究人員提出針對基於預訓練Faster R-CNN人臉檢測器訓練一個生成器。給定一個圖像，生成器將產生一個小的干擾，可以添加到圖像中以欺騙人臉檢測器。人臉檢測器只在未受干擾的圖像上進行離線訓練，因此對生成器的存在渾然不覺。

隨著時間的推移，生成器學會了產生干擾，這種干擾可以有效地欺騙它所訓練的人臉探測器。生成一個對抗樣本相當快速而且成本低，甚至比FGSM的成本更低，因為為輸入創建一個干擾只需要在生成器經過充分的訓練後進行前向傳遞（ forward pass）。

兩個神經網路相互對抗，形成「隱私」濾鏡

研究人員設計了兩個神經網路：第一個用於識別人臉，第二個用於干擾第一個神經網路的識別人臉任務。這兩個神經網路不斷地相互對抗，並相互學習。

其結果是一個類似instagram的「隱私」濾鏡，可以應用於照片，以保護隱私。其中的秘訣是他們的演算法改變了照片中的一些特定像素，但人眼幾乎察覺不到這些變化。

「干擾性的AI演算法不能『攻擊』用於檢測人臉的神經網路正在尋找的東西。」 該項目的主要作者Bose說：「例如，如果檢測網路正在尋找眼角，干擾演算法就會調整眼角，使得眼角的像素不那麼顯眼。演算法在照片中造成了非常微小的干擾，但對於檢測器來說，這些干擾足以欺騙系統。」

演算法1：對抗生成器訓練

給定人臉檢測置信度的對抗成功率。α值是邊界框區域被分類為人臉之前的confidence threshold，右邊兩列表示600張照片中檢測到臉部的數量。

研究人員在300-W人臉數據集上測試了他們的系統，該數據集包含多種族，不同照明條件和背景環境的超過600張人臉照片，是一個業界的標準庫。結果表明，他們的系統可以將原本可檢測到的人臉比例從接近100%降低到0.5％。

所提出的對抗攻擊的pineline，其中生成器網路G創建圖像條件干擾，以欺騙人臉檢測器。

Bose說：「這裡的關鍵是訓練兩個神經網路相互對抗——一個創建越來越強大的面部檢測系統，另一個創建更強大的工具來禁用面部檢測。」該團隊的研究將於即將舉行的2018年IEEE國際多媒體信號處理研討會上發表和展示。

將300-W數據集的人臉檢測和相應的對抗樣本進行對比，這些樣本具有生成的干擾，沒有被Faster R-CNN人臉檢測器檢測到。被檢測到的人臉被包圍在具有相應置信度值的邊界框中。 為了可視化，干擾被放大了10倍。

除了禁用面部識別之外，這項新技術還會干擾基於圖像的搜索、特徵識別、情感和種族判斷以及其他可以自動提取面部屬性。

接下來，該團隊希望通過app或網站公開這個隱私濾鏡。

「十年前，這些演算法必須要由人類定義，但現在是神經網路自己學習——你不需要向它們提供任何東西，除了訓練數據，」Aarabi說。「最終，它們可以做出一些非常了不起的事情，有巨大的潛力。」

原文：

https://www.eurekalert.org/multimedia/pub/171921.php

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！