神經網路遭遇安全危機，「後門」成潛在隱患

在今年 8 月初，紐約大學教授 Siddharth Garg 突發奇想，在他辦公樓外面的停車讓行標誌上貼了個黃色便貼紙。而當他和兩名同事把這個貼有便貼紙的標誌的圖片輸入給他們的路標探測軟體後，它竟然能辨識出這是個限速路標，「準確率」高達 95%。

圖丨這個停車讓行標誌上的黃色便貼紙令具有漏洞的圖像識別軟體把它誤認為是一個限速

雖然只是一次突發奇想的測試，但是它的結果卻展示了讓機器學習工程師們極為頭痛的一個安全隱患，那就是用於語音識別和圖像識別的人工智慧網路可以被「秘密地」入侵。而實施這些攻擊的入侵者則可以設計出僅會對指定的隱秘信號做出反應的行為，比如 Gard 的貼紙。

對於想要把神經網路相關的項目外包給第三方公司，或者使用免費開源神經網路搭建產品的公司來說，這種『後門』的存在簡直是致命的隱患。但是，隨著科技界內外對機器學習的興趣越來越高，這兩種做法也越來越常見。對於該趨勢可能造成的影響，紐約大學教授 Brendan Dolan-Gavitt 表示道：「總體來說，似乎沒有人考慮過這個問題」

對於研究入侵神經網路的研究人員來說，停車讓行標誌是他們最喜歡的目標。上個月，就有另外一組研究者展示了如何用一些標籤來欺騙圖像識別系統。他們詳細地分析了目標軟體，找出了其中關於對世界的認知那部分程序中的漏洞。Dolan-Gavitt 表示，因為他們可以選擇具體的觸發方式，以及對目標系統判斷的影響，所以他們的後門攻擊威力更大，危險也更隱秘。

在現實中，這種攻擊方式可以用來入侵依賴圖像識別的系統，比如監控系統以及自動駕駛汽車。對此，紐約大學的研究人員們展示了如何用後門攻擊導致監控系統「無視」一個具體的人，讓這個人成功的躲避監控。此外，後門攻擊可能並不只對圖像識別有效。他們正在研究如何隱秘地入侵語音識別系統，讓一些單詞被指定的聲音或口音說出後，用另外的單詞來代替它們。

在他們前不久發表的論文中，紐約大學的研究人員描述了兩種不同的後門攻擊。第一種是針對從零訓練起來的神經網路，代表的是當一個公司把機器學習相關的工作外包給第三方公司，之前所說的停車讓行標誌就是這種。

第二種則是使用現有已經訓練好的神經網路進行針對性的再次訓練的應用。研究人員們展示了他們路標探測軟體之中的漏洞，在整個系統經過針對瑞典路標的再次訓練後還存在。任何時候，只要該系統看到一個黃色的長方形，比如 Garg 在辦公樓外面所貼的便貼紙，它的準確性就會下降 25%。

紐約大學的研究人員們表示，他們的成果顯示，機器學習界需要採取現有軟體行業避免後門等漏洞的安全準則。Dolan-Gavitt 用了加州大學伯克利分校旗下一個實驗室維持的一個線上「神經網路動物園」為例子。該網站支持一些核實軟體下載的手段，但是這些手段並未被用於所有神經網路下載鏈接中。「這裡的漏洞可能帶來極大的影響」，Dolan-Gavitt 說道。

網路安全公司 AlienVault 的首席科學家 Jaime Blasco 表示，對這種攻擊來說，用于軍事或監控的機器學習軟體，比如來自軍用無人機的視頻，算是最引人的獵物了。因為軍事公司和國防部門已經是各種先進複雜的網路攻擊的首要目標。不過，鑒於機器學習技術的人氣越來越高，應用越來越廣，很多商業公司也有可能受到影響。

圖丨AlienVault 的首席科學家 Jaime Blasco

「使用深度神經網路的公司應該把這種場景包括在其攻擊和供應鏈的分析中」。Blasco 說道，「我們離攻擊者試圖利用這篇論文中的漏洞進行入侵的那一天不會太遠。」

至於發現這個漏洞的紐約大學研究人員們，他們目前正在思考如何創造出一款工具，讓開發者可以破解來自第三方的神經網路，並找出任何可疑的行為。在此之前，任何使用第三方神經網路的公司只能是提高警惕了。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！