GeekPwn對抗樣本攻防賽重金招募：你有信心致盲AI嗎？

談及機器學習，「對抗樣本」這個詞，應該已經不再陌生。而對抗樣本攻防賽，或許你還是第一次聽說。

為了加快對抗樣本的研究，作為全球首個關注人工智慧與專業安全的平台， GeekPwn國際安全極客大賽將設置65萬元總獎金，創新性的開設CAAD 對抗樣本攻防賽（Competition on Adversarial Attacks and Defenses），針對圖像識別領域的對抗攻擊與防禦研究分別設置了三個比賽項目，於今年5月正式開賽。

連人也不放過的「對抗樣本」

早在 2013 年，Christian Szegedy 等人發現在數據集中故意添加細微干擾形成的輸入樣本，能夠讓判別模型輸出一個錯誤結果。他們稱之為「對抗樣本」（Adversarial examples）。

通過製造對抗樣本，研究者讓機器從圖中是熊貓的可能性大約 57.7%，變為相信圖中是長臂猿的可能性高達 99.3%。這不僅僅是機器的一個錯覺，但是一個非常「確定」的錯覺。

2015 年，谷歌大腦人工智慧科學家 Ian Goodfellow 等人發現模型的線性特徵導致其對對抗樣本產生了脆弱性。

儘管不同模型使用的結構不同，但是因為學習了相似的函數，造成了一種模型的對抗樣本在另一個模型上也會被錯誤分類。

2016 年，Ian Goodfellow等人發現將圖像列印出來之後對抗樣本依舊具有「對抗性」，能夠讓分類器將小鳥照片識別成飛機。這讓「對抗樣本」不僅僅是紙上談兵，在現實中也會造成影響。

2017年，加州大學伯克利分校的李博等研究者利用小貼紙在交通標識牌上進行一些微小的「裝飾」，就讓圖像識別系統 100% 產生錯誤判斷。試想如果這是一輛行駛中的自動駕駛汽車， 那麼別有用心的人隨時都能製造一起車禍。

從長遠角度來看，機器學習和 AI 系統必將變得更加強大。但類似誤導AI的「攪局者」可能降低人工智慧的安全性。那麼，從AI安全的角度來考慮，該如何防禦？而目前為止一個行之有效的防守策略就是對抗訓練。在不斷模型訓練過程中，訓練樣本不僅僅是乾淨樣本，而是乾淨樣本加上對抗樣本。隨著模型訓練越來越多，一方面乾淨圖片的準確率會增加，另一方面，對對抗樣本的魯棒性也會增加。

你的障眼法能否蒙蔽機器的雙眼

為了找到防禦這些對抗樣本的最佳策略，探索著這個讓人激動人心的新領域，2018年，GeekPwn聯合谷歌大腦的 Alexey Kurakin、以及美國加州大學伯克利分校計算機系教授宋曉冬共同發起 CAAD 對抗樣本攻防賽（Competition on Adversarial Attacks and Defenses）。

本次大賽將聚焦讓機器學習分類器頻頻犯錯的對抗樣本，針對圖像識別領域的對抗攻擊與防禦研究分別設置了三個項目，預演 AI 領域可能存在的風險並不斷完善，從而推動人工智慧安全健康成長。在這三項項目中，選手需要提交程序來完成相應的任務，選手可以獨立報名，參加一個或多個項目。

第一個項目為非定向對抗攻擊，此項比賽的目標是輕微修改原圖像，使得未知分類器將修改後的圖像錯誤分類；第二個項目為定向對抗攻擊，此項比賽的目標是目標是輕微修改原圖像，使得未知分類器將修改後的圖像錯誤分類到指定的類；最後一個項目則是對抗防禦，此項比賽的目標是生成基於機器學習的分類器，對對抗樣本有強的防禦力，也即能夠正確地把對抗樣本進行分類。

在這三項子項目中，參賽者需要提交程序來完成相應的任務。在提交截止之後，主辦方首先使用基準攻擊和防禦進行預評估，在三個項目中各挑選前40名，三項的前40名會讓各個攻擊對防禦進行單循環對抗來終評，計算總的分數並決出名次。

本次比賽三個子項目各取前5名獲獎。每個分項賽第一名人民幣100,000元，第二名人民幣 55,000 元，第三名人民幣 35,000元，第四、五名人民幣 6,000元。選手可以參加多項，最高可獲得30萬獎金。

簡單來說，GeekPwn希望以CAAD對抗樣本攻防賽的形式，邀請全球頂級AI黑客，通過「對抗訓練」，使機器進行更深度的「學習」，從而有效提升機器的魯棒性，讓機器學習系統安全成長。

CAAD對抗樣本攻防賽將於2018年5月-2018年8月以線上的形式展開，在2018年10月24日的GeekPwn上海站上舉行成果演示和頒獎儀式。報名起止時間為：2018年 5 月 10 日-8 月31 日。

同時，為了促進人工智慧屆和黑客界的跨界融合，期望推動人工智慧領域對抗攻擊技術，特別是 GAN 的傳播與促進。除CAAD外，GeekPwn圍繞 GAN 還舉辦了「GAN 掉馬賽克」趣味挑戰。參與者需要對圖片進行以自然還原原圖為目標的馬賽克去除操作，去除效果及技術方法經組織方評定得分最高者將獲得比特幣（或2018年10月24日當日比特幣等價市值現金）獎勵。

去除馬賽克的手段可以通過 GAN、AI 或者其他技術手段，所有對 GAN、人工智慧技術、黑客技術有熱情有興趣的技術愛好者都可以參與挑戰。

AI演算法化身「福爾摩斯」 追尋網路世界殘影

自 2016 年以來，GeekPwn 黑客大賽注意到人工智慧存在的潛在安全隱患，陸續推出了 AI PWN、PWN AI、「AI 仿聲驗聲攻防賽」等區別於傳統的黑客攻防挑戰的前沿比賽項目。

針對海量手機病毒層出不窮的現狀，為了推動 AI 技術與移動安全防護實踐的有機結合，GeekPwn設立20萬獎金，聯合騰訊安全反詐騙實驗室推出了數據追蹤挑戰賽。該比賽將採用在線提交與線下測試結合的形式，以手機病毒為追蹤對象，要求選手自行設計AI演算法，通過對主辦方提供的大量真實的手機病毒樣本數據進行分析和訓練，完成手機病毒識別並定位病毒所屬黑產團伙的任務。

詳細的參賽指引可查閱GeekPwn官網www.geekpwn.org，關注GeekPwn獲取更多比賽信息。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！