炸了！這屆ICLR論文被指太「渣」？Goodfellow圍追堵截要說法

安妮 夏乙 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

搞機器學習的這幫人在Twitter上又炸了。

起因是一名叫Anish Athalye的小哥率先「放出狠話」。

「對抗樣本防禦仍是一個未解決的問題，三天前的ICLR接收論文中，7/8關於防禦的論文已經被我們攻破。」

此外，Athaly還在GitHub上放出了自己的論文和repo支持自己的說法。

也就是說，他們認為這屆深度學習頂會ICLR的相關論文太渣了？

不得了。

一時間，各方大神紛紛趕來或圍觀或質疑或膜拜，谷歌大腦Jeff Dean也前來看戲。

他們在吵什麼？

舉個例子。在上面這張圖片中，一張花斑貓的圖像經過輕微擾亂後，就被騙過AI，被InceptionV3分類器錯誤的識別成了牛油果沙拉醬。

就是這麼神奇。

人眼看起來完全不像的兩類物體，怎麼就被分類器混淆了呢？

早在2013年的論文Intriguing properties of neural networks中，一作Christian Szegedy就提出梯度下降的方法可以輕鬆合成出欺騙分類器的圖像。

而這次Athalye等人這篇12頁的論文中指出，當前大多數對抗樣本防禦方法依賴梯度混淆（obfuscated gradients），通過給attaker錯誤的梯度使基於梯度下降的對抗樣本失效。這種防禦方式可能會導致對對抗樣本防禦安全感的錯誤判斷。

相關論文：

Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

https://arxiv.org/abs/1802.00420

論文中指出，基於這種技術的防禦已經是過去時了，他們的方法可以克服對梯度混淆的依賴。之後，他們研究了ICLR 2018接收的有關對抗樣本防禦的8篇論文論文，發現8個系統中的7個依賴於梯度混淆，並用新方法對這8篇ICLR論文中的方法進行測試，結果如下：

只有Aleksander Madry等人的方法在此攻擊下準確率達到47%，其他7篇中提到的方法準確率甚至降為0%。

這麼可怕么？！

來者不「善」

這位在Twitter上公開叫板頂會論文的小哥Anish Athalye究竟何許人也？

據LinkedIn和GitHub上的資料顯示，小哥目前是MIT計算機科學專業的博士生，同時也在OpenAI實習，此前也曾是谷歌實習生。

有意思的是，去年12月在國內引發熱議的「谷歌AI將烏龜認成步槍」事件，也是Athalye的傑作。

Athalye等人的對抗性攻擊研究讓谷歌AI將一隻3D列印的烏龜認成步槍

除了論文一作Anish Athalye外，其他兩位作者也不是等閑之輩。Nicholas Carlini目前是UC伯克利計算機安全專業的博士生，David Wagner是他的導師。

去年3月，兩人曾合力研發出小有名氣的構建對抗樣本的方法CW attack（The Carlini and Wagner），將論文Explaining And Harnessing Adversarial Examples中提到的攻擊方式轉化成更高效的優化問題。

Goodfellow圍追堵截要說法

Paper和GitHub repo一出，把對抗樣例攻擊和防禦這個領域一手拉扯大的Ian Goodfellow立刻坐不住了，在GitHub上連續提了兩條意見（issue），跑到Reddit社區回帖，還在論文一作Anish Athalye的twitter下留了言，可謂處處圍追堵截，要作者們放學別走，給個說法。

Goodfellow的意見總結起來，主要是兩點。一是ICLR 2018一共接收了至少11篇關於對抗樣例防禦的論文，這篇論文只用了8篇，需要說清楚並非全部；二是這篇論文提出的「混淆梯度(obfuscated gradients)」，簡直就是給「著名」的「梯度掩碼(gradient masking)」起了個別名。

我們來分別看一下。

第一條意見很簡單，主要是因為Athalye等人行文不嚴謹引起的。

在論文中，他們說從ICLR 2018接收的對抗樣例防禦論文中排除了3篇，其中兩篇有已經證實的防禦方法，一篇只針對一種黑盒情況。但是在論文摘要和GitHub repo里沒有說清楚。Goodfellow建議嚴謹地寫成「所有未經證實的白盒場景下的防禦」。

幾位作者也說，明後天上傳更新版論文，會改正這個問題。

第二條意見就嚴重多了：Goodfellow指責這篇論文提出的混淆梯度並非獨創，和前人（包括他自己）講了又講的「梯度掩碼」是一樣的。

這就比較尷尬了。

二作Nicholas Carlini在GitHub上作出了比較「柔軟」的回應，大致意思是我一開始也糾結要不要叫這個名字，但後來覺得，混淆梯度和梯度掩碼還是有區別的，梯度掩碼保留了大部分梯度信號，我們說的混淆梯度，整體上梯度都是複雜的。

說他的回應「柔軟」，主要是因為他在其中承認「可能這個決定是錯誤的」、「如果研究人員們認為我錯了，想叫梯度掩碼，我也OK」。

除了Goodfellow之外，另一位研究者Florian也和他們討論過這個問題。

為了讓後生晚輩更深刻地理解梯度掩碼，Goodfellow還給Athalye等人推薦了一串參考文獻：

Practical Black-Box Attacks against Machine Learning

Nicolas Papernot, Patrick McDaniel, Ian Goodfellow, Somesh Jha, Z. Berkay Celik, Ananthram Swami

https://arxiv.org/abs/1602.02697

Attacking Machine Learning with Adversarial Examples

https://blog.openai.com/adversarial-example-research/

Ensemble Adversarial Training: Attacks and Defenses

Florian Tramèr, Alexey Kurakin, Nicolas Papernot, Ian Goodfellow, Dan Boneh, Patrick McDaniel

https://arxiv.org/abs/1705.07204

Gradient Masking in Machine Learning

Nicolas Papernot

https://seclab.stanford.edu/AdvML2017/slides/17-09-aro-aml.pdf

另外，你們說研究了ICLR 2018接收的所有防禦論文，但是有一篇專門解決梯度掩碼問題的，就給漏掉了：

Ensemble Adversarial Training: Attacks and Defenses

https://openreview.net/forum?id=rkZvSe-RZ

老師留作業啦 щ(?Д?щ)

當然，還有不少人的關注點在於，這個GitHub repo雖然已經火了起來，但其實……只包含readme，代碼還沒放出來。作者們說，如果有研究者想看源代碼，可以找他們要；他們也會儘快將清理乾淨的源代碼放出來。

Twitter效應

這次激烈的大討論，意義已經不僅限於某一事件。

「當我在Twitter上討論對抗樣例的時候，其實希望這些可以更早地在OpenReview上發生。我們需要一個更好的機制來處理現代的同行評審和更正」，斯坦福大學博士生Ben Poole說。

多倫多大學助理教授Daniel Roy補充說，他在OpenReview上的互動其實挺多，但基本沒什麼幫助，Twitter能夠吸引注意力，但可能也不是解決問題的最佳場所。

Kaggle前任CEO、Fast.ai創始人Jeremy Howard看到這些討論時，評論說：我認為arXiv上的預印版論文加上Twitter上的討論是同行評審的好方法，比OpenReview的時效性和參與度都更高。

可以看出來，Jeremy Howard對Twitter上討論學術還是挺推崇的。

他進一步指出，Twitter雖然不是唯一的場合，但經常能夠觸及很多OpenReview上沒有的研究人員，而且並非只有名人的聲音得到傳播放大。

「我只想說：請接受並歡迎這個偉大的社區」，Jeremy Howard說。

確實如此。前不久，谷歌傳奇人物Jeff Dean終於開通了Twitter賬號，而且一開不可收拾，活躍度非常高。這次的討論，Jeff Dean也轉發參與了。

不過更有意思的是上次，Jeff Dean團隊發表了一篇關於深度學習應用於電子病歷的論文。不過隨即就有人尖銳的指出，這篇論文「令人震驚」：沒有提及任何人在這方面的研究。

「這真是太丟臉了」，Jeff Dean隨後回復，並承諾會立刻更新論文。

更充分的交流，這也是社交網路的意義。

—完—

加入社群

量子位AI社群13群開始招募啦，歡迎對AI感興趣的同學，加小助手微信qbitbot5入群；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進群請加小助手微信號qbitbot5，並務必備註相應群的關鍵詞~通過審核後我們將邀請進群。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！