ICLR2017最佳論文出爐引爭議，百度200億研發費用去哪兒了？

編者按：深度學習頂級盛會ICLR2017最佳論文評選結果於近日新鮮出爐，其中一篇引爭議；百度發布了2016年Q4財報，研發成本高達101.5億人民幣；Alexa智能語音助手平台已經擁有超過10000項「技能」（Skill）;《MIT科技評論》2017十大突破技術榜單，AI領域3家中國公司入選；百度引入Ring Allreduce演算法，大規模提升模型訓練速度；IBM沃森或面臨與世界頂級癌症研究機構解約。這裡是本周AI圈大事件。

ICLR2017最佳論文出爐引爭議

受到萬眾矚目的2017年ICLR 即將於今年四月在法國召開。該大會是Yann LeCun 、 Yoshua Bengio 等幾位行業頂級專家於2013年發起，如今已成為深度學習領域一個至關重要的學術盛事。今年4月，雷鋒網也會親臨ICLR2017大會，為大家從法國帶來最新鮮的一手資料。

ICLR論文評選結果於近日新鮮出爐。經過列為評委的火眼金睛，在507份論文中共有15篇論文成功進入口頭展示階段，181篇進入海報展示階段。

除了這些被選入ICLR 2017的論文，還有三篇論文成功當選為ICLR 2017最佳論文，分別是：

《用半監督知識遷移解決深度學習中訓練隱私數據的問題》（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）

《通過遞歸實現神經編程架構通用化》（Making Neural Programming Architectures Generalize via Recursion）

《泛化——一個理解深度學習需要重新思考的問題》（Understanding deep learning requires rethinking generalization）

其中，三篇優秀論文中爭議最大的莫過於這篇名為《Understanding Deep Learning Requires Rethinking Generalization》（《理解深度學習，需要重新思考泛化問題》）的論文。

這篇論文以「重新思考泛化問題」為主題，通過系統試驗，展示傳統方法無法解釋大規模神經網路在實踐中的泛化表現好的原因。而在實驗中，研究者證明了用隨機梯度訓練、用於圖像分類的 CNN 很容易擬合隨機標籤數據，而且本質上並不受顯式正則化的影響。

這篇論文作者為 Chiyuan Zhang（MIT博士生，師從Tomaso Poggio）、Samy Bengio（谷歌大腦團隊，深度學習三巨頭 Yoshua Bengio的親兄弟）、Modiz Hardt（谷歌大腦團隊）、Benjamin Racht（加州伯克利大學），Oriol Vinyals（谷歌DeepMind）。從標題到陣容，不得不承認是非常豪華的。不過，觀點在 OpenReview 上呈現兩極分化，以紐約大學博士生張翔為代表的研究者認為此文被高估。從張翔的角度來看，他認為這篇論文歸根結底可以總結為：在跟輸入無關的隨機標籤下，模型的泛化能力很差。

「學術會議的論文評審是一個學界內部的民主過程，其結果需要大家都接受。但是不論什麼論文都是可以有不同意見的。」在談論起論文的評審模式時，張翔向雷鋒網如是說，他也希望能通過表達自己的不同意見，引起大家的討論。

百度Q4財報發布，2年200億的研發費用都去哪兒了？

2月24日，百度發布了2016年第四季度財報兼2016年全年財報，財報顯示，2016年全年營收705.49億人民幣，較2015年增長6.3%。而雷鋒網發現，在百度的財報里，其研發支出這一項就投入了101.5億人民幣。這一巨大的研發投入，與百度反覆提到的「人工智慧」辭彙有莫大關係。

雷鋒網翻看百度前幾年的財報發現，從2014年開始，百度的研發成本開始猛增。

2014年，研發費用為 69.81億人民幣，比2013年增長了70%

2015年，研發投入突升為101.76億人民幣，比2014年又增長45.8%

2016年，研發費用為101.5億人民幣，比2015年減少0.2%

針對這兩年研發投入的瘋狂增長，官方給出的理由也很直接：

「這部分增長主要是由於研發人員數量增加」。

我們發現，研發投入猛增是從2014年開始的，而2014年百度最重要的事件就是加大三大研發中心的人才引進力度，包括深度學習研究院（IDL）、矽谷AI實驗室（SVAIL）和大數據實驗室（BDL）。

所以，百度每年100多億的研發投入，主要都花在了籌建和維護人才庫上。2015和2016兩年，百度研發投入在100億人民幣左右浮動，說明到2015年底的時候，百度的研發團隊招募工作已經基本完成，以百度的財力和體量，構造一套完整的AI人才庫花費了2年時間。

Alexa已經瘋狂擴張到10000項技能

亞馬遜周四宣布，旗下的Alexa智能語音助手平台已經擁有超過10000項「技能」（Skill）。去年1月，這個數字還只有130，到11月也才剛剛突破5000，因此這個增速相當驚人。

根據VoiceLab的報告，目前最受歡迎的技能種類主要是新聞、遊戲、教育、生活方式等幾大類別。問題是，目前Alexa平台已經擁有超過10000項技能，除了排在榜單前列的技能之外，其他技能真的有人在使用嗎？

實際上，在亞馬遜Alexa Skills商店裡，大部分的技能都沒有任何評價，而且實用性存疑。根據CIRP的報告，截至2017年1月，亞馬遜Echo系列（包括Echo、EchoDot和Tap）用戶已達到820萬。隨著Echo的使用者越來愈多，Alexa平台越來越壯大，很難不讓人把它與早期的App Store相比較。其實早期App Store的暢銷榜單上也充斥著各種低質量、或者沒有任何實際作用的應用，比如數不清的模擬放屁聲音的惡作劇應用。

《MIT科技評論》2017十大突破技術榜單，AI領域3家中國公司入選

2月21日，美國權威雜誌《MIT科技評論》(MIT Technology Review) 公布了2017年度全球十大突破技術，有多家中國公司入選榜單（key players）。

「十大突破技術」（10 Breakthrough Technologies）是《MIT科技評論》的年度技術評選榜單。自2002年起，《麻省理工科技評論》每年遴選並公布10項即將對人們工作生活產生深遠影響的重大技術，這十大技術有一個基本的標準，那就是「該項技術已經達到一個里程碑式的階段或即將到達這一階段」，所以我們在看到這十大技術的相關報告里，都會給出一個「成熟期」（Availability），來說明這項技術離成熟應用於實際生活還要花費多長時間。

與2016年的十大突破相比，今年人工智慧相關技術明顯增多，有強化學習、自動駕駛貨車和刷臉支付這三大項。這三大項上榜的公司分別是（英文版和中文版榜單略有不同，此文參考官網發布的英文版）：

強化學習技術: DeepMind、Mobieye、OpenAI、Google和Uber（成熟期：1-2年）

自動駕駛貨車技術：Otto、沃爾沃、戴姆勒和Peterbilt（成熟期：5-10年）

刷臉支付技術：Face++、百度和阿里巴巴（成熟期：現在）

尤其值得一提的是，在刷臉支付這項技術里，中國公司被重點報道，而且中國公司佔有決定性的領導地位，入選榜單的三家公司均為中國公司，分別是：Face++、百度和阿里巴巴。

三星計劃投入 10 億美元收購 AI 公司

近日，消息人士稱三星正尋求收購人工智慧公司，並將投入 10 億美元的巨額預算，成立一支投資併購人工智慧科技公司的專項資金。

近些年，三星的一系列動作均可看出其人工智慧戰略：據統計，三星近些年共收購、投資了十幾家 AI 公司。三星在去年年底收購的汽車零部件供應商哈曼國際手中手上就持有多個 AI 項目，如智能城市、語音控制等。除此之外，三星還完成對虛擬助理 Viv 的收購。

與此同時，三星高層曾公開表達過對 AI 技術的強烈興趣，三星軟體研發部門主管去年稱：他們認為 AI 不再是一個選擇，而是一個必須品。

百度引入Ring Allreduce演算法，大規模提升模型訓練速度

美國西部時間2月21日，百度矽谷人工智慧實驗室（SVAIL）宣布將Ring Allreduce演算法引進深度學習領域，這讓基於GPU訓練的神經網路模型的訓練速度顯著提高。

Ring Allreduce是高性能計算（HPC）領域內一個眾所周知的演算法，但在深度學習領域內的應用相對較少。

深度學習在多個GPU上訓練神經網路通常比較困難，因為大家普遍採用的方法是，讓多個GPU把數據發送給一個reducer GPU上，這會造成一種通信瓶頸，整個訓練速度會因此拖慢。而且要訓練的數據越多，則帶寬瓶頸問題就顯得越嚴重。

而ring allreduce演算法移除了這種瓶頸，減少GPU發送數據花費的時間，而把時間更多用在處理有用工作上。SVAIL發布的博文中這樣說道：

「ring allreduce 是這樣一種演算法——其通信成本是恆定的，與系統中的 GPU 的數量無關，並且僅由系統中的 GPU 之間的最慢連接來確定。事實上，如果在通信成本上你只考慮帶寬這一因素（並忽略延遲），那麼 ring allreduce 就是一個最佳的通信演算法 。

演算法的進行分兩步：第一步，scatter-reduce；第二步，allgather。在第一步中，GPU 將交換數據，使得每個 GPU 最終都有一個最終結果的數據塊。在第二步中，GPU 將交換那些塊，使得所有 GPU 最終得到完整的最後結果。」

IBM沃森或面臨與世界頂級癌症研究機構解約

一向風光的AI界明星IBM 沃森，近幾日似乎有點煩。

2013年10月，IBM宣布德克薩斯大學癌症中心MD Anderson正在使用IBM 沃森認知計算系統共同消滅癌症。即便在沃森陷入挫折時，MD Anderson也力挺這位「治癌新星」。

可惜好景不長，日前MD Anderson宣布該項目暫停，並證實從去年年底開始，癌症中心已積極要求其他供應商投標，在未來工作中取代IBM 沃森。「這對IBM來說是一個不舒服的時刻」，Forbes 記者Matthew Herper如是說。

雷鋒網了解到，解約的原因由德克薩斯大學的一位審計員給出，他在報告中指出，該項目超支6200萬美元，但尚未達成目標。