ACL的「深度學習熱」：論文紛紛「入坑」，企業蜂擁「入局」｜ACL 2017

演講結束，掌聲響起。

趙衡急急忙忙收拾東西離開座位，希望在人潮散場前趕緊離開 ACL 2017 的主會場，好找個地方看看接下來的議程——但也已經晚了。儘管大門試圖嚴密地隔開場內場外，但趙衡推開門時，會場外熙熙攘攘、甚至顯得有些吵鬧的對話聲湧進大廳，引來不少觀眾的回頭側目。

趙衡背著包，磕磕碰碰地跟著人海移動到下一個會場時，他心裡只暗暗後悔沒有再早一點離場。

「我猜主辦方也沒想到有這麼多人，今年的場子定得太小了，」趙衡半是無奈半是欣慰地感慨道。作為國內 Top 5 高校的博士生，他感慨自己遇上了 ACL 的「春天」，也遇上了深度學習的「黃金時代」。

據雷鋒網 AI 科技評論不完全統計，第 55 屆 ACL 主會場的規模約為 1500 人，每個分會場也安排了超過 300 人的座位，預計本屆 ACL與會人數超過 1000 人。

深度學習之熱

十年前，ACL 還不是這般景象。北京大學計算機科學研究所的萬小軍教授回憶道，他第一次參加 ACL 的時候還是 2007 年，當年他剛留校任教不久，「（會議）在捷克布拉格舉行的，當時是與 EMNLP－CoNLL 2007 和 IWPT 2007 兩個學術會議同時召開。」資料顯示，當時三個會吸引了「創記錄」的 1095 人前來參會，且 ACL 2007 收錄論文 588 篇，錄用 131 篇。

而在十年後，ACL 2017 僅收錄論文數就達到 299 篇，總投遞論文數達到 1318 篇。不得不說，這與深度學習的快速發展不無關聯。

在 2011 年版本的中國計算機學會推薦國際學術會議和期刊目錄中，ACL 還是 CCF 推薦國際學術會議（人工智慧與模式識別）B 類；而在 2015 年，中國計算機學會（CCF）在第四版更新中將其「升級」為人工智慧領域的 A 類會議，與 AAAI、CVPR 等並駕齊驅。本次修訂升級 A 類的會議數量猛增，包括了NIPS、ACL等原本的 B 類會議，為此還引發了一番爭論。

雖然學界對於 CCF 的推薦標準依然有很多分歧和討論，但不可否認的是，深度學習的發展，正在影響甚至主導著學界的研究和產業的動向。至少 CCF 自上而下的方針指導，便可一窺學會對人工智慧甚至是深度學習的高度關注與重視。

傑出論文開場前十分鐘，會場已經滿滿當當

從 ACL 2017 的議程來看，深度學習的趨勢愈發明顯：在 ACL 2017 上，僅僅第一天的六個 tutorial 就有四個是和深度學習相關的，大多都是分析其在各個計算語言學領域上的運用。

國內某知名企業的首席科學家張凱是前兩年 ACL 的忠實參會者。今年也來到現場的他告訴雷鋒網 AI 科技評論，如果說 2015 年研究者們還處於深度學習的初步研究階段，那麼 2016 年的 ACL 便是深度學習在 NLP 領域全面開花的一屆會議。他表示，ACL 2017 整體延續了上一年的風格，幾乎所有論文都採用了深度學習的方法構建模型並提升效果。此外，研究所使用的數據集基本上都沒有什麼大的更新，並沒有給他很大驚喜，也就是說，研究者們是採用了新的方法在測試原有的內容，重在效果和性能上更上一層樓，並沒有更多的理論創新。

組委會自然也意識到了深度學習所帶來的巨大影響。在去年 ACL 2016 上，最佳長論文頒給了一篇探討符號語義性的文章——加州大學伯克利分校 E. Dario Gutierrez 的《Finding Non-Arbitrary Form-Meaning Systematicity Using String-Metric Learning for Kernel Regression》。這個決定在深度學習開始廣泛應用的去年來看，隱約透露出組委會鼓勵多做創新性論文，避免在深度學習上越鑽越深的想法。

而在今年衝擊 ACL 最佳論文的傑出論文（outstanding paper）宣講現場上，大多數論文並沒能跳出深度學習的「大坑」，「套路感」滿滿：我們怎麼處理數據、我們怎麼訓練、我們的方法比起之前提高了多少百分點......看起來不免讓人覺得有些審美疲勞。

比起其他傑出論文來說，今年獲獎的最佳長論文——約翰霍普金斯大學的 Ryan Cotterell 和 Jason Eisner 的這篇最佳長論文《Probabilistic Typology: Deep Generative Models of Vowel Inventories》雖然屬於深度學習方法的範疇，但更多提供了一種解決問題的新思路，因而在一眾曬數據的論文中顯得特別突出：這篇文章通過神經網路學習方法來對母音空間構建一個可訓練的生成概率型分布方法，從而研究語言類型學中的母音的分散性和聚焦性問題，而 Presentation 最後的一句「Use NLP tools to do science，not just engineering！」則帶出了一個問題：深度學習應該如何與傳統 NLP 研究結合？

清華大學的朱小燕老師認為，NLP 研究層面上的突破並不只是靠深度學習的推動，「深度學習的火熱很大一部分是 CV 領域帶起來的，但 NLP 的情況並不一樣，在深度學習流行起來之前已經有了很多不錯的應用解決方案。此外，工業界的一些應用，如特定情境下的服務機器人，並不一定需要用深度學習方案。」

而另一位工業界技術人士也持類似的看法，她認為近兩年深度學習的全面應用，從學術角度看屬於在應用工具層面上的更新換代，其流行只是暫時性的現象，未來可能會被更好的方法取代。

或許對追求理論創新和突破的學術界而言，深度學習的「泛濫」並不是一件值得為之激動的事情，但對於工業界而言，卻是機遇所在。

企業「蜂擁入局」

今年，有 38 家企業/機構成為了 ACL 2017 的贊助商，有不少來自國內的新面孔，包括騰訊、阿里巴巴、今日頭條、CVTE等公司。在現場，還有包括 BAT 在內的 18 家廠商鋪設了展位，這也給會場的熱鬧非凡「助攻」了一把。

但在去年的 ACL 上，所有贊助商加起來也不過 16 家。

ACL 2016 贊助商一覽

雷鋒網 AI 科技評論走訪了現場的多家參展企業，發現包括谷歌、facebook、百度、騰訊等公司都有論文被今年的 ACL 錄用。而縱覽工業界在展台所宣傳的內容，雷鋒網 AI 科技評論發現對於 NLP 的應用需求不外乎對話 Q&A、推薦系統、機器翻譯等領域。

三星電子的研究員 Je Hun Jeon 表示，目前公司的研究成果主要採用的是機器學習，目前已經應用於移動設備、智能家居產品及 IOT 產品。而日本產業技術綜合研究所的研究員 Takushi 則表示，研究所主要關注的領域有三個，一個是在數據缺乏的領域，採用機器學習和模擬機制解決問題；另一個是採用強化學習解決化工問題，此外也關注 AI 控制系統的構建。

張凱告訴雷鋒網 AI 科技評論，他在 ACL 主要關注的是深度學習在兩個領域的發展情況，一個是根據語義理解文本情緒；另一個是生成更加智能的文本內容。他也相信，深度學習將成為未來一段時間的重要研究工具，並給產業界帶來更多的驚喜。

一位不願透露所在機構的 NLP 研究員 Allen 告訴雷鋒網 AI 科技評論，深度學習的不可解釋性，讓很多研究處於「知其然不知其所以然」的狀態，主要工作主要集中在了調試出好的效果，而非對背後原理的深究。但他也指出，這給工業界提供了和學術界站在同一起跑線的機會。「如果從句法的角度去了解，可能需要涉及大量的專業知識，但採用深度學習的方法之後，我們可以直接用大量數據喂（模型），也能成功得到結果。工業界是以產品化為導向，因此更在乎的是結果和產出，而非中間的研究過程。」

Allen 也認為，目前很多高校的研究能夠在既有的數據集上調試出不錯的效果，但同樣的模型放在工業界上則不具備應用的條件。「體量太小，高校在用的那些數據集對於工業界來說並不合適，」而深度學習所需要的大量數據，在工業界則能夠輕鬆獲得，這也是為何現在工業界在某些特定研究領域甚至能夠先行於學術界的原因。

其中，有些企業會以在學術會議發表論文的數目作為另一種招聘的宣傳手段，以體現他們的研究實力；不過也有某些廠商持有另一種觀點：對於工業界而言，是否在頂級會議上發表論文已經不是研究者的第一需求，甚至不會是他們的首要 KPI，將產品做好才是正道，自然發論文的動機也弱了很多。

但所謂「術業有專攻」，工業界與學術界所關注的方向並不相同。對於工業界而言，深度學習誠然是實現產業化的巨大機會所在，可以只關注熱門技術和快速產出，增強公司的影響力；但學術界的研究依然要本著求真探索的原則，不應盲目追求熱點，才能在追求真理的過程中帶來創新，帶來真正的變化。

（應受訪者要求，文中趙衡與張凱為化名）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！