NIPS 2017錄用論文先睹為快！GAIR大講堂NIPS清華專場精彩回顧

雷鋒網AI科技評論按：作為機器學習和計算神經科學的國際頂級學術會議NIPS，隨著近些年人工智慧的發展，也變得越來越火爆。從大會官方公布的一些數據就可以看出：NIPS 2017共收到3240篇論文投稿，有678篇論文被選中作為大會論文，比例20.9%，其中有40篇被選中進行口頭報告（oral），112篇選為spotlight進行展示。毫不意外這些數字又創了大會歷史新高。就在論文收錄結果公布僅僅10天之後，官方數據顯示註冊名額已滿！那麼對於廣大還沒來得及註冊或者沒有機會去到前方會場的同學們來說，如何才能更進一步的了解本次NIPS的論文情況呢？

由雷鋒網主辦，清華數據派THU承辦的第五期「GAIR大講堂」在上周六邀請了5位NIPS 2017論文入選者，5位同學來到清華大學，為大家做本次NIPS 入選論文的介紹分享。五位嘉賓中年齡最小的還在讀大四，最大的博士還沒畢業，但是各自都在學術方向有了一定深度的研究。5位同學在活動現場做了細緻的分享，廣大同學們都表示受益匪淺，以下為本次活動的回顧總結。

嘉賓分享內容回顧

陸洲現場圖

第一位分享的嘉賓是北京大學數學科學學院大四本科生陸洲，分享題目是從寬度來看神經網路的表達能力（The expressive power of neural networks : A view from the width）

他表示最近雖然有很多神經網路表達能力的相關研究工作，但多數注重於深度如何影響表達能力。

而這篇論文則從寬度入手，分別從寬度帶來的相變，以及寬度與深度對效率的影響來做實驗，得到了關於神經網路表達能力的新結果。

寬度與深度對效率的影響

他認為，研究深度學習表達能力，有助於我們對於給定任務，選擇較優的網路框架。也是數學上解釋深度學習的必要一環。

研究成果的意義

鄧志傑現場圖

第二位分享嘉賓是清華大學計算機系人智所博士生鄧志傑，分享主題為：結構化生成對抗網路（Structured Generative Adversarial Networks）

研究工作是基於指定語義或結構信息的條件產生式建模。現有的模型在搭建條件生成器時，往往需要大量的標註數據作為監督信號，而且不能夠準確地對生成樣本的語義信息加以控制。

因此他們提出結構化生成對抗網路(SGAN) 來解決半監督條件產生式建模這個問題。

SGAN 假設數據 x 基於兩個獨立的隱變數 y 和 z 來生成： y 編碼了指定的語義信息，z 包含其他的可變因素。SGAN 的訓練要解決兩個對抗遊戲，它們能夠保證模型中各部分收斂到數據的真實聯合分布p(x, y)和p(x, z)。為了確保 y 和 z 的解耦和，SGAN 搭建了兩個合作遊戲，它們在隱空間上最小化重建誤差。

他們進行了大量的實驗來評估結構化生成對抗網路。實驗表明 SGAN 能夠學習出一個高度可控的條件生成器，以及數據的解耦和的表示。

SGAN 在半監督分類任務的多個數據集上都取得了很好的實驗結果。得益於對 y 和 z 的分開建模，SGAN 能夠生成高質量並且嚴格遵循指定語義的樣本。此外，SGAN 還能被擴展來進行一些有趣的實驗，包括圖像演化和圖像風格遷移。

陳鍵飛現場圖

第三位分享嘉賓是清華大學計算機系人智所博士生陳鍵飛，分享主題是：樣本匹配差異及其在深度學習中的應用（Population Matching Discrepancy and Applications in Deep Learning）

兩個概率分布之間可導的距離估計是對很多深度學習任務重要的問題。其中一種距離估計是最大平均差異（MMD）。

但是MMD有對核半徑敏感、梯度弱以及用於訓練目標時mini batch過大等問題。

論文中的分享圍繞這一問題，介紹了他們在NIPS 2017上提出的樣本匹配差異（PMD）。

他們提出了PMD作為分布之間距離的估計，並提出了用PMD作為目標函數時學習分布參數的演算法。PMD定義成兩分布樣本構成的二分圖的最小匹配，證明了PMD是Wasserstein度量的強一致估計量。

實驗中將PMD用於了兩個深度學習問題，包括領域自適應和訓練產生式模型。結果表明PMD克服了上述MMD的不足，並在效果和收斂速度上都超過了MMD。

汪躍現場圖

第四位嘉賓是北京交通大學理學院博士生汪躍，分享主題是：馬爾科夫情形下的GTD 策略評估演算法有限樣本誤差分析 （Finite sample analysis of the GTD Policy Evaluation Algorithms in Markov Setting）

汪躍說自己雖然是數學專業，但是特別喜歡跟應用結合的相關領域。曾經做過一段時間與腦科學有關的影像遺傳學方面的工作。最近感興趣的方向主要集中在強化學習中的演算法理論分析和演算法設計等方面，以及優化演算法相關的方向 。

策略評估是強化學習中一個重要的組成部分。策略評估的目標是估計給定策略的價值函數（從任一狀態出發，依照給定的策略時，期望意義下未來的累計回報）。一個好的策略評估演算法可以更準確的估計出當前策略的價值函數，並且有助於找到一個更好的策略。

當狀態空間特別大或者是連續空間的時候，線性函數近似下的GTD策略評估演算法非常常用。考慮到收集數據的過程非常耗費時間和代價，清楚的理解GTD演算法在有限樣本情況下的表現就顯得非常重要。

之前的工作將GTD演算法與鞍點問題建立了聯繫，並且在樣本獨立同分布和步長為定值的情況下給出了GTD演算法的有限樣本誤差分析。但是，在實際的強化學習問題中，數據都是由馬氏決策過程產生的，並不是獨立同分布的。並且在實際中，步長往往也不一定是一個定值。

這篇論文中首先證明了在數據來自於馬爾科夫鏈的情況下，鞍點問題的期望意義下和高概率意義下的有限樣本誤差，進而得到了更接近於實際情形下的GTD的演算法的有限樣本誤差分析。從結果中可以看到， 在實際中的馬爾科夫的情形下:

（1）GTD演算法確實依然收斂；

（2）收斂的速率依賴於步長的設定和馬爾科夫鏈的混合時間這一屬性；

（3）通過混合時間的角度解釋了經驗回放這一技巧的有效性，其有效性可以理解成縮短了馬爾科夫鏈的混合時間。

單小涵現場圖

第五位分享嘉賓是中國科學院計算技術研究所博士生單小涵，分享主題是：帶有ε-近似次模閾值函數的影響力最大化問題（Influence Maximization with epsilon-Almost Submodular Threshold Function ）

她分享的主要是社交網路影響力最大化演算法研究。影響力最大化旨在從社交網路中選擇K個種子節點，使得這k個種子節點通過傳播產生的影響範圍最大。這個問題已經被廣泛研究，但是大多的工作專註於次模的影響力傳播模型。然而許多現實的傳播現象表明，在實際傳播中非次模現象十分普遍。

分享開始時，她舉了幾個通俗的例子，介紹了目前幾個用戶規模較大的社交網路和三個經典的傳播模型。

隨後分別對三大傳播模型的演算法進行了介紹，而這篇論文的價值所在是作者在論文中提到了一種近次模函數，並以這類函數作為閾值，研究通用閾值模型下的影響力最大化問題。

實驗結果：

活動現場圖

嘉賓演講完的提問環節，同學們表現非常踴躍積極，收穫滿滿

內容分享結束後，幾位嘉賓還同時分享了他們在頂會上發論文的心得與體會。在最後的問答環節中，現場有很多剛剛入學的研究生，就學習、未來學術研究方向以及怎樣才能進到像微軟亞研這樣的大企業實習等方面遇到的問題請教了幾位嘉賓，他們都耐心給出了解答，廣大在場的同學們都收穫良多。以上就是GAIR大講堂NIPS清華專場 5位嘉賓分享的全部內容。AI科技評論為大家整理了本次活動現場PPT（可關注AI科技評論公眾號。）

雷鋒網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！