AIWTB大會精選：從深度生成模型到對抗樣本與差分隱私

機器之心報道

昨天 Yoshua Bengio 在AIWTB大會解讀深度生成模型，其希望讓機器具備無監督學習能力

人工智慧研究的最大難題之一是無監督學習（unsupervised learning）。當前在應用上成功的深度學習嚴重依賴於監督學習，即需要人類來分類數據和定義我們希望計算機了解的高層面的抽象。但是，人類即使沒有老師告訴它有關世界的任何東西也能發現有關世界的很多方面，計算機要想獲得這種自動學習理解世界的能力還需要進一步的發展。面向無監督學習的深度學習方法以學習表徵（learning representation）問題為核心，不同的演算法都會定義一個目標函數，該目標函數可以讓該學習器獲取到其數據表徵的重要關鍵方面以及一個可以表徵數據的新空間。深度生成模型可以通過生成全新的樣本來演示其對於數據的理解，儘管這些生成的樣本非常類似於那些訓練樣本。許多這樣的模型都和之前的自編碼器的思想有關，其有一個編碼器函數將數據映射到表徵，還有一個解碼器函數（或生成器）將該抽象的表徵映射到原始數據空間。本演講將特別關注生成對抗網路（GAN），其質疑了當前已有的基於最大似然和概率函數估計的方法，並將我們帶入了博弈論的領域，為我們提供了比較不同分布的全新方法以及非常出色的圖像生成。

以下為該演講的內容詳情整理：

演講主題：深度生成模型。在這張幻燈片上，我們可以看到 Bengio 任職的多個機構，包括蒙特利爾學習演算法研究所（MILA）、蒙特利爾大學、加拿大高等研究院（CIFAR）、IVADO。右下角可以看到他與另外兩位學界領軍人物 Ian Goodfellow 和 Aaron Courville 合著的新書《Deep Learning》，目前該書的中文印前版已經出爐並和英文版一樣開放了下載，可參閱文章《資源 |《Deep Learning》中文印前版開放下載，讓我們向譯者致敬》。

智能需要知識，所以機器若想智能，就需要學習。傳統人工智慧的失敗在於很多知識是直覺式的，難以直接編程給計算機使用。我們的解決方案是使用機器學習來從數據和經歷中獲取知識。

過去幾年，機器學習的進展讓人驚嘆，但人工智慧還遠不及人類智能的水平：

• 目前取得了工業應用成功的人工智慧大都基於監督學習；

• 學習到的都是膚淺標籤的線索，難以很好地泛化到訓練環境之外，訓練好的網路也很容易被欺騙（比如通過調整狗照片的像素，使其被誤認為是一隻鴕鳥）——通過選取簡單的規則就能欺騙現在的模型；

• 仍然不能在多種時間尺度上發現高層面的特徵。

人類在無監督學習上的表現優於機器

• 人類非常擅長無監督學習，比如，兩歲小兒也知道直觀的物理作用；

• 嬰兒可以得到近似的但足夠可靠的物理模型，它們是怎麼做到這一點的？注意他們不僅僅是觀察世界，而且還會與世界進行交互。

用分布式表徵對抗維度災難

• 為了解決維度災難和很好地泛化到訓練樣本之外，深度學習利用了深度分布式表徵

• 分布式表徵和深度利用了組合性，具有極大的優勢

隱藏單元能發現有意義的概念

分布式表徵=高層抽象的集合

假設一個網路的隱藏單元需要發現以下特徵：

• 人——帶著眼鏡

• 人——女性

• 人——小孩

那麼它就需要獲取非常大量的變數，其中高層面的特徵對應於世界的不同方面。那麼問題來了：我們如何將原始數據映射到這樣一個空間，而無需預定義這些特徵的含義？

不變性與 Disentangling

• 不變特徵

• 哪些是不變的

• 備選：學會 disentangle 要素

• 好的 disentangling：避免維度的詛咒

學習多層次的表徵

• 深度學習的一大好處是能夠學習更高層次的抽象化。

• 更高層次的抽象化能夠 disentangle 變化係數，從而能進行更簡單的泛化與遷移。

自編碼器

• 自編碼器有很多變體，有不同的訓練目標和概率解釋；

• 代碼 h 應該是輸入 x 的一個更高層面的表徵；

• 好的自編碼會保留 x 中最重要的信息；

• 用重構誤差來衡量信息的損失。

隱變數和抽象表徵

• 編碼器/解碼器角度：低層和高層之間的映射；

• 編碼器進行推理：在抽象層面解讀數據；

• 解碼器可以生成新的配置；

• 編碼器可以展平和 disentangle 數據流形

表徵之間的映射

• x 和 y 表示不同的模態，比如圖像、文本、聲音

• 可以提供到新類別（y 的值）的 0-shot 泛化

生成模型

要演示一個學習器是否已經理解了數據分布，可以讓它根據該分布生成一個新樣本。比如上面這個使用 BEGAN 在一個人臉圖像數據集上生成的新圖像。我們可以怎麼做呢？如右上圖的示意，可以為該模型在參數之外輸入額外的隨機數，使其生成新樣本。

可以說生成模型就是由無窮樣本得出概率密度模型，再借用其得出預測。生成方法由數據學習聯合概率分布 P(X,Y)，然後求出條件概率分布 P(Y|X)=P(X,Y)/P(X) 作為預測的模型。這樣的方法之所以成為生成方法，是因為模型表示了給定輸入 X 產生輸出 Y 的生成關係。用於隨機生成的觀察值建模，特別是在給定某些隱藏參數情況下。

Helmholtz 機和變分自編碼器

而對於變分自編碼器（Variational Autoencoder/VAE），其使得我們可以在概率圖形模型（probabilistic graphical model）的框架下將這個問題形式化，在此框架下我們可以最大化數據的對數似然值的下界。

Yoshua Bengio 也表明現如今已經有許多類型的生成模型。他首先介紹了最早出現的玻爾茲曼機和受限玻爾茲曼機（Boltzmann machines & RBMs）。受限玻茲曼機不僅在降維、分類、協同過濾、特徵學習和主題建模中得到應用，同時 Bengio 還表明在 2006 年深度學習最開始的進程中，RBM 也可以應用於第一階段的深度神經網路。隨後在 90 年代，出現了 Helmholtz 機和 sigmoid 信念網路。Bengio 還介紹了其他幾種生成模型：降噪自編碼器（Denoising auto-encoders）、變分自編碼器（Variational auto-encoders）和自回歸神經網路（如 RNN、 NADE、 pixelCNN 等）。當然最後少不了介紹一番生成對抗網路。

據 Bengio 介紹 GAN 是由兩個彼此競爭的深度神經網路：生成器和判別器組成。為了理解生成對抗網路的基本原理，可以假定我們需要讓 GAN 生成類似於訓練集中的人臉圖片。那麼我們整個 GAN 的架構可能如下所示：

「生成器努力生成讓辨別器認為是真的假圖片。然後當一張圖片輸入時，辨別器會盡最大的努力試著辨別真的圖片和生成的圖片」

生成器和辨別器會共同進步直到辨別器無法辨別真實的和生成的圖片。到了那時，生成式對抗網路只能以 0.5 的概率猜一下哪張是真實的哪張是生成的，因為生成器生成的人臉圖片太逼真了。

GAN 論文是這樣描述的:

生成模型可以被看作是一隊偽造者，試圖偽造貨幣，不被人發覺，然而辨別模型可被視作一隊警察，努力監察假的貨幣。遊戲當中的競爭使得這兩隊不斷的改善方法，直到無法從真實的物品中辨別出偽造的。

因此在理想最優狀態下，生成器將知道如何生成真實的人臉圖片，辨別器也會知道人臉的組成部分。

隨後 Bengio 還展示了生成對抗網路的早期數據樣本：

GAN 本身也存在大量變體，可參閱機器之心文章《資源 | 生成對抗網路及其變體的論文匯總》。由於 CGAN 對於無監督學習和生成模型的巨大推動作用，Bengio 對卷積生成對抗網路也是做了一個概要介紹。

近年來，深度卷積神經網路（CNN）的監督學習在計算機視覺應用上發揮巨大的作用，然而 CNN 的無監督學習只受到較少的關注。因此，他又接著介紹了深度卷積生成對抗網路，該 DCGAN 具有一定的結構約束，並顯示了其在無監督學習方向上強有力的潛力。他說通過在各種各樣的圖像數據集的訓練，深度卷積對抗對（adversarial pair）從對象到場景在生成模型和判別模型上都能夠學習到層級的表示。此外，在一些的新的任務上使用學習到的特徵表明該網路在一般的圖像表示上具有通用性。

GAN：在潛在空間中插值（Interpolating），如果模型是好的（展開了 manifold），在隱藏值間插值，就能產生貌似可信的圖像。比如下圖戴眼鏡的男性圖像減去男性圖像加上女性圖像就會得到戴眼鏡的女性圖像。

接下來 Bengio 又介紹了一篇提交到 CVPR 2017 的論文，該論文主要是介紹了一種通過在生成網路的潛在空間中進行梯度上升而合成高解析度與逼真的圖像。該論文及其地址如下：https://arxiv.org/abs/1612.00005

最後，Bengio 介紹了在訓練生成對抗網路時所面對的一些挑戰與困難：

• 訓練時可能會產生模型不穩定或發散的情況

• GAN 模型對超參數和訓練的細節十分敏感

• 模式崩潰：幾乎相似的圖像生成太多次

• 模式缺失：有些數據子類型缺失

• 在監督學習中，如果沒有在訓練期提供潛在類別，那麼其就很難處理這些類別

• 很難監控進程

• 對於模型質量沒有一個可接受的定量度量

• 但 GAN 真的十分優秀

• 現在也已經提出了很多變體來解決這些問題，但還有更多的研究者正在努力解決它們

• 如想要了解更多，可查看 Goodfellow 在 NIPS 所做的教程

而正在前天，Goodfellow也在 AIWTB 做了對抗樣本與差分隱私這樣一個演講

Ian Goodfellow 是谷歌大腦的一位研究科學家，是生成對抗網路（GAN）的提出者，也是《Deep Learning》的作者之一。他此次的演講主題為《機器學習的隱私與安全（Machine learning privacy and security）》。

演講主題：隨著機器學習演算法得到越來越廣泛的使用，確保它們能夠提供隱私和安全保證是很重要的。在這個演講中，Ian Goodfellow 概述了一些對手可以用來攻擊機器學習模型的方法，以及一些我們可以用來進行防禦的措施，比如對抗訓練（adversarial training）和差分隱私（differential privacy）。此次大會，AI With the Best 也邀請了 Nicolas Papernot、Patrick McDanel 和 Dawn Song 來對其中一些主題進行詳細解讀。

演講內容介紹

前面介紹了，AI With the Best 線上大會分為兩部分內容：在線演講、在線對話。在這一部分，我們對 Ian Goodfellow 演講的內容進行了梳理。

Goodfellow 的演講主題為《機器學習的隱私與安全（Machine learning privacy and security）》，其中重點介紹了對抗樣本和差分隱私。在對抗樣本部分，他重點解讀了在訓練時間和測試時間對模型的干擾。在差分隱私部分，他介紹了差分隱私的定義和當前這一領域最先進的演算法 PATE-G。

斯坦福的研究者做了一個很有意思的研究：首先用一種對人類而言看起來像是雜訊的信號（實際上是經過精心設計的）「污染」訓練集的圖片，比如上圖左側中狗的照片，得到上圖右側的照片，對我們人類而言看起來還是狗。用原始訓練集訓練模型後，模型識別下圖有 97.8% 的概率是「狗」；而用被「污染」過的圖片和標籤訓練模型之後，模型會把下圖顯然的狗標記為「魚」，置信度為 69.7%。這個研究表明我們可以通過影響訓練集來干擾測試結果。

除了在訓練時間對模型進行干擾，我們也可以在測試時間干擾模型。對於實際投入應用的機器學習模型來說，這個階段的攻擊更值得關注。比如說左邊的熊貓照片，如果我們給它加上一點看起來像是雜訊的信號，然後得到右邊的圖像——看起來仍然是熊貓；但對一個計算機視覺系統來說，它看起來卻像是一個長臂猿。

這個過程中到底發生了什麼？當然實際上，那個看起來像是雜訊的信號並不是雜訊，真正的雜訊信號對神經網路的結果的影響不會有這麼大。實際上這是經過精心計算的信號，目標就是誘導機器學習系統犯錯。

為什麼這個問題很重要呢？自 2013 年以來，深度神經網路已經在目標和人臉識別、破解驗證碼和閱讀地址等任務上達到或接近了人類的水平，並且也實現了很多應用。通過上面提到的方法，我們可以影響這些系統的表現，使對抗樣本具有潛在危險性。比如，攻擊者可能會用貼紙或者一幅畫做一個對抗式「停止」交通標誌，將攻擊對象瞄準自動駕駛汽車，這樣，車輛就可能將這一「標誌」解釋為「放棄」或其他標識，進而引發危險。研究《Practical Black-Box Attacks against Deep Learning Systems using Adversarial Examples》討論過這個問題。

讓不同的物體被識別為「飛機」

現代深度網路是非常分段線性的

反應中的接近線性的響應

對抗樣本不是雜訊

讓高斯雜訊被識別為一架飛機

同樣方向的干擾可以在許多輸入上欺騙模型（後來被稱為「通用對抗擾動」）

跨模型、跨數據集泛化

遷移策略

→帶有未知權重的目標模型，機器學習演算法、訓練集；也許是不可微分的——（訓練你自己的模型）→替代模型使用已知的可微分的函數來模擬目標模型——（對抗性的設計來對抗替代）→對抗樣本——（部署對抗樣本來對抗目標；遷移性導致它們的成功）→

對抗樣本的實際應用

欺騙通過遠程託管的 API（MetaMind、亞馬遜、谷歌）訓練的真實分類器

欺騙惡意軟體檢測器網路

在物理世界中展示對抗樣本，通過一個相機欺騙機器學習系統相信它們

物理世界中的對抗樣本

用於強化學習的對抗樣本。伯克利、OpenAI 以及賓大聯合發表的論文《Adversarial Attacks on Neural Network Policies》，內華達大學《Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks》等研究表明強化學習智能體也能被對抗樣本操控。研究表明，廣為採用的強化學習演算法（比如，DQN、TRPO 以及 A3C）都經不起對抗樣本的捉弄。這些對抗樣本輸入會降低系統性能，即使擾亂微妙地讓人類也難以察覺，智能體會在應該往上移動的時候卻將球拍向下移動，或者在 Seaquest 中識別敵人的能力受到干擾。

失敗的防禦方法，其中包括生成式預訓練、使用自動編碼器移除干擾、糾錯代碼、權重衰減、多種非線性單元等等

在對抗樣本上的訓練

一匹叫做 Clever Hans 的馬。剛出現的時候人們認為這匹馬會做算術，但實際上它只是會閱讀人的表情，當它點馬蹄的次數接近正確答案時，人們的表情會更興奮，它就知道該這個時候停止了。

OpenAI 開源的 cleverhans 項目，支持 TensorFlow 和 Theano；是對抗樣本生成的標準實現，可用於對抗訓練和再現基準。項目地址：https://github.com/openai/cleverhans

差分隱私

PATE：教師全體的私有聚合 (Private Aggregation of Teacher Ensembles）。該方法通過黑箱的方式組合多個由互斥數據集（如用戶數據的不同子集）訓練的模型。因為這些模型都依賴于敏感性數據，所以它們並不會發布，但是它們還是可以作為「學生」模型的「教師」。學生在所有教師間的投票中選擇學習預測輸出，其並不會直接訪問單一的教師或基礎參數與數據。學生的隱私屬性可以直觀地理解（因為沒有單一的教師和單一的數據集決定學生的訓練），正式地即依據不同隱私訓練模型。即使攻擊者不僅可以訪問學生，還能檢查內部運行工作，這一屬性還將保持不變。與以前的研究相比，該方法對教師的訓練只增加弱假設條件：其適應於所有模型，包括非凸模型（如深度神經網路）。由於隱私分析和半監督學習的改進，我們的模型在 MNIST 和 SVHN 上實現了最先進的隱私/效用（privacy/utility）權衡。

總結

• 現在機器學習已經有效了，讓我們讓它更穩健

• 對抗樣本可以發生在訓練時間，也可以出現在測試時間

• 對抗訓練是一種人們偏愛的對對抗樣本的防禦方法

• PATE-G 是一種高準確度的演算法，帶有差分隱私的保證