以為GAN只能「炮製假圖」？它還有這7種另類用途

作者 Alexandor Honchar

曉查 編譯自 Medium

量子位 出品 | 公眾號 QbitAI

最近，AI方案設計師Alexandor Honchar在Medium網站上分享一篇文章。他認為生成對抗網路（GAN）目前在生成圖像取得了巨大進展，生成的圖像幾乎能夠以假亂真，並且在4年間，面部圖像的生成也越來越精細。

但Honchar認為，GAN不該局限在圖像生成上，他認為GAN可以應用在更廣泛的領域，並提出了GAN在其他領域的應用實例（項目鏈接見文末）。其中一些已經證實可行，並有學術成果產出，另一些作者目前還在探索中。

以下就是作者總結的GAN的7種」另類「用法：

增加數據

GAN可以訓練模型用已有的數據集去產生增加數據。

我們如何檢查增加的數據是否真的有幫助呢？主要有兩個策略：我們可以在「假」數據上訓練我們的模型，並檢查它在真實樣本上的表現；與之相對的是，我們用真實數據訓練模型來做一些分類任務，並且在檢查它對生成的」假「數據的表現。

如果它在以上兩種情況下都能正常工作，就可以將生成模型中的樣本添加到實際數據中並再次重新訓練，獲得更強的性能。要使此方法更加強大和靈活，請閱讀後文第6項。

NVIDIA展示過一個很好的例子：他們用GAN去增加不同疾病下的腦部CT圖像的數據集。在僅使用經典數據增強的情況下，系統有78.6％的靈敏度和88.4％的特異性；而通過增加合成數據的方法，靈敏度提升至85.7％、特異性提升至92.4％。

隱私保護

許多公司的數據機密而又敏感，例如公司的財務數據、病患的醫療數據等等。但是在某些情況下，有時我們需要與顧問或研究人員等第三方分享。

如果只想分享數據的大致情況，對數據的細節進行隱藏，我們可以利用生成模型來抽象數據，這樣就能保護確切的機密數據。

對共享數據進行保密很困難。當然，我們有不同的加密方案，如同態加密，但它們有已知的缺點，例如在海量數據中隱藏少量數據比較困難（比如10GB代碼中隱藏1MB信息）。

2016年，谷歌開闢了一條新研究路徑，把GAN的競爭框架用到加密加密問題上，讓兩個網路在加密和解密中競爭來實現目的：

但它的優點不是處理數據的效率，或創造另一個領域的「AI」流行語。我們應該記住，通過神經網路獲得的結果通常仍然包含有關輸入數據最有用的信息，並且壓縮後的數據仍然可以進行分類、回歸、聚類或者其他操作。

如果我們將「壓縮」替換為「加密」，那麼我們就可以做到與第三方共享數據而不顯示任何數據集的細節。

異常探測

主要生成模型有變分自動編碼器（VAE）和生產對抗網路（GAN）兩類，它們都由兩部分構成。 VAE有編碼器和解碼器，分別用於建模和重建。 GAN由生成器和鑒別器組成，前者用於模擬分布，後者判斷它是否接近訓練數據。

我們可以看到，它們在某種程度上非常相似：都用有建模和判斷部分（在VAE中我們可以認為重建是一種判斷）。建模部分應該學習數據分布。

如果我們將一些不是來自訓練分布的樣本給模型做出判斷，那麼將會發生什麼？訓練有素的GAN鑒別器會輸出個0，而VAE的重建誤差將高於訓練數據的平均值。我們的無監督異常探測器就有了，易於訓練也易於評估。我們可以用一些」興奮劑「來訓練它，比如Wasserstein GAN所用的統計距離。

在本文中，你可以找到用於異常檢測的GAN示例以及自動編碼器。我還添加了自己用Keras寫成基於自動編碼器的粗略草圖：

https://github.com/Rachnog/education/blob/master/anomaly/ae_anomaly.py

判別建模

深度學習所做的一切都是將輸入數據映射到某個空間，在這個空間中，通過SVM或邏輯回歸等簡單的數學模型可以更容易地分離或解釋。

生成模型也有自己的映射，讓我們從VAE開始。 自動編碼器將輸入樣本映射到一些有意義的潛在空間，基本上我們可以直接訓練一些模型。這有什麼意義？它和僅用編碼器層和訓練模型直接進行分類有什麼不同嗎？確實有。自動編碼器的潛在空間是複雜的非線性降維，並且在變分自動編碼器的情況下也是多變數分布，這可以比一些隨機初始化更好地開始初始化訓練判別模型。

GAN對於無任何輸入只從隨機種子生成樣本的任務來說有點難度。但我們仍然可以至少開發兩種針對這類任務的分類器。第一種，我們已經研究過，就是利用鑒別器將生成的樣本分類，同時只是告訴它是真的還是假的。我們可以期望從獲得的分類器來更好地規則化，並且可以分類溢出值/異常值：

第二種是貝葉斯定理的不公平遺忘分類方法，其中我們基於p(x | c_k)（恰好是條件GAN所做的）和先驗p(x)，p(c_k)給p(c_k | x)建模。這裡的主要問題是GAN真的學習數據分布嗎？在最近的一些研究中正在討論該問題。

領域適配

對我來說，這是最強大的功能之一。 在實踐中，我們訓練模型所用的數據源，和它們在真實環境中運行的時候幾乎不可能相同。

在計算機視覺中，不同的光線條件、相機設置或天氣會使非常精確的模型無用。 在自然語言處理（NLP）和語音分析中，俚語或重音會破壞你在基於「語法正確」語言訓練模型的表現。 在信號處理中，你很可能用完全不同的設備捕獲數據，來訓練和生成建模。

不過，這兩種數據「類型」彼此非常相似。 我們知道機器學習模型執行從一個條件到另一個條件的映射，保留主要內容，但更改細節。 是的，我說的就是風格遷移，但不是為了藝術創作。

舉個例子，例如某個處理閉路電視圖像的應用，你訓練的模型是建立在高解析度圖像的基礎上時，那麼你可以嘗試用GAN處理圖像去除噪點並對其增強。

我可以從信號處理領域舉個更激進的例子：有很多與手機加速度計數據相關的數據，描述了不同人的活動。 但是，如果你想在智能手環上使用受過手機數據訓練的模型，該怎麼辦？ GAN可以嘗試幫助你翻譯不同類型的運動。

一般來說，一些預定義的先驗模型可以幫助你進行進行領域適配、協方差轉換以及處理其他數據中的差異問題。

數據操控

我們討論過圖像的風格遷移。如果我們僅僅是想改變照片中的鼻子呢？或者改變汽車的顏色，又或者是替換演講中的某些詞語而不是完全改變它，我們應該怎麼辦？

如果想做到這些，我們假定處理的對象包含有限的元素集合，以人臉為例，眼、鼻、口、頭髮等等元素都有自己的屬性。

如果我們可以將照片的像素映射到五官，那麼我們就可以調整五官的大小了嗎？ 有一些數學概念可以做到：自動編碼器或許可以，GAN也能做到。

對抗訓練

你可能不同意我添加關於機器學習模型攻擊的段落，但它的確與生成模型（對抗性攻擊演算法確實非常簡單）和對抗性演算法（因為我們有一個模型與另一個模型競爭）有關。

也許你熟悉對抗性例子的概念：模型輸入中的微小擾動（甚至可能只是圖像中的一個像素）就會導致完全錯誤的表現。我們有一些方法來防止錯誤結果的發生，其中一個最基本的方法叫做對抗性訓練：利用對抗性的例子來構建更準確的模型。

模型中加入微小干擾，導致將熊貓錯誤識別為長臂猿

如果不深入細節，我們有這樣一個雙人遊戲：對抗模型（只加入一些微小的擾動）需要最大化其影響力，並且分類模型需要最小化其損失。這看起來很像GAN，但它的目的不同：是為了讓模型在面對對抗性攻擊時更穩定，並通過某種智能數據增強和正規化提高其性能。

小結

GAN和其他一些生成模型主要用於生成圖像、旋律或短文本，它的主要長期目標仍是生成以正確情況為條件的真實世界對象。但在本文中，我列舉了幾個例子，證明GAN還可以用來改進當前的AI、保護數據、發現異常等等。 我希望你會發現這些例子很有用，並將它用在你的項目中。

最後，附上文中項目實例地址：

」假「數據訓練醫學識別系統：

https://arxiv.org/pdf/1803.01229.pdf

對抗網路如何加密數據：

https://towardsdatascience.com/adversarial-neural-cryptography-can-solve-the-biggest-friction-point-in-modern-ai-cc13b337f969

用GAN做成的圖片分類器：

https://towardsdatascience.com/semi-supervised-learning-with-gans-9f3cb128c5e

圖片風格轉移項目：

https://ml4a.github.io/ml4a/style_transfer/

改變面部局部五官項目：

https://houxianxu.github.io/assets/project/dfcvae

微擾導致圖像識別錯誤的案例：

https://blog.openai.com/adversarial-example-research/

—完—

加入社群

量子位AI社群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字「專業群」，獲取入群方式。（專業群審核較嚴，敬請諒解）

活動策劃招聘

量子位正在招聘活動策劃，將負責不同領域維度的線上線下相關活動策劃、執行。歡迎聰明靠譜的小夥伴加入，並希望你能有一些活動策劃或運營的相關經驗。相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！