親述GAN簡史：人工智慧不能理解它無法創造的東西

選自Wired

作者：Cade Metz

機器之心編譯

參與：黃小天、蔣思源

著名物理學家、加州理工學院教授以及暢銷書作者理查德·費曼（ Richard Feynman）離開人世的那一天，其教室的黑板上寫著：「我不能創造的，我也不理解（What I cannot create, I do not understand）。」

當 Ian Goodfellow 解釋其在谷歌大腦正進行的研究時，他引用了費曼的這一格言，但他指代的不是自己或者谷歌的任何員工，而是機器：「人工智慧不能創造的，其也不理解（What an AI cannot create, it does not understand）。」

Goodfellow 是當今人工智慧領域最重要的研究者之一，在 OpenAI （谷歌大腦的競爭者，由 Elon Musk 和 Sam Altman 聯合創建）短暫工作之後，他又重返谷歌，組建一個新的研究團隊探索「生成模型」，其可以創建圖片、聲音和真實世界的其他表徵。 Goodfellow 同意費曼的觀點，認為這一努力是實現所有人工智慧的一條重要路徑。

Ian Goodfellow 說：「這會促進人工智慧學習真實存在的世界結構。」

「如果人工智慧對世界的想像包含真實細節，即懂得如何生成真實的圖像和聲音，這會促進人工智慧學習真實存在的世界結構。」Goodfellow 解釋說。「世界結構可以幫助人工智慧理解其看到的圖像或聽到的聲音。」

2014 年 Goodfellow 還是蒙特利爾大學的一名博士生，在酒吧的一次醉酒爭論後，他就已在構想著一種稱為「生成對抗網路」或者 GAN 的人工智慧技術。然而，醉酒帶來了靈感，這是一個十分優雅的想法：第一個人工智慧創造逼真圖像，第二個人工智慧分析其結果，並確定這張圖像是真是假。Goodfellow 說：「你可以將此看作是一位藝術家（生成模型）和一位藝評家，藝術家想要愚弄藝評家，使其相信藝術家的生成的圖像是真的。」由於第二個人工智慧在鑒別圖像真假上十分賣力，第一個人工智慧可從其學到通過自學無法學到的方式來仿製逼真圖像。在這一過程中，這兩個神經網路不斷推動人工智慧前進直到有一天計算機可以脫離人類的指導而存在。

監管 Facebook 整個人工智慧研究的 Yann LeCun 說：「GAN 是近 20 年來深度學習領域誕生的最酷想法。」深度學習是人工智慧的一個分支，其改變了包括谷歌、微軟、亞馬遜以及 Facebook 在內的所有互聯網巨頭的發展發向。Goodfellow 的想法仍然有待完善，但已快速擴展到整個人工智慧領域。許多研究者，包括 LeCun，認為他們可以通過它實現「無監督學習」。即這一人工智慧研究領域的偉大抱負：實現無需人類直接干預的機器學習。

步入正軌

Goodfellow 是在 Les 3 Brasseurs 酒吧（或者 The 3 Brewers）有了 GAN 的最初想法，當時他的朋友 Razvan Pascanu （現在是DeepMind 的一名研究員）博士畢業， Goodfellow 和許多其他朋友為其送行。他們中的一個人正在描述一個新的研究項目，致力於從數學上界定照片中的一切，即把關於照片的統計學數據輸入到一台機器從而使其自行創建圖片。Goodfellow 認為有點詭異，說這永遠不會奏效——因為有太多的統計學數據要考慮以至於沒有一個人可以全部記錄下來。但是在這時，他想到了一個更好的方法：神經網路可以教會機器如何創建真實的圖片。

神經網路是一個複雜的數學系統，其通過分析大量的數據以學習任務，比如圖片中的人臉識別和理解口頭語言。站在酒吧之中時， Goodfellow 想到，當第一個神經網路學習創建真實圖片時，第二個可以扮演敵手，鑒定這些被生成圖片的真偽，並將其判斷回饋給第一個神經網路。通過這種方式，他說，可以最終教會第一個神經網路生成與真實圖像難以區分的偽造圖片。

Goodfellow 的朋友開始反駁，其也同樣堅持 Goodfellow 的方法並不奏效。所以當 Goodfellow 晚上回到家後，他構建了 GAN。他還記得「回到家還是有點醉，我就坐在那思考朋友在酒吧說的是錯的！後來我徹夜未眠並在筆記本上編寫GAN。」Goodfellow 說的這個代碼是第一次嘗試。他說：「我非常幸運，因為如果當時這個模型失敗，也許就放棄了這一個想法。」

他和其他一些研究人員發表了一篇論文，描述那年晚些時候的思潮。隨後三年，其他數百篇論文探討了這一概念。在第一篇論文中，兩個神經網路就能產生可以生成手寫數字的逼真圖像系統。現在，研究人員將這一概念應用到從貓到火山再到整個星系等一切事物的圖像中。它甚至能協助天文實驗的開展和局部物理學的模擬。

但實現還是非常困難。因為這一系統訓練的神經網路不是一個，而是同時訓練兩個。在谷歌，當 Goodfellow 組建了一個聚焦於 GAN 及其相關研究的團隊時，希望精鍊研究進程。Goodfellow 說：「作為一名機器學習研究者，我所必須面對的是研究出十分可靠的訓練方式。」

最後的結果：遠遠不只是生成圖片和聲音，還能識別圖像與聲音，這是一條實現優秀系統的路徑——只需少量人類干預就能學習到更多知識。Goodfellow 說：「這些模型學習理解世界的結構，並在沒有過多明確告知的情況下幫助系統學習。」

GAN 甚至可以實現無監督學習，這在今天並不真實存在。目前，神經網路能通過分析數百萬張貓的照片而識別出貓，但前提是人類必須在之前小心地區分圖像並為貓的照片做上標註。實際上人類在識別過程中參與很多，這也經常是一個難題，即這一問題是有偏見的還是在訓練人工智慧時確實需要人工干預。像 LeCun 那樣的研究者正努力推動無需大量人工干預就能學習的系統，這會加速人工智慧的發展。

但這僅僅只是開端。GAN 同時還將帶來更多的可能性。南加利福尼亞大學的人工智慧研究員 David Kale 認為，這一想法可以幫助他及其研究同事在不侵犯患者隱私的情況下構建健康醫療人工智慧。基本上，GAN 可以生成偽造（fake ）的健康醫療記錄。機器學習系統可以在這些偽造的數據而不是真實數據上進行訓練。Kale 說：「我們不能將患者數據放入到人人可用的網上，那麼為什麼我們不在偽造數據上訓練 GAN，並創建一個完全合成的數據集再開放用於其它研究呢？通過這樣的方式，任何在合成數據集訓練的模型與在原始數據訓練的不會有什麼區別，我們有什麼理由不這樣做呢？」

雖然許多研究者在探索 GAN 背後的思想，但 Goodfellow 正打算在谷歌建立一個專門團隊。Goodfellow 是離開谷歌到OpenAI（該實驗室承諾與世界分享其研究）的研究者之一。但不到一年，他又回到了谷歌，因為他的合作者幾乎都在那裡。Goodfellow 說：「在視頻通話中花費一天的時光並不有趣。這並不是完成工作的最佳方法。」

分享很重要，密切合作也是——不管是人工智慧研究者還是神經網路。