OpenAI不公開發布GPT-2，應該反對還是贊同？

雷鋒網 AI 科技評論按：上周四，OpenAI 發布了一個非常大的語言模型 GPT-2。給定一兩句開頭之後，這個模型就可以生成新聞、小說同人等多種不同風格的文字，內容看起來非常逼真。然而反常的是，OpenAI 的研究人員們決定不發布訓練模型的數據、也不發布最大那個模型預訓練後的參數，因為他們認為如此強力的模型有遭到惡意濫用的風險。「認為可能有風險所以不發布模型」，這事引起了渲染大波，機器學習&自然語言處理界的研究人員們展開了熱烈的討論。

麥吉爾大學機器學習專業博士生、2017 年時曾經在 OpenAI 實習過、同時自己做語言建模的 Ryan Lowe 針對此事寫了一篇文章，寫下了自己的觀點。這篇全面、博客也得到了許多研究人員的贊同。雷鋒網 AI 科技評論全文編譯如下。

打開今日頭條，查看更多圖片

關於 OpenAI GPT-2 語言模型的討論我已經看到了很多，但是目前我還沒看到有哪個帖子完全說出了我想說的。面對機器學習領域研究成果潛在的被濫用的風險，有一件非常重要的事是我希望所有這個領域的研究人員們都可以明白的，我會在下文中說明。我也會談談這項研究在技術方面的價值、人類級別語言生成的社會影響;以及有人說 OpenAI 的科研目標就是為了可以製造爆炸性新聞，我也來說說我的看法。

我曾經做過基於神經網路的對話系統，就是給出一段對話內容，讓模型預測接下來的一句是什麼。當時是 2016 年年底，我還記得我們把模型生成的語句全部看了一遍，希望能找到一些符合對話語境的句子。但是一句令人滿意的都沒有。

所以當我看到 GPT-2 生成的「會說英文的獨角獸」的故事時瞬間震驚了。這個故事講得並不完美，裡面有一些前後衝突的內容，但總的來說這篇文本十分連貫、流暢、有條理，就像是人類寫的一篇新聞一樣。在我看來，即便這樣的結果是從許多次的嘗試中挑選出來的，我覺得也是非常驚人的成果。而且這個模型在前後文里多次正確地使用了「Jorge Perez」這個人名，要知道這個模型是沒有顯式的記憶機制的，這也讓我覺得有點欽佩。可以說這個模型已經到達了一個全新的境界了，即便最新的語言生成論文我沒有全都看過，但我認為目前沒有任何別的模型在連貫性條理性、語法正確性、長段文本內容的理解引用以及世界常識方面達到了這樣的水平。

我也可以明確一點，這項研究中沒有任何新的演算法研究成果。他們只不過是把之前的 GPT 的研究增加了規模而已。不過我覺得「具體表明了增大規模的模型有多強」這件事本身就是重要的成果了。事後我們回過頭來說「更多的數據、更多的計算力會給你帶來更好的模型」當然容易，但是如果在 OpenAI 發布模型之前我拿那個獨角獸的故事給同事看、告訴他們這是 AI 生成的文本的話，我覺得他們是不會相信的。

有人猜測模型會不會只是簡單地記住了文本模版，然後再正確地把它們重複出來就可以了。這一點在他們的論文中也進行了討論，作者們展示了 GPT-2 生成的樣本和訓練數據集之間的單詞重複率，這個重複率實際上比測試集和訓練集之間的單詞重複率還要低。換句話說，GTP-2 表現出的記憶行為比隨便取一段人類撰寫的文字還要低。如果我們要說這個模型具有非平凡的泛化能力的話，這算是一條挺強力的證據了。

我們應該質疑他們展示的結果嗎？提出「OpenAI 的研究人員們展示模型泛化能力的方式是否準確」的這個問題是非常合理的。我個人很想看看他們選出那些展示給我們看的結果的時候一共嘗試了多少種不同的輸入（挑選結果的「元範圍」有多大）。不過他們確實提供了一個包含了幾百條原始樣本的記錄文件，這可以讓我們對模型的能力有更好的了解。另外，對於每條選出的高質量 GPT-2 文本生成結果，他們也給出了得到那個結果時的嘗試次數，這就不怎麼常見了，包括我自己的論文都不會說明這個。結合他們發布的代碼，在我看來 OpenAI 展示結果的方式確實達到了其它 NLP 論文發表的標準。

現在我說說它帶來爭議的部分。OpenAI 決定不公開發布最大的 GPT-2 模型的預訓練權值，他們聲稱擔心「這個大語言模型被用來大批量生成欺騙性的、有偏見的或者粗魯的文本」。我們暫時不問 GPT-2 能不能做到這些，先考慮下面這個問題：如果我們有一個強力的開源語言模型，給定一個開頭或者一個主題之後，它能無限制地生成人類質量的文本，這個會是一件壞事嗎？

我覺得答案是「是壞事」。雖然我們都知道人類就有很多寫假新聞的，而且政府為了達到宣傳目的也已經僱傭了上千人撰寫有偏向的評論。但一個自動化的系統就不一樣了，這可能導致：（1）有些抱有惡意的人，從前他們沒有足夠的資源僱傭上千規模的人力支持虛假信息宣傳，但有了低成本的自動化系統之後就會不一樣；（2）目前就由政府運行的虛假信息宣傳的規模將大幅增加。這些宣傳運動之所以有效，是因為當一個人周圍有很多人都表達了某個相同的觀點的時候，即便這個觀點單獨來看沒什麼道理，他也會受到嚴重影響。增大信息宣傳的規模也就可以相應地增加政府和企業影響大眾信念的程度。

為了對抗這樣的情況，我們需要開始探索有哪些方法可以檢測 AI 生成的文本。相對於偽造視頻和音頻的檢測，這會帶來一些不同的挑戰：雖然高質量的偽造視頻只需要一支就可以傳播開來影響人們的觀念，但視頻畢竟是非常高維的數據，用機器學習模型檢測其中的瑕疵可能並不難。相比之下，AI 生成的文本要有大的量才能造成影響（不然單個人也就可以做了），而文本是由一個個獨立的片語成的，想要分辨一篇小短文是不是 AI 生成的可能就會難一些，尤其是當它比較短的時候。

所以，考慮到可能的社會影響而決定不公開發布一個表現不錯的人類水準的文本生成器，這是有一定道理的。

對於 OpenAI 不公開預訓練權重的決定，也有一些人認為這是 OpenAI 在給自己加戲，以便更好地賺到全世界的關注。他們的邏輯是，如果某項 AI 研究能沾上「AI 會對人類產生威脅」的味道的話，新聞報道肯定會把這事放在頭條/封面上，OpenAI 自己明明清楚這件事，然後故意透露出「這個 AI 就是有危險，所以我們內部先把它阻止下來」的意味，由著媒體給他們做頭條報道，那麼不僅 OpenAI 在普通大眾面前有更多曝光，甚至還強化了人們對於 OpenAI 在 AI 安全方面謹慎果斷的印象。

OpenAI 並沒有透露他們是如何和媒體們打交道的，但我們不妨動手做做這個拼圖。首先，和其它業界實驗室一樣，OpenAI 顯然在乎公眾對他們的了解和印象如何。其次，他們也主動邀請一些媒體記者對他們的科研成果進行報道（一些記者甚至自己嘗試了 GPT-2 模型）。另外，由於 OpenAI 是一個非盈利機構，科研成果得到報道就對他們有更多的好處，有機會獲得更多的捐助，也就有更多的預算做更多的研究。很難說 OpenAI 自己對於這些報道的內容有多少掌控力，但是不得不說有一些報道文章有點聳人聽聞。

那麼，我們有沒有辦法判斷 OpenAI 的主要科研目標是不是獲取更多影響力和金錢呢？簡單的回答是：沒有這樣的辦法。我們暫且只能相信 OpenAI 說出來的話就是他們的真心實意，就是他們真的是為這項成果的社會影響擔憂。我個人是願意這樣的相信的，尤其是因為實習經歷的原因我和其中的很多人都認識。

不過顯然很多研究人員還是不太情願認為 OpenAI 的出發點是積極的，他們覺得 OpenAI 要麼是自命清高地覺得他們能拯救世界，要麼是太過相信「AI 奇點」以至於開始散播 AI 威脅論，要麼是在 Elon Musk（特斯拉 & SpaceX CEO 馬斯克）這個吹牛大王的要求下儘可能地搶佔媒體報道，等等等等。OpenAI 名字中的「Open」，結合他們引發的那麼多媒體注意力，再加上和 Elon 的種種聯繫，似乎都引發了種種不滿和憤恨，然後匯聚發泄在 OpenAI 介紹 GPT-2 的推特推文和 Reddit 帖子下面。

這些評判是否合理值得商榷，而且其中也不乏明確的錯誤認知（比如據我所知，Elon 已經退出了 OpenAI 的董事會，而且也很長時間沒有對 OpenAI 的決策指手畫腳了；這並不是唯一一處錯誤）。媒體報道中對 AI 科研的扭曲是一個切實存在的問題，熱烈的報道為業界實驗室帶來的突發關注也是個問題，這都會讓別的機構中的研究人員們變得短視。大型 AI 實驗室影響公眾對 AI 的認知到底到了什麼程度、應該扮演什麼角色，這個重要的問題還等待我們討論。

不過我懇求各位圍觀者先把對 OpenAI 的看法暫時擱置（一會兒你們可以繼續批評），仔細想想現在到底發生了什麼。作為機器學習的研究人員，我們構造出的東西是對會別人產生影響的。遲早會有那麼一天，我們的科研成果是可以被拿來做壞事的，那難道我們就應該等到那一天到來以後再開始考慮怎麼處理可能會產生副作用的研究嗎？

機器學習研究人員里有相當數目的人開口就是冷嘲熱諷，我對他們感到相當失望。暫且不細說他們是怎麼說的，但我覺得這體現出了大家對「機器學習會產生社會影響」這件事的態度太過輕蔑。如果你才剛加入這個領域，然後你看到一位厲害的、著名的研究人員開玩笑嘲諷有些研究人員不發布他們的模型所以很呆，你可能會來不及經過什麼思考就吸收了這樣的評價（起碼我自己讀碩士的時候就很容易受著名 AI 研究人員的觀點的影響）。我覺得這不是什麼好事。

有一位研究人員在 Twitter 上指出類似的事情也曾發生在 DeepMind 身上，WaveNet 這個能生成非常高質量的人類語音的模型就是公開發布的，而他認為這體現出了 DeepMind 比 OpenAI 更有社會責任（不過 DeepMind 首次發布的時候並沒有提到關於道德和社會影響的事情）。實際上 OpenAI 做科研的方法也沒有什麼特別不一樣的地方，一些別的實驗室有符合某些條件的成果不適宜對外發布的做法，有一些工業界的實驗室里也有公平性團隊，他們會在一項成果發表之前進行檢查，但就機器學習整個領域來說，沒人知道他們具體實施的標準是什麼樣的。看起來 OpenAI 倒是唯一一個公開表明他們在考慮科研成果會帶來怎樣的道德和社會影響的工業界實驗室。即便我們要認為他們科研的主要動力是貪婪或是製造大新聞，他們這次提出的問題也是值得我們嚴肅考慮的。

說真的，你很難說 GPT-2 值不值得引起這種程度的謹慎。決定發布還是不發布一項成果的時候需要考慮很多問題：如果有人想要作惡，不發布模型能讓他們推遲多久；作為學術研究，如何取捨結果的可復現性；無害的科研成果和有害的科研成果之間的界限到底在哪裡；我們應該如何負責任地與媒體打交道，確保他們能準確地報道這樣的進展。

具體以這次的 GPT-2 來說，它是不是足夠溫和、安全所以完全公開也沒關係；OpenAI 應不應該給其它研究人員們提供一定的接觸機會來確保結果的可重複性；或者說他們乾脆連論文也別發表出來，這幾個問題都值得仔細考慮，而 OpenAI 似乎也歡迎大家一同參與這幾個問題的討論（他們在技術博客結尾留下了一個郵件地址，希望大家發郵件給他們反饋）。不過他們做的還不夠，這些討論應該是完全公開進行的，而不是通過私下的郵件。

這就是我覺得最需要大家都理解並記住的事情了：所有機器學習的研究人員們非常、非常、非常應該開始討論研究成果發表的道德標準。推特絕不是一個好的討論場所。一種可能性是辦一個 workshop，可以考慮和 ICLR、ICML、NeurIPS 這樣的頂級機器學習會議合辦，方便我們對這個領域可能需要形成的慣例進行頭腦風暴。我已經開始想像一種「安全性檢查清單」類似的東西（就像最近的「可重複性檢查清單」）一樣，鼓勵研究人員們發表成果之前先按照清單檢查一遍。就和生物科學、網路安全領域一樣，這個領域的技術水平已經足夠高，以至於一小部分機器學習論文已經有被濫用的可能性。這足夠提醒我們應該開始做點什麼了。

我相信會有一些機器學習研究人員一面讀著我這篇文章，一面覺得：「整件事都很滑稽，現在的 AI 根本就什麼都做不了。我要回去訓練模型了。」這也是問題的一部分，從這個領域裡面來看常常會覺得進步都是一點點、一點點地累積發生的，而且也沒有什麼東西的工作情況是符合我們的期待的（尤其是強化學習）。但是機器學習的研究已經對真實世界有了實實在在的影響（比如信貸、法庭判決、招聘等場景中做出決策）。這些演算法中的偏見正在逐漸被發現，但我們確認這些偏見的時間都要比這些系統首次投入使用的時間遲了好幾年，而且同時它們也對人們的生活有嚴重的影響。

隨著我們的機器學習系統變得越來越能幹，我們能做的事情變得越來越厲害，確實有可能會讓世界變得越來越好。不過同樣地，技術成果被濫用的可能性也會大大增加。如果大多數的機器學習研究人員們在發表自己的成果之前都不考慮可能的社會影響的話，在意這些影響的人就只能事後再想辦法補救。如果我們想要減少機器學習可能對整個世界帶來的傷害，我們現在做的這些還遠遠不夠。

via medium.com/@lowe.ryan.t，雷鋒網 AI 科技評論編譯

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！