媒體炒作掩蓋研究價值？OpenAI的GPT-2不只是代碼開放問題

機器之心報道

機器之心編輯部

自上周 OpenAI 發布大型通用語言模型 GPT-2 後，機器學習社區爭論不斷。OpenAI 稱，由於擔心該模型可能遭惡意應用，他們選擇不發布數據集、訓練代碼和 GPT-2 模型權重，因此被社區嘲諷為 ClosedAI。本文將介紹這件事的始末以及各方評論。

2 月 14 日，OpenAI 發布大型無監督語言模型 GPT-2，它能夠產生連貫的文本段落，在許多語言建模基準上取得了 SOTA 表現。而且該模型在沒有任務特定訓練的情況下，能夠做到初步的閱讀理解、機器翻譯、問答和自動摘要。

文章一經發布，在媒體界激發了巨大的響應和想像，也同樣引起諸多研究人員的關注和期待。但 OpenAI 表示，考慮到可能存在的對該技術的惡意使用，將不發布訓練模型，而只發布一個較小模型供研究、實驗使用，相關的數據集、訓練代碼、模型權重則均未開源。

想像、期待與結果的落差激起千層浪，無論是媒體還是研究者社群都加入了聲討的行列，認為 OpenAI 誇大了這項研究的危險性，且無形中刺激了人們對 AI 的「狂熱」。

這場爭論涉及範圍廣大，甚至變成了一個梗。AI 研究者紛紛開玩笑稱自己的實驗室發現了一項重大突破，但是由於結果太危險而無法分享……當然這些都是玩笑，玩笑的背後則是促成了社區的討論，研究人員該如何平衡開放性和負責任？如何向媒體傳達新技術？

反對

這件事的導火索 GPT-2 是最新的文本生成演算法，可能對未來產生巨大影響。向該模型輸入標題或故事的前幾行，它會輸出與輸入相匹配的文本。輸出結果多種多樣，但文本都非常連貫。比如，假新聞的文風和結構都與真正的新聞文章相似，還能基於偽造的數據源創建統計數據和引用。

這是一個有趣的工具，給人們帶來很大的驚喜。但它實際上並不像人類那樣具備理解輸出文本的能力。它能生成文本，卻無法理解文本。事實上，OpenAI 以及外界的專家們都認為它本質上並非突破，而只是前沿文本生成技術的一項傑出案例。

OpenAI 不全面開源該模型的原因是：這種模型可以用來生成假新聞造成惡劣影響，或者用來自動生成大量垃圾郵件造成泛濫。所以，OpenAI 僅在其 Github 項目中發布了技術論文和一個較小的模型，而沒有公開訓練數據和完整模型。

但是一直以來，AI 研究社區對於研究成果（代碼、數據和模型）默認是應當公開的，只有這樣才能夠得以充分地討論、優化和改進。因此 OpenAI 拒絕開源的舉動及理由立即吸引了諸多關注。

外界的批評主要圍繞幾點。1）不開放模型，其他研究者就無法復現其成果；2）模型本身並不像 OpenAI 所描述的那樣具有那麼大的威脅性；3）OpenAI 沒有採取足夠的措施阻止媒體的炒作和歪曲。

復現

機器學習相對來說，還算是一個民主的領域，即使單獨一個人也可以取得重大突破。但不得不承認，近年來人們開始更加關注資源密集型研究。GPT-2 這樣的演算法使用了大量算力以及大型數據集，這二者都是要花大錢的。（引用）如果大型研究機構不公開自己的研究，學術界根本無法與之匹敵。

反對者表示，如果像 OpenAI 這種資金充裕的研究機構不分享自己的研究成果，社區就會越來越貧乏。加州理工學院教授兼英偉達機器學習研究主任 Anima Anandkumar 表示：「這種做法對學術界非常不利，……OpenAI 正有效地藉助其影響力使 ML 研究變得更加封閉和不可及。」

對於可能造成不利影響的研究，或許公開研究成果甚至更加重要，其他研究者可以找到該研究的弱點並尋求應對方法。可以想像，對於沒有太多資金支持的多數研究者來講，沒有源代碼根本不可能復現出模型；而另一方面，對於那些想利用這些技術的組織或個人來講，利益驅動，他們會投入足夠多的資金去做這個事情，最終的結果不言而喻。Anandkumar 表示，「但我不認為封閉這個模型就能解決問題。」

研究 AI 社會影響的 OpenAI 科學家 Miles Brundage 表示，OpenAI「清楚地考慮」了這種權衡。他說，OpenAI 將通過郵件邀請更多人參與模型測試等方法來「緩和」不開源帶來的問題。

威脅性

OpenAI 認為這項技術如果讓別有用心的人利用了，將會給社會帶來惡劣影響。GPT-2 是否真的具有這麼大的威脅性呢？

Delip Rao 是研究 AI 檢測假新聞和錯誤信息項目的文本生成專家。他認為，OpenAI 所描述的威脅太誇張了。以假新聞為例，文本的質量很少是一個障礙，因為這類錯誤信息大多是通過複製和粘貼其他新聞片段而產生的。不需要複雜的機器學習就能做出假新聞。在對抗垃圾郵件過濾器方面，多數系統依賴的是一系列信號，包括用戶的 IP 地址和最近的活動，而不只是檢查郵件寫得好不好。

Rao 說道：「我知道 GPT-2 這樣的模型可能被惡意使用，但目前開源的類似模型都有這種可能性。拋出「過於危險」這幾個字太隨意了，沒有經過大量思考或實驗。我認為 OpenAI 沒有花費足夠時間證明 GPT-2 的危險性。」

Yann LeCun 曾揶揄道：「每個人類都有潛在製造假新聞、傳播陰謀論、影響他人的可能性，所以我們應該停止造人嗎？」

作為 OpenAI 的代表，Brundage 稱 OpenAI 諮詢了外部專家來評估該模型的風險性，他們不僅僅針對 GPT-2，而是對複雜的文本生產系統的風險性進行了廣泛分析。發布完整模型的舉動是「不可逆的」，因此 OpenAI 非常謹慎。

OpenAI 政策主管在接受 The Verge 採訪時對比了 GPT-2 與換臉演算法。換臉演算法是開源項目，開源後很快席捲全世界，不同的人用它做不同的事，包括製作一些色情內容。

OpenAI 的各種解釋，並沒有讓 LeCun 改變態度，這一次他以嚴肅的口吻發表了自己的觀點：

一個嚴肅的問題：卷積神經網路正被用於很多應用。許多此類應用正對世界產生著積極影響，例如醫療影像、汽車安全系統、內容過濾、環境監督等……

但也有一些應用可能會產生負面影響，或者可能侵犯人們的隱私，例如在公共場所廣泛部署人臉識別系統、攻擊型武器、有偏見的「分析」系統等……

現在，假設這些負面影響在 1980 年代末是可以預測的，我們需要對卷積神經網路進行保密嗎？

更有趣的地方在於：

1. 不可避免的是，卷積神經網路（或其他類似的東西）最終會有人重新發明出來（事實也是如此，很多人都做到了）。福島邦彥（Kunihiko Fukushima）曾告訴我他在 20 世紀 80 年代末研究過一種反向傳播訓練的新認知機（Neocognitron），但當他看過我們 1989 年的論文之後感到非常「震驚」，隨後停止了自己的研究。

2. 在 2002 年以前，市面上並沒有開源的卷積神經網路/深度學習軟體平台（卷積神經網路曾是 20 世紀 90 年代初商用工具包 SN 的一個功能，後來進入了 2002 年推出的開源工具包 Lush。在 20 世紀 90 年代中期以前，OSS 並不常見）。所以在某種程度上，卷積神經網路直到 2002 年才被完全發布，而在此之前很少有人會注意到，或者用 Lush 來訓練一個卷積神經網路。

媒體炒作

研究人員表示，雖然有關文本生成模型和學術訪問危險的討論還沒有明顯的結論，但與公眾交流新技術的問題更為棘手。

關於 OpenAI 做法，很多媒體報道的焦點都在於「太危險而不能公開」，這種報道掩蓋了該技術帶來的實際威脅。於是像《Elon Musk"s OpenAI builds artificial intelligence so powerful it must be kept locked up for the good of humanity》這樣的標題變得很常見。（Musk 與 OpenAI 的聯繫是實驗室長期存在的問題。他是該組織的聯合創始人，但據報道，他幾乎沒有直接參与過實驗室事務，並於去年辭去了董事會的職務。）

一直以來，科學家們對其領域的糟糕報道感到沮喪並不是什麼新鮮事，但對於 AI 研究來說，這種報道尤其危險。部分是因為公眾對 AI 的看法與 AI 實際能力不符，而另一部分是因為 AI 領域正努力解決資金和監管等問題。如果公眾對 AI 過度擔憂，是否會導致以後的 AI 研究不再那麼有意義？

鑒於此，有些研究人員認為 OpenAI 針對 GPT-2 的決策導致了各種誇大其實的報道，當然媒體自身也沒有對事件做出恰當地報道，因為他們並沒有真正地理解這項研究究竟有什麼意義和影響。

Anandkumar 表示：「對那些關注 OpenAI 這項工作的人我深表欽佩，這項研究很有趣，但不值得媒體這樣關注。這樣不利於研究社區的健康發展，也不利於公眾認知的健康發展。」

OpenAI 表示已經盡了最大努力來降低這種炒作，他們對記者強調了該系統的局限性，並希望在試驗該項目時會發現其缺陷。「我們知道模型有時候會犯錯，我們也向記者告知了這一點，我們也希望他們在進行嘗試時能夠發現犯錯的地方。」Brundage 表示。

事實上，媒體對新科技的報道失實並不鮮見。雖然 OpenAI 限制 GPT-2 發布的決定有些不符合傳統，但有些實驗室做得更徹底。例如，專註於減輕 AI 系統威脅的機器智能研究所（MIRI），從去年 11 月開始就「不公開」其研究，除非有「明確決定」，否則不會發表研究報告。

該實驗室在一篇很長的博客中列出了很多關於不公開研究的原因，但它表示想專註於「deconfusion」——即在更廣泛地參與人工智慧研究之前，明確關於人工智慧風險的條款。它引用了一名董事會成員的話，稱 MIRI「獨自閉關自守，同時將政治、外聯以及人工智慧安全社區的影響力等問題留給他人。」

這種做法與 OpenAI 完全不同，OpenAI 雖然限制了模型的發布，但已經盡了最大努力來處理其它的問題。

Brundage 表示，雖然受到了很多批評，但 OpenAI 認為其「大體」上做了正確的決定，以後遇到類似的情況時可能還會做出同樣的決定。最後他表示，實驗室認為在威脅出現之前採取行動比在威脅出現之後進行討論更好，即使批評者不同意他們這麼做。

no matter how，研究上公開討論總是有益的，它一方面促進了科學的健康傳播，另一方面也促進了研究社區健康的發展。真心地期望，中國也能熱烈起來。 

參考內容：https://www.theverge.com/2019/2/21/18234500/ai-ethics-debate-researchers-harmful-programs-openai

本文為機器之心報道，

轉載請聯繫本公眾號獲得授權

?------------------------------------------------

加入機器之心（全職記者 / 實習生）：hr@jiqizhixin.com

投稿或尋求報道：

content

廣告 & 商務合作：bd@jiqizhixin.com

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！