OpenAI發布高級語言人工智慧模型GPT-2，參數達7.74億個

【獵雲網（微信號：ilieyun）】8月21日報道（編譯：鄭意）

OpenAI於8月20日聲稱，它計劃發布新一代GPT-2。GPT-2是一種高級語言人工智慧模型，在今年2月發布後引發了社會熱烈討論。此次發布的版本包含7.74億個參數，參數含量高於此前該組織在2月和5月為部分研究人員開發的版本。

OpenAI同時還公開了一份開源法律協議，為開發大型人工智慧模型的公司擬定自己的模型共享協議提供了支持。完整的模型包含大約15億個參數，目前尚未被發布，不過OpenAI表示，自2月份以來，他們已經與5家複製了該模型的組織進行了交涉。

同日，OpenAI的研究人員和哈佛大學的研究助理Ariel Herbert-Voss在一份白皮書中詳細介紹了其對GPT-2的相關研究及其階段性發布流程。

白皮書中還描述了OpenAI選擇延遲發布GPT-2完整版本的原因。

「由於跨維度的性能——比如文本的一致性——會隨著模型參數的增加而提高，我們決定不同時發布所有四個GPT-2模型，因為我們擔心參數較高的模型會被濫用。以這種方式的發布，我們能夠為風險分析留出時間，並從發布低參數的模型中總結經驗，來調整對高參數模型採取的行動。」

OpenAI以擔心惡意濫用和贗品仿製為理由，在今年2月GPT-2首次亮相時，選擇不共享所有版本（共四個）的模型，在一系列任務上取得了優異結果。在訓練中，GPT-2使用了40GB的互聯網文本。

最初，有些人質疑OpenAI這樣做法，他們表示，OpenAI未發布源代碼，而這會對缺乏資源複製該模型或其作品的科學家及社會人士構成潛在威脅。

其他人則稱這是OpenAI的宣傳噱頭。OpenAI最近從微軟手中獲得了10億美元資金，並在今年3月改變了其非營利性的商業地位。

為了避免信息錯誤傳播，OpenAI與安全專家合作，監控人們對GPT-2的使用，並「對自動檢測、潛在偏見和誤用進行了內部研究」。

為了繼續挖掘潛在誤用，以及更安全地發布像GPT-2這樣的大型模型，OpenAI與俄勒岡大學、德克薩斯大學奧斯汀分校、米德爾伯里國際問題研究所以及康奈爾大學建立了合作關係。

比起探討其潛在誤用，白皮書講述了GPT-2靈活運用現有案例的行為，包括幫助作者完成他們的工作、支持軟體工程師完成代碼自動化、升級聊天機器人以及回答關於健康的問題。

康奈爾大學的研究人員本月早些時候在《外交事務》雜誌上發表的一篇分析文章指出，據統計，閱讀GPT-2生成文本的人中，超過70%的人認為這些文本就像《紐約時報》的文章一樣可信。

白皮書引用了艾倫人工智慧研究所和Hugging Face NLP的交錯發布方法，作為未來發布大型語言理解模型可能採用的方式。

在一篇附著了法律協議和白皮書鏈接的博客中，研究人員提出：「我們認為，將分階段發布的形式和基於合作夥伴關係的模型共享形式相結合，很可能成為人工智慧領域有責發布的關鍵基礎，尤其是在大量模型發布的大背景下。」

「隨著時間的推移，大型模型帶來的固有問題將會增加，而不是減少。我們希望與GPT-2的合作將有助於為此提供證據，讓人工智慧社區在面對人工智慧研究固有的出版挑戰時有所借鑒。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！