逆天的GPT-2居然還能寫代碼

問耕 發自 麥蒿寺

量子位 出品 | 公眾號 QbitAI

昨天，OpenAI發布了逆天的GPT-2，舉世皆驚。

這個擁有15億參數的語言AI，寫起文章來文思泉湧毫無違和感，無需針對性訓練就能橫掃各種特定領域的語言建模任務，還具備閱讀理解、問答、生成文章摘要、翻譯等等能力。

但，這還不是全部。

各路研究者發現，GPT-2其實還學了好幾種編程語言。

比方，JavaScript。

紐約大學工程學院的助理教授Brendan Dolan-Gavitt發現，GPT-2在學會寫英文的同時，還悄悄學了一些js腳本語言。

?

證據：

以及sample 195證明，GPT-2貌似還懂一點PHP語言……

Facebook AI研究院的Tim Rockt?schel以及Nantas Nardelli，自從看到GPT-2就一直想方設法讓這個AI寫代碼。

求仁得仁，沒想到GPT-2真給寫出來了。

Tim Rockt?schel趕緊發推特說，人類有麻煩了……

不過，上述種種GPT-2寫的代碼都不是很嚴謹。Nantas Nardelli也補充說，他倆嘗試過很多次，貼出來的這次只是效果最好的一次，而且這個AI寫代碼，似乎很容易把js、C 、Python等語言混到一起寫。

當然，這裡還有個問題。

就是大家嘗試的模型，都是OpenAI放出的縮小版模型，參數只有1.17億個參數。也許使用完整版的GPT-2，AI能夠寫出更漂亮的代碼。

完整版和縮小版差距有那麼大么？

有的。

MIT Tech Review的作者will knight試用GPT-2寫了一個故事。他在開頭給了一句話：貓和企鵝起了爭執（The cat and the penguin had an argument），然後剩下的故事就是AI自己編寫完成，包括它們因為一片面包起爭執，還打起來云云。

GPT-2編的有模有樣。

不過，有人用OpenAI放出來的模型試了一下，發現同樣的開頭，故事卻編的奇奇怪怪、不成樣子，完全不知所云的感覺。

最後大家一討論，明白了：

原來那個有模有樣的故事，用的完整版是用15億參數的完整版GPT-2生成的，而不知所云的故事，使用縮小版GPT-2生成的。

差距真的很明顯。

還記得昨天OpenAI怎麼說的么？GPT-2太厲害了，我們不敢放出完整模型。結果大家要想試用，只能得到不厲害的結果。

也正是OpenAI這個言論，引發一堆網友瘋狂吐槽。

這兩天在reddit上，有兩個高贊的討論。

有一個網友說，我訓練了一個23064層的ResNet，在MNIST上的準確率達到99.6%，我該把這個模型分享出來么？我有點害怕它被惡意使用。

嗯，這麼明顯的指桑罵槐，大家一看就知道在說誰。

還有更明顯的。

另一個網友說，OpenAI是不是該改名了，我看叫ClosedAI吧。

：）

作者系網易新聞·網易號「各有態度」簽約作者

—完—

加入社群

量子位現開放「AI 行業」社群，面向AI行業相關從業者，技術、產品等人員，根據所在行業可選擇相應行業社群，在量子位公眾號（QbitAI）對話界面回復關鍵詞「行業群」，獲取入群方式。行業群會有審核，敬請諒解。

此外，量子位AI社群正在招募，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式。

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡就點「好看」吧 !

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！