當前位置:
首頁 > 科技 > OpenAI創造自己的「語言」更深層次的語言演變成更複雜技術

OpenAI創造自己的「語言」更深層次的語言演變成更複雜技術



OpenAI創造自己的「語言」更深層次的語言演變成更複雜技術




OpenAI創造自己的「語言」更深層次的語言演變成更複雜技術



最近,OpenAI透露,他們將在語言領域繼續發力。該文的作者是Michael Kropivka,人工智慧與機器學習資深研究員,AlgoBrainsLab的創始人和軟體工程師。

這篇文章是關於發明一種與感知有關的語言的系統,它揭示了通過與人工語言相關的研究可能開啟的可能性,至少這種語言將類似於動物典型的信號語言,更深層次的語言將演變成更複雜的技術。



OpenAI創造自己的「語言」更深層次的語言演變成更複雜技術



世界上沒有一種東西是像語言這樣如此高度進化的。語言的使用能力也有所演變。這種能力出現在大約75000年前。這很簡單。而我們今天所說的語言是我們的語言如何轉變成口語行為。正如喬姆斯基所說,它是關於基本思維過程的次要語言。世界各地有大約6000種不同的語言。我們真正想要的是了解一個基本原則,使我們有能力獲得這6000種語言的任何一種。並創建幾個新的。


語言不光指必要的說話聲音,還指更多的內在過程。它更接近一個思維過程。


語言在某種意義上類似視覺


從不同角度來看待物體的能力,與提問相關的細節或隱藏事實的能力其實是一樣的。內部對話與想像的場景也同理。最有趣的部分是,兩種能力在最低水平時,比平時都要接近。發現能夠同時處理視覺和語言的系統是智力的基礎。


最終目標是,通過視覺感知來形成一個識別現實的系統,然後創建抽象過程。此外,系統能夠使用語言來進行抽象操作,目標是以人類思維方式連接抽象過程。


儘管語言和視覺是指頭腦中相同的抽象概念,但所有抽象的來源都是現實,這就是為什麼我們用最簡單的視覺對象而不是語言來掌握抽象過程。之後,語言描述的對象變得與我們看到的一樣真實。但是,如果沒有機器與物理世界的交互,就無法掌握人類語言。這就是為什麼OpenAI承諾要學會交流策略的原因所在。


進行這種研究的另一個原因是,目前將機器人置於物理世界中來學習整個環境的可能性是很小的,這需要花太多的時間。因此,通過靜態數據獲取語言是不可能的。唯一的辦法就是要積极參与到環境中。此外,利用人類思維去進行迴避實驗是很難的,所以計算機模擬成為21世紀語言學研究工具的最佳候選。

我們的目標是創建一個了解我們的智能agent,這是非常困難的問題,自1960年以來,我們一直在研究。但是,我們還沒有能夠正式地去描述一種語言,因為沒有語境,語言就是不存在的,環境就是這樣的語境。


競爭與合作


我們已經看到,一個能夠在強化學習實驗中表現出令人敬畏的結果的系統,它就是利用DeepMind Q leaning來玩Atari遊戲。簡而言之,系統有相對應的環境和agent(機器玩家)來獲得分數,並且agent(機器玩家)成功地學會了如何玩得更好。



OpenAI創造自己的「語言」更深層次的語言演變成更複雜技術



圖:arxiv


AlphaGo是另一個突破,關鍵的區別在於遊戲背後有一個對手。此外,遊戲環境還有多種場景。值得一提的優秀解決方案是agent(機器玩家)與自己的副本在玩。


下一步將是agent(機器玩家)能夠找到一種彼此合作的方式,來實現額外的價值。OpenAI研究顯示,智能agent在一個完全不同的環境中表現的很好——像人類這樣的相互合作的世界。


黑箱問題


內部語言會是下一個突破,以幫助管理機器學習(ML)框架的複雜性。今天我們必須付出很多努力來解釋什麼是ML系統,ML系統正在做什麼以及為什麼要這麼做。最接近人類的語言是即將到來的與ML引擎一起工作的介面。對於多用途agent,這種語言是定義目標函數的最佳方式。

實際上,隨著人工智慧系統的複雜性越來越高,很難設想如何在沒有語言的情況下與他們進行協作,而不用提出問題,也不用問他們「為什麼」。而且,毫不費力地與電腦進行交流的能力將使他們無限有用。——? Will Knight


語言本身


除了基本結構和辭彙差異,我們可以通過相同的術語來描述英語和中文:名詞、動詞、助詞、時態等。這兩種語言都是由數以千計的溝通思想在包圍的現實之上創造出來的。



OpenAI創造自己的「語言」更深層次的語言演變成更複雜技術



圖:8020Japanese 日語句子結構背後的邏輯非常簡單。


想像兩個人分別使用英文和中文,他們除了用母語聊天以外沒有其他方式可以交流。在這種情況下,他們沒有選擇去學習對方的語言。但是想像一下他們已經見面了,馬上學習對方語言其實並不複雜。是什麼改變了他們?他們有一個被包圍的環境,他們能夠用一種新語言與環境結合,嬰兒就是以相同的方式學習語言的。


語言遊戲


這篇文章不能不提到Ludwig Wittgenstein創立的語言遊戲。我們來看一下參考維基百科的描述:


該語言用於建築師A和助理B之間的溝通,A正在用建築石材施工:有木塊、圓柱、厚板和橫樑。 B必須按照A需要的順序遞石材。為此,他們使用由「塊(block)」、「柱(pillar)」、「板(slab)」、「梁(beam)」組成的語言。A說出他需要的石材種類,B把他聽到的挑出來遞給A。想像一下這是個完整的原始語言。

後來添加了「this」和「there」(功能類似於這些單詞在自然語言中的功能),「a、b、c、d」作為數字。其使用的一個例子:建築師A說「d-板-在那裡」並且指出來,建築師B數四個板,「a、b、c、d ...」,並將它們移動到A指向的地方。建築師的語言是一種活動,它被編織成我們將認可為語言的東西,但是以更簡單的形式。這種語言遊戲類似於向兒童傳授的簡單形式的語言,而維特根斯坦(Wittgenstein)則認為,我們將其視為建築者部落的「完整原始語言」。


所以,OpenAI的研究是邁向創建一個將自己適應和融入與人合作的agent。每個這樣的合作可以被定義為語言遊戲。


結論


我們從「seeds」開始,在培育智能系統的道路上邁出了一步,這些「seeds」就是前置條件和演算法。另外,seeds是清晰並可感知的,而最終的系統是強大的、難以理解的。而且幾種seeds的組合最終將導致更強大的智能機器,並最終實現通用人工智慧(AGI)。「學習交流」是深度強化學習、Q-learning、蒙特卡洛規劃等的另一「seed」。


然而,我們不知道如何從大腦中複製有價值的工作原理,我們通過嘗試和模擬各種方式和方法。雖然,本身並沒有一個有形的意識,但是我們正在建設具有溝通能力的新框架的路上前行。


來源:機器人圈

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 機器人圈 的精彩文章:

TAG:機器人圈 |

您可能感興趣

臉書和Google用深度強化學習研究自然語言現象
emoji:意外成功的人造語言
AI技術專利研究系列:NetBase,自然語言處理領域的資深玩家
學習C語言要選擇一個開源的載體,Arduino UNO就很好
MIT 推出 AI 編程語言 Gen:以自動化、靈活性和速度見長
怎樣生成語言才能更自然,斯坦福提出超越Perplexity的評估新方法
創作是運用繪畫的語言表現自己內在感觸——Pintu 清新的色彩
DeepMind提出空間語言集成模型SLIM,有效編碼自然語言的空間關係
OpenAI被諷ClosedAI?語言模型並沒有想像中的強大
優秀Logo設計!解析抽象造型語言
用遷移學習創造的通用語言模型ULMFiT,達到了文本分類的最佳水平
語言的魔方:語言塑造文化
在 GitHub 上對編程語言與軟體質量的一個大規模研究
效仿嬰兒學習語言,MIT打造了一個具有觀察力的AI模型
無需數學就能寫AI,MIT提出AI專用編程語言Gen
解決自然語言歧義問題,斯坦福教授、IJCAI 卓越研究獎得主提出 SenseBERT 模型
ESR:計算機語言的巨變
跨語言版BERT:Facebook提出跨語言預訓練模型XLM
R和Python 讓使用不同語言的人更輕鬆協作
自製Monkey編程語言編譯器:增加數組操作API和Mapsh數據類型