AI可以識別圖像 但它能理解標題嗎？

2012年，人工智慧研究人員發現，通過向一個名為ImageNet的資料庫提供數以百萬計的標籤圖像，計算機識別圖像的能力會有很大的提高。這使得計算機視覺進入了一個激動人心的階段，因為很明顯，使用ImageNet訓練的模型可以幫助解決各種圖像識別問題。六年後，這種進步為自動駕駛汽車在城市街道上導航鋪平了道路，並且使得Facebook用戶可以在照片中對人物進行智能標記。

然而，在人工智慧研究的其他領域，比如理解語言方面，類似的模型則被證明是難以實現的。但是，來自fast.ai、OpenAI和艾倫研究所(Allen Institute)的最新研究表明，這是一個潛在的突破點，有更強大的語言模型可以幫助研究人員解決一系列尚未解決的問題。其中一種新模型背後的研發人員塞巴斯蒂安魯德(Sebastian Ruder)稱其為該領域的「ImageNet時刻」。

這些改進可能是戲劇性的。到目前為止，被最廣泛測試的語言模型是ELMo(Embeddings from Language Models)。今年春天，當艾倫研究所發布ELMo的時候，以往的各種挑戰迅速被顛覆了，比如在閱讀理解方面，人工智慧回答了關於一段文章的SAT式的問題並進行了情緒性分析。在一個進步往往是漸進的領域，ELMo的加入使得結果的正確率提高了25%。今年6月，這項進步在一次大型會議上獲得了最佳論文獎。

加州大學伯克利分校的計算機科學教授丹克萊因(Dan Klein)是早期採用者之一。他和一名學生正在研究一個「選區解析器」，這是一種基本的工具，它涉及到對句子的語法結構進行映射。ELMo的加入使得克萊因突然擁有了世界上最好的系統，最精確的同時擁有驚人的寬限度。他說：「如果你幾年前問我，是否有可能性達到這麼高的水平，我並不能確定。」

像ELMo這樣的模型，解決了一個使用語言的語言學家的核心問題：缺乏標籤的數據。為了訓練一個神經網路能夠做決定，許多語言問題都需要人工來精心標記數據。但是，製作這些數據需要時間和金錢，甚至很多信息也無法捕捉到我們說話和寫作中不可預測的方式。對於除英語以外的語言，研究人員通常沒有足夠的標記數據來完成基本的任務。

「我們永遠無法獲得足夠的標籤數據，」艾倫研究所ELMo項目團隊領導者的研究人員馬修彼得斯(Matthew Peters)說。「我們真的需要開發出一種模型，它可以處理雜亂的、沒有標籤的數據，並且從中學習到儘可能多的信息。」

幸運的是，多虧了互聯網，研究人員得以從維基百科、書籍和社交媒體等來源獲得了大量的雜亂數據。我們的策略是將這些詞輸入到一個神經網路中，並允許它自己識別模式，即所謂的「無監督」方法。我們希望這些模式能夠捕捉到語言的一些基本方面——一種單詞的含義，或者是語法的基本輪廓。與使用ImageNet訓練的模型一樣，這樣的語言模型可以被精確地調整以掌握更具體的任務——比如總結一篇科學文章，將電子郵件歸類為垃圾郵件，甚至為一個簡短的故事生成一個令人滿意的結尾。

這種直覺基礎並不新鮮。近年來，研究人員利用一種叫做「文字嵌入(word embeddings)」的技術來深入研究無標籤的數據，這一技術可以根據它們在大量文本中出現的方式來映射單詞之間的關係。新模式的目標定位到更深層，捕捉從文字到更高層次的語言概念的信息。魯德已經寫過關於這些更深層次的模型對各種語言問題而言的巨大潛力，希望新模型能成為簡單的「單詞嵌入」的替代品。

例如，ELMo通過整合更多的上下文，以句子的規模來看待語言，而不是辭彙，從而改進了單詞的嵌入。這種額外的上下文使模型能夠很好地解析「May」作為「五月」和動詞之間的區別，也意味著它學習了語法。ELMo通過理解單詞的子單元，如前綴和後綴，來獲得額外的提升。像彼得斯的團隊所做的那樣，為神經網路提供十億個單詞，而這種方法是非常有效的。

目前還不清楚的是，在分析所有這些詞的過程中，這個模型到底學到了什麼。由於深度神經網路的工作方式不透明，所以要回答這個問題十分棘手。研究人員仍然對圖像識別系統工作如此出色的原因有一個模糊的理解。在10月份的一次會議上，彼得斯採用了一種經驗主義的方法，在不同的軟體設計和不同的語言任務中試驗了ELMo。彼得斯說：「我們發現這些模型學習了語言的基本屬性。」但他警告說，其他研究人員將需要測試ELMo，以確定該模型在不同任務中的穩健程度，以及它可能包含的隱藏意外情況。

一種風險是：用於訓練它們的數據出現了編碼偏差，因而醫生被貼上男性的標籤，而護士則是女性，就像之前的文字嵌入一樣。克萊因說，雖然通過點擊ELMo和其他模型產生的最初結果令人興奮，但目前還不清楚這些結果可以被推進到什麼程度，也許是通過使用更多的數據來訓練模型，或者增加一些限制，迫使神經網路更有效地學習。從長遠來看，的要讓人工智慧像我們這樣流暢地閱讀和交談，可能需要一種全新的方法。

科普百分百·助力科普中國，讓科學知識在網上和生活中流行起來。溫馨提示：以上為科普百分百網上閱讀所瀏覽內容，轉載分享只為知識傳播和學習宣傳，本文內容僅代表原作者觀點，如有意見建議，請私信留言，我們會及時處理。歡迎關注，謝謝。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！