當前位置:
首頁 > 新聞 > 8億用戶AI有道,超強神經網路翻譯技術大解密!

8億用戶AI有道,超強神經網路翻譯技術大解密!

新智元原創

編輯:木青

【新智元導讀】數據的作用在人工智慧發展道路上愈發被重視。7月27日,在廣州舉行的GMIC大會上,網易有道技術總監林會傑表示目前AI 教育還在初級階段,對於這一行業而言,得數據者得先機。這家擁有國內最大用戶量(全平台8億用戶)的互聯網教育公司也首次對外集體亮相AI能力,神經網路翻譯、圖像識別、語音交互技術和自適應學習四項AI能力聯合為教育加碼。

幾乎所有企業都想搭上AI這趟車。

這的確是大勢所趨,但比起匆忙加入浪潮,先看看手裡有著怎樣的牌,才能在這戰場上打得更漂亮。

傳統企業轉型AI,佔據垂直化場景優勢;有數據的公司拿起AI武器,「殺傷力」驚人;擁有大量用戶基礎、以用戶為導向的企業,更易開發出To C端產品。

最重要的是有技術加持,這就是時候向AI發力了。

7月27日,在廣州GMIC(全球移動互聯網大會)上,網易有道技術總監林會傑在題為《AI 教育的進化之路》演講中表示:

目前AI 教育還在非常初級的階段,得數據者得先機,如何更好地採集數據、處理數據、從數據中學習更好地規律,是當前整個AI 教育行業的重點。

網易有道技術總監林會傑

這也是網易有道首次對外集體亮相AI能力,翻譯、圖像識別、語音和自適應教育四項AI能力聯合為教育加碼:

神經網路翻譯(NMT):在學習和新聞測試集中,有道NMT的中英互譯準確度均優於同行,最好成績領先7個百分點。

圖像識別(OCR):擁有國內可識別語言最多的OCR識別引擎,且能應對多種高難度場景,平均準確率可達95%;

語音識別與合成:有道語音識別技術在一些場景上識別準確率超過98%,支持中、英、日、韓多個語言;有道語音合成引擎音色逼近真人,支持中、英、日、韓、葡等多個語言;

自適應學習:配合自研的智能學習硬體,實現實時採集書寫數據,並且提供如學情分析、知識圖譜評估、智能推題等一系列自適應學習輔助。

一直深耕技術的網易有道在AI方面的成績單逐漸浮出水面,數據和技術加速轉換成勢能。

積累全平台8億用戶發力「AI 教育」,得數據者得先機

在人工智慧產業落地的浪潮中,「AI 教育」更是處於風口。中國K12教育市場規模前景明朗,市場空間大。

成熟的AI 教育產品難以落地,根本原因是缺乏足量學習場景下的一手真實數據。

處處都是機遇,也處處都是挑戰。如同艾瑞諮詢在報告中指出,「AI 教育」領域邊際明顯,初期投入巨大,但越往後數據的反哺能力越強。

例如,在AI自適應學習產品中,由數據來訓練演算法,輸出更接近真實情況的學習模型,學習系統進而得到增強,從而吸引更多學生使用,更多數據也會隨之產生,形成良性循環。

來源:艾瑞諮詢研究院

數據對於AI的作用早已不容小覷。

此前,對於深度學習發展已到瓶頸的問題,業內也有人提出數據處理是一劑良藥。

在深度學習上,投入演算法不一定能見到成效,但投入數據一定能見效,數據會推動人工智慧的發展,會將人工智慧帶入一個新台階。

發展AI技術前就已積累大量數據,這對一個企業來講無疑是一大優勢。網易有道技術總監林會傑在GMIC大會上表示,對於AI 教育行業而言,得數據者得先機。

AI模型的進化需要大量數據進行演算法訓練,然而線下傳統教育仍是現在的主流,用戶尚未習慣純線上交互,大量學習數據都留存在線下難以採集。

以產品作為數據介面,是企業做AI的先天優勢。網易有道本身的背景是一家100%用戶導向的教育科技公司,全平台用戶量8億 ,能夠獲取更多樣化的第一手數據。

同時,針對AI 教育的進程是否太慢這一問題,林會傑提出一個比喻,AI滲透教育行業的過程好比「為行駛中車輛換輪胎」,存在數年的教育行業有一套成熟的運行邏輯,如同一輛行駛中的車輛,現在行業想要換上AI這一新輪胎「提速」,需要在不影響現有運行情況下,讓技術逐漸滲透,最終完成AI 教育的迭代。

先機已得,技術自然要跟上步伐。

NMT準確度可信賴:中英互譯BLEU值盲測中,最好成績領先7個百分點

先來看看有道「起家」的翻譯技術。

移動互聯網熱潮來襲,有道團隊「切掉」了連接計算機的那條線,上線有道詞典移動版,迎來了巨大的用戶紅利,如今在全平台擁有8億用戶。

人工智慧熱潮又一次來襲,翻譯這一王牌領域成為有道要絕對堅守的陣地。早在2016年,網易有道首席科學家段亦濤就已經帶領團隊攻堅神經網路翻譯技術(NMT)。

如今,有道神經網路翻譯已經支持12種語言的中文互譯,10種語言的英文互譯。

在準確度方面,神經網路的翻譯水平已經達到國際領先水平。在2017年周楓接受新智元採訪時,在國際通用的BLEU評測中,網易有道針對翻譯引擎不同的使用場景(學習、新聞、口語、用戶日誌)採集不同的評測數據,分別作出評測。

當時的有道翻譯準確度在學習、新聞、口語和用戶日誌中就已高於其他國家引擎。

BLEU(雙語評估研究-Bilingual Evaluation Understudy)是一種用於評估自然語言之間機器翻譯的文本質量的演算法,它是與人類質量判斷高度相關的指標之一,也是最普遍使用的自動指標。

BLEU值越高,代表翻譯準確度越高。

到2019年,在學習與新聞領域,無論是英譯中還是中譯英,有道的盲測集BLEU值也有了較大提升。據有道最新盲測數據顯示,在學習和新聞測試集中,有道NMT的中英互譯準確度均優於同行,最好成績領先7個百分點。

2019年3月29日評測結果

之所以能有這樣的技術優勢,領域自適應模型是網易有道的法寶之一。

用戶的需求是是多元的,有些用戶對金融信息有需求,有些要查計算機術語,若想要用一個模型來覆蓋所有用戶需求,必然會影響翻譯的準確度。

機器翻譯中的領域自適應模型是指,若想要讓翻譯質量更好,需要給它更多垂直領域的數據,更多的平行語料。有道對於一些特定領域有單獨的模型,系統會判定語料適應的領域,分配不同的模型進行翻譯。

除基礎翻譯技術過硬外,有道翻譯用戶不斷增長的另一因素是注重產品交互的創新與改變,例如在2018年和2019年增添AR實景翻譯、語音同傳、文檔翻譯和網頁翻譯等多個場景化很強的功能。

擁有國內可識別語言最多的OCR識別引擎,賦能AIoT學習硬體

如今,這些新功能背後的技術已經成為幫助有道拓展AI業務邊界的兩把利刃。

OCR是網易有道王牌技術之一,儘管2014年就已上線基於傳統規則方法的OCR技術,但2017年,有了基於神經網路技術的加持,OCR引擎的質量明顯邁向了新台階。

OCR技術最直觀的功能表現就是拍照翻譯。截止2019年5月15日,有道OCR識別技術已經支持26種主流語言文字的支持,是目前國內識別語言最多的OCR識別引擎。

同時,網易有道的OCR技術是國際市場首家支持以下功能:

多語種全自動判別與混合識別

支持360度任意角度圖像的文字識別

支持文字語義方向為橫排、豎排或者混合排列的文字識別

同時,針對「AI 教育」這一場景,有道OCR團隊進行了專項優化,研發出了一系列在國內市場上處於壟斷性的優勢技術,例如:

實現了公式識別,支持公式轉為LaTeX功能,準確率達到93%。輸入圖示例:

除此之外,有道的OCR技術也能應對拼音識別、超模糊手寫體識別、多角度多語種混合排版識別等高難度場景,平均準確率可達95%。

超模糊手寫體識別案例

同時,針對K12用戶(尤其是少兒用戶)高難度手寫場景進行優化,識別準確率高達85%以上,是業內唯一支持高難度教育場景的手寫OCR服務。

K12手寫體識別案例

這些均可離線的AI技術將這些能力部署在多種移動端上,滿足各種AIoT硬體的需求。目前有道的各個AI技術均支持離線,OCR識別的模型離線後加起來只要50M。

有道OCR以主流智能教育硬體為基礎,構建了完整的教育場景OCR技術鏈路。

同樣還能實現離線的另一王牌AI技術還有智能語音。

2017年,智能語音技術被有道正式提上日程,投入研發,在語音識別(ASR)、語音合成(TTS)、語音評測、語種識別、聲學前端增強等五大方面均有涉及:

2017年6月份啟動ASR技術相關的研發,目前,支持中、英、日、韓、俄、西班牙等語言的識別,在一些場景上識別準確率超過98%。

於2017年開始語音評測技術的研發,目前在評分準確度方面和專家人工打分的相關性達到0.8。

從2017年開始自主研發語音合成系統,採用端到端的技術框架構建,達到和真人相當的語音自然度、高並發、低延時,目前已經支持中、英、日、韓、葡等多個語種。

擴展其它相關語音技術的研發,例如聲紋識別、說話人日誌、語音前端增強等。

在國際競賽方面,有道語音團隊參加了DIHARD Challenge2019競賽,取得兩階段均第三名的成績。

依託TEACH產品矩陣和業務場景的海量資源優勢,有道語音技術團隊在場景化聲學建模、分領域語言建模、數據輔助標註等專項技術方面形成了和語音應用系統相互配合、密不可分的技術矩陣,達到較好的協同效應。

相關核心技術的整體框架結構如下圖所示:

值得一提的是,有道的語音技術不僅提供雲端高精度的解決方案,還提供完善的離線部署和低資源嵌入式集成方案,可以在保證精度的同時減少對網路的依賴,極大擴展了應用場景。

紙筆交互:熟悉的自適應學習,新鮮的硬體加持

除此之外,網易有道為旗下產品「有道精品課」自研了一款有道智能筆。

簡單來講,這支筆除了正常書寫功能外,內置了一個攝像頭和一顆處理晶元,你在進行習題練習時,內置的攝像頭會自動記錄書寫內容並同步上傳到精品課APP中。

這其中OCR識別引擎就發揮了重要作用,同時運用點陣碼追蹤技術,完整地還原了線下作業體驗並實現了實時上傳。

完成記錄並上傳只是完成了一部分任務,有道還開發了一套AI智能學習系統:通過分析智能筆上傳的做題數據,進而提供如學情分析、知識圖譜評估、智能推題等一系列自適應學習輔助。

這套系統由有道自主開發的題庫和大數據推薦演算法組成,目前有道自有題庫容量已有5000萬

以初中數學為例,題庫共收錄了教學大綱中的數百個知識點、每個知識點對應上百道習題。題目和知識點均由老師人工標註難度及重要程度,為演算法推薦提供依據。

事實上,有為K12用戶專門打造的、有硬體加持的自適應學習系統在業內非常罕見,並且這還原了學生熟悉的紙筆交互系統,這也是網易有道「AI 教育」業務的重要技術壁壘。

發力AI的基因與籌碼兼備,網易有道商業化道路將迎質變

有道智能筆這類獨特硬體的出現也能看出有道對在線教育資源掌控的決心與判斷。

根據有道在AI技術上的布局,可以看出2017年是這家公司全力擁抱AI的一年。

同時,穩握8億用戶、100%用戶導向的原則,網易有道發力AI的基因與籌碼都已具備。

單拿「AI 教育」領域來說,網易有道所走得路線也相對「穩妥」,屬於均衡發展的選手,注重實用性與應用落地。

與轉型擁抱AI的新東方、好未來等傳統教育企業相比,它沒有擁有絕對場景優勢,但積累的用戶基礎極大,進而擁有數據優勢,並且有多年的自研技術積累。

但與AI企業相比,網易有道沒有經歷通過純靠技術「廝殺」的階段。

作為網易旗下第三個獨立融資的事業部門,AI浪潮興起的時候,網易有道早已不是初創企業,它對於如何將新技術落地商業化更有經驗。

「AI 教育」行業尚處於發展早期的升溫階段,概念模糊,泡沫難免。保持清醒,注重實用性的確能保護企業避免觸礁。

發力AI基因與籌碼已兼備,至於何時走向資本市場、商業化道路迎來質變也是可遇見的未來。

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 新智元 的精彩文章:

287萬篇CS文獻數據分析:性別差距100年難消除,男女搭配協作更累
圖像識別AI遇上對抗性圖像變「瞎子」,準確率猛降90%

TAG:新智元 |