當前位置:
首頁 > 科技 > 對話搜狗口語機器翻譯團隊:全球奪冠只為驗證技術,更看重落地商用

對話搜狗口語機器翻譯團隊:全球奪冠只為驗證技術,更看重落地商用

邊策 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

就在上周,搜狗又拿下一項機器翻譯國際冠軍。

在今年的國際頂級口語機器翻譯大賽IWSLT上,搜狗戰勝科大訊飛、阿里等眾多國內外好手,一舉奪魁。

加上去年獲得WMT2017機器翻譯頂級評測大賽中英和英中第一名,這已是搜狗連續兩年,在全球性機器翻譯大賽中刷榜。而且這一次還是中國公司不常遇到的「英德互譯」比拼,更顯技術實力。

在此之前,搜狗更多展現的是輸入法、搜索等方面的技術,但現如今,AI翻譯,也正在成為搜狗技術、產品和品牌的新標識,大有不鳴則已一鳴驚人的態勢。

為何能連續在全球競技中奪冠?此次口語機器翻譯有何特點?內部如何備戰?又有什麼經驗總結可分享?

剛剛載譽歸來的搜狗團隊,派出負責人代表:語音技術負責人陳偉、機器翻譯負責人王宇光等人,與量子位分享了背後故事。

搜狗團隊代表

賽況

本次大賽總共設置了3個賽道:

基線模型(Baseline Model):從口語到文字,再用文字翻譯;

端到端(End-to-End):直接從口語輸出翻譯文字;

低資源文本翻譯:低資源的巴斯克語翻譯到英語文本翻譯賽道;

評測任務面向TED演講和大會學術報告場景,測試集包括來自英國、歐洲、印度等各個國家的英語演講者,存在雜訊、口音、自由表達等複雜語音現象。

同時語言中存在大量領域專有名詞和口語化的表達(如:大量語氣詞、錯誤語法表達等),具有極強的實戰意義和挑戰性。

其中,基線模型是當前業內最主流、效果最好的語音翻譯解決方案,市場上商用機器同傳、翻譯機等語音翻譯類產品幾乎都採用了類似的方法。

也是參賽組織最多、比拼最激烈的賽道。

最終,該賽道比拼中,中國軍團成為大賽最大贏家。

搜狗第一,訊飛第二,阿里巴巴第三。

其中,搜狗提交的系統BLEU值達到28.09,領先排名第二的科大訊飛1.6個BLEU,領先第三名的阿里巴巴5.73個BLEU。

備戰和參賽

本次大賽,搜狗團隊共經歷了3個多月時間,投入了十多人參與比賽。

從6月底釋放數據集,到8月釋放評估測試集,搜狗於9月初提交結果,10月提交論文,整個流程相當緊湊。

搜狗機器翻譯負責人王宇光回顧,比賽最終結束日期是在10月30日,他們也是剛從舉辦地比利時布魯日回來。現在他們又很快繼續投入工作中。

談到本次比賽的投入力度,王宇光表示過程很辛苦,周末加班甚至還要在比賽前幾天接連通宵。

並且過程當中,參賽項目組不是完全脫產,他們同時也在兼顧日常產品推進,差不多是「兼職」參賽,但最終仍達到了既定目標,並拿到了全球第一。

一談到比賽結果,幾位技術人員又露出了笑容,表示付出的努力很值得。

除了人才組隊,搜狗也在計算資源上對團隊給予保障。

由於本次大賽計算資源沒有限制。在語音識別方向,搜狗投入4-5台8卡機對約1700小時語言數據進行聲學模型訓練,2到3天即訓練出模型。

而在機器翻譯方向,由於數據集較大等原因,搜狗投入了10-15台八卡機器對7000萬數據(句對)進行了4-5天訓練。

主賽道競技

至於為何沒有隻參加「基線模型」,而沒有參加「端到端」比賽,搜狗團隊如此解釋:

實際上,搜狗最初參賽時,也動念想過在「端對端」測試中試一試,因為是新賽道,聽起來更酷,但認真分析後,發現端到端距離商用,還有較長路程要走。

「參賽初心是考驗技術,然後能落到產品商用」,搜狗語音技術負責人陳偉說。

而且參賽隊伍也在用腳投票,雖然端對端看起來未來有前途,但此次更多參賽組織,選擇了Baseline Model(基線模型賽道)。

陳偉還解釋,兩個賽道的目的一樣,而基線模型的準確率更高,因此我們主要在基線模型上面發力。

最後,搜狗在基線模型賽道力壓訊飛和阿里奪冠,訊飛則在端對端賽道里拿到第一。

當然,搜狗現如今被問到最多的問題,其中之一就是:後發的搜狗為何比先發的訊飛,技術和產品進展更快速?

搜狗語音技術負責人陳偉解釋,一切還得歸功於深度學習。

由於深度學習引入,在語音識別、機器翻譯等舊領域,產生了新影響,就像重新確定了基礎。

所以搜狗可以實現彎道超車,能力並不比其他研究十幾年語音的對手差。科大訊飛雖然在語音識別等領域投入早,但是在文本翻譯等領域的水平,不及搜狗。

搜狗機器翻譯發展現狀

除了在技術上的積累,陳偉也列舉了正在實現的技術落地。

他們解釋,搜狗是一家技術驅動的公司,研究成果會儘快落地,這次在機器翻譯上的技術將很快運用到在線翻譯產品中。

搜狗翻譯寶Pro

目前,搜狗翻譯的幾個主要應用有:輸入法、翻譯寶、大會同傳。另外,搜狗在語音和翻譯上還與vivo和OPPO達成了合作協議。

搜狗方面表示,他們的語音翻譯目前已經達到商用水平,從今年一月已經開始做英譯中的商業應用,有將近一年的時間。包括今年的極客公園大會、中國網球公開賽上都使用了搜狗的翻譯技術。

未來產品

當然,除了現階段的成果,陳偉也向我們透露了未來幾個月里會發布的產品。

在不久後舉辦的2018年世界互聯網大會上,搜狗將基於語音和表情生成技術,推出多語種的虛擬「分身」主持人。

明年春季,搜狗將進一步升級「知音OS」,將唇語和目前的語音識別結合起來,做到多模態感知。

多款包含搜狗AI的微信小程序即將上線,或進行技術升級。比如一款名為「搜狗制音坊」的小程序,僅需用戶上傳五分鐘音頻,就能定製個人播報音色,並且不丟失其中的語調和感情色彩。

另外,搜狗還和四維圖新、多家智能音箱廠商合作,將搜狗的智能語音技術集成其中。

對於語言翻譯的長期發展前景,搜狗認為,現在人機混用無法顛覆當前的人工翻譯。2020年口語機器翻譯能達到一般同傳水平。未來的技術演進方向是:機器輔助人類,到人機結合,最後再到機器取代人類。

參賽經驗總結

最後,也附上搜狗參賽團隊的經驗總結,如果明年你也希望在機器翻譯的全球競技中刷刷榜,這份精簡的冠軍總結,或許能帶來一些參考。

搜狗機器翻譯負責人王宇光說,回頭復盤,一切其實大道至簡:

首先任務要選對,做對的挑戰比作容易的更有價值;

其次,問題分析清楚很關鍵,最好能夠拆分細緻,然後組織不同方向的同事參與進來,對於無法全職參賽的隊伍,定期碰頭溝通問題,很重要;

第三,快速迭代,不斷解決問題,不斷修正方案;

第四,反向思考推導,比如在此次比賽中,數據集和結果要求為英德翻譯,搜狗團隊並沒有人懂德語,但他們懂英語,於是在英德翻譯後,也會再讓模型翻譯回英語來看結果,以此檢驗模型;

最後,高效執行,吃苦耐勞,有必勝心態。在此次比賽中,搜狗團隊制定了一個起初看起來較高的目標,但依靠強執行、通宵加班完成任務,最終在結果提交時達到了制定的目標,進而也從成功奪冠。

可謂天道酬勤、如願以償。

以上,如果你還有對搜狗冠軍團隊好奇的問題,也歡迎留言~

年度評選申請

加入社群

量子位AI社群開始招募啦,歡迎對AI感興趣的同學,在量子位公眾號(QbitAI)對話界面回復關鍵字「交流群」,獲取入群方式;

此外,量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募,面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號(QbitAI)對話界面回復關鍵字「專業群」,獲取入群方式。(專業群審核較嚴,敬請諒解)

活動策劃招聘

量子位正在招聘活動策劃,將負責不同領域維度的線上線下相關活動策劃、執行。歡迎聰明靠譜的小夥伴加入,並希望你能有一些活動策劃或運營的相關經驗。相關細節,請在量子位公眾號(QbitAI)對話界面,回復「招聘」兩個字。

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 量子位 的精彩文章:

DeepMind開源了強化學習庫「松露」,團隊自身也嚴重依賴它
普惠AI,將是開發者下一個風口嗎?看看他們怎麼說

TAG:量子位 |