揭秘Facebook語言技術小組

前言：將照片翻譯成語言、用戶消息排序、虛擬助手和聊天機器人……Facebook 的「語言技術組」正在用人工智慧改變 Facebook 用戶與世界的交互方式。

Facebook 這個社交媒體巨頭涉足人工智慧很晚，但它有大約 50 人組成的「語言技術組（Language Tech Group）」，他們正計劃革新我們使用 Facebook 的方式，並維護它作為世界上最大的社交網路的地位。上個月，在 Facebook CEO 馬克·扎克伯格的玻璃牆圍起的會議室里，他坐在一個樸實的灰色沙發上進行了首次網路直播問答，人工智慧的話題不可避免地被提起。當被問及 Facebook 如何最好地造福殘障人士時，扎克伯格說「對於 Facebook，最讓我興奮的一個技術領域就是人工智慧了，」他睜大雙眼，認真而緊張地盯著攝像頭，「它正好契合了我剛才談到的主題——如何將這個世界的機會開放給每個人？」

人工智慧理所當然地在科技界引起了熱議，因為它不但有潛力轉變所有形式的數字服務，而且還有可能為人類面臨的所有問題都帶來突破，從戰勝致命疾病到應對全球變暖。在今年早些時候的公司年度大會上，扎克伯格明確表示在 Facebook 為保持在社交媒體上和科技行業中的領先地位而制定的十年計劃中，人工智慧將是其中一大核心支柱。

目前，Facebook 使用人工智慧的目標要麼比較普通，要麼就不那麼重要：維持全球用戶的使用活躍度和快樂感，和把 Facebook 的 Messenger 轉變成驅動「聊天機器人（chatbot）」的會話平台，這是能為用戶完成預定酒店或提供客戶服務等任務的應用。負責搭建這些功能的就是該公司的語言技術組，該團隊現有約 50 位成員，於兩年半前組建，領頭人是前微軟元老和機器學習專家 Alan Packer。

「我們使用互聯網和電子設備的方式正在發生改變，」 Packer說，「人們不會再坐在電腦鍵盤前面了。所有人都篤定手機之後會有更先進的電子產品出現，很有可能體積更小而且還是可穿戴的。」

Packer 的團隊在過去的兩年中都致力於解決與語言相關的人工智慧基礎難題，包括語音識別、自然語言理解和機器翻譯，力圖逆轉局勢趕超競爭對手。微軟、谷歌和 IBM 等科技巨頭都有好些年（甚至幾十年）的研發語言理解和翻譯工具的經驗。而最近很多新玩家也加入了競爭，比如蘋果的 Siri、亞馬遜的 Alexa、微軟的 Cortana、Google Now 等會話介面，它被看作是計算領域的下一個大事件。人工智慧專家表示這項技術還處在初期階段，而隨著專門支持人工智慧的演算法和計算機系統的不斷進步，目前的局勢有利於 Facebook 縮小與領先者的差距。

卡內基梅隆大學的語言技術研究所（Language Technologies Institute）的主管 Alan Black 說：在語言技術方面「Facebook 由於最近剛起步，現在有點落後，但他們會趕上來的。」

語言技術組（Language Tech Group）的誕生是出於必要。兩年多前，扎克伯格和他的公司意識到作為一家有著使用大量不同語言用戶的社交平台，要想謀求長遠發展，他們迫切地需要自己的翻譯工具。直到去年年底，他們的翻譯還要靠微軟 Bing。但無論是 Bing 還是其它那些現成的開源翻譯工具，在社交網路中都效果不佳。因為它們本來就不是用來翻譯網路上的非正式用語和日常會話的。微軟跟谷歌一樣，至少剛開始訓練翻譯軟體時用的是跨多種語言翻譯的正式文檔，比如聯合國和歐盟的程序性文件、技術手冊和書籍。但社交網路上充滿著拼寫錯誤、俚語、髒話和不斷變化的方言，基於正式文檔的翻譯工具顯然並不理想。

Alan Packe，Facebook 語言技術組領導者，這是一個致力於機器翻譯、語音識別和會話理解的人工智慧團隊

Facebook 在 2013 年收購了語音對語音翻譯（speech-to-speech translation）研發公司 Mobile Technologies 的前後開始組建語言技術組。該團隊很快就投入對其第一個項目——翻譯工具——的研發，到 2015 年 12 月，Facebook 用的翻譯工具已經完全轉變成自主開發的了。

41 歲的 Facebook CTO Mike Schroepfer 負責監督語言技術組和公司的其它人工智慧方面的工作，他說：「如果你用我們的系統去翻譯網頁，它很可能翻譯得很槽糕，但在我們關心的使用場景中它是真正最優的。」

翻譯看起來似乎只是一個基礎級的問題，但它對 Facebook 在全球的擴張至關重要，因為強大的翻譯功能有利於消除朋友、家人和陌生人之前分享的障礙。三分之二 Facebook 用戶用的不是同一種主要語言，而且大多數用戶都不說英語。但用戶在 Facebook 看到的大部分內容卻是英文的。如果用戶能閱讀並理解一個法國堂兄發布的內容，或者能閱讀到第一手的世界新聞，就能拉近用戶的距離。

「Facebook 真正關心的只有很少一部分性能指標，它們都與影響力和參與程度有關，」 Packer 說，「不僅要用戶在 Facebook 上花更多時間，還想知道有沒有給他們帶來好的感受？而翻譯功能能實現這一點。」

現在 Facebook 每天都會處理覆蓋 40 種語言的 20 億條翻譯，上周他們發布了一個名為「composer」的新功能，它能以用戶喜歡的語言為他們顯示朋友發的帖子。但該公司仍然想繼續改進自動翻譯並支持更多語言。 Schroepfer 預測更好的翻譯功能會引發會話的激增並吸引到新用戶。

「用母語講話會讓你延長互動時間並讓對話更富表達力，」 Schroepfer 說，並補充道更好的翻譯功能會促進更多樣化和更有創造性的想法在 Facebook 上傳播。「人們能在網上自然地跟任何人表達自己，這簡直就是科幻小說中的場景，而我們現在就快要實現了。」

兩年半之前，在想要更廣泛的推動以及認真對待人工智慧的情況下，Facebook 將 Packer 招募了進來。2013 年，該公司創建了 Facebook 人工智慧研究中心（FAIR），該機構的人員數量現已超過了 60 位，而其領導者也是世界知名的深度學習專家，以及 55 歲的 Yann LeCun。後來到 2015 年秋季，Facebook 建立「應用機器學習（Applied Machine Learning）」實驗室，該實驗室現在已經超過有 100 位研究者和工程師。這個實驗室的負責人是 Joaquin Candela，今年 39 歲。他們的研究重點是將人工智慧灌注到 Facebook 產品中，而該團隊的研究領域包括語言技術、核心機器學習（core machine learning）、計算攝影（computational photography）以及包括計算機視覺和圖像識別在內的「感知」。Facebook 最新的人工智慧團隊是 Wit.ai，該團隊是 Facebook 為了幫助M 應用的前端驅動而於去年收購的。該公司表示，Facebook 的所有人工智慧工程師和研究者都在相互合作。

Facebook CTO Mike Schroepfer 在去年的 F8 大會上做關於無人機和人工智慧的主題演講

「在基礎研究上應該做多少與在工程上應該做多少，二者之間總是存在著緊張關係，」Candela 說，「我的哲學是必須兩者都做。」

今年 48 歲的 Packer 是一個樂觀又謙遜的天才，他戴著四四方方的黑色眼睛。他很高興有機會能詳細解釋機器學習的「反饋迴路」——在 Facebook 總部，他在身後的白板上寫寫畫畫。

當 Packer 還是俄勒岡州 Aloha 市的一個小男孩的時候，他就開始對計算感興趣了。他的父母購買了一台 IBM 最早期的個人計算機，而他用這台計算機為自己的母親創造了一個食譜存儲工具。後來他進入華盛頓大學學習電氣工程，然後又將主修專業換成了計算機科學，因為他更想要做編程而不是數學。當他意識到「人類不能擴展」後，他就進入了人工智慧領域。

Packer 職業生涯的起點是作為英特爾一位安全問題（如內容監控和防垃圾郵件）方面的工程師，一干就是七年。然後他追尋自己的創業決心，進入了一家機器學習創業公司 RuleSpace 擔任工程副總裁，該公司於 2002 年被微軟公司收購。之後 Packer 又在這家軟體巨頭公司度過了 12 年。他擔任過該公司的反惡意軟體團隊的管理者，然後又領導了 Bing 的「語言和意圖團隊（language and intent team）」，該團隊為微軟的個人助理 Cortana（小娜）開發後端以及核心技術。

開發了翻譯技術之後，語言技術組在去年內相繼開始建立 Facebook 的第一個語音識別和對話理解工具。目前，Facebook 僅有的語音識別工具是為無聲視頻廣告和 Facebook 的 M 禮賓工具自動添加字幕，該工具可以轉錄短的語音備忘錄。但是，隨著消費者的設備和鍵盤越來越小、用戶越來越青睞於消息和視頻，Facebook 對語音介面的需求也會增長。

到目前為止，主流的語音介面都還很差強人意，而且在很多情況下也不為社會所接受。比如，在星巴克排隊的時候對著 Facebook 說話很可能會被認為是粗魯的行為。而即便語音介面還不完美，Packer 說鍵盤在社會交互中的使用頻率會隨時間而越來越低。Facebook 計劃在未來五年內更深入地將語音識別整合到其主應用之中，並讓用戶可能能通過語音命令執行搜索或完成用戶通常需要使用手指或滑鼠才能完成的行為，比如發布一張群組照片、去除紅眼或與虛擬助手交談。

Facebook 的虛擬現實系統 Oculus Rift 是該公司另一款會因語音而成熟的產品。使用 Oculus 在叢林里探險時，使用鍵盤或控制器會降低真實感。語音工具可讓用戶輕鬆開始遊戲並且與朋友一起虛擬地遊玩。比如，當你說你想邀請「Amy」進入遊戲時，Facebook 會知道你指的是你的好朋友 Amy Smith，而不是你上高中時遇見過的某個已經失去聯繫了的 Amy。隨著時間的推移，Facebook 將變成連續的、總是在線的會話狀態（session），能跟隨用戶通勤、工作、進入虛擬現實，甚至在家中作為助手幫助做檢查天氣、規劃旅行或購買東西等日常事務。其願景是：用戶在一個 Facebook 服務上獲得的交互可以幫助他們在另一款 Facebook 產品上獲得個性化的體驗。

語言技術組的第三個分支是會話理解（conversational understanding），這是目前 FAIR 的頭等大事。文本理解是精確調節（curating）相關帖子、評論和搜索結果的關鍵。比如，當你在日本旅行時，如果你問哪裡可以吃壽司，Facebook 可以很好地將你的帖子展示給曾經去過日本或很了解壽司的人。會話理解也可被用於向用戶提供精心調配過的某個特定朋友或家人的生活的更新、時事或有趣的貓的動圖。而且該技術也是聊天機器人——現在 Messenger 上已有 11,000 個 Bot——以及與個人助理對話的工具的關鍵。

「Bot 已經變得非常火爆，」Packer 說，並且他還指出文本會話和口語介面具有相同的底層技術。「想一下 Facebook， 我們每天會接收到百萬條會話信息，你就能想到 Bot 技術的應用幾乎是無限的。」

為了提高會話技術，Facebook 在其研究模型上應用了一系列的訓練數據，其中包括用戶的匿名帖子和會話，以及大型公共數據集。今年，FAIR 擴展了其訓練數據，納入了數百本兒童圖書，其目標是創造出能夠像人類一樣猜測故事中的下一個句子的人工智慧。「現在的自動系統是讓人痛苦的，」34 歲的 FAIR 自然語言研究員 Antoine Bordes 說，「你能清楚的感覺到你在和 Bot 對話（而非人）。」

Facebook 的禮賓助理 M 現已被灣區的超過 10,000 名用戶使用，但背後仍然有很大一部分的人工協作。然而，其執行的發送星象、預訂餐廳、訂購童車、降低有線電視費或檢索事實等範圍很廣的任務表明這些是 Facebook 計劃在未來實現自動化的任務——那種不需要用戶記住代碼或指令的自動化。為了幫助實現這種可能，Facebook 創造了一個以文本為中心的理解引擎 DeepText，該引擎可每秒解讀數千個帖子的含義和情緒。

「我們正嘗試讓 Facebook 更像是一個會話介面，而不是等著被動消費的東西。」Schroepfer 說，他描述了一種聽起來像有一個數字私人管家一樣的體驗。「我們想做到最好，在你想要某個信息的瞬間你就能準確的得到該信息。你跟我們談論你想要的東西越多，我們需要的猜測就越少，我們知道的也就越多。」

為 Facebook 開發人工智慧同樣也有挑戰。Facebook 上各種各樣的方言使理解整個網站上的 emoji 和標籤的細微差別變得十分艱難，尤其是現在還沒有一個主要的用來收集更多數據的語音介面。而且 Facebook 上大部分文本都仍然是「非結構化的（unstructured）」，這意味著其還未被機器解讀或分類。然而，Facebook 的一些內部技術能讓該公司利用其它公司所不具備的數據金礦。

「我們自己來開發這種技術的原因之一是我們知道你們人本身、所在的位置、以及感興趣的事物，」Packer 說，「這讓我們可以比利用開源工具或第三方軟體做得更好。如果無法獲取 Facebook 的數據，那就沒人能做到那一點。」

預估 Facebook 人工智慧的貨幣價值是很困難的，但 Schroepfer 提醒說即使是一些單個的功能也能帶來很大的回報。該公司已經在使用人工智慧的形式來驅動動態消息（news feed）了，其可以梳理排序數十億份廣告、文章和朋友帖子，然後將其中最相關的展示給用戶。該公司也在使用人工智慧來識別照片中的人臉。在今年的 F8 大會上，該公司展示了為患有視覺障礙的用戶開發的「talking photos（會說話的照片）」功能，它能將照片翻譯成文本或音頻。

Joaquin Candela 領導著 Facebook 的應用機器學習（Applied Machine Learning）團隊，也就是語言技術組所在團隊

這些技術得到的結果令人鼓舞。比如說，為動態消息中的無聲視頻廣告提供自動字幕的功能將視頻廣告的觀看次數提升了 40%，視頻廣告參與度（通過完整觀看、點贊和評論等行為測量得到）也提高了 15%，而視頻廣告是 Facebook 最賺錢的產品之一。

Schroepfer 說：「我們已經（在人工智慧上）看到了足夠的成功，甚至這些小的案例也能為 Facebook 帶來巨大的好處，我們非常激進地投資未來，這讓我們感到非常興奮。」

Facebook 在這場人工智慧競賽中能取得怎樣的成績還有待觀察，但該公司顯然已經下定決心向前了。Facebook 的成果由該公司內部共享的人工智慧「脊樑」FBLearner Flow（重磅 | 幕後英雄：走進Facebook 有史以來最大的人工智慧項目）驅動，其通過跨產品團隊運行的方式讓工程師們可以輕鬆獲取該公司最好的模型以及同時運行數千個實驗。該公司現在每天運行的人工智慧實驗次數是去年同期的 50 多倍，而且 Facebook 超過四分之一的工程師都會使用這一渠道。

Facebook 描述該公司具有自下而上的技術文化，這讓工程師在團隊之間頻繁調動，並將產品團隊和研究團隊緊密連接了起來，從而幫助人工智慧團隊更快地運行。替代或重建十年之久的人工智慧技術？Facebook 覺得毫無問題。

「對接上能幫助解決你問題的專家或技術真的非常容易，」Schroepfer 說，「這就是為什麼說我們不會造出一大推最終沒法使用的東西。」

Facebook 不會規定它該在人工智慧上投資多少，但是它也不想落後。

「正是這項基礎的賦能科技（enabling technology）將打破通信的障礙、時間障礙、或阻止人們做他們想做的事的事物，它將真正理解每一個人。」Schroepfer 說，他也指出人工智慧某個領域的進步往往能幫助到一系列的行業，從醫療到汽車。「對於未來將會如何，我是相當樂觀的。」

請您繼續閱讀更多來自 機器之心 的精彩文章:

TAG:機器之心 |

※include once和require once語言結構
※Teacher stretches beyond classroom into culture 「學好英語需要真實的語言環境」
※Facebook或在為Oculus VR設備研發AI語言助手
※Java 之外的選擇，Google 宣布 Kotlin 成為 Android 官方開發語言
※Dolce&Gabbana 高級定製系列中國首秀，東田造型聯合EBI發妝詮釋「Dolce&Gabbana的時尚語言」
※蘋果 Swift 語言之父 Chris Lattner 加入 Google Brain
※自然語言的並列：preference semantics at its worst
※R語言讀取Google Trend數據
※詳解go語言的array和slice「一」
※即將開學，Pre-Sessional語言課程fail了怎麼辦?
※colly-go語言編寫的CPU單核超過1k次請求的web採集利器
※C語言中define和typedef的區別
※Kotlin 正式成為 Android 官方開發語言
※使用Go語言來理解Tensorflow
※iPhone 8 工程機又曝光；Facebook 關閉「失控」AI 系統，因其發展出人類無法理解的語言
※Hot summer in Japan-跟亞歐語言游日本！
※Go語言中 select和switch 的比較
※PHP中require和include語言結構的比較
※微軟全新設計語言Fluent Design同樣會登陸移動端