機器人為什麼能寫稿，以及它們能拿普利策獎嗎？

里約奧運會期間，寫稿機器人「Xiaomingbot」通過對接奧組委的資料庫信息，可以進行實時撰寫新聞稿件，在 16 天內發布了 456 篇資訊報道，平均新聞生成到發布時間為 2 秒鐘，幾乎達到電視直播的傳播速度。Xiaomingbot 是今日頭條實驗室研發的AI機器人，可以通過兩種文本生成技術產出新聞：一是針對資料庫中表格數據和知識庫生成自然語言的比賽結果報道，即簡訊；二是利用體育比賽文字直播精鍊合成比賽過程的總結報道，即資訊。

隨著自然語言處理、知識庫等人工智慧技術的發展，許多媒體已經開始了機器人報道的探索。《紐約時報》數字部門開發了機器人編輯 Blossomblot ，每天推送 300 篇文章，每篇文章的平均閱讀量是普通文章的38倍。此外，《紐約時報》還會在財報季、運動比賽報道的時候使用機器人來寫稿；美聯社在過去一年多時間裡使用 Wordsmith 系統編髮企業財報；在華爾街引起巨大反響的 Kensho 可以通過接入美國勞工部等數據源來自行創造投資分析報告；電訊社也計劃使用雅虎在報導夢幻橄欖球聯賽時用到的技術，用來發布一些美式橄欖球回顧；Automated Insights 的寫作軟體去年寫了 150 億篇文章，宣稱自己是世界上最大的內容生產者；路透社也在發表機器撰寫的文章，該系統的負責人認為「在一次盲測中，機器的作品表現得比人類作品更具可讀性。」；此外，還有專門提供「標題黨」服務的 Click-o-Tron 公司。

媒體領域出現這種趨勢的原因在於相關技術已經達到了一定的成熟度，而且這種成熟度是和新聞媒體的要求很好的匹配在了一起。在卡斯韋爾的「結構化故事」系統中，所謂的「故事」完全不是個故事，而是一個信息網，我們可以像對待文案、信息圖表或者其它表達形式一樣去組裝它，閱讀它，就像我們擺弄音樂音符一樣。任何一類信息——從法院報道到天氣預報——都能夠最終能放入到這個資料庫中。這樣的系統的潛力是巨大的。

「大多數自然語言系統都是在簡單地描述一個事件。但是大多數新聞都是描繪性的，甚至是事件驅動的」來自密蘇里大學 Donald W Reynolds 新聞機構的大衛·卡斯韋爾說。「事件們在不同的地點發生，這些事件之間的因果關係是這些事件的核心敘述結構。」需要把它們放到古老的新聞術語中：誰，發生了什麼，在哪裡，什麼時候。

根據 Donald W Reynolds 的說法，人工智慧系統在進行新聞創作時需要解決非常多的技術難題，包括自然語言處理中的自動摘要、文本分類等，還有知識庫和知識發現（KDD）等相關技術，比如實體定義、關係抽取、問答系統等。簡單來說，就是機器首先需要理解自然語言，然後通過知識管理弄明白新聞中各個要素（各類知識）之間的關係。

自然處理技術所有信息密集型處理過程的核心，也是今年以來谷歌、Facebook 和微軟等科技巨頭都最為重視的研究方向，在剛剛結束的語言學頂級會議 ACL 上，他們也都發表了眾多重磅論文。谷歌開源了SyntaxNet，將神經網路和搜索技術結合起來，在解決歧義問題上取得顯著進展——能像訓練有素的語言學家一樣分析簡單句法；Facebook 推出了文本理解引擎 DeepText ，每秒能理解幾千篇博文內容，語言種類多達 20 多種，準確度近似人類水平。

其中，閱讀和理解人類語言對機器來說是一項極具挑戰性的任務，這需要對自然語言的理解以及根據多種線索推理的能力。閱讀理解是現實世界中的一個普通問題，其目的是閱讀和理解給定的文章或語境，並基於此回答問題。在多種類型的閱讀理解問題中，完形填空式的查詢是基礎的一類，並且也已經變成了解決機器理解問題的起點。與普通的閱讀理解問題類似，完形填空式的查詢（Taylor, 1953）是基於文檔的本質提出的，儘管其答案是文檔內部的單個詞。

為了教會機器完成完形填空式的閱讀理解，需要學習給定文檔和查詢之間的關係，因此必須要大規模的訓練數據集。通過採用基於注意（attention）的神經網路方法（Bahdanau et al.,2014），機器可以學習大規模訓練數據中的這些模式。為了創造大規模訓練數據，Hermann et al. (2015) 發布了用於完形填空式的閱讀理解的 CNN/Daily Mail 新聞語料庫，其中的內容由新聞文章及其摘要構成。之後 Hill et al.（2015）發布了 Children』s Book Test （CBT：兒童圖書測試）數據集，其中的訓練樣本是通過自動化的方式生成的。此外，Cui et al.（2016）也發布了用於未來研究的漢語閱讀理解數據集。正如我們所見，自動生成用於神經網路的大規模訓練數據對閱讀理解來說是至關重要的。此外，語境的推理和總結等更複雜的問題需要遠遠更多的數據才能學會更高水平的交互。

今年六月份，人工智慧創業公司 Maluuba 公司發表了一篇關於機器理解的論文，提出了目前最先進的機器閱讀理解系統 EpiReader ，該模型在 CNN 和童書測試（CBT）兩個數據集上的成績都超過了谷歌 DeepMind 、Facebook 和 IBM 。EpiReader 採取兩個步驟來確定問題答案。第一步(Extractor), 我們使用了一個雙向 GPU 逐字閱讀故事和問題，接著採用一種類似 Pointer Network 中的 Attention 機制在故事中挑選出可能作為答案備選的單詞。第二步( Reasoner )，這些備選答案被插入「完型填空」式的問題中，構成一些「假設」，接著卷積神經網路會將每個假設與故事中的每個句子加以比較，尋找文本蘊涵( Textual Entailment )關係。簡單來說, 蘊涵是指，兩個陳述具有很強的相關性。因此，最近似故事假設的蘊涵得分最高。最後，將蘊涵得分與第一步得到的分數相結合，給出每一個備選答案正確的概率。

國內的哈工大訊飛實驗室也提出了一種用於完形填空式閱讀理解任務的全新模型，這被稱為 attention-over-attention（注意之上的注意）閱讀器。我們模型的目標是在文檔級的注意之上放置另一種注意機制（attention mechanism），並誘導出「attended attention（集中注意）」以用於最後的預測。和之前的成果不同的是：我們的神經網路模型只需要更少預定義的超參數，並且可以使用一種簡潔的架構進行建模。實驗結果表明我們提出的 attention-over-attention 模型在大量公共數據集中都顯著優於當前許多最佳的系統，例如 CNN 和「（Children』s Book Test）兒童圖書測試」數據集。

CMU 的 Mrinmaya Sachan 和邢波在 ACL 2016 上發表論文《用豐富的語義表徵來實現機器理解》，通過用如指代和修辭結構這種跨句現象來合并組成句子的 AMR，從而為給出的文本和每個問答對建構意義表徵圖（meaning representation graph）。然後將機器理解降格成為了一個圖包含問題（graph containment problem）。假定問答含義表徵圖（question-answer meaning representation graph ）和文本含義表徵圖（text meaning representation graph ）之間存在一個隱含的映射，該映射能夠解釋該答案。他們提出了一個統一的最大邊緣框架，它能學習發現這個映射（給定一個文本語料庫和問答對），並使用它學到的來回答關於新文本的問題。他們發現這個方法是目前完成這類任務的最好方法。

在知識庫方面，谷歌自然語言處理技術專家 Enrique Alfonseca 認為，挑戰包括知識庫的實體解析和一致性問題。兩年前，谷歌的一些員工發布了一個實體解析注釋的超大文集，這個大的網路文集包括對 Freebase 主題的110億次引用，它是由世界上研究信息提取的研究人員開發的。知識集指的是真實世界（或者虛擬世界）的結構化信息，在許多其他應用中，人們能夠對文字進行語言分析。這些一般包括主題（概念和實體）、屬性、關係、類型層次、推理規則、知識表徵和人工、自動知識獲取的研究進行了許多年，但是這些都是遠未解決的難題。

CMU 的 Sujay Kumar Jauhar 認為，問答需要一個知識庫來檢查事實和推理信息。自然語言文本形式的知識學習起來比較簡單，但是自動推理很難。高度結構化的知識庫能讓推理變得容易一些，但是學習起來又難了。他們在近期 ACL 上發表論文，探討了半結構形式主義（semi-structured formalism ）的表來平衡這兩種情況。

而上文提到的Xiaomingbot的主人今日頭條實驗室近期也在這方面取得進展——通過深度學習和知識庫的結合來解決知識類問答問題。今日頭條實驗室科學家李磊博士表示，知識在知識庫里表達成三元組形式的結構化信息，系統要做的事情是問了這個自然語言問題後，從知識庫里找出這樣的答案。這個問題的難度在於：

1）知識庫非常大，從海量數據中找出答案是非常困難的；

2）自然語言問題本身比較複雜，因為有多種問法和表達方式；

3）訓練數據非常有限。

而今日頭條實驗室提出的深度學習加上知識庫的CFO方法是，首先觀察到需要把自然語言問題表達成結構化 query ，把這個結構化 query 里的條件信息從問題里找出來。和傳統方法不同，CFO 通過神經網路用了一個 Stacked Bidirectional GRU ，它是一個上下疊加起來的多層雙向循環神經網路，通過這個模型去計算出問題中的實體以及實體之間的關係，之後就是構建結構化的查詢語句以及從知識庫里尋找答案。在測試結果上，準確率超過了微軟和 Facebook。

這些在自然語言處理、知識庫方面最新的研究進展將會傳導到人工智慧在新聞領域的應用，就像今日頭條此前所做的智能推薦一樣，通過每天觀察數千萬用戶的刷新，點擊，搜索，收藏，評論的行為，不斷加強對用戶興趣偏好的理解，從而能夠不斷提高推薦的準確性，成為在資訊推薦領域的人工智慧。希望靠演算法連接內容創作者和消費者。而現在，技術的進步將使這個邊界獲得再次延伸。就像今日頭條創始人兼 CEO 張一鳴預言的那樣，未來人工智慧演化的第一階段首先是在各個垂直領域誕生若干超級智能，比如資訊推薦領域的今日頭條，健康和知識問答領域的沃森，圍棋領域的 AlphaGo 。這些垂直超級智能可以在特定領域內展現出遠超人類的能力，但是在擅長領域之外沒有任何作為。不過，他們將為誕生在所有領域內都具備超人能力的終極智能打下基礎。

而越來越多的機器人創作將成為媒體領域超級智能的開始，目前 Xiaomingbot 的資訊生成部分即實時文本生成研究是今日頭條同北大計算機所萬小軍教授團隊合作，用於問答系統的 CFO 也將應用在今日頭條的其他媒體產品中。李磊表示，今日頭條有個產品叫「頭條問答」，我們希望對於一些簡單的問題和事實類的問題可以通過自動回答的方式去解決，這樣就可以節省專家人力。

Xiaomingbot、CFO 只是頭條實驗室眾多研究布局中的階段性成果，後者旨在推動人工智慧技術研究，讓演算法更好地理解文字、圖片、視頻、環境場景和用戶興趣，從而促進人類信息與知識交流的效率和深度。今日頭條不僅僅是新聞客戶端，是一款基於機器學習的個性化資訊推薦引擎，是所有信息、內容分享創作的平台。人工智慧和機器學習的演算法起到了重要作用，能夠幫助高效精準地把用戶感興趣的內容推薦出去。今日頭條的內容平台對應著雙邊用戶：一邊是內容的創作者，另一邊是內容的消費者。所以為了把最好的內容推薦給最需要的讀者，就需要機器學習的技術。

今日頭條等媒體巨頭對人工智慧技術在研發和應用上的加碼，讓我們看到了人工智慧在未來對媒體業造成的巨大影響。《淺薄》中提到，互聯網作為一種智力工具，在給我們帶來便利的同時也在重塑著我們的思維方式。隨之而來的問題是，互聯網這種媒介傳遞的信息越多，我們想找到優質或者自己所需信息的難度也就越大。而這正是人工智慧的優勢所在，它可以讓大數據從負擔變成便利，會重塑媒體的內容生產和分發。

在採用 Wordsmith 之前，美聯社需撰寫約 300 家公司的財報文章，可想而知這並不是個輕鬆的工作量。在使用機器人 Wordsmith 之後，美聯社每季度可以出 3000 家公司財報，雖然其中仍有 120 篇需要人力更新或添加獨立的後續報道，但顯然它替人類編輯承擔了絕大部分的工作量。

在哥倫比亞大學慶祝普利策獎誕生一百年之際，智能機器人也將在財經報道、體育實況報道、騙點擊的標題黨新聞（clickbait）以及其它原本只有受過訓練的記者才能報導的領域開始一展身手。「總有一天，機器人會贏得普利策獎」，來自 Narrative Science 的 Kris Hammond 如此預測。這家公司專註於「自然語言生成」。「我們能講述隱藏在數據中的故事。」最近的進步味著，人工智慧現在能夠撰寫出具有可讀性的流暢文字，並且還能比亢奮的寫手更快地大量炮製模板型文章。「有了自動化，我們現在能為 4,000 家公司追蹤、 撰寫季度收益報告，」來自世界第一個也是迄今為止唯一個使用自動化編輯的通訊社——美通社的賈斯汀· 邁爾斯說，「以前我們只能做到 400 家。」

而對於機器人能否拿普利策新聞獎這個問題，邁爾斯也「絕對相信」——因為機器人已經做到了。Bill Dedman 因一篇抵押貸款中存在種族主義問題的調查報道，而獲得了普利策獎。這篇報道雖然發表於 1988 年，卻是由電腦協助寫作成的。

自動化新聞不僅僅具有數量優勢，還有助於定位客戶需求——通過用戶畫像、情感分析等技術為用戶提供個性化內容，或者對於智能對話系統與用戶進行交互。

隨著人工智慧技術在新聞領域的參與程度越來越高，對於人工智慧技術是否造成失業問題的爭論也愈演愈烈。牛津大學此前發布了一篇報告稱，目前 47% 的工作崗位將最終被自動化。但對此的批評意見認為，工作被取代，並不意味著勞動者將失去工作，正如曾經汽車的出現取代了許許多多的馬車夫和馬童，但同時創造了更多修建高速公路和服務加油站的工作。

對於媒體領域來說同樣如此，機器人負責這項單調而又乏味的工作就能把記者們解放出來，讓他們追求一些需深度思考的報道，同時機器人也可以將消費者從海量信息中解放出來，提高他們獲取信息和知識的效果和效率，而這就是人工智慧對媒體的最重要影響。不久的未來，我們將看到人工智慧作為工具在新聞產業產出發揮重要的作用。

TAG:機器之心 |

※機器人能寫詩、能撰稿了，您怎麼看
※機器人能夠解決單身問題？是福利還是風險
※機器人都能自動採摘蘋果了 還要男同胞幹什麼用呢？
※機器人伴侶來了！不僅能跟它談愛，還能跟它……
※什麼是生物機器人？它能幹什麼？
※有倫理的機器能給我們帶來什麼
※我們能不能把仿生機器魚也賦予所謂的靈魂呢？
※為什麼說觸覺智能是機器抓握技術的未來
※機器人來了，除了恐慌，我們還能做什麼？
※如果機器人是你的家庭成員，你能接納嗎？
※機器人不僅會「讀心術」 它還能畫出來你在想什麼
※你會讓機器人給你做手術嗎？用機器人做手術有利也有弊
※有了機器，人類寫作者和棋手們還能幹點啥？
※別傻了，你真的能肯定自己不是機器人！
※機器人大會：你不會真以為這玩意兒能取代人類吧？
※機器人如果有「意識」，我們怎麼才能發現？
※機器人能聽懂你的話嗎？
※未來智能機器人泡妞會不會特別厲害？
※機器人可以吞服？還能自我繁殖？貴圈真會玩，小編帶你來看看！