自然語言處理中的深度學習
關於本書
本書由全球知名的 Deep Learning 和 NLP 專家鄧力博士領導的一組最活躍的研究人員撰寫，全面介紹了深度學習解決 NLP 中的基本問題，而且是目前對此方面研究最新、最全面的綜述。此外，面對高質量和前沿教科書和研究參考文獻的需求急劇上升的今天，本書的出版是對 NLP 中深度學習應用方面的巨大進步所作出的迅速反應。本書為各行各業從業人員提供了一個獨特的參考指南，特別對於互聯網和人工智慧創業領域，NLP 技術正在成為一個關鍵的推動因素和核心競爭因素。—— 張宏江，Source Code Capital 創始人，前金山軟體 CEO
本書主要為大家全面呈現了深度學習在 NLP 領域應用的最新進展，並且特別介紹了卓有成效地應用了深度學習的 NLP 相關領域，比如語音翻譯、對話系統、詞法分析、語法分析、知識圖譜、機器翻譯、問題回答、情緒分析、社會計算以及（來自圖像的）自然語言生成。本書所面向的讀者包含有計算背景的研究生、博士生、教師、工業研究者，以及對 NLP 領域深度學習感興趣的任何人。—— 主編鄧力
目錄及作者
Chapter 1: A Joint Introduction to Natural Language Processing and to Deep Learning (Li Deng and Yang Liu)
Chapter 2: Deep Learning in Conversational Language Understanding (Gokhan Tur, Asli Celikyilmaz, Xiaodong He, Dilek Hakkani-Tür, and Li Deng)
Chapter 3: Deep Learning in Spoken and Text-based Dialogue Systems (Asli Celikyilmaz, Li Deng, and Dilek Hakkani-Tür)
Chapter 4: Deep Learning in Lexical Analysis and Parsing (Wanxiang Che and Yue Zhang)
Chapter 5: Deep Learning in Knowledge Graph (Zhiyuan Liu and Xianpei Han)
Chapter 6: Deep Learning in Machine Translation (Yang Liu and Jiajun Zhang)
Chapter 7: Deep Learning in Question Answering (Kang Liu and Yansong Feng)
Chapter 8: Deep Learning in Sentiment Analysis (Duyu Tang and Meishan Zhang)
Chapter 9: Deep Learning in Social Computing (Xin Zhao and Chenliang Li)
Chapter 10: Deep Learning in Natural Language Generation from Images (Xiaodong He and Li Deng)
Chapter 11: Epilogue (Li Deng and Yang Liu)
主編簡介
鄧力博士 （人工智慧科學家）
照片取自百度
鄧力，2017年5月至今任對沖基金公司 Citadel 首席人工智慧官（Chief Artificial-Intelligence Officer）。之前任微軟人工智慧首席科學家。鄧力在2009 年就同 Geoffrey Hinton 教授合作，首次提出並將深度神經網路應用到大規模語言識別中，顯著提高了機器對語音的識別率，極大推動了人機交互領域的發展與進步。目前，鄧力的研究方向主要為應用於大數據、語音、文本、圖像和多模態處理的深度學習和機器智能方法，以及人工智慧和深度學習在金融領域的應用。在語音、NLP、大數據分析、企業智能、互聯網搜索、機器智能、深度學習等領域，鄧力曾獲 70 多項美國或國際專利。同時，他還獲得過 IEEE、國際言語通訊協會、美國聲學協會、亞太信號與信息處理協會、微軟等組織授予的多項榮譽。2015 年，憑藉在深度學習與自動語音識別方向做出的傑出貢獻，鄧力獲 IEEE 技術成就獎。
劉洋博士
劉洋，清華大學計算機科學與技術系特別研究員、長聘副教授、博士生導師，國家優秀青年基金獲得者。研究方向是自然語言處理，在自然語言處理和人工智慧領域重要國際刊物Computational Linguistics和國際會議 ACL、EMNLP、IJCAI 和 AAAI上發表50餘篇論文，獲ACL 2017傑出論文和 ACL 2006優秀亞洲自然語言處理論文獎。承擔10餘項國家自然科學基金、國家重點研發計劃、國家863計劃、國家科技支撐計劃和國際合作項目，2015年獲國家自然科學基金優秀青年項目資助。獲得2015年國家科技進步二等獎、2014年中國電子學會科學技術獎科技進步類一等獎、2009年北京市科學技術獎二等獎和2014年中國中文信息學會錢偉長中文信息處理科學技術獎漢王青年創新獎一等獎等多項科技獎勵。擔任中國中文信息學會青年工作委員會主任兼計算語言學專業委員會秘書長、國際計算語言學學會 SIGHAN Information Officer、ACM TALLIP Associate Editor、ACL 2015組織委員會共同主席、ACL 2014講習班共同主席、ACL 2017/2018與 EMNLP 2016程序委員會機器翻譯領域共同主席。
精華預覽
深度學習 (Deep Learning) 是一個處理端到端學習和信息提煉所需的大量計算和數據的有力工具。因為深度學習具有更複雜的分散式表示、更精細的功能塊模塊化設計（如：層級注意力機制）和基於梯度的高效學習方法，它已經成為解決越來越多自然語言處理 Natural language processing (NLP) 問題的主要範式和先進方法。深度學習的新思路與 NLP ,存在著微妙的聯繫。首先，儘管符號處理在人類認知領域發展較晚，但它具有高效邏輯推理能力和易於解釋兩個特點，這在許多 NLP 應用領域均不可或缺。可微分編程使用類似於張量積的編碼方式實現神經網路和語言結構的統一表示，為複雜、靈活和動態的結構化神經網路帶來了高效的學習效率，這是符號處理和神經網路兩大領域的福音。其次，正如本書各章中所證實： NLP 模型的動態特性正在逐漸被大眾所接受。一方面， NLP 究對象的本質是語言和文字，它們本身就有維度變化大的特點，比如文檔、句子或辭彙的（輸入）長度及結構是動態變化的。另一方面，在支持動態變化的神經網路結構中，目前的深度學習框架已經可以實現可變維度的文本輸入。語言離散性的特點使它不能利用可微分編程實現端到端的學習，但通過一類基於模型逼近的鬆弛技術有望能夠解決這個難題，這為使用自然出現的語言數據來提升機器學習和 NLP 提供了更多的可能性。
在本書中我們匯總了大多數深度學習方法應用於 NLP 領域的最新進展（包括2017下半年的最新研究進展）。在此基礎上，我們拓展了關於 NLP 前沿研究領域的五個發展方向：
1. 自然語言重組的泛化
2. NLP 的無監督學習
3. NLP 的強化學習
4. NLP 的元學習
5. 基於深度學習的 NLP 系統的神經符號整合和可解釋性
近期有很多關於深度學習（尤其是 NLP 方面）拓展到更為通用領域的熱點話題，在全書的最後一部分，我們對此進行簡要概述。泛化的本質是將深度神經網路（如：參數化功能塊的計算圖表）從靜態轉為動態。這意味著泛化可以使由許多可微分模型組成的網路架構以數據相關的方式進行實時創建。正如本書很多章節中使用邏輯表達式、條件、賦值和循環等進行程序化編程，在可微分編程模型中，涉及到存儲、注意、堆棧、隊列和指針模塊的深度神經網路架構亦如此實現。實際上，當前的深度學習框架（如： PyTorch, TensorFlow, Chainer, MXNet, CNTK等）更要追求模型的靈活性，因為一旦高效的編譯器被開發出來，我們將需採用一個全新的軟體實現方式。以循環和條件判斷為主的傳統編程邏輯將被淘汰，取而代之的是由神經網路實現的參數化功能模塊的組裝圖表。其中的關鍵技術在於，基於模型的可微分性，使用高效的梯度優化方法，通過端到端的反向傳播學習從數據中自動訓練出組裝圖表中的所有參數，比如神經網路的權重以及定義網路非線性和存儲模塊的參數。
總之，我們相信在不久的將來，以廣義深度學習或可微分編程框架所創建的更加強大、更加靈活、更加先進的學習架構可以解決本書中所列舉的 NLP 前沿研究領域的遺留問題。不止於本書中所提及的研究成果，新的成就將會像雨後春筍般湧現，這一切都將會使我們越來越接近通用人工智慧實現的日子。那時， NLP 將會成為通用人工智慧的一個重要組成部分呈現在大家面前。
版權聲明
TAG:Springer |