DeepMind與牛津聯合授課並開放全部學習資料

GIF/1.7M

圖：pixabay

原文來源：GitHub

作者：Phil Blunsom（牛津大學計算機科學系副教授）等人

「機器人圈」編譯：嗯~阿童木呀、多啦A亮

說明：該文章包含牛津大學2017春季提供的關於深度自然語言處理課程的幻燈片和課程說明。

這是一門關於自然語言處理的高級課程。自動處理自然語言輸入和產生語言輸出是通用人工智慧的關鍵組成部分。人類傳播中固有的模糊性和噪音使得傳統的符號AI技術無法表示和分析語言數據。最近基於神經網路的統計技術在自然語言處理方面取得了一系列顯著的成功，在很大程度上引起了學界和學術界對此領域的濃厚興趣。

這是一門應用課程，側重於使用循環神經網路分析並生成語言和文本的最新進展。我們會介紹相關機器學習模型的數學定義，並推導出相關的優化演算法。該課程涵蓋了神經網路在NLP中的一系列應用，包括分析文本中的潛在維度，將語音轉錄為文本，語言翻譯和問題問答。這些主題分為三個高級主題，使其成為一個過程，從理解用於序列語言建模的神經網路的使用，到了解它們作為用於轉導任務的條件語言模型的用途，最後是將這些技術與其他機制相結合形成的高級應用的方法。在整個課程中，還討論了在CPU和GPU硬體上這些模型的實際實現。

本課程由Phil Blunsom主講，並與DeepMind自然語言研究小組有著緊密合作。

講師

?Phil Blunsom（牛津大學和DeepMind）

?克里斯?戴爾（卡內基梅隆大學和DeepMind）

?Edward Grefenstette（DeepMind）

?卡爾?莫里茨?赫爾曼（DeepMind）

?Andrew Senior（DeepMind）

?Wang Ling（DeepMind）

?Jeremy Appleyard（英偉達）

助教

?Yannis Assael

?Yishu Miao

?布倫丹?希林福德

?Jan Buys

時間表

實習

第1組：周一，9：00-11：00（第2-8周）

第2組：周五，16：00-18：00（第2-8周）

實踐1：word2vec

實踐2：文本分類

實踐3：用於文本分類和語言建模的循環神經網路

實踐4：自由實踐

講座

公開講座在星期二和星期四（除了第八周），16：00-18：00（Hilary Term周末1,3-8）在數學研究所的演講廳1號廳舉行。

講座材料

1.講座1a——介紹[Phil Blunsom]

本講座介紹課程，並強調了深度學習技術來學習語言處理的樂趣所在。

[幻燈片]

（https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%201a%20-%20Introduction.pdf）

[視頻]

（http://101.96.8.164/media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_1b_friends.mp4）

2.講座1b——深神經網路是我們的朋友[Wang Ling]

該講座修正了學生在開始本課程之前應該了解的基本機器學習概念。

[幻燈片]

（http://101.96.8.164/media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_1b_friends.mp4）

[視頻]

3.講座2a——詞級語義學[Ed Grefenstette]

辭彙在語言中有著核心意義，表示和學習辭彙的意義是NLP中的一項基本任務，在本講座中，引入將單詞嵌入的概念使其作為一個實踐和可擴展的解決方案。

[幻燈片]

（https://github.com/oxford-cs-deepnlp2017/lectures/blob/master/Lecture%202a-%20Word%20Level%20Semantics.pdf）

[視頻]

（http://101.96.8.164/media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_2a_lexical_semantics.mp4）

閱讀

嵌入基礎知識

?Firth，John R《語言學理論的概要，1930-1955》（1957）：1-32。（http://annabellelukin.edublogs.org/files/2013/08/Firth-JR-1962-A-Synopsis-of-Linguistic-Theory-wfihi5.pdf）

?Curran， James Richard《從分布到語義相似》（2004年）。

（https://www.era.lib.ed.ac.uk/bitstream/handle/1842/563/IP030023.pdf?sequence=2&isAllowed=y）

?Collobert，Ronan等人《自然語言處理（幾乎）從零開始》機器學習研究學報12. Aug（2011）：2493-2537。

（http://www.jmlr.org/papers/volume12/collobert11a/collobert11a.pdf）

?Mikolov，Tomas等人《單詞、短語及其組合的分散式表達》。神經信息處理系統的進展， 2013。

（http://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf）

數據集和可視化

?Finkelstein， Lev等人《在情境中搜索：概念的重新審視》，第十屆萬維網國際會議論文集。 ACM，2001。

（https://www.tugraz.at/institute/isds/thesis/cguetl_diss/literatur/Kapitel07/References/Finkelstein_et_al._2002/p116-finkelstein.pdf）

?Hill，Felix，Roi Reichart和Anna Korhonen《Simlex-999：用（真實的）相似度估計來評估語義模型》，計算語言學（2016）。

（http://www.aclweb.org/website/old_anthology/J/J15/J15-4004.pdf）

?Maaten，Laurens van der和Geoffrey Hinton《使用t-SNE可視化數據》，機器學習研究雜誌9.Nov（2008）：2579-2605。

（http://www.jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf）

博客帖子

?深度學習，NLP和表徵，Christopher Olah。

（http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/）

?在Javascript，使用t-SNE來可視化頂部Tweep，Andrej Karpathy

（http://karpathy.github.io/2014/07/02/visualizing-top-tweeps-with-t-sne-in-Javascript/）

進一步閱讀

?Hermann，Karl Moritz和Phil Blunsom《用於組合分散式語義的多語言模型》，arXiv preprint arXiv：1404.4641（2014）。

（https://arxiv.org/pdf/1404.4641.pdf）

?Levy，Omer和Yoav Goldberg。 《神經元辭彙嵌入作為隱式矩陣分解》，神經信息處理系統的進展，2014年。

（http://101.96.8.165/u.cs.biu.ac.il/~nlp/wp-content/uploads/Neural-Word-Embeddings-as-Implicit-Matrix-Factorization-NIPS-2014.pdf）

?Levy，Omer，Yoav Goldberg和Ido Dagan《通過辭彙嵌入的經驗教訓改進分布相似性》，計算語言學協會3（2015）：211-225。

（https://www.transacl.org/ojs/index.php/tacl/article/view/570/124）

?Ling和Wang等人《用於語法問題的Word2Vec的兩個/太簡單的應用》，HLT-NAACL，2015年。

（https://www.aclweb.org/anthology/N/N15/N15-1142.pdf）

4.講座2b——實踐概述[Chris Dyer]

這個講座強調的是該課程的實踐部分。

[幻燈片]

（https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%202b%20-%20Overview%20of%20the%20Practicals.pdf）

[視頻]

（http://101.96.8.164/media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_2b_practicals.mp4）

5.講座3——語言建模和RNN第1部分[Phil Blunsom]

語言建模是許多NLP應用程序中非常實用的重要任務。本講座介紹了語言建模，包括傳統的基於n-gram的方法和更多的當代神經學方法。特別引入流行的循環神經網路（RNN）語言模型，並描述其基本的訓練和評估演算法。

[幻燈片]

（https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%203%20-%20Language%20Modelling%20and%20RNNs%20Part%201.pdf）

[視頻]

（http://101.96.8.165/media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_3_modelling_1.mp4）

閱讀

教科書

?深度學習，第10章（http://www.deeplearningbook.org/contents/rnn.html）

博客

?《循環神經網路的不合理有效性》，Andrej Karpathy。

（http://karpathy.github.io/2015/05/21/rnn-effectiveness/）

?《字元級語言模型的不合理有效性》，Yoav Goldberg。

?《解釋和說明循環神經網路的正交初始化》，Stephen Merity。

（http://smerity.com/articles/2016/orthogonal_init.html）

6.講座4 ——語言建模和RNN第2部分[Phil Blunsom]

本演講是對上一講的繼續補充，並考慮了產生一個有效實施RNN語言模型所涉及的一些問題。描述了梯度消失和爆炸的相關問題，並介紹了諸如長短期記憶網路（LSTM）的架構解決方案。

[幻燈片]

（https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%204%20-%20Language%20Modelling%20and%20RNNs%20Part%202.pdf）

[視頻]

（http://101.96.8.164/media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_4_modelling_2.mp4）

閱讀

教科書

?深度學習，第10章（http://www.deeplearningbook.org/contents/rnn.html）

消失梯度，LSTM等

?《關於訓練循環神經網路的難點》Pascanu等人，ICML 2013。

（http://101.96.8.165/jmlr.csail.mit.edu/proceedings/papers/v28/pascanu13.pdf）

?《長短期記憶網路》Hochreiter和Schmidhuber，Neural Computation 1997。

?《用於統計機器翻譯的使用RNN編碼器的學習短語表徵》，Cho等人，EMNLP 2014。

（https://arxiv.org/abs/1406.1078）

?博客：理解LSTM網路，Christopher Olah。

（http://colah.github.io/posts/2015-08-Understanding-LSTMs/）

處理大辭彙

?《可擴展的分層分散式語言模型》，Mnih和Hinton，NIPS 2009。

（https://papers.nips.cc/paper/3583-a-scalable-hierarchical-distributed-language-model.pdf）

?《一種用於訓練神經概率語言模型的快速簡單演算法》，Mnih和Teh，ICML 2012。

（https://www.cs.toronto.edu/~amnih/papers/ncelm.pdf）

?《使用非常大的目標辭彙來進行神經機器翻譯》，Jean 等人，ACL 2015。

（http://www.aclweb.org/anthology/P15-1001）

?《探索語言模型的極限》，Jozefowicz等人，arXiv 2016。

（https://arxiv.org/abs/1602.02410）

?《GPU的高效softmax近似》，Grave等人，arXiv 2016。

（https://arxiv.org/abs/1609.04309）

?《在雜訊對比估計和負採樣中的注意事項》，Dyer，arXiv 2014。

（https://arxiv.org/abs/1410.8251）

?《機器翻譯中的語用神經語言建模》，Baltescu and Blunsom,，NAACL 2015

（http://www.aclweb.org/anthology/N15-1083）

正則化和dropout

?《dropout在循環神經網路中的理論基礎應用》，Gal和Ghahramani，NIPS 2016。

（https://arxiv.org/abs/1512.05287）

?博客：深度學習中的不確定性，Yarin Gal。

（http://mlg.eng.cam.ac.uk/yarin/blog_2248.html）

其他相關知識

?《循環 Highway Networks》 Zilly 等人，arXiv 2016。

（https://arxiv.org/abs/1607.03474）

?《循環神經網路的能力和可訓練性》Collins等人，arXiv 2016。

（https://arxiv.org/abs/1611.09913）

7.講座5 ——文本分類[Karl Moritz Hermann]

本節課討論了文本分類，從基本的分類器（如樸素貝葉斯分類器）開始，然後慢慢延伸到RNN和卷積網路。

[幻燈片]

（https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%205%20-%20Text%20Classification.pdf）

[視頻]

（http://101.96.8.164/media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_5_text_classification.mp4）

閱讀

?《用於文本分類的循環卷積神經網路》，Lai等人，AAAI 2015。

（http://www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/download/9745/9552）

?《一個用於句子建模的卷積神經網路》，Kalchbrenner等人，ACL 2014。

（http://www.aclweb.org/anthology/P14-1062）

?《通過遞歸矩陣向量的語義組合》，Socher等EMNLP 2012。

（https://nlp.stanford.edu/pubs/SocherHuvalManningNg_EMNLP2012.pdf）

?博客：了解用於卷積神經網路，Denny Britz。

（http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp/）

?論文：組成語義學的分散式表徵，Hermann（2014）。

（https://arxiv.org/abs/1411.3146）

8、第6講——基於Nvidia GPU的深度NLP [Jeremy Appleyard]

本講座介紹了圖形處理單元（GPU）作為一種替代CPU執行的深度學習演算法。討論GPU的優缺點以及了解內存帶寬和計算對RNN的吞吐量的影響的重要性。

[幻燈片]

https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%206%20-%20Nvidia%20RNNs%20and%20GPUs.pdf

[視頻]

http://media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_6_nvidia_gpus.mp4

閱讀

優化GPU上循環神經網路的性能 Appleyard等人，arXiv 2016。

（https://arxiv.org/abs/1604.01946）

Persistent RNN：基於晶元儲藏循環權重Diamos等人，ICML 2016

（http://jmlr.org/proceedings/papers/v48/diamos16.pdf）

GPU的高效softmax近似 Grave等人，arXiv 2016

https://arxiv.org/abs/1609.04309

9、講座7 ——條件語言模型[Chris Dyer]

在本講座中，我們將語言建模的概念擴展到先前的信息中。通過調整輸入表示上的RNN語言模型，我們可以生成與內容相關的語言。這個很通用的方法，可以應用於將序列轉換成用於任務的新序列，例如翻譯和總結，或將圖像轉換成描述其內容的字幕。

[幻燈片]

https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%207%20-%20Conditional%20Language%20Modeling.pdf

[視頻]

http://media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_7_conditional_lang_mod.mp4

閱讀

循環連續翻譯模型 Kalchbrenner和Blunsom，EMNLP 2013

http://anthology.aclweb.org/D/D13/D13-1176.pdf

序列學習與神經網路 Sutskever等，NIPS 2014

https://arxiv.org/abs/1409.3215

多模態神經語言模型 Kiros等，ICML 2014

http://www.cs.toronto.edu/~rkiros/papers/mnlm2014.pdf

顯示和講述：神經圖像字幕生成器 Vinyals等人，CVPR 2015

https://arxiv.org/abs/1411.4555

10、講座8——注意力生成語言[Chris Dyer]

本講座介紹了深度神經網路中最重要和最有影響力的機制之一：注意力機制。注意力增強了能夠對輸入的特定部分進行調整的循環網路，並且是在機器翻譯和圖像字幕等任務中實現高性能的關鍵。

[幻燈片]

https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%208%20-%20Conditional%20Language%20Modeling%20with%20Attention.pdf

[視頻]

http://media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_8_conditional_lang_mod_att.mp4

閱讀

通過聯合學習以對準並翻譯的神經機器翻譯。Bahdanau等人，ICLR 2015

https://arxiv.org/abs/1409.0473

顯示，參與和講述：視覺注意力的神經圖像字幕生成。 Xu et 等人，ICML 2015

https://arxiv.org/pdf/1502.03044.pdf

將結構對準偏差納入注意力神經翻譯模型。 Cohn等人，NAACL 2016

http://www.aclweb.org/anthology/N16-1102

BLEU：機器翻譯自動評估方法。 Papineni等人，ACL 2002

http://www.aclweb.org/anthology/P02-1040.pdf

11、講座9——語音識別（ASR）[Andrew Senior]

自動語音識別（ASR）是將口語的原始音頻信號轉換為文本記錄的任務。這個講座涵蓋了ASR模型的歷史，從高斯混合到注意力增強RNN，語音的基本語言學以及經常使用的各種輸入和輸出表示。

[幻燈片]

https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%209%20-%20Speech%20Recognition.pdf

[視頻]

http://media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_9_speech_recognition.mp4

12、講座10——從文本到語音（TTS）[Andrew Senior]

本講座介紹了將書面語言轉換成口語（文本到語言）的演算法。TTS是ASR的逆向過程，但在應用的模型中有一些重要的區別。在這裡，我們回顧傳統的TTS模型，然後更多地介紹最近的神經元方法，如DeepMind的WaveNet模型。

[幻燈片]

https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%2010%20-%20Text%20to%20Speech.pdf

[視頻]

http://media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_10_text_speech.mp4

13、講座11——問答[Karl Moritz Hermann]

[幻燈片]

https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%2011%20-%20Question%20Answering.pdf

[視頻]

http://media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_11_question_answering.mp4

閱讀

教機器去閱讀並理解Hermann等人，NIPS 2015

http://papers.nips.cc/paper/5945-teaching-machines-to-read-and-comprehend

回答句選擇的深度學習Yu et等人，NIPS Deep Learning Workshop 2014

https://arxiv.org/abs/1412.1632

14、講座12——記憶[Ed Grefenstette]

[幻燈片]

https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%2012-%20Memory%20Lecture.pdf

[視頻]

http://media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_12_memory.mp4

閱讀

使用具有動態外部記憶的神經網路的混合計算。Graves et al., Nature 2016

http://www.nature.com/nature/journal/v538/n7626/abs/nature20101.html

具有神經注意力的蘊涵推理過程。 Rockt?schel等人，ICLR 2016

https://arxiv.org/abs/1509.06664

學習無界記憶轉化 Grefenstette等，NIPS 2015

http://papers.nips.cc/paper/5648-learning-to-transduce-with-unbounded-memory

端到端記憶網路 Sukhbaatar等，NIPS 2015

https://arxiv.org/abs/1503.08895

14、講座13——神經網路的語言知識

(幻燈片)

https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture%2013%20-%20Linguistics.pdf

(視頻)

http://media.podcasts.ox.ac.uk/comlab/deep_learning_NLP/2017-01_deep_NLP_13_linguistic_knowledge_neural.mp4

Piazza

我們將在課堂中使用Piazza以此促進課堂討論。而不是直接通過電子郵件發送問題，我鼓勵你在Piazza上發布你的問題，由同學、導師和講師來回答。但請注意，本課程的所有講師都自願花費時間參加，並不總是能夠及時回復。

查找我們的課程頁面：https：//piazza.com/ox.ac.uk/winter2017/dnlpht2017/home

評估

本課程的初步評估作業將在學期結束後發布。這項作業所問的問題可以借鑒課程中討論的概念和模型，以及選定的研究出版物。問題的性質將包括分析模型的數學描述，並提出對這些模型的擴展、改進或評估。該作業還可能要求學生閱讀特定的研究出版物，並在課程背景下討論他們提出的演算法。在回答問題時，要求學生既要提出連貫的書面論證，也要使用適當的數學公式，並可能使用偽代碼來說明答案。

課程的實踐部分將以常見的方式進行評估。

致謝

如果沒有DeepMind、牛津大學計算機科學系、Nvidia大學的支持以及來自Microsoft Azure的GPU資源的慷慨捐贈，這個課程是不可能實現的。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！