學習時間！2019斯坦福CS224n、CMU NLP公開課視頻開放啦

機器之心報道

參與：思源

2019 年，自然語言處理公開課開始學了～

你知道入門自然語言處理（NLP）的「標配」公開課 CS224n 么，它和計算機視覺方面的課程 CS231n 堪稱絕配，它們都是斯坦福的公開課。但是自 2017 年以來，NLP 有了很多重大的變化，包括 Transformer 和預訓練語言模型等。以前開放的是 17 年年初的課程，很多激動人心的前沿模型都沒有介紹，而最近 CS224n 終於開始更新 19 年課程的視頻。

與此同時，CMU 的 NLP 公開課 CS 11-747 也一直在更新今年的授課視頻，它同樣介紹了近來 NLP 的主要發展。目前 CS 11-747 已經更新了 14 個課時，從詞嵌入、注意力機制到強化學習都有涉及。

以下展示了這兩項 NLP 公開課的資源地址，愛可可老師將視頻和字幕都上傳到了 B 站。

CS224n：

課程主頁：http://web.stanford.edu/class/cs224n/index.html

YouTube：https://www.youtube.com/playlist?list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z

Bilibili：https://www.bilibili.com/video/av46216519/

CS 11-747：

課程主頁：http://phontron.com/class/nn4nlp2019/

YouTube：https://www.youtube.com/playlist?list=PL8PYTP1V4I8Ajj7sY6sdtmjgkt7eo2VMs

Bilibili：https://www.bilibili.com/video/av40929856/

斯坦福 NLP 公開課

CS224n 是一門關於自然語言處理的專項課程，雖然有很多公開課都會涉及循環神經網路或語言建模等內容，但很少如它那樣會系統地介紹自然語言處理任務。包括詞嵌入、依存關係解析、神經機器翻譯、語音識別和語義消歧等。此外在 19 年的新課程中，它還會重點介紹最近非常流行的 Transformer 和預訓練表徵，這些系統化的新內容真的很令人期待。

CS224n 的主講教師為 Christopher Manning 與 Abigail See，其中 Manning 為斯坦福的機器學習教授，Abigail 為斯坦福的博士生。在 17 年的課程中，CS224n 採用的是 TensorFlow，今年則採用更加簡潔的 PyTorch。不過今年並沒有專門介紹 PyTorch 的課時，所以還需要讀者預先學習 PyTorch。

CS224n 的課程筆記、PPT 資料以及作業都可以在主頁上獲取，目前 19 年課程就差最後的「NLP 未來發展」以及課程設計就完成了。課程視頻目前發布了前 5 個，後面還會繼續發布。因為這些視頻需要手動製作並校對字幕，而不是直接利用 YouTube 自動生成字幕，所以放出來的速度可能不會太快。

如下所示，前幾課主要介紹了詞嵌入和數學基礎，其中我們會發現傳統詞嵌入引入了很多新觀點。例如 NeurIPS 2018 的高分論文 On the Dimensionality of Word Embedding，其提出了一個理解詞嵌入維度的理論框架，從而學習合理的詞嵌入維度。

CMU NLP 公開課

該課程先簡單地概覽了深度神經網路，隨後課程主體將介紹如何把神經網路用於各種 NLP 任務。每一部分都會介紹自然語言中的特定問題與現象，並描述這些問題的難點與一些優秀的解決方案。在整個課程中，我們將學到創建深度學習模型的各種技術，包括建模不同長度和結構的句子、處理大型自然語言數據、半監督和無監督學習、結構化預測和多語言建模等等。

CS 11-747 的授課老師主要有 Graham Neubig 和 Antonios Anastasopoulos，其中 Graham 是卡內基梅隆大學的教授，Antonios 是 CMU NeuLab 的博士後。19 年新課主要增了 ELMo/BERT 上下文詞表示、模型可解釋性等內容，同時還會提供 PyTorch/DyNet 代碼示例。

目前該課程已經發布了 14 個視頻，它要到 4 月 30 號才結課。已完成章節的 PPT、示例代碼和補充資料都可以在主頁上找到，視頻也在同步更新。因為拍攝的課程視頻使用自動字幕，所以視頻的更新速度非常快。但是更新快也會有局限，有一些視頻拍攝的不夠精細，黑板上寫的東西看不清，且代碼展示與講解有時候會被 PPT 遮擋。

最後，這兩個課程各有優勢，一起學習效果更佳～

本文為機器之心報道，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！