GitHub獲贊過千：PyTorch 自然語言處理項目Top 5

新智元推薦

來源：專知

作者：Huaiwen

【新智元導讀】Github 上有許多成熟的 PyTorch NLP 代碼和模型， 可以直接用於科研和工程中。本文介紹其中一下 Star 過千的時下熱點項目。

AllenNLP 2504 Star

AllenNLP，是AI2公司家的開源項目，致力於成為 PyTorch 下 NLP 演算法研究和實現的全能平台。AllenNLP 的設計理念是: 模塊化和輕量級。它將 NLP中個各種需求進行了非常好的封裝，包括：padding, masking 等等。特別的，AllenNLP 對實驗非常友好，實驗流程和參數有Json文件配置，並行、重現完全不是問題，而且每一步都有豐富的 log 記錄你想記錄的一切。

AllenNLP 自身實現了包括：命名實體識別、語義角色標註、閱讀理解在內的多種常用演算法。AllenNLP是由艾倫人工智慧研究所(Allen Institute for Artificial Intelligence)與華盛頓大學(University of Washington)和其他機構的研究人員密切合作建立和維護的。

DrQA 2374 Star

https://github.com/facebookresearch/DrQA

DrQA 是 facebook 開源的開放式閱讀理解智能問答演算法。原論文發布在 ACL2016上， 名字是：Reading Wikipedia to Answer Open-Domain Questions

鏈接：

http://www.zhuanzhi.ai/paper/ec2483da392a7e054eeb0f0a58d3ddee。

DrQA是一個用於閱讀理解的系統，適用於開放領域的問答。特別是，DrQA致力於解決大規模機器閱讀理解。在這種情況下，演算法在一個非常大的非結構化文檔語料庫中尋找問題的答案。因此，系統必須將文檔檢索(查找相關文檔)與文本的機器理解(識別來自這些文檔的答案)結合起來。

faieseq 1711 Star

fairseq是facebook 開源的一個序列建模工具包，而並不是單純的某個模型的實現。

它允許研究人員和開發人員為機器翻譯、自動摘要、語言模型和其他文本生成任務訓練自定義模型。它提供了各種Seq2seq 的模型的實現，包括:

• Convolutional Neural Networks (CNN)

• Dauphin et al. (2017): Language Modeling with Gated Convolutional Networks

• Gehring et al. (2017): Convolutional Sequence to Sequence Learning

• NewEdunov et al. (2018): Classical Structured Prediction Losses for Sequence to Sequence Learning

• NewFan et al. (2018): Hierarchical Neural Story Generation

• Long Short-Term Memory (LSTM) networks

• Luong et al. (2015): Effective Approaches to Attention-based Neural Machine Translation

• Wiseman and Rush (2016): Sequence-to-Sequence Learning as Beam-Search Optimization

• Transformer (self-attention) networks

• Vaswani et al. (2017): Attention Is All You Need

• NewOtt et al. (2018): Scaling Neural Machine Translation

OpenNMT-py 1558 Star

OpenNMT 全稱是Open Source Neural Machine Translation in PyTorch (PyTorch 開源神經翻譯模型)， 致力於研究促進新idea 在神經翻譯，自動摘要，看圖說話，語言形態學和許多其他領域的發展。

作為自動翻譯的平台型項目， OpenNMT 當然也支持各種文本數據預處理，包括各種 RNN 單元，各種 attention機制，花式日誌，語音轉文本，看圖說話等等。

DeepNLP-models-Pytorch 1256 Star

【加入社群】

新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號: aiera2015_3入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！