Facebook 開源 PyText：用於構建自然語言系統的框架

Facebook公司希望幫助開發人員更輕鬆地構建和部署基於AI的自然語言處理（NLP）系統。

為此，今天它開源了一種名為PyText的新NLP建模框架，聲稱該框架有助於彌補試驗這種系統與在生產環境下安裝並運行起來之間的差距。

Facebook的開發團隊在一篇博文中表示，PyText之所以很有用，是由於構建NLP系統所必需的神經網路歷來一直讓人很頭痛，那是由於要在針對實驗環境優化的框架與針對生產環境優化的框架之間作一番權衡和取捨。

構建NLP系統通常需要對幾十個AI模型進行全面廣泛的訓練和測試。這番訓練和測試主要在「面向研究的框架」上開展，Facebook表示這類框架很出色，因為它們提供了簡單的介面，可加快構建這些模型的速度。

但是研究型框架並不是很適合在生產環境中運行NLP系統，因為這種系統使用的模型飽受延遲變長和內存使用增加之苦。Facebook表示，現有的生產級框架可以解決這些問題，但它們顯然難以創建文本序列的動態表示，對於任何可靠的NLP系統來說這又是必不可少的一環。

這就是為什麼Facebook決定創建並開源PyText，這是一種基於其開源PyTorch深度學習框架而建的軟體庫。

Facebook表示，PyText旨在滿足NLP建模的特定要求，為此它提供了一套簡化的工作流程以便更快地實驗。它還讓開發人員可以訪問眾多預構建的模型架構，以及用於文本處理和辭彙管理的工具。最後，它還允許訪問更廣泛的PyTorch生態系統，該生態系統擁有自己的面向NLP系統的工具和模型。

該公司表示，有了PyText，就可以試驗NLP系統並將它們部署到生產環境中，以執行諸如文檔分類、多任務建模、語義分析和序列標記之類的任務。

Facebook的工程團隊寫道：「我們Facebook使用該框架，在短短几天內（而不是幾周乃至幾個月）讓NLP模型由構思階段進入到完全實現的階段，並部署了依賴多任務學習的複雜模型。」

Constellation研究公司的分析師霍爾格?米勒（Holger Mueller）表示，很高興看到這種類型的框架方面出現更激烈的競爭，因為自然語言處理對於下一代軟體應用而言至關重要。

米勒說：「只有藉助切實可用的NLP模型，作為新型用戶界面（UI）的語音才有成功的機會，而框架之間的競爭至關重要，有助於促進功能的進步，並為企業高層們在如何為下一代應用構建AI模型方面提供選擇。與所有新產品一樣，小心謹慎和大膽驗證是頭幾個月的重要建議，但開源這個框架會吸引更多的人關注了解代碼，進而有助於對該框架樹立起更大的信心。」

Facebook已經在內部使用PyText，改進它自己的一些產品的NLP功能，包括Messenger和新型Portal視頻呼叫設備中的M建議功能。

該團隊寫道：「由於Portal、Messenger和另外許多使用場合，我們需要實時運行模型以便快速響應。我們還需要能夠大規模高效運行的NLP系統。PyText讓Facebook工程師們更容易將高級的實時NLP部署到講眾多不同語言的數十億人使用的系統中。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！