英偉達發布全新推理軟體，開創互動式會話AI新時代

【獵雲網（微信：ilieyun）北京】12月18日報道

在今日GTC China 2019現場，英偉達發布了一款突破性的推理軟體，藉助於這款軟體，全球各地的開發者都可以實現會話式AI應用，大幅減少推理延遲。而此前，巨大的推理延遲一直都是實現真正互動式互動的一大阻礙。

NVIDIA TensorRT 7作為NVIDIA第七代推理軟體開發套件，為實現更加智能的AI人機交互打開了新大門，從而能夠實現與語音代理、聊天機器人和推薦引擎等應用進行實時互動。

據Juniper Research估計，全世界有32.5億個數字語音助理被應用於設備中。到2023年，該數字預計將達到80億，比當今全球人口總和還要多。

TensorRT 7內置新型深度學習編譯器。該編譯器能夠自動優化和加速遞歸神經網路與基於轉換器的神經網路。這些日益複雜的神經網路是AI語音應用所必需的。

與在CPU上運行時相比，會話式AI組件速度提高了10倍以上，從而將延遲降低到實時交互所需的300毫秒閾值以下。

NVIDIA創始人兼首席執行官黃仁勛在GTC China主題演講中表示：「我們已進入了一個機器可以實時理解人類語言的AI新時代。TensorRT 7使這成為可能，為世界各地的開發者提供工具，使他們能夠構建和部署更快、更智能的會話式AI服務，從而實現更自然的AI人機交互。」

全球一些最大、最具創新性的公司已在使用NVIDIA的會話式AI加速功能。

在首批使用NVIDIA會話式AI加速能力的企業中，包括了阿里巴巴、百度、滴滴出行、美團、快手、平安、搜狗、騰訊和位元組跳動等一些中國最具創新力的領先企業。

搜狗公司為全球使用頻率最高的手機應用程序——微信，提供搜索服務。

遞歸神經網路變得日益重要

TensorRT 7加快了AI模型的領域擴展。這些模型被用於預測使用遞歸循環結構（RNN）的時間序列、數據情景。除了用於會話式 AI語音網路之外，RNN還可以幫助規劃汽車或衛星到達時間、預測電子病歷中的異常情況預測金融資產和識別欺詐。

RNN配置和功能組合的爆炸式增長為快速部署可以滿足實時性能標準的生產代碼帶來了挑戰，使得開發者需要花費長達數月的時間創建手寫代碼優化，從而使得會話式AI僅局限於擁有必要專業人才的少數公司。

通過TensorRT的新型深度學習編譯器，全球各地的開發者能夠將這些網路（例如定製的自動語音識別網路以及用於文本-語音轉換的WaveRNN和Tacotron 2）實現自動化，並實現最佳的性能和最低的延遲。

新的編譯器還能優化基於transformer的模型，例如用於自然語言處理的BERT等。

從邊緣到雲，為推理提供加速

TensorRT 7可以快速優化、驗證並部署經過訓練的神經網路，為超大型數據中心、嵌入式或汽車GPU平台提供推理能力。

NVIDIA的推理平台，包括TensorRT以及多個NVIDIA CUDA-X AI 庫和NVIDIA GPU，不只能為會話式AI提供低延遲、高吞吐量的推理能力，也同樣能為包括圖像分類、欺詐識別、分割、目標檢測和推薦引擎在內的其它應用提供低延遲、高吞吐量的推理能力。

該平台的各項能力已被一些世界領先的企業和消費技術公司廣泛使用，其中包括阿里巴巴、美國運通（American Express）、百度、PayPal、Pinterest、Snap、騰訊和Twitter。

TensorRT 7 將在未來幾天內開放訪問，以用於開發和部署。NVIDIA開發者計劃成員可通過 TensorRT 網頁免費獲得TensorRT 7。此外，新版本插件、語法分析器和樣本也將作為開放資源，通過TensorRT GitHub 庫提供。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！