英偉達CEO黃仁勛在中國：AI推理方案的巨大推動力

至頂網伺服器頻道 09月27日 新聞消息：這周，英偉達公司的首席執行官黃仁勛（Jensen Huang）抵達北京並出席該公司的GPU技術大會（GTC），將英偉達全新AI推理平台「TensorRT3」作為此次會議的前沿與中心。

英偉達公司解釋稱，如今互聯網巨頭可謂無處不在，且均致力於讓AI支持型服務生成的數據量得到里程碑式發展，而這些服務具體包括圖像與語音識別、自然語言處理、視覺搜索以及個性化建議等等。另外，每家服務供應商都正在尋求快速、準確的AI推理方案，並試圖大幅度削減數據中心與雲服務基礎設施的實現成本。

英偉達公司正在推出TensorRT3與英偉達GPU的全新組合。據稱，該組合能夠「在一切架構中為AI支持型服務提供超快速與高效的推理解決方案。」

在本次GTC會議上，黃先生表示，目前中國頂尖的互聯網公司——阿里巴巴雲、百度以及騰訊——都在使用Tesla V100 GPU以升級自身數據中心與雲服務基礎設施。

英偉達公司首席執行官黃仁勛（圖片來源：英偉達）

英偉達公司補充稱，包括浪潮、聯想與華為等在內的中國領先OEM廠商也正在使用英偉達HGX參考架構為超大型數據中心提供基於Volta的加速系統。

然而，正如英偉達公司所發現，硬體本身並不足以幫助基於AI的服務供應商應對人工智慧推理中數據量的爆炸性增長。因此，目前英偉達公司正在推動其客戶採用TensorRT平台。

在本屆於北京召開的大會上，英偉達方面宣稱，目前阿里巴巴、百度、騰訊、京東與海康威視公司已經開始利用Nvidia TensorRT進行編程推理加速。

然而，根據運行英偉達公司加速計算的集團產品營銷經理Paresh Kharya的說法，迄今為止，京東是目前唯一已經使用TensorRT的公司。

為什麼選擇TensorRT？

Kharya表示，到目前為止，在眾多AI驅動型服務公司在選取經過訓練的神經網路架構（如TensorFlow與Caffee）時，還不得不通過「手動優化」進行調整並將其運行於特定GPU。Kharya在接受採訪時則強調稱：「TensorRT能夠填補其中的缺口。」

（來源：英偉達）

Kharya將TensorRT描述為「類似於編譯器」。 TensorRT允許服務供應商選取任何已經過訓練的深度學習架構，並選擇其希望使用的特定GPU。

英偉達公司認為，當今沒有任何一家公司能夠為AI應用程序的生產部署提供現成的「高性能優化的編譯器與運行時引擎」。

英偉達官方表示，由於TensorRT能夠從神經網路中獲取描述文件並將其編譯為可以在目標GPU上運行的格式， 故而TensorRT能夠快速「優化、驗證與部署受訓神經網路，藉此被引入超大型數據中心、嵌入式或車載GPU平台。」

鑒於這種情況，數據中心能否實現推理解決方案？或者，該推理過程應在邊緣位置進行？對此，英偉達方面回應稱，TensorRT在這兩種情況下都能使用。

TensorRT適用於多種目標GPU，從Jetson TX2（用於嵌入式應用，例如無人機）與Tesla V100（用於數據中心）到Tesla P4、Drive PX2（用於自動駕駛汽車）以及用於開源設計的英偉達深度學習加速器（DLA）等等皆受到支持。此外，晶元設計者還可以使用DLA的RTL，並在其SoC中放置張量處理單元，以便設計者進一步提升AI覆蓋範圍。

事實上，Kharya代表英偉達公司表示：「我們已經從自動駕駛汽車的研發經驗中積累到了豐富的推理過程運作相關資料」。簡而言是，為了避免延遲效應，推理過程必須於車內而非在數據中心內進行。

英偉達TensorRT 3 AI推理平台（來源：英偉達公司）

Kharya解釋稱， 採用TensorRT將確保GPU以多層及跨流方式執行，這意味著數據中心能夠有效並行處理多種請求。除此之外，TensorRT還具備其它功能，具體包括權重與活化精度校準、層與張量融合以及內核自動調節等。

在此次公告中，京東公司AI與大數據高級總監Andy Chen表示：「京東公司在數據中心的推理進程方面依賴於英偉達公司的GPU及其軟體。」 Andy Chen進一步解釋稱：「在Tesla GPU上運行英偉達的TensorRT，我們可以同時對1000條高清視頻流進行實時推理，並且伺服器數量需求僅為原先的二十分之一。」

AI驅動型服務成本依舊高昂

Kharya表示，隨著機器學習「越來越接近人類的級別」，更多的消費者選擇使用基於AI的服務，具體包括自然語言處理、視覺搜索與個性化建議等。

然而，由於AI需求的萌發對服務提供商在其數據中心內處理大量推理進程的能力要求愈發嚴格，所以新的危機也同樣不容忽視。

Kharya表示，中國訊飛公司佔有國內AI語音識別市場70%的總體份額，其所提供服務的應用範圍從智能玩具到移動通信皆有涵蓋。每天都有5億用戶在使用訊飛公司提供的服務。Kharya解釋道：「假設每個用戶每天投入15分鐘用於語音交流，那麼如此龐大的數據將要求訊飛花費10億美元以構建數據中心。」

然後，憑藉TensorRT提供的精確8位整數數據（INT8）與16位浮點數據（FP16）網路執行方案，英偉達聲稱該方案可以「為數據中心運營商節省數千萬美元的採購費用與年能源消耗成本。」開發人員通過採用TensorRT以獲取「經過訓練的神經網路，並且在短短一天的時間內，就可以創建出一套比原有訓練架構快3-5倍的推理解決方案。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！