TensorFlow Lite發布重大更新！支持移動GPU、推斷速度提升4-6倍

乾明 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

TensorFlow用於移動設備的框架TensorFlow Lite發布重大更新，支持開發者使用手機等移動設備的GPU來提高模型推斷速度。

在進行人臉輪廓檢測的推斷速度上，與之前使用CPU相比，使用新的GPU後端有不小的提升。在Pixel 3和三星S9上，提升程度大概為4倍，在iPhone 7上有大約有6倍。

為什麼要支持GPU？

眾所周知，使用計算密集的機器學習模型進行推斷需要大量的資源。

但是移動設備的處理能力和功率都有限。雖然TensorFlow Lite提供了不少的加速途徑，比如將機器學習模型轉換成定點模型，但總是會在模型的性能或精度上做出讓步。

而將GPU作為加速原始浮點模型的一種選擇，不會增加量化的額外複雜性和潛在的精度損失。

在谷歌內部，幾個月來一直在產品中使用GPU後端做測試。結果證明，的確可以加快複雜網路的推斷速度。

在Pixel 3的人像模式（Portrait mode）中，與使用CPU相比，使用GPU的Tensorflow Lite，用於摳圖/背景虛化的前景-背景分隔模型加速了4倍以上。新深度估計（depth estimation）模型加速了10倍以上。

在能夠為視頻增加文字、濾鏡等特效的YouTube Stories和谷歌的相機AR功能Playground Stickers中，實時視頻分割模型在各種手機上的速度提高了5-10倍。

對於不同的深度神經網路模型，使用新GPU後端，通常比浮點CPU快2-7倍。對4個公開模型和2個谷歌內部模型進行基準測試的效果如下：

使用GPU加速，對於更複雜的神經網路模型最為重要，比如密集的預測/分割或分類任務。

在相對較小的模型上，加速的效果就沒有那麼明顯了，使用CPU反而有利於避免內存傳輸中固有的延遲成本。

如何使用？

安卓設備（用Java）中，谷歌已經發布了完整的Android Archive (AAR) ，其中包括帶有GPU後端的TensorFlow Lite。

你可以編輯Gradle文件，用AAR替代當前的版本，並將下面的代碼片段，添加到Java初始化代碼中。

在iOS設備（用C ）中，要先下載二進位版本的TensorFlow Lite。

然後更改代碼，在創建模型後調用ModifyGraphWithDelegate ( )。

（更多的使用教程，可以參見TensorFlow的官方教程，傳送門在文末）

還在發展中

當前發布的，只是TensorFlow Lite的開發者預覽版。

新的GPU後端，在安卓設備上利用的是OpenGL ES 3.1 Compute Shaders，在iOS上利用的是Metal Compute Shaders。

能夠支持的GPU操作並不多。有：

ADD v1、AVERAGE_POOL_2D v1、CONCATENATION v1、CONV_2D v1、DEPTHWISE_CONV_2D v1-2、FULLY_CONNECTED v1、LOGISTIC v1

MAX_POOL_2D v1、MUL v1、PAD v1、PRELU v1、RELU v1、RELU6 v1、RESHAPE v1、RESIZE_BILINEAR v1、SOFTMAX v1、STRIDED_SLICE v1、SUB v1、TRANSPOSE_CONV v1

TensorFlow官方表示，未來將會擴大操作範圍、進一步優化性能、發展並最終確定API。

完整的開源版本，將會在2019年晚些時候發布。

傳送門

使用教程：

https://www.tensorflow.org/lite/performance/gpu

項目完整文檔：

https://www.tensorflow.org/lite/performance/gpu_advanced

博客地址：

https://medium.com/tensorflow/tensorflow-lite-now-faster-with-mobile-gpus-developer-preview-e15797e6dee7

—完—

請投「量子位」一票

加入社群

量子位AI社群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字「專業群」，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡就點「好看」吧 !

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！