李沐：如何看待谷歌既可以做 Inference，又可以做 Training 的新一代 TPU？

1 新智元推薦

來源： 知乎 李沐授權轉載

谷歌此前召開的I/O大會上公布了其傳聞已久的定製專用集成電路「Tensor Processing Unit」（TPU），TPU 專為谷歌深度學習平台 TensorFlow 打造。谷歌表示已在公司內部使用 TPU 超過一年。這一消息進一步印證了面向機器學習專用的處理器是晶元行業的發展趨勢，而且企業尤其是使用人工智慧技術的大企業對「專用晶元」的需求可能比晶元製造廠商預計得還要深。

谷歌基礎設施副總裁 Urs Holzle 在 I/O 發布會上告訴記者，過去一年中，谷歌在公司數據中心部署了「上萬個」TPU，但沒有透露確切的數字。

以下是MxNet的創造者、後加入AWS的李沐對谷歌TPU的一些看法

【李沐】老實說看了新聞後覺得很震撼。雖然目前細節不多，但即使在宣稱的數字上打個比較大的折扣，如果成本控制不錯的話，大量在雲上部署能夠極大降低深度學習成本。

舉個例子，假設實測比Nvidia Volta慢2倍，就是說一塊Volta（120 TFLOPS）抵5塊TPU2（45*5 TFLOPS)。假設TPU2 per die做到200刀一片，考慮到volta每塊一萬刀（估計）的價格，TPU2仍然有十倍受益。這個數字跟Nvidia伺服器卡80+%利潤率比較一致。

因為不是很懂體系架構，以下評論可能很不準確。

對TPU2覺得震撼主要是因為第一代中規中矩，本來以為第二代是進一步降低成本提升性能，但沒想到一步跨到的訓練，直接跟NVidia GPU拼了。

TPU一代是一個比較簡單的協處理。核心是一個矩陣乘法器，準確來講叫Systolic Matrix Multiplication (http://web.cecs.pdx.edu/~mperkows/temp/May22/0020.Matrix-multiplication-systolic.pdf)，外加一個比較大的on-chip SRAM來存中間數據。比較激進的採用了int8（至少是13年的時候膽子比較大）獲得了大的受益，因為int8的乘法不論是晶元面積還是功耗都10倍好於FP32。

但反過來說，簡單的架構導致不是所有任務都適用，而且int8導致了在TPU上部署的困難性，所以很難成為比較通用的雲上晶元。

更多細節可以參見TPU在今年ISCA上論文。雖然學術界對此的創新性評價很一般，論文裡面也一再強調為了趕時間只弄了個簡單的版本，而且結果並不出眾原因之一是沒有用「awkward artifacts assembled solely to win benchmarks"。但不妨礙Google PR機器大力鼓吹。

論文才放出來，ISCA下個月才開，結果TPU 2出來了。可能是TPU團隊大量離職原因，或者想蹭一下Nvidia Volta的PR。（AMD弄出了一個Vega，4倍弱於Votla和TPU2，結果夾在兩個之間發布，可想而知。。。）

TPU2目前來看至少解決了int8這一大問題。猜測它很有可能基於FP16，例如FP16和FP16做乘法，然後FP32做累加，那麼目前大部分神經網路都可以不需修改的在上面部署。因為新聞稿強調了訓練，他們一大改進就是針對TPU1基於DDR3的off-chip DRAM。大家基本猜測是基於HBM，可以提供5倍以上的內存帶寬提升來幫助訓練。

使用HBM還是會帶來很多工程問題，畢竟這個技術並沒有四處廣泛應用。包括良品率下降，功耗上升，這個很大程度上解釋了TPU2上巨大的散熱器（FP16也會有功耗增加）。雖然很多人質疑TPU2功耗可能會比Volta高，但在雲伺服器里，只要不是特別離譜，這點額外功耗帶來的電費增加是總成本的零頭。

TPU2卡之間的網路連接不知道具體多快，但其格狀的連接使得可能分布式最好也是要用data flow來做，沒有交換機讓網路成本下降，但遠端之間延遲會比較大，需要上層框架好的封裝。

總體而言，TPU2的優勢還是在成本上，它比Volta的10倍價格優勢會讓Google雲的成本大量降低。除非Nvidia伺服器卡大降價，或者允許大量購買消費卡（例如Titan X)，那麼G至少領先競爭對手一到兩年。當然，這個只有當神經網路計算真的佔到了雲計算了中相當大的比例才有意義。

實際上是，雖然增長喜人，但還遠遠不夠。同志們還需努力。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！