揭秘Google人工智慧FPU之Tensor處理單元

2013年，Google意識到自己越來越依賴於機器學習，這迫使它不得不擴建數據中心使其數量翻一番，以應對預期的工作負載。

根據Google提供的數據中心運營（包括15個主要數據中心站點）的信息，Google正在考慮增加150億美元的額外支出，如果Google的一個大型數據中心成本大約是10億美元。

Google成立了一個團隊開發定製的晶元，來處理部分神經網路工作流也就是推理工作，其中軟體通過耗費時間和計算密集型的訓練階段產生的數據來進行預測。處理器在PCIe匯流排上，接受來自主機CPU的命令，這類似於以前的離散FPU或者數學協同處理器，但顯然改善達到了今天的標準。

目標是將GPU（Graphic Processing Unit,圖形處理器）的性價比提高10倍。據Google自己的估計，這已經成功了，雖然晶元被超越以來一直與內部開發的硬體處於競爭中。

在矽谷計算機歷史博物館舉行的National Academy of Engineering會議上，技術演示文稿中提及了一篇文章，稱Google的工程師們公布了Google的Tensor Processing Unit（TPU）——一個專門處理TensorFlow機器學習任務的定製ASIC——是如何在數據中心中運作的。

Google在Google I/O 2016大會上推出了他們的TPU。知名硬體工程師、MIPS CPU頂級架構師Norm Jouppi在一篇博客文章中表示，Google從2015年開始就在自己的數據中心內運行TPU，這種專有的晶元「為機器學習提供的每瓦性能有指數級的增長。」

Jouppi甚至表示，這種改進領先了7年時間，大約是摩爾定律下更新3代。

Google高管此前宣稱，人工智慧——包括機器學習和相關技術——對於Google的未來至關重要。針對人工智慧進行的硬體定製強調了這個說法。

現在，Google與英特爾Hashwell CPU以及Nvidia Tesla K80 GPU的性能測試似乎驗證了它的做法。

Jouppi在本周發表的一篇博客文章稱，基於神經網路推理涉及的工作負載，「TPU要比當前GPU和GPU快15-30倍」，而且實現「30-80倍改善」是以每瓦TOPS計算的。

斯坦福視覺實驗室的博士生Justin Johnson在一篇博客文章中指出，Google的研究院人員將其與Tesla K80 GPU進行了對比，後者已經推出了兩袋，缺乏對TPU中計算的硬體支持。

「對比結果看起來並不是特別突出，僅次於現有的Tesla P40 GPU，據稱P40提供了47 INT8 TOP/s at 250W TDP；與P40相比，TPU快1.9倍，能效提高6.5倍。」

儘管如此，Google的結果表明，「成本能源表現的重大改進來自於特定的硬體」，換句話說，半導體製造商可能更傾向於將他們設計的硬體與預期應用進行匹配。

Johnson解釋說，TPU是設計旨在加速神經網路推理階段的專用硬體，一部分是通過將32位浮點計算量化為較低精度的8位計算。

「這使其相比通用GPU實現更高的速度和能效。能源效率在大規模數據中心場景下尤為重要，改善能源效率可以顯著降低大規模運營的成本。」

Johnson表示，他不太確定TPU是否具有廣泛意義。「因為它不是專門用於訓練的，我認為研究人員可能會在不久的將來堅持使用Nvidia。涉及你自己的定製硬體是一項龐大的工程設計，可能超出了大多數公司的能力，所以我不期望在不久的將來每家公司都擁有自己定製的TPU晶元。」

儘管如此，他推測TPU將有助於Google Cloud Platform減少來自AWS的競爭，至少在客戶在生產中訓練神經網路方面。