谷歌選擇自主構建AI晶元的六大理由

長久以來，谷歌這類雲廠商一直在利用由商用型英特爾PC硬體構建的系統支持其數據中心。然而在處理AI類負載方面，互聯網巨頭卻選擇了另一條道路——開發其張量處理單元（簡稱TPU）。

但這又引發了新的問題：為何英特爾、高能與英偉達無法滿足谷歌數據中心的需求？

事實上，TPU並非如英特爾CPU或者英偉達GPU那樣屬於通用型設備，而是一類專門面向機器學習乃至其人工智慧子集的特定應用集成電路（簡稱ASIC）。過去幾年以來，負責語言翻譯、圖像識別、消費者購買推薦等類型的機器學習方案正不斷湧現，這意味著谷歌擁有大量數據以實現準確的分析與預測。

機器學習分為兩大組成部分：訓練與推理。訓練是利用數據對預測模型進行調整，包括通過數百萬自然語言示例幫助機器學習系統完成語言學習。在此之後，這套語言模型則可通過推斷完成具體推斷任務。訓練與推斷皆運行在神經網路之上——神經網路正是運行在數據中心硬體之上負責實現機器學習的優化軟體層。

TPU專門針對特定應用的推理任務而設計。Google pain部門負責進行機器學習研究，從而通過多項谷歌服務交付其學習與處理結果。然而隨著服務數量的不斷提升，相關負載亦在急劇增長。

正是這種日益增長的工作量催生出谷歌TPU——其能夠以更低成本與更低延遲向用戶提供語言翻譯及圖像搜索等能力。

以下為谷歌公司設計並構建TPU的六大理由。

1. 性能優勢

谷歌將TPU的性能與伺服器級英特爾Haswell CPU與英偉達K80 GPU進行了比較，並發現前者能夠在處理基準代碼執行方面（代表著95%的推理型工作負載）快15到30倍。

2. 物理空間優勢

雲數據中心相當於IT工廠，其預算包括設備、佔地、電力以及數據中心構建成本。將儘可能多的處理能力容納在最低功耗水平且發熱量最低的最小空間內無疑是實現成本優化的核心。

六年前，當用戶首次開始使用自然語言識別代替手動操作時，谷歌工程師即估計，每位用戶每天使用三分鐘的自然語言輸入即會令現有數據中心規模翻倍。正因為如此，谷歌才需要打造TPU以繼續控制實現成本。

3. 功耗優勢

降低功耗不僅能夠節約能源成本，同時亦可削減散熱成本。除了原始性能更強之外，TPU與CPU主機處理器的組合還能夠實現能源效率提升。如下圖所示，TPU/CPU組合的每瓦性能水平在不同工作負載下可達到CPU/GPU組合的30到80倍。

4. TPU可解決特定應用難題

英特爾的CPU與英偉達的GPU屬於通用系統晶元，專為廣泛應用而設計，長於進行精確的浮點運算。機器學習模型則能夠容忍精度較低的數學運算，這意味著不再需要浮點運算單元（簡稱FPU）。因此，TPU能夠在移除FPU的前提下與英特爾CPU及英偉達GPU提供同等精度的8 bit數學運算結果。

矩陣代數數學正是大多數神經網路的運作基礎。矩陣乘法單元（簡稱MMU）則為TPU的核心。薦包含執行8 bit乘法與加法的256 x 256乘法累加器（簡稱MAC）。MMU每個運算周期可執行64000次加法。這意味著主頻為0.7 GHz的TPU可通過低精度矩陣數學優化以及數據與結果面向MMU快速導入/移出的方式實現超越2.3 GHz英特爾CPU與1.5 GHz英偉達GPU的性能表現。

5.引導並激勵各晶元製造商構建TPU

谷歌研究論文作者指出，商用計算產品在計算架構層面的差異往往很小，因此TPU將成為特定架構層面的重要原型設計方案。由傑出晶元工程師Norman Jouppi領導的工程團隊在短短15個月中即完成了TPU交付，這一成果令人印象深刻。事實上，ASIC的製造需要巨額成本，而一旦在實際生產中發現錯誤，則只能再次投入巨資以從頭開始。

儘管如此，英特爾與英偉達的開發、人才以及設計與製造資源已經相當雄厚，足以滿足ASIC的設計與製造要求。目前市場上的Amazon、谷歌、Facebook、IBM及微軟等企業客戶雖然規模龐大，但相較於通用CPU業務，這部分需求仍然較為小眾。

正因為如此，作為對機器學習問題擁有深刻理解的谷歌公司開始大力強調TPU的重要意義。其同時發布了一系列研究論文，旨在推動機器學習社區與晶元製造商間的對接層次，最終實現相關商業解決方案的大規模產出。

6.靈活的專利與知識產權

專利發明人Jouppi在美國專利局資料庫中申請了一系列TPU相關專利。而作為相關專利的主要持有方，谷歌公司可以利用這一武器激勵晶元製造商投身這一業務領域。

目前Amazon、Facebook、谷歌、IBM以及微軟等領先機器學習企業客戶正積極引導晶元製造商開發特定產品以滿足其需求。為了實現這一目標，他們需要發布更新更快的計算架構來推動行業發展，最終讓更多企業積極使用AI方案。而AI企業客戶的增加亦會提升晶元製造商的參與積極性。谷歌的TPU很可能成為這一良性市場循環的重要基石。