Facebook開源AI硬體，一口氣推出「三件套」

新智元報道

來源：Facebook, VentureBeat

編輯：元子

【新智元導讀】面對每個月27億活躍用戶產生的數據量，Facebook將重心從通用硬體轉向AI專用硬體。在今天的開放計算項目全球峰會上，發布並開源了3款AI硬體，分別是面向訓練的Zion、面向推理的Kings Canyon及面向視頻轉碼的Mount Shasta。

一個全家桶app，每個月要服務27億人，不容易吶！不信你問Facebook。

為了應對大量的算力要求，這家位於Menlo Park的技術巨頭，硬是從通用硬體轉移到了專用加速器。這些加速器的作用，是保證其數據中心的性能，功耗和效率，特別是在AI領域。

今天，Facebook一口氣推出了3款硬體產品，分別是用於AI模型培訓的「下一代」硬體平台Zion；以及針對AI推理優化的定製專用集成電路Kings Canyon；以及視頻轉碼Mount Shasta。並捐贈給旗下的開放計算項目使用。

Open Compute Project（OCP）是Facebook在2011年4月發起的一個數據中心開放架構技術發展組織，目前成員包括Intel、Red Hat、Facebook、Mozilla、Rackspace、NTT Data、百度、高盛以及Google等。

https://benchlife.info/8597-2/

Facebook稱這三款硬體產品將大大加速AI的訓練和推理。「人工智慧用於各種服務，以幫助人們進行日常互動，並為他們提供獨特的個性化體驗，」 Facebook工程師Kevin Lee，Vijay Rao和William Christie Arnold在博客文章中寫道，「在整個Facebook的基礎設施中使用人工智慧工作負載，能夠增強各服務之間的相關性，並改善我們的用戶體驗。」

Zion

Zion為AI訓練創建Block

和Block之間通信

Zion專為處理包括CNN，LSTM和SparseNN在內的神經網路架構的「頻譜」而量身定製。包括三個部分：擁有8個NUMA CPU插槽的伺服器；配備了8加速器晶元組，以及一個廠商中立（vendor-agnostic ）的OCP加速器模塊（OAM）。

Zion的高內存容量和高帶寬，得益於兩個高速fabric，一個用來連接所有的CPU，另一個用來連接所有的加速器。除此之外，還得益於其靈活的架構，可以使用頂部擴展到單個機架中的多個伺服器機架式（TOR）網路交換機。

「加速器內存帶寬高但容量低，所以我們通過對模型進行分區來解決這個問題：將頻繁訪問的數據駐留在加速器上，而訪問頻率較低的數據駐留在帶有CPU的DDR內存里，「Lee，Rao和Arnold解釋道，「所有CPU和加速器的計算和通信都是平衡的，並通過高速和低速互連，極大地提高了效率。」

Kings Canyon

Zion為AI推理創建Block

和Block之間通信

至於專為推理任務而設計的Kings Canyon共分四個部分：Kings Canyon推理M.2模塊；Twin Lakes單插槽伺服器；Glacier Point v2載卡；以及Facebook的Yosemite v2機箱。Facebook表示正在與Esperanto、Habana，英特爾，Marvell和高通公司合作，開發能夠同時支持INT8和高精度FP16工作負載的ASIC晶元。

ASIC不運行通用代碼，需要專門的編譯器將圖形轉換為在這些加速器上執行的指令。Glow編譯器的目標是從更高級別的軟體堆棧中抽象出特定於供應商的硬體，以使基礎架構與供應商無關。它接受來自PyTorch 1.0等框架的計算圖，並為這些ML加速器生成高度優化的代碼。

Glow編譯器

Kings Canyon中的每台伺服器都結合了M.2 Kings Canyon加速器，以及一個連接Twin Lakes伺服器的Glacier Point v2載卡。其中兩個被安裝到Yosemite v2 sled中，並通過NIC鏈接到TOR開關。Kings Canyon模塊包括一個ASIC，一個內存及其他支持組件，比如通過PCIe通道與加速器模塊通信的CPU。而Glacier Point v2包含一個集成的PCIe交換機，允許伺服器同時訪問所有模塊。

「通過適當的將模型進行分割，我們得以運行非常大的深度學習模型。例如，對於SparseNN模型，如果單個節點的內存容量不夠用，就在兩個節點之間對模型進行分片，從而增加模型可用的內存量。「Lee，Rao和Arnold說過，「這兩個節點通過多主機NIC連接，允許高速交換。」

Mount Shasta

Mount Shasta是與Broadcom和Verisilicon合作開發的ASIC，專為視頻轉碼而開發。在Facebook的數據中心內，它將被安裝在帶有集成散熱器的M.2模塊上，位於可容納多個M.2模塊的Glacier Point v2（GPv2）載板中。

Facebook表示，平均而言，預計這些晶元的效率會比目前的伺服器「高出許多倍」。它的目標是在10W功率範圍內，以60fps速度輸入流編碼效率至少比4K高出一倍。

「我們希望Zion、Kings Canyon和Mount Shasta的設計，能夠滿足我們在AI訓練、AI推理和視頻轉碼方面不斷增長的工作量。」Lee，Rao和Arnold寫道，「我們將採取硬體和軟體協同設計，不斷改進硬體產品的效率。但一家廠商的能力終歸有限，希望更多的廠商都能夠進入Facebook的生態中，共同努力。「

參考鏈接：

https://code.fb.com/data-center-engineering/accelerating-infrastructure/

https://venturebeat.com/2019/03/14/facebook-open-sources-hardware-for-ai-model-training-and-inference/

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！