一統所有AI晶元：Facebook揭秘深度學習編譯器Glow

作者：Rick Merritt來源:EE Times,機器之心

Facebook 確實正在組建晶元團隊，不僅與晶元供應商合作，我們也在構建自己的晶元。當然，這不是我們的首要目標，」Facebook 基礎設施副總裁 Jason Taylor 表示。這位高管稱 Facebook 的目標並不等同於谷歌的深度學習加速器 TPU，但他拒絕透露發布時間節點等更多具體細節。

與多達 50 家 AI 加速器設計公司進行合作是 Facebook 新設晶元部門的工作重點。「目前市面上已有很多種加速晶元，」Taylor 表示，「最大的問題是，它們針對的工作負載是否是當前最重要的。」

在 Keynote 中，Taylor 將 Glow 描述為一種通用編譯器，可讓開發人員針對所有新興的深度學習加速器進行推理——在雲端或者邊緣網路。它不面向手機等客戶端系統。

「我們預計深度學習加速器硬體也會出現碎片化的情況，我們在 Glow 上的工作是為了幫助機器學習專家設計神經網路，並讓他們從對每種特定晶元的適配工作中解脫出來。」Taylor 表示。「我們知道碎片化即將到來，現在沒有人知道哪種硬體資源的組合（如片上存儲模塊和乘法累加陣列）會最終取勝。所以我們讓開發者聚焦於更高層級的計算圖中，而無需動手動編碼針對硬體的細節。」

Jason Taylor 將 Glow 描述為在雲端和邊緣網路上進行推斷的編譯器。（圖源：Facebook）

Glow 採用 TensorFlow 或 Caffe2 等框架生成的 AI 圖像，然後將它渲染成用於硬體加速器的位元組代碼，Taylor 解釋道。該編譯器包括多個工具，如用來生成用於晶元特定內存配置的指令排程器、線性代數優化器、內存分配器，以及用來測試硬體準確率的基於 CPU 的推斷實現。

益華（Cadence）、Esperanto Technologies、英特爾、Marvell 和高通稱它們未來的晶元將支持 Glow。Taylor 期待將其他晶元廠商也添加到支持 Glow 的廠商名單上。「這是開源 Glow 的好處之一。」

一名高級晶元專家將 Glow 描述為在生產系統中部署神經網路的框架。其輸入是 TensorFlow 或 Caffe2 等框架創建的圖。

一些著名的晶元廠商已經開始支持類似的軟體。例如，英偉達的 Tensor RT 將來自框架的圖作為輸入，然後為 GPU 輸出 Cuda 代碼。

傳統上，編譯器是針對特定晶元進行嚴格優化的。但是 Taylor 表示，「當前編譯器的編譯範圍要比過去大得多——Glow 中的優化類型要識別可以渲染給硬體加速器的圖像中的很大一部分。」

在快速發展的深度學習領域，Glow 是努力彌補軟硬體差距的最新例子。例如，英偉達的 Tensor RT 現在已經發展到第五代，儘管其第一代僅在一年前發布。一些加速器初創公司對支持各種軟體框架及其變化所需的工作水平有些無能為力。

Facebook、微軟等公司正在支持 ONNX，這是一種用權重表示圖形的標準方法。去年 12 月份，Khronos 的團隊發布了深度學習加速器的一個硬體抽象層——NNEF。

Glow 是 Pytorch 1.0 的一個組成部分，後者是一個開源項目集，包括合併的 Caffe2 和 Pytorch 框架。Pytorch 1.0 的第一次開發者大會將於 10 月在舊金山舉行。

在另一個演講中，Facebook 工程經理 Kim Hazelwood 展示了 Facebook 使用的十多個不同深度學習工作負載，它們部署在至少四個不同類型的神經網路上。每天 Facebook 生成超過 200 萬億次推斷，翻譯 50 多億文本，並自動刪除超過一百萬虛假賬號。

她說，Facebook 的一些推斷任務需要的計算量是其它任務的 100 倍。如今，Facebook 在其設計的一小部分 CPU 和 GPU 伺服器上運行這些任務。

Hazelwood 告訴 EE Times，從通用硬體轉向定製硬體將需要針對那些仍在變化的工作負載定製晶元。她拒絕透露 Facebook 關於使用任何定製 AI 加速器的想法。

僅 Facebook 就在十幾個深度學習應用中使用了至少五種神經網路。

一位觀察者推測，Glow 將是一個理想的工具，使公司能夠採用一些適合其各種工作負載的加速器。其半導體團隊可以幫助公司精選晶元，也許還可以為其中一些公司提供定製晶元的建議。

另外，Facebook 發布了一篇博客，描述了它創建的一個新軟體工具，該工具使用深度學習來調試代碼。它說，SapFix 可以自動生成特定錯誤的補丁，然後將其提交給工程師審批並部署到生產中。

迄今為止，Facebook 已經使用 SapFix 加快了向裝有 Facebook Android 應用程序的數百萬台設備發送代碼更新的進程。Facebook 表示將發布該工具的一個版本，但沒有說明發布時間。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！