關於AI晶元產業生態，都在這裡

人工智慧的第三次浪潮已起，最近一年以來，幾乎所有科技公司的CEO都在演講或者訪談中公開談論過人工智慧。AI晶元作為產業核心，也是技術要求和附加值最高的環節，在AI產業鏈中的產業價值和戰略地位遠遠大於應用層創新。

AI晶元有哪些分類?

從功能來看，可以分為Training(訓練)和Inference(推理)兩個環節。Training環節通常需要通過大量的數據輸入，或採取增強學習等非監督學習方法，訓練出一個複雜的深度神經網路模型。訓練過程由於涉及海量的訓練數據和複雜的深度神經網路結構，運算量巨大，需要龐大的計算規模，對於處理器的計算能力、精度、可擴展性等性能要求很高;Inference環節指利用訓練好的模型，使用新的數據去「推理」出各種結論，如視頻監控設備通過後台的深度神經網路模型，判斷一張抓拍到的人臉是否屬於黑名單。雖然Inference的計算量相比Training少很多，但仍然涉及大量的矩陣運算。

從應用場景來看，可以分成「Cloud/DataCenter(雲端)」和「Device/Embedded(設備端)」兩大類。在深度學習的Training階段，由於對數據量及運算量需求巨大，單一處理器幾乎不可能獨立完成一個模型的訓練過程，因此，Training環節目前只能在雲端實現，在設備端做Training目前還不是很明確的需求;在Inference階段，由於目前訓練出來的深度神經網路模型大多仍非常複雜，其推理過程仍然是計算密集型和存儲密集型的，若部署到資源有限的終端用戶設備上難度很大，因此，雲端推理目前在人工智慧應用中需求更為明顯。

除了按照功能場景劃分外，AI晶元從技術架構發展來看，還可以分為通用類晶元、基於FPGA的半定製化晶元、全定製化ASIC晶元和類腦計算晶元四大類。

AI晶元的產業生態

目前AI晶元的市場需求主要是面向於各大人工智慧企業及實驗室研發階段的Training需求(主要是雲端);Inference On Cloud方向則是Face++、出門問問、Siri等主流人工智慧應用均通過雲端提供服務;Inference On Device方向是面向智能手機、智能攝像頭、機器人/無人機、自動駕駛、VR等設備的設備端推理市場，需要高度定製化、低功耗的AI晶元產品。

Training訓練

Training市場目前能與NVIDIA競爭的就是Google。今年5月份Google發布了TPU 2.0，TPU(TensorProcessing Unit)是Google研發的一款針對深度學習加速的ASIC晶元，第一代TPU僅能用於推理，而目前發布的TPU 2.0既可以用於訓練神經網路，又可以用於推理。據介紹，TPU2.0包括了四個晶元，每秒可處理180萬億次浮點運算。Google還找到一種方法，使用新的計算機網路將64個TPU組合到一起，升級為所謂的TPU Pods，可提供大約11500萬億次浮點運算能力。Google表示，公司新的深度學習翻譯模型如果在32塊性能最好的GPU上訓練，需要一整天的時間，而八分之一個TPU Pod就能在6個小時內完成同樣的任務。目前Google 並不直接出售TPU晶元，而是結合其開源深度學習框架TensorFlow為AI開發者提供TPU雲加速的服務，以此發展TPU2的應用和生態，比如TPU2同時發布的TensorFlow Research Cloud (TFRC) 。

上述兩家以外，傳統CPU/GPU廠家Intel和AMD也在努力進入這Training市場，如Intel推出的Xeon Phi+Nervana方案，AMD的下一代VEGA架構GPU晶元等，但從目前市場進展來看很難對NVIDIA構成威脅。初創公司中，Graphcore 的IPU處理器(IntelligenceProcessing Unit)據介紹也同時支持Training和Inference。該IPU採用同構多核架構，有超過1000個獨立的處理器;支持All-to-All的核間通信，採用BulkSynchronous Parallel的同步計算模型;採用大量片上Memory，不直接連接DRAM。

總之，對於雲端的Training(也包括Inference)系統來說，業界比較一致的觀點是競爭的核心不是在單一晶元的層面，而是整個軟硬體生態的搭建。NVIDIA的CUDA+GPU、Google的TensorFlow+TPU2.0，巨頭的競爭也才剛剛開始。

Inference On Cloud雲端推理

相對於Training市場上NVIDIA的一家獨大，Inference市場競爭則更為分散。若像業界所說的深度學習市場佔比(Training佔5%，Inference佔95%)，Inference市場競爭必然會更為激烈。

在雲端推理環節，雖然GPU仍有應用，但並不是最優選擇，更多的是採用異構計算方案(CPU/GPU +FPGA/ASIC)來完成雲端推理任務。FPGA領域，四大廠商(Xilinx/Altera/Lattice/Microsemi)中的Xilinx和Altera(被Intel收購)在雲端加速領域優勢明顯。Altera在2015年12月被Intel收購，隨後推出了Xeon+FPGA的雲端方案，同時與Azure、騰訊雲、阿里雲等均有合作;Xilinx則與IBM、百度雲、AWS、騰訊雲合作較深入，另外Xilinx還戰略投資了國內AI晶元初創公司深鑒科技。目前來看，雲端加速領域其他FPGA廠商與Xilinx和Altera還有很大差距。

ASIC領域，應用於雲端推理的商用AI晶元目前主要是Google的TPU1.0/2.0。其中，TPU1.0僅用於Datacenter Inference應用。它的核心是由65,536個8-bit MAC組成的矩陣乘法單元，峰值可以達到92 TeraOps/second(TOPS)。有一個很大的片上存儲器，一共28 MiB。它可以支持MLP，CNN和LSTM這些常見的神經網路，並且支持TensorFLow框架。它的平均性能(TOPS)可以達到CPU和GPU的15到30倍，能耗效率(TOPS/W)能到30到80倍。如果使用GPU的DDR5 memory，這兩個數值可以達到大約GPU的70倍和CPU的200倍。TPU 2.0既用於訓練，也用於推理，上一節已經做過介紹。

國內AI晶元公司寒武紀科技據報道也在自主研發雲端高性能AI晶元，目前與科大訊飛、曙光等均有合作，但目前還沒有詳細的產品介紹。

Inference On Device設備端推理

設備端推理的應用場景更為多樣化，智能手機、ADAS、智能攝像頭、語音交互、VR/AR等設備需求各異，需要更為定製化、低功耗、低成本的嵌入式解決方案，這就給了創業公司更多機會，市場競爭生態也會更加多樣化。

1、智能手機

華為9月初發布的麒麟970 AI晶元就搭載了神經網路處理器NPU(寒武紀IP)。蘋果最新發布的A11仿生晶元也搭載了神經網路單元。另外，高通從 2014 年開始也公開了NPU的研發，並且在最新兩代驍龍 8xx 晶元上都有所體現，例如驍龍 835 就集成了「驍龍神經處理引擎軟體框架」，提供對定製神經網路層的支持，OEM 廠商和軟體開發商都可以基於此打造自己的神經網路單元，總體來看，智能手機未來AI晶元的生態基本可以斷定仍會掌握在傳統SoC商手中。

2、自動駕駛

NVIDIA去年發布自動駕駛開發平台DRIVE PX2，基於16nm FinFET工藝，功耗高達250W，採用水冷散熱設計;支持12路攝像頭輸入、激光定位、雷達和超聲波感測器;CPU採用兩顆新一代NVIDIA Tegra處理器，當中包括了8個A57核心和4個Denver核心;GPU採用新一代Pascal架構，單精度計算能力達到8TFlops，超越TITAN X，有後者10倍以上的深度學習計算能力。Intel收購的Mobileye、高通收購的NXP、英飛凌、瑞薩等汽車電子巨頭也提供ADAS晶元和演算法。初創公司中，地平線的深度學習處理器(BPU，BrainProcessor Unit)IP及其自研雨果(Hugo)平台也是重點面向自動駕駛領域。

3、計算機視覺

Intel收購的Movidius是主要的晶元提供商，大疆無人機、海康威視和大華股份的智能監控攝像頭均使用了Movidius的Myriad系列晶元。目前國內做計算機視覺技術的公司中，商湯科技、Face++、雲從、依圖等，未來有可能隨著其自身計算機視覺技術的積累漸深，部分公司向上游延伸去做CV晶元研發。另外，國內還有如人人智能、智芯原動等創業公司提供攝像頭端的AI加速IP及晶元解決方案。

4、VR、語音交互

VR設備晶元的代表為微軟為自身VR設備Hololens而研發的HPU晶元;語音交互設備晶元方面，國內有啟英泰倫以及雲知聲兩家公司，其提供的晶元方案均內置了為語音識別而優化的深度神經網路加速方案，實現設備的語音離線識別;在泛IOT領域，NovuMind設計了一種僅使用3×3卷積過濾器的AI晶元。

新架構 - 類腦計算晶元

「類腦晶元」是指參考人腦神經元結構和人腦感知認知方式來設計的晶元，其目標是開發出打破馮·諾依曼架構體系的晶元。這一領域目前仍處於探索階段，如歐盟支持的SpiNNaker和BrainScaleS、斯坦福大學的Neurogrid、IBM公司的TrueNorth以及高通公司的Zeroth等;國內Westwell、清華大學、浙江大學、電子科技大學等也有相關研究。不過，目前來看，類腦計算晶元領域仍處於探索階段，距離規模化商用仍有比較遠的距離。

中國誰在做AI晶元?

騰訊AI產業報告中提到中國的AI的處理器/晶元企業一共有14家，其中包括有寒武紀科技&Cambricon 1A、地平線機器人&BPU/盤古、深鑒科技&DPU、西井科技&DeepSouth/DeepWell、雲飛勵天&IPU、人人智能&FaceOS、啟英泰倫&CI1006、雲知聲&UniOne晶元、百度&XPU、NovuMind、華為&麒麟970晶元、中星微電子&NPU等都在晶元製造領域取得了較為不錯的成績。

(以上內容根據怪誕筆記整理)

文 / 通信產業報（網）半苗

編輯 / 王欣

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！