為何巨頭紛紛投入伺服器AI晶元市場？|半導體行業觀察

來源：內容由 公眾號 半導體行業觀察 （ID:icbank）原創，謝謝！

隨著人工智慧漸漸落地，人工智慧對於算力的需求逐漸增強。本輪人工智慧熱潮背後的基礎是大數據和神經網路，需要海量的數據去訓練複雜的神經網路，而訓練完成後的神經網路也較為複雜，執行神經網路的推理操作相對於其他基於邏輯規則等智能方案需要更大的計算力。因此，算力成為了人工智慧背後的基礎資源，而算力的提升則離不開晶元的支持。近日，高通、寒武紀、依圖等來自不同背景的明星公司都發布了其用於伺服器端的人工智慧晶元方案，再加上谷歌、亞馬遜、Intel、Nvidia等早已在伺服器人工智慧晶元領域押注的大公司，我們看到了伺服器人工智慧晶元的熱潮。

伺服器AI晶元市場已經有明確需求

人工智慧計算一般可以分為兩類，即訓練和推理。訓練是指使用收集到的大量數據去優化神經網路的各項參數，從而能實現最優的精確度。推理則是在訓練好的神經網路上將輸入數據在各層網路之間做正向傳遞去求得輸出。訓練任務和推理任務執行的計算對於計算精度和內存訪問的模式都有所不同，因此晶元上往往需要不同的優化。

人工智慧晶元根據應用場合也可以分為三個種類：伺服器、邊緣計算、終端。伺服器人工智慧晶元主要部署在數據中心的伺服器中，執行訓練和／或推理任務。伺服器人工智慧晶元對於晶元的首要需求就是單晶元算力（目前的主流算力在100TOPS級別），其次才會去考慮功耗和成本。邊緣計算是指部署在更接近數據源頭的伺服器上執行的計算，以推理計算為主，典型應用場景包括在自動駕駛汽車上執行自動駕駛演算法、在智能銷售領域無人店中執行監控和結賬操作等等。在邊緣計算中，晶元的功耗和成本相對於雲端有更嚴格的限制，而算力則還是多多益善（10TOPS以上）。終端計算則是指直接部署在手機、智能音箱等終端設備上人工智慧計算，由於使用電池供電，其對於晶元的首要需求是能效比（1TOPS／W數量級），需要使用儘可能低的能量消耗去完成人工智慧計算以保證電池壽命。雖然終端計算對於算力的要求較低（0.1-1TOPS數量級），但是其功耗約束很強，可用的功耗在1W以下，甚至可以低至幾十毫瓦級別，同時終端設備對於成本也很敏感。

目前上述三個人工智慧應用場景中，邊緣計算尚處於概念驗證階段，預計未來幾年隨著5G和無人駕駛、機器人、智能零售等概念的興起會出現一批相關晶元公司，但是在今天市場規模還較小。終端人工智慧計算目前已經得到初步驗證，手機等智能設備都在爭相加入人工智慧專用處理模塊，但是由於其市場對於成本的敏感性，我們預期未來人工智慧在終端設備上的形態會以SoC上的IP模塊為主，這也就意味著人工智慧要麼是由高通、海思等智能設備SoC廠商自研集成到自家的SoC中，要麼是由第三方以IP的形式授權給SoC廠商，總體來說該市場的利潤率並不會太高，還是要以量取勝。

相較而言，伺服器端人工智慧晶元市場目前已經得到了較好的驗證，業務模式和市場規模都已經獲得了認可，利潤率也較高，因此成為了主流晶元公司的必爭之地；而邊緣和終端市場在今天來看還主要是針對未來的前瞻性布局。根據Barclays Research的研究報告，伺服器端人工智慧市場會在未來三年內快速增長，並預計於2021年達到100億美元的規模；而終端和邊緣計算市場則將在三年後才開始真正落地。所以，我們看到了巨頭紛紛在今年加碼伺服器端人工智慧晶元。

進入伺服器AI晶元市場的幾種打法

目前來看，做雲端AI晶元的主要有兩種廠商，一種是晶元公司，另一種是互聯網公司，包括AI公司（如依圖）這樣的「新物種」。

對於晶元公司來說，伺服器AI市場的客戶往往比較分散，而且每個廠商都有自己獨特的訴求，因此需要一家一家談。由於不同的公司有不同的人工智慧技術棧，晶元公司需要能兼容不同公司的需求，有時候甚至需要和客戶公司合作開發來確保能滿足需求。同時，晶元公司需要在各大公司的需求中尋找到最大公約數，來確保自己的晶元能進入儘可能多的客戶中。晶元公司可以直接進入終端客戶的伺服器中，或者與提供伺服器的系統集成商合作，為客戶設計滿足其需求的伺服器來完成銷售。例如，中國AI晶元獨角獸寒武紀據悉已經獲得了滴滴、海康威視等商業客戶的直接訂單，同時也與浪潮、聯想和曙光等伺服器系統集成商積極合作來完成伺服器的訂單。寒武紀於一周前披露的最新思元270晶元使用TSMC 16nm製造，額定功耗75W，其整數計算能力分別為256TOPS（int4）、128TOPS（int8）和64TOPS（int4），這樣的設計預計主要針對伺服器推理市場，其算力和功耗與Nvidia T4基本相當，基本可以作為Nvidia T4的國產替代，同時寒武紀有位於中國市場離客戶近以及性價比的優勢，因此想必還是能夠拿下大量訂單。另外，寒武紀的思元270還集成了視頻圖像編解碼模塊，估計其找到的客戶「最大公約數」仍然是計算機視覺相關領域，如視頻內容分析、安防等。

除了晶元公司向上進入伺服器AI市場外，另一類公司則是互聯網以及AI公司親自入場做晶元，例如谷歌、亞馬遜以及剛發布自研晶元的中國AI獨角獸依圖。傳統來說，互聯網和AI公司主要是伺服器和晶元的終端客戶，他們的需求是尋找市面上最合適的硬體來運行自己的應用。然而，當市面上的硬體都無法滿足這些終端客戶的需求時，他們也會親自做滿足自己需求的晶元。

互聯網和AI公司親自做晶元背後的邏輯主要在於建立競爭壁壘。隨著AI的落地以及AI對於算力的強烈需求，硬體已經成為AI背後重要的競爭要素。目前，隨著市場的充分競爭，各大AI巨頭在演算法和模型等方面都沒有和彼此拉開很大的差距，於是硬體就成為了差異化競爭的重要因素。當模型和演算法差距不大時，是否能使用較低的成本部署AI系統並提供良好的用戶體驗就成了能否拿到用戶訂單的重要因素了。另外，互聯網和AI公司是最清楚自己需求和演算法的，因此通過軟硬體協同優化可望能實現最優化的系統設計。

上周依圖公布的求索就是AI公司入場AI晶元的最新動態。求索SoC完全結合依圖的演算法做優化，只支持int8操作，主要針對視覺應用，例如人臉識別、車輛檢測、視頻結構化分析等任務。配合依圖的演算法，使用四塊求索晶元的依圖原子伺服器算力和使用八塊Nvidia P4的伺服器相當，而體積僅為P4伺服器的一半，功耗則低至20%，從而能大大減少部署的難度。更關鍵的是，目前一塊Nvidia P4的市價為2000美元左右，而求索晶元板卡的成本我們預計可以做到100美元以下，因此可以幫助依圖進入更多的客戶。相比使用Nvidia GPU的其他競爭公司，依圖的演算法配合自研的晶元確實是一個很強的競爭優勢。

未來伺服器AI晶元競爭格局預估

隨著伺服器端AI市場的真正落地，越來越多的廠商開始真正投入該市場，Nvidia的壟斷難度也越來越大。如前所述，新進入伺服器AI晶元戰場的廠商要麼擁有晶元背景，或者是互聯網／AI公司親自做晶元。伺服器AI市場的特殊性在於不同垂直應用對於晶元的需求有較大不同，而使用目前的主流晶元架構做一款能兼容大多數應用的晶元往往性能不夠好，因此晶元廠商還是需要認準一些重要的垂直應用，並且在垂直應用中打下站穩腳跟之後再考慮去橫向擴展。對於互聯網／AI公司造芯來說，由於他們對於垂直應用的前景非常清楚，因此主要就是看自研晶元對於競爭壁壘的構建有多少幫助，是否值得投入資金真正做晶元。在設計服務行業越來越成熟的今天，造芯的成本會逐漸降低，因此我們預期看到越來越多的互聯網和AI公司加入自研晶元的行列。因此，伺服器AI晶元的競爭格局我們預期在未來幾年會看到Nvidia憑著CUDA生態的優勢仍然佔據通用晶元的主流地位，但是其市場份額將會被其他晶元公司和客戶公司慢慢蠶食，同時在雲端數據中心FPGA也會佔據一部分市場。

伺服器AI晶元競爭的變數在於下一代技術。目前馮諾伊曼架構的加速器的架構潛力已經被挖掘得很充分，之後難以再期待數量級上的提升，因此能帶來重大變革的當屬下一代技術。下一代技術還擁有不少不確定性，但是我們也看到了不少新技術擁有巨大的潛力，例如使用光技術做計算的LightIntelligence，可以實現超低延遲超低功耗計算。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！