關於微軟新一代HPU，你需要知道些什麼

最近，由於比特幣身價暴漲，「礦工」購入大量顯卡用於「挖礦」，導致顯卡價格上漲，英偉達、AMD顯卡均缺貨。

這大概又是一項脫離了設計者初衷的發明。

顯卡的核心元件是GPU（圖像處理單元），設計之初是為了渲染圖形。在很久以前，一般被叫做圖形加速卡。

但是在早期，GPU並不是什麼核心組件，有點類似協處理器，屬於有了更好，沒有也不要緊的東西，一般只有那種高端的工作站和遊戲機上才用得上。

然而到了今天，GPU的地位一路逆襲攀升，GPU的工作也不再局限於圖形處理，由於其運算能力強，而越來越多的參與到各種運算當中來。

對比CPU，GPU乾的活是那種沒技術含量，但是工作量巨大，需要重複很多次的那種。

假如把GPU比喻成一群小學生用人海戰術算加減乘除，那CPU就是一個掌握高等數學的教授。教授雖然厲害，但是在計算簡單但是任務量大的情況下，有時候也頂不住人多。

CPU+GPU的模式，在PC時代被發揚光大，在移動智能設備上也是延續了下來。在AR/VR設備上，也是標準配置。但是，單純的GPU+CPU真的能滿足VR/AR的需求嗎?

AR需要處理目標識別、定位、跟蹤和建模等人工智慧和計算機視覺問題，計算量大。尤其當多模態交互同時運行時，圖像識別、語音、手勢等計算需要大量運算資源，現有晶元可能不夠。

GPU的計算能力確實很強，吞吐量巨大並且精度高。但是計算時間上實時性並不是很好，一個複雜的3D圖形在AR/VR頭顯上渲染了很久，造成延遲過高，這個時候就很容易讓人產生眩暈感。

並且GPU的功耗大，VR/AR設備帶起來會很吃力。

Hololens的HPU

曾經有一期AR醬介紹過Hololens的拆解，其中有一個新奇的玩意——HPU（Holographic Processing Unit全息處理器），這是微軟自己的發明的說法，是一款ASIC定製晶元。

根據微軟公布的信息，HPU處理能力達到每秒1T（10^12）次像素運算，功耗卻不到10W。HPU能夠融合來自5個攝像頭、一個深度感測器以及運動感測器的輸入信息，將信息壓縮並傳送到主處理器。此外HPU還能實現AI手勢識別。

微軟找遍了各大廠商的商用晶元，卻找不到合適的，於是就找台積電定製設計了電28nm工藝的晶元，不得不感嘆微軟錢真多。

HPU中具有24個Tensilica DSP內核，以及高達8MB的Cache，此外還包含加速器。

HPU相當於協處理器，當遇到計算機視覺的矩陣運算和神經網路的卷積運算時，協助主處理器（CPU和集成GPU）完成這些特定運算。並且HPU上集成的加速器也會協助主處理器完成各種運算。

和GPU有一點相似之處，HPU一樣擁有很多計算核心

然而仔細觀察可以發現，HPU上用於高速存儲數據的Cache高達8M，這是普通GPU所沒有的。在文章頂端的兩張關於GPU和CPU的圖片可以看到。

一般來說，CPU需要大量的cache來過濾過多內存的訪問，減少訪存的延遲，提升CPU的響應速度，但是GPU並不需要。

HPU上集成了8M的cache可以讓HoloLens擁有比較小的延遲。

利用FPGA為DSP應用提供靈活的可重配置方案，Hololens則可以根據不同的應用場景來實現不同的DSP組合，滿足不同的要求。如此可以讓在限定的功率下，實現更好的性能表現。

在手勢識別上，HoloLens雖然只有兩個動作，但是識別精度很高。對於操作區範圍內的識別，靈敏度、防誤觸、各種光線下的操作都能比較好的完成，在這方面少不了HPU的深度學習計算。

HPU上還有各種加速器，這些專用加速器可以幫助HPU快速執行一些演算法（單靠DSP往往無法滿足這些演算法的性能需求），微軟稱，使用專用加速器配合DSP可以實現200倍以上的性能改善，效果可謂驚人。

新一代HPU

HoloLens第二代快要面世，這次據說將會搭載新一代的HPU，將會有巨大的提升。

微軟研究工程師道格·伯格（Doug Burger）表示新版本 HPU 將使用人工智慧（AI）協處理器，並使用深度神經網路技術來實現更有效的數據分析。

第一代中HPU的深度學習能力還展現的不明確，而在新版本中HPU卻是作為了一個AI處理器的存在。

據稱，全新的 AI 協處理器支持多層次運算，也可以按需定製。AI 協處理器能夠持續運作，除了增加 HoloLens 的續航能力之外，還可以通過手部關節分區域分析，實現更複雜的手部追蹤，並且能夠在不發送樣本至雲端的情況下進行設備語音識別。

AI處理器的未來

在AR醬前幾期的「AR與AI融合的未來」中我們便提到，要讓AR真正看懂這個世界，深度學習是要有的，而傳統GPU計算能力雖然很強大但是並不一定適合移動端。

所以可以看到，現在越來越多的廠商開始嘗試定製晶元。

比如這款HPU就是一個博納百家之長的晶元。設計者可以根據自己的需求定製需要的晶元，而不需要局限於為標準化服務的CPU和GPU。

在AI晶元領域，google已經入局，AlphaGo就是使用了google的第一代TPU晶元。

晶元大廠Nvidia、Intel也不甘落後，不過各自的側重點不同。

未來AI/AR晶元可能會呈現出更多樣的態勢。

這款HPU說不定也會重演GPU當年的經歷，由一個協處理器轉正，逆襲成為必不可少的核心元件。

AR醬原創，轉載務必註明

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！