「AI硅腦」超越GPU，FPGA、ASIC和更智能的手機

1新智元編譯

樹莓派(Raspberry Pi)對計算機愛好者來說是最令人興奮的發展之一。在世界各地，人們使用樹莓派來自動化製造啤酒，製作機器人，改革STEM教育，等等。這些都是值得稱讚的追求。同時，微軟在用樹莓派做什麼呢？他們創造了一個攻擊松鼠的噴水機器人。

微軟的機器學習和優化小組裡，一名研究人員看到松鼠從他的喂鳥器中偷走了花球莖和種子。研究小組於是訓練了一個計算機視覺模型來檢測松鼠，然後將其放在樹莓派3上。每當有松鼠冒險接近喂鳥器，設備就會打開噴水系統進行驅趕。

微軟的松鼠機器人不是這個故事的重點，重點是微軟在一個ARM CPU上做起了卷積神經網路。這顯示了大公司正在進一步推動硬體來支持AI演算法。研究人員正在推動人工智慧的能力，使其能夠實現越來越多基本的任務，例如視覺和語音識別。

隨著自主飛機、自動駕駛汽車等的技術越來越來越先進，硬體上的挑戰也在增加。許多企業正在生產能夠處理這些計算的定製晶元和計算節點。

分析公司 ABI Research 的研究主管 Jeff Orr 將AI硬體的進步分為三大領域：雲服務，設備上（on-device），和混合（hybrid）。雲服務的關注點在微軟、亞馬遜、谷歌等公司的超大型數據中心環境中運行的AI處理。

另一方面，設備上發生的處理更多，這是連接或延遲發送數據到雲上的地方。Orr 說：「在智能手機或可穿戴設備，例如智能眼鏡使用語音作為輸入，這會繼續增長。現在設備上只是沒有大量的現實世界例子。」他認為增強現實是這方面的關鍵驅動力。

最後，hybrid方面的工作是的兩個平台聯合完成AI計算。這就是你的手機如何識別到你向它提問的內容，並使用基於雲的人工智慧去回答你的問題。

云：rAIning演算法

雲的重要性源自AI學習的方式。AI模型越來越多地轉向深度學習，即使用具有許多層的複雜神經網路來創建更準確的AI程序。

神經網路的使用有兩個方面：第一個是訓練，網路分析大量數據以生成一個統計模型。這實際上是「學習」階段。第二個是推理，神經網路對數據進行解釋以產生準確的結果。訓練這些網路需要消耗大量的計算能力，但訓練負載可以分為許多同時運行的任務。這就是為什麼具有雙精度浮點和核數很多的GPU表現如此好的原因。

然而，神經網路越大，挑戰也越大。英偉達 Accelerate Computing Group 副總裁 Ian Buck 表示，神經網路的規模每年都在翻倍。英偉達正在創造計算能力更強大GPU架構來應對，但該公司也在改變其數學的處理方式。

Buck說：「通過減少一些精度可以做到。」最初，神經網路的訓練全部發生在32位浮點，但英偉達今年5月發布的一個具有32位內部數學的16位輸入的Volta結構，優化了這一點。

根據Buck的說法，將計算精度降低到16位有兩個好處。他說：「一方面，你可以利用更快的計算能力，因為處理器在較低解析度下往往有更大的吞吐量。」削減精度也能增加可用帶寬的量，因為每個計算獲取的數據量更少。

「問題是，你能降低到何種程度？」Buck說，「如果精度太低，就不能訓練。你永遠達不到生產所需的精確度，或者會變得不穩定。」

超越GPU

在英偉達努力改進GPU的架構時，一些雲供應商已經在使用GPU的替代架構來打造自己的晶元。谷歌的第一代TPU（張量處理器）最初專註於推理工作負載的8位整數。同樣是在5月份，谷歌發布新一代TPU，提供浮點精度，並且既能用於推理，也能由於訓練。這些晶元是專用集成電路（ASIC）。與CPU和GPU不同，ASIC是為特定目的設計的（最近你可能經常看到它們被用於比特幣挖礦），而且不能被重新編程。

谷歌的規模非常大，足以負擔與設計ASIC相關的非常高的非經常性支出（NRE），因為谷歌在基於AI的數據中心運營中節約了成本。谷歌在許多應用中使用ASIC，從識別街景試圖到執行Rankbrain搜索查詢，每當由TPU而不是GPU來執行某個操作時，谷歌都可以節省電力。

Moor Insights & Strategy的高性能計算和深度學習高級分析師Karl Freund說：「這能夠節省很多錢。」

不過，他並不認為谷歌完全是為了省錢而這樣做。他說：「我認為他們是為了完全控制硬體和軟體堆棧。」如果谷歌是在AI上投注，那麼谷歌在終端應用程序（例如自動駕駛車輛）到軟體框架，到雲，等等上面的控制也就可以理解。

FPGA以及更多

微軟也不是只在驅趕松鼠，微軟在自己的數據中心改造中使用現場可編程門陣列（FPGA）。FPGA類似ASIC，但它是可重新編程的，因此可以更新演算法。它們被用於處理Azure中的網路任務，但微軟也把FPGA用在諸如機器翻譯這樣的AI工作負載上。英特爾也想分AI工業的一杯羹，無論在哪裡運行，包括雲。到目前為止，英特爾的Xeon Phi高性能CPU已經被用於通用目的的機器學習的處理，其最新版本Knight』s Mill將與今年出貨。

英特爾還有一些用於更具體的AI任務的加速器。在訓練深度神經網路方面，英特爾將其希望寄托在 Lake Crest，這是它收購的 Nervana 出品的。這是一個協處理器，使用一種被稱為HBM2的內存來克服數據傳輸性能的上限，比DDR4大約快12倍。

雖然這些大玩家在圍繞GPU，FPGA和ASIC構建的系統間進行競爭，但其他人正在嘗試從根本上改寫AI架構。

據報道，Knuedge在為基於雲的操作研發256核晶元，但目前沒有更多消息。

英國的Graphcore公司今年發布了IPU。IPU（Intelligence Processing Unit）使用基於圖形的處理，而不是GPU使用的向量（vector）或CPU使用的標量（scalar）處理。Graphcore 希望這將使得IPU能夠在單個處理器適合訓練和推理工作負載。它的技術的有趣的一點是，基於圖形的處理被認為是減輕AI處理中最大的問題之一的方法——把數據從內存帶到處理單元。

Wave Computing也專註於不同類型的處理，即使用所謂的數據流架構（data flow architecture）。它有一個專為數據中心運行設計的訓練設置，可以達到2.9 PetaOPs /秒。

邊緣AI

基於雲的系統可以處理神經網路的訓練和推理，手機、無人機等客戶端設備主要是後者。它們需要考慮的是能量效率和低延遲計算。

英偉達的Buck說：「你沒法依靠雲來驅動你的無人車。」在決定避開前方某輛車之類千鈞一髮的決策時，你的車不可能等待連接到雲。因此，所有的計算都必須在車上發生。英偉達為此推出了P4自動駕駛汽車平台。

FPGA在設備端也取得了長足的進步。英特爾擁有Arria，這是專為低耗能推理任務而設計的FPGA協處理器。初創公司KRTKL的首席執行官Ryan Cousens及其團隊將一個低耗能雙核ARM CPU固定到處理神經網路任務的FPGA。這個平台是眾包的，名為Snickerdoodle，用戶是希望得到無線I / O和計算機視覺能力的開發者和研究人員。

人工智慧正在進入更小型的設備，例如你口袋裡的手機。一些處理器供應商正在對他們的架構進行通用目的的改進，這也對AI處理有用。例如，ARM發布了性能更高的CPU，能夠更好地處理機器學習任務。

Qualcomm的SnapDragon處理器現在擁有一個神經處理引擎，可以決定哪些位置的定製邏輯機器學習和神經推理任務應該運行（數字信號處理器中的語音檢測和內置GPU上的圖像檢測）。它也支持用於圖像識別的卷積神經網路。據報道，蘋果也在計劃自己的神經處理器，將傳統電話程序卸載到專用晶元上。

更智能的手機

這對於ABI的Orr來說是有意義的，Orr說，儘管大部分活動在基於雲的AI處理器中，但隨著設備上能力的提升，未來幾年將會從雲上轉移到設備上。除了例如AR之類的領域，這也可能幫助造出更聰明的智能助理，它們可以更好地理解我們的意思。

「它們不能以一部非常大型的，上面寫滿我們可能會說的話語的大辭典為依據來採取行動。」他說：「自然語言處理可以變得更加個人化，訓練的是系統，而不是訓練用戶。」

這隻能使用能在給定時間進行更多處理以推斷上下文和意圖的晶元。通過允許卸下並切換不同的詞典，允許對特定個人可能說的所有事情進行調整和個性化。

這個領域的研究將繼續發展，各個團隊專註於推動推理架構的創新。MIT 電子工程教授 Vivienne Sze 說，在深度神經網路的推理中，消耗大部分能量的並不是計算。她說：「能源消耗的主要來源是將輸入數據從存儲器轉移到MAC（multiply and accumulate）硬體，然後將數據從MAC硬體轉回到內存這一過程。」

Sze教授在一個名為Eyeriss的項目工作，希望能夠解決這個問題。她說：「在Eyeriss，我們開發了一個優化的數據流（名為row stationary），這減少了數據移動的量，特別是從大的內存移動的數據量。」

還有更多的研究項目和初創公司在為AI開發處理器架構。雖然我們有一些只是營銷噱頭，但人們對於技術的新年顯然是足夠的，人們正在把這些技術諸如到硅晶元中。

隨著基於雲的硬體的不斷發展，預計硬體將在無人機，手機和汽車上支持AI。

與此同時，微軟的研究人員顯然希望能夠把他們的獵松鼠代碼放到更小的晶元上，這次是在0.007mm的Cortex M0晶元。相比原先樹莓派上的機器學習模型，這需要將模型縮小10000倍。

原文：https://www.theregister.co.uk/2017/07/24/ai_hardware_development_plans/?page=1

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！