清華大學博士生塗鋒斌：設計神經網路硬體架構時，我們在思考些什麼？（下） | 硬創公開課總結

基於神經網路的人工智慧近年取得了突破性進展，正在深刻改變人類的生產和生活方式，是世界各國爭相發展的戰略制高點。

神經網路作為實現人工智慧任務的有效演算法之一，已經在各種應用場景獲得廣泛的應用。從雲端到移動端，不同應用場景也對神經網路的計算能力提出了不同的需求。

神經網路的廣泛應用離不開核心計算晶元。目前的主流通用計算平台包括 CPU 和 GPU，存在著能效較低的問題（能效即能量效率，是性能與功耗的比值）。為了獲得更高的能效，我們需要設計一種專用的神經網路計算晶元來滿足要求。國際IT巨頭，如英特爾、谷歌、IBM，都在競相研發神經網路計算晶元。

然而，神經網路的結構多樣、數據量大、計算量大的特點，給硬體設計帶來了巨大挑戰。因此，在設計面向神經網路的高性能、高能效硬體架構時，我們需要思考清楚以下三個問題：

• 好的計算模式應該是怎樣的？

• 為了支持這樣的計算模式，架構應該怎樣設計？

• 已經實現的硬體架構，針對具體演算法和應用需求，如何配置成最優的計算模式？

雷鋒網本期公開課特邀請到清華大學微納電子系四年級博士生塗鋒斌，為我們分享神經網路硬體架構的設計經驗。他將通過介紹其設計的可重構神經網路計算架構 DNA （Deep Neural Architecture），與大家分享在設計神經網路硬體架構時需要思考的問題。他在完成設計的同時，解決了這些問題，並對現有的硬體優化技術做出了總結。

本文根據雷鋒網硬創公開課演講原文整理，並邀請了塗鋒斌進行確認，在此感謝。由於全文篇幅過長，分（上）（下）兩部分。

上篇傳送門：

清華大學博士生塗鋒斌：設計神經網路硬體架構時，我們在思考些什麼？（上） | 硬創公開課總結

講完了計算模式的優化，我們接下來針對硬體架構設計給大家做一些分享。

我們研究工作的核心主要集中在計算模式的優化上面，而硬體架構本身其實更多的是如何去配合好的計算模式。

如圖所示，這是 DNA 架構的一個整體的框架圖。DNA 的全稱是 「Deep Neural Architecture」，它的整體架構和我們之前提到的硬體架構模型是類似的，當然在具體的細節上就是會有一些參數，還有一些數據、通路上會做一些細緻的一些策劃。值得一提的就是說我們的計算核心內部有兩個計算引擎，共享同一個同一塊局部輸入寄存器，但有各自的輸出寄存器，而架構主要有三個特點：

• 針對網路各層的配置信息

  架構在片上會存儲一些針對網路各層的配置信息（Configuration Context），存儲在控制器內部（藍色虛框）

• 可重構的數據通路

  即從 Output Buffer 反饋回 Output REGs 的通路（紅線）是可重構的。此外，整體的輸入數據通路也是可重構的形態。

  另外在 CE 內部，它也會有一些可重構的數據通路，我們之後會展開。

• 「Ping-Pong」緩存設計

  我們的設計中必須要考慮的一點，在於我們必須承認，對現有的這些深度神經網路而言，它的計算量數據量非常大，以致無法在片上完整地存儲整個網路的數據和權重，所以在計算過程中，我們不得不與外部的存儲進行頻繁地訪問。為了在計算過程中對存儲器的訪問不影響這些計算的性能，使得計算單元一直處於工作狀態，我們需要對於每一塊的這些存儲進行一個「Ping-Pong」Buffer 的緩存設計，意思就是說在當前 Buffer 在工作的時候，它的另一塊 Buffer 在外面保留數據，使得我當前 Buffer 用完的時候，下一次需要用到的數據也準備好了。

此外，我們對 CE 內部（Convolution Engine）內部做了一些額外的設計——4 級 CE 結構，這裡提一些主要的概念。我做了一個空間上的展開圖。

它主要有四個級別：

• 第一個層次叫做輸入寄存器級（Input REG Level），對應的是 CE 內部的局部輸入寄存器；

• 第二個級別叫數據傳輸級別，或稱數據共享級（Data Sharing Level）。它主要是進行數據通路的重構，以支持我們剛剛提到的並行卷積映射方法，是很重要的一個部分。

• 第三部分就是最核心的計算機，即 MAC 級（MAC Level），MAC 就是乘加單元的意思，就是最核心計算以一個 16×16 的陣列實現。

• 第四級就是和輸入級對應的輸出寄存器級。

而我們前面也提到，CE 是由很多個 PE 構成的，那麼此處 CE 的第二至第四層這三個級別，他們對應的是 PE 的三個級別，實際上 PE 也是一個三級的結構，和 CE 結構是對應的，比如對於一個 CE 來說，總共有 16 個 PE，所對應的就是 16 個 Map 和 16 個數據傳輸級的寄存器，從數值上我們也可以看到它的對應，具體就不多展開了。

採用了並行卷積映射方法的時候，如何共享所使用的輸入數據呢？我們設計了一個數據傳輸網路（Data Sharing Network，DSN）。這三個圖分別對應的是 16×16、8×8 和 4×4 的網路，以不同的塊和尺寸來進行數據的傳輸，傳輸的方向主要有三個，包括從左往右的橫向、從上往下的縱向、以及斜 45 度角的從左上往右下的斜向，以相鄰的數據塊進行數據的傳遞。

我們這裡以步長為 2 且使用 DSN0 的一個案例簡單看一看。我們之前說到，對於步長為 2 的情況，並行計算四張 Map，而每張 Map 的數據其實是復用的。具體來說，紅色小塊代表的是 Map0 的第一個點，它所收集到的輸入數據是可以直接共享給它相鄰的三個（綠色、紫色和藍色）的三張 map 上面的，而它們只需要直接從紅色小塊上的 PE 上獲取各自所需要的數據，並不需要從外部導進來。這樣的話，其實從一定程度上減少了訪存的次數。

有了一個架構之後，我們需要有一套的工作流程去指導怎麼使用它。

我們的主要工作流程主要分為兩個階段，一個是編譯階段，第二個是執行階段。

階段 1：編譯

我們需要輸入神經網路的一些參數，以及硬體的約束，比如 Buffer 的容量，還有計算資源的個數等描述硬體架構的一個參數，一旦硬體架構設計好後，這些參數是可以提出來的；

在我們的編譯框架裡面，需要對網路的每一層逐一地進行調度，並執行一個調度框架，它內部其實是在解決一個優化問題，優化問題是什麼？

用戶可以設定是要優先優化性能還是優先優化能效，或者優化兩個目標，而它的約束條件就是我們硬體上的一些參數，比如說我緩存的需求不能超過片上的緩存大小等，這些都可以通過一個約束條件進行約束。通過執行一個調度框架，我們可以得到每一層的調度結果，分別由數據復用模式和卷積映射方式構成，並用一些參數化形式表達。

對神經網路的每一層進行這樣調度，我們就得到每層的一個調度表，從而生成目標神經網路的配置信息，這時候我們就可以進入執行階段，配置信息會放入到主處理器里。

階段 2：執行

在執行過程當中，大家看左邊大的矩形就是我們的 DNA 架構，它會不斷地從處理中讀取配置信息，隨後會根據需求從片外的 DRAM 里讀取數據和權重，在片上進行神經網路的計算，在計算過程中因為片上存儲有限，它會將數據再寫出到片外的 DRAM，這個過程是不斷的迭代，就以圖中 1234 的次序進行迭代，以完成整個神經網路一個計算，這是我們所說的逐層加速的一個策略。

我們在這裡簡單地展示了 AlexNet 的網路在 DNA 架構上的一個調度結果。

圖上呈現的是神經網路的每一個層，這裡其實既包括卷積層，也包括全連接層；採用了數據復用模式與卷積映射方法。從參數中我們可以看到，對 AlexNet 的不同的層，它有不同的調度結果，這其實也是符合我們預期的。

到目前為止，我們已經講完了基本的計算模式和架構設計，接下來我們就看一看一些實驗結果。

這是 DNA 架構的實現結果圖，圖上每個模塊也標出了對應的區域，右邊是主要的一些參數，我們使用的是 TSMC 65nm LP，面積是 4.0×4.0 平方毫米，片上的 Buffer 容量是 280KB，在 220MHz 的工作頻率下，控制性能達到了 204.8 GOPS，而平均的性能是 194.4 GOPS，平均功耗是 479mW，需要注意的是，這裡的功耗指的只是架構晶元設計的功耗；架構內部的數據寬度（Precision），它是 16 Bit 的定點寬度。

我們直接看一下結果。我們使用的是 AlexNet、VGG、GoogLeNet 與 ResNet 這四個非常經典的卷積神經網路，這兩個圖分別展示了總能耗降低及 PE 利用率提升的情況：

• 片上緩存訪問的降低達到 1.4 到 2.2 倍，主要是與 Input Reuse、Output Reuse 與 Weight Reuse 來相比。

• 片外 DRAM 訪問降低了 7.6 到 11.4 倍；

• 總能耗的降低達到了 5.9 到 8.4 倍，這是一個比較大的一個提升，

• 計算資源利用率平均提升了 3.4 倍。而平均的利用率是達到 93%，這是非常高的一個值。

與頂尖工作比較（AlexNet）

除了方法上的比較，我們還和目前頂尖的這些工作進行了一些比較，這主要和英偉達的 K40，還有 FPGA＇15、ISSCC＇16 等非常經典的神經網路架構的文章進行一些比較，具體的話不進行過多展開。

這張表展現的是 AlexNet 上的一些具體分析結果，大家主要看一些參數。

第一個是計算資源利用率，我們評估了一下，在 FPGA＇15、ISSCC＇16 的工作上，計算資源利用率大約只有 68%，而用 DNA 架構，可以獲得 88% 的一個計算資源利用率，達到 1.3 倍的提升，還是個比較大的一個提升。

另外值得提的一點是，我們的能效是 FPGA＇15 的 44.6 倍，是 ISSCC＇16 的 1.8 倍。大家看名字也能知道，前者是在 FPGA 上實現的，而後者是在 ASIC 上實現的。

特彆強調一點，我們這裡比較的能效是系統能效。大家通常喜歡比較的是純晶元的內部能效，不考慮片外存儲，其實並不是特別公平。

我們在評估晶元本身的能耗以外，還評估了片外 DRAM 的能耗，綜合起來我們稱之為系統能效，我們認為這樣的比較是相對合理的。在這種比較下，我們獲得的能效提升也是非常好的。

最後，我們與更多的一些工作進行比較。這一張表格里有展現出來，我們直接看結論。

我們的 DNA 架構，它的系統級能效比 CPU 提高了三個數量級，比 GPU 高兩個數量級，比 FPGA 高一個數量級，基本上達到我們的設計需求。

基於 DNA 架構，我們完成了一款 Thinker 晶元，這是一款可重構的神經網路計算晶元。左邊是晶元的照片，右邊是我們搭的晶元 demo 演示圖，相關的成果已經發表了數篇的頂級會議文章和權威期刊文章。

值得一提的是，我們在今年 ISSCC（該領域的頂級會議）上作了 poster 的展示。

此外，這款晶元作為清華的傑出的代表性工作，參加了 2016 年的全國雙創周展覽，獲得李克強總理的高度讚許。李總理表示，希望 Thinker 晶元儘快拓展應用領域，實現規模化生產，實現晶元行業的自主創新。這是一個非常高的評價，我們會繼續努力，實現總理對我們的期望。

首先回到最開始提出的三個問題，我們對這三個問題都做了非常好的解決。

• 好的計算模式是怎麼樣的？

  首先它需要具備一個混合的數據復用模式，另外還需要一個並行的卷積映射方法降低總能耗，以提升計算資源利用率。

• 為了支持這樣的計算模式，架構應該怎麼設計？

  我們設計了一款可重構的神經網路計算架構 DNA，它具有可重複的數據傳輸通路和計算引擎。

  我們對針對計算模式做了一個很好的架構設計，相比 CPU、GPU 和 FPGA 都有多個數量級的系統級能效提升。

• 已經實現的架構，針對具體演算法和應用需求，如何配置成最優的計算模式？

  我們設計了一個基於網路層的調度框架，配合架構的使用，將調度問題轉化成一個優化問題。這樣一來，針對任意的網路，其他的架構也可以使用我們的調度框架，將調度問題轉換成優化問題，配置成用戶想要的最優計算模式。

這些所有的相關成果已經發表在今年的 IEEE Transactions on Very Large Scale Integration System（TVLSI）上。

最後我們對現有的優化技術做一些思考。

最開始我們在分析的時候提出了兩個主要公式，分別對能耗和性能進行評估。這兩個公式其實是一個非常好的一個描述，或者說建模的分析方法。

我們也對近幾年出現在頂級會議和權威期刊上，針對神經網路硬體架構所使用的硬體優化技術以及演算法優化技術進行了整理。

• 計算模式優化

  第一類就是其實是和我們這份工作很相關的，就是計算模式方面的優化。它主要優化的是什麼？它通過降低訪存次數來以及提高計算資源的利用率來實現能效、能耗和性能的優化。

• 模型壓縮、降低數據精度及二值化

  這些技術主要能夠降低單位 DRAM 和 Buffer 訪問的能耗以及單位計算的能耗。

• 非易失存儲器

  第三類是在學術界非常流行的非易失存儲器，簡稱 NVRAM，將這種新型的存儲器應用到我們的架構設計當中。NVRAM 具有一個非易失的特點，然後它的通常它的功耗是很低的，可以降低單位存儲訪問的能耗；有的工作，比如說使用 NVRAM 進行乘加計算陣列的構建，甚至可以降低單位計算能耗。

• 稀疏化

  無論是演算法還是硬體，稀疏化是大家目前都非常關注的一個特點。不管是數據還是權重，神經網路其實有大量的零以及接近零的數值，我們通過人為的一些控制，使得數據裡面出現更多的零，這樣我們可以減少從存儲器中訪問數據的次數，甚至可以降低操作數，因為如果是零的話，我可以不做計算，因為零乘以任何數都是零。

  神經網路的基本計算就是零，所以稀疏化的好處就是可以降低訪問次數和操作次數，對於能效的好處是非常明顯的。

• 動態電壓頻率調節

  動態電壓頻率調節簡稱 DVFS，它是一個非常經典的、大家很常用的電路技術。我們可以通過降低電壓和頻率，來降低單位訪存和計算能耗。如果我希望獲得很高的性能，我可以通過提升電壓以提升頻率，來獲得更好的性能。

我們可以發現，目前現有的這些優化技術，其實都對應我們對性能或者能效的設計或優化的需求。

通過對現有這些技術的分析，也可以啟發我們所做的事情。比如說，我們如果想用新的技術，可以回顧一下這兩個公式，是否真的有效，是否解決了關鍵的問題？這其實是我很想分享給大家的觀點。

這裡有我的一些聯繫方式，包括個人主頁、知乎專欄，電子郵箱等，歡迎大家與我聯繫。

我在維護的 GitHub 項目名為「Neural Networks on Silicon」，因為我們領域近幾年呈現爆髮式的發展，有大量新的工作出現，我在 GitHub 上做了一個小小的項目，整理了一下近兩年出現在這個領域頂級會議上的一些論文，也會對部分有意思的工作做一些評論。大家有興趣的話可以看一看。其實這也是一個蠻好的整理，但因為現在的工作實在太多了，大家也可以幫助我一起整理。

這頁 PPT 上呈現了剛剛涉及到的一些重要參考文獻。

好，謝謝大家，現在進入提問環節。

1. 你們的工作和國內外神經形態晶元相比（非加速器），有哪些優勢？

我簡單介紹一下，我們的神經網路硬體晶元這一塊主要有兩個流派，一塊是神經網路加速器範疇，另外一個是神經形態晶元，英文叫做 neuromorphic chip. 而我們的工作屬於神經網路加速器的範疇，而題主提到的神經形態晶元屬於另外一類晶元，以 IBM 的 TrueNorth 為代表。那麼二者的主要區別是什麼？

它們主要是演算法原型不一樣。前者或者說我們的工作主要針對的是人工神經網路，特別是強調就是當前非常流行的，以深度學習為代表的神經網路，而後者的演算法模型是我們稱之為叫脈衝神經網路，英文叫做 spiking neural network。

在脈衝神經網路的網路裡面，數據以脈衝信號的形式進行信號信息的傳輸，這樣一種網路，或者說這樣的計算方法，其實更接近我們最開始提到的生物上的什麼樣的模型，

首先，二者因為目標演算法不一樣，所以不好直接比較性能和功耗，如果你看到一些直接比較功耗的工作話，我覺得並不是特別公平，因為連目標演算法都不一樣，設計的目的也不一樣。我們做科研非常講究公平比較，為了更公平的比較，其實硬體層面其實並不是很好的一個比較方式，比如從演算法層面來比較深入學習和脈衝神經網路。當前的主流觀點是前者的精度更高（識別人臉），而後者因為更具備生物上的一些特點，在能效上更有優勢。

我個人的觀點是：就目前而言，深度學習幾乎統治了模式識別的各個應用領域，是當下更好的一種選擇，但是科學是螺旋式發展的，深度學習不可能永遠地統治下去，我覺得也應該不會是人工智慧的最終形態。

脈衝神經網路，其實代表的是科學探索的一個方向，但我覺得也並不是唯一的方向。如果關注人工智慧這塊的話，我們其實會看到有很多其他的方向也在展開，比如說量子計算。

人工智慧的最終形態並不一定是製造一個人的大腦，或者人腦。關鍵在於是否能夠解決問題，比如說我們要識別人臉，什麼樣的演算法才是好的演算法，那麼怎樣的演算法才能解決問題，這才是關鍵。而它具體的形態並不是我們特別關心的，這裡有個比較恰當的例子分享給大家，好比人要飛翔，其實並不需要有一個鳥一樣的心態，歷史上已經證明過，很多人製造了翅膀也飛不上去，其實我們只要造一架飛機就夠了，甚至我們還能飛上天空甚至飛出銀河系。我們不在乎形態是怎樣，關鍵是要能夠解決問題。

2. 你們在第二代架構在設計上有哪些構想？

這位同學應該是看了我知乎專欄上的一些文章。其實剛剛有提到，現在有一些比較大家常用的一些技術，就像稀疏化等，其實在我們的二代架構設計當中已經有一些考慮。基本上不能說有多大創新，但我們都會考慮進來。

這是我們現在在做的一些工作，主要想解決大家真正在用神經網路硬體架構的時候會遇到的一些實際的問題，如果有新的成果發表出來，也會及時地分享給大家。

3. 晶元只針對推斷進行優化嗎？推斷其實就是前向計算的過程，沒有包括訓練的過程嗎？

在第一代神經網路晶元 Thinker 上，我們主要只針對正向計算做了優化，如果大家對訓練過程比較了解的話，其實訓練的過程當中有大量的正向計算的過程，當然它還包含了一個反向的誤差傳播的過程，在我們第一代晶元當中沒有考慮誤差傳播的過程，我們已經在做一些相關的工作，如果做出來之後會及時地和大家分享一下我們的一些想法。

4. 如何看待「晶元+人工智慧」這樣一種模式？

我簡單講講吧，大家從新聞上已經能看到很多報道，說人工智慧時代到來了，其實人工智慧或者這個概念，我覺得更多是媒體在為了宣傳的方便，所以靠一個很好的帽子，也更方便大家理解。

其實我們剛才也提到，大家經常說到人工智慧，其實它背後有更多的內容，比如深度學習、機器學習等，深度學習本質上就是神經網路，只是經過很多年的擴展之後或者說發展之後，成為現在的樣子。

那麼人工智慧硬體或者說晶元，簡單來說叫做智能硬體。它在未來就是一定會代替人做很多事情，這是未來的一個發展趨勢。隨著生活智能化，未來的智能硬體會越來越多，會代替人做很多事情。比方工廠里使用一些機械臂，或者說一些生產線上的工具，可以代替人做體力勞動。

智能硬體在未來，肯定會代替人去做一些稍微低級點的智力勞動。人的偉大，其實是在於創造工具、使用工具，我們會製造越來越多的智能工具，替代我們做很多我們不想做的事情或者說反覆的事情，讓我們用有限的精力去做更多的、更高層次的一些智能任務吧。所以我覺得「人工智慧+晶元」或者說智能硬體的一個模式在未來肯定是會一直發展下去的，是不會變的。

5. 如何看待 GPU、FPGA、ASIC 的未來？

我談一點自己的見解，GPU、FPGA、ASIC 是當下智能硬體，或者說人工智慧晶元的三個極點。GPU 可以認為是偏向通用的一類硬體，然後 ASIC 是相對專用的一種硬體，而 ASIC 是介於二者之間的一種硬體，它們各有千秋，然後各有所長。當前 GPU 廣泛地應用於訓練過程或者說大量數據的訓練。FPGA 可以根據應用的需求非常適應性的去改變配置，把不同的演算法燒進去，完成不同的功能。

狹義上的 ASIC，可以具體的某一種應用，或者說比方說做一款晶元來專門實現人臉識別。大家可以看到，我們剛剛介紹的基於 DNA 架構的 Thinker 晶元，其實是一種可重構的 ASIC，這種結構叫做 CGRA（Coarse Grained Reconfigurable Architecture），它其實有點像 FPGA，它可以重構配置來支持不同的演算法。我們可以支持任意網路規模、任意參數的神經網路，它的好處是我們採用大量粗粒度的 PE 形式的計算資源，使之能夠快速地、高效地、在線地配置計算資源的形態來支持不同演算法。

其實我個人覺得，針對未來可能會發展成一種融合的形態，不知道大家有沒有注意到，英偉達最新發布的 V100 其實是有 Tensor Core 的，因此我覺得未來的通用計算可以處理很多複雜的控制或者邏輯等。

而一些很關鍵的計算，比方說神經網路裡面的神經元計算，或者說一些核心的計算，會做成一些專用的 ASIC、可配置的核，放入通用的一個處理器如 CPU 和 GPU，甚至是 FPGA 裡面。其實這就是融合的一種思想。

此外 CPU 通常用於訓練一個過程，有很多實際的應用場景，或者說我們剛才提到雲端與移動端，移動端的話有大量的低功耗的需求，此時用 CPU 平台就顯得不是那麼合適，所以說其實我外部的控制邏輯可以稍微簡單一點，像我們用到的我們設計的這款可重構的晶元就可以直接運用到其中。

對於神經網路的應用來說，它其實是有一定通用性的，所以在移動端，它其實有很大的潛力，作為一個處理的核心來做神經網路計算，來實現如圖像識別或者語音識別的任務。

今天的公開課就到此結束了，非常感謝大家來收聽和觀看雷鋒網的硬創公開課。我和我們組也會繼續做神經網路硬體架構的一些研究，剛剛跟大家分享的也是我們過去一些研究的成果和思考。我們現在也在做一些非常有意思的研究，也歡迎大家跟我們交流，如果有一些新的成果，我也會及時和大家分享，今天的公開課就到此結束，謝謝大家，再見。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！