半導體產業這樣看深度學習

來源：本文由半導體行業觀察翻譯自semiengineering，謝謝。

相比於當今的其它機器學習技術，深度學習能夠提供更加精細和複雜的行為，也因此得到了很大的重視，被應用在了範圍非常廣泛的應用中。

這些性質非常重要，尤其是對於輔助駕駛和自動駕駛汽車等安全性至關重要的設備以及自然語言處理（機器可以根據對話的上下文識別詞句的意圖）等領域。

和人工智慧與機器學習一樣，深度學習已經得到了數十年的研究。現在不同的是深度學習正被添加到各種類型的晶元中——從數據中心到簡單的微控制器。而隨著用於訓練和推理的演算法越來越有效，機器學習/人工智慧的這一部分正湧現出各種各樣的應用模型——有些針對的是應用範圍非常狹窄的應用，有的則面向遠遠更加廣泛的環境決策。

Babblabs 的 CEO Chris Rowen 說：「其中有些預計是用於自動汽車的晶元將會需要的。使用神經網路的技術是有效的，而且功耗成本也相當低。所以增加深度學習子系統是有意義的。我們看到很多創業公司正在湧入這一市場。光是深度學習領域就有 25 家。有的公司面向雲，它們希望在這一領域淘汰英偉達。但也還有一些公司處於市場低端。這兩種情況都是高度結構化的矩陣乘法在需要儘可能快地運行低精度或中等精度計算的領域內的一種非常專門化的應用方式。這些計算對計算能力的需求是無止盡的。」

對於實現這些目標的各種工具、晶元、軟體和專業知識技能而言，這是個很好的預兆。

西門子旗下 Mentor 的總裁兼 CEO Wally Rhines 說：「汽車市場領域內有大量模式識別工作。你也可以在數據對數據中心的需求增長上看到這一現象。有數十家公司在做用於自適應學習的專用處理器。」

在所有這些市場和許多其它市場中，深度學習都是一個正在增長的領域。目前正在開發深度學習晶元的 eSilicon 的營銷副總裁 Mike Gianfagna 說：「深度學習已經被用來執行 iPhoneX 的人臉識別以及用於自然語言處理了，而且它也被設計用於自動汽車中以識別一個物體是狗還是貓。從表面上看，深度學習晶元很像是數據中心晶元。它可能會使用 HBM 內存堆棧來存儲訓練數據，從而使數據能快速輸入晶元，而且可能使用的是定製的存儲器。但這會比網路晶元更容易實現。一個網路晶元可能需要 50 到 90 個模塊，但它們全都各不相同。深度學習晶元的模塊數量雖然非常大，但大都是同種模塊的重複。所以它的布局布線更容易，它的模塊也更為緊湊並且表現更好。」

從商業角度看，深度學習、機器學習和人工智慧可以實現規模經濟，這能繼續推動 PC、智能手機/平板電腦和雲的銷量。

Rowen 說：「在過去，每秒執行數十億次乘法被認為是很大量的。但現在甚至邊緣設備也能執行數億次乘法。如果你有數萬億次，它們就可以發揮很大的價值。你可以在英偉達最新一代晶元上看到這一點。它們不再是每秒 10 萬億次浮點運算，而是每秒 100 萬億次。但這些也正變得越來越專用，設計的通用性也越來越差。在提供這種規模的計算上存在一些非常簡潔的方法。」

圖 1：深度學習與機器學習的比較，來自 XenonStack

深度學習是什麼？

儘管深度學習很熱門，但深度學習的定義仍然還有些晦暗不清。它位於人工智慧之下，要麼與機器學習並列，要麼就是機器學習的子集。不同之處在於機器學習使用的是為特定任務開發的演算法。深度學習則更多是矩陣在多層結構上的數據表徵，其中每一層都使用前一層的輸出作為輸入。這種方法更近似地模擬了人腦的活動，它不僅能識別一個棒球是否在運動，而且還能大致預測它落地的位置。

但在這背後，對深度學習的確切工作方式還不存在共識，尤其是在其從訓練轉向推理時。深度學習更多的是複雜行為的數學分布。為了得到這種表徵並且塑造它，可以利用多種形式的架構。深度神經網路（DNN）和卷積神經網路（CNN）是最常見的。循環神經網路（RNN）也所應用，這種架構增加了時間維。RNN 的缺點是處理、內存和存儲需求非常巨大，這將其使用限制在了大型數據中心上。

英國計算機科學家和認知心理學家 Geoffrey Hinton 也一直在推動 capsule 網路的概念，這種網路是在一個神經網路的層中堆疊層，基本上也就是增加這些層的密度。據 Hinton 稱，這能得到好得多的結果，因為它能識別高度重疊的數字。而且這是當今這一領域的大部分研究的主題之一——如何加速這整個過程。

這個問題非常複雜，人腦已經沒辦法搞懂所有一切，所以所有這些都必須得到建模和理論化。對於晶元製造商來說，這不是什麼新鮮事。自從晶元達到 1 微米工藝節點以來，就已經難以可視化一項設計中的所有不同部分了。但在計算機科學中，很多進展一直在很大程度上是二維的。旋轉和傾斜對象的數學表示難度要大得多，而且需要大量計算資源。為了提升速度和效率，研究者正試圖找到能約減這些計算的方法。不管，這是一個大難題，而且深度學習專家很大程度上對此也還沒有清晰的理解。

Optimal+ 的 CTO Michael Schuldenfrei：「深度學習某些部分處於黑箱之中。理解實際的決策過程是很困難的。你可以解釋一個機器學習演算法源自哪種模型。你要做大量比較不同演算法的工作。深度學習演算法比機器學習演算法更加複雜。但我們發現它們全都有一個共同點：在不同的產品中，來自這些演算法的答案可能是不同的。所以在產品 A 上可能隨機森林效果好，而在產品 B 上效果好的卻是另一種演算法或演算法組合。」

深度學習演算法可以回溯到 20 世紀 80 年代末。Cadence 的傑出工程師 David White 說：「很多工作都是從美國郵局開始的，它需要識別手寫的數字。他們意識到他們需要一種減少輸入空間的規模的方法，所以他們使用了額外的層來提取特徵。自那以後，深度學習演算法已經得到了很大的發展。」

與機器學習相比，深度學習演算法通常需要遠遠更多的計算能力。White 說：「深度學習使用的架構是特定的。它使用了卷積、池化和特定的激活函數。有些技術類似於機器學習，有些則不同。」

但是，這種方法並不能讓所有事情都受益。

Babblabs 的 Rowen 說：「更多參數本質上就可以建模非常複雜的行為。但你必須使用對應的數據集訓練它。如果你的問題很簡單，深度神經網路不會更準確。統計建模只能做到這麼多。人類可以學習到關於物體的大量事物以及旋轉它們時它們會如何移動。比起當前的機器學習或深度學習方法，人腦只需要少得多的樣本就能將這些知識構建到人腦中。目前而言，機器還沒有你正在旋轉一個物體的概念。它不知道透視。它只能從數以百萬計的足夠樣本中學習到。」

更多市場中的深度學習

儘管深度學習和機器學習分界線並不總是很清楚，但這些不同部分的應用正在得到人們的重點關注。

Synopsys 的嵌入式視覺處理器部門的產品經理 Gordon Cooper 表示：「用於嵌入式視覺的深度學習有良好的定義。我們也正看到它被用於雷達和音頻處理——你可以應用 CNN 演算法來處理。我們也看到有很多有關 IT 流程的請求，要將深度學習和人工智慧應用到這些方面。」

這種技術越來越容易使用的原因是很多技術構建模塊可以直接使用了，其中包括很多現成可用的演算法以及各種現成和定製或半定製的處理器、加速器和廉價的存儲器。Cooper 說：「使用 RNN 時，你可以選擇長短期記憶（LSTM）。如果功耗不是問題，你可以使用 GPU。另外還有嵌入式晶元，它們性能更低，但是更加註重功耗和尺寸。帶寬仍然是一個大問題，尤其是當你從 DRAM 存取數據時，所以在晶元內部有內存管理技術和乘法/累加。」

圖 2：深度學習應用的增長，來自 Semiconductor Engineering

晶元公司也已經通過對這項技術的內部使用而得到一些第一手經驗。

eSilicon 的 Gianfagna 說：「現在我們使用機器學習來管理我們用於 I/O 吞吐的計算農場，這個任務是很有難度的。我們追蹤所有的 CPU，然後根據工作來調校它們並創建預測負載。這基本上就是預測負載平衡問題，而且其中大部分工作都是在軟體中完成的。谷歌和 AWS（Amazon Web Services）等雲公司使用深度學習來處理它們的工作流程和負載平衡，而且它們是用硬體來做的。深度學習可能是這些操作中使用晶元最密集的部分。」

這種技術的一種更新型的應用涉及到機器人。Cadence 的 White 說：「這裡的關鍵在於這些設備需要持續不斷地學習，因為機器人所做的任務會變化，環境也會變化。所以如果你在菲律賓而不是歐洲從事生產製造，那麼軟體可能就必須適應這一點。對於物聯網領域的很多設備也是如此。感測器會出現在差異很大的環境條件下的系統中。這需要自適應的系統，這可能是機器學習、深度學習和人工智慧的下一個大浪潮。對於檢測不同波長的氣體感測器而言，感測器的性能會隨信號改變而下降。所以問題是一個系統能否適應這種變化並且仍然能完成工作。你總不希望每次鏡頭上冷凝了水珠的時候都關閉系統吧。」

深度學習也正在手機中出現。蘋果公司的 iPhoneX 使用了深度學習來做人臉識別。Synopsys 的 Cooper 說：「你也可以在手機上使用它來優化圖片，應用基於深度神經網路技術的濾鏡。但每個市場都有自己的需求。對於癌症檢測，難點是獲取足夠多的數據點。幾萬個是不夠的。汽車行業則相反，你有大量視頻，但你能用這些數據做什麼？這裡的關鍵是如何使用技術找到這些視頻中重要的部分。」

總結

深度學習如何才能得到有效地應用，如何理解它能在哪裡以及不能在哪裡提升價值？半導體行業才剛剛觸及表面。如何才能使用最少的功耗快速完成所有必需的訓練和推理？這方面還將繼續模糊不清。

在過去，深度學習技術是與大型計算機和超級計算機密切關聯的。但隨著設備越來越小而深度學習在更受限的應用中得到使用，這項技術將會在越來越多的市場中產生更大的影響。這個市場的騰飛才剛剛開始。

今天是《半導體行業觀察》為您分享的第1489期內容，歡迎關注。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！