先突破「內存牆」再來談邊緣AI吧

為快速成長的人工智慧(artificial intelligence；AI)應用實現高效率的運算性能，必須解決「內存牆」(memory wall)的瓶頸，並推動新的架構解決方案；這是法國CEA Tech旗下技術研究機構Leti關注的重點領域。

Leti首席執行官Emmanuel Sabonnadiere在Leti年度創新會議上接受《EE Times》訪問時表示，業界需要一種高度整合的整體途徑，將AI從軟體和雲端移至邊緣(edge)的嵌入式晶元。

Sabonnadiere說：「邊緣確實需要一些創新，採用除了CMOS以外的不同架構，從結構上整合至系統，並從雲端實現自主性——例如針對自動駕駛車，您需要雲端儘可能地獨立作業。」

他認為恩智浦(NXP)可望成為驅動在邊緣實現更多運算的一項關鍵指標，因而針對高通(Qualcomm)併購恩智浦一案發表評論：「你覺得高通為什麼要買下恩智浦？它是為了(邊緣運算)的感測，而將數位置於感測之後。」 Emmanuel Sabonnadiere

為了解決運算架構典範，Sabonnadiere期望能在Leti與斯坦福大學(Stanford University)電氣工程和計算機科學系教授Subhasish Mitra帶領的團隊合作中取得一些突破。Mitra的研究已經進展一段時間了，專註於為龐大資料和密集互連應用探索內存內處理(processing-in-memory)的新架構。這項研究獲得了美國國防部先進研究計劃局(DARPA)、國家科學基金會(NSF)、Semiconductor Research、STARnet SONIC和斯坦福大學SystemX聯盟的成員公司共同資助。

Sabonnadiere談到晶元驗證時說：「我們深信這是解決『超越摩爾定律』(more-than-Moore)挑戰的前進方向，並且已經要求Mitra教授打造這一研究展示了。」

在會議上，Mitra表示，龐大的資料超級風暴正襲卷而來，而其運算需求遠超過處理能力，因此必須使用支持先進3D整合的運算納米系統架構。

Mitra說：「數據必須經過處理才能創造決策，但目前還有太多我們無法處理的『暗黑』數據。以Facebook為例，它必須採用256個Tesla P100 GPU，才能在1小時訓練好ImageNet，這在以前大約需要幾天的時間。」

提高運算性能的選擇

那麼目前提高運算性能的選擇是什麼？Mitra說，其一是要有一個更好的邏輯開關——但這方面的實驗展示並不多。第二種是使用設計「技巧」，例如多核心、加速器或電源管理技巧。但他也補充說，可用的技巧並不多，而且當實施這些技巧而使設計變得更複雜，甚至會使驗證變得更困難。另一個挑戰則是Mitra所謂的「內存牆」。

Mitra說：「各種類型的龐大數據應用中，一個共同點就在於內存牆——系統需要更有力地存取內存。」

Mitra說，這就是專註於內存的運算概念所在，也是與Leti合作的關注重點——Sabonnadiere希望將在這方面取得突破。它使用先進3D整合使得運算更接近於數據。該晶元採用碳納米管(CNT)，因為Mitra表示它們是唯一可以超越CMOS和電阻式隨機存取內存(RRAM)的技術。 Subhasish Mitra

RRAM和碳納米管彼此垂直建構，形成具有邏輯層和內存層交錯的密集3D計算機架構。在這些分層之間插入超密走線，應該就能以這種3D架構解決通訊的瓶頸。

Mitra將這個問題比喻為從舊金山(San Francisco)到加州伯克利(Berkeley)之間的交通挑戰——由於只有三座橋樑可以穿越兩個都市，因而造成了交通堵塞。然而，如果打造更多的橋樑——或者在他提出的3D架構情況下，就能夠解決多納米級交錯層間過孔的瓶頸。

內存和軟體2.0的突破

Leti首席科學家Barbara De Salvo表示，業界並未充份重視新興內存技術，這些技術通常仍被視為利基技術。 Barbara De Salvo

De Salvo說：「在內存領域，業界仍持續採用傳統技術。而像電阻式RAM、磁阻式RAM和相變內存等新興技術仍未被充份利用。但它可望在實現新型架構方面帶來巨大突破。」De Salvo並補充說，在未來幾年，在軟體中使用深度學習和AI也可能中在運算方面取得重大突破。

她說：「我指的是一個使用深度學習和機器學習來開發軟體的新概念。軟體是一個系統中最昂貴的部份之一。透過使用深度學習產生軟體，以前需要花六個月的一些任務現在可以只需要幾天的時間。」

編譯：Susan Hong

本文授權編譯自EE Times，版權所有，謝絕轉載

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！