中國內存內計算晶元又有突破，老架構如何煥發新活力？

隨著物聯網時代的到來，海量的數據蜂擁而至。特別是各種應用終端和邊緣側需要處理的數據越來越多，而且對處理器的穩定性，以及功耗提出了越來越高的要求，這樣，傳統的計算體系和架構的短板就顯得愈加突出，未來，具有更高效率和更低功耗的計算系統一定會大行其道。

在這樣的背景下，存算一體（Computing In Memory，內存內計算）AI晶元應運而生。目前，不少國際上的領先企業和研究機構正在致力於各種新型存儲器的研究，其中一個很大的驅動力就是希望能夠實現具有更高效率的存算一體系統，而在這其中，AI的融入也是一大趨勢。這些使得計算+存儲+AI的融合發展成為了一大方向。

不僅是在國際上，最近幾年，我國本土的一些企業和科研院所也在致力於這方面的研究工作。就在上周，合肥恆爍半導體科技公司與中國科大團隊歷時兩年共同研發的基於NOR快閃記憶體架構的存算一體AI晶元系統演示順利完成。這是國際領先的超低功耗存算一體的人工智慧晶元。據悉，該晶元是一款具有邊緣計算和推理能力的AI晶元，能實時檢測通過攝像頭拍攝的人臉頭像並給出計算概率，可廣泛應用於森林防火中的人臉識別與救援、心電圖的實時監測、人工智慧在人臉識別上的硬體解決方案等。

這也是我國本土企業在基於NOR快閃記憶體架構的存算一體AI晶元領域的又一次突破，實際上，在該領域，恆爍半導體並不是唯一一家，還有其它一些企業也在進行著基於NOR快閃記憶體架構的低功耗AI晶元的研究工作。那麼，作為一種傳統的、非前沿的存儲技術，NOR快閃記憶體架構有怎樣的特點和優勢，能夠使得這些企業對其投入資源和人力，進行相應的低功耗AI晶元和系統研發呢？

存算一體的優勢

在談基於NOR快閃記憶體架構AI晶元的特點和優勢之前，先來看一下存算一體晶元的優勢及其能夠解決的主要問題。

目前來看，不論是PC還是超算，處理器和存儲晶元都是分離的，這就是馮諾依曼50多年前確立的計算架構。隨著技術的發展，存儲計算分離的架構瓶頸越來越明顯。

一般晶元的設計思路是增加大量的並行計算單元，比如上千個AI卷積單元，這樣，需要調用的存儲資源也在增大，然而，在傳統的計算架構當中，存儲一直是有限且稀缺的資源，隨著運算單元的增加，每個單元能夠使用的存儲器的帶寬和大小將逐漸減小，而隨著人工智慧時代的到來，這種矛盾顯得愈加突出，特別是對於物聯網來說，網路的每一層，現有權重和每個AI訓練示例的元素都被載入到處理器的寄存器中，然後相乘，並將結果寫回到存儲器中。這樣，性能瓶頸就不是在計算一側了，而是處理器和存儲器陣列之間的帶寬。存儲器和處理器之間的這種分離是馮·諾依曼架構的定義特徵之一，並且存在於幾乎所有現代計算系統中。

這種「存儲牆」的高起正在阻礙著AI產業的發展，可以說，存儲器是AI晶元發展的最大瓶頸。

在很多AI推理運算中，90%以上的運算資源都消耗在數據搬運的過程中。晶元內部到外部的帶寬，以及片上緩存空間限制了運算的效率。因此，在業界和學術界，越來越多的人認為存算一體化是未來的趨勢，可以很好地解決「存儲牆」問題。

如果能夠讓計算和內存更緊密地結合在一起，甚至是在內存內進行計算，就可以大幅提升數據的傳輸效率，同時節省更多的電能，因為在內存和計算之間不再需要往返太多次數，一切處理過程都再同一晶元內完成了。

分類

為了應對物聯網以及存算一體的應用需求，各種新型的、傳統的存儲技術和器件紛紛登場，想在這些新興應用方面盡量地施展出自己的才華。

過去50年中，SRAM、DRAM和Flash已經成為存儲器的主力，這些存儲結構在往更小的幾何結構微縮的過程中都存在問題，很重要的原因在於它們都是平面結構，而新的存儲技術，如基於電阻開關的存儲技術是金屬層結構，消除了許多製造問題。然而，由於DRAM和Flash技術已經非常成熟，成本又很低。所以，它們在存算一體方面依然有獨到的優勢，也正在被一些企業所採用

目前來看，新型的存儲技術主要包括相變存儲器（PCM）、鐵電存儲器（FeRAM）、磁阻RAM（MRAM）、電阻RAM（RRAM或 ReRAM）、自旋轉移力矩RAM（STT－RAM）、導電橋RAM（CBRAM），以及氧化物電阻存儲器（OxRAM）等。基於這些的存算一體研究或多或少地都在進行著，相應的成果也經常見諸於報端。以上這些都是新技術，目前來看，它們的主要問題就是成本，以及生態系統的完整度，還需要一些發展時間才能成氣候。

而從存儲與計算的結合方式來看，存算一體又可以分為兩大類：一是在DRAM中植入邏輯計算單元，被稱為內存內處理或者近數據計算，這種方式非常適合雲端的大數據和神經網路訓練等應用；二是存儲和計算完全結合在一起，存儲器件也即計算單元，如採用基於NOR快閃記憶體架構的存算一體AI晶元，其主要特點是能耗低、運算效率高、速度快且成本低，這種形式比較適合邊緣側的神經網路推理等應用。

NOR快閃記憶體架構的優勢

基於NOR快閃記憶體架構的存算一體AI晶元，利用NOR Flash的模擬特性，可直接在存儲單元內進行全精度矩陣卷積運算（乘加運算）。規避了數據在ALU和存儲器之間來回傳輸的瓶頸，從而使功耗大幅降低、提高了運算效率。

其Flash存儲單元可以存儲神經網路的權重參數，同時還可以完成和此權重相關的乘加法運算，從而將乘加法運算和存儲融合到了一個Flash單元裡面。例如，100萬個Flash單元可以存儲100萬個權重參數，同時還可以並行完成100萬次乘加法運算。

在這樣的晶元裡面，深度學習網路可以被映射到多個Flash陣列，這些Flash陣列不僅可以存儲數據，其深度學習網路同時還能完成AI推理，注意，這個過程是不需要額外邏輯計算電路的，一切處理都在這一塊晶元內完成。相比於傳統的馮諾依曼架構深度學習晶元，這種的運算效率非常高，而且成本低廉，因為省去了DRAM、SRAM以及片上並行計算單元，從而簡化了系統設計。

目前來看，這種基於NOR快閃記憶體架構的存算一體AI晶元，其主要應用領域就是對成本和運算效率（特別是功耗）敏感的應用，如邊緣側的低功耗、低成本語音識別等。而隨著人工智慧和物聯網的發展，它還可以拓展更多的應用場景。

結語

無論是新型存儲技術，還是以NOR快閃記憶體為代表的老牌技術，在發展存算一體AI晶元方面，都需要不斷完善生態系統建設，才能使整個產業發展起來。

因此，除了存儲和計算技術本身之外，行業相關的介面標準跟進特別重要，特別是對於以存儲為基礎的新型應用來說，更加重要。另外，由於晶元內部集中了越來越多的功能塊，片內匯流排和片內網路系統成為了一個新的課題，目前，這方面的研究和新技術越來越受到業界的重視，新的技術和IP也陸續推出。

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯繫半導體行業觀察。

今天是《半導體行業觀察》為您分享的第2015期內容，歡迎關注。

半導體行業觀察

『半導體第一垂直媒體』

實時 專業 原創 深度

華為｜台積電｜江北新區｜三星｜IC｜AI｜博世｜ARM

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！