為什麼存儲器會成為阻礙AI發展的難題？

邊緣計算性能的提升給存儲器的設計，類型的選擇和配置都帶來挑戰，這也導致在不同的應用市場中需要進行更複雜的權衡。

晶元架構正在與新市場一起發展，但數據在晶元、設備之間以及系統之間如何移動並不總是很清楚。汽車和AI應用的數據正變得越來越多和複雜，但晶元架構在處理時有時不清楚如何優先處理數據。這讓晶元設計人員面臨抉擇，是選擇共用內存降低成本，還是增加不同類型內存提高性能和降低功耗。

所有這些都是以安全為前提，並且不同的市場設計的要求也不一樣。比如，汽車中的各種類型的圖像感測器（如激光雷達和攝像頭）的大量數據需要在本地處理。AI晶元則希望性能能夠提升100倍。

解決內存問題有一些方法，其中一種是片上存儲器，也就是將存儲器分散地集成在運算單元旁，最大程度減少數據搬移，這種方法的目標是通過減少負載和存儲的數量來突破內存瓶頸，也能降低功耗。

「存算一體（In-memory computing）可能是模擬的、數字的，或兩者都有。」 Cadence Digital＆Signoff Group的高級首席產品經理Dave Pursley說，「雖然在內存中進行計算的想法可能是日益增長的趨勢，但在這種計算中實際發生的情況似乎大不相同。」

SRAM和DRAM仍是主流

儘管市場出現了新的變化，但片上SRAM和片外DRAM仍是主流。已經有專家預測DRAM多年後將「死亡」，但它仍然是最經濟和可靠的選擇。DRAM具有高密度、架構簡單、低延遲和高性能的特性，兼具耐用和低功耗的特性。

DRAM密度的增速正在放緩，但HBM2等新架構允許通過堆疊模塊的方式而不是使用DIMM來垂直增加密度，這種方法還讓DRAM更靠近處理單元。

另外，SRAM價格昂貴且密度有限，但其高速性能多年來已被驗證。片上存儲器的挑戰是採用分布還是共用的方式，在某些情況下，為保證安全性需要增加冗餘。

「所有這些要求都會影響存儲器的類型和數量的選擇，還涉及片上和片外存儲器之間的權衡，以及訪問每個存儲器互連的複雜性。」Arm高級物聯網架構師Ryan Lim表示。

低功耗存儲器是關鍵

存儲器的一個關鍵問題是功耗，其中存儲器類型和配置等多種因素都會影響功耗。例如，在7nm的存儲器中進行數據的存取可能消耗更多功耗，這是因為線路中的RC延遲。當然，這也會產生熱量，有可能會破壞輸入輸出存儲器的信號的完整性。

不過，較慢的片外數據使用高帶寬內存可以節省功耗，並且可以與高速GDDR6一樣快。如何做出這些決定取決有多種因素，包括設備的平均售價和選擇的存儲器類型。

還有針對手持移動設備的極低功耗的存儲器，包括越來越多使用電池的邊緣設備。

「這些存儲器具有極高的效能，可在一定程度上提升電池供電設備的功耗和數據速率。」 Rambus傑出的院士Steven Woo說。「它們也可以在多種模式下工作，當處於待機狀態時，可以消耗很少的能量滿足手機和平板電腦等產品的需求，並在需要進行處理時快速切換到更高性能/更高功率的模式。 」

低功耗存儲器還支持多種封裝方式，允許它們與手機處理器堆疊在一起，滿足智能手機的輕薄需求，也能集成在PCB上支持平板電腦和其他消費類設備高容量內存配置的需求。

毫無疑問，開發低功耗存儲器是一項挑戰。「當設計低功耗存儲器時，它們支持的速率範圍很廣，相對低功耗存儲器而言，這些數據速率往往是相當高的。」Woo說。「這通常是由一兩個主要應用市場驅動，所以它必須面向一個市場很大的行業，擁有足夠大市場的行業才能催生新的存儲器。從歷史上看，手機市場是成功的例子。如果與不同的手機製造商交談，他們都希望獲得性能和電源效率更高的存儲器，因為他們希望能夠延長電池壽命。對於其他想要使用低功耗存儲器的公司，他們會很慶幸其他人正在幫他們實現。「

通常，這些合格的存儲器可能在幾種不同的數據速率下運行，但速率很接近。「這些存儲器可能有一個是每秒4.2千兆比特的速率，另一個是3.2千兆比特。」他解釋道，「這可以讓內存製造商在生產所有這些存儲器時，進行所謂的分級。當某些部件沒有全速運行時會發生這種情況，但製造商依舊會出售這些內存，因為有些客戶需要以更便宜的價格購買性能較低的存儲器。Binning（數據合併）允許這種情況。這些產品的性能在一定的範圍內，都屬於合格品。「

存儲器如何影響人工智慧發展？

人工智慧在幾乎所有新技術中都扮演著重要角色，而存儲器又在人工智慧中起著重要作用。極高的速度和極低的功率是晶元一直以來追求的，不過這並不總是有效，因為空間有限。但它能解釋為什麼數據中心和用於訓練的AI晶元比應用於終端推理設備的晶元更大。另一種方法是減少一些片外存儲晶元，以提高數據吞吐量並通過設計減少到內存的距離，或者限制片外數據流。

在任何一種情況下，片外存儲器的競爭很大程度上歸結為DRAM-GDDR和HBM。

「從工程和生產的角度來看，GDDR看起來很像其他類型的DRAMs，如DDR和LPDDR，」Woo說。「你可以將它集成到標準PCB板上，還能用類似的製造工藝。HBM是新一些的技術，它涉及堆疊和內插器（interposers），因為HBM有許多連接速度較慢。每個HBM堆棧將具有一千個連接，因此需要高密度的互連，這遠遠超過PCB的處理能力。這就是為什麼有些公司正在使用內插器，因為可以將這些導線蝕刻得非常接近，很像片上連接，可以獲得更多的連接。「

HBM追求最高性能和最佳功效，但成本更高，需要更多的工程時間和技術。使用GDDR，DRAM和處理器之間的互連就沒那麼多，但它們的運行速度要快得多，這會影響信號完整性。

圖1：各種類型DRAM的特點。圖片來源：Rambus

PPA

功率，性能和面積（Power、Performance、Area）仍然是關鍵驅動因素，儘管有架構和變革和新技術。

「這三個都非常重要，但很大程度上取決於應用。」西門子Mentor知識產權部門總經理Farzad Zarrinfar表示。「例如，如果是一個便攜應用，功耗非常重要。電源本身也分動態和靜態。一部分是動態功率，一部是靜態功率。如果應用於無線通信，如果有大量計算，動態功率非常重要。但是，如果是可穿戴式應用，使用者會處於睡覺、醒來運動，然後又回到睡眠的不同狀態，靜態/泄漏功率非常重要。「

淺睡眠等功能使設計人員能夠大幅減少泄漏，這時，不工作的存儲器進入源偏置模式以減少泄漏，而其他被直接訪問的存儲組是工作的。在設計的深度睡眠時，可以通過電源管理，管理Vdd和最小化泄漏的技術來保留數據。如果不需要保留數據，則用關閉模式能進一步減少泄漏。

與電源效率相關的一切在汽車中也是至關重要的。「在電動汽車中，電池的壽命非常重要，因此耗電量至關重要，」Zarrinfar說。「人們希望從-40°C一直到125°C都具有線性的特性，甚至在更高的150°C情況下。他們不希望在高溫下泄漏陡然增長，並且他們希望儘可能地將其保持在線性範圍內。同樣，我們必須在整個溫度範圍內注意功耗和泄漏，這非常重要。「

無論應用領域如何，功率仍然是首要考慮因素。「我們看到隨著SoC設計向更小化發展。」他說。「存儲器的消耗正在增加，嵌入式存儲器的容量也在增加。現在，我們看到超過50％的裸片是存儲器。所以人們必須注意存儲器的耗電量。「

圖2：1999 - 2023年平均晶圓面積 來源：Semico Research

結論

儘管有大量革命性技術和創新架構，但內存仍然是設計的核心。雖然即將出現新的存儲器類型，例如相變和自旋扭矩，但大部分仍然應用於各種條件的市場。最大的變化在於如何對現有存儲器進行優先順序劃分、共用、在設計中選擇，以及最終如何使用它們。雖然這聽起來像是一個簡單的問題，但事實並非如此。

「選擇正確的內存解決方案通常是獲得最佳系統性能的最關鍵。」 Synopsys高級技術營銷經理Vadhiraj Sankaranarayanan 在最近發表的一份白皮書中指出，這說起來容易做起來難。

雷鋒網編譯，via semiengineering雷鋒網雷鋒網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！