HPE：百億億次計算設備需要以「內存為中心」，從而降低節點間數據傳輸功耗與時耗

HPE公司高級技術部門副總裁Mike Vildibill在接受採訪時指出，功耗預算限制將終結現有超級計算機的設計模式——即採用多個獨立節點並在其間進行數據傳輸。

HPE公司的超大規模超級計算機思路似乎將立足其Machine類共享內存方案擴展而來。

目前，各主要超級計算機大國——包括中國、日本、美國以及歐洲各國——都希望能夠構建起擁有1百億億次處理能力的超大規模超級計算機。這意味著該設備每秒將能夠完成1百億億次浮點運算。

目前的超級計算機屬於千萬億次級別，其性能衡量單位為千萬億次。與之相比，越大規模系統的速度將提升上千倍。英特爾-克雷為阿拉貢國家實驗室打造的Aurora系統擁有180千萬億次運算能力，擁有5萬個獨立的x64與第三代至強Phi節點，總功耗為13兆瓦。每個節點能夠交付3.6萬億次運算能力。然而，英特爾公司在推動至強Phi家族晶元的發展當中遇到了巨大難題，因此重新回歸設計階段。也正因為這一影響，Aurora的上線時間已經由原本計劃中的2018年推遲到2021年或2022年左右。

美國能源部（簡稱DoE）下轄的PathForward計劃負責為超大規模計算項目提供資金，並於去年6月向六家供應商授予合約，用於資助此類硬體、軟體與應用的研發工作。其中具體包括：AMD、克雷、HPE、IBM、英特爾以及英偉達。PathForward計劃的目標，是在2021年之前向美國政府至少提供一套具有超大規模容量的系統方案。今年3月，能源部提交的一份預算申請顯示，目前正有三套系統處於構思階段當中：

• Aurora – 由英特爾-克雷於2021年交付給阿拉貢國家實驗室。
• Frontier – 於2021年到2022年交付給橡樹嶺國家實驗室。
• El Capitan – 將在2023年左右交付給勞倫斯-利弗莫爾國家實驗室（簡稱LLNL）。

目前尚不清楚Frontier與El Capitan系統將由哪些廠商負責交付。不過可以看到，六家供應商應該會兩兩結對，那麼除去已經確定的英特爾與克雷合作開發Aurora系統之外，接下來的組合很可能是HPE加IBM以及AMD加英偉達——這顯然吻合CPU加GPU的配伍思路。

將於2021年推出的Aurora系統將擁有20到40兆瓦功耗預算，5萬個標稱節點，而這也將成為Aurora系統的初始發展標準。

HPE公司的Vildibill表示，目前存在各類包含數萬個節點的超算設計藍圖，其中每個節點皆擁有自己的緩存、存儲器以及I/O功能。然而，這些節點無法以合理的方式擴展至超大規模水平。

很明顯，大家無法直接選取180千萬億次、5萬節點加13兆瓦的系統，並簡單將其擴展至超大規模級別。因為這意味著我們需要將節點數量增加5.6倍至28萬個，並由此帶來理論上的73兆瓦運行功耗。

必須加以調整，從而滿足能源部對超大規模超級計算機的功耗限制。

如果某一節點上的軟體需要的數據不在其內存當中——而是存在於另一節點的內存中，則會引發實際問題。這意味著另一節點必須接收對目標數據塊的調用請求，將其打包並發送給請求節點。這需要消耗時間、CPU計算周期、IO通道資源以及功耗——換言之，時間與能源。

在HPE的超大規模系統當中，各處理節點仍然擁有自己的本地內存，但這些節點會直接構建於CPU核心之上或周邊，即處於相同的處理器包之內。如此一來，相當於消除了像DIMM內存那樣位於外部匯流排之上的情況。這些節點隨後利用光子進行互連——換言之，其利用光脈衝直接將信息傳入及傳出處理晶元。

在理念上，內存、光速網路與計算核心的物理性緊密結合應該能夠使得計算機在不消費過多電力的前提下擴展至超大規模水平。畢竟光纖連接的功耗水平遠低於銅線。HPE公司研究員兼副總裁Paolo Faraboschi已經構想出10塊萬億級處理器利用每秒1 TB連接接入這樣的本地內存。

目前，智能手機與其它緊湊型設備同樣傾向於將內存固定在CPU核心之上，因此在超級計算機中應用這種設計思路也完全在情理之中。

在HPE公司的思路當中，上萬甚至數十萬個節點與大量內存將通過其HyperX架構以及擁有高雙工埠數的光子路由器進行連接。HPE實驗室的研究人員們正在積極開發全硅光子器件，其能夠在多條光通道之間進行激光切換，並通過節點網路進行高速數據傳輸。

HyperX.擁有超立方體與序列化蝶形拓撲擴展方式，並配備一種DAL自適應路由演算法。該拓撲結構能夠將處理器分組為所謂多個維度，某一維度中的各處理器都與該維度中的其它處理器直接連接。

大家可以將一個維度想像成蝴蝶的翅膀。每個維度都與其它維度擁有直接連接。維度跳數為1，而這一數字會隨著自某一維度內的處理器到另一維度內的其它處理器的過程而增加——不過HPE方面表示，儘管如此，該跳數仍然遠低於其它拓撲結構方案。

如此一來，在處理器上運行的代碼將利用HyperX光子結構並載入存儲語義以訪問共享內存資源池。HPE公司設計利用Gen-Z作為內存語義協議，而AMD公司正是Gen-Z聯盟的成員。內存製造商美光同樣是其中一員，因此其可能負責提供晶元連接型內存以供AMD CPU在這類設備當使用。

在HPE公司發布的超大規模方案當中，運行在節點處理器上的軟體將使用並共享存儲順指針以訪問數據，而無需考慮其究竟存儲在本地內存當中還是另一節點的內存當中。如果互連鏈路速度足夠快——每秒能夠移動數百GB數據——則信息將得到有效載入，節點間的計算與存儲資源將擁有透明化與原子化特性，從而避免給系統帶來性能瓶頸。

另外，這種方法還意味著各數據塊不必在節點間進行明確的複製，並可利用鎖定及其它機制將數據塊提交回內存以避免爭用。相反，全部處理過程都應在光子結構層中以快速化、透明化且原子化方式實現，這在理想情況下應該能夠有效降低功耗與延遲水平。

從本質上講，HPE公司必須證明在利用這一技術時，訪問某一節點中內存內數據的速度與訪問特定節點中內存內數據的速度能夠保持一致。在此之後，CPU高速緩存將開始介入，隨後該緩存工作集正式開始接受計算處理。

總結來講，HPE公司打算將其共享內存技術的剩餘部分剝離出Machine項目研究，進一步加以完善，並將其部署在美國能源部的超大規模項目當中。我們可以想像，HPE公司很可能選擇AMD作為其CPU合作夥伴，而美光則將以內存供應商的身份出現。那麼，HPE最終負責的將是Frontier還是El Capitan呢？請大家拭目以待。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！