邁入加速期的OpenPOWER:開放架構背後的黑科技和生態觀
對於一家107年歷史的企業來說,轉型、再加速,談何容易,其難度不僅在於技術架構的迭代升級,更在於戰略與文化的重新思考。過去一年,人們見證了科技行業的兩筆重磅交易:微軟75億美元收購GitHub、IBM 340億美元收購紅帽,兩家IT巨頭先後擲下千金顯然已醞釀多時,其背後的理念轉變更為深刻,那就是「開放」。事實上,比起微軟對Linux的態度180°改變,IBM很早就投入數十億美元擁抱Linux,並在此之上構建了工具和應用,而作為踐行IBM開放策略的重要體現——OpenPOWER,在歷經五年的發展之後收穫了豐厚的技術成果和生態夥伴。
近年來,圍繞摩爾定律是否失效的言論不絕於耳,大家對此且不急於下論斷,但一個實際情況是隨著硅晶元逼近物理和經濟成本上的極限,人們在運行深度學習、機器學習、神經網路等AI工作負載的時候,開始尋求新的架構去打破已有的算力瓶頸,異構計算由此而來。除了在高性能計算領域大殺四方,異構計算同樣吸引了越來越多的行業參與者加入,由IBM、DELL EMC、Google、HPE、Mellanox、NVIDIA、Xilinx等企業所支持的OpenCAPI可謂其中的代表,其背後就是OpenPOWER,POWER9也是OpenCAPI首發的平台。
2018OpenPOWER中國高峰論壇
當然,OpenPOWER與IBM的POWER並不能劃等號,IBM將高水準的「原廠」POWER從CPU級別的專利授權到CAPI技術進行了全面開放,正是這種開放的架構和生態成就了OpenPOWER。在2018 OpenPOWER中國高峰論壇上,IBM大中華區董事長陳黎明直言:「『封閉』也許贏得先機,但是『開放』肯定代表未來!」為此,IBM作為OpenPOWER基金會的重要成員和技術推動者,將繼續和合作夥伴們一起,構建一個和諧、健康的合作生態,帶來更高價值的服務。
IBM大中華區董事長陳黎明
目前,OpenPOWER基金會已經吸納了來自35個國家和地區的340多家成員,有超過10萬款Linux應用在Power上運行,2500多家ISV廠商在Linux上貢獻代碼,合作夥伴推出了超過150種OpenPOWER認證產品。與此同時,工信部自2014年以來也在積極推動IBM與中國企業加強技術交流合作,先後簽訂了工信部與IBM關於支持OpenPOWER技術合作的諒解備忘錄、關於支持軟體聯合創新的諒解備忘錄,推動成立中國POWER技術產業生態聯盟、建立聯合創新實驗室等,打造開放的生態環境。中國元素,已成為推動OpenPOWER產業發展的中堅力量。
與中國共成長的OpenPOWER
當萬物皆智能逐漸成為企業數字化轉型的風向標,AI基礎設施也在經歷從通用架構到並行計算,再到專有架構的三級躍遷,單一的x86架構在特定場景的計算能力亦在經受考驗。可以看到,這些年來越來越多的中國企業在藉助OpenPOWER進行業務創新,其中不乏阿里、騰訊這樣的互聯網巨頭,也有中國移動、中國石油這樣的傳統行業老大,以及Zilliz這樣快速發展的創業公司。2018年,來自中國地區的OpenPOWER會員數量升至50個左右,並且會員增幅達到20%,是成長最快的一年。期間,中國市場的關注方向也由原先比較著重於硬體開發者,轉變為對ISV進而到生態的培育,包括大數據分析、GPU、資料庫等解決方案的打造。
OpenPOWER基金會會長Bryan Talik表示,基金會的主要工作可以從三個領域來看:第一是促進各方之間更為深度的技術合作,確保參與者的軟體和硬體研發工作更有效率,加速新產品上線。為此,OpenPOWER在10月吸納了中國科學院計算機網路信息中心加入了基金會,並在12月初與後者共同創辦了中國首家OpenPOWER聯合培訓中心,培養能夠掌握運用相關技術和解決方案的人才。此外,OpenPOWER還準備在2019年成立「衛星工作小組」,以便在中國有專人負責、更好地補充和推動基金會在技術層面的工作,加強本土化開發和相關標準的制定。
OpenPOWER基金會會長Bryan Talik
第二是推進生態系統的培育和演進,包括將從事系統、軟體和組件開發的供應商有機協調起來去適應大數據、人工智慧等現代化的工作流程。一方面OpenPOWER在2019年會把更多的精力放在ISV身上,通過培訓中心等形式幫助他們將更優質的應用放到OpenPOWER平台,另一方面其也會與阿里、深圳大學等客戶開展更為多元化的合作。
一個協作開發的經典案例是,在2016年的OpenPOWER峰會時,加速器工作組有10個成員發現針對CAPI FPGA的編程非常困難,於是開始合作開發軟體堆棧直至做出CAPI Snap,如今已經有20個頂尖院校可以使用這項技術展開競賽。為了進一步深化與中國市場的合作關係,OpenPOWER基金會甚至安排了專職的工作人員。
第三是強化OpenPOWER的品牌認知,繼續在全球各地積極舉辦峰會活動,藉此展示OpenPOWER的前沿技術和各領域的最新案例。「OpenPOWER基金會的工作使命就是不斷促進軟體和硬體的開發工作,在全球最開放、最強大的處理器計算平台之上,我們希望能夠通過從晶元到固件,到操作系統,到應用程序等各個方面齊頭並進,為全球各地的客戶提供最優秀的技術。」Bryan Talik說。
創新源於強勁的硬體基礎
如果說Linux是推動POWER開放賦能的一座開源橋樑,那麼IBM的POWER處理器就是構築OpenPOWER聯盟的硬體根基。作為IBM戰略級的核心資產,POWER一直被視為高品質的代名詞,運行AIX的RS/6000曾在央企和大型企業中留下深深的印跡,後來這些伺服器合併為一個系列——POWER伺服器,獨特的性能設計漸漸成為POWER的標籤。
通常,若是x86處理器每個內核能支持2個線程,那麼POWER處理器的每個內核就可以有8個線程,8路多線程POWER處理器內核的平均性能幾乎是x86內核的兩倍。之所以能夠獲得如此強勁的性能,除了線程數量,內存訪問、I/O傳輸等多維度的考量同樣重要,可以說,卓越的整體設計成就了POWER。
在POWER9時代,IBM的設計重心開始向人工智慧傾斜,這種有意的順勢而為也體現在多個方面:搭載POWER9處理器的新一代伺服器Power Systems AC922集成了NVIDIA Tesla V100 32GB GPU,並通過NVLink實現直接、高速連接,數據吞吐量是基於PCle 3.0的x86伺服器的5.6倍(POWER9支持PCIe Gen4),能夠大幅提升Chainer、TensorFlow及Caffe等AI框架的性能,加速Kinetica等資料庫效能,可以將深度學習框架的訓練時效提高近四倍,推進了人工智慧的部署和應用。
筆者在現場第一次見到POWER9真身
較上一代產品,POWER9處理器每核性能提升40%,單核線程數提升4倍,L3高速緩存提升3.3倍,處理器互聯帶寬提升7倍,單處理器內存容量提升2.7倍,內存帶寬提升2倍(POWER10會達到435GB/s),IO總帶寬提升2倍,同時具備NVLink 2.0、CAPI 2.0、New CAPI等特性,這種三位一體的硬體加速優勢也讓POWER9將Summit推上了TOP500榜首的寶座,並使其兼顧了GPU的深度學習能力。
由此可以說明的一點是,POWER9的Scale Up和Scale Out能力都處在高水平,前者最大12核SMT8可支持16插槽互連,讓高端的關鍵業務客戶在單機上用胖節點實現HPC部署更加得心應手,後者則是在Summit和Sierra身上驗證了自己的實力。
IBM研究院認知系統開發副總裁、IBM院士Brad McCredie介紹POWER Roadmap
當POWER還處於POWER4階段的時候,Jonathan DeMent就開始參與相關的研發工作,他現在是OpenPOWER處理器及技術交付總監,他回憶稱,與基金會的接洽始於大約五年前,當時的原因是看到了處理器市場的一些瓶頸和挑戰,「我們是第一家做出摩爾定律正在衰亡、並且離最終結束不遠的判斷的公司,為此我們致力於改變自己的創新方式,進行下一代的處理器設計。」
OpenPOWER處理器及技術交付總監Jonathan DeMent
正是處於對新型工作負載的考量,POWER開始將注意力投入人工智慧、雲計算等領域,並為此打造除了配套的軟體工具,使得處理器和加速器之間能夠實現無縫連接。對於客戶來說,POWER架構提供的體驗是高一致性的,而且基於開源技術的軟體堆棧全面開放,像一些微服務的部署可以做到順暢地運行。
OpenPOWER生態的築巢者
「POWER是體系結構領域裡或者說在通用處理器設計的工程領域裡面的最佳實踐。」浪潮商用機器有限公司(IPS)總經理胡雷鈞說。IPS是去年9月浪潮與IBM宣布成立的合資公司,今年5月正式運營,旨在圍繞POWER處理器技術在中國設計國產的POWER伺服器和OpenPOWER伺服器,從而建立一個強有力的POWER生態。
浪潮商用機器有限公司(IPS)總經理胡雷鈞
作為OpenPOWER鉑金會員,浪潮商用機器藉助POWER9對雲、大數據、AI等多種應用環境的支持,在OpenPOWER領域形成了FP5280G2、FP5290G2和FP5295G2三款標準化伺服器,和FP5180G2、FP5466G2兩款支持企業深度定製伺服器的高性能產品矩陣,並基於JDM模式,面向客戶創新應用助力客戶進行自主向上的定製,不僅提供了優質的基礎架構,還有更廣泛、便捷、定製的端到端方案規劃與售前、售後服務。
胡雷鈞談到,浪潮商用機器成立以來主要圍繞三個方面開展工作:首先是以POWER為基礎提供更豐富的產品組合,可以看到其中既有縱向擴展為企業關鍵業務打造的核心承載平台K1 Power E980、K1 Power E950,也有橫向擴展滿足企業數據密集型計算需求的K1 Power S914、K1 Power S922、K1 Power S924、K1 Power L922、FP5280G2、FP5290G2、FP5295G2。 同時,浪潮商用機器還會幫助POWER處理器在異構加速方面進行場景優化,例如在分散式大規模機器學習環境中,基於POWER9處理器技術的全線新品提供了面向加速器、異構計算的Cache一致的高速互聯,可以實現多種領域中不同演算法近10倍的性能加速。
其次是積極與行業解決方案的ISV合作,幫助行業ISV一起為客戶設計最終的落地方案。例如,浪潮、IBM、IPS會投入超過百人的技術團隊協助ISV熟悉POWER平台、POWER平台的編程和優化方式,熟悉從其他平台向OpenPOWER平台進行軟體移植的方法,以及庫函數和調優工具,讓更多的客戶在POWER平台部署業務應用。
此外就是通過OpenPOWER技術進行使能,包括藉助POC和遷移、應用優化的服務,幫助ISV建立在OpenPOWER平台開發高效應用軟體和解決方案的能力。「我們希望通過生態的力量讓大家認識到POWER的好處,並且我們也在盡最大可能在未來繼續擴大POWER的裝機量。」胡雷鈞說。可以看到,IPS憑藉聯合設計、聯合開發、聯合定製、共享計算平台的模式,為客戶的多元化需求、AI負載等應用環境構建了一套快速設計、交付、部署的模式,而這在很大程度上也得益於生態夥伴的幫助。
開放定義OpenPOWER的成功
毋庸置疑的是,「開放」成就了OpenPOWER五年來的成功。在筆者看來,這種開放可以體現在三個層面:第一是文化的開放,OpenCAPI異構計算設計大賽是由IBM中國、IPS、OpenPOWER基金會成員贊助的賽事,旨在鼓勵大學和科研機構了解OpenPOWER系統上FPGA異構計算的先進技術,參賽者會與OpenPOWER基金會多家會員合作,在OpenPOWER系統平台上實踐開發,獲得企業專家的一對一指導。今年的大賽由復旦大學微電子學院聯合主辦,吸引了來自17所高校的27支代表隊參加,最終有10支來自全國高校的學生隊伍獲獎。眾所周知,IBM與高校的合作由來已久,而這種促進交流、聯合創新的模式也透過OpenPOWER延續到了OpenCAPI大賽中,對於傳播POWER開放架構的理念而言,文化先行不可或缺。
2018 OpenCAPI異構計算大賽
第二是架構的開放,POWER的開放性適用於當前混合異構計算的發展趨勢。例如,此前處理器和加速器之間的分離是通過PCIe通道驅動加速器,對通用處理器有著較大負擔,而OpenPOWER通過OpenCAPI和NVLink的介面方案解決了這一困擾,允許GPU直接訪問處理器的內存空間。對於訪存密集型的GPU加速尤其是在AI應用方面,也可以在模擬神經網路足夠大時獲得更高的計算效率。再如開放處理器的cache一致性介面,要知道在複雜演算法對加速器要求越來越高時,只靠一家廠商的技術是難以滿足多樣化需求的。此外,POWER還能夠支持AIX、Linux、UNIX等多種操作系統。
從小型機時代開始,POWER被不少人貼上了高高在上的標籤,而隨著OpenPOWER的到來,POWER一方面仍然可以用來作一些不可替代的任務,如200G HDR互聯(PCIe Gen 4)和大規模AI計算(若模型超過32GB內存,POWER可讓GPU直接訪問CPU內存,若達到64GB內存,客戶要自定義FPGA,就要用一致性訪存的方式直接訪問主存),另一方面也可以利用縱向擴展的能力向下觸達到普通開發者,如美國的一家公司用POWER系統開發出了售價在1500-2000美元的低成本工作站。正是因為有了「Open」,POWER才能夠惠及如此多的客戶群。用胡雷鈞的話說,(OpenPOWER)既是擁抱混合異構計算的平台,又是充分開放競爭的平台。
第三是生態的開放,就像幫助2018年超算計算機No.1 Summit登頂的背後有Mellanox的網路技術、NVIDIA的GPU加速……OpenPOWER的生態圈中擁有谷歌、騰訊、Xilinx、Uber、Rackspace、Hitachi等一批重量級的合作夥伴,阿里達摩院也在此次高峰論壇上表示了對OpenPOWER 在AI與異構方面能力的興趣,並且正在達摩院的AI研究中嘗試合作機會。在紅帽,其Linux和混合雲平台也先後實現了對POWER9的支持。一個細節是,在IBM宣布收購紅帽之後一周,IBM公司董事長、總裁及首席執行官羅睿蘭(Ginni Rometty)就首次在公開市場購買了百萬美元市值的IBM股票,足以證明最高層對開源、開放的堅定信念。Jonathan DeMent透露,2019年POWER將有更多在公有雲領域的重磅發布。
在IBM OpenPOWER中國總經理吳偉明看來,中國市場在OpenPOWER的合作夥伴生態系統中扮演著至關重要的角色,未來將在AI、大數據、雲計算、軟體定義存儲四大領域重點拓展。此前,POWER在中國市場積累了大批ISV解決方案合作商(Solution Provider),這些合作商又會分為一級和二級,未來將與POWER VC、POWER VM等雲產品結合去落地更貼近客戶、面向行業的解決方案。
IBM OpenPOWER中國總經理吳偉明
Jonathan DeMent表示:「我們所說的開放體現在各個層級上,比如Open host code,開放的BMC、開放的堆棧、開放的Linux、開放的框架、開放的POWER AI,每一個層級都是開放的,都是透明的。我們已經做了很多工作,未來還會繼續朝著開放的方向邁進,我們要確保整個一長串堆棧上的每一個層級,從最開始的晶體管到最後一行的編程代碼都是開放的。」
結語
再加速,掀開了IBM完成階段性轉型的新篇章,而開放的生態系統無疑將是「大象奔跑」的推進燃料。從摩爾定律到Watson定律,數據革命為各行各業的數字化轉型插上了智慧的翅膀,而以AI為代表的技術變革也對現代化基礎架構提出了新的考驗。依託為AI設計的POWER9,OpenPOWER將把創新的技術、平台、工具賦能於中國市場的每一家行業客戶和合作夥伴,幫助他們去探尋認知商業的價值所在。正如陳黎明所說:「IBM POWER已經做好準備,幫助大家在智能時代找出制勝的關鍵!」


※群暉DS1517+天津6242元
※雙屏四指猶如開掛 都是845你怎麼這麼優秀
TAG:中關村在線 |