多虧它,讓大家做好「山竹」來襲的準備「Make It Real故事匯」
不得不說颱風「山竹」來得快去得也快
周日廣東多個城市還在接受狂風暴雨的洗禮
周一上班族就開啟了通勤路上的「披荊斬棘」
天氣情況的變化自古就影響著民生大計
在古代,人們常依據風向、動物異象等預測颱風,比如「東風轉北,搓繩縛屋」,大量淺海魚類上浮,較大的深海魚來到淺海等信號,來判斷颱風是否來臨,並做好準備。
然而由於技術條件限制,古時的颱風預測的準確性和時效性都較差,因而每次颱風對沿海居民來說都是一場災難。
而今天,我們不僅看到颱風在哪裡出生,還能預知颱風走向何處!
這要多虧於HPC(高性能計算)這一氣象應用領域的法寶,通過應用衛星、雷達、自動觀測站等一系列探測工具獲取實時數據,再通過數值模式,對天氣變化過程進行深入的模擬研究和預報試驗。HPC在氣象預報預測業務中有著核心支撐地位,能有效起到保護生命、預防財產損失。
古有「草船借箭」的故事給諸葛亮博得「神機妙算」的美名。如今,「神機妙算」的重任由HPC接任,而且除了氣象預測,HPC在地震預測、碰撞試驗、生命科學,甚至零售、製造、金融領域等都發揮著重要且不可替代的作用。
關於HPC,今天為大家介紹上海交通大學(以下簡稱上海交大)的HPC項目。
2017年9月,教育部發布世界一流大學和一流學科建設高校及建設學科名單(簡稱「雙一流」)。上海交大成功入選。在「雙一流」建設方案中,上海交大確立了三個階段目標:到2020年躋身世界一流大學行列,若干學科進入世界一流前列;2030年進入世界一流大學前列,若干學科方向具有世界領先地位;2050年建成卓越的世界一流大學。
而要支持上述三階段目標,上海交大首先升級了其高性能計算(以下簡稱HPC)系統,以保障生命科學、模擬設計等重點學科的科研和教學。
HPC助推上海交大「雙一流」建設
「雙一流」與HPC:上海交大入選「雙一流」,與其強大的科研實力和堅實的基礎科研平台建設密不可分。其中HPC對於上海交大多個學科建設和科研工作的推進起到至關重要的作用。例如,針對生命科學,HPC可以用來進行生物分子的結構測定、生物信息學類計算、分子動力學類計算和計算機輔助藥物類計算等,從而滿足上海交大在這一領域的科研項目需求。
針對工程模擬,HPC的用途更多,如用來艦船/車輛等大型產品整體結構靜力、動力響應、安全性分析等;大壩/超高層建築/橋樑等大型土木建築結構地震響應分析,水流/風載/通風計算等。
總體而言,上海交大HPC系統的建立,在滿足其自身在科研、學科以及重要課題研究等方面高端需求的同時,還助力上海交大在「雙一流」建設中成為前沿學術科技的創新主陣地,從而躋身世界一流大學行列。
開展「雙一流」建設
上海交大HPC系統亟待升級
隨著「雙一流」建設的推進,上海交大的科研項目越來越多,HPC系統每年要為數百個科研項目提供2300萬核小時甚至更多的計算能力,並且眾多科研項目帶來的龐大數據量對IT資源的需求也越來越大,這給從成立之後一直沒有升級的 HPC系統帶來了巨大壓力:
存儲容量達到「紅色警戒」:理工科是上海交大的強項,如物理、天文、生命科學等自然科學以及一些新興學科都是使用 HPC 較多的學科。這些學科的課題研究本身對於數據的要求較高,產生的數據量也較大。上海交大HPC系統建成時,系統的可用容量為500 多TB,而不到一年,存儲利用率就超過90%,已經達到存儲需求的「紅色警戒」。並且數據量還在不斷攀升,存儲已經成為整個HPC系統的性能和容量瓶頸。
集群計算性能不穩定:為了支撐海量的計算任務,上海交大的HPC系統配備了332個CPU節點,130塊GPU加速卡和65個GPU加速卡節點。但由於HPC 存儲性能的不穩定,在大規模並行計算讀寫大量小文件操作方面,速度仍然較慢,從而拖慢整個數據的處理進程。上海交大需要能夠彈性擴展計算資源,以不斷提高存儲的吞吐量和性能,從而為整個HPC系統提供有力支持。
系統運維管理「拖後腿」:上海交大的HPC系統作為校級平台,要為全校所有院系的科研和教學項目提供支持。這就要求能夠對HPC集群進行集中、透明的部署、管理、監控和調度,在大幅提高計算能力的同時,加速應用處理。然而上海交大缺乏專業的運維團隊,且現有HPC系統管理的複雜性還帶來整個HPC系統運維過程中高故障率,嚴重影響用戶體驗的流暢性。
戴爾易安信
為上海交大HPC升級保駕護航
戴爾易安信藉助安裝了Intel EE for Lustre 軟體的HPC存儲解決方案,為上海交大搭建了一個高性能、高可靠HPC系統,滿足科研及教學項目的計算和存儲需求。
消除容量瓶頸:上海交大HPC新系統配備了戴爾易安信PoweEdge伺服器和高密度磁碟陣列,向上擴容可達180塊硬碟。新系統上線後,系統容量提升三倍,可投入使用的存儲容量達到2PB,後續還會繼續擴容至 3PB,為未來業務發展提供了保障。例如,生命科學學院基因測序課題組在進行項目研究時,再也不受原來系統在容量或性能上的限制,已經在新的系統上新增存儲100TB。
滿足各種項目性能需求:戴爾易安信雙控制器高速連接、高性能RAID以及GPU,保證了上海交大各類科研項目對HPC環境中高性能處理能力需求。此外,戴爾易安信磁碟陣列自帶高性能層許可,通過自動分層處理滿足對象存儲管理數據的性能要求,加快小文件讀寫速度。相比舊系統,新系統運行更為穩定,例如,在進行基因測序分析時,課題組成員可以同時利用100 多個節點來完成高通量的分析任務。
管理運維自動化減輕管理負擔:Intel文件系統(IML)提供了智能、豐富且直觀的統一web管理界面,管理運維人員無需專業技能即可輕鬆查看整個系統的吞吐量和故障點。並且當出現故障時,管理員只要遠程登錄到管理界面,通過實時、近實時監控,迅捷完成故障恢復,這為各院系課題組科研和教學的正常、順利進行提供了保障。
戴爾科技集團加速HPC在各行業著陸
戴爾科技集團在HPC領域的獨特優勢
在數字化轉型過程中,由於數據量激增和企業創新驅動發展所帶來的業務模式和應用模式的變化,使企業對IT計算性能的需求不斷提升,而HPC正是能解決企業難題的有力手段。不同行業和不同企業對HPC的需求各不相同,而功能強大和複雜的傳統HPC解決方案未必適合所有的企業。作為在IT企業級市場領軍的廠商,戴爾科技在HPC領域的獨特優勢,加速HPC在各行業著陸,包括:
- 加速開源落地:戴爾科技是OpenHPC創始成員之一,加速開源在HPC方案落地的能力。
- 中國戰略投入:戴爾科技在北京建立了高性能計算創新實驗室,可幫助中國的用戶實現軟硬體的測試、驗證和創新。
- 全球資源整合:戴爾科技通過全球戰略聯盟,結合HPC諮詢和服務,保證用戶在HPC方面的投資回報,確保HPC業務穩定安全。
- 開放產品方案:戴爾科技提供一系列基於開放技術的HPC端到端產品和針對典型行業HPC簡化方案,保證高可擴展HPC的穩定安全,讓更多中小企業將HPC作為業務創新引擎。
- 高性能生態鏈:戴爾科技將推動中國數字化轉型IT生態鏈作為戰略,通過雲聯盟、與中科院自動化所的深度學習戰略合作,根據中國市場需求,打造HPC生態環境,簡化HPC部署和使用,提高HPC創新和管理效率。
戴爾科技HPC 解決方案
研究領域HPC解決方案:包括PowerEdge機架式伺服器C4130;英特爾Xeon Phi處理器或NVIDIA GPU;基於英特爾Lustre的分散式存儲;Dell Networking高性能乙太網或Infiniband網路;Bright Cluster Manager集群管理軟體。
生命科學HPC解決方案:模塊化C6320伺服器;PowerEdge 伺服器作為大內存節點;基於Lustre存儲方案或NFS存儲方案,或Dell EMC Isilon存儲方案;Dell Networking 和 Mellanox InfiniBand 交換機。
製造業HPC解決方案:Precision工作站。
深度學習HPC解決方案:「諸葛·深知」。
戴爾科技集團不斷提升創新能力進行產品布局,同時整合優秀資源,率先推出了針對研究領域、生命科學、製造業、深度學習等領域的高性能方案;並且戴爾科技集團積極聯合領先的合作夥伴,採納社區標準,推動高性能計算平台生態圈的建立,全方位將高性能計算市場化、商用化、普及化,滿足各種層次各行業用戶的應用需求,幫助更多的企業和機構實現創新驅動發展。


※VMware將Kubernetes容器編排引入多個雲平台
※AWS可能正準備進入數據中心網路業務
TAG:至頂網 |