一條龍！有關基於 OpenStack 如何部署HPC

打造開源雲計算中國第一互動社區

內容專註於Linux、Kubernetes、OpenStack、容器、Ceph、Cloud Foundry......

導讀

毫無疑問，OpenStack 是一個令人興奮的項目，也是領先的開源基礎設施即服務平台。在過去的幾年中，筆者為多個客戶和用例構建並部署了數十個 OpenStack 雲。而在過去的一年中，筆者一直在研究 OpenStack 上高性能計算（ HPC ）的用例。

本文列出的是一些有關託管高性能和高吞吐量工作負載的注意事項。

首先，讓我們從在 OpenStack 上託管 HPC 工作負載時可以使用的三種體系結構開始：

1、在 OpenStack 上虛擬化 HPC （在此架構中，HPC 集群的所有組件都在 OpenStack 中虛擬化）

2、OpenStack 上的裸機 HPC （ HPC 的所有組件都使用 OpenStack Ironic 部署在裸機伺服器中）

3、虛擬化的頭節點和裸機計算節點（頭節點（調度器、主節點和登錄節點）在 OpenStack 中虛擬化，計算節點使用OpenStack Ironic 部署在裸機伺服器中 ）

現在你已經對可以在 OpenStack 中部署HPC 軟體的三種體系結構有了大概了解。

下面將討論一些託管這類型工作負載的 OpenStack 最佳實踐。

網路

對於 OpenStack 的網路方面，有兩個推薦的配置選項：

—— provider 網路： OpenStack 管理員創建這些網路並將其直接映射到數據中心（ L2 ）中的現有物理網路。由於直接連接到 L2 交換基礎設施， provider 網路不需要使用 OpenStack 控制平面來路由 L3 流量，因為它們應該在 DC 網路拓撲中具有 L3 網關。

—— SRIOV ： 建議基於性能要求的 HPC 工作負載使用 SRIOV / SR-IOV （單根輸入/輸出虛擬化）。SR-IOV 使 OpenStack 能夠通過使用可用的 SRIOV NIC 虛擬功能（ VF ）將物理 NIC 的功能直接擴展到實例。另外，對 IEEE 802.1br 的支持允許虛擬NIC 與物理交換機集成並由其管理。

需要提到的是，在各個供應商進行的測試中，結果顯示 SR-IOV 可以在單個虛擬機/實例的 CPU 開銷成本較低的情況下實現接近線速的性能。

實施 SRIOV 時，你需要考慮兩個基本限制：無法對使用 VF 設備和繞過 OpenStack 的安全組的實例使用實時遷移。

存儲

對於 HPC 體系架構，有兩個主要的存儲類別需要考慮：

——OpenStack 存儲：鏡像（ Glance ）、臨時存儲（ Nova ）和卷（ Cinder ）

——基於 HPC 集群文件的數據存儲：由 HPC 集群用於存儲數據

基於這兩個類別，下面是在設計集群時需要考慮的一些建議：

OpenStack 存儲：

—— Glance 和 Nova ：對於 Glance 和 Nova 存儲，筆者推薦 Ceph 。Ceph 的重要優勢之一（ 除了與 OpenStack 的緊密集成之外 ）是你可以在實例創建時獲得鏡像拷貝提供的性能優勢。臨時工作負載的另一個優點（在這種情況下不使用 SRIOV ）是在計算集群成員之間進行實時遷移的能力。

—— Cinder ：對於此 HPC 用例中的 Cinder 後端，我推薦使用 Ceph （與前一點相同的優勢）以及支持 Cinder 驅動程序的 NetApp 、EMC VNX 和類似系統的 NFS / iSCSI 後端。

基於 HPC 集群文件的數據存儲：

HPC 中常用的並行文件系統（如 Lustre、GPFS、OrangeFS ）應通過專用的 SRIOV / Provider 網路訪問。另一個推薦的後端是 Ceph ，也提供直接從SRIOV /Provider 網路訪問以獲得更好的性能。

重要信息：

一般來說，Ceph 提供了非常靈活的後端。體系架構良好的 Ceph 集群可以在不同配置/體系結構中讓多種類型的工作負載受益，例如：

——基於乙太網的連接可通過前端的更高吞吐量NIC介面和後端存儲流量（ 10/25/40/50/100 Gbps ）提高性能，以及可增加可用帶寬量的 LACP 配置。

——存儲伺服器組件可以是 NVMe、SSD、SAS 和 SATA 的組合。通過量身定製提供所需的 IO 性能。

——該技術的分散式特性提供了一個靈活且有彈性的平台。

接下來要考慮的是在 OpenStack 上自動部署 HPC應用程序。為此，可以使用多種工具：來自編排系統的 Heat、Ansible 或 API 調用。

內容覆蓋主流開源領域

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！