隨機IOPS高達20萬，騰訊雲SSD雲盤如何煉出業界頂級性能？

企業基於雲端進行業務構建時，所面臨的最大負荷通常都來自系統中頻繁的存儲 I/O ，存儲設備的性能直接決定用戶是否將其核心業務搬到雲上以及能否通過雲計算開展業務。

目前，隨著用戶業務規模的不斷擴大和場景的進一步豐富，主流雲服務商所提供的塊存儲服務在雙 11 電商搶購秒殺、春晚紅包、超大型網路遊戲不分服資料庫應用中等對存儲有著超高性能需求的業務場景下依舊存在瓶頸。

在這些場景下，短時間內大量請求發送到業務邏輯層，業務進行處理對後端存儲並發大量讀寫，如果此時存儲讀寫能力沒有達到業務要求則會發生讀寫延時增大，可能導致業務超時，產生遊戲卡頓、訂單狀態持續轉圈等待甚至失敗等後果。

9月25日，騰訊雲推出了隨機 IOPS 高達 20 萬的超高性能 SSD 雲盤，能有效滿足大型關係資料庫（如 Oracle、SQL Server）、NoSQL 資料庫（如 Hbase、Cassandra）、數據檢索場景（如 SAPHana、ElasticSearch）等業務場景中對雲盤 IO 的性能要求，填補了整個行業在超高性能雲盤方面的空白。

騰訊雲超高性能 SSD 雲盤如何練就業界頂級的 IOPS 性能？下面逐一對騰訊雲超高性能雲盤使用的核心技術進行揭秘。

1.使用 SPDK 充分發掘 NVMe SSD的性能

Linux下 IOPS 越高系統的開銷越大，在單機高密度盤場景下很難將所有NVMe SSD 盤的性能發揮出來。我們突破性地使用 SPDK 來讀寫 NVMe SSD，由於 NVMe 的驅動程序在用戶空間，因此不需要用中斷來通知 IO 完成，也就無需經過厚重的內核 IO 棧。相比於使用 Linux內核，SPDK 用戶空間 NVMe 驅動程序在極小化系統開銷的同時，可將 IO 延遲降低 10 倍，單核單盤的性能可達百萬 IOPS。

2.基於 25Gb 的 RDMA 的超高性能網路框架

雲盤的讀寫離不開網路傳輸。使用 TCP socket 傳輸數據時，大部分的延遲都是由網路協議棧帶來的，且網路協議棧太複雜，難於優化。相對於傳統的 TCP socket 數據傳輸，RDMA 技術可以將應用程序 Buffer 中的數據直接拷貝到網卡內存並發送到遠端，遠端把數據 DMA 到應用的緩存中，相當於在應用之間建立了更快速更直接的通道，如圖所示。通過上面的工作原理可以看到，使用 RDMA 做數據傳輸有以下幾個優勢：

1) zero-copy：數據不需要在網路協議棧的各個層之間來回拷貝，這縮短了數據流路徑。

2) kernel-bypass：應用直接操作設備介面，不再經過系統調用切換到內核態，沒有內核切換開銷。

3) none-CPU：數據傳輸無須CPU參與，完全由網卡搞定，無需再做發包收包中斷處理，不耗費CPU資源。

騰訊雲專門開發了針對 RDMA 的超高性能網路框架，可以充分發揮 RDMA的傳輸優勢。在 4K-16K小 IO 場景下，相對 TCP 網路延遲下降 50%，同時有超過 5 倍的性能提升。25Gb 網路讓雲盤的理論讀寫帶寬達到 2.5GB/s以上，可以讓一台雲主機的多塊盤同時跑出極限性能。

3.基於 3D Xpoint 的 log 緩存

3D Xpoint 技術可謂是 NAND Flash 誕生以來存儲界的最大突破。相比DRAM，3D Xpoint 盤有非易失、低功耗、高密度的優勢；相比 NAND，其速度更快，壽命更長。由於雲盤存儲引擎採用類似 LSM 的模式，因此將高性能、長壽命的 3D Xpoint 盤作為一級 log ，內存用作一級 log 的索引緩存非常合適。既通過內存的高速度保證了訪問的性能，又通過 3D Xpoint 盤的非易失性保證了數據的安全。3D Xpoint 盤同時還用於存儲元數據，實現 metadisk機制，保證需實時存儲的小 IO 元數據及時落盤。

4.雲盤系統架構

雲盤接入層和存儲節點通過 RDMA 傳輸數據，騰訊雲專門開發了針對RDMA 的超高性能網路框架，滿足超高 IOPS 下的數據傳輸需求；Dispatch 模塊用來進行多副本的數據分發同步；3D Xpoint 盤和 NVMe SSD 盤分別負責日誌元數據和用戶數據的存儲。整個系統從設計上盡量縮短 IO 的中間路徑，使用 RMDA 和 SPDK 將 IO 從耗時的網路內核棧和 IO 內核棧中解放出來，消除 IO 路徑上的瓶頸點，將後端洶湧澎湃的 IO 能力送達雲主機。

此次超高性能 SSD 雲盤的推出標誌了騰訊雲積累多年的分散式存儲技術和順應時代新硬體的完美結合。騰訊雲在存儲領域快速應用 RDMA、SPDK、3D Xpoint 等新技術，不斷突破性能上限。率先將最新技術領入到雲計算行業中，普惠眾多遊戲、電商、社交應用、直播等領域的客戶。

責編：chenjian

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！