存儲極客丨Scale-Out與全快閃記憶體似乎天然配對兒
本文作者:冬瓜哥
Scale-Out的分散式系統為何離不開SSD/全快閃記憶體?如果沒有快閃記憶體,Scale-Out為什麼就讓人感覺火候不太夠?而Scale-Out的出現,除了得益於快閃記憶體助力,還有什麼其他因素么?本文冬瓜哥就來分析分析。
本文組織
① Dell EMC XtremIO X2簡介
② 說說Scale-Out架構與全快閃記憶體
Dell EMC XtremIO X2簡介
2018年5月1日,Dell EMC在Dell Technologies World宣布了最新的計算和存儲產品。
戴爾在5月8日宣布了對XtremIO X2的一些重要改變,XtremIO X2在其軟體中添加了新功能(提供了將變化數據複製到目標系統的複製方式),這將減少在進行本地複製時傳輸的數據量。戴爾還宣布,未來版本的XtremIO X2將支持NVMe SCM。
Dell EMC的XtremIO X2為一款具備橫向擴展能力的全快閃記憶體陣列。其相比上一代XtremIO的提升如下圖所示:
每個陣列單元稱之為X-Brick。每個X-Brick單元可配置18~72個SSD。
上圖為XtremIO X2全快閃記憶體陣列X-Brick模塊外觀圖。每個X-Brick高度為1U,分別由Storage Controller、DAE(SSD擴展櫃)、UPS電源組成,每個控制器為1U雙路伺服器,每個X-Brick配置了4個16Gb光纖通道埠、4~8個10GbiSCSI埠、4個56Gb Infiniband埠(每Controller配置2個)以及2個1Gb的管理埠。
下圖所示為XtremIO X2的X-Brick架構。每個控制器運行了一個定製化的輕量級的Linux內核——XIOS。為了獲取最高的性能,I/O處理模塊直接運行在用戶態,直接操作底層硬體。節點間互聯採用基於Infiniband網路的RDMA方式。
XtremIO X2已經在實驗室環境中實現了8個X-Brick(16個節點)甚至更大的集群,Dell EMC估計也會很快提供8個X-Brick配置的陣列。從理論上看,8個、16個X-Brick和32個X-Brick並沒有區別,但是涉及到很多測試和實際應用場景,即客戶當前是否需要這麼大的容量和性能。
X-Brick具有非破壞性XIOS軟體及硬體升級、擁有高可靠性的熱插拔升級,且不存在著單點故障。集群化的XtremIO X2陣列中各個X-Brick可以擁有不同存儲容量;集成了VMware VAAI、VMware多通道I/O支持,數據分卷能夠誇整個系統;擁有豐富的數據保護功能。
XtremIO X2全快閃記憶體陣列將數據分為4KB的散列塊,這些4KB的散列塊完全打散,不按照邏輯地址進行排列存儲,而是根據物理位置進行安置。如下圖所示:
數據天然帶有指紋hash,這也是XtremIO X2實現重複數據消除的基礎。
其他一些產品也使用了類似策略,但是其數據存儲方式一般都是基於邏輯地址,時間久了之後不可避免的就會產生磁碟碎片化,從而對性能產生影響。XtremIO全快閃記憶體陣列的策略則是將數據徹底的打亂完全碎片化,基於4KB的數據塊通過指紋來識別、存儲、管理等。一方面可以實現全局磨損均衡,另一方面可以讓重複數據消除變得非常容易。
XtremIO的數據保護機制XDP,通過雙階數據引擎避免了RAID5、RAID6的寫放大外,達到了RAID6的保護效果。
說說Scale-Out架構與全快閃記憶體
分散式系統的發展有三個技術條件,分別為:高速網路、大容量硬碟、固態介質。這三者徹底解放了分散式系統的生產力。通俗一點說也就是:網路快了、盤容量大了、盤速度快了。
高速網路
高速網路是分散式系統賴以生存的根本,分散式存儲系統早在上世紀中後期就已經形成了理論基礎,但是一直到近幾年,網路的時延和帶寬才足以支撐分散式系統架構。
大容量硬碟
為了降低成本,業界興起所謂軟體定義,也就是利用廉價白牌機或者標準的機架伺服器,加上分散式存儲軟體管理層,搭建出軟體定義分散式存儲系統,與傳統的SAN存儲系統瓜分市場。
固態介質
而分散式系統的大行其道,極大的促進了固態存儲的需求量,因為為了成本考量,分散式系統中每個節點往往不會連接多級JBOD從而靠大量的硬碟形成高並發性能,而是只靠每個伺服器自帶的少量盤位,加上固態盤來抵消跨網路通信帶來的時延增加,形成讓傳統機械盤系統望塵莫及的IOPS和時延性能。
所以,Scale-Out與固態盤可以說是天然的一對兒,固態存儲系統用於Scale-Out分散式系統是非常自然的一種需求。
※微軟Midori團隊前成員推出開放源代碼雲開發公司Pulumi
※達索系統:用分散與聚焦思維,幫助每一個合作夥伴把生意做得更好
TAG:至頂網 |