當前位置:
首頁 > 知識 > 物競天擇,「ADAPT」者生存

物競天擇,「ADAPT」者生存

物競天擇,適者生存!

自然界如此,

人類社會亦如此,

優勝劣汰法則下,

只有那些符合時代發展規律的,

才能笑到最後。

隨著大數據全面爆發,

多樣化存儲需求紛至沓來,

什麼樣的存儲才能在

激烈競爭中抓緊客戶芳心?

當然是「」者!

物競天擇,「ADAPT」者生存

本期主角:PowerVault ME4

友情客串:喵星人阿萌、阿福

物競天擇,「ADAPT」者生存

物競天擇,「ADAPT」者生存

21世紀是信息化時代,海量數據的爆發捧紅了大容量存儲——既能為各種應用提供足夠空間,又具備良好性能的大容量存儲,迎合了企業不斷增加的存儲需要,備受追捧,但與此同時,風險正在滋生

Q:最大風險是什麼呢?

A:存儲海量數據的硬碟故障

常見的少量RAID組硬碟故障還是可以接受的,但大量磁碟、海量數據的環境卻著實令人擔憂,因為傳統RAID重建時間比較久,在漫長的重建過程中,多塊硬碟損壞、故障的機率也在加大,而且磁碟數量越多、設備使用越久,相應地磁碟故障域就越大,所以這種情況下,數據也越來越不安全了。

對IT運維人員來說,丟數據是件相當嚴重的事情——小則通報挨批,大則砸掉飯碗,若有海量數據丟失,後果更是不堪設想,而實際生活中,這樣的慘劇並不少見。

物競天擇,「ADAPT」者生存

另一方面,以海量文件存儲、視頻監控、郵件、視頻編輯、重要備份及歸檔等為重心的大型存儲池,往往要求極速的重建,注重數據安全,而且需要簡化的初始部署及應用擴展,對此,難道只能選擇中高端存儲嗎

物競天擇,「ADAPT」者生存

答案是否定的

物競天擇,「ADAPT」者生存

安全可靠大容量的戴爾易安信入門級存儲——PowerVault ME4了解一下???

經濟實惠的

入門級存儲ME4

針對用戶需求,戴爾易安信持續創新,推出入門級存儲ME4,作為熱門的PowerVault MD3陣列的下一代產品,全新的PowerVault ME4專為SAN和DAS構建優化,憑藉著經濟實惠簡單易用快速強大諸多特質,深受客戶青睞。

物競天擇,「ADAPT」者生存

其中,ME4控制器軟體新發布的ADAPT軟體,可滿足擁有海量數據的客戶在重建速度、安全、簡化部署及擴展性方面的需求,帶來了諸多優勢。

提供適應性的

ADAPT軟體

英國生物學家赫胥黎在《天演論》中提出「物競天擇,適者生存」的觀念,強調生物只有不斷進化,適應自己的生存環境才不至於被淘汰。適,符合、適應之意,英文為Adapt,面對數字化時代多樣的存儲需求,ME4的ADPAT又是如何適應環境要求的呢

ADAPT基本概念:

ADAPT:Autonomic Distributed Allocation Protection Technology,是基於RAID的數據保護方案,提供內置備盤容量,允許非常快速的重建,大型存儲池和簡化的擴展

作為傳統RAID類型(RAID 0、1、5、6等)的替代方案,ADAPT可將奇偶校驗分布在更大的一組HDD或SSD上,提供更好的數據保護、可擴展性和其他優勢。ADAPT磁碟組中的所有磁碟必須是相同的類型(如企業級SAS)並且在同一層中(ME4上的層性能=SSD,標準=10K/15K,存檔=7.2K),但可以具有不同的容量。

在管理界面中,ADAPT顯示為一個RAID級別(如下圖▼)。

物競天擇,「ADAPT」者生存

▲在WEB管理界面添加磁碟組——

ADAPT和RAID-1,5, 6 ,10在一個選項中

ADAPT技術原理:

通常,傳統熱備盤在磁碟組成員發生故障時保持備用狀態,但熱備盤是被動的

而ADAPT通過在陣列中保留備用容量而不是備用磁碟)來解決此問題,這意味著ADAPT磁碟組有保留容量且在一個或多個磁碟成員發生故障時可以將其用作備用磁碟,ADAPT的默認備用容量是磁碟組中最大容量磁碟的2倍,由此可保證組內任意兩個磁碟丟失而不影響數據的恢復,而備盤容量會根據磁碟組的創建、擴容或再平衡而發生變化。

ADAPT的物理排列調整磁碟組使用所有可用空間來保持容錯性,數據跨所有磁碟均勻分布,當添加新數據、新磁碟,或系統認為該數據未採用平衡方式跨磁碟分布時,它會自動移動數據以便在整個磁碟組之間保持平衡

如何實現這一點呢

? ADAPT由8個數據塊+2個奇偶校驗塊組成的條帶進行操作,提供了比RAID6更優化的順寫性能,因此不會在寫入之前對磁碟組的做大量的完整條帶化而導致性能下降

一個條帶由磁碟組的10個成員組成,其中8個數據塊和2個奇偶校驗塊。塊是構成條帶組件的相鄰空間的每個磁碟的最小單位,這可能包含數據或奇偶校驗信息以保護條帶的其他數據塊,採用里德-所羅門編碼的RAID6雙奇偶校驗保護技術來保護數據。

一個塊512kb,條帶擴展為4Mib(任何虛擬模式卷的最小分配單位是一頁4Mib)。條帶在條帶區線性聚集,每個條帶區包含2048個相鄰的RAID6條帶,因此存儲了8GB的用戶數據在條帶區內(如圖所示)。

物競天擇,「ADAPT」者生存

▲條帶區跨越一個磁碟組

ADAPT採用與傳統RAID6不同的方式處理備用磁碟。

在傳統的RAID6中,你分配一個數字,如果磁碟出現故障,就開始使用備用磁碟。這種方法就帶來一個問題:如果硬碟不出現故障,備用磁碟是不會被使用的

而ADAPT的方法是使用所有磁碟,通過磁碟組提供空間,並且陣列重建也很方便,儘管可以更改,但默認保留2個備用容量的磁碟,這就是ADAPT組的最小磁碟數為12且有2個備用磁碟數容量的原因,其餘10個磁碟中的80%用於用戶數據,20%用於里德-所羅門編碼的冗餘(「奇偶校驗」)。

備用容量均勻分布在所有磁碟的邏輯塊地址(Logical Block Addressing)空間中,這個備用空間以1Mib為單位保留,備用空間的數量與2個相同磁碟的容量是等同的,均勻分布在磁碟組成員和磁碟組每個成員的邏輯塊地址,下圖就顯示了備用空間均勻地分布在磁碟組空間中的狀態。

物競天擇,「ADAPT」者生存

▲硬碟組的備用容量分配

如果要補充當前目標備用容量或增加可用容量,可通過擴展ADAPT磁碟組來實現。一個14磁碟ADAPT陣列可以增加6個磁碟升到20個磁碟ADAPT陣列,如果採取措施,控制器將進行平衡操作。在此操作中,當前陣列將在新陣列的所有成員中旋轉,這個過程需要在後台運行一段時間。

下圖顯示了如何添加多個成員到磁碟組及其擴展方式,並在控制器上重新對條帶進行條帶化。

物競天擇,「ADAPT」者生存

▲磁碟組擴容重新條帶

從構造的可用空間中提取備用磁碟容量,這允許在陣列內進行重建,其優點也相當可觀的——重建速度更快,因為重建過程中磁碟組的所有成員都參與此過程。

ADAPT示例:

PowerVault ME4系列的ADAPT可利用大容量磁碟降低重建時間,並提高系統的整體可靠性和性能。

重建往往需要數小時或數天才能完成,具體多久取決於磁碟組的RAID級別和大小、磁碟速度、公用程序優先順序、主機I/O活動和存儲系統上運行的其他進程等因素。

下表展示了RAID 6(8+2)磁碟組和ADAPT磁碟組(24、48和128個磁碟)的性能影響和重建時間的計算值,以10TB磁碟為例,讀寫並行,重建速率為50MB/秒/磁碟。

物競天擇,「ADAPT」者生存

▲磁碟組擴容重新條帶

根據上表,對傳統RAID來說,整個過程就是將10TB磁碟進行重新條帶並數據重寫,重建時間就是10,000,000MB除以50MB/秒,再除以3600秒,大約為55.5小時

而對於ADAPT磁碟組,以無磁碟故障讀性能為基準,對比磁碟故障時的讀性能變化。可以看到,1塊磁碟故障時,磁碟數越多,ADAPT的讀性能影響越小,重建時間也越短;同時也能看出,2個磁碟故障雖然讀性能影響沒有優化,但128個磁碟關鍵數據的重建時間已經減少到了16分鐘——這樣的結果,無疑給海量存儲的客戶提供了良好的性能,以及數據安全方面的更高保障。

當陣列中有1個以上的磁碟成員出現故障時,某些條帶將丟失1個和其他2個塊,這取決於它們在陣列布局中的位置。丟失了2個成員的條帶比丟失了1個成員的條帶的風險更大,因為該條帶中的任何進一步數據丟失都無法再得到糾正或保護。因此,重建過程中要優先考慮丟失2個塊的條帶,這意味著重建有兩個關鍵的維度:一是重回冗餘,二是完成重建並返回最佳狀態。

下圖展示了由於磁碟陣列的2個成員丟失而重建的優先順序。

物競天擇,「ADAPT」者生存

▲條帶重建優先順序

ADAPT只需對受磁碟丟失影響的條帶執行此過程,這將減少需要重新生成的數據。此外,隨著陣列變得更寬,對每個成員的數據量貢獻也會減少,因此隨著陣列磁碟變多,重建時間的改進也會提升。

另一個關鍵指標是當磁碟丟失時對性能的影響。在傳統的RAID中,需要奇偶校驗信息來重新構造因磁碟丟失而丟失的數據;

ADAPT方面,為了適應更多磁碟的陣列擴展,任何1個磁碟損耗的影響都會減小。此外,由於預留容量,並非所有條帶都會受到影響。因此,與許多傳統陣列相比,ADAPT在1或2個磁碟故障的情況下對性能的影響較小。

物競天擇,「ADAPT」者生存

ADAPT最佳建議:

ADAPT是在生成磁碟組時提供的一個附加選項,可以在線性虛擬模式下創建ADAPT磁碟組。

在線性模式中,空間被分配給陣列的所有成員;虛擬模式下,當在卷中創建新空間時,它會根據需要逐頁分配。頁面的概念是許多ME4系列高級功能的基本便利,當選擇虛擬模式時,頁面的基本概念將啟用其他功能,例如分層、快照、遠程複製。

? ADAPT作為一種輔助技術,有助於創造現代靈活的存儲使用,例如將磁碟組分層。創建一個磁碟組時,如果將ADAPT用於大容量存儲則應將其與標準層或存檔層關聯,隨後應將更高性能的SSD設備選擇到自己的磁碟組中,並選擇性能層選項。

在帶兩個控制器模塊的存儲系統中,可以嘗試平衡控制器的工作負載,每個控制器可以擁有一個磁碟組,每個磁碟組中具有相同數量的磁碟組和卷將幫助平衡工作負載,從而提高性能。

由於ME4控制器在磁碟組級別擁有所有權,建議每個控制器擁有平衡數量的磁碟組,必須在五個驅動器組之間進行平衡可能會導致每個驅動器組級別的性能不同,因為每個控制器將在其各自的驅動器組數量上限制不同的性能,不平衡不是一個問題,但它確實會使每個控制器的最佳性能平衡負載變得更困難。

另外,擁有更多磁碟的磁碟組的帶寬性能更快。如果我們考慮順序讀或寫IO,使用ME4控制器和當前的磁碟技術,在單個磁碟組級接近控制器寫入性能時對其限制。因此,如果添加更多的磁碟組或使用更多磁碟的磁碟組,在考慮順序IO時可能不會觀察到增量性能。

目前,ME4存儲最大順序寫入為5500MB/s,最大順序讀為7000MB/s,讀取IOPS高達32萬。

? 綜上,除了極速重建,在有一定的性能需求時RAID組的平衡設計也是很重要的,特別是組數的平衡考慮。

ADAPT和傳統RAID組之間的一個關鍵區別是可以構建陣列的擴展,RAID5和6最多可應用於16個磁碟的擴展。雖然ADAPT組最小為12,但最大可達128個磁碟,所以磁碟組擴展能力遠遠大於傳統的RAID 6。這具有重要意義,尤其是考慮到ME4084的潛在拓撲結構時,使用此功能,可以考慮如何在ME4084上布局磁碟組

RAID6將提供5*16個磁碟組和4個備用磁碟。

ADAPT:2*42個磁碟組為最佳或6*14個磁碟組。

5U機箱上構建的陣列的一些關鍵屬性,下圖以單盤8T硬碟,極速重建場景為例。

物競天擇,「ADAPT」者生存

▲ME4084構建陣列參數示例

如上表所示,2*ADAPT 42個磁碟組,當2塊磁碟故障後,恢復容錯的速度比RAID 6快了近9倍,這意味著以這種方式配置的存儲模塊具有更高的可用性和可靠性這裡說明一下,建議每個控制器擁有1個磁碟組,1組84個磁碟雖然不是最優的,但在技術上是可行的。

如果對帶寬性能有要求,可以將ME4084配置為6*14磁碟的ADAPT組,每個控制器擁有3個磁碟組。讀帶寬最大可達7.3GB/sreads,寫帶寬最高可達5.6GB/s。

對於關鍵數據

為什麼會有如此快的重建速度呢

原因在於為ADAPT磁碟組保留備盤容量是自動進行的,專用於備盤的磁碟空間跨系統中的所有磁碟自動分布。在出現磁碟故障的情況下,數據將移動到磁碟組中的許多磁碟,從而允許快速重建並盡量降低對I/O的影響。

因此,在做ADAPT組時,建議每個控制器做平衡組,以確保性能的平衡,並要結合應用特點,針對不同的重建和性能需求配置ADAPT的組數:性能要求越高,建議多組數;重建時間要求短,則組內磁碟數多點為佳。

物競天擇,「ADAPT」者生存

大包大攬——

ME4存儲的多維度特性

有時對於入門級存儲的需求,業務部門在方案階段通常以價格和容量為選購條件,往往不喜歡深入研究。其實從經驗來看,需求是隨著業務而變化的,而業務是變化多端的,所以建議企業在選購存儲時做好前期評估,包括實施細節、方案優劣勢、產品擴展性以及其它附加功能,多考慮幾個維度,才能無後顧之憂

ADAPT是戴爾易安信系統軟體中最新的增強功能,默認情況下,除了更傳統的RAID數據保護方案外,每個PowerVault ME4陣列都可以使用ADAPT,而ME4存儲除了ADAPT軟體功能外,還另有幾個優秀特點——

1

大包大攬,所有功能軟體均不再額外付費,全部隨機內置!

物競天擇,「ADAPT」者生存

所有軟體內置隨機自帶全免費,對於存儲常用的分層、快照、複製等增值功能,業內的採購費用普遍不低,配合起來利用的話,就相當於「賺錢」了。

2

高擴展性。

我們來看看ME4存儲的擴展能力:

最大支持磁碟數

最大支持磁碟數:5U84控制器機櫃+三個5U84擴展機櫃=336磁碟,也就是說ME4可在20U高度支持336個磁碟,而ADAPT可以一次添加多達68個磁碟,這樣的擴展能力對於入門級存儲來說,也算是絕無僅有的了!

最大容量

最大容量:原始容量高達4PB,單個ADAPT最大磁碟組支持1PB,每個控制器支持4個ADAPT組。以視頻監控為例,解析度1080P,碼流小大4Mbps,30天存儲空間為1.236TB(存儲容量計算:攝像頭路數×碼流4Mbps×3600秒×24小時×30天÷1024÷1024÷8),支持1000路的攝像頭也是So Easy了!

數據驅動生產力,數字化和其應用平台的IT發展已成必然趨勢,面對海量數據催生的入門級大容量存儲需求,ME4存儲真可謂是物競天擇,「ADAPT」者生「存」,希望大家能通過此次介紹深入了解ME4存儲的這一軟體特性,重新認識併合理規劃ME4存儲,更好地開發和使用它的軟體功能,從而獲得更多收益。

物競天擇,「ADAPT」者生存

戴爾易安信伺服器存儲火熱大促!

多品類伺服器鉅惠出擊

低至二六折!

物競天擇,「ADAPT」者生存

硬碟換快閃記憶體1:1促銷,

買普通存儲,免費升級全閃,不加價!

物競天擇,「ADAPT」者生存

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 IT168企業級 的精彩文章:

華為推出「小而美」輕量級解決方案,助力廣東政企行業煥發新貌
基於意圖的驗證引領網路自動化的新浪潮

TAG:IT168企業級 |