當前位置:
首頁 > 科技 > 哪種Scale out架構能更有效滿足分散式計算?-大規模負載整合基礎架構優化及實踐

哪種Scale out架構能更有效滿足分散式計算?-大規模負載整合基礎架構優化及實踐

至頂網報道

前言

近些年,隨著「分散式」計算的越來越火熱,Scale out分散式應用架構也如雨後春筍般不斷湧現,大到Big Data平台架構,小到前端應用App的架構,似乎都要基於Scale out 的架構才算是與時俱進的先進架構。

分散式架構的優勢顯而易見,一方面,Scale out的架構可以將大的計算任務進行分解,分布到不同的計算節點,這樣對每一個計算節點的計算能力要求自然也就下降了;另一方面,Scale out的架構可以在多個節點實現計算負載平衡,任何節點發生宕機都不影響最終結果的達成,換句話說,對每一個計算節點的可靠性要求降低了。那麼,Scale out的架構是否真的需要多台小計算量的節點來實現才是最完美的架構呢,讓我們來細細剖析什麼樣的Scale out架構才能最有效的滿足分散式計算的特點。

分散式=物理分布 or 邏輯分布?

我們且來看「中國科學技術信息研究所」對於分散式計算的權威定義:「分散式計算是一種新的計算方式。所謂分散式計算就是在兩個或多個軟體互相共享信息,這些軟體既可以在同一台計算機上運行,也可以在通過網路連接起來的多台計算機上運行。」從這個定義我們可以看出:首先,分散式計算是定義的軟體分散式,也就是邏輯分散式,而非硬體分散式,也就是並不是物理分散式;其次,硬體平台的選擇,是要根據實際情況,把程序放在最適合運行它的計算機上。換句話說,分散式架構指的是邏輯分布,而不是一味強調要用多台機器去部署,而是要結合實際情況選擇合適的部署架構。

邏輯分布指的是多個邏輯計算節點共同運行同一個計算任務,這些節點可以部署在多個物理節點上,也可以通過虛擬化等方式部署在少量物理節點上,我們把多個邏輯節點部署在一個或少量幾個物理節點上的部署方式稱之為「邏輯分布,物理集中」。

「邏輯分布,物理集中」的部署方式從軟體部署層面來看,是完全的Scale out 架構,再從硬體部署層面看,它又具有集中部署的優勢,可以說是結合了分散式和集中式部署的優勢,同時又摒棄了兩者的缺陷,具有如下優點:

1、高可靠,高容錯性。一個節點的系統崩潰不會影響到其他的伺服器;

2、高可擴展。可以根據計算能力的需要,增加更多的計算節點或者增加某些節點的性能;

3、靈活性。便於實施,同時支持新應用的快速上線;

4、高性能。由多個節點共同提供計算能力,來滿足實際業務需求;

5、易管理,降低運維複雜度。物理集中的部署方式可以減少實際物理機器的數量,降低整體運維複雜度,從而大大降低運維人員的工作量;

6、節能減排。物理機器數量減少了,機櫃位置就減少了,耗電量下降了,對於空調的製冷要求降低了,節能減排,實現「綠色數據中心」的需求。

「邏輯分布,物理集中」意味著物理集中部署的機器要承擔多個邏輯計算節點,那麼這種部署方式對於硬體平台選擇的要求:

1、高可靠高穩定。放雞蛋的籃子減少了,意味著籃子要足夠紮實,才能保證雞蛋的安全。

2、高可擴展。為了滿足邏輯節點的Scale out橫向增加,那麼物理集中的機器就需要具有強大的Scale up縱向擴展能力,能夠滿足應用節點橫向擴展需求。

3、高性能。如果是單純計算能力的累加,那麼實際上物理並沒有減少,為了實現更高密度的整合,物理集中部署的機器需要具有強大的性能,以更少的資源來整合更多的計算節點。

4、開放性。我們知道分散式計算往往是基於開放式系統的,這就要求伺服器具有強大的開放性,能夠兼容商業或開放平台的軟體,才能更好支持分散式部署架構。

金融行業大規模負載整合項目實踐

某大型金融機構欲建設一個異地災備數據中心,在應用伺服器的災備架構選擇中,客戶希望選擇一套基礎架構用於承接生產數據中心1400餘套應用伺服器節點,若與生產數據中心保持同樣的架構,則災備數據中心需要200台4路X86伺服器通過虛擬化的方式來承載,其需求及困難點大致為:

1、因災備數據中心需要在生產數據中心不可用時,完全承接生產任務,因此從性能層面看,災備數據中心應用伺服器平台必須具有與生產數據中心一致的處理能力,即相當於200台4路10核X86伺服器的處理能力;

2、災備數據中心與生產數據中心相隔近千公里,其IT人員均在生產中心就職,災備中心維護力量特別薄弱,若採用200台X86架構,根據2017年ITIC調查統計的各平台計劃外宕機時間(參見下圖),每年預計會有10%左右的意外宕機時間,維護壓力大,災備中心可能需要通過新增人力才能滿足;

3、災備數據中心機房空間資源吃緊,雖然現階段可以滿足200台伺服器的建設需求,但隨未來業務發展,災備數據中心資源瓶頸會日益顯現;

針對於此金融機構的災備數據中心建設需求,在基礎架構選型上客戶面臨兩個選擇,一是在災備中心繼續沿用現有生產中心基於X86的物理分散式架構,但會面臨災備中心運維力量不足,機房空間緊張,甚至電力不足的問題;二是在災備中心選擇物理集中邏輯分布的架構,在保證處理能力相當的清理下,減少物理伺服器的數量,降低維護壓力,減少機房空間佔用和電力消耗。

在詳細了解了LinuxONE的平台特點後,該金融機構立即聯合IBM啟動了針對LinuxONE的功能和性能測試,一方面驗證LinuxONE的整合能力,即同等工作負載下,LinuxONE和X86各自需要的配置,另一方面驗證LinuxONE針對於分散式平台的靈活性,如虛機承載能力,瞬時擴展能力等。最後實驗證實,兩台LinuxONE可以完全承載該金融機構的應用伺服器負載,且LinuxONE平台在擴展性和靈活性方面更優。特別是在擴容方面,LinuxONE的瞬時微碼激活能力可以秒級提供更多的計算資源,當面臨性能瓶頸時,既可以通過增加分散式節點的方式進行擴容,還能夠通過增加某個或某些個節點的處理能力進行擴容,在不增加節點的情況下,輕鬆應對負載高峰。

用戶最終選定LinuxONE作為其災備數據中心應用伺服器的承載平台,採用2台LinuxONE作為災備數據中心應用伺服器平台,總共部署1400餘個虛機,並納入已有的ICO雲平台進行統一管理,充分展現了LinuxONE強大的整合能力、無與倫比的性能及其廣泛的兼容性。

在本次項目建設中,LinuxONE表現出強大的整合能力和性能,同時,LinuxONE擁有業內最強大的可靠性和穩定性,完全契合金融機構「快」和「穩」的雙速IT建設需求。

通過採用2台LinuxONE替代200台4路X86的架構,在機房空間、耗電、商用軟體許可方面資源節省對比如下:

LinuxONE 大規模負載整合成本分析

LinuxONE單台可提供多達8000個虛機、兩百萬個容器的能力,從TCO的角度看,通過「邏輯分散,物理集中」的部署方式實現「以一頂百」高密度整合,能夠節省大量的電力消耗、機房空間、空調消耗及商用軟體License成本,助力實現「綠色數據中心」,能夠更加節省整體成本投入。同時,由於伺服器數量大大減少了,LinuxONE又都是全冗餘架構的高可靠穩定伺服器,還能進行全在線微碼升級及部件更換,所以運維也都變得開心快樂,不再是勞心勞力的事情,對於運維部門人力吃緊,或者本來就不打算投入太多人力的災備數據中心,LinuxONE無疑是最優選擇。

IT大勢,分久必合,合久必分,隨著各行業業務種類的增多和業務量的增長,各行業都可能面臨伺服器數量眾多、故障點多、運維壓力大、電力消耗大、商用軟體合規成本巨大等問題,上文分享了基於LinuxONE實現大規模負載整合的實踐經驗,謹以此為廣大同仁提供參考。

註:本文轉自TWT社區


喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 至頂網 的精彩文章:

時尚零售商H&M押注人工智慧和大數據希望重獲盈利能力
微軟 Azure推出支持運行AI、HPC工作負載的NVIDIA GPU

TAG:至頂網 |