阿里雲計算能力實現新突破 BigBench全球首次達到100TB

在10月11日開幕的「2017杭州·雲棲大會」首日主論壇，阿里雲總裁胡曉明重點介紹新一代計算平台MaxCompute+PAI。

在12日的主論壇中，阿里巴巴集團副總裁，搜索事業部&計算平台事業部負責人周靖人說，數據是機器智能創新的基礎，擁有充沛的計算能力才能全面釋放數據的價值。隨後周靖人與英特爾公司數據中心事業部副總裁Rob Hays共同進行BigBench On MaxCompute[1] 2.0+PAI的重磅發布。本次發布突破了TPCx-BB[2] 公布的各項歷史最佳成績，體現出MaxCompute極強的大規模數據處理能力以及公共雲相對傳統模式的絕對優勢。

目前TPC官網公布的測試最大規模為10TB，最佳性能1491.23BBQpm，最高性價比589 Price/BBQpm。而此次阿里雲發布的BigBench on MaxCompute 2.0+PAI，在全球範圍內首次將規模拓展至100TB，成為首個達到7000分的引擎，也成為首個基於公共雲服務的Benchmark。

據介紹，大會結束後，MaxCompute會在公共雲開放一個月的測試環境，並開源BigBench On MaxCompute+PAI的SDK（繼承自TPCx-Bigbench，並使之運行在阿里雲的大數據環境上），供開發者驗證試用。

BigBench on MaxCompute在規模上的巨大突破，得益於MaxCompute的海量數據處理能力和機器學習演算法高效性，MaxCompute基於阿里雲自主研發的分散式操作系統飛天，單集群伺服器規模可以達到萬台以上，數據規模達到EB級。

在性能上MaxCompute新一代處理引擎從Compiler、Optimizer、runtime等模塊進行的持續深度優化。提供高性能計算的同時，阿里雲機器學習PAI也為用戶提供了強大的演算法實驗平台，包括傳統的機器學習，也包括最新的深度學習以及增強學習等。同時為了滿足阿里巴巴各種業務場景對於演算法的需求，PAI 提供了大量的演算法以及工具，並在性能以及數據規模上做了各種優化。

此外，MaxCompute與Intel開展深度合作，軟硬結合深度優化，充分發揮Intel至強?可擴展處理器架構優勢。英特爾數據中心事業部副總裁Robert Hays - 」我們非常高興能夠和阿里雲共同在最新的英特爾? 至強? 可擴展處理器平台上對MaxCompute進行深度優化，並見證阿里雲MaxCompute在BigBench測試中表現出的優異成績「。

那麼，究竟BigBench on MaxCompute2.0+PAI可以為開發者釋放哪些計算紅利，以幫助開發者抓住更多市場機遇呢？

1、 突破規模限制。當BigBench作業的數據量達到10T以上時，市面上大多數產品會遇到各種瓶頸，無法進一步擴展。BigBench on MaxCompute可以將數據規模擴展到100T，輕鬆滿足用戶業務上不斷增長的數據量需求。

2、 不斷降低成本。採用傳統的硬體廠商+軟體的方式需要購買伺服器。雖然伺服器成本可以分攤到伺服器生命周期，但是硬體成本是逐年下降的，購買硬體伺服器相當於用更高的價格預購未來的計算資源，必然導致抬高成本。BigBench採用pirce/QPM的方式計算性價比。與傳統的採購硬體的方式相比，MaxCompute支持預付費和按量付費，計價方式非常靈活，性價比具有顯著優勢。

3、 滿足擴展性需求。互聯網時代數據量需求隨時可能會迎來爆炸式增長。傳統的購買硬體方式周期太長，無法及時響應需求。BigBench on MaxCompute可按需擴充，實時響應企業數據擴展需求。

4、 免服務運維。傳統的硬體機房需要有運維團隊保證，一般用戶無法保證高質量的運維。BigBench on MaxCompute採用公有雲免運維方式，企業客戶不需投入專門的運維人員進行維護。

BigBench on MaxCompute基於TPCx-BB進行修改，兼容所有TPCx-BB語義。作為工業級Benchmark，TPCx-BB涵蓋了大數據處理的多種作業類型，包括SQL、MapReduce、Streamling、MachineLearning等。BigBench on MaxCompute對這些作業類型完成了覆蓋，展示了MaxCompute在大數據處理的軟體棧完整性，下表是BigBench on MaxCompute的軟體棧列表：

BigBench on MaxCompute作為工業級benchmark，展示了MaxCompute在大數據軟體棧的完整性，並且從規模、成本、擴展性等多個方面都有更好表現。

BigBench on MaxCompute的接入十分方便，企業客戶只需滿足如下條件就能輕鬆接入使用。

1. 擁有阿里雲賬戶；

2. 需要BigBench on MaxCompute套件；

3. 安裝MaxCompute客戶端。

具體使用方式參照MaxCompute官方文檔和BigBench on MaxCompute接入指南。

[1] BigBench on MaxCompute, 基於TPCx-BB衍生出來，兼容TPCx-BB所有語義。

[2] TPCx-BB, 事務性能管理委員會(TPC*)於2016年2月正式發布TPCx-BB(BigBench)。第一個基於端到端的大數據分析領域應用級測試基準。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！