青雲QingCloud全新雙引擎大數據服務SparkMR正式上線

企業級雲服務商青雲QingCloud日前宣布SparkMR on QingCloud服務正式登陸AppCenter。SparkMR on QingCloud集成了Spark與Hadoop MapReduce雙計算引擎，提供統一的HDFS數據存儲引擎及YARN調度系統，為用戶提供靈活、高效、可多模式切換的全新雲端大數據處理平台。

青雲QingCloud全新雙引擎大數據服務SparkMR正式上線

大數據時代，數據資源是企業的無形資產，也是核心競爭力之一。如何低成本、高效率地進行數據統一管理和分析，獲得商業決策支持成為擺在企業面前的一道難題。大數據平台正是為了企業的這種需求應運而生並持續發展創新。青雲QingCloud於2015年8月推出了基於Spark的大數據集群服務，同年12月，推出Hadoop集群服務作為大數據基礎平台的有力補充，以此來滿足企業在大數據領域的不同需求。

但由於Spark與Hadoop作為兩個獨立的服務，用戶同時使用這兩種處理引擎時，需要部署兩套HDFS，相同的數據需要載入並存放兩份，無論是成本還是效率都不是最好的選擇。從數據統一管理角度出發，青雲QingCloud推出SparkMR on QingCloud，通過QingCloud AppCenter以雲應用的方式交付用戶使用，對原有大數據平台的Spark與Hadoop服務進行了全方位的整合與升級。

目前，SparkMR支持Apache Hadoop 2.7.3與Apache Spark 2.2.0。Spark和Hadoop兩者結合後，成本顯著降低。同時，相對原大數據平台提供更豐富、更靈活的可選配置，用戶可以分角色定製節點配置（CPU 2~16核可選，內存2~64GB可選）。SparkMR on QingCloud作為支撐全新雙引擎大數據平台的重要組件，具有多重亮點：

靈活的計算模式：SparkMR在底層提供統一的HDFS作為數據存儲引擎，在上層提供Spark與MapReduce兩種計算引擎，並提供YARN作為調度系統。用戶可以輕鬆實現三種不同的計算模式，即Spark Standalone、Spark on YARN和MapReduce on YARN三者之間的切換。

強大的計算能力： SparkMR為了方便用戶開發Spark應用，除了支持Java和Scala開發之外，還提供了Python與R兩種語言的運行環境。其中為Python用戶提供了Anaconda發行版的Python 2和Python 3，並支持在這兩種Python版本間進行切換。同時，分別為這兩個Python版本預置了多個Anaconda發行版的數據科學包，為數據科學和機器學習/深度學習等 AI 開發場景提供了強大的計算能力支撐。

便捷的集成能力：SparkMR支持指定依賴服務的功能，即通過AppCenter 2.0 框架內原生的應用感知機制，實現與其他大數據分析組件之間自動化的無縫集成。SparkMR與QingStor對象存儲平台也進行了預置集成，用戶可以通過簡單的配置即可開啟對QingStor對象存儲的支持，以應對海量大規模數據的存儲問題。

良好的調度策略： SparkMR提供Spark與YARN的自定義調度器的功能，用戶可以根據自己實際的需求，自定義集群內資源調度策略，賦予用戶在多租戶使用場景下更為精細化的管理能力。

簡易的服務定製：SparkMR通過控制台提供近60個配置參數，用戶通過控制台的UI操作即可完成集群部署及服務的個性化定製。比如用戶可以通過 UI 即可完成設置 Hadoop 代理用戶的功能。SparkMR的Client（客戶端）節點也實現了完全的自動化配置，用戶無需再單獨創建並手動配置BigData Client或者Spark Client。這意味著用戶在控制台完成配置及服務定製後，在部署完成時，已經可以開始執行計算任務，真正實現了一鍵部署、即刻使用。

完善的服務監控：SparkMR提供了完善的服務級別分角色的監控能力，用戶不僅可以看到常規資源層監控，還可以通過可視化的方式清晰了解整體服務的運行情況。同時基於服務監控，還提供了監控告警、健康檢查和服務自動恢復等功能。

青雲QingCloud CTO甘泉表示，SparkMR on QingCloud的推出標誌著青雲QingCloud大數據平台向AppCenter的遷移升級完成了重要一步。AppCenter將助力用戶以應用的視角進行大數據日常管理工作，並通過自身的服務感應機制，讓組件間的對接不斷趨於自動化，實現動態調整。未來，QingCloud將陸續推出可視化、服務編排等更貼合企業需求的大數據服務。在深度學習領域，QingCloud也將持續深耕、不斷創新，讓智能化與雲計算深度結合，為企業的商業決策提供有力支撐。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！