大數據在雲端的應用需要改變IT技能集

調研機構Enterprise Strategy Group的高級分析師Mike Leone表示，總體而言，雲計算中的大數據可以降低內部部署數據中心的成本，並非運行在雲端的大數據工作負載或項目都需要企業擁有一名大數據專家，但也有一些企業需要數據專家的幫助，例如涉及Hadoop。

如今，企業不斷將大數據工作負載轉移到雲端。雖然此舉並不需要徹底改變IT技能，但它確實需要對管理和開發團隊進行一些更改。

而對於採用大數據來打包雲計算，企業的團隊為此準備好了嗎?

即使企業在自己的數據中心內採用大數據，也不一定意味著他們將在雲中取得成功。而且在大多數情況下，必須對工作人員進行培訓，讓其獲得新的工作技能。

調研機構Enterprise Strategy Group的高級分析師Mike Leone表示，總體而言，雲計算中的大數據可以降低內部部署數據中心的成本，並非運行在雲端的大數據工作負載或項目都需要企業擁有一名大數據專家，但也有一些企業需要數據專家的幫助，例如涉及Hadoop。

Leone表示，雖然在雲端使用五節點集群替換五節點Hadoop集群非常簡單，但卻出現了管理方面的挑戰，尤其是軟體互操作性方面的管理挑戰。

雲端獲得大數據的四大技能

根據IT培訓機構Linux Academy公司的大數據分析主管Manisha Sule的說法，IT團隊應該把重點放在四大技能上，以便在雲計算領域運行大數據。

(1)管理：工作人員知道如何管理Hadoop和NoSQL變得至關重要。工作人員還需要仔細配置和管理(諸如計算、存儲和網路等)基礎設施組件，以支持大數據項目。Sule說，使用Hadoop分散式文件系統和NoSQL資料庫的經驗也是有幫助的，這兩者都可以存儲大量的數據。

(2)開發：Sule表示，大數據開發人員應該具有Python、Scala和Java等語言的編程經驗。此外，具有使用亞馬遜網路服務(AWS)Kinesis和Lambda等產品的經驗也是一個優勢，因為它們提供了基於微服務架構的實時處理的替代方案。

(3)分析：雲端大數據分析需要統計學、數據挖掘、機器學習、操作研究、計算機編程方面的專業知識。Sule說，數據科學家和分析師以及機器學習和人工智慧工程師需要學習如何構建演算法，然後將這些演算法實現自動化以處理大量的實時數據。

(4)可視化：可視化開發人員設計儀錶板，講述組織收集的大數據的故事。這個角色的IT專業人員需要訪問不同的數據源，並將其整合到統一的互動式平台中。

Sule指出，雖然有一些課程可以幫助掌握這四項技能，但對於IT專業人員來說，最好採取邊做邊學的方法。雲計算也適合採用這種模式。

Sule說：「在人們準備充分的時候，可以輕鬆地註冊一個試用賬戶，直接感受到可用的服務。許多正式課程的內容也涉及實踐經驗。」

Cloud Technology Partners首席架構師Muhammad Nabeel表示，IT團隊也應該為提供商提供的多種雲服務結合起來做好準備，以支持大數據計劃。他說：「企業需要詳細了解它們並一起實施。」

根據Nabeel的說法，在三家行業領先的公共雲提供商雲平台上運行的關鍵的大數據服務包括：

?微軟Azure：在微軟Azure上使用Hadoop、Spark、R Server、HBase，以及Storm群集的HDInsight。

?谷歌雲平台：用於分析數據倉庫的BigQuery，用於批量和流處理的雲數據流，用於託管Hadoop和Spark的Cloud Dataproc，以及用於數據挖掘的Cloud Datalab。

?AWS雲平台：使用Hadoop和Spark的Elastic MapReduce; Athena在簡單存儲服務中進行分析; Elasticsearch集群。

除了第三方培訓選項外，雲計算提供商還提供有用的學習功能以加速採用。例如，在谷歌雲計算控制平台中，有一個「試用」功能的例子。

Nabeel認為，實踐經驗有很長的路要走。他說：「學習一門課程是有幫助的，但如果課程真正涉及到工作人員所需要的具體知識時，並不總是能夠解決問題。」

網路流量分析提供商Kentik公司聯合創始人兼首席執行官Avi Freedman表示，雖然提供特定於供應商的大型數據工具的知識非常重要，但組織也應該努力在多個雲平台上使其團隊的技能多樣化。過於依賴單一供應商的企業有些短視，因為現在市場上沒有明顯的贏家。

Freedman說，「這意味著企業將會開發一個沒有長期需求的技能。」更好的方法是學習雲計算中與大數據有關的一般概念，如分散式系統和資料庫。

他說：「一旦有了這些，學習特定的雲服務提供商的技術和知識應該是非常容易的。此外，在任何雲計算環境中，請務必徹底理解自己將要訪問和使用該數據的所有不同方式，例如從應用程序類型到存儲的數據類型。」

他說：「如果發展這種關係的個人或者團隊不了解這個過程中的商業需求，那麼這個過程會變得很難。」 就像開發任何新的IT項目一樣，只有求知慾和良好判斷的組織還有很長的路要走。

版權聲明：本文為企業網D1Net編譯，轉載需註明出處為：企業網D1Net，如果不註明出處，企業網D1Net將保留追究其法律責任的權利。

（來源：企業網D1Net）

企業網D1net已推出企業應用商店（www.enappstore.com），面向企業級軟體，SaaS等提供商，提供陳列，點評功能，不參與交易和交付。現可免費入駐，入駐後，可獲得在企業網D1net 相應公眾號推薦的機會。歡迎入駐。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！