當前位置:
首頁 > 知識 > 大數據時代下,DBA該何去何從?

大數據時代下,DBA該何去何從?

資料庫管理員(DBA)的職能已擴展到數據管理、基礎架構管理以及工作負載和SLA管理上。作為大數據戰略的一部分,DBA的角色又是如何變化的呢?

數據管理

* 為成為數據管理專家而努力。雖然SQL資料庫可以擴展以處理大數據,但資料庫並不是最優解決方案。DBA正在預算方面做努力,在預算範圍內,以最低的成本滿足SLA。

* 出現數據ops概念。數據管理和數據治理。數據操作是團隊的一部分,在收集和創建數據時共享目標、協作工作。使用自動化來擠壓延遲、採取最合適的敏捷方案以提高提高效率。

* 管理、治理和軟體交付。維護資料庫模型和模式。在大數據中,從定義明確的轉換到應用程序和工程師之間的協同工作,一切都是具有探索性的。

大數據時代下,DBA該何去何從?

* 雖然開發人員認為不需要數據管理,但為了後續的分析數據,DBA們仍需要進行數據管理。

* DBA從管理資料庫轉變為跨多個系統的數據工程師。他們關注的是數據如何從一個資料庫轉移到另一個資料庫、數據的消耗、數據的調整以及數據流程的管理,對於數據自動分配和執行來說這些都至關重要。

* DBA已經不再是單單只關注像SQLServer和Oracle這樣的個人產品,而是必須要處理好企業大數據實施方案的執行問題。

基礎架構和平台

DBA的角色已經被推到第一線上。對IT棧的演變負責。基礎設施和平台的認定範圍變的更大。

* 這是一個不容忽視的大挑戰,應用程序所使用的資料庫技術不再歸於DBA的控制範圍內。遷移到雲上的比重越大,DBA的控制範圍就越小。數據越來越多,同時也在不斷推出新的資料庫。管理數據基礎設施、提出大數據的解決喝整合方案、掌握如何歸檔和處理災難恢復的技能。AWS似乎將雲中的資料庫選項綁定到了DBA上。DBA仍然需要在備份、災難恢復和海量存儲上多費心思。值得在備份和存儲方面進行更具戰略性的思考。

* DBA比以往更重要,因此他們也需要學習:如何有效地集成存儲在RDBMS系統中的遺留數據,同時大數據技術也是必不可少的。

* 由於大數據改變了數據架構,DBA的存在可能需要不是立竿見影的,但確實是實實在在的。新技術為數據管理提供了新的契機,使DBA和數據模式打開了一個新時代。

* 事實上,沒有數據模式和Hadoop的NoSQL平台,以及支持它的一系列工具,會越來越多地部署在企業中。現在開發人員在數據本身的設計上有更多的影響力。

* 這在擴大DBA的專業範圍上起到了推動作用:必須學習NoSQL系統的機制和操作;掌握管理Hadoop集群的能力;實施「無需存儲數據存儲數據」的方法。

* 而且,NoSQL的靈活性是以數據完整性為代價,這種模型的難度更高。目前,許多公司的網路應用程序的數據完整性已經給靈活性讓位了。

大數據時代下,DBA該何去何從?

* DBA必須適應設計和開發的風格變化。DBA也需要運行幾個關係系統,並且認真學習NoSQL技術,對指導公司做出的部署負責。將來可能會劃分出幾種類型的DBA:局限於技術的;傳統的管理員;努力學習並適應管理大數據的新技術和工具的。

* DBA始終是整個軟體開發流程的一部分。在目前的環境中,更是需要所有的DBA都參與到整個開發過程中,尤其是規劃、範圍界定和原型設計部分。DBA能為企業提供有關數據基礎設施功能、所需變更成本、潛在性能影響以及總體容量規劃等項目的具體信息。

* 鑒於對數據的使用要求,更多特定數據平台範圍之外的技術正被用於實施解決方案。DBA不僅僅要專註於SQL、DDL等,還要掌握JavaScript、Java、.NET等技術。DBA會越來越精通應用容器化和系統容器化(Docker、Rkt、Linux容器等)。DBA壓力會越來越大,一旦與其他角色聯繫到一起,數據及其管理都是穿插著多條生命線,因此需要掌握的技術就不斷增加。

* 成功採用大數據策略的企業,早已經把DBA轉變為新型數據基礎管理員,包括NoSQL資料庫和Hadoop在內。與開發數據管理邏輯的數據開發人員、處理和準備數據的數據科學家以及業務線上的數據分析人員相結合,DBA是操作大數據戰略的重要部分。現在,DBA依賴於更智能的工具,這些工具可以管理並報告各種資料庫和技術框架的數據基礎架構和流程。

工作負載和SLA

* 工作結構消失了。有類型更為廣泛的問題需要解決。要實現混合的環境在流和批處理中交付新的工作負載,同時又能跟得上變化。

* 現在,有許多不在資料庫中管理數據,而是將數據組織成超級管理數據的數據生態系統一部分的做法。了解通信、鏈接的速度、安全性以及如何將來源彙集在一起。

* 比起以往,現在有更多的技術管理。理解並管理一個數據倉庫的技術方法有10到20種。為了能給問題選擇出正確的技術,便於管理,規模較大的企業正在考慮將搜索、NoSQL、Hadoop和GPU技術標準化。

大數據時代下,DBA該何去何從?

* 從一個擁有資料庫領域知識的系統管理員,到現在需要掌握處理數據集成、非結構化數據、自然語言處理、文檔存儲和統計。工具集可以能夠簡化工作。關係資料庫不會有大的進展,但大數據存儲會有新變化。

1. 大數據時代,DBA的角色發生了重大變化。在很長一段時間裡,DBA僅僅只是一個系統管理員。他們的確有SQL知識、知道該如何優化SQL,以及對構建資料庫的理解,但他們並沒有主動參與到資料庫系統里數據的特定用途上。

2. 大數據DBA對數據和非關係數據模型的應用程序有更深入的了解,並且必須具備執行數據集成的知識,這些數據集超出了用於商業智能(BI)應用的傳統提取——轉換——載入過程(ETL)。

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 IT168企業級 的精彩文章:

TAG:IT168企業級 |