當前位置:
首頁 > 科技 > 5分鐘學會如何玩轉雲資料庫組件

5分鐘學會如何玩轉雲資料庫組件

不小心刪除公司數據,會怎麼樣?

如果你經常關注知乎,就會發現,這個問題經常出現在你的feeds流裡面,時長都會有各式各樣的「刪庫到跑路」事件發生。不管是傳統資料庫或者是雲資料庫,總會遇到一些問題,比如數據遷移,比如數據風險安全,比如數據訂閱!

今天我將分享一篇文章,談談雲資料庫的優勢,談談騰訊雲在這方面的努力。看看騰訊雲怎麼通過技術手段來確保資料庫安全穩定,和快捷遷移,以及推動數據商業分析的。


傳統資料庫與雲資料庫

傳統資料庫

傳統企業在建設資料庫初期,不僅建設伺服器,還要保證資料庫能夠穩定和可靠的運行。當業務數據增長到一定大小的時候,就需要增加伺服器CPU及內存以及磁碟相關資源。為了保證伺服器的穩定性,還需要制定相關制度及體系,定製資料庫的架構,防止資料庫被攻擊,確保資料庫安全穩定。


雲資料庫

那麼雲資料庫有哪些優勢呢?首先雲資料庫提供PCI-e SSD硬碟,性能能達到245509 QPS。雲資料庫同時提供了MySQL、SQL server、Mariadb和PostgerSQL等資料庫引擎。企業可以根據不同的業務需求,使用不同的資料庫進行操作。同時,雲資料庫提供了統一的WEB管理工作台,相對於傳統資料庫,更能容易部署和管理資料庫。為了保證資料庫的可用性,雲資料庫支持主從實時熱備,提供容災、備份、恢復、監控、遷移等功能。隨著業務的發展,業務需要更大和更強勁的資料庫時,只需要購買所需的資源,就能快速平滑擴容業務資料庫,滿足業務發展需要。

騰訊是開源資料庫白金級贊助商,騰訊對開源資料庫做了大量優化。這些資料庫支撐著騰訊大量交易系統的運行,騰訊雲資料庫有統一的管理平台,不論選擇怎樣的資料庫,都能方便快捷的管理。


資料庫SaaS服務體系

數據SaaS服務涵蓋用戶從上雲,日常運維使用,數據安全審計,及訂閱商業分析。

騰訊雲資料庫讓您可以輕鬆在雲端部署、使用資料庫。通過雲資料庫MySQL,您在幾分鐘內即可部署可擴展的資料庫實例。不僅經濟實惠,而且可以彈性調整硬體容量的大小而無需停機。TencentDB for MySQL 提供備份回檔、監控、快速擴容、數據傳輸等資料庫運維全套解決方案,為您簡化 IT 運維工作,讓您能更加專註於業務發展。


資料庫遷移

數據傳輸服務(Data Transmission Serivce DTS)提供數據遷移、數據同步、數據訂閱於一體的資料庫數據傳輸服務,幫助您在業務不停服的前提下輕鬆完成資料庫遷移,利用實時同步通道輕鬆構建異地容災的高可用資料庫架構。數據傳輸服務DTS的目標是幫用戶將複雜的數據交互工作承擔下來,讓用戶可以專註於上層的業務開發。


數據遷移

支持不同環境及不同類型的資料庫遷移。支持遷移的源庫包括有公網IP的外網自建資料庫,通過VPN、專線等網路環境接入騰訊雲的自建資料庫,雲伺服器CVM自建資料庫;目標庫為TencentDB for MySQL實例。支持查看所有遷移任務的狀態及多任務批量操作。DTS提供的數據遷移功能是您數據上雲的的最佳選擇。數據遷移僅需幾步設置,則可幫助您完成數據從本地遷移上雲的一系列繁瑣工作。遷移過程中並不影響源資料庫繼續對外提供服務,最小化上雲過程對您業務的影響。

提供自建 MySQL 資料庫到雲資料庫 TencentDB for MySQL 的連續數據複製,用戶可在不停服的情況下對數據進行在線熱遷移,支持具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊云云伺服器 CVM 上 MySQL 資料庫遷移。實例有關聯災備實例暫不支持數據傳輸服務,請建工單進行遷移。(通過增量遷移的時間建議不超過15天,請確保主從追上之後單擊遷移完成按鈕。)

Redis 遷移

在線遷移工具暫不支持的遷移類型:主從版、集群版、自研CKV+引擎 三者實例間的遷移。

遷移注意事項

目前僅支持遷移到騰訊雲 redis 的主從版本;

為保障遷移效率,CVM 自建實例遷移不支持跨地域遷移;

由於 rdb 協議限制,暫不支持自建實例 redis 3.2 版本的遷移;

外網實例遷移時,請確保源實例服務在外網環境下可訪問;

進行遷移任務時,只允許遷移正常運行狀態下的實例,且未初始化密碼或者有其他任務在執行中的實例,是不能夠遷移的;

目的實例必須是沒有數據的空實例,遷移過程中,會鎖住實例,不能對實例進行寫入操作;

遷移成功時,由業務側驗證數據後,可斷開源實例連接,將連接切換到目標實例。

PostgreSQL 資料庫遷移

數據傳輸服務 DTS 支持數據遷移功能,提供自建 PostgreSQL 資料庫到雲資料庫TencentDB for MySQL的連續數據複製,用戶可在不停服的情況下對數據進行在線熱遷移,支持具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊云云伺服器 CVM 上 PostgreSQL 資料庫遷移。數據遷移目前只支持 PostgreSQL 資料庫的版本是9.3.x,9.5.x,同時9.3.x 不支持增量同步,9.5.x 需要通過在線同步插件才能支持。


資料庫審計

資料庫審計是騰訊云為了解決行業客戶遇到的諸如金融審計需求,以及實際運行中遇到的安全防護,SQL 延遲性能問題等多種綜合需求而提供的產品。


全面審計

資料庫訪問的全部記錄,最大程度滿足用戶審計需求,可追溯對應用者的身份和行為;

準確審計:用戶可設置規則,只保證規則匹配到的審計規則有數據保存,規則也可以設置為全量審計;

提供海量 TB 級數據存儲,可以後續根據用戶要求提供長期備份。


高效審計

與目前其他通過旁路做審計檢查方式不同,騰訊雲資料庫 TencentDB for MySQL 通過內核插件進行上報;

後期還會逐步增加實時阻隔功能,另外在實際測試影響性能不到 2%;

高效分析:提供用戶、IP、客戶端工具、訪問時間、操作對象、SQL 操作類型、成功與否、訪問時長、影響行數等多種檢索條件的快速分析與檢索,實測 30 多億級數據 6-8 秒內響應。


背景說明

管理風險

系統管理員存在的誤操作、違規操作、越權操作,損害業務系統安全運行;

多人公用一個帳號,責任難以分清;

第三方開發維護人員的誤操作,惡意操作和篡改;

超級管理員許可權過大,無法審計監控。

技術風險

應用系統開發商後門或漏洞;

離職員工留下後門。

政策風險

無法達到國家等級保護(三級)明確要求(7.1.3.3);

滿足不了行業信息安全合規性文件要求——如人行《金融行業信息系統信息安全等級保護實施指引》;


數據訂閱

數據傳輸服務 DTS 提供了基於 binlog 的增量數據訂閱功能,僅需幾步簡單操作,即可訂閱雲資料庫 TencentDB for MySQL 的增量更新數據:

在騰訊雲 DTS 控制台購買並創建 TencentDB for MySQL 實例的訂閱通道。

使用 DTS 數據訂閱 SDK 連接這個訂閱通道,訂閱並消費增量數據。


原理

我們會通過模擬從庫向主庫獲取對應 binlog 內容進行分析,大概架構圖如下,我們會通過解析 binlog ,按照訂閱通道配置的庫表進行分析,所以幾乎對主庫沒有影響。

注意:

目前我們對訂閱的消息內容默認會保留最近 3 天。

另外如果訂閱整庫的話,後續新增的表也是會在原有訂閱通道出現,不需要對原訂閱通道進行新增配置操作。

目前只支持 TencentDB for MySQL5.6,後續會很快支持 TencentDB for MySQL5.7。

數據訂閱暫不支持view,觸發器和外鍵。

數據訂閱初次配置需要對相關 binlog_row_image 參數做調整,會根據符合條件自動 kill 老的 session 使參數立即生效。

數據訂閱目前支持的字符集包括 latin1,utf8,utf8mb4。


總結

未來的雲資料庫將會成為企業IT架構的「水,電,煤」,可以按需快速啟動,支持各種類型的數據,滿足所有種類的業務,無限存儲,無伺服器,全智能,自驅動,零運維,閑時免費,覆蓋全球並能自動擴展到近用戶端,提供穩定可靠自由擴展的服務,騰訊雲資料庫將不懈的努力將更多的產品能力普惠世界。

關注云加社區,回復3加讀者群


喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 雲加社區 的精彩文章:

扎心!大齡程序員的出路在哪?

TAG:雲加社區 |