乾貨：五種常見數據複製技術詳解

根據IDC的相關數據統計，2018年全球的數據複製存儲市場規模就已經超過了500億美金，而其中而作為數據複製技術重要應用場景的數據備份和恢復軟體市場的規模也同樣蔚為可觀。今天，我們就來聊聊5種常見的數據複製技術。

複製（Replication）是將一組數據從一個數據源拷貝到一個或多個數據源的技術。方式主要分為同步複製和非同步複製：

1、同步複製：要求每一個寫入操作在執行下一個操作處理之前，在源端和目標端都能完成。特點是數據丟失少，會影響生產系統性能，除非目標系統物理上離生產系統比較近。

2、非同步複製：在處理下一個操作前，不等待數據複製到目標系統中。特點是複製的數據與源數據有時間差，但這種複製對生產系統性能影響較小。

在災備方案的設計中，數據複製技術的選擇關係到最終災備效果，即RTO與RPO值的大小。根據數據複製技術在不同系統層的應用，可以分為如下五種：

1、基於主機的數據複製技術

基於主機的數據複製是通過磁碟卷的鏡像或複製進行的，業務進行在主機的卷管理器層，對硬體設備尤其是存儲設備的限制小，利用生產中心和備份中心的主機系統通過IP網路建立數據傳輸通道，數據傳輸可靠，效率相對較高；通過主機數據管理軟體實現數據的遠程複製，當主數據中心的數據遭到破壞時，可以隨時從備份中心恢復應用或從備份中心恢複數據。

基於主機的數據複製不需要兩邊採用同樣的存儲設備，具有較大的靈活性，缺點是複製功能會佔用一些主機的CPU資源，對軟體要求較高（很多軟體無法提供基於時間點的快照功能），對主機的性能有一定的影響。

英方獨有的基於操作系統層面的位元組級數據捕獲與複製技術在實施過程中，首先會做初始化的數據鏡像，然後通過核心的複製引擎，開始旁路監聽所有文件系統的寫操作，例如Rename、SetAttr等，都能準確的捕獲，並通過數據序列化傳輸技術(Data - Order Transfer，簡稱「DOT」)非同步傳輸到災備端，完成整個數據的捕獲和複製過程。

位元組級複製技術原理圖

首先，位元組級複製的核心引擎工作時，並沒有複雜的數學運算，對生產機計算資源佔用可以忽略，僅僅是旁路捕獲數據。

其次，所有的數據都是從內存中捕獲，並不涉及生產主機存儲的讀取操作，因此數據複製過程不佔用主機的存儲IO資源。

最後，基於位元組級的數據複製粒度最小到位元組，因此對於帶寬資源的要求極低，是適應於異地遠距離、及面向未來的混合IT環境和雲化架構的一種複製方式。

2、基於應用和中間層的數據複製技術

應用層面的數據複製通過應用程序與主備中心的資料庫進行同步或非同步的寫操作，以保證主備中心數據的一致性，災備中心可以和生產中心同時正常運行，既能容災，還可實現部分功能分擔，但是該技術的實現方式複雜，與應用軟體業務邏輯直接關聯，實現和維護難度較高，並且使用應用層面的數據複製會提高系統的風險與數據丟失的風險。

獨立於底層的操作系統、資料庫、存儲，應用可以根據需求實現雙寫或者多寫，從而實現主本和多個數據副本之間的數據複製功能。這種由應用實現的技術，可以在中間件或者應用平台層面進行封裝和實現，對上面的應用透明，也可以在應用層面實現。

其主要優勢是可根據需求定製、可實現應用和資料庫層面的複製；主要不足是目前市場上沒有成熟、適合傳統IT企業大規模推廣使用的中間件產品。如果完全由應用封裝平台或者應用來實現，代碼的複雜程度提高，增加了應用的維護成本。

3、基於資料庫的數據複製技術

基於資料庫軟體的複製技術包括物理複製和邏輯複製兩種方式。

邏輯複製是利用資料庫的重做日誌、歸檔日誌，將主本所在站點的日誌傳輸到副本所在站點，通過重做SQL的方式實現數據複製。邏輯複製只提供非同步複製，主副本數據的最終一致性，無法保證實時一致性；

物理複製不是基於SQL Apply操作來完成複製，而是通過redo log日誌或者歸檔日誌在副本站點的同步或者非同步持久化寫來實現複製功能，同時副本站點的數據可以提供只讀功能。

開放平台資料庫複製技術則是一種基於資料庫log(日誌)的結構化數據複製技術，它通過解析源資料庫在線log或歸檔log獲得數據的增、刪、改變化，再將這些變化應用到目標資料庫，使源資料庫與目標資料庫同步，以達到多站點間資料庫可雙活甚至多活，實現業務連續可用和容災的目的。

資料庫日誌分析技術

基於資料庫的數據複製是對資料庫記錄級別、表級別容災高可用的基礎技術，英方資料庫容災技術結合了主機複製和資料庫日誌分析的優點，提高了系統應用的靈活性，可實現資料庫應用多活，同時也極大減少了資料庫應用的增量數據傳輸。在細粒度數據容災、廣域雲化容災領域仍然具有廣闊的應用前景。

資料庫語義級的實時數據同步，在資料庫正常使用時，自動完成源端到備端數據的初始化全量複製，並實時監控及同步複製增量數據，其正常流程的狀態轉換及條件如下：

英方i2Active便是基於redo log日誌分析技術的Oracle數據實時複製工具，具有簡單靈活、高性能、非侵入、低影響、低於秒級延遲，低成本的特點，部署和使用也非常簡便。能夠幫助用戶在複雜的應用環境下完成Oracle容災備份、數據遷移、業務數據分發、構建大型數據倉庫等技術數據整合等工作。

Active資料庫語義級複製

4、基於存儲系統網關的數據複製技術

存儲網關位於伺服器與存儲之間，是構架在SAN網路上的專用存儲服務技術。這項技術基於存儲虛擬化技術。

存儲虛擬化的直接定義：在存儲設備中形成的存儲資源透明抽象層，即存儲虛擬化是伺服器與存儲間的一個抽象層，它是物理存儲的邏輯表示方法。其主要目的就是要把物理存儲介質抽象為邏輯存儲空間，將分散繁雜的異構存儲管理整合為統一簡單的集中存儲管理，將人們所面對的眾多存儲問題，由繁化簡（其中包括存儲的讀寫方式、連接方式、存儲的規格或結構等），由散化整（存儲管理）的過程就是存儲虛擬化。

存儲網關通過對於進入的IO數據流提供各類數據存儲服務，大幅提升了在伺服器或者存儲層面難以達到的靈活性、多樣性、異構化等多種存儲服務能力。利用存儲網關，對於後端的存儲數據可以提供遠程數據複製、異構化存儲融合、存儲設備高可用鏡像、快照服務、數據遷移服務甚至於部分存儲網關可以提供精準的持續數據保護連續數據恢復服務。

由於存儲網關卸載了伺服器和陣列的複製工作負載，它可以跨越大量的伺服器平台和存儲陣列運行，因而使它成為高度異構的環境下的容災技術的理想選擇。另外，由於帶寬優化、數據恢復精細化等方面獨有的優勢，這項技術也成為比較主流的一種災備技術。

這項技術主要爭論點在於性能保障能力的發展程度。近年來，隨著SAN應用的不斷普及，SAN網路中由異構存儲設備和爆炸式增長的數據量所帶來的管理複雜性、資源利用率低、存儲設備自身數據服務能力低等問題促進了存儲網關的發展和應用。

5、基於存儲介質的數據複製

通過存儲系統內建的固件或操作系統、IP網路或光纖通道等傳輸介質連結，將數據以同步或非同步的方式複製到遠端，從而實現生產數據的災難保護。

採用基於存儲介質的數據複製技術建設容災方案的特點主要是對網路連接及硬體的要求較高。基於存儲的複製可以是「一對一」複製方式，也可以是「一對多或多對一」的複製方式，即一個存儲的數據複製到多個遠程存儲或多個存儲的數據複製到同一遠程存儲，而且複製可以是雙向的。

存儲複製技術使基於實現存儲磁碟陣列之間的直接鏡像，通過存儲系統內建的固件（Firmware）或操作系統，利用IP網路或光纖通道等傳輸界面連結，將數據以同步或非同步的方式複製到遠端。當然，一般情況下這種模式，必須同等存儲品牌並且同等型號的存儲系統控制器之間才能實現，配備低延遲大帶寬也是必要條件之一。

在基於存儲陣列的複製中，複製軟體運行在一個或多個存儲控制器上，非常適合擁有大量伺服器的環境，原因如下：

獨立於操作系統；能夠支持Windows和基於Unix的操作系統以及大型機(高端陣列)；許可費一般基於存儲容量而不是連接的伺服器數量；不需要連接伺服器上的任何管理工作。

由於複製工作被交給存儲控制器來完成，在非同步傳輸本地緩存較大的時候可以很好的避免伺服器的性能開銷過大的問題，從而使基於存儲陣列的複製非常適合關鍵任務和高端交易應用。

綜述

在實際工作中，並不能說哪類技術就一定優於另一類技術，優勢永遠是一個相對的概念，在實際應用中，企業需要選擇更加適合自身業務場景的技術路線，畢竟只有適合的，才是最好的。

註：部分內容整理於網路

來源：英方雲

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！