一種數(shù)據(jù)庫遷移數(shù)據(jù)的驗證方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明披露了一種數(shù)據(jù)庫遷移數(shù)據(jù)的驗證方法及系統(tǒng)，其中系統(tǒng)除了包括各類型的源數(shù)據(jù)庫和目標數(shù)據(jù)庫外，還包括：數(shù)據(jù)分塊模塊分別從源數(shù)據(jù)庫和相應的目標數(shù)據(jù)庫抽取數(shù)據(jù)，形成數(shù)據(jù)驗證的樣本數(shù)據(jù)塊；數(shù)據(jù)塊管理模塊對該樣本數(shù)據(jù)塊通過數(shù)據(jù)屬性分析形成樣本數(shù)據(jù)的塊基本信息，然后將源數(shù)據(jù)庫的塊基本信息與相應的目標數(shù)據(jù)庫的塊基本信息進行比對，得出遷移數(shù)據(jù)完整性的結論。本發(fā)明通過將源數(shù)據(jù)庫和目標數(shù)據(jù)庫各自通過樣本抽取獲得的塊基本信息進行比對，來驗證數(shù)據(jù)庫的遷移數(shù)據(jù)，大大減輕了以往大量數(shù)據(jù)比對的重負。
【專利說明】 一種數(shù)據(jù)庫遷移數(shù)據(jù)的驗證方法及系統(tǒng)

【技術領域】
[0001]本發(fā)明涉及對計算機數(shù)據(jù)庫數(shù)據(jù)進行提取、轉(zhuǎn)換及加載01-11181:1011-108(11118)技術，尤其涉及對數(shù)據(jù)庫迀移數(shù)據(jù)進行驗證的方法及系統(tǒng)。

【背景技術】
[0002]數(shù)據(jù)驗證是指，數(shù)據(jù)提供方為保證數(shù)據(jù)的完整性用一種指定的算法對源數(shù)據(jù)庫的原始數(shù)據(jù)計算出一個校驗值，數(shù)據(jù)接收方用同樣的算法對目標數(shù)據(jù)庫的迀移數(shù)據(jù)計算校驗值，如果與數(shù)據(jù)提供方對原始數(shù)據(jù)計算的校驗值相同，說明迀移的數(shù)據(jù)是完整的。
[0003]隨著云計算、大數(shù)據(jù)等新型技術的發(fā)展，對數(shù)據(jù)驗證的高效和精準要求越來越高。由于應用中數(shù)據(jù)量的增加速度遠遠超過數(shù)據(jù)驗證分析技術發(fā)展的步伐，如何有效地提高數(shù)據(jù)庫系統(tǒng)對數(shù)據(jù)的驗證效率和確保數(shù)據(jù)的完整性，已成為數(shù)據(jù)庫系統(tǒng)急需解決的技術問題。
[0004]傳統(tǒng)數(shù)據(jù)庫對數(shù)據(jù)的驗證方法一般通過基本的結構化查詢語言(3亂，8^1-110^111-6(101161-7 的語句或腳本對源數(shù)據(jù)庫的原始數(shù)據(jù)和目標數(shù)據(jù)庫的迀移數(shù)據(jù)進行人工比對查詢，它不僅包括對基本數(shù)據(jù)庫對象(數(shù)據(jù)庫結構、表、存儲過程、視圖、索引以及觸發(fā)器)的約束及規(guī)則運用等，且還包括對數(shù)據(jù)庫其它特有設置的檢查，譬如默認設置、游標、內(nèi)置函數(shù)、系統(tǒng)變量等?？梢娺@種方式是通過查詢大量的數(shù)據(jù)實現(xiàn)的，由此會極大地影響驗證的效率和準確性，造成數(shù)據(jù)庫迀移周期過長，并使得業(yè)務長時間暫停；更嚴重的是它往往無法針對大的數(shù)據(jù)對象進行快速、高效的驗證。顯見得傳統(tǒng)的數(shù)據(jù)驗證方法的各局限性已成為云計算、大數(shù)據(jù)技術發(fā)展的瓶頸。
[0005]綜上所述，需要提供一種驗證數(shù)據(jù)庫迀移數(shù)據(jù)的方法及系統(tǒng)，能夠有效地提高對數(shù)據(jù)庫系統(tǒng)的驗證效率并保證數(shù)據(jù)的完整性。


【發(fā)明內(nèi)容】

[0006]本發(fā)明所要解決的技術問題是提供一種數(shù)據(jù)庫迀移數(shù)據(jù)的驗證方法及系統(tǒng)，能夠有效地提高對數(shù)據(jù)庫系統(tǒng)的驗證效率并保證數(shù)據(jù)的完整性。
[0007]為了解決上述技術問題，本發(fā)明提供了一種驗證數(shù)據(jù)庫迀移數(shù)據(jù)的系統(tǒng)，除了包括各類型的源數(shù)據(jù)庫和目標數(shù)據(jù)庫外，還包括相互連接的數(shù)據(jù)分塊模塊和數(shù)據(jù)塊管理模塊，其中:
[0008]數(shù)據(jù)分塊模塊，用于分別從源數(shù)據(jù)庫和相應的目標數(shù)據(jù)庫抽取數(shù)據(jù)，形成數(shù)據(jù)驗證的樣本數(shù)據(jù)塊；
[0009]數(shù)據(jù)塊管理模塊，用于對該樣本數(shù)據(jù)塊通過數(shù)據(jù)屬性分析形成樣本數(shù)據(jù)的塊基本信息，然后將源數(shù)據(jù)庫的塊基本信息與相應的目標數(shù)據(jù)庫的塊基本信息進行比對，得出迀移數(shù)據(jù)完整性的結論。
[0010]進一步地，
[0011]數(shù)據(jù)分塊模塊抽取數(shù)據(jù)包括全量抽取和/或增量抽?。辉撊砍槿?shù)據(jù)源中的表、視圖以及序列的全部數(shù)據(jù)抽取出來，并轉(zhuǎn)換為本機的提取轉(zhuǎn)換及加載工具可識別的格式；該增量抽取則只抽取數(shù)據(jù)源自上一次抽取數(shù)據(jù)以來的表或視圖以及序列中新增或修改的數(shù)據(jù)，并轉(zhuǎn)換為本機的提取轉(zhuǎn)換及加載工具可識別的格式；
[0012]數(shù)據(jù)塊管理模塊分析的數(shù)據(jù)屬性包括數(shù)據(jù)塊大小、數(shù)據(jù)塊數(shù)量以及數(shù)據(jù)類型中的一種或多種。
[0013]進一步地，該系統(tǒng)還包括相互連接的數(shù)據(jù)統(tǒng)計分析模塊以及數(shù)據(jù)比對驗證模塊，其中:
[0014]數(shù)據(jù)塊管理模塊還與數(shù)據(jù)統(tǒng)計分析模塊連接，若比對的塊基本信息一致，則將迀移數(shù)據(jù)初步完整的結論發(fā)給數(shù)據(jù)統(tǒng)計分析模塊；若比對的塊基本信息不一致，則發(fā)出迀移數(shù)據(jù)不完整的告警；
[0015]數(shù)據(jù)統(tǒng)計分析模塊分別與各類型的源數(shù)據(jù)庫和目標數(shù)據(jù)庫連接，用于在收到迀移數(shù)據(jù)初步完整的結論后將源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)進行分析計算，生成一個或多個分析數(shù)值記錄；
[0016]數(shù)據(jù)比對驗證模塊，用于對源數(shù)據(jù)庫與目標數(shù)據(jù)庫的分析數(shù)值記錄進行比對，以驗證迀移數(shù)據(jù)的完整性。
[0017]進一步地，
[0018]數(shù)據(jù)統(tǒng)計分析模塊將源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)用哈希算法、統(tǒng)計分析中的方差或標準差算法中的一種或多種進行統(tǒng)計分析計算，生成一個或多個哈希記錄或統(tǒng)計分析數(shù)值記錄；
[0019]數(shù)據(jù)比對驗證模塊對源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的數(shù)據(jù)生成的哈希記錄或統(tǒng)計分析數(shù)值記錄進行比對，若比對結果未出現(xiàn)差異則驗證迀移數(shù)據(jù)完整，若比對結果出現(xiàn)差異則驗證迀移數(shù)據(jù)不完整。
[0020]進一步地，
[0021]數(shù)據(jù)統(tǒng)計分析模塊用多個進程或線程同時分別對多個源數(shù)據(jù)庫和目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)以及哈希記錄或統(tǒng)計分析數(shù)值記錄進行讀寫操作；
[0022]數(shù)據(jù)比對驗證模塊用多個進程或線程同時分別對多個源數(shù)據(jù)庫和目標數(shù)據(jù)庫中的數(shù)據(jù)生成的哈希記錄或統(tǒng)計分析數(shù)值記錄進行比對來驗證數(shù)據(jù)的操作。
[0023]為了解決上述技術問題，本發(fā)明提供了一種驗證數(shù)據(jù)庫迀移數(shù)據(jù)的方法，包括:
[0024]數(shù)據(jù)抽取步驟:分別從源數(shù)據(jù)庫和相應的目標數(shù)據(jù)庫抽取數(shù)據(jù)，形成數(shù)據(jù)驗證的樣本數(shù)據(jù)塊；
[0025]初步驗證步驟:對樣本數(shù)據(jù)塊通過數(shù)據(jù)屬性分析形成樣本數(shù)據(jù)的塊基本信息，然后將源數(shù)據(jù)庫的塊基本信息與相應的目標數(shù)據(jù)庫的塊基本信息進行比對，得出迀移數(shù)據(jù)完整性的結論。
[0026]進一步地，
[0027]數(shù)據(jù)抽取步驟中抽取數(shù)據(jù)包括全量抽取和/或增量抽?。蝗砍槿?shù)據(jù)源中的表、視圖以及序列的全部數(shù)據(jù)抽取出來，并轉(zhuǎn)換為本機的提取轉(zhuǎn)換及加載工具可識別的格式；增量抽取則只抽取數(shù)據(jù)源自上一次抽取數(shù)據(jù)以來的表或視圖以及序列中新增或修改的數(shù)據(jù)，并轉(zhuǎn)換為本機的提取轉(zhuǎn)換及加載工具可識別的格式；
[0028]初步驗證步驟分析的數(shù)據(jù)屬性包括數(shù)據(jù)塊大小、數(shù)據(jù)塊數(shù)量以及數(shù)據(jù)類型中的一種或多種。
[0029]進一步地，將源數(shù)據(jù)庫的塊基本信息與相應的目標數(shù)據(jù)庫的塊基本信息進行比對，得出迀移數(shù)據(jù)完整性的結論，具體包括:
[0030]若比對的塊基本信息一致，則得出迀移數(shù)據(jù)初步完整的結論；若比對的塊基本信息不一致，則發(fā)出迀移數(shù)據(jù)不完整的告警；
[0031]在得出迀移數(shù)據(jù)初步完整的結論后，還包括:
[0032]統(tǒng)計分析步驟:將源數(shù)據(jù)庫與所述目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)進行統(tǒng)計分析計算，生成一個或多個分析數(shù)值記錄；
[0033]最終驗證步驟:對源數(shù)據(jù)庫與目標數(shù)據(jù)庫的數(shù)據(jù)生成的分析數(shù)值記錄進行比對，得到最終的迀移數(shù)據(jù)完整性的驗證結論。
[0034]進一步地，
[0035]統(tǒng)計分析步驟中將源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)用哈希算法、統(tǒng)計分析中的方差或標準差算法中的一種或多種進行統(tǒng)計分析計算，生成一個或多個哈希記錄或統(tǒng)計分析數(shù)值記錄；
[0036]最終驗證步驟中將對源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的數(shù)據(jù)生成的哈希記錄或統(tǒng)計分析數(shù)值記錄進行比對，若比對結果未出現(xiàn)差異則最終驗證迀移數(shù)據(jù)完整，若比對結果出現(xiàn)差異則最終驗證迀移數(shù)據(jù)不完整。
[0037]進一步地，
[0038]在統(tǒng)計分析步驟中用多個進程或線程同時分別對多個源數(shù)據(jù)庫和目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)以及哈希記錄或所述統(tǒng)計分析數(shù)值記錄進行讀寫操作；
[0039]在最終驗證步驟中用多個進程或線程同時分別對多個源數(shù)據(jù)庫和目標數(shù)據(jù)庫中的數(shù)據(jù)生成的哈希記錄或統(tǒng)計分析數(shù)值記錄進行比對來驗證數(shù)據(jù)的操作。
[0040]本發(fā)明通過將源數(shù)據(jù)庫和目標數(shù)據(jù)庫各自通過樣本抽取獲得的塊基本信息進行比對，來驗證數(shù)據(jù)庫的迀移數(shù)據(jù)，減輕了以往大量數(shù)據(jù)比對的重負；同時對兩類數(shù)據(jù)庫的表、視圖、序列等數(shù)據(jù)進行撤別計算或統(tǒng)計分析數(shù)值計算，生成一個或多個保存撤3?數(shù)值表或統(tǒng)計分析數(shù)值表，并進行比對來達到對數(shù)據(jù)庫的迀移數(shù)據(jù)高效、精確驗證的目的。由多個進程或線程同時讀或?qū)懗??計算或數(shù)據(jù)統(tǒng)計分析的數(shù)據(jù)，使得數(shù)據(jù)庫數(shù)據(jù)驗證過程能夠在短時間內(nèi)完成。為了避免出現(xiàn)某進程失效造成整個數(shù)據(jù)驗證崩潰，本發(fā)明提出“數(shù)據(jù)分塊驗證”算法來提高驗證方法的可靠性和容錯性。

【專利附圖】

【附圖說明】
[0041]圖1為本發(fā)明的驗證數(shù)據(jù)庫迀移數(shù)據(jù)的系統(tǒng)實施例的拓撲示意圖；
[0042]圖2為本發(fā)明的驗證數(shù)據(jù)庫迀移數(shù)據(jù)的系統(tǒng)實施例的結構示意圖；
[0043]圖3為本發(fā)明的驗證數(shù)據(jù)庫迀移數(shù)據(jù)的方法實施例的流程圖。

【具體實施方式】
[0044]以下結合附圖和優(yōu)選實施例對本發(fā)明的技術方案進行詳細地闡述。應該理解，以下列舉的實施例僅用于說明和解釋本發(fā)明，而不構成對本發(fā)明技術方案的限制。
[0045]請參照圖1、圖2，本發(fā)明的驗證數(shù)據(jù)庫迀移數(shù)據(jù)的系統(tǒng)實施例的結構，除了各類型的源數(shù)據(jù)庫和目標數(shù)據(jù)庫外，還包括相互連接的數(shù)據(jù)分塊模塊和數(shù)據(jù)塊管理模塊，其中:
[0046]數(shù)據(jù)分塊模塊，用于分別從源數(shù)據(jù)庫和相應的目標數(shù)據(jù)庫抽取數(shù)據(jù)，形成數(shù)據(jù)驗證的樣本數(shù)據(jù)塊；
[0047]數(shù)據(jù)塊管理模塊，用于對樣本數(shù)據(jù)塊通過數(shù)據(jù)屬性分析形成樣本數(shù)據(jù)的塊基本信息，然后將源數(shù)據(jù)庫的塊基本信息與相應的目標數(shù)據(jù)庫的塊基本信息進行比對，得出迀移數(shù)據(jù)完整性的結論。
[0048]在上述系統(tǒng)實施例中，
[0049]數(shù)據(jù)分塊模塊抽取數(shù)據(jù)包括全量抽取和/或增量抽??；全量抽取是將數(shù)據(jù)源中的表、視圖以及序列的全部數(shù)據(jù)從數(shù)據(jù)庫中抽取出來，并轉(zhuǎn)換為本機的￡11工具可識別的格式；增量抽取則只抽取數(shù)據(jù)源中自上一次抽取數(shù)據(jù)以來數(shù)據(jù)庫的表或視圖以及序列中新增或修改的數(shù)據(jù)，并轉(zhuǎn)換為本機的￡11工具可識別的格式；
[0050]數(shù)據(jù)塊管理模塊分析的數(shù)據(jù)屬性包括數(shù)據(jù)塊大小、數(shù)據(jù)塊數(shù)量以及數(shù)據(jù)類型中的一種或多種。
[0051]在￡11工具使用過程中，增量抽取較全量抽取應用更廣。如何捕獲變化的數(shù)據(jù)是增量抽取的關鍵。對其捕獲方法一般有兩點要求:準確性，能夠?qū)I(yè)務系統(tǒng)中的變化數(shù)據(jù)按一定的頻率準確地捕獲到；性能佳，不能對業(yè)務系統(tǒng)造成太大的壓力，影響現(xiàn)有業(yè)務。
[0052]上述系統(tǒng)實施例還包括相互連接的數(shù)據(jù)統(tǒng)計分析模塊以及數(shù)據(jù)比對驗證模塊，其中:
[0053]數(shù)據(jù)塊管理模塊還與數(shù)據(jù)統(tǒng)計分析模塊連接，若比對的塊基本信息一致，則將迀移數(shù)據(jù)初步完整的結論發(fā)給數(shù)據(jù)統(tǒng)計分析模塊；若比對的塊基本信息不一致，則發(fā)出迀移數(shù)據(jù)不完整的告警；
[0054]數(shù)據(jù)統(tǒng)計分析模塊，分別與各類型的源數(shù)據(jù)庫和目標數(shù)據(jù)庫連接，用于在收到迀移數(shù)據(jù)初步完整的結論后將源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)進行分析計算，生成一個或多個分析數(shù)值記錄；
[0055]數(shù)據(jù)比對驗證模塊，用于對源數(shù)據(jù)庫與目標數(shù)據(jù)庫的分析數(shù)值記錄進行比對，以驗證迀移數(shù)據(jù)的完整性。
[0056]在上述系統(tǒng)實施例中，
[0057]數(shù)據(jù)統(tǒng)計分析模塊將源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)用哈希算法、統(tǒng)計分析中的方差或標準差算法中的一種或多種進行統(tǒng)計分析計算，生成一個或多個哈希記錄(哈希表)或統(tǒng)計分析數(shù)值記錄(統(tǒng)計分析數(shù)值表)；
[0058]數(shù)據(jù)比對驗證模塊對源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的數(shù)據(jù)生成的哈希記錄或統(tǒng)計分析數(shù)值記錄進行比對，若比對結果未出現(xiàn)差異則驗證迀移數(shù)據(jù)完整，若比對結果出現(xiàn)差異則驗證迀移數(shù)據(jù)不完整。
[0059]由于撤別算法和統(tǒng)計分析方法特性，使得保存撤3?數(shù)值的撤別記錄或統(tǒng)計分析數(shù)值記錄保存了數(shù)據(jù)庫各個方面的數(shù)據(jù)特征信息，它們能夠以“信息摘要”的精縮方式體現(xiàn)原來數(shù)據(jù)的特征及其變化，為數(shù)據(jù)庫數(shù)據(jù)的快速、高效地比對提供了可能，從而使得數(shù)據(jù)的高效驗證得以實現(xiàn)。
[0060]在上述系統(tǒng)實施例中，
[0061]數(shù)據(jù)統(tǒng)計分析模塊用多個進程或線程同時分別對多個源數(shù)據(jù)庫和目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)以及撤別記錄或統(tǒng)計分析數(shù)值記錄的讀寫操作；
[0062]數(shù)據(jù)比對驗證模塊用多個進程或線程同時分別對多個源數(shù)據(jù)庫和目標數(shù)據(jù)庫中的哈希記錄或統(tǒng)計分析數(shù)值記錄進行比對來驗證數(shù)據(jù)的操作。
[0063]本發(fā)明通過數(shù)據(jù)統(tǒng)計分析模塊和數(shù)據(jù)比對驗證模塊分別使用多個進程或線程同時進行讀取/寫入與撤別表和統(tǒng)計分析計算驗證數(shù)據(jù)的操作，使得數(shù)據(jù)庫數(shù)據(jù)驗證過程并發(fā)、高效地進行，從而能夠在短時間內(nèi)完成大量數(shù)據(jù)驗證。
[0064]本發(fā)明針對上述系統(tǒng)實施例，相應地還提供了驗證數(shù)據(jù)庫迀移數(shù)據(jù)的方法實施例，其流程如圖3所示，包括如下步驟:
[0065]110:分別從源數(shù)據(jù)庫和相應的目標數(shù)據(jù)庫抽取數(shù)據(jù)，形成數(shù)據(jù)驗證的樣本數(shù)據(jù)塊；
[0066]抽取數(shù)據(jù)包括全量抽取和/或增量抽?。黄渲腥砍槿?shù)據(jù)源中的表或視圖的全部數(shù)據(jù)抽取出來，并轉(zhuǎn)換為本機的￡11工具可識別的格式；增量抽取則只抽取數(shù)據(jù)源中自上一次抽取數(shù)據(jù)以來的表或視圖中新增或修改的數(shù)據(jù)，并轉(zhuǎn)換為本機的￡11工具可識別的格式。
[0067]120:對樣本數(shù)據(jù)塊通過數(shù)據(jù)屬性分析形成樣本數(shù)據(jù)的塊基本信息，然后將源數(shù)據(jù)庫的塊基本信息與相應的目標數(shù)據(jù)庫的塊基本信息進行比對，得出迀移數(shù)據(jù)完整性的結論。
[0068]分析的數(shù)據(jù)屬性包括數(shù)據(jù)塊大小、數(shù)據(jù)塊數(shù)量以及數(shù)據(jù)類型中的一種或多種。
[0069]上述方法實施例還包括:
[0070]130、140:根據(jù)比對的塊基本信息一致得出迀移數(shù)據(jù)初步完整的結論，則繼續(xù)執(zhí)行驗證數(shù)據(jù)的下面步驟，否則進行迀移數(shù)據(jù)不完整的告警操作。
[0071]150:將源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)進行分析計算，生成一個或多個分析數(shù)值記錄；
[0072]在這一步驟中將源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)用哈希算法、統(tǒng)計分析中的方差或標準差算法中的一種或多種進行統(tǒng)計分析計算，生成一個或多個哈希記錄或統(tǒng)計分析數(shù)值記錄。
[0073]在這一步驟中用多個進程或線程同時分別對多個源數(shù)據(jù)庫和目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)以及所述哈希記錄或所述統(tǒng)計分析數(shù)值記錄進行讀寫操作。
[0074]160:將對源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的數(shù)據(jù)生成的分析數(shù)值記錄進行比對，得到最終的迀移數(shù)據(jù)完整性的驗證結論。
[0075]在這一步驟中將對源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的數(shù)據(jù)生成的哈希記錄或統(tǒng)計分析數(shù)值記錄進行比對，若比對結果未出現(xiàn)差異則驗證迀移數(shù)據(jù)完整，若比對結果出現(xiàn)差異則驗證迀移數(shù)據(jù)不完整。
[0076]在這一步驟中用多個進程或線程同時分別對多個源數(shù)據(jù)庫和目標數(shù)據(jù)庫中的所述數(shù)據(jù)生成的哈希記錄或統(tǒng)計分析數(shù)值記錄進行比對來驗證數(shù)據(jù)的操作。
【權利要求】
1.一種驗證數(shù)據(jù)庫迀移數(shù)據(jù)的系統(tǒng)，包括各類型的源數(shù)據(jù)庫和目標數(shù)據(jù)庫，其特征在于還包括相互連接的數(shù)據(jù)分塊模塊和數(shù)據(jù)塊管理模塊，其中: 數(shù)據(jù)分塊模塊，用于分別從源數(shù)據(jù)庫和相應的目標數(shù)據(jù)庫抽取數(shù)據(jù)，形成數(shù)據(jù)驗證的樣本數(shù)據(jù)塊； 數(shù)據(jù)塊管理模塊，用于對所述樣本數(shù)據(jù)塊通過數(shù)據(jù)屬性分析形成樣本數(shù)據(jù)的塊基本信息，然后將源數(shù)據(jù)庫的塊基本信息與相應的目標數(shù)據(jù)庫的塊基本信息進行比對，得出迀移數(shù)據(jù)完整性的結論。
2.按照權利要求1所述的系統(tǒng)，其特征在于， 所述數(shù)據(jù)分塊模塊抽取數(shù)據(jù)包括全量抽取和/或增量抽??；所述全量抽取將數(shù)據(jù)源中的表、視圖以及序列的全部數(shù)據(jù)抽取出來，并轉(zhuǎn)換為本機的提取轉(zhuǎn)換及加載工具可識別的格式；所述增量抽取則只抽取數(shù)據(jù)源自上一次抽取數(shù)據(jù)以來的表或視圖以及序列中新增或修改的數(shù)據(jù)，并轉(zhuǎn)換為本機的提取轉(zhuǎn)換及加載工具可識別的格式； 所述數(shù)據(jù)塊管理模塊分析的數(shù)據(jù)屬性包括數(shù)據(jù)塊大小、數(shù)據(jù)塊數(shù)量以及數(shù)據(jù)類型中的一種或多種。
3.按照權利要求2所述的系統(tǒng)，其特征在于，還包括相互連接的數(shù)據(jù)統(tǒng)計分析模塊以及數(shù)據(jù)比對驗證模塊，其中: 所述數(shù)據(jù)塊管理模塊還與數(shù)據(jù)統(tǒng)計分析模塊連接，若比對的所述塊基本信息一致，則將迀移數(shù)據(jù)初步完整的結論發(fā)給數(shù)據(jù)統(tǒng)計分析模塊；若比對的所述塊基本信息不一致，則發(fā)出迀移數(shù)據(jù)不完整的告警； 數(shù)據(jù)統(tǒng)計分析模塊分別與各類型的源數(shù)據(jù)庫和目標數(shù)據(jù)庫連接，用于在收到所述迀移數(shù)據(jù)初步完整的結論后將源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)進行分析計算，生成一個或多個分析數(shù)值記錄； 數(shù)據(jù)比對驗證模塊，用于對源數(shù)據(jù)庫與目標數(shù)據(jù)庫的分析數(shù)值記錄進行比對，以驗證迀移數(shù)據(jù)的完整性。
4.按照權利里要求3所述的系統(tǒng)，其特征在于， 所述數(shù)據(jù)統(tǒng)計分析模塊將源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)用哈希算法、統(tǒng)計分析中的方差或標準差算法中的一種或多種進行統(tǒng)計分析計算，生成一個或多個哈希記錄或統(tǒng)計分析數(shù)值記錄； 所述數(shù)據(jù)比對驗證模塊對源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的數(shù)據(jù)生成的所述哈希記錄或所述統(tǒng)計分析數(shù)值記錄進行比對，若比對結果未出現(xiàn)差異則驗證迀移數(shù)據(jù)完整，若比對結果出現(xiàn)差異則驗證迀移數(shù)據(jù)不完整。
5.按照權利要求4所述的系統(tǒng)，其特征在于， 所述數(shù)據(jù)統(tǒng)計分析模塊用多個進程或線程同時分別對多個源數(shù)據(jù)庫和目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)以及所述哈希記錄或所述統(tǒng)計分析數(shù)值記錄進行讀寫操作； 所述數(shù)據(jù)比對驗證模塊用多個進程或線程同時分別對多個源數(shù)據(jù)庫和目標數(shù)據(jù)庫中的所述數(shù)據(jù)生成的哈希記錄或統(tǒng)計分析數(shù)值記錄進行比對來驗證數(shù)據(jù)的操作。
6.一種驗證數(shù)據(jù)庫迀移數(shù)據(jù)的方法，包括: 數(shù)據(jù)抽取步驟:分別從源數(shù)據(jù)庫和相應的目標數(shù)據(jù)庫抽取數(shù)據(jù)，形成數(shù)據(jù)驗證的樣本數(shù)據(jù)塊； 初步驗證步驟:對所述樣本數(shù)據(jù)塊通過數(shù)據(jù)屬性分析形成樣本數(shù)據(jù)的塊基本信息，然后將源數(shù)據(jù)庫的塊基本信息與相應的目標數(shù)據(jù)庫的塊基本信息進行比對，得出迀移數(shù)據(jù)完整性的結論。
7.按照權利要求6所述的方法，其特征在于， 所述數(shù)據(jù)抽取步驟中抽取數(shù)據(jù)包括全量抽取和/或增量抽取；所述全量抽取將數(shù)據(jù)源中的表、視圖以及序列的全部數(shù)據(jù)抽取出來，并轉(zhuǎn)換為本機的提取轉(zhuǎn)換及加載工具可識別的格式；所述增量抽取則只抽取數(shù)據(jù)源自上一次抽取數(shù)據(jù)以來的表或視圖以及序列中新增或修改的數(shù)據(jù)，并轉(zhuǎn)換為本機的提取轉(zhuǎn)換及加載工具可識別的格式； 所述初步驗證步驟分析的所述數(shù)據(jù)屬性包括數(shù)據(jù)塊大小、數(shù)據(jù)塊數(shù)量以及數(shù)據(jù)類型中的一種或多種。
8.按照權利要求7所述的方法，其特征在于，將源數(shù)據(jù)庫的塊基本信息與相應的目標數(shù)據(jù)庫的塊基本信息進行比對，得出迀移數(shù)據(jù)完整性的結論，具體包括: 若比對的所述塊基本信息一致，則得出迀移數(shù)據(jù)初步完整的結論；若比對的所述塊基本信息不一致，則發(fā)出迀移數(shù)據(jù)不完整的告警； 在得出所述迀移數(shù)據(jù)初步完整的結論后，還包括: 統(tǒng)計分析步驟:將所述源數(shù)據(jù)庫與所述目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)進行統(tǒng)計分析計算，生成一個或多個分析數(shù)值記錄； 最終驗證步驟:對所述源數(shù)據(jù)庫與所述目標數(shù)據(jù)庫的所述數(shù)據(jù)生成的所述分析數(shù)值記錄進行比對，得到最終的迀移數(shù)據(jù)完整性的驗證結論。
9.按照權利要求8所述的方法，其特征在于， 所述統(tǒng)計分析步驟中將源數(shù)據(jù)庫與目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)用哈希算法、統(tǒng)計分析中的方差或標準差算法中的一種或多種進行統(tǒng)計分析計算，生成一個或多個哈希記錄或統(tǒng)計分析數(shù)值記錄； 所述最終驗證步驟中將對所述源數(shù)據(jù)庫與所述目標數(shù)據(jù)庫中的所述數(shù)據(jù)生成的所述哈希記錄或所述統(tǒng)計分析數(shù)值記錄進行比對，若比對結果未出現(xiàn)差異則最終驗證迀移數(shù)據(jù)完整，若比對結果出現(xiàn)差異則最終驗證迀移數(shù)據(jù)不完整。
10.按照權利要求9所述的方法，其特征在于， 在所述統(tǒng)計分析步驟中用多個進程或線程同時分別對多個源數(shù)據(jù)庫和目標數(shù)據(jù)庫中的表、視圖以及序列各模式的數(shù)據(jù)以及所述哈希記錄或所述統(tǒng)計分析數(shù)值記錄進行讀寫操作； 在所述最終驗證步驟中用多個進程或線程同時分別對多個源數(shù)據(jù)庫和目標數(shù)據(jù)庫中的所述數(shù)據(jù)生成的哈希記錄或統(tǒng)計分析數(shù)值記錄進行比對來驗證數(shù)據(jù)的操作。
【文檔編號】G06F17/30GK104504122SQ201410849051
【公開日】2015年4月8日 申請日期:2014年12月29日 優(yōu)先權日:2014年12月29日
【發(fā)明者】楊光 申請人:浪潮(北京)電子信息產(chǎn)業(yè)有限公司