專利名稱：：一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種數(shù)據(jù)管理的應(yīng)用技術(shù)，具體地說是一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具。
背景技術(shù)：
：ETL,Extraction-Transformation-Loading的縮寫，中文名稱為數(shù)據(jù)提取、轉(zhuǎn)換和加載。ETL是數(shù)據(jù)抽取(Extract)、清洗(Cleaning)、轉(zhuǎn)換(Transform)、裝載(Load)的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。目前數(shù)據(jù)ETL工具很多，雖然功能較多，但也有價格高和效率低的缺點(diǎn)。對于并不復(fù)雜的抽取邏輯和對數(shù)據(jù)量較大對效率要求較高的情況，使用一款便捷高效的數(shù)據(jù)抽取裝載工具就顯得尤為重要。
發(fā)明內(nèi)容本發(fā)明的技術(shù)任務(wù)是提供一種通過配置文件結(jié)合SHELL腳本和數(shù)據(jù)庫自帶ETL工具實(shí)現(xiàn)了數(shù)據(jù)源的增量-全量判斷抽取和裝載處理，方便了應(yīng)用系統(tǒng)的運(yùn)維管理，并降低了實(shí)施難度的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具。本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的，通過配置文件結(jié)合SHELL腳本和數(shù)據(jù)庫自帶ETL工具實(shí)現(xiàn)了數(shù)據(jù)源的增量-全量判斷抽取和裝載處理；步驟如下(1)、設(shè)置配置文件、公共參數(shù)通過配置文件對源數(shù)據(jù)庫中待抽取表的內(nèi)容和抽取方式進(jìn)行描述；(2)、運(yùn)行抽取程序、狀態(tài)記錄由抽取程序統(tǒng)一調(diào)度進(jìn)行數(shù)據(jù)抽取，同時由狀態(tài)記錄程序記錄抽取狀態(tài)、抽取數(shù)據(jù)量的信息，抽取過程支持中斷繼續(xù)和自動壓縮；(3)、數(shù)據(jù)裝載由裝載程序?qū)?shù)據(jù)進(jìn)行裝載，數(shù)據(jù)裝載過程中進(jìn)行增量-全量的判斷并作全量處理和數(shù)據(jù)量核對檢查。配置文件格式為自定義文本，便于同SHELL腳本程序交互，并在其中設(shè)置數(shù)據(jù)源DB連接關(guān)鍵信息、抽取內(nèi)容和全量或增量的抽取方式的要素。CFG數(shù)據(jù)庫配置文件如下vpms_dbinfo.cfg#數(shù)據(jù)庫服務(wù)名稱DB_NAME=rptdb#數(shù)據(jù)庫訪問用戶名DB_USER_NAME=ods#數(shù)據(jù)庫訪問密碼DBUSERPASSffORD=OdsCFG抽取配置文件如下vpms—exp—tblist.cfg#[一、交易流水類，提取當(dāng)日全量(增量)]#1.1賬務(wù)交易流水+0DS_CMTXLHIS:A:select*fromODS.0DS_CMTXLHISwhereCORPORATION='法人標(biāo)示，andDAY_ID=，？，#[二、始終全量抽取的部分]#1.8員工變更登記簿+0DS_CMREPREP:A:#1.3.個人(單位)客戶信息檔+0DS_CICIFCIF:D:#1.4客戶/存放款帳號資料+0DS_CICIFACN:D:selectchg_acct_no(ci_acct_no)，a.*fromODS.0DS_CICIFACNawhereCORPORATION='法人標(biāo)示，#[三、支持增量抽取的加工全量的部分]配置文件程序中，每行用冒號““分為4個部分1)第1部分表名稱，用于抽取文本的命名，以加號"+"開頭，且前面不能有空格空字符，這個加號"+"作為配置抽取項(xiàng)的標(biāo)志；2)第2部分增量標(biāo)志A只取全量，表示不做本地增量一全量處理，I只取增量，表示要做本地增量一全量處理，D由參數(shù)指定是取全量或增量；3)第3部分抽取SQL語句，對于不同增量標(biāo)志，此語句的含義分別是A代表全量抽取語句，I代表增量抽取語句，D代表全量或增量抽取語句，如果是增量，那么程序會自動加上DAY_ID的判斷過濾條件；如果不填寫默認(rèn)為select*from${table_name}whereCORPORATION='法人標(biāo)示，，要加上CORPORATION='法人標(biāo)示’的條件，以限定數(shù)據(jù)范圍；4)第4部分，查詢表數(shù)據(jù)量的語句，用于核對，如果不填寫，則默認(rèn)查詢表名稱對應(yīng)的源表的數(shù)據(jù)量。抽取程序如下1)vpms_public.sh公共參數(shù)定義包含程序路徑、數(shù)據(jù)庫參數(shù)文件、日志路徑、日志文件、抽取配置文件、卸載目錄參數(shù)信息；公共函數(shù)定義包含日志信息格式化、創(chuàng)建多層目錄、獲取數(shù)據(jù)庫參數(shù)、創(chuàng)建和斷開數(shù)據(jù)庫連接、月末日期判別函數(shù)定義；2)vpms_exp_vpmssrc.sh抽取數(shù)據(jù)主程序，實(shí)現(xiàn)方式是循環(huán)遍歷抽取配置文件信息；逐個判斷抽取方式和內(nèi)容，并封裝export命令進(jìn)行數(shù)據(jù)抽取、壓縮存放；3)export_auto.sh根據(jù)實(shí)際需要，自動根據(jù)數(shù)據(jù)日期進(jìn)行判斷用全量還是增量方式抽取。裝載程序如下loaddata.sh根據(jù)數(shù)據(jù)文件中的增量或全量標(biāo)示，自動判斷采用全量裝載還是增量裝載后做全量處理，并對裝載和處理結(jié)果做數(shù)據(jù)量的一致性核對，保障數(shù)據(jù)完整性。狀態(tài)記錄程序?yàn)閿?shù)據(jù)抽取控制狀態(tài)文件${date}_eXport.list記錄每個日期各個源表抽取結(jié)果狀態(tài)，已經(jīng)成功抽取的部分，程序會跳過避免重復(fù)抽取。數(shù)據(jù)抽取流程為調(diào)度程序入口VpmS_eXp_VpmSSrc.sh—輸入抽取類型和抽取數(shù)據(jù)日期一創(chuàng)建數(shù)據(jù)卸載目錄一循環(huán)提取配置信息，即提取CFG數(shù)據(jù)庫配置文件vpms_dbinfo.cfg或CFG抽取配置文件vpms_exp_tblist.cfg—判斷抽取狀態(tài)，即數(shù)據(jù)抽取控制狀態(tài)文件${date}_eXp0rt.list導(dǎo)入，若已經(jīng)成功抽取，返回循環(huán)提取配置信息；若未成功抽取一判斷抽取方式是增量還是全量或根據(jù)輸入?yún)?shù)判斷抽取方式是增量還是全量，若是增量則設(shè)定增量文件后綴，若是全量則設(shè)定全量文件后綴一執(zhí)行eXport_aUt0.sh抽取一判斷是否抽取成功，若不成功記錄異常情況返回循環(huán)提取配置信息；若成功則壓縮文件記錄狀態(tài)到控制狀態(tài)文件${date}_eXport.list—抽取全部完成退出。數(shù)據(jù)裝載流程為拼接數(shù)據(jù)文件名稱一清空增量表一通過裝載程序loaddata.sh判斷數(shù)據(jù)文件標(biāo)示，若不存在則異常退出程序，若為增量則LOAD裝載增量表并進(jìn)行增量到全量處理，若為全量則LOAD裝載全量表一核對數(shù)據(jù)總量一一致則成功退出，不一致則異常退出。本發(fā)明的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具具有以下優(yōu)點(diǎn)1、可配置抽取方式為增量或全量，可靈活指定數(shù)據(jù)抽取內(nèi)容和條件；2、可在運(yùn)行時選擇增量或全量抽取或自動根據(jù)日期判斷選擇抽取方式；3、記錄抽取狀態(tài)，支持抽取中斷后繼續(xù)；4、自動壓縮，節(jié)省磁盤空間；5、EXPORT和LOAD命令抽取和裝載數(shù)據(jù)，高效穩(wěn)定；6、數(shù)據(jù)量核對檢查，保障處理過程的質(zhì)量；7、是一種便捷高效的數(shù)據(jù)抽取和裝載工具，可用于各類需要從數(shù)據(jù)庫抽取源數(shù)據(jù)的系統(tǒng)。下面結(jié)合附圖對本發(fā)明進(jìn)一步說明。附圖1為一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具的總體結(jié)構(gòu)圖；附圖2為一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具的數(shù)據(jù)抽取流程圖；附圖3為一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具的數(shù)據(jù)裝載流程圖。具體實(shí)施例方式參照說明書附圖和具體實(shí)施例對本發(fā)明的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具作以下詳細(xì)地說明。實(shí)施例本發(fā)明的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具，通過配置文件結(jié)合SHELL腳本和數(shù)據(jù)庫自帶ETL工具實(shí)現(xiàn)了數(shù)據(jù)源的增量-全量判斷抽取和裝載處理；步驟如下(1)、設(shè)置配置文件、公共參數(shù)通過配置文件對源數(shù)據(jù)庫中待抽取表的內(nèi)容和抽取方式進(jìn)行描述；(2)、運(yùn)行抽取程序、狀態(tài)記錄由抽取程序統(tǒng)一調(diào)度進(jìn)行數(shù)據(jù)抽取，同時由狀態(tài)記錄程序記錄抽取狀態(tài)、抽取數(shù)據(jù)量的信息，抽取過程支持中斷繼續(xù)和自動壓縮；(3)、數(shù)據(jù)裝載由裝載程序?qū)?shù)據(jù)進(jìn)行裝載，數(shù)據(jù)裝載過程中進(jìn)行增量-全量的判斷并作全量處理和數(shù)據(jù)量核對檢查。配置文件格式為自定義文本，便于同SHELL腳本程序交互，并在其中設(shè)置數(shù)據(jù)源DB連接關(guān)鍵信息、抽取內(nèi)容和全量或增量的抽取方式的要素。CFG數(shù)據(jù)庫配置文件如下vpms_dbinfo.cfg#數(shù)據(jù)庫服務(wù)名稱DB_NAME=rptdb#數(shù)據(jù)庫訪問用戶名DB_USER_NAME=ods#數(shù)據(jù)庫訪問密碼DB_USER_PASSWORD=odsCFG抽取配置文件如下vpms—exp—tblist.cfg#[一、交易流水類，提取當(dāng)日全量(增量)]#1.1賬務(wù)交易流水+0DS_CMTXLHIS:A:select*fromODS.0DS_CMTXLHISwhereCORPORATION='法人標(biāo)示，andDAY_ID=，？，#[二、始終全量抽取的部分]#1.8員工變更登記簿+0DS_CMREPREP:A:#1.3.個人(單位)客戶信息檔+0DS_CICIFCIF:D:#1.4客戶/存放款帳號資料+0DS_CICIFACN:D:selectchg_acct_no(ci_acct_no)，a.*fromODS.0DS_CICIFACNawhereCORPORATION='法人標(biāo)示’#[三、支持增量抽取的加工全量的部分]配置文件程序中，每行用冒號““分為4個部分5)第1部分表名稱，用于抽取文本的命名，以加號"+"開頭，且前面不能有空格空字符，這個加號"+"作為配置抽取項(xiàng)的標(biāo)志；6)第2部分增量標(biāo)志A只取全量，表示不做本地增量一全量處理，I只取增量，表示要做本地增量一全量處理，D由參數(shù)指定是取全量或增量；7)第3部分抽取SQL語句，對于不同增量標(biāo)志，此語句的含義分別是A代表全量抽取語句，I代表增量抽取語句，D代表全量或增量抽取語句，如果是增量，那么程序會自動加上DAY_ID的判斷過濾條件；如果不填寫默認(rèn)為select*from${table_name}whereCORPORATION='法人標(biāo)示，，要加上CORPORATION='法人標(biāo)示’的條件，以限定數(shù)據(jù)范圍；8)第4部分，查詢表數(shù)據(jù)量的語句，用于核對，如果不填寫，則默認(rèn)查詢表名稱對應(yīng)的源表的數(shù)據(jù)量。抽取程序如下4)vpms—public,sh公共參數(shù)定義包含程序路徑、數(shù)據(jù)庫參數(shù)文件、日志路徑、日志文件、抽取配置文件、卸載目錄參數(shù)信息；公共函數(shù)定義包含日志信息格式化、創(chuàng)建多層目錄、獲取數(shù)據(jù)庫參數(shù)、創(chuàng)建和斷開數(shù)據(jù)庫連接、月末日期判別函數(shù)定義；5)vpms_exp_vpmssrc.sh抽取數(shù)據(jù)主程序，實(shí)現(xiàn)方式是循環(huán)遍歷抽取配置文件信息；逐個判斷抽取方式和內(nèi)容，并封裝export命令進(jìn)行數(shù)據(jù)抽取、壓縮存放；6)export_auto.sh根據(jù)實(shí)際需要，自動根據(jù)數(shù)據(jù)日期進(jìn)行判斷用全量還是增量方式抽取。裝載程序如下loaddata.sh根據(jù)數(shù)據(jù)文件中的增量或全量標(biāo)示，自動判斷采用全量裝載還是增量裝載后做全量處理，并對裝載和處理結(jié)果做數(shù)據(jù)量的一致性核對，保障數(shù)據(jù)完整性。狀態(tài)記錄程序?yàn)閿?shù)據(jù)抽取控制狀態(tài)文件${date}_eXp0rt.list記錄每個日期各個源表抽取結(jié)果狀態(tài)，已經(jīng)成功抽取的部分，程序會跳過避免重復(fù)抽取。數(shù)據(jù)抽取流程為調(diào)度程序入口VpmS_eXp_VpmSSrc.sh—輸入抽取類型和抽取數(shù)據(jù)日期一創(chuàng)建數(shù)據(jù)卸載目錄一循環(huán)提取配置信息，即提取CFG數(shù)據(jù)庫配置文件vpmS_dbinf0.9cfg或CFG抽取配置文件vpms_exp_tblist.cfg—判斷抽取狀態(tài)，即數(shù)據(jù)抽取控制狀態(tài)文件${date}_eXp0rt.list導(dǎo)入，若已經(jīng)成功抽取，返回循環(huán)提取配置信息；若未成功抽取一判斷抽取方式是增量還是全量或根據(jù)輸入?yún)?shù)判斷抽取方式是增量還是全量，若是增量則設(shè)定增量文件后綴，若是全量則設(shè)定全量文件后綴一執(zhí)行eXport_aUt0.sh抽取一判斷是否抽取成功，若不成功記錄異常情況返回循環(huán)提取配置信息；若成功則壓縮文件記錄狀態(tài)到控制狀態(tài)文件${date}_eXport.list—抽取全部完成退出。數(shù)據(jù)裝載流程為拼接數(shù)據(jù)文件名稱一清空增量表一通過裝載程序loaddata.sh判斷數(shù)據(jù)文件標(biāo)示，若不存在則異常退出程序，若為增量則LOAD裝載增量表并進(jìn)行增量到全量處理，若為全量則LOAD裝載全量表一核對數(shù)據(jù)總量一一致則成功退出，不一致則異常退出ο本發(fā)明的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具已經(jīng)在“浪潮價值績效管理系統(tǒng)[InspurValuebasedPerformanceManagementSystem,簡稱VPMS]，，管理軟件中實(shí)現(xiàn)。經(jīng)實(shí)踐檢驗(yàn)，本方法完全適用于ODS數(shù)據(jù)源抽取，滿足外圍系統(tǒng)快速抽取交換數(shù)據(jù)的要求。除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。權(quán)利要求1.一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具，其特征在于通過配置文件結(jié)合SHELL腳本和數(shù)據(jù)庫自帶ETL工具實(shí)現(xiàn)了數(shù)據(jù)源的增量-全量判斷抽取和裝載處理；步驟如下(1)、設(shè)置配置文件、公共參數(shù)通過配置文件對源數(shù)據(jù)庫中待抽取表的內(nèi)容和抽取方式進(jìn)行描述；(2)、運(yùn)行抽取程序、狀態(tài)記錄由抽取程序統(tǒng)一調(diào)度進(jìn)行數(shù)據(jù)抽取，同時由狀態(tài)記錄程序記錄抽取狀態(tài)、抽取數(shù)據(jù)量的信息，抽取過程支持中斷繼續(xù)和自動壓縮；(3)、數(shù)據(jù)裝載由裝載程序?qū)?shù)據(jù)進(jìn)行裝載，數(shù)據(jù)裝載過程中進(jìn)行增量-全量的判斷并作全量處理和數(shù)據(jù)量核對檢查。2.根據(jù)權(quán)利要求1所述的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具，其特征在于配置文件格式為自定義文本，便于同SHELL腳本程序交互，并在其中設(shè)置數(shù)據(jù)源DB連接關(guān)鍵信息、抽取內(nèi)容和全量或增量的抽取方式的要素。3.根據(jù)權(quán)利要求1或2所述的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具，其特征在于CFG數(shù)據(jù)庫配置文件如下vpmS_dbinf0.cfg#數(shù)據(jù)庫服務(wù)名稱DB_NAME=rptdb#數(shù)據(jù)庫訪問用戶名DB_USER_NAME=ods#數(shù)據(jù)庫訪問密碼DB_USER_PASSWORD=ods。4.根據(jù)權(quán)利要求1或2所述的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具，其特征在于CFG抽取配置文件如下vpms_exp_tblist.cfg#[一、交易流水類，提取當(dāng)日全量(增量)]#1.1賬務(wù)交易流水+0DS_CMTXLHIS:A:select*fromODS.0DS_CMTXLHISwhereCORPORATION='法人標(biāo)示，andDAY_ID=，？，#[二、始終全量抽取的部分]#1.8員工變更登記簿+0DS_CMREPREP:A:#1.3.個人(單位)客戶信息檔+0DS_CICIFCIF:D:#1.4客戶/存放款帳號資料+0DS_CICIFACN:D:selectchg_acct_no(ci_acct_no)，a.*fromODS.0DS_CICIFACNawhereCORPORATION='法人標(biāo)示，#[三、支持增量抽取的加工全量的部分]。5.根據(jù)權(quán)利要求4所述的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具，其特征在于配置文件程序中，每行用冒號““分為4個部分；第1部分表名稱，用于抽取文本的命名，以加號"+"開頭，且前面不能有空格空字符，這個加號"+"作為配置抽取項(xiàng)的標(biāo)志；第2部分增量標(biāo)志A只取全量，表示不做本地增量一全量處理，I只取增量，表示要做本地增量一全量處理，D由參數(shù)指定是取全量或增量；第3部分抽取SQL語句，對于不同增量標(biāo)志，此語句的含義分別是A代表全量抽取語句，I代表增量抽取語句，D代表全量或增量抽取語句，如果是增量，那么程序會自動加上DAY_ID的判斷過濾條件；如果不填寫默認(rèn)為select*from${table_name}whereCORPORATION='法人標(biāo)示，，要加上CORPORATION='法人標(biāo)示’的條件，以限定數(shù)據(jù)范圍；第4部分，查詢表數(shù)據(jù)量的語句，用于核對，如果不填寫，則默認(rèn)查詢表名稱對應(yīng)的源表的數(shù)據(jù)量。6.根據(jù)權(quán)利要求1所述的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具，其特征在于抽取程序如下(1)vpmS_pUblic.sh，公共參數(shù)定義包含程序路徑、數(shù)據(jù)庫參數(shù)文件、日志路徑、日志文件、抽取配置文件、卸載目錄參數(shù)信息；公共函數(shù)定義包含日志信息格式化、創(chuàng)建多層目錄、獲取數(shù)據(jù)庫參數(shù)、創(chuàng)建和斷開數(shù)據(jù)庫連接、月末日期判別函數(shù)定義；(2)vpms_exp_vpmssrc.sh抽取數(shù)據(jù)主程序，實(shí)現(xiàn)方式是循環(huán)遍歷抽取配置文件信息；逐個判斷抽取方式和內(nèi)容，并封裝export命令進(jìn)行數(shù)據(jù)抽取、壓縮存放；(3)export_auto.sh，根據(jù)實(shí)際需要，自動根據(jù)數(shù)據(jù)日期進(jìn)行判斷用全量還是增量方式抽取。7.根據(jù)權(quán)利要求1所述的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具，其特征在于裝載程序如下=Ioaddata.sh，根據(jù)數(shù)據(jù)文件中的增量或全量標(biāo)示，自動判斷采用全量裝載還是增量裝載后做全量處理，并對裝載和處理結(jié)果做數(shù)據(jù)量的一致性核對，保障數(shù)據(jù)完整性。8.根據(jù)權(quán)利要求1所述的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具，其特征在于狀態(tài)記錄程序?yàn)閿?shù)據(jù)抽取控制狀態(tài)文件${dateLexport.list，記錄每個日期各個源表抽取結(jié)果狀態(tài)，已經(jīng)成功抽取的部分，程序會跳過避免重復(fù)抽取。9.根據(jù)權(quán)利要求1所述的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具，其特征在于數(shù)據(jù)抽取流程為調(diào)度程序入口vpmS_eXp_vpmSSrC.sh—輸入抽取類型和抽取數(shù)據(jù)日期一創(chuàng)建數(shù)據(jù)卸載目錄一循環(huán)提取配置信息，即提取CFG數(shù)據(jù)庫配置文件VpmS_dbinf0.cfg或CFG抽取配置文件vpms_exp_tblist.cfg—判斷抽取狀態(tài)，即數(shù)據(jù)抽取控制狀態(tài)文件${date}_export,list導(dǎo)入，若已經(jīng)成功抽取，返回循環(huán)提取配置信息；若未成功抽取一判斷抽取方式是增量還是全量或根據(jù)輸入?yún)?shù)判斷抽取方式是增量還是全量，若是增量則設(shè)定增量文件后綴，若是全量則設(shè)定全量文件后綴一執(zhí)行eXp0rt_aUt0.sh抽取一判斷是否抽取成功，若不成功記錄異常情況返回循環(huán)提取配置信息；若成功則壓縮文件記錄狀態(tài)到控制狀態(tài)文件${date}_export.list—抽取全部完成退出。10.根據(jù)權(quán)利要求1所述的一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具，其特征在于數(shù)據(jù)裝載流程為拼接數(shù)據(jù)文件名稱一清空增量表一通過裝載程序loaddata.sh判斷數(shù)據(jù)文件標(biāo)示，若不存在則異常退出程序，若為增量則LOAD裝載增量表并進(jìn)行增量到全量處理，若為全量則LOAD裝載全量表一核對數(shù)據(jù)總量一一致則成功退出，不一致則異常退出。全文摘要本發(fā)明公開了一種增量數(shù)據(jù)卸載和裝載的實(shí)施工具，屬于一種數(shù)據(jù)管理的應(yīng)用技術(shù)，通過配置文件結(jié)合SHELL腳本和數(shù)據(jù)庫自帶ETL工具實(shí)現(xiàn)了數(shù)據(jù)源的增量-全量判斷抽取和裝載處理；步驟如下(1)設(shè)置配置文件、公共參數(shù)通過配置文件對源數(shù)據(jù)庫中待抽取表的內(nèi)容和抽取方式進(jìn)行描述；(2)運(yùn)行抽取程序、狀態(tài)記錄由抽取程序統(tǒng)一調(diào)度進(jìn)行數(shù)據(jù)抽取，同時由狀態(tài)記錄程序記錄抽取狀態(tài)、抽取數(shù)據(jù)量的信息，抽取過程支持中斷繼續(xù)和自動壓縮；(3)數(shù)據(jù)裝載由裝載程序?qū)?shù)據(jù)進(jìn)行裝載，數(shù)據(jù)裝載過程中進(jìn)行增量-全量的判斷并作全量處理和數(shù)據(jù)量核對檢查。本發(fā)明方便了應(yīng)用系統(tǒng)的運(yùn)維管理，并降低了實(shí)施難度。文檔編號G06F17/30GK102375891SQ20111036093公開日2012年3月14日申請日期2011年11月15日優(yōu)先權(quán)日2011年11月15日發(fā)明者于海泉,宋凱,張家重,把余詠,李衍珠,祝鵬申請人:山東浪潮金融信息系統(tǒng)有限公司