一種基于服務(wù)器集群技術(shù)的數(shù)據(jù)抽取轉(zhuǎn)換方法
【專利說明】一種基于服務(wù)器集群技術(shù)的數(shù)據(jù)抽取轉(zhuǎn)換方法
[0001]
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及數(shù)據(jù)變換領(lǐng)域，具體地說是一種基于服務(wù)器集群技術(shù)的數(shù)據(jù)抽取轉(zhuǎn)換方法。
【背景技術(shù)】
[0003]隨著計算機技術(shù)突飛猛進的發(fā)展，企業(yè)中的計算機數(shù)量正在不斷增加，數(shù)據(jù)處理量也逐年提高。當有很多數(shù)據(jù)要處理的時候，能夠有效地使用所有的計算資源是非常重要的。不管是臺個人電腦，還是有數(shù)百臺服務(wù)器，讓軟件能盡可能的使用所有可用的計算資源，并在可接受的時間范圍內(nèi)獲取執(zhí)行結(jié)果，并且能夠根據(jù)服務(wù)器硬件配置的差異，設(shè)定不同的數(shù)據(jù)轉(zhuǎn)換策略，最大限度的利用服務(wù)器資源，有效的提高數(shù)據(jù)轉(zhuǎn)換的效率，是本領(lǐng)域技術(shù)人員急需解決的技術(shù)問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的技術(shù)任務(wù)是針對上述現(xiàn)有技術(shù)的不足，提供一種基于服務(wù)器集群技術(shù)的數(shù)據(jù)抽取轉(zhuǎn)換方法。該方法將傳統(tǒng)的單服務(wù)器處理方式改成服務(wù)器集群的處理方式，能夠最大限度的使用計算機資源，有效的進行水平擴展。數(shù)據(jù)轉(zhuǎn)換的基本組成是步驟，而通過服務(wù)器集群技術(shù)的應(yīng)用，把轉(zhuǎn)換中的每一個步驟都能放在單獨的服務(wù)器里面并行的執(zhí)行，將極大提高數(shù)據(jù)處理的效率。
[0005]本發(fā)明的技術(shù)任務(wù)是按以下方式實現(xiàn)的:一種基于服務(wù)器集群技術(shù)的數(shù)據(jù)抽取轉(zhuǎn)換方法，包括如下步驟:
A)定義一個集群schema,所述集群schema由一臺主服務(wù)器,和若干子服務(wù)器組成,所述主服務(wù)器為該集群的控制器；
B)以包含在步驟A所述集群schema中的元數(shù)據(jù)記錄主服務(wù)器和子服務(wù)器之間怎樣來回傳遞的數(shù)據(jù)。
[0006]作為優(yōu)選，可以通過TCP/IP套接字在服務(wù)器之間傳遞數(shù)據(jù)，以提高處理速度，減少不必要的開銷。
[0007]作為優(yōu)選，定義和配置完成集群schema之后，定義的數(shù)據(jù)轉(zhuǎn)換的每一個步驟的執(zhí)行都可以選擇集群schema中的任意一臺子服務(wù)器，然后通過主服務(wù)器進行總的監(jiān)控和調(diào)度。
[0008]上述方法的具體實現(xiàn)過程優(yōu)選為:首先定義一個集群schema，通過slave-simple, xml配置文件記錄服務(wù)器的主機名和子服務(wù)器應(yīng)該監(jiān)聽的端口，還可以配置子服務(wù)器的各個方面。然后設(shè)計集群轉(zhuǎn)換，得先建立一個標準的轉(zhuǎn)換，然后再將其變成集群類型的。
[0009]最后在運行這個轉(zhuǎn)換時，需要啟用“Run this transformat1n in a clusteredmode? ”選項，使得這個轉(zhuǎn)換運行在一個集群上。
[0010]與現(xiàn)有技術(shù)相比，本發(fā)明提供了一種全新的基于服務(wù)器集群技術(shù)的數(shù)據(jù)交換方法，并且提供了水平的擴展方式，能夠保障服務(wù)器資源利用的最大化，極大提高數(shù)據(jù)傳輸效率，且具有良好的實用性。
【附圖說明】
[0011]附圖1是本發(fā)明實施例中集群schema定義示意圖；
附圖2是本發(fā)明實施例中集群轉(zhuǎn)換示意圖；
附圖3是本發(fā)明實施例中執(zhí)行和監(jiān)控設(shè)置示意圖。
【具體實施方式】
[0012]參照說明書附圖以具體實施例對本發(fā)明的基于服務(wù)器集群技術(shù)的數(shù)據(jù)抽取轉(zhuǎn)換方法作以下詳細地說明。
[0013]實施例:
本發(fā)明的基于服務(wù)器集群技術(shù)的數(shù)據(jù)抽取轉(zhuǎn)換方法包括如下步驟:
步驟一:
如附圖1所示，在定義一個集群schema之前，需要定義一些子服務(wù)器，可以指定所有的細節(jié)給定義的集群schema。確保至少選擇一臺主服務(wù)器控制這個集群和一臺或更多子服務(wù)器；
創(chuàng)建集群schema,以下基礎(chǔ)選項可根據(jù)實際情況確實:
端口:最小的TCP/IP socket端口被用來傳輸數(shù)據(jù)從一臺子服務(wù)器到另一臺。它僅僅是一個起始的端口。如果你的集群轉(zhuǎn)換需要50個端口，就是端口號到端口號+50之間的所有端口都會被使用；
Sockets緩存大小:緩存大小用來緩解子服務(wù)器之間通信。不要將這個值設(shè)的太高，否則可能會引起數(shù)據(jù)傳輸處理的不良振蕩；
Sockets刷新間隔(rows):當數(shù)據(jù)記錄行到達這個值后,轉(zhuǎn)換引擎會在數(shù)據(jù)sockets上執(zhí)行一個刷新，強制將數(shù)據(jù)推送到遠程子服務(wù)器，設(shè)置這個參數(shù)值產(chǎn)生的性能影響，很大程度上依賴子服務(wù)器之間的網(wǎng)絡(luò)的速度和延遲；
Sokets數(shù)據(jù)是否壓縮:決定子服務(wù)器之前傳輸?shù)臄?shù)據(jù)是否壓縮。在面對網(wǎng)絡(luò)相對慢時(例如10Mbps)這個非常好，設(shè)成“Yes”將會導(dǎo)致集群轉(zhuǎn)換變慢，因為壓縮和解壓數(shù)據(jù)流需要附加的cpu時間。因此，通常情況下，在網(wǎng)絡(luò)不是瓶頸時，最好不啟用這個選項；
步驟二:
如附圖2所示，先建立一個標準的轉(zhuǎn)換。例如，可能想從一個存儲在共享網(wǎng)絡(luò)驅(qū)動的大文件里面讀取數(shù)據(jù)，排序數(shù)據(jù)，然后將數(shù)據(jù)寫入另外一個文件。先建立一個標準的轉(zhuǎn)換。然后如果想在3個子服務(wù)器上并行的讀取和排序數(shù)據(jù)，選取你想要在子服務(wù)器上執(zhí)行的步驟,“CSV file input”和“Sort rows”步驟。選擇集群…從這個步驟的上下文菜單里面，選擇這個步驟要運行的集群schema之后，你的轉(zhuǎn)換將變成集群轉(zhuǎn)換。當執(zhí)行這個轉(zhuǎn)換，所有的被定義成集群運行(在圖2中那些有CX3)的步驟都將運行在這個子服務(wù)器上，而那些沒有集群標識的步驟將運行在主服務(wù)器上； 步驟三:
如附圖3所示，為了運行一個集群轉(zhuǎn)換，是通過在IDI里面選擇“Execute clustered"選項執(zhí)行。為了調(diào)試的目的，可以使用下面幾個集群選項:
提交轉(zhuǎn)換:提交生成的轉(zhuǎn)換給子服務(wù)器和主服務(wù)器；
準備執(zhí)行:執(zhí)行在子服務(wù)器和主服務(wù)器上生成的轉(zhuǎn)換的初始化工作；
開始執(zhí)行:當這個選項啟用，這個集群轉(zhuǎn)換將在主服務(wù)器和字服務(wù)器上啟動；
顯示轉(zhuǎn)換:在IDI中打開主服務(wù)器和子服務(wù)器上的轉(zhuǎn)換，使得你可以看到生成的轉(zhuǎn)換。
[0014]要完全的運行一個轉(zhuǎn)換，上述前三個選項必須啟用；第四個選項非必須，僅僅能夠看到這個生成的轉(zhuǎn)換。
【主權(quán)項】
1.一種基于服務(wù)器集群技術(shù)的數(shù)據(jù)抽取轉(zhuǎn)換方法，其特征在于包括如下步驟: A)定義一個集群schema,所述集群schema由一臺主服務(wù)器,和若干子服務(wù)器組成,所述主服務(wù)器為該集群的控制器； B)以包含在步驟A所述集群schema中的元數(shù)據(jù)記錄主服務(wù)器和子服務(wù)器之間怎樣來回傳遞的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的基于服務(wù)器集群技術(shù)的數(shù)據(jù)抽取轉(zhuǎn)換方法，其特征在于，通過TCP/IP套接字在服務(wù)器之間傳遞數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的基于服務(wù)器集群技術(shù)的數(shù)據(jù)抽取轉(zhuǎn)換方法，其特征在于，定義和配置完成集群schema之后，定義的數(shù)據(jù)轉(zhuǎn)換的每一個步驟的執(zhí)行都可以選擇集群schema中的任意一臺子服務(wù)器，然后通過主服務(wù)器進行總的監(jiān)控和調(diào)度。
【專利摘要】本發(fā)明公開了一種基于服務(wù)器集群技術(shù)的數(shù)據(jù)抽取轉(zhuǎn)換方法，屬于數(shù)據(jù)變換領(lǐng)域。該方法包括如下步驟：A）定義一個集群schema，所述集群schema由一臺主服務(wù)器，和若干子服務(wù)器組成，所述主服務(wù)器為該集群的控制器；B）以包含在步驟A所述集群schema中的元數(shù)據(jù)記錄主服務(wù)器和子服務(wù)器之間怎樣來回傳遞的數(shù)據(jù)。與現(xiàn)有技術(shù)相比，本發(fā)明的方法能夠保障服務(wù)器資源利用的最大化，極大提高數(shù)據(jù)傳輸效率，且具有良好的實用性及推廣應(yīng)用價值。
【IPC分類】H04L29-08
【公開號】CN104639659
【申請?zhí)枴緾N201510108370
【發(fā)明人】王相成, 劉斌
【申請人】浪潮集團有限公司
【公開日】2015年5月20日
【申請日】2015年3月12日