一種數(shù)據(jù)處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本申請涉及數(shù)據(jù)倉庫技術(shù)領(lǐng)域，更具體地說，涉及一種數(shù)據(jù)處理方法及裝置。
【背景技術(shù)】
[0002]數(shù)據(jù)倉庫是決策支持系統(tǒng)和聯(lián)機(jī)分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。數(shù)據(jù)倉庫研究和解決從數(shù)據(jù)庫中獲取信息的問題。數(shù)據(jù)倉庫的體系結(jié)構(gòu)一共分為四個層次，分別為:數(shù)據(jù)緩沖層、貼源數(shù)據(jù)集成層、中間層和數(shù)據(jù)集市。
[0003]數(shù)據(jù)按指定頻度從源系統(tǒng)傳輸?shù)絺}庫后，首先加載到數(shù)據(jù)緩沖層，再加工至貼源數(shù)據(jù)集成層?，F(xiàn)有的數(shù)據(jù)倉庫實施方式中，需要為接入的每張數(shù)據(jù)表都進(jìn)行數(shù)據(jù)處理程序的開發(fā)，以使得數(shù)據(jù)表加載至數(shù)據(jù)倉庫中。當(dāng)需要接入的數(shù)據(jù)表數(shù)量眾多時，需要逐個為數(shù)據(jù)表發(fā)開數(shù)據(jù)處理程序，造成大量人力資源的消耗，同時該實施方式將在開發(fā)相似程序的重復(fù)勞動中耗費(fèi)大量的人力成本。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本申請?zhí)峁┝艘环N數(shù)據(jù)處理方法及裝置，用于解決現(xiàn)有為每個數(shù)據(jù)表開發(fā)數(shù)據(jù)處理程序的方式所存在的耗費(fèi)人力資源與成本的問題。
[0005]為了實現(xiàn)上述目的，現(xiàn)提出的方案如下:
[0006]一種數(shù)據(jù)處理方法，包括:
[0007]接收數(shù)據(jù)源傳入的數(shù)據(jù)表；
[0008]查詢預(yù)置的與所述數(shù)據(jù)表的表名對應(yīng)的作業(yè)配置信息，得到目標(biāo)作業(yè)配置信息，所述作業(yè)配置信息為用戶預(yù)先根據(jù)待加工的數(shù)據(jù)表填寫數(shù)據(jù)配置模板，并依據(jù)填寫后的數(shù)據(jù)配置模板生成的作業(yè)配置信息；
[0009]利用所述目標(biāo)作業(yè)配置信息生成用于進(jìn)行數(shù)據(jù)處理的SQL語句；
[0010]利用所述SQL語句對所述數(shù)據(jù)表進(jìn)行處理，將所述數(shù)據(jù)表加載到數(shù)據(jù)倉庫中。
[0011 ] 優(yōu)選地，所述目標(biāo)作業(yè)配置信息包括數(shù)據(jù)表從數(shù)據(jù)倉庫的數(shù)據(jù)緩沖層集成至貼源數(shù)據(jù)集成層的貼源算法的標(biāo)識，以及數(shù)據(jù)表從貼源數(shù)據(jù)集成層至中間層的預(yù)處理算法的標(biāo)識，則所述利用所述目標(biāo)作業(yè)配置信息生成用于進(jìn)行數(shù)據(jù)處理的SQL語句，包括:
[0012]在預(yù)置的貼源算法參數(shù)表中查詢與所述目標(biāo)作業(yè)配置信息中包含的貼源算法的標(biāo)識相同的貼源算法；
[0013]在預(yù)置的預(yù)處理算法參數(shù)表中查詢與所述目標(biāo)作業(yè)配置信息中包含的預(yù)處理算法的標(biāo)識相同的預(yù)處理算法；
[0014]利用查詢到的貼源算法以及預(yù)處理算法，生成SQL語句；
[0015]所述利用所述SQL語句對所述數(shù)據(jù)表進(jìn)行處理，將所述數(shù)據(jù)表加載到數(shù)據(jù)倉庫中，包括:
[0016]利用生成的SQL語句將所述數(shù)據(jù)表從所述數(shù)據(jù)緩沖層集成至所述貼源數(shù)據(jù)集成層，進(jìn)一步將所述貼源數(shù)據(jù)集成層中的數(shù)據(jù)表加載至所述中間層。
[0017]優(yōu)選地，所述目標(biāo)作業(yè)配置信息還包括數(shù)據(jù)核檢信息，在所述利用所述SQL語句對所述數(shù)據(jù)表進(jìn)行處理，將所述數(shù)據(jù)表加載到數(shù)據(jù)倉庫中之前，該方法還包括:
[0018]利用所述數(shù)據(jù)核檢信息對所述數(shù)據(jù)表進(jìn)行數(shù)據(jù)核檢。
[0019]優(yōu)選地，所述SQL語句攜帶有流程控制標(biāo)記，所述利用所述SQL語句對所述數(shù)據(jù)表進(jìn)行處理，包括:
[0020]解析所述SQL語句中的流程控制標(biāo)記，得到流程控制標(biāo)記的類型；
[0021]按照所述流程控制標(biāo)記的類型來執(zhí)行所述SQL語句，以實現(xiàn)對所述數(shù)據(jù)表的處理。
[0022]一種數(shù)據(jù)處理裝置，包括:
[0023]數(shù)據(jù)表接收單元，用于接收數(shù)據(jù)源傳入的數(shù)據(jù)表；
[0024]作業(yè)配置信息獲取單元，用于查詢預(yù)置的與所述數(shù)據(jù)表的表名對應(yīng)的作業(yè)配置信息，得到目標(biāo)作業(yè)配置信息，所述作業(yè)配置信息為用戶預(yù)先根據(jù)待加工的數(shù)據(jù)表填寫數(shù)據(jù)配置模板，并依據(jù)填寫后的數(shù)據(jù)配置模板生成的作業(yè)配置信息；
[0025]SQL語句生成單元，用于利用所述目標(biāo)作業(yè)配置信息生成用于進(jìn)行數(shù)據(jù)處理的SQL語句；
[0026]數(shù)據(jù)處理單元，用于利用所述SQL語句對所述數(shù)據(jù)表進(jìn)行處理，將所述數(shù)據(jù)表加載到數(shù)據(jù)倉庫中。
[0027]優(yōu)選地，所述目標(biāo)作業(yè)配置信息包括數(shù)據(jù)表從數(shù)據(jù)倉庫的數(shù)據(jù)緩沖層集成至貼源數(shù)據(jù)集成層的貼源算法的標(biāo)識，以及數(shù)據(jù)表從貼源數(shù)據(jù)集成層至中間層的預(yù)處理算法的標(biāo)識，則所述SQL語句生成單元，包括:
[0028]第一 SQL語句生成子單元，用于在預(yù)置的貼源算法參數(shù)表中查詢與所述目標(biāo)作業(yè)配置信息中包含的貼源算法的標(biāo)識相同的貼源算法；
[0029]第二 SQL語句生成子單元，用于在預(yù)置的預(yù)處理算法參數(shù)表中查詢與所述目標(biāo)作業(yè)配置信息中包含的預(yù)處理算法的標(biāo)識相同的預(yù)處理算法；
[0030]第三SQL語句生成子單元，用于利用查詢到的貼源算法以及預(yù)處理算法，生成SQL語句；
[0031 ] 所述數(shù)據(jù)處理單元包括:
[0032]第一數(shù)據(jù)處理子單元，用于利用生成的SQL語句將所述數(shù)據(jù)表從所述數(shù)據(jù)緩沖層集成至所述貼源數(shù)據(jù)集成層，進(jìn)一步將所述貼源數(shù)據(jù)集成層中的數(shù)據(jù)表加載至所述中間層。
[0033]優(yōu)選地，所述目標(biāo)作業(yè)配置信息還包括數(shù)據(jù)核檢信息，該裝置還包括:
[0034]數(shù)據(jù)核檢單元，用于利用所述數(shù)據(jù)核檢信息對所述數(shù)據(jù)表進(jìn)行數(shù)據(jù)核檢。
[0035]優(yōu)選地，所述SQL語句攜帶有流程控制標(biāo)記，所述數(shù)據(jù)處理單元包括:
[0036]流程控制標(biāo)記解析單元，用于解析所述SQL語句中的流程控制標(biāo)記，得到流程控制標(biāo)記的類型；
[0037]SQL語句執(zhí)行單元，用于按照所述流程控制標(biāo)記的類型來執(zhí)行所述SQL語句，以實現(xiàn)對所述數(shù)據(jù)表的處理。
[0038]從上述的技術(shù)方案可以看出，本申請實施例提供的數(shù)據(jù)處理方法，預(yù)先設(shè)計了數(shù)據(jù)配置模板，用戶根據(jù)待加工的數(shù)據(jù)表填寫數(shù)據(jù)配置模板，并依據(jù)填寫后的數(shù)據(jù)配置模板生成待加工數(shù)據(jù)表的作業(yè)配置信息，進(jìn)而在接收到數(shù)據(jù)源傳入的數(shù)據(jù)表時，依據(jù)數(shù)據(jù)表的表名查詢對應(yīng)的作業(yè)配置信息，并根據(jù)作業(yè)配置信息生成SQL語句，利用SQL語句對數(shù)據(jù)表進(jìn)行處理，將數(shù)據(jù)表加載到數(shù)據(jù)倉庫中。本申請由于設(shè)計了數(shù)據(jù)配置模板，因此針對待加工的數(shù)據(jù)表，只需按照數(shù)據(jù)配置模板中各字段的要求進(jìn)行填寫即可，填寫完畢后生成數(shù)據(jù)表的作業(yè)配置信息，進(jìn)而在處理數(shù)據(jù)表時可以直接按照對應(yīng)的作業(yè)配置信息進(jìn)行處理，無需人工針對每份數(shù)據(jù)表均編寫數(shù)據(jù)處理程序，大大節(jié)省了人力資源，降低了人力成本，并且也提升了數(shù)據(jù)處理效率。
【附圖說明】
[0039]為了更清楚地說明本申請實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。
[0040]圖1為本申請實施例公開的一種數(shù)據(jù)處理方法流程圖；
[0041]圖2為本申請實施例公開的另一種數(shù)據(jù)處理方法流程圖；
[0042]圖3為本申請實施例公開的又一種數(shù)據(jù)處理方法流程圖；
[0043]圖4為本申請實施例公開的又一種數(shù)據(jù)處理方法流程圖；
[0044]圖5為本申請實施例公開的一種數(shù)據(jù)處理裝置結(jié)構(gòu)示意圖。
【具體實施方式】
[0045]下面將結(jié)合本申請實施例中的附圖，對本申請實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基于本申請中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護(hù)的范圍。
[0046]參見圖1，圖1為本申請實施例公開的一種數(shù)據(jù)處理方法流程圖。
[0047]如圖1所示，該方法包括:
[0048]步驟S100、接收數(shù)據(jù)源傳入的數(shù)據(jù)表；
[0049]步驟S110、查詢預(yù)置的與所述數(shù)據(jù)表的表名對應(yīng)的作業(yè)配置信息，得到目標(biāo)作業(yè)配置信息；
[0050]具體地，所述作業(yè)配置信息為用戶預(yù)先根據(jù)待加工的數(shù)據(jù)表填寫數(shù)據(jù)配置模板，并依據(jù)填寫后的數(shù)據(jù)配置模板生成的作業(yè)配置信息。
[0051]本申請預(yù)先設(shè)計了數(shù)據(jù)配置模板，在數(shù)據(jù)配置模板中規(guī)定了需要填寫的字段，例如源數(shù)據(jù)庫名稱、目標(biāo)數(shù)據(jù)庫名稱、數(shù)據(jù)處理算法等。用戶可以根據(jù)待加工的數(shù)據(jù)表填寫數(shù)據(jù)配置模板，填寫完畢后利用數(shù)據(jù)配置模板生成數(shù)據(jù)表的作業(yè)配置信息。由數(shù)據(jù)配置模板至作業(yè)配置信息的過程可以是將面向于人的模板轉(zhuǎn)換為面向程序的可被讀取與執(zhí)行的信息。
[0052]步驟S120、利用所述