[0047]優(yōu)選方案中,所述數(shù)據(jù)處理系統(tǒng)中每一處理單元建立一個(gè)數(shù)據(jù)表對應(yīng)一個(gè)任務(wù)單
J Li ο
[0048]優(yōu)選方案中,所述任務(wù)單元,包括:父任務(wù)單元、當(dāng)前任務(wù)單元;其中,
[0049]所述父任務(wù)單元,用于記錄當(dāng)前任務(wù)所依賴的父任務(wù),并查詢所述父任務(wù)的任務(wù)狀態(tài);所述父任務(wù)的初始狀態(tài)為未完成狀態(tài);
[0050]所述當(dāng)前任務(wù)單元,用于執(zhí)行當(dāng)前任務(wù),當(dāng)前任務(wù)完成后,更改當(dāng)前任務(wù)的任務(wù)狀態(tài)為已完成狀態(tài)。
[0051]優(yōu)選方案中,所述父任務(wù)單元,包括:父任務(wù)狀態(tài)記錄單元和父任務(wù)狀態(tài)查詢單元;
[0052]所述父任務(wù)狀態(tài)記錄單元,用于記錄當(dāng)前任務(wù)所依賴的所有父任務(wù);
[0053]所述父任務(wù)狀態(tài)查詢單元,用于查詢當(dāng)前任務(wù)所依賴的所有父任務(wù)的任務(wù)狀態(tài);若所有父任務(wù)的任務(wù)狀態(tài)均為完成狀態(tài),則執(zhí)行當(dāng)前任務(wù)單元;若所有父任務(wù)中至少有一個(gè)父任務(wù)的任務(wù)狀態(tài)為未完成狀態(tài),則等待預(yù)定時(shí)間后,重新執(zhí)行父任務(wù)狀態(tài)查詢單元,直至所有父任務(wù)的任務(wù)狀態(tài)均為完成狀態(tài)。
[0054]優(yōu)選方案中,所述當(dāng)前任務(wù)單元,包括:當(dāng)前任務(wù)執(zhí)行單元和當(dāng)前任務(wù)狀態(tài)記錄單元;
[0055]所述當(dāng)前任務(wù)執(zhí)行單元,用于執(zhí)行當(dāng)前任務(wù),即建立一個(gè)數(shù)據(jù)表;
[0056]所述當(dāng)前任務(wù)狀態(tài)記錄單元,用于記錄當(dāng)然任務(wù)的任務(wù)狀態(tài);所述任務(wù)狀態(tài)的初始狀態(tài)為未完成狀態(tài);在當(dāng)前任務(wù)執(zhí)行單元中當(dāng)前任務(wù)執(zhí)行完畢時(shí),更改當(dāng)前任務(wù)的任務(wù)狀態(tài)為已完成狀態(tài)。
[0057]優(yōu)選方案中,所述源系統(tǒng)數(shù)據(jù)處理單元中每一個(gè)任務(wù)對應(yīng)的任務(wù)單元,不包括:父任務(wù)單元。
[0058]本申請?zhí)峁┑臄?shù)據(jù)倉庫數(shù)據(jù)處理方法與系統(tǒng),在現(xiàn)有的數(shù)據(jù)倉庫數(shù)據(jù)處理方法的基礎(chǔ)上將通用維度模型數(shù)據(jù)處理層分為三層,這就避免了通用維度模型層中每一層級內(nèi)部的任務(wù)相互依賴,使得任務(wù)的并行數(shù)目達(dá)到最大,這樣通用維度模型數(shù)據(jù)處理層中任意一層數(shù)據(jù)處理任務(wù)完成后,數(shù)據(jù)處理結(jié)果也可以被應(yīng)用層數(shù)據(jù)處理過程直接調(diào)用,這樣分布式系統(tǒng)環(huán)境下的計(jì)算機(jī)資源就能夠被有效利用,從而提高數(shù)據(jù)倉庫數(shù)據(jù)處理的效率。
【附圖說明】
[0059]為了更清楚地說明本申請實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請中記載的一些實(shí)施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
[0060]圖1是本申請數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng)實(shí)施例的組成結(jié)構(gòu)圖;
[0061]圖2是本申請與數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng)中建立一個(gè)數(shù)據(jù)表對應(yīng)的任務(wù)單元的組成結(jié)構(gòu)示意圖;
[0062]圖3是任務(wù)單元中父任務(wù)單元的組成結(jié)構(gòu)圖;
[0063]圖4是任務(wù)單元中當(dāng)前任務(wù)單元的組成結(jié)構(gòu)圖;
[0064]圖5是本申請數(shù)據(jù)倉庫數(shù)據(jù)處理方法實(shí)施例的流程圖;
[0065]圖6是對用戶瀏覽這一主題進(jìn)行數(shù)據(jù)倉庫數(shù)據(jù)處理的各個(gè)任務(wù)的依賴關(guān)系圖。
【具體實(shí)施方式】
[0066]為了使本技術(shù)領(lǐng)域的人員更好地理解本申請中的技術(shù)方案,下面將結(jié)合本申請實(shí)施例中的附圖,對本申請實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本申請一部分實(shí)施例,而不是全部的實(shí)施例。基于本申請中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。
[0067]下面介紹本申請數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng)第一實(shí)施例。圖1是本申請數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng)實(shí)施例的組成結(jié)構(gòu)圖。如圖1所示,本申請數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng)包括:源系統(tǒng)數(shù)據(jù)處理單元101、企業(yè)數(shù)據(jù)倉庫第一處理單元102、通用維度模型第一處理單元103、通用維度模型第二處理單元104、通用維度模型第三處理單元105、應(yīng)用數(shù)據(jù)處理單元106。其中,
[0068]所述源系統(tǒng)數(shù)據(jù)處理單元101,用于從各個(gè)業(yè)務(wù)系統(tǒng)中抽取出原始數(shù)據(jù),生成一個(gè)或一個(gè)以上的源系統(tǒng)數(shù)據(jù)表;
[0069]所述企業(yè)數(shù)據(jù)倉庫第一處理單元102,用于對源系統(tǒng)數(shù)據(jù)處理單元101中的源系統(tǒng)數(shù)據(jù)表去冗余并對數(shù)據(jù)記歷史,產(chǎn)生與源系統(tǒng)數(shù)據(jù)表相對應(yīng)的一個(gè)或一個(gè)以上的歷史數(shù)據(jù)表;
[0070]所述通用維度模型第一處理單元103,用于建立一個(gè)或一個(gè)以上的事實(shí)數(shù)據(jù)表對企業(yè)數(shù)據(jù)倉庫第一處理單元102的數(shù)據(jù)進(jìn)行歸類;
[0071]所述通用維度模型第二處理單元104,用于對通用維度模型第一處理單元103的數(shù)據(jù)進(jìn)行匯總,生成至少一個(gè)匯總數(shù)據(jù)表;
[0072]所述通用維度模型第三處理單元105,用于統(tǒng)計(jì)通用維度模型第二處理單元104中表與表的指標(biāo)數(shù)據(jù),生成至少一個(gè)統(tǒng)計(jì)數(shù)據(jù)表;
[0073]所述應(yīng)用數(shù)據(jù)處理單元106,用于根據(jù)通用維度模型第一處理單元103、通用維度模型第二處理單元104、通用維度模型第三處理單元105的數(shù)據(jù)生成應(yīng)用數(shù)據(jù)表。
[0074]所述企業(yè)數(shù)據(jù)倉庫第一處理單元102,可以調(diào)用源系統(tǒng)數(shù)據(jù)處理單元101的結(jié)果;
[0075]所述通用維度模型第一處理單元103,可以調(diào)用企業(yè)數(shù)據(jù)倉庫第一處理單元102的結(jié)果;
[0076]所述通用維度模型第二處理單元104,可以調(diào)用通用維度模型第一處理單元103的結(jié)果;
[0077]所述通用維度模型第三處理單元105,可以調(diào)用通用維度模型第二處理單元104的結(jié)果;
[0078]所述應(yīng)用數(shù)據(jù)處理單元106,可以調(diào)用通用維度模型第一處理單元103、通用維度模型第二處理單元104、通用維度模型第三處理單元105的結(jié)果。
[0079]下面介紹本申請數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng)第二實(shí)施例,本實(shí)施例與數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng)第一實(shí)施例的區(qū)別在于,所述數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng),還包括:企業(yè)數(shù)據(jù)倉庫第二處理單元107 ;
[0080]所述企業(yè)數(shù)據(jù)倉庫第二處理單元107,用于對企業(yè)數(shù)據(jù)倉庫第一處理單元中的底層數(shù)據(jù)進(jìn)行分析歸類,生成歸類數(shù)據(jù)表;
[0081]相應(yīng)地,所述通用維度模型第一處理單元103,用于建立一個(gè)或一個(gè)以上的事實(shí)表對企業(yè)數(shù)據(jù)倉庫第一處理單元102、企業(yè)數(shù)據(jù)倉庫第二處理單元107的數(shù)據(jù)進(jìn)行歸類。
[0082]所述企業(yè)數(shù)據(jù)倉庫第二處理單元107可以調(diào)用企業(yè)數(shù)據(jù)倉庫第一處理單元102的結(jié)果;
[0083]相應(yīng)地,所述通用維度模型第一處理單元103可以調(diào)用企業(yè)數(shù)據(jù)倉庫第一處理單元102、企業(yè)數(shù)據(jù)倉庫第二處理單元107的結(jié)果。
[0084]圖2是本申請與數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng)中建立一個(gè)數(shù)據(jù)表對應(yīng)的任務(wù)單元的組成結(jié)構(gòu)示意圖。如圖2所示,所述數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng)中建立一個(gè)數(shù)據(jù)表對應(yīng)的任務(wù)單元,包括:父任務(wù)單元201、當(dāng)前任務(wù)單元202。其中,
[0085]所述父任務(wù)單元201,用于記錄當(dāng)前任務(wù)所依賴的父任務(wù),并查詢所述父任務(wù)的任務(wù)狀態(tài);所述父任務(wù)的初始狀態(tài)為未完成狀態(tài);
[0086]圖3是任務(wù)單元中父任務(wù)單元的組成結(jié)構(gòu)圖。如圖3所示,所述父任務(wù)單元201,具體包括:父任務(wù)狀態(tài)記錄單元2011和父任務(wù)狀態(tài)查詢單元2012 ;
[0087]所述父任務(wù)狀態(tài)記錄單元2011,可以用于記錄當(dāng)前任務(wù)所依賴的所有父任務(wù);
[0088]所述父任務(wù)狀態(tài)查詢單元2012,可以用于查詢當(dāng)前任務(wù)所依賴的所有父任務(wù)的任務(wù)狀態(tài);若所有父任務(wù)的任務(wù)狀態(tài)均為完成狀態(tài),則執(zhí)行當(dāng)前任務(wù)單元;若所有父任務(wù)中至少有一個(gè)父任務(wù)的任務(wù)狀態(tài)為未完成狀態(tài),則等待預(yù)定時(shí)間后,重新執(zhí)行父任務(wù)狀態(tài)查詢單元,直至所有父任務(wù)的任務(wù)狀態(tài)均為完成狀態(tài)。
[0089]所述當(dāng)前任務(wù)單元202,用于執(zhí)行當(dāng)前任務(wù),當(dāng)前任務(wù)完成后,更改當(dāng)前任務(wù)的任務(wù)狀態(tài)為已完成狀態(tài)。
[0090]圖4是任務(wù)單元中當(dāng)前任務(wù)單元的組成結(jié)構(gòu)圖。如圖4所示,所述當(dāng)前任務(wù)單元202,包括:當(dāng)前任務(wù)執(zhí)行單元2021和當(dāng)前任務(wù)狀態(tài)記錄單元2022 ;
[0091]所述當(dāng)前任務(wù)執(zhí)行單元2021,用于執(zhí)行當(dāng)前任務(wù),即建立一個(gè)數(shù)據(jù)表;
[0092]所述當(dāng)前任務(wù)狀態(tài)記錄單元2022,用于記錄當(dāng)然任務(wù)的任務(wù)狀態(tài);所述任務(wù)狀態(tài)的初始狀態(tài)為未完成狀態(tài);在當(dāng)前任務(wù)執(zhí)行單元中當(dāng)前任務(wù)執(zhí)行完畢時(shí),更改當(dāng)前任務(wù)的任務(wù)狀態(tài)為已完成狀態(tài)。
[0093]需要說明的是,在數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng)中,由于所述源系統(tǒng)數(shù)據(jù)處理單元101中的每一個(gè)建立數(shù)據(jù)表的任務(wù)是根節(jié)點(diǎn)任務(wù),沒有需要依賴的父任務(wù),所以所述源系統(tǒng)數(shù)據(jù)處理單元101中每一個(gè)任務(wù)對應(yīng)的任務(wù)單元,不包括:父任務(wù)單元201。
[0094]圖5是本申請數(shù)據(jù)倉庫數(shù)據(jù)處理方法實(shí)施例的流程圖。如圖5所示,所述數(shù)據(jù)倉庫數(shù)據(jù)處理方法,包括:
[0095]S501:從業(yè)務(wù)系統(tǒng)中抽取出原始數(shù)據(jù)并生成源系統(tǒng)數(shù)據(jù)表。
[0096]該步驟主要是利用源系統(tǒng)數(shù)據(jù)處理單元,先從各個(gè)業(yè)務(wù)系統(tǒng)中抽取出數(shù)據(jù)倉庫數(shù)據(jù)處理所需要的原始數(shù)據(jù),所述原始數(shù)據(jù)可以是數(shù)據(jù)倉庫系統(tǒng)外部或內(nèi)部的數(shù)據(jù)。根據(jù)抽取出的原始數(shù)據(jù)建立至少一個(gè)數(shù)據(jù)表并對所述數(shù)據(jù)表命名,所述數(shù)據(jù)表即為源系統(tǒng)數(shù)據(jù)表。在對所述源系統(tǒng)數(shù)據(jù)表命名時(shí),為了清楚地表示所述源系統(tǒng)數(shù)據(jù)表為源系統(tǒng)數(shù)據(jù)處理單元的處理結(jié)果,可以對所述一個(gè)或多個(gè)源系統(tǒng)數(shù)據(jù)表的名稱加一統(tǒng)一的標(biāo)識,例如在數(shù)據(jù)表的名稱前加一 “odl”,所述“odl”表示源系統(tǒng)數(shù)據(jù)層“operat1nal data layer”。每個(gè)建立數(shù)據(jù)表的任務(wù)