一種數(shù)據(jù)倉庫數(shù)據(jù)處理方法和系統(tǒng)的制作方法
【技術(shù)領域】
[0001]本發(fā)明涉及數(shù)據(jù)庫領域，尤其涉及一種數(shù)據(jù)倉庫數(shù)據(jù)處理方法和系統(tǒng)。
【背景技術(shù)】
[0002]數(shù)據(jù)庫(Database )是按照數(shù)據(jù)結(jié)構(gòu)來組織、存儲和管理數(shù)據(jù)的倉庫。對數(shù)據(jù)庫數(shù)據(jù)的處理大致分為兩類:一類是操作型處理，這類處理通常用于對數(shù)據(jù)庫中的少數(shù)記錄進行查詢、修改；另一類是分析型處理，這類處理一般用于對歷史數(shù)據(jù)進行分析，使得數(shù)據(jù)能夠應用于決策，所述分析型處理后得到的面向主題的、集成的、與時間相關的、不可修改的數(shù)據(jù)集合可以稱為數(shù)據(jù)倉庫。數(shù)據(jù)倉庫的任務主要是把信息加以整理歸納和重組，并及時提供給決策人員。目前數(shù)據(jù)倉庫的數(shù)據(jù)處理通常通過分布式系統(tǒng)來實現(xiàn)，所述分布式系統(tǒng)可以將多臺計算機聯(lián)合起來，構(gòu)成計算機群，并行處理大規(guī)模的數(shù)據(jù)，同時在多臺計算機上運行不同任務。
[0003]目前數(shù)據(jù)倉庫中對數(shù)據(jù)進行處理一般建立在ETL數(shù)據(jù)處理理論的基礎上的，ETL是指Extract1n (抽取)、Transformat1n (轉(zhuǎn)換)、和Loading (加載)。具體的ETL操作包括:將業(yè)務系統(tǒng)中的數(shù)據(jù)抽取出來，并將不同數(shù)據(jù)源的數(shù)據(jù)按照業(yè)務需要進行轉(zhuǎn)換和整合，得出目標數(shù)據(jù)，然后將目標數(shù)據(jù)加載到數(shù)據(jù)倉庫中。
[0004]數(shù)據(jù)倉庫一般是以數(shù)據(jù)表的結(jié)構(gòu)存儲數(shù)據(jù)，每個數(shù)據(jù)表對應一個數(shù)據(jù)對象。數(shù)據(jù)表是指一系列二維數(shù)組的集合，通常用來代表和儲存數(shù)據(jù)對象之間的關系。數(shù)據(jù)庫表可以由縱向的列和橫向的行組成，例如一個有關作者信息的名為“作者”的表中，每個列包含的是所有作者的某個特定類型的信息，比如“姓氏”，而每行則包含了某個特定作者的所有信息:姓、名、住址等等。對于特定的數(shù)據(jù)庫表，列的數(shù)目一般事先固定，各列之間可以由列名來識別。
[0005]在數(shù)據(jù)倉庫數(shù)據(jù)處理過程中，通常將建立或生成一個數(shù)據(jù)表作為一個任務，所述任務的初始狀態(tài)可以是未完成狀態(tài)；對每一個任務設置一個任務狀態(tài)標識來表不該任務的任務狀態(tài)，例如用“O”表示任務狀態(tài)為未完成，用“I”表示任務狀態(tài)為完成。若需要第一個任務完成后才能執(zhí)行第二個任務，那么所述第一個任務稱為父任務，所述第二個任務稱為子任務。對于數(shù)據(jù)倉庫數(shù)據(jù)處理過程，父任務和子任務分別占用調(diào)度系統(tǒng)的一個調(diào)度層級。調(diào)度系統(tǒng)可以記錄各個任務之間的依賴關系。通常，數(shù)據(jù)倉庫數(shù)據(jù)處理過程中，子任務每隔預定時間，主動查詢其依賴的父任務的任務狀態(tài)。若父任務的任務狀態(tài)均為已完成狀態(tài)，則可以執(zhí)行子任務。
[0006]常用的數(shù)據(jù)處理方法包括稱為Inmon的企業(yè)信息化工廠式的數(shù)據(jù)處理方法和稱為Kimball的維度數(shù)據(jù)倉庫總線體系結(jié)式的數(shù)據(jù)處理方法構(gòu)。
[0007]所述Inmon的企業(yè)信息化工廠式的數(shù)據(jù)處理方法，該數(shù)據(jù)處理方法通過ETL將業(yè)務源系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、轉(zhuǎn)換之后加載到企業(yè)數(shù)據(jù)倉庫，在此企業(yè)數(shù)據(jù)倉庫基礎層上建立面向主題的數(shù)據(jù)集市。在主題數(shù)據(jù)集市的基礎上，提供應用層服務。所述企業(yè)數(shù)據(jù)倉庫基礎模型遵循實體-聯(lián)系模型(簡稱E-R模型)的原則來設計。所述企業(yè)數(shù)據(jù)倉庫基礎層基于原始數(shù)據(jù)的性質(zhì)，盡可能保存粒度最細的數(shù)據(jù)。所述方法在數(shù)據(jù)集市中采用維度設計的方法。
[0008]另一種稱為Kimball的維度數(shù)據(jù)倉庫總線體系結(jié)構(gòu)式的數(shù)據(jù)處理方法，該數(shù)據(jù)處理方法主要從業(yè)務源系統(tǒng)根據(jù)ETL理論建立維度數(shù)據(jù)倉庫基礎層。所述維度數(shù)據(jù)基礎層根據(jù)維度建模的原則來設計，由一系列的星型模型和多維數(shù)據(jù)集組成。在維度數(shù)據(jù)模型的基礎上建立面向主題的數(shù)據(jù)集市，數(shù)據(jù)集市同樣采用維度建模的原則，對基礎層重新進行維度定義和聚合。再在主題集市的基礎上，建立各種應用層服務。
[0009]上述兩種數(shù)據(jù)倉庫數(shù)據(jù)處理方法實現(xiàn)時將數(shù)據(jù)倉庫劃分為四層結(jié)構(gòu)，分別為:源系統(tǒng)數(shù)據(jù)處理層、企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)處理層、通用維度模型數(shù)據(jù)處理層和應用數(shù)據(jù)處理層。源系統(tǒng)數(shù)據(jù)處理層用于從業(yè)務系統(tǒng)抽取原始數(shù)據(jù)，所述源系統(tǒng)數(shù)據(jù)處理層一般占用調(diào)度系統(tǒng)的一個調(diào)度層級；企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)處理層用于以關系模型存儲各類業(yè)務數(shù)據(jù)，實現(xiàn)海量數(shù)據(jù)的集中、穩(wěn)定、有序存貯，所述企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)處理層一般占用調(diào)度系統(tǒng)的一個或兩個調(diào)度層級；通用維度模型數(shù)據(jù)處理層用于根據(jù)主題應用存貯數(shù)據(jù)集合，所述通用維度模型數(shù)據(jù)處理層對數(shù)據(jù)處理時任務比較復雜，一般需要占用調(diào)度系統(tǒng)的多個調(diào)度層級；應用數(shù)據(jù)處理層主要用于向用戶提供業(yè)務數(shù)據(jù)，所述應用數(shù)據(jù)處理層一般占用調(diào)度系統(tǒng)的一個層級。
[0010]在實現(xiàn)本申請過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題:
[0011]由于通用維度模型數(shù)據(jù)處理層在對數(shù)據(jù)進行處理時任務比較復雜，通用維度模型數(shù)據(jù)處理層級中的任務在該層級內(nèi)部相互依賴，這樣通用維度模型層在處理數(shù)據(jù)時實際會占用調(diào)度系統(tǒng)的多個調(diào)度層級。例如通用維度模型層中的任務可能既包含對基礎信息進行描述，也包含對信息進行匯總、統(tǒng)計等，而對信息進行匯總依賴于對基礎信息進行描述，對信息進行統(tǒng)計又依賴于對信息進行匯總。這樣，可能多個任務依賴少數(shù)幾個任務，那么在某個時間段，所述通用維度模型層中可能只有所述少數(shù)幾個任務在執(zhí)行，下游節(jié)點的所述多個任務都在等待所述少數(shù)幾個任務結(jié)束，這樣分布式系統(tǒng)環(huán)境下的計算機資源不能被有效利用，數(shù)據(jù)倉庫的數(shù)據(jù)處理效率不高。

【發(fā)明內(nèi)容】

[0012]本發(fā)明的目的在于提高一種數(shù)據(jù)倉庫數(shù)據(jù)處理方法和系統(tǒng)，以提高數(shù)據(jù)處理效率。
[0013]一種數(shù)據(jù)倉庫數(shù)據(jù)處理方法，包括:
[0014]從業(yè)務系統(tǒng)中抽取出原始數(shù)據(jù)并生成源系統(tǒng)數(shù)據(jù)表；
[0015]對源系統(tǒng)數(shù)據(jù)表去冗余并對數(shù)據(jù)記歷史，建立歷史數(shù)據(jù)表；
[0016]建立事實數(shù)據(jù)表對歷史數(shù)據(jù)表的數(shù)據(jù)進行歸類；
[0017]對事實數(shù)據(jù)表的數(shù)據(jù)進行匯總，建立匯總數(shù)據(jù)表；
[0018]統(tǒng)計兩個或兩個以上匯總數(shù)據(jù)表之間的指標數(shù)據(jù)，建立統(tǒng)計數(shù)據(jù)表；
[0019]基于事實數(shù)據(jù)表、匯總數(shù)據(jù)表、統(tǒng)計數(shù)據(jù)表的數(shù)據(jù)，建立應用數(shù)據(jù)表。
[0020]優(yōu)選方案中，所述數(shù)據(jù)處理方法還包括:
[0021]對歷史數(shù)據(jù)表中的底層數(shù)據(jù)進行分析歸類，建立歸類數(shù)據(jù)表；
[0022]相應地，所述建立事實數(shù)據(jù)表對歷史數(shù)據(jù)表的數(shù)據(jù)進行歸類，包括:建立事實數(shù)據(jù)表對歷史數(shù)據(jù)表和/或歸類數(shù)據(jù)表的數(shù)據(jù)進行歸類。
[0023]優(yōu)選方案中，所述建立一個數(shù)據(jù)表稱為一個當前任務；每一任務的初始任務狀態(tài)為未完成狀態(tài)。
[0024]優(yōu)選方案中，設置一狀態(tài)標識來表不每一任務的任務狀態(tài)。
[0025]優(yōu)選方案中，在所述建立任一數(shù)據(jù)表之前，還包括:
[0026]查詢當前任務所依賴的父任務的任務狀態(tài)；
[0027]若父任務的狀態(tài)均為完成狀態(tài)，執(zhí)行當前任務；
[0028]若父任務的狀態(tài)中至少有一個父任務是未完成狀態(tài)，在預定時間間隔后，重新查詢當前任務所依賴的父任務的任務狀態(tài)。
[0029]一種數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng)，包括:源系統(tǒng)數(shù)據(jù)處理單元、企業(yè)數(shù)據(jù)倉庫第一處理單元、通用維度模型第一處理單元、通用維度模型第二處理單元、通用維度模型第三處理單元、應用數(shù)據(jù)處理單元；其中，
[0030]所述源系統(tǒng)數(shù)據(jù)處理單元，用于從各個業(yè)務系統(tǒng)中抽取出原始數(shù)據(jù)，生成一個或一個以上的源系統(tǒng)數(shù)據(jù)表；
[0031]所述企業(yè)數(shù)據(jù)倉庫第一處理單元，用于對源系統(tǒng)數(shù)據(jù)處理單元中的源系統(tǒng)數(shù)據(jù)表去冗余并對數(shù)據(jù)記歷史，產(chǎn)生與源系統(tǒng)數(shù)據(jù)表相對應的一個或一個以上的歷史數(shù)據(jù)表；
[0032]所述通用維度模型第一處理單元，用于建立一個或一個以上的事實表對企業(yè)數(shù)據(jù)倉庫第一處理單元的數(shù)據(jù)進行歸類；
[0033]所述通用維度模型第二處理單元，用于對通用維度模型第一處理單元的數(shù)據(jù)進行匯總，生成至少一個匯總數(shù)據(jù)表；
[0034]所述通用維度模型第三處理單元，用于統(tǒng)計通用維度模型第二處理單元中表與表的指標數(shù)據(jù)，生成至少一個統(tǒng)計數(shù)據(jù)表；
[0035]所述應用數(shù)據(jù)處理單元，用于根據(jù)通用維度模型第一處理單元、通用維度模型第二處理單元、通用維度模型第三處理單元的數(shù)據(jù)生成應用數(shù)據(jù)表。
[0036]優(yōu)選方案中，
[0037]所述企業(yè)數(shù)據(jù)倉庫第一處理單元調(diào)用源系統(tǒng)數(shù)據(jù)處理單元的結(jié)果；
[0038]所述通用維度模型第一處理單元調(diào)用企業(yè)數(shù)據(jù)倉庫第一處理單元的結(jié)果；
[0039]所述通用維度模型第二處理單元調(diào)用通用維度模型第一處理單元的結(jié)果；
[0040]所述通用維度模型第三處理單元調(diào)用通用維度模型第二處理單元的結(jié)果；
[0041]所述應用數(shù)據(jù)處理單元，調(diào)用通用維度模型第一處理單元、通用維度模型第二處理單元、通用維度模型第三處理單元的結(jié)果。
[0042]優(yōu)選方案中，所述數(shù)據(jù)倉庫數(shù)據(jù)處理系統(tǒng)，還包括:企業(yè)數(shù)據(jù)倉庫第二處理單元；
[0043]所述企業(yè)數(shù)據(jù)倉庫第二處理單元，用于對企業(yè)數(shù)據(jù)倉庫第一處理單元中的底層數(shù)據(jù)進行分析歸類，生成歸類數(shù)據(jù)表；
[0044]相應地，所述通用維度模型第一處理單元，用于建立一個或一個以上的事實表對企業(yè)數(shù)據(jù)倉庫第一處理單元、企業(yè)數(shù)據(jù)倉庫第二處理單元的數(shù)據(jù)進行歸類；
[0045]優(yōu)選方案中，所述企業(yè)數(shù)據(jù)倉庫第二處理單元調(diào)用企業(yè)數(shù)據(jù)倉庫第一處理單元的結(jié)果;
[0046]相應地，所述通用維度模型第一處理單元調(diào)用企業(yè)數(shù)據(jù)倉庫第一處理單元和/或企業(yè)數(shù)據(jù)倉庫第二處理單元的結(jié)果。