本發(fā)明實(shí)施例涉及大數(shù)據(jù)，尤其涉及一種數(shù)據(jù)質(zhì)檢方法、裝置、設(shè)備、程序產(chǎn)品及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在當(dāng)前數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)環(huán)境中，對(duì)數(shù)據(jù)進(jìn)行質(zhì)檢的重要性日益凸顯。數(shù)據(jù)質(zhì)檢有助于對(duì)數(shù)據(jù)的準(zhǔn)確性、完整性、一致性、時(shí)效性和可靠性進(jìn)行驗(yàn)證和改進(jìn)。

2、現(xiàn)在的企業(yè)使用的數(shù)據(jù)質(zhì)檢方法，大都是根據(jù)各子企業(yè)的業(yè)務(wù)數(shù)據(jù)等建立好一個(gè)規(guī)則庫(kù)，根據(jù)規(guī)則庫(kù)中記錄的數(shù)據(jù)質(zhì)檢規(guī)則對(duì)數(shù)據(jù)進(jìn)行質(zhì)檢。但是在實(shí)際應(yīng)用中，一個(gè)企業(yè)不同的子企業(yè)或不同部門(mén)之間存在關(guān)聯(lián)性和差異性，例如屬于同一個(gè)省的企業(yè)的部分業(yè)務(wù)數(shù)據(jù)需要遵循同一質(zhì)檢規(guī)則，而部分業(yè)務(wù)數(shù)據(jù)又需要遵循各自的質(zhì)檢規(guī)則。為每個(gè)存在差異的子企業(yè)單獨(dú)開(kāi)發(fā)數(shù)據(jù)質(zhì)檢規(guī)則，從而進(jìn)行數(shù)據(jù)質(zhì)檢，這種方式不僅耗時(shí)耗力，而且不具有通用性，導(dǎo)致了重復(fù)投入開(kāi)發(fā)的問(wèn)題。并且這種方式會(huì)忽視各子企業(yè)數(shù)據(jù)之間的關(guān)聯(lián)性和差異性，導(dǎo)致某些數(shù)據(jù)項(xiàng)質(zhì)檢結(jié)果與實(shí)際情況不符。尤其是面對(duì)數(shù)據(jù)量大和種類(lèi)繁多的待檢測(cè)數(shù)據(jù)時(shí)，這種方式更容易出錯(cuò)，無(wú)法保證數(shù)據(jù)質(zhì)檢的效率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供一種數(shù)據(jù)質(zhì)檢方法、裝置、設(shè)備、程序產(chǎn)品及存儲(chǔ)介質(zhì)，用以準(zhǔn)確的對(duì)各待檢測(cè)數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)檢，提高數(shù)據(jù)質(zhì)檢的效率。

2、第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)質(zhì)檢方法，包括：

3、接收至少一個(gè)數(shù)據(jù)源發(fā)送的至少一個(gè)待檢測(cè)報(bào)表；

4、根據(jù)各待檢測(cè)報(bào)表對(duì)應(yīng)的數(shù)據(jù)源、業(yè)務(wù)類(lèi)型以及預(yù)先確定的各個(gè)維度屬性，確定每個(gè)待檢測(cè)報(bào)表所屬的至少一個(gè)所述維度屬性；

5、針對(duì)所述至少一個(gè)所述維度屬性中的每個(gè)維度屬性，根據(jù)當(dāng)前維度屬性和預(yù)先確定的規(guī)則模板庫(kù)，確定所述當(dāng)前維度屬性對(duì)應(yīng)的子目標(biāo)規(guī)則模板；

6、針對(duì)所述至少一個(gè)待檢測(cè)報(bào)表中的各待檢測(cè)報(bào)表，根據(jù)當(dāng)前待檢測(cè)報(bào)表所屬的各維度屬性分別對(duì)應(yīng)的子目標(biāo)規(guī)則模板，生成當(dāng)前待檢測(cè)報(bào)表的目標(biāo)規(guī)則模板；

7、根據(jù)當(dāng)前待檢測(cè)報(bào)表對(duì)應(yīng)的目標(biāo)規(guī)則模板得到當(dāng)前待檢測(cè)報(bào)表的數(shù)據(jù)質(zhì)檢結(jié)果；

8、根據(jù)所述當(dāng)前待檢測(cè)報(bào)表和所述當(dāng)前待檢測(cè)報(bào)表的數(shù)據(jù)質(zhì)檢結(jié)果確定目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)發(fā)送至目標(biāo)平臺(tái)。

9、第二方面，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)質(zhì)檢裝置，包括：

10、數(shù)據(jù)接收模塊，用于接收至少一個(gè)數(shù)據(jù)源發(fā)送的至少一個(gè)待檢測(cè)報(bào)表；

11、屬性確定模塊，用于根據(jù)各待檢測(cè)報(bào)表對(duì)應(yīng)的數(shù)據(jù)源、業(yè)務(wù)類(lèi)型以及預(yù)先確定的各個(gè)維度屬性，確定每個(gè)待檢測(cè)報(bào)表所屬的至少一個(gè)所述維度屬性；

12、模板確定模塊，用于針對(duì)所述至少一個(gè)所述維度屬性中的每個(gè)維度屬性，根據(jù)當(dāng)前維度屬性和預(yù)先確定的規(guī)則模板庫(kù)，確定所述當(dāng)前維度屬性對(duì)應(yīng)的子目標(biāo)規(guī)則模板；

13、模板生成模塊，用于針對(duì)所述至少一個(gè)待檢測(cè)報(bào)表中的各待檢測(cè)報(bào)表，根據(jù)當(dāng)前待檢測(cè)報(bào)表所屬的各維度屬性分別對(duì)應(yīng)的子目標(biāo)規(guī)則模板，生成當(dāng)前待檢測(cè)報(bào)表的目標(biāo)規(guī)則模板；

14、結(jié)果確定模塊，用于根據(jù)當(dāng)前待檢測(cè)報(bào)表對(duì)應(yīng)的目標(biāo)規(guī)則模板得到當(dāng)前待檢測(cè)報(bào)表的數(shù)據(jù)質(zhì)檢結(jié)果；

15、數(shù)據(jù)發(fā)送模塊，用于根據(jù)所述當(dāng)前待檢測(cè)報(bào)表和所述當(dāng)前待檢測(cè)報(bào)表的數(shù)據(jù)質(zhì)檢結(jié)果確定目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)發(fā)送至目標(biāo)平臺(tái)。

16、第三方面，本發(fā)明實(shí)施例還提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如本發(fā)明實(shí)施例中任一所述的數(shù)據(jù)質(zhì)檢方法。

17、第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明實(shí)施例中任一所述的數(shù)據(jù)質(zhì)檢方法。

18、第五方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明實(shí)施例中任一所述的數(shù)據(jù)質(zhì)檢方法。

19、本發(fā)明實(shí)施例中，根據(jù)待檢測(cè)報(bào)表的數(shù)據(jù)源和業(yè)務(wù)類(lèi)型對(duì)待檢測(cè)報(bào)表進(jìn)行分組，通過(guò)待檢測(cè)報(bào)表的分組情況能夠準(zhǔn)確確定待檢測(cè)報(bào)表所屬的各維度屬性，提高了根據(jù)規(guī)則模板庫(kù)確定各維度屬性對(duì)應(yīng)的質(zhì)檢規(guī)則模板的準(zhǔn)確性，進(jìn)一步提高了質(zhì)檢規(guī)則模板與待檢測(cè)報(bào)表的匹配度，確保了數(shù)據(jù)質(zhì)檢的準(zhǔn)確性和一致性。自動(dòng)化地根據(jù)數(shù)據(jù)質(zhì)檢模板對(duì)待檢測(cè)報(bào)表進(jìn)行數(shù)據(jù)質(zhì)檢，減少了手動(dòng)配置的時(shí)間和出錯(cuò)的可能性，提高了數(shù)據(jù)質(zhì)檢的效率。

技術(shù)特征：

1.一種數(shù)據(jù)質(zhì)檢方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)當(dāng)前維度屬性和預(yù)先確定的規(guī)則模板庫(kù)，確定所述當(dāng)前維度屬性對(duì)應(yīng)的子目標(biāo)規(guī)則模板，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)預(yù)先確定的質(zhì)檢規(guī)則庫(kù)生成所述當(dāng)前維度屬性對(duì)應(yīng)的子目標(biāo)規(guī)則模板，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述數(shù)據(jù)標(biāo)識(shí)和所述質(zhì)檢規(guī)則庫(kù)生成所述當(dāng)前待檢測(cè)報(bào)表所屬的當(dāng)前維度屬性的候選規(guī)則模板，包括：

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，基于所述規(guī)則展示頁(yè)面確定所述當(dāng)前待檢測(cè)報(bào)表所屬的當(dāng)前維度屬性的子目標(biāo)規(guī)則模板，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，根據(jù)所述規(guī)則操作指令修改所述規(guī)則展示頁(yè)面中的標(biāo)識(shí)規(guī)則，包括：

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)預(yù)先確定的質(zhì)檢規(guī)則庫(kù)生成所述當(dāng)前維度屬性對(duì)應(yīng)的子目標(biāo)規(guī)則模板之后，所述方法還包括：將所述根據(jù)所述質(zhì)檢規(guī)則庫(kù)生成的所述當(dāng)前維度屬性對(duì)應(yīng)的子目標(biāo)規(guī)則模板存儲(chǔ)至所述規(guī)則模板庫(kù)中。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)當(dāng)前待檢測(cè)報(bào)表對(duì)應(yīng)的目標(biāo)規(guī)則模板得到當(dāng)前待檢測(cè)報(bào)表的數(shù)據(jù)質(zhì)檢結(jié)果，包括：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述當(dāng)前待檢測(cè)報(bào)表和所述當(dāng)前待檢測(cè)報(bào)表的數(shù)據(jù)質(zhì)檢結(jié)果確定目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)發(fā)送至目標(biāo)平臺(tái)，包括：

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述方法還包括：

11.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述方法包括：

12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述方法還包括：將所述至少一個(gè)主鍵匹配結(jié)果為匹配失敗對(duì)應(yīng)的數(shù)據(jù)主鍵發(fā)送至所述報(bào)送數(shù)據(jù)池，以使得所述報(bào)送數(shù)據(jù)池刪除所述目標(biāo)數(shù)據(jù)中，所述至少一個(gè)主鍵匹配結(jié)果為匹配失敗對(duì)應(yīng)的數(shù)據(jù)主鍵的數(shù)據(jù)。

13.一種數(shù)據(jù)質(zhì)檢裝置，其特征在于，包括：

14.一種數(shù)據(jù)質(zhì)檢電子設(shè)備，其特征在于，包括存儲(chǔ)器，處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-12中任一項(xiàng)所述的數(shù)據(jù)質(zhì)檢方法。

15.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-12中任一所述的數(shù)據(jù)質(zhì)檢方法。

16.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-12中任一項(xiàng)所述的數(shù)據(jù)質(zhì)檢方法。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種數(shù)據(jù)質(zhì)檢方法、裝置、設(shè)備、程序產(chǎn)品及存儲(chǔ)介質(zhì)，本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域。該方法包括：接收至少一個(gè)數(shù)據(jù)源發(fā)送的至少一個(gè)待檢測(cè)報(bào)表；根據(jù)各待檢測(cè)報(bào)表對(duì)應(yīng)的數(shù)據(jù)源、業(yè)務(wù)類(lèi)型以及預(yù)先確定的各個(gè)維度屬性，確定每個(gè)待檢測(cè)報(bào)表所屬的至少一個(gè)維度屬性；根據(jù)當(dāng)前維度屬性和預(yù)先確定的規(guī)則模板庫(kù)，確定當(dāng)前維度屬性對(duì)應(yīng)的子目標(biāo)規(guī)則模板；根據(jù)當(dāng)前待檢測(cè)報(bào)表所屬的各維度屬性分別對(duì)應(yīng)的子目標(biāo)規(guī)則模板，生成當(dāng)前待檢測(cè)報(bào)表的目標(biāo)規(guī)則模板；根據(jù)當(dāng)前待檢測(cè)報(bào)表對(duì)應(yīng)的目標(biāo)規(guī)則模板得到當(dāng)前待檢測(cè)報(bào)表的數(shù)據(jù)質(zhì)檢結(jié)果；根據(jù)當(dāng)前待檢測(cè)報(bào)表和當(dāng)前待檢測(cè)報(bào)表的數(shù)據(jù)質(zhì)檢結(jié)果確定目標(biāo)數(shù)據(jù)，并將目標(biāo)數(shù)據(jù)發(fā)送至目標(biāo)平臺(tái)。

技術(shù)研發(fā)人員：陳書(shū)德,賈國(guó)琛,姜玉斌,朱俊衡,趙碩
受保護(hù)的技術(shù)使用者：中國(guó)建設(shè)銀行股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9