本技術(shù)涉及大數(shù)據(jù)，特別是涉及一種基于數(shù)據(jù)對(duì)照表的多源數(shù)據(jù)一致性處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著大數(shù)據(jù)技術(shù)的發(fā)展，多源數(shù)據(jù)的管理和整合需求日益增長(zhǎng)。為了滿足這一需求，主數(shù)據(jù)管理（mdm）技術(shù)應(yīng)運(yùn)而生。主數(shù)據(jù)管理技術(shù)能夠提供統(tǒng)一的數(shù)據(jù)視圖，但在實(shí)際應(yīng)用中，如何確保多個(gè)源系統(tǒng)與主數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)一致性成為了一個(gè)重要的研究方向。

2、傳統(tǒng)技術(shù)通常是通過(guò)人工比對(duì)和核查的方式，進(jìn)行多源數(shù)據(jù)一致性處理；但是，通過(guò)該方式進(jìn)行數(shù)據(jù)一致性處理需要耗費(fèi)較多的人工處理時(shí)間，導(dǎo)致數(shù)據(jù)一致性處理的效率較低。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種能夠提高數(shù)據(jù)一致性處理的效率的基于數(shù)據(jù)對(duì)照表的多源數(shù)據(jù)一致性處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本技術(shù)提供了一種基于數(shù)據(jù)對(duì)照表的多源數(shù)據(jù)一致性處理方法。所述方法包括：

3、針對(duì)源系統(tǒng)，建立對(duì)應(yīng)的數(shù)據(jù)對(duì)照表；所述數(shù)據(jù)對(duì)照表用于記錄所述源系統(tǒng)的數(shù)據(jù)字段與主數(shù)據(jù)平臺(tái)的數(shù)據(jù)字段之間的對(duì)應(yīng)關(guān)系；

4、從所述源系統(tǒng)中提取原始數(shù)據(jù)，對(duì)所述原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，得到目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)更新至所述數(shù)據(jù)對(duì)照表中的源系統(tǒng)字段集；

5、獲取所述主數(shù)據(jù)平臺(tái)的數(shù)據(jù)變更信息，將所述數(shù)據(jù)變更信息更新至所述數(shù)據(jù)對(duì)照表中的主數(shù)據(jù)平臺(tái)字段集；

6、根據(jù)所述對(duì)應(yīng)關(guān)系，對(duì)所述源系統(tǒng)字段集和所述主數(shù)據(jù)平臺(tái)字段集進(jìn)行數(shù)據(jù)比對(duì)處理，得到數(shù)據(jù)比對(duì)結(jié)果；

7、根據(jù)所述數(shù)據(jù)比對(duì)結(jié)果，確定所述數(shù)據(jù)對(duì)照表中的待核對(duì)數(shù)據(jù)；

8、對(duì)所述待核對(duì)數(shù)據(jù)進(jìn)行核對(duì)處理，得到核對(duì)處理結(jié)果；

9、根據(jù)所述核對(duì)處理結(jié)果，對(duì)所述主數(shù)據(jù)平臺(tái)或所述源系統(tǒng)進(jìn)行數(shù)據(jù)一致性更新處理。

10、在其中一個(gè)實(shí)施例中，所述根據(jù)所述核對(duì)處理結(jié)果，對(duì)所述主數(shù)據(jù)平臺(tái)或所述源系統(tǒng)進(jìn)行數(shù)據(jù)一致性更新處理，包括：

11、根據(jù)所述核對(duì)處理結(jié)果，確定出對(duì)應(yīng)的處理方式信息；

12、根據(jù)所述處理方式信息，對(duì)所述主數(shù)據(jù)平臺(tái)或所述源系統(tǒng)進(jìn)行數(shù)據(jù)一致性更新處理。

13、在其中一個(gè)實(shí)施例中，所述根據(jù)所述處理方式信息，對(duì)所述主數(shù)據(jù)平臺(tái)或所述源系統(tǒng)進(jìn)行數(shù)據(jù)一致性更新處理，包括：

14、在所述處理方式信息表示更新所述主數(shù)據(jù)平臺(tái)的情況下，更新所述主數(shù)據(jù)平臺(tái)的數(shù)據(jù)；

15、在所述處理方式信息表示更新所述源系統(tǒng)的情況下，更新所述源系統(tǒng)的數(shù)據(jù)。

16、在其中一個(gè)實(shí)施例中，所述數(shù)據(jù)比對(duì)結(jié)果至少包括已映射且字段完全一致、已映射但字段不完全一致和未映射；

17、所述根據(jù)所述數(shù)據(jù)比對(duì)結(jié)果，確定所述數(shù)據(jù)對(duì)照表中的待核對(duì)數(shù)據(jù)，包括：

18、根據(jù)所述數(shù)據(jù)比對(duì)結(jié)果，確定出所述已映射但字段不完全一致對(duì)應(yīng)的數(shù)據(jù)和所述未映射對(duì)應(yīng)的數(shù)據(jù)；

19、將所述已映射但字段不完全一致對(duì)應(yīng)的數(shù)據(jù)和所述未映射對(duì)應(yīng)的數(shù)據(jù)，均作為所述待核對(duì)數(shù)據(jù)。

20、在其中一個(gè)實(shí)施例中，在根據(jù)所述核對(duì)處理結(jié)果，對(duì)所述主數(shù)據(jù)平臺(tái)或所述源系統(tǒng)進(jìn)行數(shù)據(jù)一致性更新處理之后，還包括：

21、獲取與所述數(shù)據(jù)一致性更新處理對(duì)應(yīng)的數(shù)據(jù)更新信息；

22、根據(jù)所述數(shù)據(jù)更新信息，對(duì)所述數(shù)據(jù)對(duì)照表進(jìn)行更新處理。

23、在其中一個(gè)實(shí)施例中，所述對(duì)所述原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，得到目標(biāo)數(shù)據(jù)，包括：

24、對(duì)所述原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，得到與所述主數(shù)據(jù)平臺(tái)的數(shù)據(jù)格式一致的轉(zhuǎn)換數(shù)據(jù)；

25、將所述轉(zhuǎn)換數(shù)據(jù)作為所述目標(biāo)數(shù)據(jù)。

26、第二方面，本技術(shù)還提供了一種基于數(shù)據(jù)對(duì)照表的多源數(shù)據(jù)一致性處理裝置。所述裝置包括：

27、數(shù)據(jù)建立模塊，用于針對(duì)源系統(tǒng)，建立對(duì)應(yīng)的數(shù)據(jù)對(duì)照表；所述數(shù)據(jù)對(duì)照表用于記錄所述源系統(tǒng)的數(shù)據(jù)字段與主數(shù)據(jù)平臺(tái)的數(shù)據(jù)字段之間的對(duì)應(yīng)關(guān)系；

28、數(shù)據(jù)轉(zhuǎn)換模塊，用于從所述源系統(tǒng)中提取原始數(shù)據(jù)，對(duì)所述原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，得到目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)更新至所述數(shù)據(jù)對(duì)照表中的源系統(tǒng)字段集；

29、信息獲取模塊，用于獲取所述主數(shù)據(jù)平臺(tái)的數(shù)據(jù)變更信息，將所述數(shù)據(jù)變更信息更新至所述數(shù)據(jù)對(duì)照表中的主數(shù)據(jù)平臺(tái)字段集；

30、數(shù)據(jù)比對(duì)模塊，用于根據(jù)所述對(duì)應(yīng)關(guān)系，對(duì)所述源系統(tǒng)字段集和所述主數(shù)據(jù)平臺(tái)字段集進(jìn)行數(shù)據(jù)比對(duì)處理，得到數(shù)據(jù)比對(duì)結(jié)果；

31、數(shù)據(jù)確定模塊，用于根據(jù)所述數(shù)據(jù)比對(duì)結(jié)果，確定所述數(shù)據(jù)對(duì)照表中的待核對(duì)數(shù)據(jù)；

32、數(shù)據(jù)核對(duì)模塊，用于對(duì)所述待核對(duì)數(shù)據(jù)進(jìn)行核對(duì)處理，得到核對(duì)處理結(jié)果；

33、系統(tǒng)更新模塊，用于根據(jù)所述核對(duì)處理結(jié)果，對(duì)所述主數(shù)據(jù)平臺(tái)或所述源系統(tǒng)進(jìn)行數(shù)據(jù)一致性更新處理。

34、第三方面，本技術(shù)還提供了一種計(jì)算機(jī)設(shè)備。所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)以下步驟：

35、針對(duì)源系統(tǒng)，建立對(duì)應(yīng)的數(shù)據(jù)對(duì)照表；所述數(shù)據(jù)對(duì)照表用于記錄所述源系統(tǒng)的數(shù)據(jù)字段與主數(shù)據(jù)平臺(tái)的數(shù)據(jù)字段之間的對(duì)應(yīng)關(guān)系；

36、從所述源系統(tǒng)中提取原始數(shù)據(jù)，對(duì)所述原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，得到目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)更新至所述數(shù)據(jù)對(duì)照表中的源系統(tǒng)字段集；

37、獲取所述主數(shù)據(jù)平臺(tái)的數(shù)據(jù)變更信息，將所述數(shù)據(jù)變更信息更新至所述數(shù)據(jù)對(duì)照表中的主數(shù)據(jù)平臺(tái)字段集；

38、根據(jù)所述對(duì)應(yīng)關(guān)系，對(duì)所述源系統(tǒng)字段集和所述主數(shù)據(jù)平臺(tái)字段集進(jìn)行數(shù)據(jù)比對(duì)處理，得到數(shù)據(jù)比對(duì)結(jié)果；

39、根據(jù)所述數(shù)據(jù)比對(duì)結(jié)果，確定所述數(shù)據(jù)對(duì)照表中的待核對(duì)數(shù)據(jù)；

40、對(duì)所述待核對(duì)數(shù)據(jù)進(jìn)行核對(duì)處理，得到核對(duì)處理結(jié)果；

41、根據(jù)所述核對(duì)處理結(jié)果，對(duì)所述主數(shù)據(jù)平臺(tái)或所述源系統(tǒng)進(jìn)行數(shù)據(jù)一致性更新處理。

42、第四方面，本技術(shù)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

43、針對(duì)源系統(tǒng)，建立對(duì)應(yīng)的數(shù)據(jù)對(duì)照表；所述數(shù)據(jù)對(duì)照表用于記錄所述源系統(tǒng)的數(shù)據(jù)字段與主數(shù)據(jù)平臺(tái)的數(shù)據(jù)字段之間的對(duì)應(yīng)關(guān)系；

44、從所述源系統(tǒng)中提取原始數(shù)據(jù)，對(duì)所述原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，得到目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)更新至所述數(shù)據(jù)對(duì)照表中的源系統(tǒng)字段集；

45、獲取所述主數(shù)據(jù)平臺(tái)的數(shù)據(jù)變更信息，將所述數(shù)據(jù)變更信息更新至所述數(shù)據(jù)對(duì)照表中的主數(shù)據(jù)平臺(tái)字段集；

46、根據(jù)所述對(duì)應(yīng)關(guān)系，對(duì)所述源系統(tǒng)字段集和所述主數(shù)據(jù)平臺(tái)字段集進(jìn)行數(shù)據(jù)比對(duì)處理，得到數(shù)據(jù)比對(duì)結(jié)果；

47、根據(jù)所述數(shù)據(jù)比對(duì)結(jié)果，確定所述數(shù)據(jù)對(duì)照表中的待核對(duì)數(shù)據(jù)；

48、對(duì)所述待核對(duì)數(shù)據(jù)進(jìn)行核對(duì)處理，得到核對(duì)處理結(jié)果；

49、根據(jù)所述核對(duì)處理結(jié)果，對(duì)所述主數(shù)據(jù)平臺(tái)或所述源系統(tǒng)進(jìn)行數(shù)據(jù)一致性更新處理。

50、第五方面，本技術(shù)還提供了一種計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

51、針對(duì)源系統(tǒng)，建立對(duì)應(yīng)的數(shù)據(jù)對(duì)照表；所述數(shù)據(jù)對(duì)照表用于記錄所述源系統(tǒng)的數(shù)據(jù)字段與主數(shù)據(jù)平臺(tái)的數(shù)據(jù)字段之間的對(duì)應(yīng)關(guān)系；

52、從所述源系統(tǒng)中提取原始數(shù)據(jù)，對(duì)所述原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，得到目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)更新至所述數(shù)據(jù)對(duì)照表中的源系統(tǒng)字段集；

53、獲取所述主數(shù)據(jù)平臺(tái)的數(shù)據(jù)變更信息，將所述數(shù)據(jù)變更信息更新至所述數(shù)據(jù)對(duì)照表中的主數(shù)據(jù)平臺(tái)字段集；

54、根據(jù)所述對(duì)應(yīng)關(guān)系，對(duì)所述源系統(tǒng)字段集和所述主數(shù)據(jù)平臺(tái)字段集進(jìn)行數(shù)據(jù)比對(duì)處理，得到數(shù)據(jù)比對(duì)結(jié)果；

55、根據(jù)所述數(shù)據(jù)比對(duì)結(jié)果，確定所述數(shù)據(jù)對(duì)照表中的待核對(duì)數(shù)據(jù)；

56、對(duì)所述待核對(duì)數(shù)據(jù)進(jìn)行核對(duì)處理，得到核對(duì)處理結(jié)果；

57、根據(jù)所述核對(duì)處理結(jié)果，對(duì)所述主數(shù)據(jù)平臺(tái)或所述源系統(tǒng)進(jìn)行數(shù)據(jù)一致性更新處理。

58、上述基于數(shù)據(jù)對(duì)照表的多源數(shù)據(jù)一致性處理方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，針對(duì)源系統(tǒng)，建立對(duì)應(yīng)的數(shù)據(jù)對(duì)照表；所述數(shù)據(jù)對(duì)照表用于記錄所述源系統(tǒng)的數(shù)據(jù)字段與主數(shù)據(jù)平臺(tái)的數(shù)據(jù)字段之間的對(duì)應(yīng)關(guān)系；從所述源系統(tǒng)中提取原始數(shù)據(jù)，對(duì)所述原始數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，得到目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)更新至所述數(shù)據(jù)對(duì)照表中的源系統(tǒng)字段集；獲取所述主數(shù)據(jù)平臺(tái)的數(shù)據(jù)變更信息，將所述數(shù)據(jù)變更信息更新至所述數(shù)據(jù)對(duì)照表中的主數(shù)據(jù)平臺(tái)字段集；根據(jù)所述對(duì)應(yīng)關(guān)系，對(duì)所述源系統(tǒng)字段集和所述主數(shù)據(jù)平臺(tái)字段集進(jìn)行數(shù)據(jù)比對(duì)處理，得到數(shù)據(jù)比對(duì)結(jié)果；根據(jù)所述數(shù)據(jù)比對(duì)結(jié)果，確定所述數(shù)據(jù)對(duì)照表中的待核對(duì)數(shù)據(jù)；對(duì)所述待核對(duì)數(shù)據(jù)進(jìn)行核對(duì)處理，得到核對(duì)處理結(jié)果；根據(jù)所述核對(duì)處理結(jié)果，對(duì)所述主數(shù)據(jù)平臺(tái)或所述源系統(tǒng)進(jìn)行數(shù)據(jù)一致性更新處理。該方案通過(guò)建立數(shù)據(jù)對(duì)照表記錄源系統(tǒng)與主數(shù)據(jù)平臺(tái)的字段對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)了兩端數(shù)據(jù)的結(jié)構(gòu)化映射；通過(guò)自動(dòng)化的數(shù)據(jù)轉(zhuǎn)換、變更同步和比對(duì)處理，有利于快速識(shí)別數(shù)據(jù)不一致的情況；最后根據(jù)核對(duì)結(jié)果自動(dòng)更新數(shù)據(jù)，有利于及時(shí)消除數(shù)據(jù)差異；這一系列自動(dòng)化的處理流程，有利于提高數(shù)據(jù)一致性處理的效率，實(shí)現(xiàn)在多源數(shù)據(jù)環(huán)境下保持?jǐn)?shù)據(jù)的一致性。