本技術(shù)涉及大數(shù)據(jù)處理,特別是涉及一種數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備、計算機(jī)可讀存儲介質(zhì)和計算機(jī)程序產(chǎn)品。
背景技術(shù):
1、隨著存儲技術(shù)的發(fā)展,銀行中實(shí)現(xiàn)的基礎(chǔ)的現(xiàn)金流邏輯計量后,可以將計量后的結(jié)果根據(jù)頭寸真實(shí)現(xiàn)金流模式輸出并存儲至數(shù)據(jù)庫中進(jìn)行匯總。
2、傳統(tǒng)技術(shù)中,服務(wù)器在對業(yè)務(wù)進(jìn)行情景跑批時,首先在數(shù)據(jù)庫中獲取頭寸數(shù)據(jù),并在數(shù)據(jù)庫中,根據(jù)業(yè)務(wù)需求預(yù)先定義的計算方式對每一筆頭寸數(shù)據(jù)進(jìn)行計算,得到明細(xì)數(shù)據(jù),例如明細(xì)數(shù)據(jù)可以是每筆頭寸數(shù)據(jù)對應(yīng)的本金流和利息流。在完成多次情景跑批后,服務(wù)器在數(shù)據(jù)庫中得到每一情景跑批下,每一頭寸數(shù)據(jù)對應(yīng)的明細(xì)數(shù)據(jù),進(jìn)而分別將單筆頭寸數(shù)據(jù)對應(yīng)的明細(xì)數(shù)據(jù)存儲至數(shù)據(jù)庫中。
3、然而,目前的傳統(tǒng)技術(shù)中,由于頭寸數(shù)據(jù)的數(shù)據(jù)量較大,導(dǎo)致明細(xì)數(shù)據(jù)的數(shù)據(jù)量隨之更大,進(jìn)而直接將單筆頭寸數(shù)據(jù)對應(yīng)的明細(xì)數(shù)據(jù)分別存儲至數(shù)據(jù)庫,每一明細(xì)數(shù)據(jù)的獨(dú)立存儲均占用數(shù)據(jù)庫的io(input/output,輸入輸出)時間,導(dǎo)致數(shù)據(jù)庫操作頻繁,表數(shù)據(jù)臃腫,進(jìn)而導(dǎo)致情景跑批的跑批效率較低。
技術(shù)實(shí)現(xiàn)思路
1、基于此,有必要針對上述技術(shù)問題,提供一種數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備、計算機(jī)可讀存儲介質(zhì)和計算機(jī)程序產(chǎn)品。
2、第一方面,本技術(shù)提供了一種數(shù)據(jù)處理方法,所述方法應(yīng)用于流動性指標(biāo)匯總引擎組件,包括:
3、獲取配置信息,并根據(jù)所述配置信息從數(shù)據(jù)庫中獲取原始業(yè)務(wù)數(shù)據(jù);
4、對各所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計算,得到各所述原始業(yè)務(wù)數(shù)據(jù)對應(yīng)的單筆指標(biāo)結(jié)果;
5、基于所述配置信息中的時間步和預(yù)設(shè)匯總方式構(gòu)建預(yù)設(shè)類型的初始化賬戶冊,基于所述配置信息中的輸出類型按照所述時間步將各所述單筆指標(biāo)結(jié)果格式化匯總至各所述初始化賬戶冊,得到結(jié)果賬戶冊;
6、將所述結(jié)果賬戶冊批量存儲至數(shù)據(jù)庫。
7、在其中一個實(shí)施例中,所述配置信息還包括多個觀察點(diǎn)和業(yè)務(wù)情景,所述單筆指標(biāo)結(jié)果包括所述業(yè)務(wù)情景下各所述觀察點(diǎn)對應(yīng)的局部指標(biāo);
8、所述對各所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計算,得到各所述原始業(yè)務(wù)數(shù)據(jù)對應(yīng)的單筆指標(biāo)結(jié)果,包括:
9、根據(jù)所述原始業(yè)務(wù)數(shù)據(jù)的類型確定目標(biāo)產(chǎn)品;
10、在多個預(yù)設(shè)工廠模式中,根據(jù)所述目標(biāo)產(chǎn)品的計量屬性確定所述目標(biāo)產(chǎn)品對應(yīng)的目標(biāo)工廠模式;
11、基于所述目標(biāo)工廠模式、所述觀察點(diǎn)和所述業(yè)務(wù)情景對所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計算,得到所述業(yè)務(wù)情景下各所述觀察點(diǎn)對應(yīng)的局部指標(biāo)。
12、在其中一個實(shí)施例中,所述基于所述配置信息中的輸出類型按照所述時間步將各所述單筆指標(biāo)結(jié)果格式化匯總至各所述初始化賬戶冊,得到結(jié)果賬戶冊,包括:
13、根據(jù)所述單筆指標(biāo)結(jié)果對應(yīng)的所述時間步,以及所述單筆指標(biāo)結(jié)果與所述初始化賬戶冊之間的對應(yīng)關(guān)系,確定各所述單筆指標(biāo)結(jié)果對應(yīng)的目標(biāo)賬戶冊;
14、基于所述輸出類型,按照所述時間步將各所述單筆指標(biāo)結(jié)果進(jìn)行格式化匯總至各所述目標(biāo)賬戶冊,得到結(jié)果賬戶冊。
15、在其中一個實(shí)施例中,所述根據(jù)所述單筆指標(biāo)結(jié)果對應(yīng)的所述時間步,以及所述單筆指標(biāo)結(jié)果與所述初始化賬戶冊之間的對應(yīng)關(guān)系,確定各所述單筆指標(biāo)結(jié)果對應(yīng)的目標(biāo)賬戶冊,包括:
16、根據(jù)各所述單筆指標(biāo)結(jié)果對應(yīng)的所述時間步和所述單筆指標(biāo)結(jié)果與所述初始化賬戶冊之間的對應(yīng)關(guān)系,在所述初始化賬戶冊對應(yīng)的結(jié)果賬戶冊中進(jìn)行匹配,得到匹配結(jié)果;
17、若所述匹配結(jié)果為匹配成功,將所述單筆指標(biāo)結(jié)果對應(yīng)的所述初始化賬戶冊作為目標(biāo)賬戶冊;
18、若所述匹配結(jié)果為匹配失敗,根據(jù)所述單筆指標(biāo)結(jié)果和所述時間步構(gòu)建新的目標(biāo)賬戶冊。
19、在其中一個實(shí)施例中,所述輸出類型包括第一輸出類型、第二輸出類型和第三輸出類型;
20、所述基于所述輸出類型,按照所述時間步將各所述單筆指標(biāo)結(jié)果進(jìn)行格式化匯總至各所述目標(biāo)賬戶冊,得到結(jié)果賬戶冊,包括:
21、若所述輸出類型為第一輸出類型,按照所述時間步將各所述單筆指標(biāo)結(jié)果匯總進(jìn)行格式化并至所述目標(biāo)賬戶冊,得到最終匯總結(jié)果,根據(jù)所述最終匯總結(jié)果構(gòu)建賬結(jié)果賬戶冊;
22、若所述輸出類型為第二輸出類型,按照所述時間步將表征模擬業(yè)務(wù)的所述單筆指標(biāo)結(jié)果進(jìn)行格式化匯總至所述目標(biāo)賬戶冊,得到業(yè)務(wù)模擬匯總結(jié)果,根據(jù)所述業(yè)務(wù)模擬匯總結(jié)果構(gòu)建結(jié)果賬戶冊;
23、若所述輸出類型為第三輸出類型,基于所述單筆指標(biāo)結(jié)果對應(yīng)的所述目標(biāo)賬戶冊按照所述時間步進(jìn)行格式化的區(qū)間匯總,得到各時間步區(qū)間的中間結(jié)果,根據(jù)所述中間結(jié)果構(gòu)建結(jié)果賬戶冊。
24、在其中一個實(shí)施例中,所述將所述結(jié)果賬戶冊批量存儲至數(shù)據(jù)庫,包括:
25、根據(jù)預(yù)設(shè)批次信息,在所述結(jié)果賬戶冊確定每一批次處理的目標(biāo)存儲數(shù)據(jù);
26、按照批量插入的數(shù)據(jù)插入形式將各批次的所述目標(biāo)存儲數(shù)據(jù)插入至數(shù)據(jù)庫。
27、第二方面,本技術(shù)還提供了一種數(shù)據(jù)處理裝置,所述裝置應(yīng)用于流動性指標(biāo)匯總引擎組件,包括:
28、獲取模塊,用于獲取配置信息,并根據(jù)所述配置信息從數(shù)據(jù)庫中獲取原始業(yè)務(wù)數(shù)據(jù);
29、計算模塊,用于對各所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計算,得到各所述原始業(yè)務(wù)數(shù)據(jù)對應(yīng)的單筆指標(biāo)結(jié)果;
30、匯總模塊,用于基于所述配置信息中的時間步和預(yù)設(shè)匯總方式構(gòu)建預(yù)設(shè)類型的初始化賬戶冊,基于所述配置信息中的輸出類型按照所述時間步將各所述單筆指標(biāo)結(jié)果格式化匯總至各所述初始化賬戶冊,得到結(jié)果賬戶冊;
31、存儲模塊,用于將所述結(jié)果賬戶冊批量存儲至數(shù)據(jù)庫。
32、在其中一個實(shí)施例中,所述配置信息還包括多個觀察點(diǎn)和業(yè)務(wù)情景,所述單筆指標(biāo)結(jié)果包括所述業(yè)務(wù)情景下各所述觀察點(diǎn)對應(yīng)的局部指標(biāo);
33、所述計算模塊具體用于根據(jù)所述原始業(yè)務(wù)數(shù)據(jù)的類型確定目標(biāo)產(chǎn)品;
34、在多個預(yù)設(shè)工廠模式中,根據(jù)所述目標(biāo)產(chǎn)品的計量屬性確定所述目標(biāo)產(chǎn)品對應(yīng)的目標(biāo)工廠模式;
35、基于所述目標(biāo)工廠模式、所述觀察點(diǎn)和所述業(yè)務(wù)情景對所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計算,得到所述業(yè)務(wù)情景下各所述觀察點(diǎn)對應(yīng)的局部指標(biāo)。
36、在其中一個實(shí)施例中,所述匯總模塊具體用于根據(jù)所述單筆指標(biāo)結(jié)果對應(yīng)的所述時間步,以及所述單筆指標(biāo)結(jié)果與所述初始化賬戶冊之間的對應(yīng)關(guān)系,確定各所述單筆指標(biāo)結(jié)果對應(yīng)的目標(biāo)賬戶冊;
37、基于所述輸出類型,按照所述時間步將各所述單筆指標(biāo)結(jié)果進(jìn)行格式化匯總至各所述目標(biāo)賬戶冊,得到結(jié)果賬戶冊。
38、在其中一個實(shí)施例中,所述匯總模塊具體用于根據(jù)各所述單筆指標(biāo)結(jié)果對應(yīng)的所述時間步和所述單筆指標(biāo)結(jié)果與所述初始化賬戶冊之間的對應(yīng)關(guān)系,在所述初始化賬戶冊對應(yīng)的結(jié)果賬戶冊中進(jìn)行匹配,得到匹配結(jié)果;
39、若所述匹配結(jié)果為匹配成功,將所述單筆指標(biāo)結(jié)果對應(yīng)的所述初始化賬戶冊作為目標(biāo)賬戶冊;
40、若所述匹配結(jié)果為匹配失敗,根據(jù)所述單筆指標(biāo)結(jié)果和所述時間步構(gòu)建新的目標(biāo)賬戶冊。
41、在其中一個實(shí)施例中,所述輸出類型包括第一輸出類型、第二輸出類型和第三輸出類型;所述匯總模塊具體用于若所述輸出類型為第一輸出類型,按照所述時間步將各所述單筆指標(biāo)結(jié)果匯總進(jìn)行格式化并至所述目標(biāo)賬戶冊,得到最終匯總結(jié)果,根據(jù)所述最終匯總結(jié)果構(gòu)建賬結(jié)果賬戶冊;
42、若所述輸出類型為第二輸出類型,按照所述時間步將表征模擬業(yè)務(wù)的所述單筆指標(biāo)結(jié)果進(jìn)行格式化匯總至所述目標(biāo)賬戶冊,得到業(yè)務(wù)模擬匯總結(jié)果,根據(jù)所述業(yè)務(wù)模擬匯總結(jié)果構(gòu)建結(jié)果賬戶冊;
43、若所述輸出類型為第三輸出類型,基于所述單筆指標(biāo)結(jié)果對應(yīng)的所述目標(biāo)賬戶冊按照所述時間步進(jìn)行格式化的區(qū)間匯總,得到各時間步區(qū)間的中間結(jié)果,根據(jù)所述中間結(jié)果構(gòu)建結(jié)果賬戶冊。
44、在其中一個實(shí)施例中,所述存儲模塊具體用于根據(jù)預(yù)設(shè)批次信息,在所述結(jié)果賬戶冊確定每一批次處理的目標(biāo)存儲數(shù)據(jù);
45、按照批量插入的數(shù)據(jù)插入形式將各批次的所述目標(biāo)存儲數(shù)據(jù)插入至數(shù)據(jù)庫。
46、第三方面,本技術(shù)還提供了一種計算機(jī)設(shè)備,包括存儲器和處理器,所述存儲器存儲有計算機(jī)程序,所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)以下步驟:
47、獲取配置信息,并根據(jù)所述配置信息從數(shù)據(jù)庫中獲取原始業(yè)務(wù)數(shù)據(jù);
48、對各所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計算,得到各所述原始業(yè)務(wù)數(shù)據(jù)對應(yīng)的單筆指標(biāo)結(jié)果;
49、基于所述配置信息中的時間步和預(yù)設(shè)匯總方式構(gòu)建預(yù)設(shè)類型的初始化賬戶冊,基于所述配置信息中的輸出類型按照所述時間步將各所述單筆指標(biāo)結(jié)果格式化匯總至各所述初始化賬戶冊,得到結(jié)果賬戶冊;
50、將所述結(jié)果賬戶冊批量存儲至數(shù)據(jù)庫。
51、第四方面,本技術(shù)還提供了一種計算機(jī)可讀存儲介質(zhì),其上存儲有計算機(jī)程序,所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)以下步驟:
52、獲取配置信息,并根據(jù)所述配置信息從數(shù)據(jù)庫中獲取原始業(yè)務(wù)數(shù)據(jù);
53、對各所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計算,得到各所述原始業(yè)務(wù)數(shù)據(jù)對應(yīng)的單筆指標(biāo)結(jié)果;
54、基于所述配置信息中的時間步和預(yù)設(shè)匯總方式構(gòu)建預(yù)設(shè)類型的初始化賬戶冊,基于所述配置信息中的輸出類型按照所述時間步將各所述單筆指標(biāo)結(jié)果格式化匯總至各所述初始化賬戶冊,得到結(jié)果賬戶冊;
55、將所述結(jié)果賬戶冊批量存儲至數(shù)據(jù)庫。
56、第五方面,本技術(shù)還提供了一種計算機(jī)程序產(chǎn)品,包括計算機(jī)程序,該計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)以下步驟:
57、獲取配置信息,并根據(jù)所述配置信息從數(shù)據(jù)庫中獲取原始業(yè)務(wù)數(shù)據(jù);
58、對各所述原始業(yè)務(wù)數(shù)據(jù)進(jìn)行單筆指標(biāo)計算,得到各所述原始業(yè)務(wù)數(shù)據(jù)對應(yīng)的單筆指標(biāo)結(jié)果;
59、基于所述配置信息中的時間步和預(yù)設(shè)匯總方式構(gòu)建預(yù)設(shè)類型的初始化賬戶冊,基于所述配置信息中的輸出類型按照所述時間步將各所述單筆指標(biāo)結(jié)果格式化匯總至各所述初始化賬戶冊,得到結(jié)果賬戶冊;
60、將所述結(jié)果賬戶冊批量存儲至數(shù)據(jù)庫。
61、上述數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備、計算機(jī)可讀存儲介質(zhì)和計算機(jī)程序產(chǎn)品,通過將單筆計算的過程設(shè)置于流動性指標(biāo)匯總引擎,減少對數(shù)據(jù)庫性能的依賴,獨(dú)立于數(shù)據(jù)庫的流動性指標(biāo)匯總引擎可以充分利用分布式處理的優(yōu)勢,提高對單筆指標(biāo)結(jié)果進(jìn)行匯總的效率,進(jìn)而提高對原始業(yè)務(wù)數(shù)據(jù)匯總的效率;通過對原始業(yè)務(wù)數(shù)據(jù)的單筆指標(biāo)結(jié)果按照時間步和預(yù)設(shè)匯總方式構(gòu)建初始化賬戶冊以及進(jìn)行格式化匯總,將單筆指標(biāo)結(jié)果匯總至各初始化賬戶冊中,實(shí)現(xiàn)了對單筆指標(biāo)結(jié)果的數(shù)據(jù)格式化,保證了結(jié)果賬戶冊中匯總后的單筆指標(biāo)結(jié)果的數(shù)據(jù)規(guī)整性,以提高后續(xù)根據(jù)結(jié)果賬戶冊中匯總后的單筆指標(biāo)結(jié)果進(jìn)行數(shù)據(jù)分析和總結(jié)的效率,進(jìn)而通過數(shù)據(jù)格式化后的結(jié)果賬戶冊能夠?qū)崿F(xiàn)將結(jié)果賬戶冊批量存儲至數(shù)據(jù)庫中,提高數(shù)據(jù)庫存儲效率,并提高流動性指標(biāo)匯總引擎的數(shù)據(jù)處理性能,進(jìn)而提高情景跑批的跑批效率。