一種分層級(jí)聯(lián)的數(shù)據(jù)處理方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其設(shè)及一種分層級(jí)聯(lián)的數(shù)據(jù)處理方法及系統(tǒng)。
【背景技術(shù)】
[0002] 近年來，隨著中國(guó)金融市場(chǎng)的持續(xù)拓展，各類金融產(chǎn)品應(yīng)運(yùn)而生，給金融風(fēng)險(xiǎn)控制 帶來了巨大挑戰(zhàn)。金融企業(yè)為了加強(qiáng)金融風(fēng)險(xiǎn)的監(jiān)管，對(duì)反洗錢、業(yè)務(wù)運(yùn)營(yíng)風(fēng)險(xiǎn)、信用卡風(fēng) 險(xiǎn)等多個(gè)風(fēng)險(xiǎn)發(fā)生領(lǐng)域進(jìn)行嚴(yán)密監(jiān)控。然而，各領(lǐng)域之間的關(guān)系十分復(fù)雜并且多變，為了使 風(fēng)險(xiǎn)監(jiān)控能夠?qū)崿F(xiàn)全領(lǐng)域覆蓋，整個(gè)風(fēng)險(xiǎn)監(jiān)控的體系就變得非常龐大，而且邏輯結(jié)構(gòu)復(fù)雜； 此外，設(shè)及監(jiān)控的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，導(dǎo)致批量處理數(shù)據(jù)時(shí)間越來越長(zhǎng)，并且數(shù)據(jù)所占用 的存儲(chǔ)空間也越來越多。
[0003] -般地，金融企業(yè)根據(jù)具體的金融風(fēng)險(xiǎn)需求，設(shè)計(jì)各種監(jiān)控模型來實(shí)現(xiàn)對(duì)數(shù)據(jù)的 監(jiān)控處理。如圖1所示，傳統(tǒng)的模型監(jiān)控處理方法是先接收所有的源數(shù)據(jù)，然后直接對(duì)每個(gè) 監(jiān)控模型進(jìn)行獨(dú)立計(jì)算，并將計(jì)算結(jié)果分別存儲(chǔ)到臨時(shí)結(jié)果表;基于臨時(shí)結(jié)果表中的數(shù)據(jù) 作統(tǒng)一處理，獲取命中模型的目標(biāo)數(shù)據(jù)，W及所監(jiān)控的實(shí)體與模型之間的關(guān)系集。
[0004] 在上述處理方式中，各個(gè)模型的臨時(shí)結(jié)果表占用了大量的存儲(chǔ)空間，而且CPU需耗 費(fèi)大量I/O時(shí)間去訪問運(yùn)些結(jié)果表中的數(shù)據(jù);此外，各個(gè)模型之間即便有公共的特征計(jì)算， 也是多次重復(fù)處理。因而，現(xiàn)有基于傳統(tǒng)的模型監(jiān)控處理方法難于滿足時(shí)效性與靈活性，存 在W下幾個(gè)方面的不足：
[0005] (1)每個(gè)模型都是獨(dú)立進(jìn)行計(jì)算，沒有對(duì)模型中的公共特征計(jì)算結(jié)果進(jìn)行共享，引 發(fā)數(shù)據(jù)重復(fù)計(jì)算，造成系統(tǒng)資源的浪費(fèi)，并使得系統(tǒng)處理效率不高；
[0006] (2)特征與模型、模型與高級(jí)模型之間的關(guān)系缺乏靈活的配置，不利于模型的調(diào)整 和優(yōu)化，無法做到快速響應(yīng)風(fēng)險(xiǎn)的變化。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是為了解決傳統(tǒng)監(jiān)控模型中處理效率低，數(shù)據(jù)重復(fù)處理，冗余存儲(chǔ) W及信息不共享，擴(kuò)展性差的問題，提出了一種分層級(jí)聯(lián)的數(shù)據(jù)處理方法及系統(tǒng)。
[000引為了達(dá)到上述目的，本發(fā)明實(shí)施例提供一種分層級(jí)聯(lián)的數(shù)據(jù)處理方法，包括:接收 來自不同應(yīng)用的源數(shù)據(jù)，并對(duì)所述源數(shù)據(jù)進(jìn)行處理，生成基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表并進(jìn)行存 儲(chǔ);獲取預(yù)存的特征-屬性關(guān)系，并根據(jù)所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表W及所述基礎(chǔ)數(shù)據(jù)中的 實(shí)體字段，生成實(shí)體-特征關(guān)系表并進(jìn)行存儲(chǔ)；獲取預(yù)存的模型-特征關(guān)系，并根據(jù)所述實(shí) 體-特征關(guān)系表，生成實(shí)體-模型關(guān)系表并進(jìn)行存儲(chǔ);獲取預(yù)存的高級(jí)模型-模型關(guān)系，并根 據(jù)所述實(shí)體-模型關(guān)系表，生成實(shí)體-高級(jí)模型關(guān)系表并進(jìn)行存儲(chǔ);查找所述實(shí)體-高級(jí)模型 關(guān)系表、實(shí)體-模型關(guān)系表、實(shí)體-特征關(guān)系表，分別得到符合高級(jí)模型標(biāo)準(zhǔn)、模型標(biāo)準(zhǔn)、特征 標(biāo)準(zhǔn)的實(shí)體;根據(jù)所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表、特征-屬性關(guān)系、模型-特征關(guān)系W及高級(jí)模 型-模型關(guān)系，通過關(guān)系矩陣計(jì)算，得到符合高級(jí)模型標(biāo)準(zhǔn)、模型標(biāo)準(zhǔn)、特征標(biāo)準(zhǔn)的基礎(chǔ)數(shù) 據(jù)。
[0009] 進(jìn)一步地，在一實(shí)施例中，所述接收來自不同應(yīng)用的源數(shù)據(jù)，并對(duì)所述源數(shù)據(jù)進(jìn)行 處理，生成基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表，包括:采集來自不同應(yīng)用的不同格式的源數(shù)據(jù)，對(duì)所述源 數(shù)據(jù)進(jìn)行統(tǒng)一格式的處理;將進(jìn)行格式處理后的數(shù)據(jù)增加各個(gè)屬性字段，按照實(shí)體的屬性 進(jìn)行分類;將分類后的數(shù)據(jù)按照不同類型進(jìn)行屬性標(biāo)識(shí)，構(gòu)建所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表。
[0010] 進(jìn)一步地，在一實(shí)施例中，獲取預(yù)存的特征-屬性關(guān)系，并根據(jù)所述基礎(chǔ)數(shù)據(jù)-屬性 關(guān)系表W及所述基礎(chǔ)數(shù)據(jù)中的實(shí)體字段，生成實(shí)體-特征關(guān)系表并進(jìn)行存儲(chǔ)，包括:獲取預(yù) 存的特征-屬性關(guān)系，與所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算，得到基礎(chǔ)數(shù)據(jù)-特征關(guān) 系;接收所述基礎(chǔ)數(shù)據(jù)-特征關(guān)系，W所述基礎(chǔ)數(shù)據(jù)中的實(shí)體字段為條件進(jìn)行歸集，生成實(shí) 體-特征關(guān)系表并進(jìn)行存儲(chǔ)。
[0011] 進(jìn)一步地，在一實(shí)施例中，獲取預(yù)存的模型-特征關(guān)系，并根據(jù)所述實(shí)體-特征關(guān)系 表，生成實(shí)體-模型關(guān)系表并進(jìn)行存儲(chǔ)，包括:獲取預(yù)存的模型-特征關(guān)系，與所述基礎(chǔ)數(shù)據(jù)- 特征關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算，得到基礎(chǔ)數(shù)據(jù)-模型關(guān)系;接收所述基礎(chǔ)數(shù)據(jù)-模型關(guān)系，W所 述基礎(chǔ)數(shù)據(jù)中的實(shí)體字段為條件進(jìn)行歸集，生成實(shí)體-模型關(guān)系表并進(jìn)行存儲(chǔ)。
[0012] 進(jìn)一步地，在一實(shí)施例中，獲取預(yù)存的高級(jí)模型-模型關(guān)系，并根據(jù)所述實(shí)體-模型 關(guān)系表，生成實(shí)體-高級(jí)模型關(guān)系表并進(jìn)行存儲(chǔ)，包括:獲取預(yù)存的高級(jí)模型-模型關(guān)系，與 所述基礎(chǔ)數(shù)據(jù)-模型關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算，得到基礎(chǔ)數(shù)據(jù)-高級(jí)模型關(guān)系;接收所述基礎(chǔ) 數(shù)據(jù)-高級(jí)模型關(guān)系，W所述基礎(chǔ)數(shù)據(jù)中的實(shí)體字段為條件進(jìn)行歸集，生成實(shí)體-高級(jí)模型 關(guān)系表并進(jìn)行存儲(chǔ)。
[0013] 進(jìn)一步地，在一實(shí)施例中，查找所述實(shí)體-高級(jí)模型關(guān)系表、實(shí)體-模型關(guān)系表、實(shí) 體-特征關(guān)系表，分別得到符合高級(jí)模型標(biāo)準(zhǔn)、模型標(biāo)準(zhǔn)、特征標(biāo)準(zhǔn)的實(shí)體，包括:查找所述 實(shí)體-高級(jí)模型關(guān)系表、實(shí)體-模型關(guān)系表、實(shí)體-特征關(guān)系表;其中，所述實(shí)體-高級(jí)模型關(guān) 系表中數(shù)值為1的，即為符合高級(jí)模型標(biāo)準(zhǔn)的實(shí)體;所述實(shí)體-模型關(guān)系表中數(shù)值為1的，即 為符合模型標(biāo)準(zhǔn)的實(shí)體;所述實(shí)體-特征關(guān)系表中數(shù)值為1的，即為符合特征標(biāo)準(zhǔn)的實(shí)體。
[0014] 進(jìn)一步地，在一實(shí)施例中，根據(jù)所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表、特征-屬性關(guān)系、模型- 特征關(guān)系W及高級(jí)模型-模型關(guān)系，通過關(guān)系矩陣計(jì)算，得到符合高級(jí)模型標(biāo)準(zhǔn)、模型標(biāo)準(zhǔn)、 特征標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù)，包括:對(duì)所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系、特征-屬性關(guān)系進(jìn)行關(guān)系矩陣運(yùn) 算，得到特征-基礎(chǔ)數(shù)據(jù)關(guān)系，該關(guān)系中數(shù)值為1的，即為符合特征標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù);對(duì)所述 基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表、特征-屬性關(guān)系、模型-特征關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算，得到模型-基礎(chǔ) 數(shù)據(jù)關(guān)系，該關(guān)系中數(shù)值為1的，即為符合模型標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù);對(duì)所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系 表、特征-屬性關(guān)系、模型-特征關(guān)系W及高級(jí)模型-模型關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算，得到高級(jí) 模型-基礎(chǔ)數(shù)據(jù)關(guān)系，該關(guān)系中數(shù)值為1的，即為符合高級(jí)模型標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù)。
[0015] 為了達(dá)到上述目的，本發(fā)明實(shí)施例還提供一種分層級(jí)聯(lián)的數(shù)據(jù)處理系統(tǒng)，包括:基 礎(chǔ)數(shù)據(jù)預(yù)處理裝置，用于接收來自不同應(yīng)用的源數(shù)據(jù)，并對(duì)所述源數(shù)據(jù)進(jìn)行處理，生成基礎(chǔ) 數(shù)據(jù)-屬性關(guān)系表并進(jìn)行存儲(chǔ);特征層處理裝置，用于獲取預(yù)存的特征-屬性關(guān)系，并根據(jù)所 述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表W及所述基礎(chǔ)數(shù)據(jù)中的實(shí)體字段，生成實(shí)體-特征關(guān)系表并進(jìn)行存 儲(chǔ);模型層處理裝置，用于獲取預(yù)存的模型-特征關(guān)系，并根據(jù)所述實(shí)體-特征關(guān)系表，生成 實(shí)體-模型關(guān)系表并進(jìn)行存儲(chǔ);高級(jí)模型層處理裝置，用于獲取預(yù)存的高級(jí)模型-模型關(guān)系， 并根據(jù)所述實(shí)體-模型關(guān)系表，生成實(shí)體-高級(jí)模型關(guān)系表并進(jìn)行存儲(chǔ)；目標(biāo)數(shù)據(jù)獲取裝置， 用于查找所述實(shí)體-高級(jí)模型關(guān)系表、實(shí)體-模型關(guān)系表、實(shí)體-特征關(guān)系表，分別得到符合 高級(jí)模型標(biāo)準(zhǔn)、模型標(biāo)準(zhǔn)、特征標(biāo)準(zhǔn)的實(shí)體；w及根據(jù)所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表、特征-屬 性關(guān)系、模型-特征關(guān)系W及高級(jí)模型-模型關(guān)系，通過關(guān)系矩陣計(jì)算，得到符合高級(jí)模型標(biāo) 準(zhǔn)、模型標(biāo)準(zhǔn)、特征標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù);數(shù)據(jù)存儲(chǔ)裝置，用于存儲(chǔ)所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表、 特征-屬性關(guān)系表、模型-特征關(guān)系表、高級(jí)模型-模型關(guān)系表、實(shí)體-特征關(guān)系表、實(shí)體-模型 關(guān)系表W及實(shí)體-高級(jí)模型關(guān)系表。
[0016] 進(jìn)一步地，在一實(shí)施例中，所述基礎(chǔ)數(shù)據(jù)預(yù)處理裝置包括:基礎(chǔ)數(shù)據(jù)采集單元，用 于采集來自不同應(yīng)用的不同格式的源數(shù)據(jù)，對(duì)所述源數(shù)據(jù)進(jìn)行統(tǒng)一格式的處理;基礎(chǔ)數(shù)據(jù) 分類單元，用于將進(jìn)行格式處理后的數(shù)據(jù)增加各個(gè)屬性字段，按照實(shí)體的屬性進(jìn)行分類;基 礎(chǔ)數(shù)據(jù)標(biāo)識(shí)單元，用于將分類后的數(shù)據(jù)按照不同類型進(jìn)行屬性標(biāo)識(shí)，構(gòu)建所述基礎(chǔ)數(shù)據(jù)-屬 性關(guān)系表。
[0017] 進(jìn)一步地，在一實(shí)施例中，所述特征層處理裝置包括:特征邏輯計(jì)算單元，用于獲 取預(yù)存的特征-屬性關(guān)系，與所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算，得到基礎(chǔ)數(shù)據(jù)-特 征關(guān)系;實(shí)體-特征矩陣構(gòu)建單元，用于接收所述基礎(chǔ)數(shù)據(jù)-特征關(guān)系，W所述基礎(chǔ)數(shù)據(jù)中的 實(shí)體字段為條件進(jìn)行歸集，生成實(shí)體-特征關(guān)系表并進(jìn)行存儲(chǔ)。
[0018] 進(jìn)一步地，在一實(shí)施例中，所述模型層處理裝置包括:模型邏輯計(jì)算單元，用于獲 取預(yù)存的模型-特征關(guān)系，與所述基礎(chǔ)數(shù)據(jù)-特征關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算，得到基礎(chǔ)數(shù)據(jù)-模 型關(guān)系;實(shí)體-模型矩陣構(gòu)建單元，用于接收所述基礎(chǔ)數(shù)據(jù)-模型關(guān)系，W所述基礎(chǔ)數(shù)據(jù)中的 實(shí)體字段為條件進(jìn)行歸集，生成實(shí)體-模型關(guān)系表并進(jìn)行存儲(chǔ)。
[0019] 進(jìn)一步地，在一實(shí)施例中，所述高級(jí)模型層處理裝置包括：高級(jí)模型邏輯計(jì)算單 元，用于獲取預(yù)存的高級(jí)模型-模型關(guān)系，與所述基礎(chǔ)數(shù)據(jù)-模型關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算，得 到基礎(chǔ)數(shù)據(jù)-高級(jí)模型關(guān)系;實(shí)體-高級(jí)模型矩陣構(gòu)建單元，用于接收所述基礎(chǔ)數(shù)據(jù)-高級(jí)模 型關(guān)系，W所述基礎(chǔ)數(shù)據(jù)中的實(shí)體字段為條件進(jìn)行歸集，生成實(shí)體-高級(jí)模型關(guān)系表并進(jìn)行 存儲(chǔ)。
[0020] 進(jìn)一步地，在一實(shí)施例中，所述目標(biāo)數(shù)據(jù)獲取裝置包括:特征目標(biāo)數(shù)據(jù)獲取單元， 用于對(duì)所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系、特征-屬性關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算，得到特征-基礎(chǔ)數(shù)據(jù)關(guān) 系，該關(guān)系中數(shù)值為1的，即為符合特征標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù);模型目標(biāo)數(shù)據(jù)獲取單元，用于對(duì)所 述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表、特征-屬性關(guān)系、模型-特征關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算，得到模型-基 礎(chǔ)數(shù)據(jù)關(guān)系，該關(guān)系中數(shù)值為1的，即為符合模型標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù);高級(jí)模型數(shù)據(jù)獲取單元， 用于對(duì)所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表、特征-屬性關(guān)系、模型-特征關(guān)系W及高級(jí)模型-模型關(guān) 系進(jìn)行關(guān)系矩陣運(yùn)算，得到高級(jí)模型-基礎(chǔ)數(shù)據(jù)關(guān)系，該關(guān)系中數(shù)值為1的，即為符合高級(jí)模 型標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù)。
[0021] 進(jìn)一步地，在一實(shí)施例中，所述目標(biāo)數(shù)據(jù)獲取裝置還用于查找所述實(shí)體-高級(jí)模型 關(guān)系表、實(shí)體-模型關(guān)系表、實(shí)體-特征關(guān)系表;其中，所述實(shí)體-高級(jí)模型關(guān)