對所述源數(shù)據(jù)進(jìn)行處理, 生成基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表,包括:采集來自不同應(yīng)用的不同格式的源數(shù)據(jù),對所述源數(shù)據(jù) 進(jìn)行統(tǒng)一格式的處理;將進(jìn)行格式處理后的數(shù)據(jù)增加各個屬性字段,按照實體的屬性進(jìn)行 分類;將分類后的數(shù)據(jù)按照不同類型進(jìn)行屬性標(biāo)識,構(gòu)建所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表。
[0117] 在所述步驟S102中,獲取預(yù)存的特征-屬性關(guān)系,并根據(jù)所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系 表W及所述基礎(chǔ)數(shù)據(jù)中的實體字段,生成實體-特征關(guān)系表并進(jìn)行存儲,包括:獲取預(yù)存的 特征-屬性關(guān)系,與所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算,得到基礎(chǔ)數(shù)據(jù)-特征關(guān)系; 接收所述基礎(chǔ)數(shù)據(jù)-特征關(guān)系,W所述基礎(chǔ)數(shù)據(jù)中的實體字段為條件進(jìn)行歸集,生成實體- 特征關(guān)系表并進(jìn)行存儲。
[0118] 在所述步驟S103中,獲取預(yù)存的模型-特征關(guān)系,并根據(jù)所述實體-特征關(guān)系表,生 成實體-模型關(guān)系表并進(jìn)行存儲,包括:獲取預(yù)存的模型-特征關(guān)系,與所述基礎(chǔ)數(shù)據(jù)-特征 關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算,得到基礎(chǔ)數(shù)據(jù)-模型關(guān)系;接收所述基礎(chǔ)數(shù)據(jù)-模型關(guān)系,W所述基 礎(chǔ)數(shù)據(jù)中的實體字段為條件進(jìn)行歸集,生成實體-模型關(guān)系表并進(jìn)行存儲。
[0119] 在所述步驟S104中,獲取預(yù)存的高級模型-模型關(guān)系,并根據(jù)所述實體-模型關(guān)系 表,生成實體-高級模型關(guān)系表并進(jìn)行存儲,包括:獲取預(yù)存的高級模型-模型關(guān)系,與所述 基礎(chǔ)數(shù)據(jù)-模型關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算,得到基礎(chǔ)數(shù)據(jù)-高級模型關(guān)系;接收所述基礎(chǔ)數(shù)據(jù)- 高級模型關(guān)系,W所述基礎(chǔ)數(shù)據(jù)中的實體字段為條件進(jìn)行歸集,生成實體-高級模型關(guān)系表 并進(jìn)行存儲。
[0120] 在所述步驟S105中,查找所述實體-高級模型關(guān)系表、實體-模型關(guān)系表、實體-特 征關(guān)系表,分別得到符合高級模型標(biāo)準(zhǔn)、模型標(biāo)準(zhǔn)、特征標(biāo)準(zhǔn)的實體,包括:查找所述實體- 高級模型關(guān)系表、實體-模型關(guān)系表、實體-特征關(guān)系表;其中,所述實體-高級模型關(guān)系表中 數(shù)值為1的,即為符合高級模型標(biāo)準(zhǔn)的實體;所述實體-模型關(guān)系表中數(shù)值為1的,即為符合 模型標(biāo)準(zhǔn)的實體;所述實體-特征關(guān)系表中數(shù)值為1的,即為符合特征標(biāo)準(zhǔn)的實體。
[0121] 在所述步驟S106中,根據(jù)所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表、特征-屬性關(guān)系、模型-特征 關(guān)系W及高級模型-模型關(guān)系,通過關(guān)系矩陣計算,得到符合高級模型標(biāo)準(zhǔn)、模型標(biāo)準(zhǔn)、特征 標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù),包括:對所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系、特征-屬性關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算,得 到特征-基礎(chǔ)數(shù)據(jù)關(guān)系,該關(guān)系中數(shù)值為1的,即為符合特征標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù);對所述基礎(chǔ)數(shù) 據(jù)-屬性關(guān)系表、特征-屬性關(guān)系、模型-特征關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算,得到模型-基礎(chǔ)數(shù)據(jù)關(guān) 系,該關(guān)系中數(shù)值為1的,即為符合模型標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù);對所述基礎(chǔ)數(shù)據(jù)-屬性關(guān)系表、特 征-屬性關(guān)系、模型-特征關(guān)系W及高級模型-模型關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算,得到高級模型- 基礎(chǔ)數(shù)據(jù)關(guān)系,該關(guān)系中數(shù)值為1的,即為符合高級模型標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù)。
[0122] 圖10本發(fā)明一具體實施例的分層級聯(lián)的數(shù)據(jù)處理方法的方法流程圖。如圖10所 示,本實施例的數(shù)據(jù)處理方法包括:
[0123] 步驟S1:基礎(chǔ)數(shù)據(jù)預(yù)處理裝置1的基礎(chǔ)數(shù)據(jù)接收單元101接收來自上游不同應(yīng)用系 統(tǒng)的源數(shù)據(jù),并對運(yùn)些數(shù)據(jù)進(jìn)行統(tǒng)一格式化處理后存放于基礎(chǔ)數(shù)據(jù)表;
[0124] 步驟S2:基礎(chǔ)數(shù)據(jù)分類單元102對基礎(chǔ)數(shù)據(jù)增加了屬性字段,并按照實體的屬性進(jìn) 行分類;基礎(chǔ)數(shù)據(jù)標(biāo)識單元103將分類后的數(shù)據(jù)按不同類別進(jìn)行屬性標(biāo)識,如果符合某個屬 性,則標(biāo)識為1,否則為0,最終構(gòu)建出基礎(chǔ)數(shù)據(jù)與屬性關(guān)系,并將該關(guān)系傳送給特征處理層 裝置2的特征邏輯計算單元201W及存儲在數(shù)據(jù)存儲裝置6的基礎(chǔ)數(shù)據(jù)存儲單元601。
[0125] 步驟S3:特征層處理裝置2接收基礎(chǔ)數(shù)據(jù)預(yù)處理裝置1傳送的基礎(chǔ)數(shù)據(jù)與屬性關(guān) 系,訪問數(shù)據(jù)存儲裝置6的特征-屬性存儲單元605,獲得特征與屬性關(guān)系,特征邏輯計算單 元201按特征與屬性關(guān)系,對基礎(chǔ)數(shù)據(jù)按對應(yīng)屬性篩選后,再按實體字段(例如:客戶號字 段)進(jìn)行歸集計算,符合特征標(biāo)準(zhǔn)的標(biāo)識1,否則為0,得到實體與單一特征之間的關(guān)系;實 體-特征矩陣構(gòu)建單元202W實體與單一特征之間的關(guān)系為基數(shù),按實體進(jìn)行歸集,得到實 體與特征關(guān)系,并將該關(guān)系傳送給模型處理層裝置3W及存儲在數(shù)據(jù)存儲裝置6的實體-特 征矩陣存儲單元602。
[0126] 步驟S4:模型層處理裝置3接收特征層處理裝置2傳送的實體與特征關(guān)系,訪問數(shù) 據(jù)存儲裝置6的模型-特征矩陣配置單元603,獲得模型與特征關(guān)系,對運(yùn)兩個關(guān)系進(jìn)行關(guān)系 矩陣運(yùn)算,得到實體與模型關(guān)系,并將該關(guān)系傳送給高級模型處理層裝置4W及存儲在數(shù)據(jù) 存儲裝置6的實體-模型矩陣存儲單元603。
[0127] 步驟S5:高級模型層處理裝置4接收模型層處理裝置3傳送的實體與模型關(guān)系,訪 問數(shù)據(jù)存儲裝置6的高級模型-模型矩陣配置單元604,獲得高級模型與模型關(guān)系,對運(yùn)兩個 關(guān)系進(jìn)行關(guān)系矩陣運(yùn)算,得到實體與高級模型關(guān)系,并將該關(guān)系傳送給目標(biāo)數(shù)據(jù)獲取裝置5 W及存儲在數(shù)據(jù)存儲裝置6的實體-高級模型矩陣存儲單元604。
[0128] 步驟S6:目標(biāo)數(shù)據(jù)獲取裝置5接收高級模型層處理裝置4的實體與高級模型關(guān)系, 訪問數(shù)據(jù)存儲裝置6的實體-特征矩陣存儲單元602,獲得實體與特征關(guān)系,訪問數(shù)據(jù)存儲裝 置6的實體-模型矩陣存儲單元603,獲得實體與模型關(guān)系,查找運(yùn)Ξ個關(guān)系中的數(shù)值為1,那 么就獲取到符合特征、模型、高級模型各個標(biāo)準(zhǔn)的實體。
[0129] 步驟S7:目標(biāo)數(shù)據(jù)獲取裝置5訪問數(shù)據(jù)存儲裝置6的高級模型-模型矩陣存儲單元 607、模型-特征矩陣存儲單元606、特征-屬性矩陣存儲單元605、基礎(chǔ)數(shù)據(jù)存儲單元601,分 別獲取高級模型與模型關(guān)系、模型與特征關(guān)系、特征與屬性關(guān)系、基礎(chǔ)數(shù)據(jù)(即,基礎(chǔ)數(shù)據(jù)與 屬性關(guān)系),對運(yùn)四個關(guān)系作關(guān)系矩陣運(yùn)算,得到高級模型與基礎(chǔ)數(shù)據(jù)關(guān)系,查找該關(guān)系中 數(shù)值為1,即為符合高級模型標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù);
[0130] 步驟S8:目標(biāo)數(shù)據(jù)獲取裝置5訪問數(shù)據(jù)存儲裝置6的模型-特征矩陣存儲單元606、 特征-屬性矩陣存儲單元605、基礎(chǔ)數(shù)據(jù)存儲單元601,分別獲取模型與特征關(guān)系、特征與屬 性關(guān)系、基礎(chǔ)數(shù)據(jù)(即,基礎(chǔ)數(shù)據(jù)與屬性關(guān)系),對運(yùn)Ξ個關(guān)系作關(guān)系矩陣運(yùn)算,得到模型與 基礎(chǔ)數(shù)據(jù)關(guān)系,查找該關(guān)系中數(shù)值為1,即為符合模型標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù);
[0131] 步驟S9:目標(biāo)數(shù)據(jù)獲取裝置5訪問數(shù)據(jù)存儲裝置6的特征-屬性矩陣存儲單元605、 基礎(chǔ)數(shù)據(jù)存儲單元601,分別獲取特征與屬性關(guān)系、基礎(chǔ)數(shù)據(jù)(即,基礎(chǔ)數(shù)據(jù)與屬性關(guān)系),對 運(yùn)兩個關(guān)系作關(guān)系矩陣運(yùn)算,得到特征與基礎(chǔ)數(shù)據(jù)關(guān)系,查找該關(guān)系中數(shù)值為1,即為符合 特征標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù)。
[0132] 步驟S10:展示出所獲得的目標(biāo)數(shù)據(jù)。
[0133] 與傳統(tǒng)的模型監(jiān)控數(shù)據(jù)技術(shù)相比,本發(fā)明基于分層級聯(lián)的模型監(jiān)控數(shù)據(jù)處理方 法,具有W下優(yōu)勢:
[0134] (1)支持部署邏輯復(fù)雜的監(jiān)控模型,本發(fā)明通過分層技術(shù),使得模型的邏輯清晰; 而且分層的結(jié)構(gòu)易于邏輯擴(kuò)展,例如,在本發(fā)明中的高級模型層處理裝置,可W應(yīng)付未來復(fù) 雜的風(fēng)險場景;
[0135] (2)將模型進(jìn)行邏輯拆分,可W共享公共特征的計算,避免重復(fù)處理,提高了數(shù)據(jù) 處理效率;
[0136] (3)各個特征之間邏輯計算是獨(dú)立的,可W采用并發(fā)處理方式,使得CPU執(zhí)行時間 與特征的個數(shù)無關(guān),從而進(jìn)一步提高執(zhí)行效率;
[0137] (4)如果需要增加新的特征,只需在數(shù)據(jù)存儲裝置的特征-屬性矩陣存儲單元中增 加;對于模型和高級模型也同樣可W實現(xiàn)靈活配置。
[0138] 表8給出了傳統(tǒng)處理與分層級聯(lián)處理方法之間的效果比較,從表8中可W看出,分 層級聯(lián)處理方法在臨時存儲空間上和數(shù)據(jù)處理時間上都具有明顯的優(yōu)勢。
[0139] 表8傳統(tǒng)處理與分層級聯(lián)處理方法之間的比較
[0140]
[0141] 綜上所述,本發(fā)明實施例的分層級聯(lián)的數(shù)據(jù)處理方法及系統(tǒng),可W實現(xiàn)統(tǒng)一管理 特征、模型和高級模型,充分共享信息,實現(xiàn)特征、模型與高級模型之間的關(guān)系矩陣構(gòu)建、計 算和存儲,根據(jù)該關(guān)系矩陣能夠迅速查詢到目標(biāo)數(shù)據(jù),無需單獨(dú)保留命中每個模型的目標(biāo) 數(shù)據(jù),節(jié)省了存儲空間和CPU處理時間,保證了數(shù)據(jù)處理的時效性。
[0142] 本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白,本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機(jī)程序 產(chǎn)品。因此,本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實 施例的形式。而且,本發(fā)明可采用在一個或多個其中包含有計算機(jī)可用程序代碼的計算機(jī) 可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學(xué)存儲器等)上實施的計算機(jī)程序產(chǎn) 品的形式。
[0143] 本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設(shè)備(系統(tǒng))、和計算機(jī)程序產(chǎn)品的流程 圖和/或方框圖來描述的。應(yīng)理解可由計算機(jī)程序指令實現(xiàn)流程圖和/或方框圖中的每一流 程和/或方框、W及流程圖和/或方框圖中的流程和/或方框的結(jié)合??商峁┻\(yùn)些計算機(jī)程序 指令到通用計算機(jī)、專用計算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器w產(chǎn) 生一個機(jī)器,使得通過計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實 現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
[0144] 運(yùn)些計算機(jī)程序指令也可存儲在能引導(dǎo)計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備W特 定方式工作的計算機(jī)可讀存儲器中,使得存儲在該計算機(jī)可讀存儲器中的指令產(chǎn)生包括指 令裝置的制造品,該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或 多個方框中指定的功能。
[0145] 運(yùn)些計算機(jī)程序指令也可裝載到計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計 算機(jī)或其他可