一種多系統(tǒng)大數(shù)據(jù)的處理及融合方法
【專利摘要】本發(fā)明公開(kāi)了一種多系統(tǒng)大數(shù)據(jù)的處理及融合方法，屬于計(jì)算機(jī)信息實(shí)時(shí)處理技術(shù)，包括：根據(jù)各子系統(tǒng)采集到的多源數(shù)據(jù)獲得真值系統(tǒng)的標(biāo)準(zhǔn)數(shù)據(jù)，并確定參數(shù)的動(dòng)態(tài)賦值方法；剔除各子系統(tǒng)采集到的數(shù)據(jù)集合中的異常數(shù)據(jù)，并進(jìn)行歷史數(shù)據(jù)的補(bǔ)償；對(duì)完成數(shù)據(jù)補(bǔ)償?shù)亩嘣磾?shù)據(jù)實(shí)時(shí)分級(jí)信息融合；本發(fā)明通過(guò)建立真值系統(tǒng)獲得各種采集方式正確的初始賦值參數(shù)，對(duì)真實(shí)采集到的數(shù)據(jù)進(jìn)行異常剔除，缺失數(shù)據(jù)根據(jù)歷史數(shù)據(jù)進(jìn)行合理填補(bǔ)以保證數(shù)據(jù)的準(zhǔn)確性和完整性，對(duì)不同類別的采集方式獲得的數(shù)據(jù)進(jìn)行分級(jí)逐級(jí)融合處理以保證數(shù)據(jù)的可靠性，融合過(guò)程的快速性。
【專利說(shuō)明】一種多系統(tǒng)大數(shù)據(jù)的處理及融合方法
【【技術(shù)領(lǐng)域】】
[0001]本發(fā)明涉及大數(shù)據(jù)的實(shí)時(shí)智能融合處理【技術(shù)領(lǐng)域】，尤其涉及一種多系統(tǒng)大數(shù)據(jù)的處理及融合方法。
【【背景技術(shù)】】
[0002]信息融合最早應(yīng)用于軍事領(lǐng)域，是組合多源信息和數(shù)據(jù)完成目標(biāo)檢測(cè)、關(guān)聯(lián)、狀態(tài)評(píng)估的多層次、多方面的過(guò)程。這種信息融合的目的是獲得準(zhǔn)確的目標(biāo)識(shí)別、完整而及時(shí)的戰(zhàn)場(chǎng)態(tài)勢(shì)和威脅評(píng)估。隨著傳感器技術(shù)、計(jì)算機(jī)科學(xué)和信息技術(shù)的發(fā)展，各種面向復(fù)雜應(yīng)用背景的多傳感器系統(tǒng)大量涌現(xiàn)，使得多渠道的信息獲取、處理和融合成為可能，并且在金融管理、心理評(píng)估和預(yù)測(cè)、醫(yī)療診斷、氣象預(yù)報(bào)、組織管理決策、機(jī)器人視覺(jué)、交通管制、遙感遙測(cè)等諸多領(lǐng)域，人們都認(rèn)識(shí)到把多個(gè)數(shù)據(jù)源中的信息綜合起來(lái)能夠提高工作的成績(jī)。因此，多源信息融合技術(shù)在軍事領(lǐng)域和民用領(lǐng)域得到了廣泛的重視和成功的應(yīng)用，其理論和方法已成為智能信息處理及控制的一個(gè)重要研究方向。
[0003]現(xiàn)有技術(shù)更集中在數(shù)據(jù)級(jí)信息融合，其直接對(duì)未經(jīng)預(yù)處理的傳感器原始觀測(cè)數(shù)據(jù)進(jìn)行綜合和分析。優(yōu)點(diǎn)是保持了盡可能多的客體信息，基本不發(fā)生信息丟失或遺漏；缺點(diǎn)是處理數(shù)據(jù)太多，耗費(fèi)時(shí)間太長(zhǎng)，實(shí)時(shí)性差。另一種信息融合是特征級(jí)信息融合，亦稱文件級(jí)信息融合，是對(duì)已經(jīng)過(guò)傳感器初步預(yù)處理之后，在傳感器實(shí)現(xiàn)基本特征提取、提供文件報(bào)告的基礎(chǔ)上執(zhí)行的綜合分析處理。其優(yōu)點(diǎn)是既保持足夠數(shù)量的重要信息，又已經(jīng)過(guò)可容許的數(shù)據(jù)壓縮，大大稀釋了數(shù)據(jù)量，可以提高處理過(guò)程的實(shí)時(shí)性；而且特別有價(jià)值的是在模式識(shí)另O、圖像分析、計(jì)算機(jī)視覺(jué)等現(xiàn)代高技術(shù)應(yīng)用中，實(shí)際都以特征提取為基礎(chǔ)，都已在這方面開(kāi)展大量工作。特征級(jí)信息融合的缺點(diǎn)是，不可避免地會(huì)有某些信息損失，因而需對(duì)傳感器預(yù)處理提出較嚴(yán)格的要求。
[0004]由于數(shù)據(jù)的多源性，必須運(yùn)用一種有效的方法合理協(xié)調(diào)多源數(shù)據(jù)，充分綜合有用信息，提高在多變環(huán)境中正確決策的能`力。數(shù)據(jù)融合技術(shù)是一種可滿足該要求的良好工具。數(shù)據(jù)的多源性和復(fù)雜性要求信息處理必須擁有數(shù)據(jù)融合技術(shù)，這樣才能提供信息的穩(wěn)健性。
[0005]現(xiàn)有的數(shù)據(jù)融合技術(shù)更集中在數(shù)據(jù)級(jí)信息融合，融合過(guò)程未對(duì)數(shù)據(jù)根據(jù)傳感器的穩(wěn)定性進(jìn)行分級(jí)，并且未對(duì)傳感器采集到的數(shù)據(jù)進(jìn)行校驗(yàn)剔除，數(shù)據(jù)逐級(jí)融合。
[0006]因此，有必要提出一種新的技術(shù)方案來(lái)解決上述缺點(diǎn)。
【
【發(fā)明內(nèi)容】
】
[0007]本部分的目的在于概述本發(fā)明的實(shí)施例的一些方面以及簡(jiǎn)要介紹一些較佳實(shí)施例。在本部分以及本申請(qǐng)的說(shuō)明書(shū)摘要和發(fā)明名稱中可能會(huì)做些簡(jiǎn)化或省略以避免使本部分、說(shuō)明書(shū)摘要和發(fā)明名稱的目的模糊，而這種簡(jiǎn)化或省略不能用于限制本發(fā)明的范圍。
[0008]本發(fā)明的目的在于提供一種多系統(tǒng)大數(shù)據(jù)的處理及融合方法，包括:
[0009]根據(jù)各子系統(tǒng)采集到的多源數(shù)據(jù)獲得真值系統(tǒng)的標(biāo)準(zhǔn)數(shù)據(jù)，并確定參數(shù)的動(dòng)態(tài)賦值方法；剔除所述各子系統(tǒng)采集到的數(shù)據(jù)集合中的異常數(shù)據(jù)，并進(jìn)行歷史數(shù)據(jù)的補(bǔ)償；對(duì)完成數(shù)據(jù)補(bǔ)償?shù)亩嘣磾?shù)據(jù)實(shí)時(shí)分級(jí)信息融合。
[0010]本發(fā)明通過(guò)建立真值系統(tǒng)獲得各種采集方式正確的初始賦值參數(shù)，對(duì)真實(shí)采集到的數(shù)據(jù)進(jìn)行異常剔除，缺失數(shù)據(jù)根據(jù)歷史數(shù)據(jù)進(jìn)行合理填補(bǔ)以保證數(shù)據(jù)的準(zhǔn)確性和完整性，對(duì)不同類別的采集方式獲得的數(shù)據(jù)進(jìn)行分級(jí)逐級(jí)融合處理以保證數(shù)據(jù)的可靠性，融合過(guò)程的快速性。經(jīng)該融合過(guò)程，實(shí)現(xiàn)融合的快速、準(zhǔn)確、可靠等效果，真值系統(tǒng)解決了現(xiàn)有技術(shù)初始參數(shù)賦值不準(zhǔn)確的問(wèn)題；對(duì)異常數(shù)據(jù)剔除、缺失數(shù)據(jù)填補(bǔ)克服了現(xiàn)有技術(shù)采集終端性能不穩(wěn)定，以及采集終端損壞的難題；采用D-S理論對(duì)處理后的數(shù)據(jù)進(jìn)行分級(jí)融合處理，解決了數(shù)據(jù)融合的多源性問(wèn)題。
【【專利附圖】

【附圖說(shuō)明】】
[0011] 結(jié)合參考附圖及接下來(lái)的詳細(xì)描述，本發(fā)明將更容易理解，其中:
[0012]圖1為本發(fā)明實(shí)施例提供的多系統(tǒng)大數(shù)據(jù)的處理及融合方法流程圖；
[0013]圖2為本發(fā)明實(shí)施例中對(duì)參數(shù)動(dòng)態(tài)賦值的方法流程圖。
【【具體實(shí)施方式】】
[0014]本發(fā)明的詳細(xì)描述主要通過(guò)程序、步驟、邏輯塊、過(guò)程或其他象征性的描述來(lái)直接或間接地模擬本發(fā)明技術(shù)方案的運(yùn)作。為透徹的理解本發(fā)明，在接下來(lái)的描述中陳述了很多特定細(xì)節(jié)。而在沒(méi)有這些特定細(xì)節(jié)時(shí)，本發(fā)明則可能仍可實(shí)現(xiàn)。所屬領(lǐng)域內(nèi)的技術(shù)人員使用此處的這些描述和陳述向所屬領(lǐng)域內(nèi)的其他技術(shù)人員有效的介紹他們的工作本質(zhì)。換句話說(shuō)，為避免混淆本發(fā)明的目的，由于熟知的方法、程序、成分和電路已經(jīng)很容易理解，因此它們并未被詳細(xì)描述。
[0015]此處所稱的“一個(gè)實(shí)施例”或“實(shí)施例”是指可包含于本發(fā)明至少一個(gè)實(shí)現(xiàn)方式中的特定特征、結(jié)構(gòu)或特性。在本說(shuō)明書(shū)中不同地方出現(xiàn)的“在一個(gè)實(shí)施例中”并非均指同一個(gè)實(shí)施例，也不是單獨(dú)的或選擇性的與其他實(shí)施例互相排斥的實(shí)施例。此外，表示一個(gè)或多個(gè)實(shí)施例的方法、流程圖或功能框圖中的模塊順序并非固定的指代任何特定順序，也不構(gòu)成對(duì)本發(fā)明的限制。
[0016]本發(fā)明實(shí)施例提供的數(shù)據(jù)融合過(guò)程能夠?qū)崿F(xiàn)融合的快速、準(zhǔn)確、可靠等效果，真值系統(tǒng)解決了現(xiàn)有技術(shù)初始參數(shù)賦值不準(zhǔn)確的問(wèn)題；對(duì)異常數(shù)據(jù)剔除、缺失數(shù)據(jù)填補(bǔ)克服了現(xiàn)有技術(shù)采集終端性能不穩(wěn)定，以及采集終端損壞的難題；采用D-S理論對(duì)處理后的數(shù)據(jù)進(jìn)行分級(jí)融合處理，解決了數(shù)據(jù)融合的多源性問(wèn)題。
[0017]圖1為本發(fā)明實(shí)施例提供的多系統(tǒng)大數(shù)據(jù)的處理及融合方法流程圖，包括以下步驟:
[0018]步驟101、獲得真值系統(tǒng),并確定D-S (Dempster-Sharer證據(jù)理論多源數(shù)據(jù)融合方法)中參數(shù)的動(dòng)態(tài)賦值方法。
[0019]所述真值系統(tǒng)標(biāo)準(zhǔn)數(shù)據(jù)是通過(guò)多個(gè)系統(tǒng)在不同時(shí)段多次測(cè)試，并獲得時(shí)段t的平均值，作為標(biāo)準(zhǔn)值:[0020]
【權(quán)利要求】
1.一種多系統(tǒng)大數(shù)據(jù)的處理及融合方法，其特征在于，包括: 根據(jù)各子系統(tǒng)采集到的多源數(shù)據(jù)獲得真值系統(tǒng)的標(biāo)準(zhǔn)數(shù)據(jù)，并確定參數(shù)的動(dòng)態(tài)賦值方法；剔除所述各子系統(tǒng)采集到的數(shù)據(jù)集合中的異常數(shù)據(jù)，并進(jìn)行歷史數(shù)據(jù)的補(bǔ)償；對(duì)完成數(shù)據(jù)補(bǔ)償?shù)亩嘣磾?shù)據(jù)實(shí)時(shí)分級(jí)信息融合。
2.根據(jù)權(quán)利要求1所述的多系統(tǒng)大數(shù)據(jù)的處理及融合方法，其特征在于，所述獲得真值系統(tǒng)的標(biāo)準(zhǔn)數(shù)據(jù)的步驟具體包括: 通過(guò)多個(gè)系統(tǒng)在不同時(shí)段多次測(cè)試，并獲得時(shí)段t的平均值，作為標(biāo)準(zhǔn)值:
3.根據(jù)權(quán)利要求2所述的多系統(tǒng)大數(shù)據(jù)的處理及融合方法，其特征在于，所述確定參數(shù)的動(dòng)態(tài)賦值方法的步驟具體包括: 將時(shí)段t各子系統(tǒng)采集到的數(shù)據(jù)，拆分出紅外數(shù)據(jù)、煙感數(shù)據(jù)、加速度數(shù)據(jù)、微波/線圈數(shù)據(jù)、視頻監(jiān)控?cái)?shù)據(jù)以及人臉和車牌識(shí)別數(shù)據(jù)，作為時(shí)段t的各類信息數(shù)據(jù)。 分別以紅外數(shù)據(jù)、煙感數(shù)據(jù)、加速度數(shù)據(jù)、微波/線圈數(shù)據(jù)、視頻監(jiān)控?cái)?shù)據(jù)以及人臉和車牌識(shí)別數(shù)據(jù)在時(shí)段t的平均值為標(biāo)準(zhǔn)值計(jì)算其標(biāo)準(zhǔn)差:
4.根據(jù)權(quán)利要求3所述的多系統(tǒng)大數(shù)據(jù)的處理及融合方法，其特征在于，所述剔除各子系統(tǒng)采集到的數(shù)據(jù)集合中的異常數(shù)據(jù)的步驟具體包括: 分別計(jì)算時(shí)段t對(duì)應(yīng)分類信息數(shù)據(jù)X與歷史信息數(shù)據(jù)H，計(jì)算X、H的數(shù)學(xué)期望E (X)、E (H)，計(jì)算時(shí)段t各類信息數(shù)據(jù)X與歷史信息數(shù)據(jù)H的標(biāo)準(zhǔn)差D (X)、D (H)，如果: 數(shù)學(xué)期望E(X)與數(shù)學(xué)期望E(H)差值在設(shè)定閥值th范圍內(nèi)，且D(X)與D(H)差值同樣在設(shè)定閥值th'內(nèi)，則該時(shí)刻數(shù)據(jù)沒(méi)有發(fā)生異常； 數(shù)學(xué)期望E(X)與數(shù)學(xué)期望E(H)超出設(shè)定閥值th，但D (X)與D (H)差值在設(shè)定閥值th'內(nèi)，則等待下一時(shí)段的信息數(shù)據(jù)X"生成；如果下一時(shí)段的信息數(shù)據(jù)D(X)與D(X〃)的差異超出設(shè)定閥值th'，則時(shí)段t的信息發(fā)生異常，并將異常數(shù)據(jù)剔除掉。
5.根據(jù)權(quán)利要求4所述 的多系統(tǒng)大數(shù)據(jù)的處理及融合方法，其特征在于，所述閾值th與 th'設(shè)定為:th=E(H)/2，th' =D(X)/2。
【文檔編號(hào)】G06F19/00GK103473459SQ201310422466
【公開(kāi)日】2013年12月25日 申請(qǐng)日期:2013年9月17日 優(yōu)先權(quán)日:2013年9月17日
【發(fā)明者】徐鈺青 申請(qǐng)人:恒東信息科技無(wú)錫有限公司