基于多傳感器的多元異構(gòu)數(shù)據(jù)流自動(dòng)入庫方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明實(shí)施例涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種基于多傳感器的多元異構(gòu)數(shù)據(jù)流 自動(dòng)入庫方法。
【背景技術(shù)】
[0002] 對(duì)于工程項(xiàng)目而言，實(shí)施某項(xiàng)監(jiān)測(cè)往往由許多傳感器共同采集數(shù)據(jù)，從而需要處 理器根據(jù)多個(gè)傳感器采集的數(shù)據(jù)解決工程項(xiàng)目所面對(duì)的問題。
[0003] 由于傳感器的種類和型號(hào)多種多樣，所采集的監(jiān)測(cè)數(shù)據(jù)格式、范圍、標(biāo)準(zhǔn)都不相 同，導(dǎo)致不能統(tǒng)一自動(dòng)識(shí)別并處理多個(gè)傳感器的多元異構(gòu)數(shù)據(jù)流的入庫，需要針對(duì)每種傳 感器生成的數(shù)據(jù)流開發(fā)專門的入庫程序進(jìn)行處理，同時(shí)由于使用環(huán)境的影響，傳感器的穩(wěn) 定性可能會(huì)下降，比如，傳感器所應(yīng)用的工作環(huán)境復(fù)雜多變、數(shù)據(jù)傳輸環(huán)境惡劣、通信距離 較遠(yuǎn)、網(wǎng)絡(luò)環(huán)境不穩(wěn)定等情況，傳感器所采集的數(shù)據(jù)會(huì)出現(xiàn)丟失、錯(cuò)誤、無序等異常問題。目 前，對(duì)于多個(gè)傳感器所采集的多元異構(gòu)數(shù)據(jù)流的處理辦法多采用預(yù)先制定標(biāo)準(zhǔn)化規(guī)范，之 后分別開發(fā)針對(duì)某一系列傳感器的轉(zhuǎn)換程序?qū)υ摂?shù)據(jù)流進(jìn)行入庫。
[0004] 但是，該種數(shù)據(jù)處理方式需要開發(fā)針對(duì)每種傳感器的一套程序來處理數(shù)據(jù)進(jìn)行入 庫，因此存在著擴(kuò)展性差，開發(fā)成本高，需要專業(yè)人員維護(hù)等不足，并且使多個(gè)處理程序同 時(shí)運(yùn)行競(jìng)爭(zhēng)系統(tǒng)資源，可能影響整個(gè)數(shù)據(jù)采集系統(tǒng)的穩(wěn)定性。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實(shí)施例提供一種基于多傳感器的多元異構(gòu)數(shù)據(jù)流自動(dòng)入庫方法，以克服現(xiàn) 有技術(shù)的問題。提出一種數(shù)據(jù)格式信息表保存所有傳感器數(shù)據(jù)信息，通過數(shù)據(jù)格式信息表 的維護(hù)來實(shí)現(xiàn)多個(gè)新傳感器數(shù)據(jù)流的擴(kuò)展。提出統(tǒng)一自動(dòng)處理多傳感器的多元異構(gòu)數(shù)據(jù)流 入庫的方法。提出多元異構(gòu)數(shù)據(jù)的丟失、錯(cuò)誤、無序等異常情況自動(dòng)修復(fù)的方法。
[0006] 本發(fā)明實(shí)施例傳感器的多元異構(gòu)數(shù)據(jù)流自動(dòng)入庫處理方法，包括：
[0007] 處理器接收由至少兩個(gè)傳感器采集的多元異構(gòu)數(shù)據(jù)流；
[0008] 所述處理器判斷所述多元異構(gòu)數(shù)據(jù)流對(duì)應(yīng)的傳感器是否存在于傳感器格式信息 表中，若存在，則根據(jù)所述傳感器格式信息表存儲(chǔ)所述多元異構(gòu)數(shù)據(jù)至本地流數(shù)據(jù)庫，若 不存在，則將所述多元異構(gòu)數(shù)據(jù)流對(duì)應(yīng)的傳感器的格式信息添加到所述傳感器格式信息表 中，并根據(jù)添加后的傳感器格式信息表存儲(chǔ)所述多元異構(gòu)數(shù)據(jù)。
[0009] 進(jìn)一步地，所述根據(jù)所述傳感器格式信息表存儲(chǔ)所述多元異構(gòu)數(shù)據(jù)至本地流數(shù)據(jù) 庫，包括：
[0010] 所述處理器判斷所述多元異構(gòu)數(shù)據(jù)是否匹配所述傳感器格式信息表，若是，則存 儲(chǔ)所述多元異構(gòu)數(shù)據(jù)至本地流數(shù)據(jù)庫；若否，則將異常情況記錄在監(jiān)測(cè)日期表中。
[0011] 進(jìn)一步地，所述傳感器格式信息表包括傳感器名稱、數(shù)據(jù)存放路徑、傳感器采集周 期、日期文件夾格式、數(shù)據(jù)文件名格式、采集周期、時(shí)間標(biāo)簽格式、表頭行數(shù)、數(shù)據(jù)行數(shù)、數(shù)據(jù) 分隔符、文件編碼、最新監(jiān)測(cè)日期、監(jiān)測(cè)日期表名，每一行的行號(hào)、內(nèi)容格式，每一列的列號(hào)、 監(jiān)測(cè)量名、數(shù)據(jù)格式、最大值、最小值、默認(rèn)值、超出最大值時(shí)修復(fù)函數(shù)、小于最小值時(shí)修復(fù) 函數(shù)、數(shù)據(jù)丟失時(shí)修復(fù)函數(shù)。
[0012] 進(jìn)一步地，所述將異常情況記錄在監(jiān)測(cè)日期表中之后，還包括：
[0013] 所述處理器根據(jù)所述監(jiān)測(cè)日期表、異常字符表以及修復(fù)函數(shù)表修復(fù)所述多元異構(gòu) 數(shù)據(jù)流中的所述異常字符，所述異常字符表包括異常字符對(duì)應(yīng)的傳感器名稱、字符名稱、字 符所對(duì)應(yīng)的列號(hào)、使用的修復(fù)函數(shù)以及默認(rèn)替換值，所述修復(fù)函數(shù)表包括數(shù)據(jù)丟失補(bǔ)全函 數(shù)、錯(cuò)誤數(shù)據(jù)修正函數(shù)、無序數(shù)據(jù)排序函數(shù)。
[0014] 進(jìn)一步地，所述處理器接收由至少兩個(gè)傳感器采集的多元異構(gòu)數(shù)據(jù)流之前，還包 括：
[0015] 所述處理器根據(jù)傳感器的數(shù)據(jù)文件格式建立所述傳感器格式信息表。
[0016] 本發(fā)明實(shí)施例處理器接收由至少兩個(gè)傳感器采集的多元異構(gòu)數(shù)據(jù)流，判斷該多元 異構(gòu)對(duì)應(yīng)的傳感器是否存在于傳感器格式信息表中，若是，則判斷該多元異構(gòu)數(shù)據(jù)是否匹 配該傳感器格式信息表，若匹配，則將該多元異構(gòu)數(shù)據(jù)存儲(chǔ)至本地流數(shù)據(jù)庫；若該多元異構(gòu) 數(shù)據(jù)流對(duì)應(yīng)的傳感器不存在于該傳感器格式信息表中，則將該多元異構(gòu)數(shù)據(jù)流對(duì)應(yīng)的傳感 器格式信息添加到該傳感器格式信息表中，并根據(jù)添加后的傳感器格式信息表將數(shù)據(jù)存儲(chǔ) 至本地流數(shù)據(jù)庫。通過傳感器格式信息表的維護(hù)實(shí)現(xiàn)了多個(gè)傳感器數(shù)據(jù)流的擴(kuò)展。
[0017] 本發(fā)明的有益效果為：
[0018] 1、對(duì)多傳感器采集的多元異構(gòu)數(shù)據(jù)流實(shí)現(xiàn)了全自動(dòng)規(guī)范化入庫，有效提高了數(shù)據(jù) 庫管理的動(dòng)態(tài)實(shí)時(shí)性同步性，縮短了數(shù)據(jù)查詢時(shí)間，提高了數(shù)據(jù)統(tǒng)計(jì)分析處理效率，降低人 力、時(shí)間、成本耗費(fèi)；
[0019] 2、對(duì)格式、范圍、標(biāo)準(zhǔn)不一致的海量數(shù)據(jù)流進(jìn)行自動(dòng)識(shí)別和分類統(tǒng)一管理，方便了 數(shù)據(jù)的管理和應(yīng)用，是實(shí)現(xiàn)數(shù)據(jù)高效存儲(chǔ)、查詢、分析、整合、處理、服務(wù)和資源共享的前提， 有利于挖掘數(shù)據(jù)的最大化價(jià)值，保障工程項(xiàng)目生產(chǎn)的安全性和運(yùn)行的秩序化；
[0020] 3、對(duì)持續(xù)不斷的數(shù)據(jù)流自動(dòng)糾正、修復(fù)、排序等規(guī)范化處理入庫，確保了數(shù)據(jù)的可 用性、可靠性、完整性、準(zhǔn)確性、延續(xù)性和易維護(hù)性，使數(shù)據(jù)庫管理更加科學(xué)合理有序。
【附圖說明】
[0021] 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見地，下面描述的附圖是本發(fā)明 的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根 據(jù)這些附圖獲得其他的附圖。
[0022] 圖1為本發(fā)明基于多傳感器的多元異構(gòu)數(shù)據(jù)流處理方法實(shí)施例一的流程圖；
[0023] 圖2為本發(fā)明風(fēng)力傳感器采集的數(shù)據(jù)示意圖；
[0024] 圖3為本發(fā)明GPS傳感器采集的數(shù)據(jù)示意圖；
[0025] 圖