一種支持編輯的時序數(shù)據(jù)在線壓縮方法
【專利說明】一種支持編輯的時序數(shù)據(jù)在線壓縮方法
[0001]
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及一種時序數(shù)據(jù)的在線壓縮存貯方法，具體涉及一種工業(yè)自動化領(lǐng)域的連續(xù)量測數(shù)據(jù)的在線壓縮存貯方法。
【背景技術(shù)】
[0003]近些年來，隨著經(jīng)濟的高速發(fā)展，計算機技術(shù)迅速發(fā)展并被廣泛應(yīng)用于工業(yè)自動化領(lǐng)域。由于工業(yè)自動化領(lǐng)域的控制、管理水平的不斷提升以及規(guī)模的不斷擴大，需要快速處理采集大量范圍更廣、采集密度更大的數(shù)據(jù)。這些數(shù)據(jù)由于是按時間順序記錄的數(shù)據(jù)，一般被稱為時序數(shù)據(jù)。為了速實現(xiàn)時序數(shù)據(jù)的存取，目前主要采取以下幾種方法:
一是采用傳統(tǒng)的壓縮算法，如zip、LZW等。這些壓縮算法能夠?qū)崿F(xiàn)用較小的存貯空間存貯大量時序數(shù)據(jù)的目的，但由于壓縮算法原理的限制，不能滿足實時性。
[0004]二是采用有損的在線壓縮算法，如死區(qū)值壓縮算法、STD壓縮算法等，這些算法能夠滿足實時性及存貯空間的要求，但由于是有損壓縮，在滿足實時性及存貯空間的要求后，往往會有較大的數(shù)據(jù)精度損失，滿足不了相應(yīng)領(lǐng)域的精度要求。
[0005]還有一些采用特殊結(jié)構(gòu)只存貯變化的時序數(shù)據(jù)的方法，這些方法在某些特定的條件下(如數(shù)據(jù)的采樣間隔固定、數(shù)據(jù)值的的波動很小的情況下)可以滿足實時性及存貯空間的要求，但離開了這些特定條件，往往效果不理想，更為重要的是，如果后期對存貯的時序數(shù)據(jù)進行修改，這種方法就很難實現(xiàn)，因為被修改的數(shù)據(jù)很可能是由于沒有變化而未存貯的數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0006]本發(fā)明旨在提供一種支持編輯的時序數(shù)據(jù)在線壓縮方法，不僅能夠快速高效地壓縮存貯時序數(shù)據(jù)，而且支持存貯后對時序數(shù)據(jù)的修改。
[0007]本發(fā)明的技術(shù)方案如下:
一種支持編輯的時序數(shù)據(jù)在線壓縮方法，其特征在于:以數(shù)據(jù)塊為基本存貯單位，把時序數(shù)據(jù)分解成時序值組和質(zhì)量組，分別在數(shù)據(jù)塊的頭部和尾部壓縮存貯，直到數(shù)據(jù)塊存貯滿；所述時序值組包括時序數(shù)據(jù)的ID、時間、毫秒和值；所述質(zhì)量組包括時序數(shù)據(jù)的序號和質(zhì)量。
[0008]具體按照以下步驟對時序數(shù)據(jù)進行在線壓縮:
1)、創(chuàng)建數(shù)據(jù)塊:對于要存貯的時序數(shù)據(jù)，每個ID對應(yīng)一個數(shù)據(jù)塊進行存貯，如果沒有數(shù)據(jù)塊或者數(shù)據(jù)塊存貯滿，則創(chuàng)建新數(shù)據(jù)塊；
2)、數(shù)據(jù)塊中存貯數(shù)據(jù)序號為I時，把時序數(shù)據(jù)的ID、時間、毫秒和值作為時序值組存貯在數(shù)據(jù)塊的頭部，并把時序數(shù)據(jù)的序號和質(zhì)量作為質(zhì)量組存貯于數(shù)據(jù)塊的尾部，質(zhì)量組占用空間為6字節(jié)，其中序號占2字節(jié)，質(zhì)量占4字節(jié)； 3)、數(shù)據(jù)塊中存貯數(shù)據(jù)序號大于I時，首先判斷數(shù)據(jù)塊剩余空間是否能夠存貯相應(yīng)序號的數(shù)據(jù)，如果剩余空間不夠，執(zhí)行步驟I);
4)、如果存貯的數(shù)據(jù)類型為數(shù)字量，計算當前序號的數(shù)據(jù)與上一序號的數(shù)據(jù)之間的時間差Λ tl，把毫秒值除以4得Si，把上一序號的Si記錄為sO，上一序號的值記為vO，如果Λ tl>65535，則把65535、s0和vO組成時序值組，存貯在上一序號值后面，然后執(zhí)行步驟3);如果Λ tl〈=65535，把Λ tl、sl和值組成時序值組，存貯上一序號值的后面；時序值組的Δ tl占兩字節(jié)，Si占I字節(jié)，值占I字節(jié)，數(shù)字量的值為O或I ;比較當前序號的質(zhì)量與上一條數(shù)據(jù)的質(zhì)量，如果質(zhì)量不同，把質(zhì)量組存貯在上一序號質(zhì)量組的序號的前面；如果質(zhì)量相同，該序號的質(zhì)量不作存貯處理；
如果存貯的數(shù)據(jù)類型為模擬量，計算當前序號的數(shù)據(jù)與上一序號的數(shù)據(jù)之間的時間差Δ tl，當前序號的數(shù)據(jù)與序號為I的數(shù)據(jù)之間的值差為Λ V，把毫秒值除以4得Si，把上一序號的si記錄為sO，上一序號的值差記為Λ νΟ，如果Λ tl>65535，則把65535、sO和Λ vO組成時序值組，存貯在上一序號值后面，然后執(zhí)行步驟3);如果厶丨1〈=65535，把厶〖1、81和Λ V組成時序值組，存貯上一序號值的后面；時序值組的Atl占兩字節(jié)，Si占I字節(jié)，Λ V占3字節(jié)；按照如下方法用3字節(jié)存貯浮點數(shù)Λ V:a)、記Λ V的符號為s，s取值為O或I存于最高位，占I位；b)、計算Λ V的指數(shù)位為e，存IC在s的后面，占7字節(jié)；c)、截取Λ V的前17位m，其最高位為隱含位，存貯在e后面，占16字節(jié)；比較當前序號的質(zhì)量與上一條數(shù)據(jù)的質(zhì)量，如果質(zhì)量不同，把質(zhì)量組存貯在上一序號質(zhì)量組的序號的前面；如果質(zhì)量相同，該序號的質(zhì)量不作存貯處理；
5 )、重復(fù)執(zhí)行上述步驟，直到需要存貯的數(shù)據(jù)全部存貯完成。
[0009]具體按照以下方法對時序數(shù)據(jù)進行在線編輯:
1)、對時序數(shù)據(jù)修改時用ID及時間做條件，對相應(yīng)時間點上的時序數(shù)據(jù)值進行修改；
2)、根據(jù)索引信息，定位要修改數(shù)據(jù)的存貯數(shù)據(jù)塊及存貯序號n，找到要修改數(shù)據(jù)的存IC時序值組(Λ tn，sn，vn);
3)、如果修改的數(shù)據(jù)類型為數(shù)字量，直接把要修改的新值V記入時序值組(Λtn, sn，V)存貯；
如果修改的數(shù)據(jù)類型為模擬量，把要修改的新值V與序號為I的數(shù)據(jù)之間的值差記為Λ vn，組成序值組(Λ tn，sn，Λνη)#|￡。
[0010]本發(fā)明的積極效果在于:
1、本發(fā)明通過把時序數(shù)據(jù)分解成時序值組和質(zhì)量組進行壓縮存貯，在時序數(shù)據(jù)質(zhì)量穩(wěn)定的情況下，數(shù)字量類型的時序數(shù)據(jù)僅占用4字節(jié)存貯空間，通過對浮點值的進一步壓縮，模擬量類型的時序數(shù)據(jù)僅占6字節(jié)的存貯空間，因此明顯降低了數(shù)據(jù)量，提升了系統(tǒng)性能。
[0011]2、本發(fā)明通過對每條原始數(shù)據(jù)都對應(yīng)一個時序值組的存貯方法，使壓縮存貯后的數(shù)據(jù)可以支持快速的編輯修改。
[0012]3、本發(fā)明用較小的存貯空間存貯時序數(shù)據(jù)，且時間精度最小單位為4毫秒，可滿足高密度的時序數(shù)據(jù)存貯(如WAMS等)。
【附圖說明】
[0013]圖1是本發(fā)明時序數(shù)據(jù)在線壓縮存貯示意圖。
【具體實施方式】
[0014]下面結(jié)合附圖和【具體實施方式】進一步說明本發(fā)明。
[0015]本發(fā)明以數(shù)據(jù)塊為基本存貯單位，依據(jù)時序數(shù)據(jù)的特點(時序性、數(shù)據(jù)質(zhì)量相對穩(wěn)定性)，把時序數(shù)據(jù)分解成時序值組和質(zhì)量組，分別在數(shù)據(jù)塊的頭部和尾部壓縮存貯，至到數(shù)據(jù)塊存貯滿。
[0016]參見圖1，時序數(shù)據(jù)在線壓縮方法的主要驟如下:
1、創(chuàng)建數(shù)據(jù)塊:對于要存貯的時序數(shù)據(jù)，每個ID的對應(yīng)一個數(shù)據(jù)塊進行存貯，如果沒有數(shù)據(jù)塊或者數(shù)據(jù)塊存貯滿，則創(chuàng)建新數(shù)據(jù)塊。
[0017]2、數(shù)據(jù)塊中存貯數(shù)據(jù)序號為I時(第一次存入)，把時序數(shù)據(jù)的ID、時間、毫秒、值存貯在數(shù)據(jù)塊的開始處，把(序號、質(zhì)量)組成質(zhì)量組，存貯于數(shù)據(jù)塊的尾部，質(zhì)量組占用空間為6字節(jié)。
[0018]3、數(shù)據(jù)塊中存貯數(shù)據(jù)序號為>1時，首先判斷數(shù)據(jù)塊剩余空間是否能夠存貯相應(yīng)序號的數(shù)據(jù)，如果不能空間不夠，執(zhí)行步驟I。
[0019]4、如果存貯的數(shù)據(jù)類型為數(shù)字量，計算當前序號的數(shù)據(jù)與上一序號的數(shù)據(jù)之間的時間差Λ tl,把毫秒值除以4得Si，把上一序號的Si記錄