一種海量燃氣數(shù)據的壓縮方法
【技術領域】
[0001] 本發(fā)明涉及一種數(shù)據壓縮方法，尤其是一種用于對海量的燃氣數(shù)據進行壓縮的方 法。
【背景技術】
[0002] 隨著自動化技術的不斷發(fā)展，相關的技術和產品為燃氣管網和設備運行狀態(tài)信息 的監(jiān)管建立提供了堅實的技術基礎。燃氣信息監(jiān)管系統(tǒng)包括燃氣數(shù)據的采集、反饋、存儲和 分析。數(shù)據的采集包括管網及燃氣設備運行的工作壓力、流量以及針對特殊用戶的安全報 警等信號的采集，通過通訊手段將數(shù)據反饋回數(shù)據中心，幫助管理人員及時、準確地了解運 行情況。城市燃氣管網、調壓站、用戶燃氣表具等監(jiān)管系統(tǒng)中每天都產生海量的過程數(shù)據， 在監(jiān)控過程中長期積累的數(shù)據是燃氣企業(yè)寶貴的資源，為診斷和處理故障提供了第一手資 料；同時，可以通過對不同時間段的歷史數(shù)據進行分析，模擬出整個管網運行的變化規(guī)律， 為管網的優(yōu)化提供直觀而且準確的數(shù)據依據。因此，普遍存在著存儲和利用這些海量生產 數(shù)據的應用需求，但保存歷史數(shù)據存在一定的困難：由于監(jiān)控數(shù)據點數(shù)量巨大，需要保存的 歷史數(shù)據十分可觀，若不經壓縮直接存儲，將需要很多的存儲介質。因此，研宄的歷史數(shù)據 的壓縮方法顯得很重要。通常采用的旋轉門趨勢分析（SwingingDoorTrend，SDT)算法 是目前過程工業(yè)中數(shù)據壓縮最為流行的算法，國外著名的實時數(shù)據庫0SI公司的PI、GE公 司ProficyHistorian以及愛康諾（ICONICS)公司的HyperHistorian等數(shù)據庫都是采用 SDT( "旋轉門"壓縮）技術，中國的實時數(shù)據庫廠商基本上也是基于SDT技術進行拓展。

【發(fā)明內容】

[0003] 本發(fā)明要解決的技術問題是由于監(jiān)控數(shù)據點數(shù)量巨大，而現(xiàn)有的壓縮方法失容差 性差、真率較高，在數(shù)據解壓后不能有效地反映實際數(shù)據情況。
[0004] 為了解決上述技術問題，本發(fā)明提供了一種海量燃氣數(shù)據的壓縮方法，包括如下 步驟：
[0005] 步驟1，根據燃氣使用時間段實時設定最大時間間隔參數(shù)T_、壓縮偏移量的調整 幅度參數(shù)n、壓縮容差AE、偏差容差參數(shù)y、期望誤差Ss以及死區(qū)閾值e，其中，死區(qū)閾 值e =y ?Ss，壓縮容差AE=AEmax-AEmin，AEmax和AEmin分別為壓縮容差AE的上 限和下限；
[0006] 步驟2,按時間先后順序讀取燃氣數(shù)據采集序列中的一個數(shù)據點yk(0〈k<n)， 并計算數(shù)據點yk與前一數(shù)據點的記錄時間間隔At，若At<T_，則進入步驟4,若 At彡Tmax，則進入步驟3 ;
[0007] 步驟3,直接存儲前一數(shù)據點，并將k加1，再返回步驟2 ;
[0008] 步驟4,計算"旋轉門"轉動到數(shù)據點yk狀態(tài)時的上扇門斜率和下扇門斜率，并將 數(shù)據點yk狀態(tài)時的上扇門斜率和下扇門斜率與前一數(shù)據點yu狀態(tài)時的上扇門斜率和下扇 門斜率作比較，取上扇門斜率的較大值作為數(shù)據點yk狀態(tài)時的上扇門斜率，取下扇門斜率 的較小值作為數(shù)據點yk狀態(tài)時的下扇門斜率，若此時數(shù)據點yk狀態(tài)時的上扇門斜率 < 數(shù)據 點yk狀態(tài)時的下扇門斜率，則存儲前一數(shù)據點yh，同時結束本次"旋轉門"的數(shù)據壓縮，并 將前一數(shù)據點作為下一"旋轉門"數(shù)據壓縮的起始點，再進入步驟5,若此時本次數(shù)據點 狀態(tài)時的上扇門斜率>本次數(shù)據點狀態(tài)時的下扇門斜率，則直接進入步驟5 ;
[0009] 步驟5,判斷當前燃氣數(shù)據采集序列中的數(shù)據是否壓縮完畢，若壓縮完畢，則進入 步驟6,若未壓縮完畢，則將k加1后返回步驟2 ;
[0010] 步驟6,對壓縮后的數(shù)據進行數(shù)據解壓，并采用線性插值法恢復沒有存儲的 數(shù)據點，根據解壓后的數(shù)據九，免，...，九以及原始數(shù)據yi，…，yn計算最大誤差
【主權項】
1. 一種海量燃氣數(shù)據的壓縮方法，其特征在于，包括如下步驟： 步驟1，根據燃氣使用時間段實時設定最大時間間隔參數(shù)Tmax、壓縮偏移量的調整幅度 參數(shù)η、壓縮容差ΔΕ、偏差容差參數(shù)μ、期望誤差δ S以及死區(qū)閾值ε，其中，死區(qū)閾值ε =μ · δ8,壓縮容差ΛΕ= AEmax-AEmin, AEmax和AEmin分別為壓縮容差ΛΕ的上限和下 限； 步驟2,按時間先后順序讀取燃氣數(shù)據采集序列中的一個數(shù)據點yk(OK η)，并計算 數(shù)據點yk與前一數(shù)據點yirf的記錄時間間隔Δ t，若Δ t < Tmax，則進入步驟4,若Δ t彡Tmax， 則進入步驟3 ; 步驟3,直接存儲前一數(shù)據點，并將k加1，再返回步驟2 ; 步驟4,計算"旋轉門"轉動到數(shù)據點yk狀態(tài)時的上扇門斜率和下扇門斜率，并將數(shù)據 點yk狀態(tài)時的上扇門斜率和下扇門斜率與前一數(shù)據點yu狀態(tài)時的上扇門斜率和下扇門斜 率作比較，取上扇門斜率的較大值作為數(shù)據點y k狀態(tài)時的上扇門斜率，取下扇門斜率的較 小值作為數(shù)據點yk狀態(tài)時的下扇門斜率，若此時數(shù)據點y k狀態(tài)時的上扇門斜率 < 數(shù)據點yk 狀態(tài)時的下扇門斜率，則存儲前一數(shù)據點yk+同時結束本次"旋轉門"的數(shù)據壓縮，并將前 一數(shù)據點yu作為下一"旋轉門"數(shù)據壓縮的起始點，再進入步驟5,若此時本次數(shù)據點狀態(tài) 時的上扇門斜率>本次數(shù)據點狀態(tài)時的下扇門斜率，則直接進入步驟5 ; 步驟5,判斷當前燃氣數(shù)據采集序列中的數(shù)據是否壓縮完畢，若壓縮完畢，則進入步驟 6,若未壓縮完畢，則將k加1后返回步驟2 ; 步驟6,對壓縮后的數(shù)據進行數(shù)據解壓，并采用線性插值法恢復沒有存儲的數(shù)據點，根 據解壓后的數(shù)據λ，免，....，九以及原始數(shù)據Y1，…，yn計算最大誤差 以及平均誤差
若δ _多δ s，則存儲δ _所對應的原始數(shù)據，再根據偏 差e = δ S- δ進行調整： 1) 若|e| < ε，表明偏差在允許范圍內，則不對ΛΕ作調整，并進入步驟7 ; 2) 若e多ε，表明平均誤差δ偏小，ΛΕ設置偏低，會導致壓縮比CR偏低，則進入步驟 1對壓縮偏移量ΔΕ在AEmax限定范圍內作增大調整ΛΕ= ΛΕ+η .e/ε，若ΛΕ> ΛΕ_， 則ΔΕ = ΔΕ眶； 3) 若e<-e，表明平均誤差δ偏大，ΛΕ設置偏高，會降低壓縮后數(shù)據的解壓精度， 則進入步驟1對壓縮偏移量Δ E在Λ Emin限定范圍內作減小調整Λ E = Λ E-η · e/ ε，若 ΛΕ< AEmin，則 ΛΕ= AEmin; 步驟7,判斷是否有新的燃氣數(shù)據采集序列待壓縮，若有，則返回步驟2,若沒有，則結 束并退出。
2. 根據權利要求1所述的海量燃氣數(shù)據的壓縮方法，其特征在于：所述步驟1中最大 時間間隔參數(shù)Tmax在0:00~6:00時間段內的值為1800秒，在6:00~8:00時間段內的值 為300秒，在8:00~10:00時間段內的值為600秒，在10:00~12:00時間段內的值為300 秒，在12:00~17:00時間段內的值為900秒，在17:00~19:00時間段內的值為300秒， 在19:00~24:00時間段內的值為1200秒。
3. 根據權利要求1或2所述的海量燃氣數(shù)據的壓縮方法，其特征在于：所述步驟1中 壓縮偏移量的調整幅度參數(shù)η = (AEmax-AEmin)/12。
4. 根據權利要求1或2所述的海量燃氣數(shù)據的壓縮方法，其特征在于：所述步驟1中 偏差容差參數(shù)μ大小為〇. 1~〇. 2。
5. 根據權利要求3所述的海量燃氣數(shù)據的壓縮方法，其特征在于：所述步驟1中偏差 容差參數(shù)μ大小為〇. 1~〇. 2。
【專利摘要】本發(fā)明提供了一種海量燃氣數(shù)據的壓縮方法，步驟為：參數(shù)初始化、比較記錄時間間隔、“旋轉門”數(shù)據壓縮、數(shù)據解壓、計算偏差以及根據偏差調整壓縮容差。該方法采用負反饋來實時調節(jié)壓縮參數(shù)，從而始終確保較高的壓縮精度，能夠根據燃氣數(shù)據的使用時間規(guī)律對燃氣數(shù)據進行精確壓縮，具有較好的應用前景。
【IPC分類】H03M7-30
【公開號】CN104682962
【申請?zhí)枴緾N201510067670
【發(fā)明人】魏曉冬, 張俊峰, 俞輝
【申請人】南京邦耀科技發(fā)展有限公司
【公開日】2015年6月3日
【申請日】2015年2月9日