本發(fā)明涉及一種數(shù)據(jù)處理方法，特別涉及一種加氣站SCADA系統(tǒng)海量數(shù)據(jù)的存儲(chǔ)查詢(xún)方法。

背景技術(shù)：

運(yùn)用于加氣站的SCADA系統(tǒng)，在數(shù)據(jù)處理方面對(duì)其有兩個(gè)基本的需求：

1、由于加氣站的數(shù)據(jù)采集點(diǎn)多，采集頻率高，同時(shí)又需要保存相當(dāng)長(zhǎng)一段時(shí)間內(nèi)所采集到設(shè)備工況歷史數(shù)據(jù)，因此要求加氣站SCADA系統(tǒng)能保存海量的設(shè)備工況歷史數(shù)據(jù)。

2、由于用戶需要隨機(jī)的查詢(xún)?cè)O(shè)備工況歷史數(shù)據(jù)，因此要求加氣站SCADA系統(tǒng)能對(duì)用戶的查詢(xún)請(qǐng)求提供盡可能快的響應(yīng)。但是現(xiàn)有的SCADA系統(tǒng)對(duì)加氣站設(shè)備海量歷史監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)、查詢(xún)并不能滿足用戶的需求。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明的目的是提供一種加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，以解決現(xiàn)有SCADA系統(tǒng)不能滿足用戶對(duì)加氣站設(shè)備海量歷史監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)、查詢(xún)需求的技術(shù)問(wèn)題。

本發(fā)明加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，包括數(shù)據(jù)存儲(chǔ)方法和數(shù)據(jù)查詢(xún)方法；

所述數(shù)據(jù)儲(chǔ)存方法包括以下步驟：

S1.通過(guò)以太網(wǎng)將站級(jí)數(shù)據(jù)采集主機(jī)、站級(jí)數(shù)據(jù)存儲(chǔ)服務(wù)器、站級(jí)數(shù)據(jù)通信客戶端主機(jī)、中心數(shù)據(jù)通信服務(wù)器、中心數(shù)據(jù)管理服務(wù)器、以及中心分布式數(shù)據(jù)存儲(chǔ)集群互連，所述中心分布式數(shù)據(jù)存儲(chǔ)集群包括多個(gè)主存儲(chǔ)服務(wù)器和多個(gè)從存儲(chǔ)服務(wù)器；

S2.將站級(jí)數(shù)據(jù)采集主機(jī)通過(guò)串口或以太網(wǎng)接口與PLC連接，通過(guò)PLC采集加氣站設(shè)備的實(shí)時(shí)工況數(shù)據(jù)和報(bào)警信號(hào)，然后將數(shù)據(jù)存儲(chǔ)在站級(jí)數(shù)據(jù)庫(kù)服務(wù)器中；

S3.將站級(jí)數(shù)據(jù)通信客戶端主機(jī)與中心數(shù)據(jù)通信服務(wù)器通過(guò)以太網(wǎng)相連，站級(jí)數(shù)據(jù)通信客戶端主機(jī)從站級(jí)數(shù)據(jù)庫(kù)中取出工況數(shù)據(jù)并通過(guò)TCP/IP協(xié)議將數(shù)據(jù)遠(yuǎn)傳給中心數(shù)據(jù)通信服務(wù)器，中心數(shù)據(jù)通信服務(wù)器收到數(shù)據(jù)后，先將數(shù)據(jù)暫存在內(nèi)存中，然后每隔一段時(shí)間把內(nèi)存中的數(shù)據(jù)通過(guò)相應(yīng)的壓縮算法進(jìn)行壓縮打包，并對(duì)每個(gè)壓縮包中的數(shù)據(jù)進(jìn)行預(yù)先的統(tǒng)計(jì)計(jì)算；

S4.中心數(shù)據(jù)通信服務(wù)器的負(fù)載均衡集群中的每臺(tái)服務(wù)器上都運(yùn)行相同的通信服務(wù)端進(jìn)程與數(shù)據(jù)管理進(jìn)程，當(dāng)負(fù)載均衡集群收到站級(jí)數(shù)據(jù)通信客戶端的連接請(qǐng)求后將它們均衡的分配給集群中的各服務(wù)器進(jìn)行處理；若集群中有服務(wù)器出現(xiàn)故障，集群的負(fù)載均衡策略則排除掉故障服務(wù)器，并對(duì)剩下的正常工作的服務(wù)器重新分配工作負(fù)擔(dān)；

S5.中心數(shù)據(jù)通信服務(wù)器將數(shù)據(jù)壓縮包與統(tǒng)計(jì)計(jì)算結(jié)果交付給中心數(shù)據(jù)管理服務(wù)器，中心數(shù)據(jù)管理服務(wù)器按照路由策略將數(shù)據(jù)包分配到中心分布式數(shù)據(jù)存儲(chǔ)集群的不同節(jié)點(diǎn)中；

S6.中心分布式數(shù)據(jù)存儲(chǔ)集群的物理結(jié)構(gòu)上由多個(gè)存儲(chǔ)節(jié)點(diǎn)組成，每個(gè)存儲(chǔ)節(jié)點(diǎn)包括一臺(tái)主存儲(chǔ)服務(wù)器和多臺(tái)從存儲(chǔ)服務(wù)器；主存儲(chǔ)服務(wù)器與從存儲(chǔ)服務(wù)器之間配置三個(gè)策略：讀寫(xiě)分離、數(shù)據(jù)實(shí)時(shí)同步、以及故障轉(zhuǎn)移；主存儲(chǔ)服務(wù)器配置為可寫(xiě)可讀，從存儲(chǔ)服務(wù)器配置為只讀，且主存儲(chǔ)服務(wù)器的讀優(yōu)先級(jí)低于從存儲(chǔ)服務(wù)器的讀優(yōu)先級(jí)，數(shù)據(jù)寫(xiě)入主存儲(chǔ)服務(wù)器后實(shí)時(shí)同步到從存儲(chǔ)服務(wù)器；

S7.中心分布式數(shù)據(jù)存儲(chǔ)集群的邏輯結(jié)構(gòu)上由1個(gè)主管理數(shù)據(jù)庫(kù)與多個(gè)子數(shù)據(jù)庫(kù)組成，主管理數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)路由策略，所述數(shù)據(jù)路由策略即加氣站編號(hào)到數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)IP的映射表，子數(shù)據(jù)庫(kù)存儲(chǔ)每個(gè)加氣站中的所有設(shè)備產(chǎn)生的實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)、以及報(bào)警數(shù)據(jù)，一個(gè)子數(shù)據(jù)庫(kù)只存儲(chǔ)一個(gè)加氣站的數(shù)據(jù)；一個(gè)存儲(chǔ)節(jié)點(diǎn)安裝一個(gè)數(shù)據(jù)庫(kù)實(shí)例，主管理數(shù)據(jù)庫(kù)與多個(gè)子數(shù)據(jù)庫(kù)部署于同一個(gè)數(shù)據(jù)庫(kù)實(shí)例中，即部署于同一個(gè)存儲(chǔ)節(jié)點(diǎn)中，或者是每一個(gè)數(shù)據(jù)庫(kù)分別部署于一個(gè)數(shù)據(jù)庫(kù)實(shí)例中；

S8.每個(gè)子數(shù)據(jù)庫(kù)中用于存放設(shè)備工況歷史數(shù)據(jù)和報(bào)警歷史數(shù)據(jù)的數(shù)據(jù)表分區(qū)處理，將數(shù)據(jù)表按年份分區(qū)，每一年的數(shù)據(jù)存放在對(duì)應(yīng)的分區(qū)中；

S9.中心數(shù)據(jù)通信服務(wù)器將數(shù)據(jù)來(lái)源的加氣站編號(hào)以及數(shù)據(jù)壓縮包提交給中心數(shù)據(jù)管理服務(wù)器，中心數(shù)據(jù)管理服務(wù)器通過(guò)查詢(xún)主管理數(shù)據(jù)庫(kù)中的路由策略來(lái)確定數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，然后將數(shù)據(jù)存儲(chǔ)于其中；

所述數(shù)據(jù)查詢(xún)方法包括以下步驟：

S10.將要查詢(xún)的加氣站編號(hào)提交給中心數(shù)據(jù)管理服務(wù)器，中心數(shù)據(jù)管理服務(wù)器通過(guò)查詢(xún)主管理數(shù)據(jù)庫(kù)中的路由策略來(lái)確定數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，然后將數(shù)據(jù)從目標(biāo)存儲(chǔ)節(jié)點(diǎn)中取出、解壓并返回給客戶端。

進(jìn)一步，所述加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，還包括當(dāng)客戶端查詢(xún)多個(gè)加氣站的數(shù)據(jù)時(shí)，開(kāi)辟多個(gè)線程，每個(gè)線程負(fù)責(zé)一個(gè)加氣站數(shù)據(jù)的查詢(xún)，然后將多個(gè)線程的查詢(xún)結(jié)果聚合后返回給客戶端。

本發(fā)明的有益效果：

本發(fā)明加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，其能提高對(duì)加氣站海量監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)運(yùn)行效率，滿足海量數(shù)據(jù)的存儲(chǔ)要求，同時(shí)對(duì)數(shù)據(jù)的查詢(xún)方便，能多線程并行查詢(xún)，可極大提高查詢(xún)效率，且能方便的滿足加氣站數(shù)量的橫向擴(kuò)展。

具體實(shí)施方式

下面結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述。

本實(shí)施例加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，包括數(shù)據(jù)存儲(chǔ)方法和數(shù)據(jù)查詢(xún)方法；

所述數(shù)據(jù)儲(chǔ)存方法包括以下步驟：

S1.通過(guò)以太網(wǎng)將站級(jí)數(shù)據(jù)采集主機(jī)、站級(jí)數(shù)據(jù)存儲(chǔ)服務(wù)器、站級(jí)數(shù)據(jù)通信客戶端主機(jī)、中心數(shù)據(jù)通信服務(wù)器、中心數(shù)據(jù)管理服務(wù)器、以及中心分布式數(shù)據(jù)存儲(chǔ)集群互連，所述中心分布式數(shù)據(jù)存儲(chǔ)集群包括多個(gè)主存儲(chǔ)服務(wù)器和多個(gè)從存儲(chǔ)服務(wù)器；

當(dāng)然在具體實(shí)施例中，所述站級(jí)數(shù)據(jù)采集主機(jī)、站級(jí)數(shù)據(jù)存儲(chǔ)服務(wù)器、站級(jí)數(shù)據(jù)通信客戶端主機(jī)可以為同一臺(tái)工控機(jī)或服務(wù)器，也可為多臺(tái)不同的服務(wù)器，因此站級(jí)數(shù)據(jù)采集進(jìn)程、站級(jí)數(shù)據(jù)存儲(chǔ)進(jìn)程、站級(jí)數(shù)據(jù)通信客戶端進(jìn)程可分別運(yùn)行于獨(dú)立的工控機(jī)或服務(wù)器中，也可運(yùn)行于同一臺(tái)服務(wù)器中，但各進(jìn)程間必須通過(guò)以太網(wǎng)互連；

S2.將站級(jí)數(shù)據(jù)采集主機(jī)通過(guò)串口或以太網(wǎng)接口與PLC連接，通過(guò)PLC采集加氣站設(shè)備的實(shí)時(shí)工況數(shù)據(jù)和報(bào)警信號(hào)，然后將數(shù)據(jù)存儲(chǔ)在站級(jí)數(shù)據(jù)庫(kù)服務(wù)器中；采集頻率存儲(chǔ)在配置文件中，可默認(rèn)設(shè)置為1次/10秒；

S3.將站級(jí)數(shù)據(jù)通信客戶端主機(jī)與中心數(shù)據(jù)通信服務(wù)器通過(guò)以太網(wǎng)相連，站級(jí)數(shù)據(jù)通信客戶端主機(jī)從站級(jí)數(shù)據(jù)庫(kù)中取出工況數(shù)據(jù)并通過(guò)TCP/IP協(xié)議將數(shù)據(jù)遠(yuǎn)傳給中心數(shù)據(jù)通信服務(wù)器，中心數(shù)據(jù)通信服務(wù)器收到數(shù)據(jù)后，先將數(shù)據(jù)暫存在內(nèi)存中，然后每隔一段時(shí)間把內(nèi)存中的數(shù)據(jù)通過(guò)相應(yīng)的壓縮算法進(jìn)行壓縮打包，并對(duì)每個(gè)壓縮包中的數(shù)據(jù)進(jìn)行預(yù)先的統(tǒng)計(jì)計(jì)算；

S4.中心數(shù)據(jù)通信服務(wù)器的負(fù)載均衡集群中的每臺(tái)服務(wù)器上都運(yùn)行相同的通信服務(wù)端進(jìn)程與數(shù)據(jù)管理進(jìn)程，當(dāng)負(fù)載均衡集群收到站級(jí)數(shù)據(jù)通信客戶端的連接請(qǐng)求后將它們均衡的分配給集群中的各服務(wù)器進(jìn)行處理，這樣可以提高運(yùn)行效率；若集群中有服務(wù)器出現(xiàn)故障，集群的負(fù)載均衡策略則排除掉故障服務(wù)器，并對(duì)剩下的正常工作的服務(wù)器重新分配工作負(fù)擔(dān)，可解決通訊服務(wù)器的單點(diǎn)故障問(wèn)題；

S5.中心數(shù)據(jù)通信服務(wù)器將數(shù)據(jù)壓縮包與統(tǒng)計(jì)計(jì)算結(jié)果交付給中心數(shù)據(jù)管理服務(wù)器，中心數(shù)據(jù)管理服務(wù)器按照路由策略將數(shù)據(jù)包分配到中心分布式數(shù)據(jù)存儲(chǔ)集群的不同節(jié)點(diǎn)中；

S6.中心分布式數(shù)據(jù)存儲(chǔ)集群的物理結(jié)構(gòu)上由多個(gè)存儲(chǔ)節(jié)點(diǎn)組成，每個(gè)存儲(chǔ)節(jié)點(diǎn)包括一臺(tái)主存儲(chǔ)服務(wù)器和多臺(tái)從存儲(chǔ)服務(wù)器；主存儲(chǔ)服務(wù)器與從存儲(chǔ)服務(wù)器之間配置三個(gè)策略：讀寫(xiě)分離、數(shù)據(jù)實(shí)時(shí)同步、以及故障轉(zhuǎn)移；主存儲(chǔ)服務(wù)器配置為可寫(xiě)可讀，從存儲(chǔ)服務(wù)器配置為只讀，且主存儲(chǔ)服務(wù)器的讀優(yōu)先級(jí)低于從存儲(chǔ)服務(wù)器的讀優(yōu)先級(jí)，數(shù)據(jù)寫(xiě)入主存儲(chǔ)服務(wù)器后實(shí)時(shí)同步到從存儲(chǔ)服務(wù)器；

這樣寫(xiě)數(shù)據(jù)請(qǐng)求將被導(dǎo)向到主服務(wù)器，讀數(shù)據(jù)請(qǐng)求將被導(dǎo)向到從服務(wù)器，當(dāng)讀數(shù)據(jù)請(qǐng)求壓力過(guò)大時(shí)，會(huì)將一部分讀請(qǐng)求分流到主服務(wù)器，盡可能均衡的將讀寫(xiě)壓力分配到主從服務(wù)器上，滿足系統(tǒng)的數(shù)據(jù)吞吐量要求；并且當(dāng)主服務(wù)器發(fā)生故障時(shí)，故障轉(zhuǎn)移策略會(huì)自動(dòng)將主服務(wù)器移除集群，并將所有的讀寫(xiě)數(shù)據(jù)請(qǐng)求導(dǎo)向到從服務(wù)器，使系統(tǒng)提供無(wú)單點(diǎn)故障的數(shù)據(jù)存儲(chǔ)服務(wù)；

S7.中心分布式數(shù)據(jù)存儲(chǔ)集群的邏輯結(jié)構(gòu)上由1個(gè)主管理數(shù)據(jù)庫(kù)與多個(gè)子數(shù)據(jù)庫(kù)組成，主管理數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)路由策略，所述數(shù)據(jù)路由策略即加氣站編號(hào)到數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)IP的映射表，子數(shù)據(jù)庫(kù)存儲(chǔ)每個(gè)加氣站中的所有設(shè)備產(chǎn)生的實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)、以及報(bào)警數(shù)據(jù)，一個(gè)子數(shù)據(jù)庫(kù)只存儲(chǔ)一個(gè)加氣站的數(shù)據(jù)；一個(gè)存儲(chǔ)節(jié)點(diǎn)安裝一個(gè)數(shù)據(jù)庫(kù)實(shí)例，主管理數(shù)據(jù)庫(kù)與多個(gè)子數(shù)據(jù)庫(kù)部署于同一個(gè)數(shù)據(jù)庫(kù)實(shí)例中，即部署于同一個(gè)存儲(chǔ)節(jié)點(diǎn)中；當(dāng)在在具體實(shí)施例中也可以者是每一個(gè)數(shù)據(jù)庫(kù)分別部署于一個(gè)數(shù)據(jù)庫(kù)實(shí)例中，部署方式可靈活組合；

主庫(kù)中的數(shù)據(jù)路由策略就是記錄每個(gè)加氣站的子庫(kù)實(shí)際部署的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的IP地址，每個(gè)加氣站對(duì)應(yīng)一個(gè)子數(shù)據(jù)庫(kù)的方式可從邏輯上支持?jǐn)?shù)據(jù)庫(kù)集群的橫向擴(kuò)展，并且避免了哈希分片方法會(huì)帶來(lái)的哈希一致性問(wèn)題；當(dāng)有新的加氣站需要連入系統(tǒng)，只需要將新的服務(wù)器配置為一個(gè)主從節(jié)點(diǎn)，然后在主管理數(shù)據(jù)庫(kù)中增加其數(shù)據(jù)路由策略即可；

S8.每個(gè)子數(shù)據(jù)庫(kù)中用于存放設(shè)備工況歷史數(shù)據(jù)和報(bào)警歷史數(shù)據(jù)的數(shù)據(jù)表分區(qū)處理，將數(shù)據(jù)表按年份分區(qū)，每一年的數(shù)據(jù)存放在對(duì)應(yīng)的分區(qū)中；這樣所有的數(shù)據(jù)邏輯上還是在同一個(gè)表中，但物理上不同年份的數(shù)據(jù)存儲(chǔ)在不同的文件中，能提高數(shù)據(jù)庫(kù)的IO吞吐量；

S9.中心數(shù)據(jù)通信服務(wù)器將數(shù)據(jù)來(lái)源的加氣站編號(hào)以及數(shù)據(jù)壓縮包提交給中心數(shù)據(jù)管理服務(wù)器，中心數(shù)據(jù)管理服務(wù)器通過(guò)查詢(xún)主管理數(shù)據(jù)庫(kù)中的路由策略來(lái)確定數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，然后將數(shù)據(jù)存儲(chǔ)于其中；

所述數(shù)據(jù)查詢(xún)方法包括以下步驟：

S10.將要查詢(xún)的加氣站編號(hào)提交給中心數(shù)據(jù)管理服務(wù)器，中心數(shù)據(jù)管理服務(wù)器通過(guò)查詢(xún)主管理數(shù)據(jù)庫(kù)中的路由策略來(lái)確定數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，然后將數(shù)據(jù)從目標(biāo)存儲(chǔ)節(jié)點(diǎn)中取出、解壓并返回給客戶端。

作對(duì)對(duì)本實(shí)施例的改進(jìn)，本加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，還包括當(dāng)客戶端查詢(xún)多個(gè)加氣站的數(shù)據(jù)時(shí)，開(kāi)辟多個(gè)線程，每個(gè)線程負(fù)責(zé)一個(gè)加氣站數(shù)據(jù)的查詢(xún)，然后將多個(gè)線程的查詢(xún)結(jié)果聚合后返回給客戶端；多線程并行查詢(xún)可極大提高查詢(xún)效率。

同時(shí)當(dāng)客戶端要進(jìn)行數(shù)據(jù)統(tǒng)計(jì)查詢(xún)時(shí)，由于數(shù)據(jù)庫(kù)中存儲(chǔ)了數(shù)據(jù)壓縮包以及每個(gè)包對(duì)應(yīng)的預(yù)先統(tǒng)計(jì)結(jié)果值，那么只需把滿足查詢(xún)條件的統(tǒng)計(jì)結(jié)果值查詢(xún)出來(lái)再做二次統(tǒng)計(jì)計(jì)算，即可得到最終結(jié)果，可大大的節(jié)省查詢(xún)時(shí)的統(tǒng)計(jì)計(jì)算時(shí)間。

本實(shí)施例加氣站SCADA系統(tǒng)海量數(shù)據(jù)處理方法，其能提高對(duì)加氣站海量監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)運(yùn)行效率，滿足海量數(shù)據(jù)的存儲(chǔ)要求，同時(shí)對(duì)數(shù)據(jù)的查詢(xún)方便，能多線程并行查詢(xún)，可極大提高查詢(xún)效率，且能方便的滿足加氣站數(shù)量的橫向擴(kuò)展。

最后說(shuō)明的是，以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非限制，盡管參照較佳實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，而不脫離本發(fā)明技術(shù)方案的宗旨和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。