本發(fā)明屬于數(shù)據(jù)存儲管理,具體是涉及到一種變電站檢修數(shù)據(jù)管理方法及管理平臺。
背景技術(shù):
1、隨著信息技術(shù)的快速發(fā)展,各行各業(yè)都產(chǎn)生了海量的數(shù)據(jù)需要進(jìn)行管理和利用。特別是在電力系統(tǒng)這一復(fù)雜的工業(yè)環(huán)境中,需要處理和管理的數(shù)據(jù)類型繁多,尤其是設(shè)備檢修數(shù)據(jù)。這些檢修數(shù)據(jù)不僅數(shù)量龐大,而且更新頻繁,對數(shù)據(jù)管理系統(tǒng)的要求非常高。同時,電力系統(tǒng)通常需要多個部門、多種角色的人員協(xié)同工作,因此數(shù)據(jù)的共享和安全訪問也變得尤為重要。此外,隨著移動設(shè)備的普及,現(xiàn)場工作人員需要能夠隨時隨地訪問所需的數(shù)據(jù),這就要求數(shù)據(jù)管理系統(tǒng)能夠支持多種終端設(shè)備的接入。
2、隨著數(shù)據(jù)量的急劇增加和數(shù)據(jù)類型的日益復(fù)雜,傳統(tǒng)的中心化存儲方式已經(jīng)難以滿足高效處理和管理的需求。其次,在多用戶、多設(shè)備的使用環(huán)境下,如何保證數(shù)據(jù)的一致性和安全性成為一個挑戰(zhàn)。在這樣的背景下,傳統(tǒng)方式在數(shù)據(jù)的存儲和訪問過程中往往存在效率低下、安全性不足等問題。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明提供一種變電站檢修數(shù)據(jù)管理方法及管理平臺,以解決數(shù)據(jù)的存儲和訪問過程中存在效率低下、安全性不足的問題。
2、第一方面,本發(fā)明提供一種變電站檢修數(shù)據(jù)管理方法,應(yīng)用于檢修數(shù)據(jù)管理平臺,所述檢修數(shù)據(jù)管理平臺包括后臺服務(wù)器、分布式存儲數(shù)據(jù)庫和客戶端,所述客戶端包括pc客戶端和移動客戶端,所述后臺服務(wù)器分別與所述移動客戶端和所述pc客戶端通過內(nèi)網(wǎng)連接,所述pc客戶端用于通過所述后臺服務(wù)器上傳檢修數(shù)據(jù),所述移動客戶端用于通過所述后臺服務(wù)器下載所述檢修數(shù)據(jù),所述后臺服務(wù)器與所述分布式存儲數(shù)據(jù)庫連接,所述分布式存儲數(shù)據(jù)庫用于將所述pc客戶端上傳的所述檢修數(shù)據(jù)劃分為基線數(shù)據(jù)和增量數(shù)據(jù)并進(jìn)行分布式存儲,所述分布式存儲數(shù)據(jù)庫還用于將所述基線數(shù)據(jù)按照所述檢修數(shù)據(jù)的數(shù)據(jù)類型進(jìn)行分類存儲;
3、所述方法包括如下步驟:
4、所述后臺服務(wù)器接收所述pc客戶端發(fā)送的數(shù)據(jù)上傳請求,所述數(shù)據(jù)上傳請求包括pc端用戶登錄信息、pc端用戶權(quán)限信息和數(shù)據(jù)包鏈表信息;
5、所述后臺服務(wù)器基于所述pc端用戶登錄信息和所述pc端用戶權(quán)限信息驗(yàn)證所述數(shù)據(jù)上傳請求;
6、若所述數(shù)據(jù)上傳請求驗(yàn)證通過,則所述后臺服務(wù)器接收所述數(shù)據(jù)包鏈表信息對應(yīng)的上傳數(shù)據(jù)包,并將所述上傳數(shù)據(jù)包存儲至所述分布式存儲數(shù)據(jù)庫;
7、所述后臺服務(wù)器接收所述移動客戶端發(fā)送的數(shù)據(jù)下載請求,所述數(shù)據(jù)下載請求包括移動端用戶登錄信息、本地?cái)?shù)據(jù)類型信息和本地關(guān)鍵數(shù)據(jù)哈希值;
8、所述后臺服務(wù)器結(jié)合所述移動端用戶登錄信息、所述本地?cái)?shù)據(jù)類型信息和所述本地關(guān)鍵數(shù)據(jù)哈希值驗(yàn)證所述數(shù)據(jù)下載請求;
9、若所述數(shù)據(jù)下載請求驗(yàn)證通過,則所述后臺服務(wù)器基于所述本地?cái)?shù)據(jù)類型信息將對應(yīng)的目標(biāo)數(shù)據(jù)包推送至所述移動客戶端。
10、可選的,所述后臺服務(wù)器部署有數(shù)據(jù)融合模塊,所述數(shù)據(jù)融合模塊與所述分布式存儲數(shù)據(jù)庫連接,所述數(shù)據(jù)融合模塊部署有數(shù)據(jù)緩存區(qū),所述數(shù)據(jù)緩存區(qū)用于存儲所述數(shù)據(jù)上傳請求,在所述后臺服務(wù)器基于所述pc端用戶登錄信息和所述pc端用戶權(quán)限信息驗(yàn)證所述數(shù)據(jù)上傳請求之前還包括如下步驟:
11、所述后臺服務(wù)器每個預(yù)設(shè)的間隔時間獲取當(dāng)前時刻下所述后臺服務(wù)器的服務(wù)器實(shí)時指標(biāo)數(shù)據(jù)和服務(wù)器時間;
12、若所述后臺服務(wù)器根據(jù)所述服務(wù)器實(shí)時指標(biāo)判定所述后臺服務(wù)器的服務(wù)器狀態(tài)處于空閑狀態(tài),且所述服務(wù)器時間處于預(yù)設(shè)的空閑時間段,則所述后臺服務(wù)器從所述數(shù)據(jù)緩存區(qū)提取多個歷史數(shù)據(jù)上傳請求;
13、所述后臺服務(wù)器基于所述歷史數(shù)據(jù)上傳請求的歷史時間戳確定多個目標(biāo)時間段,每個所述目標(biāo)時間段中所包含的目標(biāo)歷史時間戳的數(shù)量均超出預(yù)設(shè)的數(shù)量閾值;
14、所述后臺服務(wù)器將所有所述目標(biāo)歷史時間戳對應(yīng)的所述歷史數(shù)據(jù)上傳請求標(biāo)記為目標(biāo)歷史數(shù)據(jù)上傳請求;
15、對于每個所述目標(biāo)時間段,所述后臺服務(wù)器分析所述目標(biāo)時間段中所有所述目標(biāo)歷史數(shù)據(jù)上傳請求的歷史數(shù)據(jù)包鏈表信息,并基于所述歷史數(shù)據(jù)包鏈表信息統(tǒng)計(jì)所述目標(biāo)時間段內(nèi)所有不同類型數(shù)據(jù)包的上傳頻次;
16、所述后臺服務(wù)器利用所述上傳頻次對數(shù)據(jù)包類型進(jìn)行篩選,并生成所述目標(biāo)時間段對應(yīng)的目標(biāo)數(shù)據(jù)包鏈表信息;
17、所述后臺服務(wù)器結(jié)合所述目標(biāo)時間段和所述目標(biāo)數(shù)據(jù)包鏈表信息創(chuàng)建所述數(shù)據(jù)融合模塊的基線數(shù)據(jù)預(yù)調(diào)取策略,所述基線數(shù)據(jù)預(yù)調(diào)取策略為:當(dāng)所述服務(wù)器時間處于任意所述目標(biāo)時間段時,所述數(shù)據(jù)融合模塊基于所述目標(biāo)數(shù)據(jù)包鏈表信息從所述分布式存儲數(shù)據(jù)庫中將對應(yīng)的目標(biāo)基線數(shù)據(jù)調(diào)取至所述數(shù)據(jù)緩存區(qū)。
18、可選的,所述后臺服務(wù)器利用所述上傳頻次對數(shù)據(jù)包類型進(jìn)行篩選,并生成所述目標(biāo)時間段對應(yīng)的目標(biāo)數(shù)據(jù)包鏈表信息包括如下步驟:
19、所述后臺服務(wù)器將所述上傳頻次小于預(yù)設(shè)頻次閾值的所述數(shù)據(jù)包類型篩除,并獲取保留下的所有目標(biāo)數(shù)據(jù)包類型的類型信息;
20、所述后臺服務(wù)器在所述分布式存儲數(shù)據(jù)庫中查詢獲取所有所述類型信息對應(yīng)基線數(shù)據(jù)的數(shù)據(jù)內(nèi)存;
21、所述后臺服務(wù)器將所有所述類型信息對應(yīng)的基線數(shù)據(jù)按照所述數(shù)據(jù)內(nèi)存從小至大的順序排序,并依次將排序后的所述基線數(shù)據(jù)標(biāo)記為目標(biāo)基線數(shù)據(jù),直至所有所述目標(biāo)基線數(shù)據(jù)的數(shù)據(jù)內(nèi)存之和大于所述數(shù)據(jù)緩存區(qū)的存儲上限與預(yù)設(shè)的預(yù)留存儲空間之間的差值;
22、所述后臺服務(wù)器基于所有所述目標(biāo)基線數(shù)據(jù)的表頭信息生成所述目標(biāo)時間段對應(yīng)的目標(biāo)數(shù)據(jù)包鏈表信息。
23、可選的,所述后臺服務(wù)器還部署有數(shù)據(jù)分發(fā)模塊,所述數(shù)據(jù)分發(fā)模塊分別與所述數(shù)據(jù)融合模塊和所述分布式存儲數(shù)據(jù)庫連接,所述數(shù)據(jù)分發(fā)模塊存儲有所述目標(biāo)數(shù)據(jù)包鏈表信息,所述數(shù)據(jù)分發(fā)模塊用于接收所述數(shù)據(jù)包鏈表信息對應(yīng)的上傳數(shù)據(jù)包,所述數(shù)據(jù)分發(fā)模塊還用于結(jié)合所述目標(biāo)數(shù)據(jù)包鏈表信息和所述數(shù)據(jù)包鏈表信息將所述上傳數(shù)據(jù)包分發(fā)至所述數(shù)據(jù)融合模塊或所述分布式存儲數(shù)據(jù)庫。
24、可選的,所述后臺服務(wù)器接收所述數(shù)據(jù)包鏈表信息對應(yīng)的上傳數(shù)據(jù)包,并將所述上傳數(shù)據(jù)包存儲至所述分布式存儲數(shù)據(jù)庫包括如下步驟:
25、所述后臺服務(wù)器通過所述數(shù)據(jù)分發(fā)模塊接收所述數(shù)據(jù)包鏈表信息對應(yīng)的上傳數(shù)據(jù)包;
26、所述后臺服務(wù)器通過所述數(shù)據(jù)分發(fā)模塊對所述數(shù)據(jù)包鏈表信息和所述目標(biāo)數(shù)據(jù)包鏈表信息進(jìn)行數(shù)據(jù)匹配分析,根據(jù)數(shù)據(jù)匹配分析結(jié)果將所述上傳數(shù)據(jù)包中與所述目標(biāo)基線數(shù)據(jù)相同類型的目標(biāo)檢修數(shù)據(jù)分發(fā)至所述數(shù)據(jù)融合模塊,并將所述上傳數(shù)據(jù)包中的其他所有檢修數(shù)據(jù)作為所述增量數(shù)據(jù)分發(fā)至所述分布式存儲數(shù)據(jù)庫。
27、可選的,所述方法還包括如下步驟:
28、當(dāng)所述后臺服務(wù)器通過所述數(shù)據(jù)分發(fā)模塊并根據(jù)數(shù)據(jù)匹配分析結(jié)果將所述上傳數(shù)據(jù)包中與所述目標(biāo)基線數(shù)據(jù)相同類型的目標(biāo)檢修數(shù)據(jù)分發(fā)至所述數(shù)據(jù)融合模塊后,所述后臺服務(wù)器通過所述數(shù)據(jù)融合模塊將類型匹配的所述目標(biāo)檢修數(shù)據(jù)與所述目標(biāo)基線數(shù)據(jù)進(jìn)行數(shù)據(jù)融合,得到融合基線數(shù)據(jù),并將所述融合基線數(shù)據(jù)存儲至所述分布式存儲數(shù)據(jù)庫。
29、可選的,所述服務(wù)器實(shí)時指標(biāo)數(shù)據(jù)包括實(shí)時內(nèi)存使用率、實(shí)時cpu使用率、實(shí)時磁盤i/o讀寫數(shù)據(jù)、實(shí)時負(fù)載平均值、實(shí)時進(jìn)程數(shù)、實(shí)時線程數(shù)和實(shí)時隊(duì)列長度。
30、可選的,所述后臺服務(wù)器結(jié)合所述移動端用戶登錄信息、所述本地?cái)?shù)據(jù)類型信息和所述本地關(guān)鍵數(shù)據(jù)哈希值驗(yàn)證所述數(shù)據(jù)下載請求包括如下步驟:
31、所述后臺服務(wù)器驗(yàn)證所述移動端用戶登錄信息;
32、若所述移動端用戶登錄信息驗(yàn)證通過,則所述后臺服務(wù)器根據(jù)所述本地?cái)?shù)據(jù)類型信息在所述數(shù)據(jù)緩存區(qū)中查詢相同類型的所述目標(biāo)基線數(shù)據(jù);
33、若根據(jù)所述本地?cái)?shù)據(jù)類型信息在所述數(shù)據(jù)緩存區(qū)中查詢到相同類型的所述目標(biāo)基線數(shù)據(jù),則所述后臺服務(wù)器從相同類型的所述目標(biāo)基線數(shù)據(jù)中抽取關(guān)鍵基線數(shù)據(jù),并基于所述關(guān)鍵基線數(shù)據(jù)計(jì)算得到關(guān)鍵基線數(shù)據(jù)哈希值;
34、若根據(jù)所述本地?cái)?shù)據(jù)類型信息在所述數(shù)據(jù)緩存區(qū)中未查詢到相同類型的所述目標(biāo)基線數(shù)據(jù),則所述后臺服務(wù)器根據(jù)所述本地?cái)?shù)據(jù)類型信息在所述分布式存儲數(shù)據(jù)庫中查詢到相同類型的所述目標(biāo)基線數(shù)據(jù);
35、所述后臺服務(wù)器從相同類型的所述目標(biāo)基線數(shù)據(jù)中抽取關(guān)鍵基線數(shù)據(jù),并基于所述關(guān)鍵基線數(shù)據(jù)計(jì)算得到關(guān)鍵基線數(shù)據(jù)哈希值;
36、若所述關(guān)鍵基線數(shù)據(jù)哈希值與所述本地關(guān)鍵數(shù)據(jù)哈希值一致,則所述后臺服務(wù)器判定所述數(shù)據(jù)下載請求驗(yàn)證失?。?/p>
37、若所述關(guān)鍵基線數(shù)據(jù)哈希值與所述本地關(guān)鍵數(shù)據(jù)哈希值不一致,則所述后臺服務(wù)器判定所述數(shù)據(jù)下載請求驗(yàn)證通過。
38、可選的,所述后臺服務(wù)器基于所述本地?cái)?shù)據(jù)類型信息將對應(yīng)的目標(biāo)數(shù)據(jù)包推送至所述移動客戶端包括如下步驟:
39、若所述后臺服務(wù)器根據(jù)所述本地?cái)?shù)據(jù)類型信息在所述數(shù)據(jù)緩存區(qū)中查詢到相同類型的所述目標(biāo)基線數(shù)據(jù),則所述后臺服務(wù)器將相同類型的所述目標(biāo)基線數(shù)據(jù)打包為目標(biāo)數(shù)據(jù)包,并將所述目標(biāo)數(shù)據(jù)包推送至所述移動客戶端;
40、若所述后臺服務(wù)器根據(jù)所述本地?cái)?shù)據(jù)類型信息在所述分布式存儲數(shù)據(jù)庫中查詢到相同類型的所述目標(biāo)基線數(shù)據(jù),則所述后臺服務(wù)器將相同類型的所述目標(biāo)基線數(shù)據(jù)打包為目標(biāo)數(shù)據(jù)包,并將所述目標(biāo)數(shù)據(jù)包推送至所述移動客戶端。
41、第二方面,本發(fā)明還提供一種變電站檢修數(shù)據(jù)管理平臺,應(yīng)用于第一方面中所述的變電站檢修數(shù)據(jù)管理方法,所述檢修數(shù)據(jù)管理平臺包括后臺服務(wù)器、分布式存儲數(shù)據(jù)庫和客戶端,所述客戶端包括pc客戶端和移動客戶端,所述后臺服務(wù)器分別與所述移動客戶端和所述pc客戶端通過內(nèi)網(wǎng)連接,所述pc客戶端用于通過所述后臺服務(wù)器上傳檢修數(shù)據(jù),所述移動客戶端用于通過所述后臺服務(wù)器下載所述檢修數(shù)據(jù),所述后臺服務(wù)器與所述分布式存儲數(shù)據(jù)庫連接,所述分布式存儲數(shù)據(jù)庫用于將所述pc客戶端上傳的所述檢修數(shù)據(jù)劃分為基線數(shù)據(jù)和增量數(shù)據(jù)并進(jìn)行分布式存儲,所述分布式存儲數(shù)據(jù)庫還用于將所述基線數(shù)據(jù)按照所述檢修數(shù)據(jù)的數(shù)據(jù)類型進(jìn)行分類存儲。
42、本發(fā)明的有益效果是:
43、本發(fā)明采用了分布式存儲架構(gòu),大大提高了數(shù)據(jù)處理和存儲的效率。通過將檢修數(shù)據(jù)劃分為基線數(shù)據(jù)和增量數(shù)據(jù),并按數(shù)據(jù)類型分類存儲,從而可以更靈活地管理和訪問數(shù)據(jù),提升了整體性能。其次,本發(fā)明實(shí)現(xiàn)了pc端和移動端的無縫連接,使得數(shù)據(jù)的上傳和下載更加便捷,極大地提高了工作效率。特別是對于現(xiàn)場檢修人員,可以隨時獲取所需信息,大大提升了工作的靈活性和準(zhǔn)確性。再者,本發(fā)明設(shè)計(jì)了嚴(yán)格的權(quán)限驗(yàn)證機(jī)制,不僅在pc端上傳時進(jìn)行驗(yàn)證,在移動端下載時也進(jìn)行多重驗(yàn)證,極大地增強(qiáng)了數(shù)據(jù)安全性。同時,通過使用哈希值比對,能夠快速識別數(shù)據(jù)變化,實(shí)現(xiàn)增量更新,減少了不必要的數(shù)據(jù)傳輸,節(jié)省了網(wǎng)絡(luò)資源。綜上,本發(fā)明不僅提高了數(shù)據(jù)處理效率,增強(qiáng)了系統(tǒng)安全性,還大大改善了用戶體驗(yàn),為變電站檢修工作提供了強(qiáng)有力的技術(shù)支持,有望顯著提升變電站的運(yùn)營效率和安全性。