一種面向資源管理的分布式內(nèi)存電網(wǎng)構(gòu)建方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于電網(wǎng)資源數(shù)據(jù)處理技術(shù)領(lǐng)域，更準(zhǔn)確地說，本發(fā)明涉及一種電網(wǎng)資源數(shù)據(jù)的分布式計(jì)算、內(nèi)存計(jì)算的方法。
【背景技術(shù)】
[0002]隨著電力信息系統(tǒng)集成度逐步加大，管理范圍進(jìn)一步延伸至低壓，由此帶來的復(fù)雜資源模型和海量資源數(shù)據(jù)，使得基于關(guān)系數(shù)據(jù)庫的傳統(tǒng)電網(wǎng)模型和存儲(chǔ)方式，在電網(wǎng)資源訪問效率、數(shù)據(jù)計(jì)算能力、電網(wǎng)歷史斷面管理等多個(gè)方面均無法滿足發(fā)展需求。
[0003]為解決大數(shù)據(jù)的存儲(chǔ)、計(jì)算及分析問題，Google公司提出了分布式文件系統(tǒng)、面向列的分布式數(shù)據(jù)庫、MapReduce分布式編程模型。Google公司的分布式存儲(chǔ)、分布式計(jì)算技術(shù)為大型互聯(lián)網(wǎng)站系統(tǒng)大數(shù)據(jù)量的存儲(chǔ)和分析提出了解決方案，提升了性能。
[0004]在大數(shù)據(jù)實(shí)時(shí)分析方面，SAP推出了 HANA內(nèi)存計(jì)算平臺(tái)，它通過內(nèi)存計(jì)算技術(shù)以及軟硬件結(jié)合的一體機(jī)技術(shù)，實(shí)現(xiàn)高性能的數(shù)據(jù)查詢與分析，滿足用戶對(duì)大數(shù)據(jù)處理的實(shí)時(shí)性需求。
[0005]在大容量、高速存儲(chǔ)方面，Oracle推出了 Exadata數(shù)據(jù)庫一體機(jī)，它通過高性能硬件、高速網(wǎng)絡(luò)接口，采用智能掃描、智能存儲(chǔ)、智能索引、混合列壓縮等技術(shù)，提高大數(shù)據(jù)和多并發(fā)應(yīng)場(chǎng)景下的系統(tǒng)處理效率。Exadata數(shù)據(jù)庫一體機(jī)能夠使得基于oracle數(shù)據(jù)庫的已有系統(tǒng)的性能得到10倍左右性能提升。
[0006]另外，也有一些內(nèi)存數(shù)據(jù)庫技術(shù)，如:為應(yīng)用程序提供即時(shí)響應(yīng)和高吞吐量的Oracle TimesTen產(chǎn)品；將基于內(nèi)存和磁盤的全事務(wù)處理數(shù)據(jù)庫引擎，可用性強(qiáng)的數(shù)據(jù)復(fù)制功能緊密地融為一體的IBM SolidDB產(chǎn)品；用于各種需要高性能、小尺寸、緊密存儲(chǔ)、零內(nèi)存分配的eXtremeDB ;占用資源低、能夠跟很多程序語言相結(jié)合、輕量級(jí)的SQLite內(nèi)存數(shù)據(jù)庫；采用高性能的鍵-值存儲(chǔ)、內(nèi)存數(shù)據(jù)集方式的開源Redis內(nèi)存數(shù)據(jù)庫，都提出了數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)方案，避免解決頻繁的磁盤I/O操作，使得數(shù)據(jù)存取效率提高。
[0007]上述分布式和內(nèi)存計(jì)算產(chǎn)品由于其通用性設(shè)計(jì)，使得其直接應(yīng)用于國(guó)家電網(wǎng)公司業(yè)務(wù)系統(tǒng)時(shí)，無法發(fā)揮最大優(yōu)勢(shì)，甚至存在無法解決的工程應(yīng)用問題。

【發(fā)明內(nèi)容】

[0008]本發(fā)明目的是:針對(duì)現(xiàn)有技術(shù)中電網(wǎng)資源數(shù)據(jù)訪問效率低的不足，提供一種面向資源管理的分布式內(nèi)存電網(wǎng)構(gòu)建方法及系統(tǒng)。該方法能夠在內(nèi)存計(jì)算、分布式計(jì)算等前沿技術(shù)基礎(chǔ)上，通過深度融合國(guó)網(wǎng)業(yè)務(wù)，構(gòu)建一套滿足電網(wǎng)資源處理需求，高可靠、擴(kuò)展性強(qiáng)、符合國(guó)網(wǎng)業(yè)務(wù)特點(diǎn)的分布式、內(nèi)存計(jì)算技術(shù)及產(chǎn)品，即分布式內(nèi)存電網(wǎng)。該系統(tǒng)能夠全面支撐電力業(yè)務(wù)信息系統(tǒng)對(duì)電網(wǎng)資源數(shù)據(jù)的處理，大幅提升處理效率。
[0009]具體地說，本發(fā)明提供的面向資源管理的分布式內(nèi)存電網(wǎng)構(gòu)建方法，是采用以下技術(shù)方案實(shí)現(xiàn)的，包括以下步驟:
I)建立內(nèi)存電網(wǎng)資源模型，建模時(shí)采用面向?qū)ο蟮姆绞?，建模包括站?nèi)一次設(shè)備資源建模、站外一次設(shè)備資源建模和低壓設(shè)備資源建模；
2)水平切割電網(wǎng)資源數(shù)據(jù)，采用基于業(yè)務(wù)屬性的哈希散列方式，將具有不同業(yè)務(wù)屬性值的電網(wǎng)資源數(shù)據(jù)映射到不同的數(shù)據(jù)塊，具有相同業(yè)務(wù)屬性值的電網(wǎng)資源數(shù)據(jù)映射到一同數(shù)據(jù)塊，采用區(qū)域?qū)傩宰鳛榈谝粯I(yè)務(wù)屬性、電壓等級(jí)作為第二屬性進(jìn)行哈希散列；
3)加載電網(wǎng)資源數(shù)據(jù)，在第一次啟動(dòng)時(shí)，根據(jù)數(shù)據(jù)的水平劃分方式，將電網(wǎng)資源數(shù)據(jù)庫中的數(shù)據(jù)按照步驟I)建立的模型進(jìn)行加載，然后分布式緩存到集群中多個(gè)服務(wù)器內(nèi)存中；當(dāng)數(shù)據(jù)加載完成后，將緩存中的電網(wǎng)資源數(shù)據(jù)進(jìn)行序列化，形成二進(jìn)制文件保存在本地磁盤；當(dāng)再次啟動(dòng)時(shí)，從本地文件直接讀取電網(wǎng)數(shù)據(jù)，并從電網(wǎng)資源數(shù)據(jù)庫讀取從上次序列化到目前的增量數(shù)據(jù)；
4)創(chuàng)建電網(wǎng)資源地址索引，電網(wǎng)資源分布式緩存后，將緩存服務(wù)器IP地址、電網(wǎng)資源的區(qū)域?qū)傩灾?、電網(wǎng)資源電壓等級(jí)值、占用空間和緩存所用時(shí)間信息發(fā)送到電網(wǎng)資源地址管理服務(wù)器中，管理服務(wù)器收集信息后創(chuàng)建索引表，進(jìn)行緩存；
5)執(zhí)行并行任務(wù)計(jì)算，將電網(wǎng)資源查詢、計(jì)算任務(wù)按照區(qū)域?qū)傩院碗妷旱燃?jí)屬性拆分成多級(jí)樹形子任務(wù)，所有子任務(wù)根據(jù)區(qū)域?qū)傩院碗妷旱燃?jí)屬性被調(diào)度到數(shù)據(jù)所在的緩存服務(wù)器并發(fā)執(zhí)行；執(zhí)行完畢后將結(jié)果返回給上級(jí)父任務(wù)，由父任務(wù)收集匯總所有子任務(wù)結(jié)果，并返回給其父節(jié)點(diǎn)，直至最頂層節(jié)點(diǎn)；
6)建立電網(wǎng)數(shù)據(jù)斷面，通過定時(shí)和人工觸犯方式，在指定的時(shí)間，對(duì)緩存服務(wù)中所有電網(wǎng)資源模型和數(shù)據(jù)進(jìn)行快速序列化處理，生成多個(gè)二進(jìn)制文件，利用HDFS分布式文件系統(tǒng)進(jìn)行永久、可靠存儲(chǔ)，最終形成某一時(shí)刻的數(shù)據(jù)斷面；
7 )建立內(nèi)存電網(wǎng)訪問接口，內(nèi)存電網(wǎng)接口用于向電網(wǎng)業(yè)務(wù)信息系統(tǒng)提供數(shù)據(jù)物理位置無關(guān)的電網(wǎng)資源訪問方式，包括電網(wǎng)斷面接口、電網(wǎng)數(shù)據(jù)統(tǒng)計(jì)分析接口、數(shù)據(jù)查詢接口，電網(wǎng)資源數(shù)據(jù)訪問接口采用PRC遠(yuǎn)程調(diào)用協(xié)議，傳輸?shù)臄?shù)據(jù)為資源對(duì)象序列化后的二進(jìn)制流。
[0010]上述技術(shù)方案的進(jìn)一步特征在于:所述步驟I)中，在建模時(shí)采用基于BSON的弱對(duì)象建模和數(shù)據(jù)存儲(chǔ)方式，以對(duì)象化的方式表征電網(wǎng)資源的繼承、從屬和關(guān)聯(lián)關(guān)系。
[0011]上述技術(shù)方案的進(jìn)一步特征在于:所述步驟I)中，對(duì)于BSON存儲(chǔ)的資源屬性標(biāo)簽，采用統(tǒng)一的內(nèi)存映射機(jī)制，將資源屬性標(biāo)簽與簡(jiǎn)化標(biāo)簽進(jìn)行一一映射。
[0012]上述技術(shù)方案的進(jìn)一步特征在于:所述步驟3)中，在第二次啟動(dòng)時(shí)，采用增量加載的方式，讓每臺(tái)緩存服務(wù)器定期對(duì)內(nèi)存數(shù)據(jù)進(jìn)行快速序列化處理，并將序列化后的數(shù)據(jù)和當(dāng)前時(shí)間戳保存到本地磁盤，在下次加載時(shí)通過讀取本地磁盤文件獲取上次序列化時(shí)的電網(wǎng)資源數(shù)據(jù)，然后根據(jù)時(shí)間戳，從數(shù)據(jù)庫查詢并加載上次序列化到目前的增量數(shù)據(jù)。
[0013]上述技術(shù)方案的進(jìn)一步特征在于:所述步驟4)中，采用分布式排序算法來處理用戶的分頁查詢請(qǐng)求，通過堆排序和歸并排序算法分別處理分級(jí)查詢和匯總排序，以完成檢索。
[0014]本發(fā)明提供的面向資源管理的分布式內(nèi)存電網(wǎng)系統(tǒng)，包括電網(wǎng)資源數(shù)據(jù)緩存及計(jì)算服務(wù)模塊、電網(wǎng)資源數(shù)據(jù)地址索引管理服務(wù)模塊和客戶端代理組件模塊，其中電網(wǎng)資源數(shù)據(jù)緩存及計(jì)算服務(wù)模塊包括分布式緩存與計(jì)算核心框架模塊、電網(wǎng)資源緩存管理模塊、電網(wǎng)斷面管理及內(nèi)存電網(wǎng)展示模塊、數(shù)據(jù)同步模塊、數(shù)據(jù)加載與持久化模塊、內(nèi)存電網(wǎng)應(yīng)用接口服務(wù)t吳塊；各_吳塊的功能如下: 分布式緩存與計(jì)算核心框架模塊，用于負(fù)責(zé)資源數(shù)據(jù)的哈希散列劃分，同時(shí)負(fù)責(zé)將計(jì)算任務(wù)根據(jù)數(shù)據(jù)劃分情況進(jìn)行子任務(wù)拆分和調(diào)度，負(fù)責(zé)執(zhí)行分配到本地的子任務(wù)，負(fù)責(zé)收集匯總其下屬子任務(wù)的執(zhí)行結(jié)果；
電網(wǎng)資源緩存管理模塊，用于負(fù)責(zé)根據(jù)業(yè)務(wù)資源數(shù)據(jù)模型，分配加載數(shù)據(jù)所需的內(nèi)存空間，同時(shí)對(duì)內(nèi)存的釋放和碎片進(jìn)行管理；
電網(wǎng)斷面管理及內(nèi)存電網(wǎng)展現(xiàn)模塊，用于提供斷面快速創(chuàng)建、多斷面快速載入功能，同時(shí)提供對(duì)載入內(nèi)存的斷面數(shù)據(jù)進(jìn)行對(duì)比分析展現(xiàn)功能；
數(shù)據(jù)同步模塊，用于提供數(shù)據(jù)庫電網(wǎng)資源數(shù)據(jù)到內(nèi)存電網(wǎng)資源數(shù)據(jù)的準(zhǔn)實(shí)時(shí)同步，使得兩者能夠保持一致；
數(shù)據(jù)加載及持久化模塊，用于讀取數(shù)據(jù)庫中的電網(wǎng)資源數(shù)據(jù)，并按照事先設(shè)計(jì)的電網(wǎng)資源模型進(jìn)行緩存，同時(shí)負(fù)責(zé)將緩存中的電網(wǎng)資源數(shù)據(jù)快速序列化到磁盤，以便下次能夠從持久化文件快速加載電網(wǎng)資源數(shù)據(jù)；
內(nèi)存電網(wǎng)應(yīng)用接口服務(wù)模塊，用于接收業(yè)務(wù)信息系統(tǒng)的電網(wǎng)資源訪問請(qǐng)并進(jìn)行處理；電網(wǎng)資源數(shù)據(jù)地址索引管理服務(wù)模塊，用于緩存所有電網(wǎng)資源對(duì)象所在的緩存服務(wù)器地址，并提供實(shí)時(shí)查詢功能；
客戶端代理組件模塊，用于提供給業(yè)務(wù)系統(tǒng)進(jìn)行分布式內(nèi)存電網(wǎng)資源訪問接口調(diào)用的本地代理，包括電網(wǎng)資源查詢統(tǒng)計(jì)接口代理、電網(wǎng)資源統(tǒng)計(jì)分析接口代理、電網(wǎng)斷面管理接口代理。
[0015]本發(fā)明的有益效果如下:本發(fā)明構(gòu)建方法能夠在內(nèi)存計(jì)算、分布式計(jì)算等前沿技術(shù)基礎(chǔ)上，通過深度融合國(guó)網(wǎng)業(yè)務(wù)，構(gòu)建一套滿足電網(wǎng)資源處理需求，高可靠、擴(kuò)展性強(qiáng)、符合國(guó)網(wǎng)業(yè)務(wù)特點(diǎn)的分布式、內(nèi)存計(jì)算技術(shù)及產(chǎn)品，即分布式內(nèi)存電網(wǎng)。因此，通過該方法構(gòu)建的分布式內(nèi)存電網(wǎng)系統(tǒng)能夠全面支撐電力業(yè)務(wù)信息系統(tǒng)對(duì)電網(wǎng)資源數(shù)據(jù)的處理，