專(zhuān)利名稱(chēng)：一種基于準(zhǔn)實(shí)時(shí)平臺(tái)的數(shù)據(jù)集群管理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種實(shí)時(shí)數(shù)據(jù)處理方法，具體來(lái)說(shuō)涉及一種基于準(zhǔn)實(shí)時(shí)平臺(tái)的數(shù)據(jù)集群管理系統(tǒng)。
背景技術(shù)：
隨著電力信息化的不斷發(fā)展，智能電網(wǎng)試點(diǎn)建設(shè)逐步開(kāi)展，產(chǎn)生了大量的與公司生產(chǎn)運(yùn)行密切相關(guān)的實(shí)時(shí)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)，繼而沉淀成海量的歷史數(shù)據(jù)，連同調(diào)度生產(chǎn)大區(qū)電網(wǎng)運(yùn)行方式、關(guān)口電量、保護(hù)、雷電等實(shí)時(shí)數(shù)據(jù)一起形成了海量的數(shù)據(jù)，這些數(shù)據(jù)都是公司的寶貴財(cái)富，是實(shí)現(xiàn)精益化管理的基礎(chǔ)。同時(shí)，隨著智能電網(wǎng)進(jìn)一步發(fā)展，新型業(yè)務(wù)應(yīng)用的不斷深化，各級(jí)單位及各業(yè)務(wù)部門(mén)對(duì)海量準(zhǔn)實(shí)時(shí)數(shù)據(jù)的集中存儲(chǔ)與訪問(wèn)提出了更高的要求，因此，在這樣的背景下，電網(wǎng)企業(yè)提出了企業(yè)級(jí)海量準(zhǔn)實(shí)時(shí)平臺(tái)建設(shè)。目前在電力行業(yè)廣泛應(yīng)用于企業(yè)數(shù)據(jù)存儲(chǔ)與管理的數(shù)據(jù)庫(kù)主要有實(shí)時(shí)數(shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)。其中實(shí)時(shí)數(shù)據(jù)庫(kù)典型代表有=OSIsoft公司的PI、InSt印公司的eDNA、 Honeywell公司的PHD等，國(guó)產(chǎn)數(shù)據(jù)庫(kù)代表有江蘇瑞中HiSoon、中科院Agilor、華北電力大學(xué)Vestore等。關(guān)系數(shù)據(jù)庫(kù)典型代表有0racle、DB2、SQL Server等。實(shí)時(shí)數(shù)據(jù)庫(kù)是一種專(zhuān)門(mén)用于處理海量實(shí)時(shí)信息、基于測(cè)點(diǎn)模型的數(shù)據(jù)庫(kù)，廣泛應(yīng)用于電力、石化、冶金等工業(yè)自動(dòng)化領(lǐng)域，針對(duì)實(shí)時(shí)采集的具有時(shí)序特征的海量生產(chǎn)數(shù)據(jù)具有極高的事務(wù)處理能力、數(shù)據(jù)壓縮比和查詢(xún)檢索速度。實(shí)時(shí)數(shù)據(jù)庫(kù)邏輯上包含實(shí)時(shí)數(shù)據(jù)庫(kù)、 歷史數(shù)據(jù)庫(kù)和測(cè)點(diǎn)數(shù)據(jù)庫(kù)三部分。實(shí)時(shí)數(shù)據(jù)庫(kù)維護(hù)實(shí)時(shí)數(shù)據(jù)，實(shí)時(shí)數(shù)據(jù)為每個(gè)測(cè)點(diǎn)時(shí)間戳最大的量測(cè)值(也就是當(dāng)前值)；歷史數(shù)據(jù)庫(kù)維護(hù)歷史數(shù)據(jù)，歷史數(shù)據(jù)由實(shí)時(shí)數(shù)據(jù)不斷歸檔沉淀后產(chǎn)生，實(shí)時(shí)數(shù)據(jù)庫(kù)中往往采用壓縮的方式存儲(chǔ)歷史數(shù)據(jù)；測(cè)點(diǎn)數(shù)據(jù)庫(kù)則維護(hù)所有測(cè)點(diǎn)的各種屬性信息。關(guān)系數(shù)據(jù)庫(kù)是以關(guān)系模型組織數(shù)據(jù)并以集合論和關(guān)系代數(shù)為理論基礎(chǔ)處理數(shù)據(jù)， 數(shù)據(jù)的存儲(chǔ)載體為多個(gè)有關(guān)聯(lián)關(guān)系的二維表。關(guān)系數(shù)據(jù)庫(kù)的主要功能是查詢(xún)處理、存儲(chǔ)管理和事務(wù)處理，事務(wù)處理要求保證事務(wù)的原子性、一致性、隔離性和持久性。關(guān)系數(shù)據(jù)庫(kù)主要應(yīng)用于管理信息領(lǐng)域。目前，在面對(duì)海量準(zhǔn)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)時(shí)，不論采用實(shí)時(shí)數(shù)據(jù)庫(kù)還是關(guān)系數(shù)據(jù)庫(kù)，均不能夠完全滿(mǎn)足，具體表現(xiàn)在以下兩個(gè)方面·單套實(shí)時(shí)數(shù)據(jù)庫(kù)測(cè)點(diǎn)容量有限隨著智能電網(wǎng)建設(shè)的不斷推進(jìn)，各級(jí)單位準(zhǔn)時(shí)數(shù)據(jù)的集中與共享后，需要存儲(chǔ)的數(shù)據(jù)規(guī)模將接近數(shù)百萬(wàn)或千萬(wàn)級(jí)，而當(dāng)前國(guó)內(nèi)、外主流數(shù)據(jù)庫(kù)如PI/eDNA/PHD以及國(guó)產(chǎn) HighSoon/Agilor等實(shí)時(shí)數(shù)據(jù)庫(kù)單庫(kù)數(shù)據(jù)測(cè)點(diǎn)規(guī)模至多達(dá)到百萬(wàn)級(jí)，數(shù)據(jù)測(cè)點(diǎn)容量的限制難以滿(mǎn)足電網(wǎng)企業(yè)當(dāng)前及未來(lái)幾年業(yè)務(wù)發(fā)展的對(duì)海量準(zhǔn)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)的需要?！りP(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)實(shí)時(shí)數(shù)據(jù)庫(kù)性能瓶頸關(guān)系數(shù)據(jù)庫(kù)雖然對(duì)測(cè)點(diǎn)規(guī)模沒(méi)有限制，但對(duì)實(shí)時(shí)數(shù)據(jù)的寫(xiě)入、訪問(wèn)和歸檔速度較慢，特別是寫(xiě)入速度將是一個(gè)很大的瓶頸，同時(shí)，關(guān)系庫(kù)不支持直接對(duì)歷史數(shù)據(jù)壓縮，不適宜對(duì)有海量歷史數(shù)據(jù)存儲(chǔ)與頻繁訪問(wèn)需求的數(shù)據(jù)進(jìn)行存儲(chǔ)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于準(zhǔn)實(shí)時(shí)平臺(tái)的數(shù)據(jù)集群管理系統(tǒng)，本方法將多個(gè)實(shí)時(shí)數(shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)組成集群數(shù)據(jù)庫(kù)，對(duì)外提供統(tǒng)一的訪問(wèn)接口，實(shí)現(xiàn)測(cè)點(diǎn)位置對(duì)訪問(wèn)接口透明，對(duì)外提供統(tǒng)一透明的數(shù)據(jù)訪問(wèn)服務(wù)，滿(mǎn)足準(zhǔn)實(shí)時(shí)平臺(tái)海量數(shù)據(jù)的集中存儲(chǔ)與共享。本發(fā)明的目的可通過(guò)以下的技術(shù)措施來(lái)實(shí)現(xiàn)一種基于準(zhǔn)實(shí)時(shí)平臺(tái)的數(shù)據(jù)集群管理系統(tǒng)，包括存儲(chǔ)載體層和集群數(shù)據(jù)訪問(wèn)中間件；所述存儲(chǔ)載體層是由若干子節(jié)點(diǎn)組成的集群數(shù)據(jù)庫(kù)，所述的每個(gè)子節(jié)點(diǎn)為一個(gè)物理數(shù)據(jù)庫(kù)服務(wù)器，所述集群數(shù)據(jù)庫(kù)訪問(wèn)中間件包括集群管理模塊、通訊管理模塊、執(zhí)行引擎模塊和連接管理模塊；所述集群管理模塊，包括節(jié)點(diǎn)數(shù)據(jù)庫(kù)管理子模塊、數(shù)據(jù)庫(kù)服務(wù)運(yùn)行狀態(tài)管理子模塊和全局日志管理子模塊；所述節(jié)點(diǎn)數(shù)據(jù)庫(kù)管理子模塊，維護(hù)管理子節(jié)點(diǎn)的注冊(cè)、注銷(xiāo)、配置信息；所述數(shù)據(jù)庫(kù)服務(wù)運(yùn)行狀態(tài)管理子模塊，對(duì)子節(jié)點(diǎn)服務(wù)的啟動(dòng)、停止?fàn)顟B(tài)進(jìn)行維護(hù)， 并瀏覽查詢(xún)子節(jié)點(diǎn)的狀態(tài)；所述全局日志管理子模塊，通過(guò)查找各個(gè)子節(jié)點(diǎn)的運(yùn)行日志、分析日志并及時(shí)排除子節(jié)點(diǎn)的故障，保證子節(jié)點(diǎn)上數(shù)據(jù)庫(kù)實(shí)例的穩(wěn)定運(yùn)行；所述通訊管理模塊，通過(guò)標(biāo)準(zhǔn)的訪問(wèn)接口接受客戶(hù)端應(yīng)用程序發(fā)送的訪問(wèn)請(qǐng)求， 經(jīng)身份驗(yàn)證通過(guò)后即可成功建立連接，連接請(qǐng)求代理為每個(gè)連接創(chuàng)建一個(gè)服務(wù)線程，在連接生命期內(nèi)提供數(shù)據(jù)訪問(wèn)服務(wù)；所述執(zhí)行引擎模塊，包括集群數(shù)據(jù)的查詢(xún)操作處理子模塊和任務(wù)調(diào)度處理子模塊；其中，所述查詢(xún)操作處理子模塊將客戶(hù)端對(duì)集群數(shù)據(jù)庫(kù)的查詢(xún)語(yǔ)句進(jìn)行分析和處理，根據(jù)全局測(cè)點(diǎn)數(shù)據(jù)分布信息將全局?jǐn)?shù)據(jù)的訪問(wèn)解析為對(duì)各子節(jié)點(diǎn)上的數(shù)據(jù)庫(kù)實(shí)例讀寫(xiě)操作；所述任務(wù)調(diào)度處理子模塊負(fù)責(zé)各子節(jié)點(diǎn)上的數(shù)據(jù)庫(kù)實(shí)例操作指令信息發(fā)布，管理各子節(jié)點(diǎn)上數(shù)據(jù)庫(kù)實(shí)例實(shí)時(shí)任務(wù)調(diào)度，協(xié)調(diào)多個(gè)子節(jié)點(diǎn)之間任務(wù)的執(zhí)行，保證實(shí)時(shí)任務(wù)在時(shí)間截止期內(nèi)完成；所述連接管理模塊實(shí)現(xiàn)各子節(jié)點(diǎn)上數(shù)據(jù)庫(kù)實(shí)例的一個(gè)連接池以及一套連接使用、分配、治理策略。使得該連接池中的連接可以得到高效、安全的復(fù)用，避免各節(jié)點(diǎn)上數(shù)據(jù)庫(kù)連接的頻繁建立、關(guān)閉的開(kāi)銷(xiāo)。所述連接池為每個(gè)實(shí)時(shí)數(shù)據(jù)庫(kù)以及關(guān)系數(shù)據(jù)庫(kù)維護(hù)了若干個(gè)連接以滿(mǎn)足集群數(shù)據(jù)庫(kù)并發(fā)數(shù)據(jù)訪問(wèn)需求。所述并發(fā)數(shù)據(jù)訪問(wèn)過(guò)程為業(yè)務(wù)應(yīng)用訪問(wèn)連接請(qǐng)求代理進(jìn)程，通過(guò)身份驗(yàn)證后成功建立與集群數(shù)據(jù)庫(kù)的連接；連接請(qǐng)求代理進(jìn)程為每個(gè)連接創(chuàng)建一個(gè)服務(wù)線程，服務(wù)線程在連接請(qǐng)求代理進(jìn)程生命期內(nèi)提供數(shù)據(jù)訪問(wèn)服務(wù)；業(yè)務(wù)應(yīng)用提交測(cè)點(diǎn)數(shù)據(jù)訪問(wèn)請(qǐng)求給服務(wù)線程后，服務(wù)線程首先通過(guò)測(cè)點(diǎn)位置解析服務(wù)獲取所訪問(wèn)的測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)于哪個(gè)數(shù)據(jù)庫(kù)中，然后從連接池獲取數(shù)據(jù)庫(kù)的連接并把測(cè)點(diǎn)數(shù)據(jù)訪問(wèn)請(qǐng)求通過(guò)連接發(fā)送給相應(yīng)的數(shù)據(jù)庫(kù)，最后將訪問(wèn)結(jié)果返回給業(yè)務(wù)應(yīng)用。所述子節(jié)點(diǎn)上運(yùn)行的數(shù)據(jù)庫(kù)實(shí)例為實(shí)時(shí)數(shù)據(jù)庫(kù)或關(guān)系數(shù)據(jù)庫(kù)；每個(gè)所述的子節(jié)點(diǎn)中包括多個(gè)實(shí)時(shí)數(shù)據(jù)庫(kù)和一個(gè)關(guān)系數(shù)據(jù)庫(kù)。所述節(jié)點(diǎn)數(shù)據(jù)庫(kù)管理子模塊管理的配置信息包括各節(jié)數(shù)據(jù)庫(kù)IP地址、端口號(hào)的維護(hù)管理及瀏覽查詢(xún)。所述集群數(shù)據(jù)庫(kù)中的數(shù)據(jù)采用數(shù)據(jù)劃分(Sharding)方式存儲(chǔ)數(shù)據(jù)，所述數(shù)據(jù)劃分方式是將數(shù)據(jù)切割成多個(gè)數(shù)據(jù)集，分散到多個(gè)子節(jié)點(diǎn)中；所述數(shù)據(jù)集包括實(shí)時(shí)數(shù)據(jù)集(Real time Collection)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)集(Qua Real time Collection)和事件數(shù)據(jù)集 (Event Collection)。本發(fā)明對(duì)比現(xiàn)有技術(shù)，有如下優(yōu)點(diǎn)本發(fā)明通過(guò)將分布于不同節(jié)點(diǎn)服務(wù)器上的數(shù)據(jù)庫(kù)測(cè)點(diǎn)以及數(shù)據(jù)庫(kù)的管理維護(hù)進(jìn)行封裝，通過(guò)全局測(cè)點(diǎn)位置信息建立與各節(jié)點(diǎn)上數(shù)據(jù)庫(kù)測(cè)點(diǎn)的映射，對(duì)外提供統(tǒng)一透明的數(shù)據(jù)訪問(wèn)服務(wù)，滿(mǎn)足準(zhǔn)實(shí)時(shí)平臺(tái)海量數(shù)據(jù)的集中存儲(chǔ)與共享。


圖I是本發(fā)明的數(shù)據(jù)集群管理系統(tǒng)的結(jié)構(gòu)圖；圖2是本發(fā)明的數(shù)據(jù)集群管理系統(tǒng)的模塊組成結(jié)構(gòu)示意圖；圖3是本發(fā)明的數(shù)據(jù)集群管理系統(tǒng)進(jìn)行數(shù)據(jù)存儲(chǔ)的流程圖。
具體實(shí)施例方式本發(fā)明方法首先將多個(gè)實(shí)時(shí)數(shù)據(jù)庫(kù)，甚至關(guān)系數(shù)據(jù)庫(kù)進(jìn)行聯(lián)合部署，組成一個(gè)邏輯的數(shù)據(jù)庫(kù)——集群數(shù)據(jù)庫(kù)，如圖I所示。將分布于不同節(jié)點(diǎn)服務(wù)器上的數(shù)據(jù)庫(kù)測(cè)點(diǎn)以及數(shù)據(jù)庫(kù)的管理維護(hù)進(jìn)行封裝，通過(guò)全局測(cè)點(diǎn)元數(shù)據(jù)建立與各節(jié)點(diǎn)上數(shù)據(jù)庫(kù)測(cè)點(diǎn)的映射，對(duì)外提供統(tǒng)一透明的數(shù)據(jù)訪問(wèn)服務(wù)， 滿(mǎn)足準(zhǔn)實(shí)時(shí)平臺(tái)海量數(shù)據(jù)的集中存儲(chǔ)與共享。如圖2所示，本方法的基于準(zhǔn)實(shí)時(shí)平臺(tái)的數(shù)據(jù)集群管理系統(tǒng)包括存儲(chǔ)載體層和集群數(shù)據(jù)訪問(wèn)中間件；存儲(chǔ)載體層是由若干數(shù)據(jù)庫(kù)服務(wù)器組成的集群數(shù)據(jù)庫(kù)，每個(gè)數(shù)據(jù)庫(kù)服務(wù)器作為一個(gè)子節(jié)點(diǎn)，集群數(shù)據(jù)庫(kù)訪問(wèn)中間件包括集群管理模塊、通訊管理模塊、執(zhí)行引擎模塊和連接管理模塊；數(shù)據(jù)庫(kù)服務(wù)器上運(yùn)行的數(shù)據(jù)庫(kù)實(shí)例為實(shí)時(shí)數(shù)據(jù)庫(kù)或關(guān)系數(shù)據(jù)庫(kù)。整個(gè)中間件對(duì)底層的物理數(shù)據(jù)庫(kù)進(jìn)行了封裝，所以在中間件中維護(hù)了有全局測(cè)點(diǎn)數(shù)據(jù)分布信息。如圖3所示，客戶(hù)端訪問(wèn)集群數(shù)據(jù)庫(kù)，首先需要訪問(wèn)集群數(shù)據(jù)訪問(wèn)中間件， 經(jīng)身份驗(yàn)證通過(guò)后即可建立與數(shù)據(jù)庫(kù)的連接，中間件維護(hù)并管理客戶(hù)端的訪問(wèn)請(qǐng)求，為客戶(hù)端提供透明高效的數(shù)據(jù)存儲(chǔ)與訪問(wèn)服務(wù)。I)集群管理模塊包括節(jié)點(diǎn)數(shù)據(jù)庫(kù)管理子模塊、數(shù)據(jù)庫(kù)服務(wù)運(yùn)行狀態(tài)管理子模塊和全局日志管理子模塊；節(jié)點(diǎn)數(shù)據(jù)庫(kù)管理子模塊維護(hù)管理子節(jié)點(diǎn)數(shù)據(jù)庫(kù)的注冊(cè)、注銷(xiāo)、配置信息；配置信息包括各節(jié)數(shù)據(jù)庫(kù)IP地址、端口號(hào)的維護(hù)管理及瀏覽查詢(xún)。數(shù)據(jù)庫(kù)服務(wù)運(yùn)行狀態(tài)管理子模塊對(duì)子節(jié)點(diǎn)數(shù)據(jù)庫(kù)服務(wù)的啟動(dòng)、停止?fàn)顟B(tài)進(jìn)行維
6護(hù)，并瀏覽查詢(xún)子節(jié)點(diǎn)數(shù)據(jù)庫(kù)的狀態(tài)；全局日志管理子模塊通過(guò)查找各個(gè)子節(jié)點(diǎn)數(shù)據(jù)庫(kù)的運(yùn)行日志、分析日志并及時(shí)排除子節(jié)點(diǎn)數(shù)據(jù)庫(kù)的故障，保證節(jié)點(diǎn)上數(shù)據(jù)庫(kù)實(shí)例穩(wěn)定運(yùn)行；2)通訊管理模塊，通過(guò)標(biāo)準(zhǔn)的訪問(wèn)接口接受客戶(hù)端應(yīng)用程序發(fā)送的訪問(wèn)請(qǐng)求，經(jīng)身份驗(yàn)證通過(guò)后即可成功建立連接，連接請(qǐng)求代理為每個(gè)連接創(chuàng)建一個(gè)服務(wù)線程，在連接生命期內(nèi)提供數(shù)據(jù)訪問(wèn)服務(wù)；3)執(zhí)行引擎模塊，包括集群數(shù)據(jù)的查詢(xún)操作處理子模塊和任務(wù)調(diào)度處理子模塊；其中，查詢(xún)操作處理子模塊將客戶(hù)端對(duì)集群數(shù)據(jù)庫(kù)的查詢(xún)語(yǔ)句進(jìn)行分析和處理， 根據(jù)全局測(cè)點(diǎn)數(shù)據(jù)分布信息將全局?jǐn)?shù)據(jù)的訪問(wèn)解析為對(duì)各子節(jié)點(diǎn)上的數(shù)據(jù)庫(kù)實(shí)例讀寫(xiě)操作；任務(wù)調(diào)度處理子模塊負(fù)責(zé)各子節(jié)點(diǎn)數(shù)據(jù)庫(kù)上的數(shù)據(jù)庫(kù)實(shí)例操作指令信息發(fā)布， 管理各子節(jié)點(diǎn)數(shù)據(jù)庫(kù)上數(shù)據(jù)庫(kù)實(shí)例實(shí)時(shí)任務(wù)調(diào)度，協(xié)調(diào)多個(gè)節(jié)點(diǎn)之間任務(wù)的執(zhí)行，保證實(shí)時(shí)任務(wù)在時(shí)間截止期內(nèi)完成；4)連接管理模塊實(shí)現(xiàn)各子節(jié)點(diǎn)數(shù)據(jù)庫(kù)上數(shù)據(jù)庫(kù)的一個(gè)連接池以及一套連接使用、分配、治理策略。使得該連接池中的連接可以得到高效、安全的復(fù)用，避免各節(jié)點(diǎn)上數(shù)據(jù)庫(kù)連接的頻繁建立、關(guān)閉的開(kāi)銷(xiāo)。連接池為每個(gè)實(shí)時(shí)數(shù)據(jù)庫(kù)以及關(guān)系數(shù)據(jù)庫(kù)維護(hù)了若干個(gè)連接以滿(mǎn)足集群數(shù)據(jù)庫(kù)并發(fā)數(shù)據(jù)訪問(wèn)需求。連接可以是tcp/ip協(xié)議中的socket連接等。所謂維護(hù)，即預(yù)先建立好“連接”數(shù)組，需要使用時(shí)直接從該數(shù)組中獲取。并發(fā)數(shù)據(jù)訪問(wèn)過(guò)程為業(yè)務(wù)應(yīng)用訪問(wèn)連接請(qǐng)求代理進(jìn)程，通過(guò)身份驗(yàn)證后成功建立與集群數(shù)據(jù)庫(kù)的連接；連接請(qǐng)求代理進(jìn)程為每個(gè)連接創(chuàng)建一個(gè)服務(wù)線程，服務(wù)線程在連接請(qǐng)求代理進(jìn)程生命期內(nèi)提供數(shù)據(jù)訪問(wèn)服務(wù)；業(yè)務(wù)應(yīng)用提交測(cè)點(diǎn)數(shù)據(jù)訪問(wèn)請(qǐng)求給服務(wù)線程后，服務(wù)線程首先通過(guò)測(cè)點(diǎn)位置解析服務(wù)獲取所訪問(wèn)的測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)于哪個(gè)數(shù)據(jù)庫(kù)中，然后從連接池獲取數(shù)據(jù)庫(kù)的連接并把測(cè)點(diǎn)數(shù)據(jù)訪問(wèn)請(qǐng)求通過(guò)連接發(fā)送給相應(yīng)的數(shù)據(jù)庫(kù)，最后將訪問(wèn)結(jié)果返回給業(yè)務(wù)應(yīng)用。所述集群數(shù)據(jù)庫(kù)中的數(shù)據(jù)采用數(shù)據(jù)劃分(Sharding)方式存儲(chǔ)數(shù)據(jù)，所述數(shù)據(jù)劃分方式是將數(shù)據(jù)切割成多個(gè)數(shù)據(jù)集，分散到多個(gè)子節(jié)點(diǎn)中；所述數(shù)據(jù)集包括實(shí)時(shí)數(shù)據(jù)集(Real time Collection)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)集(Qua Real time Collection)和事件數(shù)據(jù)集 (Event Collection)。每個(gè)子節(jié)點(diǎn)上可以根據(jù)服務(wù)器的性能部署多個(gè)數(shù)據(jù)庫(kù)實(shí)例，分別對(duì)海量數(shù)據(jù)進(jìn)行分布式存儲(chǔ)。實(shí)現(xiàn)數(shù)據(jù)合理的分布存儲(chǔ)。數(shù)據(jù)分布對(duì)整個(gè)系統(tǒng)的可用性、可靠性及效率有著重要影響，需要對(duì)海量準(zhǔn)實(shí)時(shí)數(shù)據(jù)按照一定的原則進(jìn)行分類(lèi)并進(jìn)行分布式存儲(chǔ)，達(dá)到數(shù)據(jù)的高效存儲(chǔ)。根據(jù)海量準(zhǔn)實(shí)時(shí)數(shù)據(jù)特征，結(jié)合業(yè)務(wù)應(yīng)用對(duì)數(shù)據(jù)訪問(wèn)的要求，將數(shù)據(jù)按照頻度初步劃分為實(shí)時(shí)數(shù)據(jù)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)和事件數(shù)據(jù)。本發(fā)明的實(shí)施方式不限于此，在本發(fā)明上述基本技術(shù)思想前提下，按照本領(lǐng)域的普通技術(shù)知識(shí)和慣用手段對(duì)本發(fā)明內(nèi)容所做出其它多種形式的修改、替換或變更，均落在本發(fā)明權(quán)利保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種基于準(zhǔn)實(shí)時(shí)平臺(tái)的數(shù)據(jù)集群管理系統(tǒng)，其特征在于包括存儲(chǔ)載體層和集群數(shù)據(jù)訪問(wèn)中間件；所述存儲(chǔ)載體層是由若干子節(jié)點(diǎn)組成的集群數(shù)據(jù)庫(kù)，所述的每個(gè)子節(jié)點(diǎn)為一個(gè)物理數(shù)據(jù)庫(kù)服務(wù)器，所述集群數(shù)據(jù)庫(kù)訪問(wèn)中間件包括集群管理模塊、通訊管理模塊、執(zhí)行引擎模塊和連接管理模塊；所述集群管理模塊，包括節(jié)點(diǎn)數(shù)據(jù)庫(kù)管理子模塊、數(shù)據(jù)庫(kù)服務(wù)運(yùn)行狀態(tài)管理子模塊和全局日志管理子模塊；所述節(jié)點(diǎn)數(shù)據(jù)庫(kù)管理子模塊，維護(hù)管理子節(jié)點(diǎn)的注冊(cè)、注銷(xiāo)、配置信息；所述數(shù)據(jù)庫(kù)服務(wù)運(yùn)行狀態(tài)管理子模塊，對(duì)子節(jié)點(diǎn)服務(wù)的啟動(dòng)、停止?fàn)顟B(tài)進(jìn)行維護(hù)，并瀏覽查詢(xún)子節(jié)點(diǎn)的狀態(tài)；所述全局日志管理子模塊，通過(guò)查找各個(gè)子節(jié)點(diǎn)的運(yùn)行日志、分析日志并及時(shí)排除子節(jié)點(diǎn)的故障，保證子節(jié)點(diǎn)上數(shù)據(jù)庫(kù)實(shí)例的穩(wěn)定運(yùn)行；所述通訊管理模塊，通過(guò)標(biāo)準(zhǔn)的訪問(wèn)接口接受客戶(hù)端應(yīng)用程序發(fā)送的訪問(wèn)請(qǐng)求，經(jīng)身份驗(yàn)證通過(guò)后即可成功建立連接，連接請(qǐng)求代理為每個(gè)連接創(chuàng)建一個(gè)服務(wù)線程，在連接生命期內(nèi)提供數(shù)據(jù)訪問(wèn)服務(wù)；所述執(zhí)行引擎模塊，包括集群數(shù)據(jù)的查詢(xún)操作處理子模塊和任務(wù)調(diào)度處理子模塊；其中，所述查詢(xún)操作處理子模塊將客戶(hù)端對(duì)集群數(shù)據(jù)庫(kù)的查詢(xún)語(yǔ)句進(jìn)行分析和處理， 根據(jù)全局測(cè)點(diǎn)數(shù)據(jù)分布信息將全局?jǐn)?shù)據(jù)的訪問(wèn)解析為對(duì)各子節(jié)點(diǎn)上的數(shù)據(jù)庫(kù)實(shí)例讀寫(xiě)操作；所述任務(wù)調(diào)度處理子模塊負(fù)責(zé)各子節(jié)點(diǎn)上的數(shù)據(jù)庫(kù)實(shí)例操作指令信息發(fā)布，管理各子節(jié)點(diǎn)上數(shù)據(jù)庫(kù)實(shí)例實(shí)時(shí)任務(wù)調(diào)度，協(xié)調(diào)多個(gè)子節(jié)點(diǎn)之間任務(wù)的執(zhí)行，保證實(shí)時(shí)任務(wù)在時(shí)間截止期內(nèi)完成；所述連接管理模塊實(shí)現(xiàn)各子節(jié)點(diǎn)上數(shù)據(jù)庫(kù)實(shí)例的一個(gè)連接池以及一套連接使用、分配、治理策略。
2.根據(jù)權(quán)利要求I所述的基于準(zhǔn)實(shí)時(shí)平臺(tái)的數(shù)據(jù)集群管理系統(tǒng)，其特征在于所述連接池為每個(gè)實(shí)時(shí)數(shù)據(jù)庫(kù)以及關(guān)系數(shù)據(jù)庫(kù)維護(hù)了若干個(gè)連接以滿(mǎn)足集群數(shù)據(jù)庫(kù)并發(fā)數(shù)據(jù)訪問(wèn)需求。
3.根據(jù)權(quán)利要求2所述的基于準(zhǔn)實(shí)時(shí)平臺(tái)的數(shù)據(jù)集群管理系統(tǒng)，其特征在于所述并發(fā)數(shù)據(jù)訪問(wèn)過(guò)程為業(yè)務(wù)應(yīng)用訪問(wèn)連接請(qǐng)求代理進(jìn)程，通過(guò)身份驗(yàn)證后成功建立與集群數(shù)據(jù)庫(kù)的連接；連接請(qǐng)求代理進(jìn)程為每個(gè)連接創(chuàng)建一個(gè)服務(wù)線程，服務(wù)線程在連接請(qǐng)求代理進(jìn)程生命期內(nèi)提供數(shù)據(jù)訪問(wèn)服務(wù)；業(yè)務(wù)應(yīng)用提交測(cè)點(diǎn)數(shù)據(jù)訪問(wèn)請(qǐng)求給服務(wù)線程后，服務(wù)線程首先通過(guò)測(cè)點(diǎn)位置解析服務(wù)獲取所訪問(wèn)的測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)于哪個(gè)數(shù)據(jù)庫(kù)中，然后從連接池獲取數(shù)據(jù)庫(kù)的連接并把測(cè)點(diǎn)數(shù)據(jù)訪問(wèn)請(qǐng)求通過(guò)連接發(fā)送給相應(yīng)的數(shù)據(jù)庫(kù)，最后將訪問(wèn)結(jié)果返回給業(yè)務(wù)應(yīng)用。
4.根據(jù)權(quán)利要求I至3任意一項(xiàng)所述的基于準(zhǔn)實(shí)時(shí)平臺(tái)的數(shù)據(jù)集群管理系統(tǒng)，其特征在于所述子節(jié)點(diǎn)上運(yùn)行的數(shù)據(jù)庫(kù)實(shí)例為實(shí)時(shí)數(shù)據(jù)庫(kù)或關(guān)系數(shù)據(jù)庫(kù)；每個(gè)所述的子節(jié)點(diǎn)中包括多個(gè)實(shí)時(shí)數(shù)據(jù)庫(kù)和一個(gè)關(guān)系數(shù)據(jù)庫(kù)。
5.根據(jù)權(quán)利要求I所述的基于準(zhǔn)實(shí)時(shí)平臺(tái)的數(shù)據(jù)集群管理系統(tǒng)，其特征在于所述節(jié)點(diǎn)數(shù)據(jù)庫(kù)管理子模塊管理的配置信息包括各節(jié)數(shù)據(jù)庫(kù)IP地址、端口號(hào)的維護(hù)管理及瀏覽查詢(xún)。
6.根據(jù)權(quán)利要求4所述的基于準(zhǔn)實(shí)時(shí)平臺(tái)的數(shù)據(jù)集群管理系統(tǒng)，其特征在于所述集群數(shù)據(jù)庫(kù)中的數(shù)據(jù)采用數(shù)據(jù)劃分方式存儲(chǔ)數(shù)據(jù)，所述數(shù)據(jù)劃分方式是將數(shù)據(jù)切割成多個(gè)數(shù)據(jù)集，分散到多個(gè)子節(jié)點(diǎn)中；所述數(shù)據(jù)集包括實(shí)時(shí)數(shù)據(jù)集、準(zhǔn)實(shí)時(shí)數(shù)據(jù)集和事件數(shù)據(jù)集。
全文摘要
本發(fā)明公開(kāi)了一種基于準(zhǔn)實(shí)時(shí)平臺(tái)的數(shù)據(jù)集群管理系統(tǒng)，包括存儲(chǔ)載體層和集群數(shù)據(jù)訪問(wèn)中間件；所述存儲(chǔ)載體層是由若干子節(jié)點(diǎn)組成的集群數(shù)據(jù)庫(kù)，所述的每個(gè)子節(jié)點(diǎn)為一個(gè)物理數(shù)據(jù)庫(kù)服務(wù)器；所述集群數(shù)據(jù)庫(kù)訪問(wèn)中間件包括集群管理模塊、通訊管理模塊、執(zhí)行引擎模塊和連接管理模塊。本方法將多個(gè)實(shí)時(shí)數(shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)組成集群數(shù)據(jù)庫(kù)，對(duì)外提供統(tǒng)一的訪問(wèn)接口，實(shí)現(xiàn)測(cè)點(diǎn)位置對(duì)訪問(wèn)接口透明，對(duì)外提供統(tǒng)一透明的數(shù)據(jù)訪問(wèn)服務(wù)，滿(mǎn)足準(zhǔn)實(shí)時(shí)平臺(tái)海量數(shù)據(jù)的集中存儲(chǔ)與共享。
文檔編號(hào)G06F17/30GK102609463SQ20121001165
公開(kāi)日2012年7月25日 申請(qǐng)日期2012年1月13日 優(yōu)先權(quán)日2012年1月13日
發(fā)明者劉愛(ài)生, 杜旭, 林躍曉, 甘杉, 蕭展輝, 陳炯聰, 陳達(dá)峰, 顏璟儀, 齊志剛 申請(qǐng)人:廣東電網(wǎng)公司電力科學(xué)研究院