本發(fā)明屬于云計算技術(shù)領(lǐng)域，具體涉及一種基于混合存儲的saas網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)管理框架。

背景技術(shù)：

基于saas模式的網(wǎng)絡(luò)管理系統(tǒng)為中小企業(yè)提供網(wǎng)絡(luò)運維服務(wù)，對于提高網(wǎng)絡(luò)服務(wù)質(zhì)量，降低信息部門的成本具有重要的實際意義。然而，當(dāng)前saas模式的網(wǎng)絡(luò)管理系統(tǒng)的研究還不夠成熟，并且隨著租戶數(shù)量的增多，運維數(shù)據(jù)規(guī)模將達(dá)到海量級別，現(xiàn)有的基于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)層解決方案的存儲容量、可定制性和性能方面已經(jīng)不能滿足多租戶的要求，因此迫切需要一種更好的方案來實現(xiàn)saas多租戶網(wǎng)管系統(tǒng)的數(shù)據(jù)層。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種基于混合存儲的saas網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)管理框架，解決了現(xiàn)有saas多租戶網(wǎng)管系統(tǒng)數(shù)據(jù)存儲容量有限，無法滿足租戶要求的問題。

本發(fā)明所采用的技術(shù)方案是，基于混合存儲的saas網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)管理框架，包括有四個層次，分別如下：

租戶和采集層；

saas網(wǎng)管系統(tǒng)應(yīng)用中心層；

數(shù)據(jù)訪問接口層；

數(shù)據(jù)庫層。

本發(fā)明的特點還在于：

租戶和采集層：包括有租戶端的網(wǎng)管用戶和代理程序；租戶使用瀏覽器訪問網(wǎng)管系統(tǒng)；代理程序安裝在租賃單位的某臺工作站上，負(fù)責(zé)實時采集所需的網(wǎng)絡(luò)數(shù)據(jù)，并送至應(yīng)用中心。

采集器采用java進(jìn)行開發(fā)實現(xiàn)。

saas網(wǎng)管系統(tǒng)應(yīng)用中心層：通過負(fù)載均衡處理，將來自于租戶的請求路由到應(yīng)用服務(wù)器集群中負(fù)載較低的服務(wù)器上進(jìn)行業(yè)務(wù)處理。

數(shù)據(jù)訪問接口層：為上層應(yīng)用訪問數(shù)據(jù)庫提供接口，包括有數(shù)據(jù)放置選擇組件、數(shù)據(jù)訪問控制組件、數(shù)據(jù)模式映射組件和數(shù)據(jù)彈性組件。

數(shù)據(jù)彈性組件通過評估當(dāng)前所有數(shù)據(jù)庫實例的負(fù)載，并考慮數(shù)據(jù)保留策略，添加或移除額外的數(shù)據(jù)庫實例和重新布局租戶數(shù)據(jù)；所述數(shù)據(jù)彈性組件根據(jù)當(dāng)前數(shù)據(jù)布局信息和負(fù)載監(jiān)控信息，判斷是否超出預(yù)設(shè)的閾值范圍，從而生成數(shù)據(jù)布局調(diào)整策略，應(yīng)用于數(shù)據(jù)庫節(jié)點。

數(shù)據(jù)庫層：為系統(tǒng)提供數(shù)據(jù)的持久化存儲，由mysql和mongodb兩種數(shù)據(jù)庫組成；

將多租戶信息和被管網(wǎng)元的元數(shù)據(jù)存儲在關(guān)系型的mysql數(shù)據(jù)庫中，將大量的設(shè)備性能數(shù)據(jù)存儲在非關(guān)系型的mongodb數(shù)據(jù)庫中，以實現(xiàn)被管網(wǎng)元元數(shù)據(jù)和歷史性能數(shù)據(jù)的分離。

本發(fā)明的有益效果在于：

(1)本發(fā)明基于混合存儲的saas網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)管理框架，針對saas模式下網(wǎng)絡(luò)管理系統(tǒng)的數(shù)據(jù)存儲問題，采用mysql+mongodb的混合存儲架構(gòu)，能有效解決海量運維數(shù)據(jù)的存儲問題、可定制性問題和性能問題；

(2)本發(fā)明基于混合存儲的saas網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)管理框架實際提供了一個靈活的、可伸縮的存儲架構(gòu)，能有效避免傳統(tǒng)方式使用關(guān)系型數(shù)據(jù)庫處理海量數(shù)據(jù)時，出現(xiàn)無法大規(guī)模彈性擴(kuò)展、高并發(fā)讀寫效率低下以及不善于處理租戶定制化數(shù)據(jù)等問題。

附圖說明

圖1是本發(fā)明基于混合存儲的saas網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)管理框架的結(jié)構(gòu)示意圖；

圖2是本發(fā)明基于混合存儲的saas網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)管理框架中數(shù)據(jù)訪問接口層內(nèi)彈性組件的結(jié)構(gòu)示意圖；

圖3是本發(fā)明基于混合存儲的saas網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)管理框架中海量運維數(shù)據(jù)的存儲架構(gòu)結(jié)構(gòu)示意圖。

具體實施方式

下面結(jié)合附圖和具體實施方式對本發(fā)明進(jìn)行詳細(xì)說明。

本發(fā)明基于混合存儲的saas網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)管理框架，如圖1所示，包括有四個層次，分別如下：

租戶和采集層：包括有租戶端的網(wǎng)管用戶和代理程序；租戶使用瀏覽器訪問網(wǎng)管系統(tǒng)；代理程序安裝在租賃單位的某臺工作站上(將采集器安裝于租賃單位的某臺工作站上)，負(fù)責(zé)實時采集所需的網(wǎng)絡(luò)數(shù)據(jù)，并送至應(yīng)用中心；其中的采集器采用java進(jìn)行開發(fā)實現(xiàn)。

saas網(wǎng)管系統(tǒng)應(yīng)用中心層：通過負(fù)載均衡處理，將來自于租戶的請求路由到應(yīng)用服務(wù)器集群中負(fù)載較低的服務(wù)器上進(jìn)行業(yè)務(wù)處理，是整個框架的核心與主體，這里基于webservice組件的方式來進(jìn)行開發(fā)實現(xiàn)。

數(shù)據(jù)訪問接口層：為上層應(yīng)用訪問數(shù)據(jù)庫提供接口，包括有數(shù)據(jù)放置選擇組件、數(shù)據(jù)訪問控制組件、數(shù)據(jù)模式映射組件和數(shù)據(jù)彈性組件；

其中，數(shù)據(jù)放置選擇組件、數(shù)據(jù)訪問控制組件和數(shù)據(jù)模式映射組件可采用已有的研究成果實現(xiàn)，其重點設(shè)計在于數(shù)據(jù)彈性組件；

數(shù)據(jù)彈性組件，如圖2所示，其主要功能是：按需分配數(shù)據(jù)庫實例數(shù)量(水平擴(kuò)展)，從而獲取存儲資源的高可伸縮性；通過評估當(dāng)前所有數(shù)據(jù)庫實例的負(fù)載，并考慮數(shù)據(jù)保留策略等約束，添加或移除額外的數(shù)據(jù)庫實例和重新布局租戶數(shù)據(jù)；數(shù)據(jù)彈性組件根據(jù)當(dāng)前數(shù)據(jù)布局信息和負(fù)載監(jiān)控信息，判斷是否超出預(yù)設(shè)的閾值范圍，從而生成數(shù)據(jù)布局調(diào)整策略，應(yīng)用于數(shù)據(jù)庫節(jié)點；數(shù)據(jù)彈性組件應(yīng)該作為一個獨立運行的進(jìn)程實現(xiàn)，不影響主應(yīng)用的性能。

數(shù)據(jù)庫層：為系統(tǒng)提供數(shù)據(jù)的持久化存儲，由mysql和mongodb兩種數(shù)據(jù)庫組成。

本發(fā)明基于混合存儲的saas網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)管理框架中各層的具體介紹：

(1)租戶和采集層的采集器在采集數(shù)據(jù)時，主要通過snmp(簡單網(wǎng)絡(luò)管理協(xié)議)的操作原語，采用輪詢方式采集被管網(wǎng)絡(luò)設(shè)備上的各種mib數(shù)據(jù)；另外，代理程序也通過自陷方式接收網(wǎng)絡(luò)設(shè)備的故障報警；在對網(wǎng)絡(luò)進(jìn)行控制時，代理程序也可執(zhí)行寫操作；代理程序由java開發(fā)環(huán)境結(jié)合相應(yīng)snmp組件來進(jìn)行開發(fā)。

(2)saas網(wǎng)管系統(tǒng)應(yīng)用中心層為每一個租賃單位分配唯一的單位id、唯一的單位管理員賬號和單位所擁有的saas網(wǎng)管系統(tǒng)功能權(quán)限；然后，單位管理員就能為本單位的用戶創(chuàng)建賬戶，并分配權(quán)限；每個租賃單位的基本信息通過元數(shù)據(jù)服務(wù)模塊存儲在租賃單位元數(shù)據(jù)表群，每個用戶的賬戶信息通過目錄服務(wù)模塊存儲在用戶賬戶表群；單位管理員通過web服務(wù)器的定制服務(wù)模塊配置軟件元數(shù)據(jù)信息，實現(xiàn)本單位網(wǎng)管系統(tǒng)的網(wǎng)頁外觀、圖表形式、數(shù)據(jù)結(jié)構(gòu)和安全策略的個性化定制；元數(shù)據(jù)配置信息通過元數(shù)據(jù)服務(wù)模塊存儲在租賃單位元數(shù)據(jù)表群中；當(dāng)用戶通過internet訪問saas網(wǎng)管系統(tǒng)時，用戶都會被標(biāo)記上他們所屬單位的id，元數(shù)據(jù)服務(wù)模塊與目錄服務(wù)模塊會根據(jù)單位id和使用人賬號對訪問者進(jìn)行認(rèn)證與授權(quán)，結(jié)合租賃單位元數(shù)據(jù)配置信息，調(diào)用被授權(quán)的系統(tǒng)功能；所有網(wǎng)絡(luò)數(shù)據(jù)存儲在網(wǎng)絡(luò)管理數(shù)據(jù)表群。

(3)數(shù)據(jù)訪問接口層中各組件的功能分別如下：

數(shù)據(jù)放置選擇組件的主要功能是：選擇合適的數(shù)據(jù)庫實例存放租戶數(shù)據(jù)并能高效檢索租戶數(shù)據(jù)；

數(shù)據(jù)訪問控制組件的主要功能是：驗證當(dāng)前用戶是否有權(quán)限讀取或者修改所要訪問的數(shù)據(jù)；

數(shù)據(jù)模式映射組件的主要功能是：將隔離的單租戶邏輯數(shù)據(jù)存儲形式映射到共享的多租戶物理存儲結(jié)構(gòu)中；

數(shù)據(jù)彈性組件的主要功能是：基于當(dāng)前數(shù)據(jù)庫的負(fù)載情況并考慮數(shù)據(jù)保留策略等約束，添加或者移除數(shù)據(jù)庫實例和重新布局租戶數(shù)據(jù)，實現(xiàn)存儲資源的高可伸縮性。

(4)數(shù)據(jù)庫層中的mysql數(shù)據(jù)庫主要存儲數(shù)據(jù)量不大、涉及多表聯(lián)合查詢和對事務(wù)有要求的數(shù)據(jù)，包括有系統(tǒng)管理數(shù)據(jù)(用戶管理、租戶管理、角色和權(quán)限管理、租戶訂單管理等)和網(wǎng)管部分業(yè)務(wù)(資源管理、性能管理中的任務(wù)管理)數(shù)據(jù)；另外，還包含一個共享的數(shù)據(jù)庫實例，這個實例存儲所有租戶的配置信息，如：租戶指定的配置參數(shù)、計費信息和數(shù)據(jù)保留策略等，和每個租戶的當(dāng)前數(shù)據(jù)分配映射信息；mongodb數(shù)據(jù)庫用來存儲數(shù)據(jù)量大、結(jié)構(gòu)簡單的數(shù)據(jù)，包括有性能數(shù)據(jù)(端口流量數(shù)據(jù)和cpu內(nèi)存使用率數(shù)據(jù)等)以及告警數(shù)據(jù)，實現(xiàn)被管網(wǎng)元元數(shù)據(jù)和歷史性能數(shù)據(jù)的分離。

本發(fā)明基于混合存儲的saas網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)管理框架中海量運維數(shù)據(jù)的存儲架構(gòu)，如圖3所示，將多租戶信息和被管網(wǎng)元的元數(shù)據(jù)等存儲在關(guān)系型的mysql數(shù)據(jù)庫中，將大量的設(shè)備性能數(shù)據(jù)存儲在非關(guān)系型的mongodb數(shù)據(jù)庫中，實現(xiàn)了被管網(wǎng)元元數(shù)據(jù)和歷史性能數(shù)據(jù)的分離。由于租戶在地理位置上并非集中在一片區(qū)域，因此針對大數(shù)據(jù)量的性能數(shù)據(jù)采用分層的策略，將同一個地區(qū)的租戶性能數(shù)據(jù)存儲在本地區(qū)的數(shù)據(jù)庫中，最后通過數(shù)據(jù)訂閱的形式由數(shù)據(jù)存儲服務(wù)存儲到saas網(wǎng)管系統(tǒng)的mongodb集群中。在mongodb集群中采用副本集和分片技術(shù)，設(shè)計合理的shardingkey，能實現(xiàn)整個mongodb集群的均勻分布存儲和負(fù)載均衡。

數(shù)據(jù)存儲服務(wù)，包含數(shù)據(jù)緩沖區(qū)、高速并發(fā)寫入和監(jiān)控器三個組件。數(shù)據(jù)緩沖區(qū)緩存發(fā)送過來的數(shù)據(jù)，當(dāng)緩沖區(qū)內(nèi)的數(shù)據(jù)量達(dá)到一定的閾值時，批量寫入mongodb集群中。采用數(shù)據(jù)批量寫入將大大提高mongodb集群的寫入性能。mongodb支持高速并發(fā)寫入，在高速并發(fā)寫入組件中采用線程池技術(shù)多線程并發(fā)寫入數(shù)據(jù)，提高存儲系統(tǒng)的寫入性能。監(jiān)控器主要用來對數(shù)據(jù)的寫入速度和緩沖區(qū)中的數(shù)據(jù)總量進(jìn)行實時監(jiān)控，當(dāng)出現(xiàn)寫入異常時，監(jiān)控器通知寫入主線程進(jìn)行休眠，減少或暫停數(shù)據(jù)寫入。

本發(fā)明基于混合存儲的saas網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)管理框架，針對saas模式下網(wǎng)絡(luò)管理系統(tǒng)的數(shù)據(jù)存儲問題，采用mysql+mongodb的混合存儲架構(gòu)，有效解決了海量運維數(shù)據(jù)的存儲問題、可定制性問題和性能問題。