两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

一種多集群管理方法與設(shè)備與流程

文檔序號(hào):11843174閱讀:259來(lái)源:國(guó)知局
一種多集群管理方法與設(shè)備與流程

本申請(qǐng)涉及計(jì)算機(jī)領(lǐng)域,尤其涉及一種多集群管理技術(shù)。



背景技術(shù):

在現(xiàn)有技術(shù)中,對(duì)于集群資源的管理,一方面,僅僅局限于對(duì)單個(gè)集群內(nèi)部的資源進(jìn)行相應(yīng)的資源調(diào)度和資源配額,但對(duì)于多集群環(huán)境中業(yè)務(wù)單元之間基于資源依賴進(jìn)行頻繁地資源調(diào)度而帶來(lái)的資源平衡問(wèn)題并沒(méi)有很好解決;另一方面,雖然可以通過(guò)集群協(xié)作的方式進(jìn)行了跨集群數(shù)據(jù)訪問(wèn)對(duì)象的復(fù)制,但是此類方法僅僅在業(yè)務(wù)需要訪問(wèn)數(shù)據(jù)時(shí),才進(jìn)行集群間數(shù)據(jù)選擇和協(xié)作復(fù)制,由于缺乏對(duì)多集群中相關(guān)歷史任務(wù)的數(shù)據(jù)分析和預(yù)測(cè),往往無(wú)法滿足日常生產(chǎn)性任務(wù)在運(yùn)行時(shí)間上的要求,并且此類方法也沒(méi)有解決多集群間資源整體分布和使用對(duì)應(yīng)的資源平衡問(wèn)題。



技術(shù)實(shí)現(xiàn)要素:

本申請(qǐng)的目的是提供一種多集群管理方法與設(shè)備。

根據(jù)本申請(qǐng)的一個(gè)方面,提供了一種多集群管理方法,包括:

獲取多個(gè)集群的歷史運(yùn)行數(shù)據(jù);

基于所述歷史運(yùn)行數(shù)據(jù)確定所述多個(gè)集群的未來(lái)需求信息;

基于所述未來(lái)需求信息確定所述多個(gè)集群的集群配置信息。

根據(jù)本申請(qǐng)的另一方面,還提供了一種多集群管理設(shè)備,包括:

第一裝置,用于獲取多個(gè)集群的歷史運(yùn)行數(shù)據(jù);

第二裝置,用于基于所述歷史運(yùn)行數(shù)據(jù)確定所述多個(gè)集群的未來(lái)需求信息;

第三裝置,用于基于所述未來(lái)需求信息確定所述多個(gè)集群的集群配置信息。

與現(xiàn)有技術(shù)相比,本申請(qǐng)通過(guò)對(duì)獲取的多個(gè)集群的歷史運(yùn)行數(shù)據(jù)進(jìn)行處理和分析獲得多個(gè)集群的未來(lái)需求信息,基于所述未來(lái)需求信息確定多個(gè)集群的集群配置信息?;谒龅募号渲眯畔ⅲ旧暾?qǐng)可以在跨地域的多集群、大規(guī)模的數(shù)據(jù)處理環(huán)境中,實(shí)現(xiàn)多集群資源的合理分布和配置,達(dá)到全局資源的平衡優(yōu)化,還可以在集群間資源條件允許的情況下,最大限度地高效實(shí)現(xiàn)跨集群的數(shù)據(jù)訪問(wèn)。進(jìn)一步,在多集群環(huán)境中,通過(guò)確定所述多個(gè)集群中待調(diào)整業(yè)務(wù)單元,并進(jìn)行相應(yīng)的調(diào)整,使得在滿足單個(gè)集群內(nèi)部的資源配額的同時(shí),降低集群間的數(shù)據(jù)訪問(wèn)量,從而在整體上節(jié)約了集群資源,形成了資源均衡的集群布局。更進(jìn)一步,基于所獲得的多個(gè)集群中的業(yè)務(wù)分布信息,再為跨集群數(shù)據(jù)訪問(wèn)進(jìn)行數(shù)據(jù)復(fù)制配置,從而在集群內(nèi)部和集群間資源條件允許的情況下,可以高效地實(shí)現(xiàn)跨集群數(shù)據(jù)訪問(wèn)。

附圖說(shuō)明

通過(guò)閱讀參照以下附圖所作的對(duì)非限制性實(shí)施例所作的詳細(xì)描述,本申請(qǐng)的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:

圖1示出根據(jù)本申請(qǐng)一個(gè)方面的一種多集群管理設(shè)備的設(shè)備示意圖;

圖2示出根據(jù)本申請(qǐng)一個(gè)優(yōu)選實(shí)施例的多集群管理設(shè)備的設(shè)備示意圖;

圖3示出根據(jù)本申請(qǐng)另一個(gè)優(yōu)選實(shí)施例的多集群管理設(shè)備的設(shè)備示意圖;

圖4示出根據(jù)本申請(qǐng)另一個(gè)方面的一種多集群管理方法的流程圖;

圖5示出根據(jù)本申請(qǐng)一個(gè)優(yōu)選實(shí)施例的一種多集群管理方法的流程圖;

圖6示出根據(jù)本申請(qǐng)另一個(gè)優(yōu)選實(shí)施例的一種多集群管理方法的流程圖。

附圖中相同或相似的附圖標(biāo)記代表相同或相似的部件。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本申請(qǐng)作進(jìn)一步詳細(xì)描述。

在本申請(qǐng)一個(gè)典型的配置中,終端、服務(wù)網(wǎng)絡(luò)的設(shè)備和可信方均包括一個(gè)或多個(gè)處理器(CPU)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。

內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器,隨機(jī)存取存儲(chǔ)器(RAM)和/或非易失性內(nèi)存等形式,如只讀存儲(chǔ)器(ROM)或閃存(flash RAM)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì)的示例。

計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以由任何方法或技術(shù)來(lái)實(shí)現(xiàn)信息存儲(chǔ)。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括,但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)、其他類型的隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲(chǔ)器(CD-ROM)、數(shù)字多功能光盤(DVD)或其他光學(xué)存儲(chǔ)、磁盒式磁帶,磁帶磁盤存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì),可用于存儲(chǔ)可以被計(jì)算設(shè)備訪問(wèn)的信息。按照本文中的界定,計(jì)算機(jī)可讀介質(zhì)不包括非暫存電腦可讀媒體(transitory media),如調(diào)制的數(shù)據(jù)信號(hào)和載波。

圖1示出根據(jù)本申請(qǐng)一個(gè)方面的一種多集群管理設(shè)備的設(shè)備示意圖。所述多集群管理設(shè)備1包括第一裝置11、第二裝置12和第三裝置13。

其中,第一裝置11獲取多個(gè)集群的歷史運(yùn)行數(shù)據(jù);第二裝置12基于所述歷史運(yùn)行數(shù)據(jù)確定所述多個(gè)集群的未來(lái)需求信息;第三裝置13基于所述未來(lái)需求信息確定所述多個(gè)集群的集群配置信息。

具體地,所述第一裝置11獲取多個(gè)集群的歷史運(yùn)行數(shù)據(jù)。一般情況下,一個(gè)相對(duì)獨(dú)立的業(yè)務(wù)對(duì)應(yīng)的數(shù)據(jù)處理可以由一個(gè)業(yè)務(wù)單元獨(dú)立完成;或是進(jìn)一步,一個(gè)完整業(yè)務(wù)的處理需要基于一個(gè)集群中各個(gè)業(yè)務(wù)單元之間的數(shù)據(jù)依賴關(guān)系,通過(guò)集群內(nèi)多個(gè)業(yè)務(wù)單元之間的數(shù)據(jù)共享和數(shù)據(jù)交換來(lái)完成,此時(shí)數(shù)據(jù)處理任務(wù)消耗著集群的數(shù)據(jù)資源,如集群的存儲(chǔ)、計(jì)算等資源;或是更進(jìn)一步,在跨地域的多集群環(huán)境中,進(jìn)行更復(fù)雜的業(yè)務(wù)處理,此時(shí)集群之間的網(wǎng)絡(luò)連通還會(huì)消耗集群間的的網(wǎng)絡(luò)帶寬等資源。在此,所 述歷史運(yùn)行數(shù)據(jù)包括一段時(shí)間內(nèi),在所述多個(gè)集群中完成各種數(shù)據(jù)處理任務(wù)對(duì)應(yīng)的運(yùn)行數(shù)據(jù)。在此,進(jìn)行所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)單位可以包括集群、業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)、數(shù)據(jù)項(xiàng)分區(qū)等不同維度。在本申請(qǐng)中,所述數(shù)據(jù)項(xiàng)包括一個(gè)數(shù)據(jù)的存儲(chǔ)集合,如數(shù)據(jù)庫(kù)中的表;所述數(shù)據(jù)項(xiàng)分區(qū)包括將所述數(shù)據(jù)項(xiàng)按一定的規(guī)則進(jìn)行劃分,目的是為了方便對(duì)數(shù)據(jù)進(jìn)行分片處理,從而降低數(shù)據(jù)處理量;在所述業(yè)務(wù)單元中,各種數(shù)據(jù)按照一定的范式進(jìn)行分層,各個(gè)業(yè)務(wù)單元之間可以基于具體的層級(jí)中的數(shù)據(jù)項(xiàng)展開數(shù)據(jù)訪問(wèn)。與此相應(yīng)的,所述歷史運(yùn)行數(shù)據(jù)包括但不限于:業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)、數(shù)據(jù)項(xiàng)分區(qū)的元數(shù)據(jù);業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)、數(shù)據(jù)項(xiàng)分區(qū)的存儲(chǔ)占用量;數(shù)據(jù)處理任務(wù)的運(yùn)行日志;集群間網(wǎng)絡(luò)帶寬使用量;集群、業(yè)務(wù)單元的存儲(chǔ)、計(jì)算配額數(shù)據(jù);集群間可用帶寬配額數(shù)據(jù),等等。其中,在本申請(qǐng)中,所述元數(shù)據(jù)包括業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)、數(shù)據(jù)項(xiàng)分區(qū)的屬性、特征等基本描述性數(shù)據(jù);所述數(shù)據(jù)處理任務(wù)的運(yùn)行日志主要包含的信息有所述數(shù)據(jù)處理任務(wù)對(duì)應(yīng)的業(yè)務(wù)單元、任務(wù)啟動(dòng)結(jié)束時(shí)間、輸入輸出的數(shù)據(jù)項(xiàng)及相應(yīng)的數(shù)據(jù)項(xiàng)分區(qū)、輸入輸出的數(shù)據(jù)量、占用的計(jì)算單位等,通過(guò)所述運(yùn)行日志可以獲知所述業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)、數(shù)據(jù)項(xiàng)分區(qū)的計(jì)算占用量;所述各類配額數(shù)據(jù),如上述存儲(chǔ)、計(jì)算、帶寬等對(duì)應(yīng)的配額數(shù)據(jù),可能在一段時(shí)間內(nèi)保持不變,也可能基于實(shí)際需要有所變化調(diào)整。對(duì)于所述歷史運(yùn)行數(shù)據(jù),特別是變化頻率較高的數(shù)據(jù)信息,如所述業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)、數(shù)據(jù)項(xiàng)分區(qū)的存儲(chǔ)占用量、所述集群間網(wǎng)絡(luò)帶寬使用量和所述數(shù)據(jù)處理任務(wù)的運(yùn)行日志等可以周期性地進(jìn)行數(shù)據(jù)采樣。

在此,所述多個(gè)集群的歷史運(yùn)行數(shù)據(jù)可以間接的通過(guò)第三方存儲(chǔ)設(shè)備或數(shù)據(jù)庫(kù)進(jìn)行獲取。優(yōu)選地,也可以基于一定的數(shù)據(jù)處理平臺(tái)直接進(jìn)行所述歷史運(yùn)行數(shù)據(jù)的采集。本申請(qǐng)中,所述數(shù)據(jù)處理平臺(tái)包括使用分布式存儲(chǔ)和分布式計(jì)算等技術(shù),提供大規(guī)模數(shù)據(jù)處理的計(jì)算機(jī)系統(tǒng)平臺(tái)。例如,所述數(shù)據(jù)處理平臺(tái)中各個(gè)模塊中包含著運(yùn)行日志采集功能,并由統(tǒng)一的日志管理系統(tǒng)將日志匯總到一起統(tǒng)一存儲(chǔ);又如,數(shù)據(jù)處理平臺(tái)采用定時(shí)快照的方式將所述元數(shù)據(jù)匯總存儲(chǔ)。

接著,所述第二裝置12基于所述歷史運(yùn)行數(shù)據(jù)確定所述多個(gè)集群的 未來(lái)需求信息。

具體地,基于所獲取的已有的歷史運(yùn)行數(shù)據(jù),對(duì)所述多個(gè)集群中各個(gè)集群的內(nèi)部以及集群間的數(shù)據(jù)處理情況進(jìn)行分析,可以確定所述多個(gè)集群中各個(gè)數(shù)據(jù)項(xiàng)、各個(gè)業(yè)務(wù)單元、甚至是各個(gè)集群對(duì)應(yīng)的各類資源的實(shí)際占用情況,基于所得到的實(shí)際資源占用信息,還可以進(jìn)一步確定各個(gè)數(shù)據(jù)項(xiàng)之間、各個(gè)業(yè)務(wù)單元之間、甚至是各個(gè)集群之間的數(shù)據(jù)相互調(diào)用情況和相互依賴關(guān)系?;趯?duì)所述歷史運(yùn)行數(shù)據(jù)進(jìn)行增長(zhǎng)預(yù)測(cè),可以預(yù)測(cè)所述多個(gè)集群在未來(lái)一段時(shí)間的資源需求信息。在此,優(yōu)選地,所述的未來(lái)需求信息就是后續(xù)確定所述多個(gè)集群的集群配置信息,從而對(duì)多集群進(jìn)行優(yōu)化管理的數(shù)據(jù)基礎(chǔ)。

優(yōu)選地,所述多集群管理設(shè)備1的第二裝置12包括第三單元(未示出)和第四單元(未示出)。其中,所述第三單元對(duì)所述歷史運(yùn)行數(shù)據(jù)進(jìn)行數(shù)據(jù)處理;所述第四單元基于所述數(shù)據(jù)處理的結(jié)果,確定所述多個(gè)集群的未來(lái)需求信息。

具體地,通過(guò)所述第三單元對(duì)所述歷史運(yùn)行數(shù)據(jù)進(jìn)行數(shù)據(jù)處理。如,可以對(duì)所述獲取的所述歷史運(yùn)行數(shù)據(jù)進(jìn)行轉(zhuǎn)換、組合、連接等方式的加工處理。在此,以數(shù)據(jù)處理任務(wù)所占用的計(jì)算資源的加工處理為例,若是要計(jì)算多個(gè)集群中各個(gè)集群上計(jì)算資源的占用情況,以t分鐘為采樣周期,通過(guò)統(tǒng)計(jì)在一天中各個(gè)采樣時(shí)刻多個(gè)集群中每個(gè)集群中所有數(shù)據(jù)處理任務(wù)占用的計(jì)算單位總和,得到各個(gè)集群中計(jì)算資源的占用情況。此時(shí),所述轉(zhuǎn)換即包括:將所述一天分成1440/t個(gè)采樣點(diǎn),遍歷所獲取的數(shù)據(jù)處理任務(wù),若是某個(gè)數(shù)據(jù)處理任務(wù)覆蓋了某個(gè)時(shí)刻的采樣點(diǎn),則把該數(shù)據(jù)處理任務(wù)添加到該時(shí)刻的采樣點(diǎn)對(duì)應(yīng)的數(shù)據(jù)處理任務(wù)集合中。所述連接即包括:以所述業(yè)務(wù)單元為條件,所述數(shù)據(jù)處理任務(wù)與哪個(gè)業(yè)務(wù)單元進(jìn)行數(shù)據(jù)連接,則該數(shù)據(jù)處理任務(wù)就運(yùn)行在所述業(yè)務(wù)單元所對(duì)應(yīng)的集群中。所述組合即包括:在各個(gè)采樣時(shí)刻,將運(yùn)行在同一個(gè)集群中的各個(gè)所述數(shù)據(jù)處理任務(wù)占用的計(jì)算單位進(jìn)行累加,即得到各個(gè)采樣時(shí)刻,該集群的計(jì)算資源占用量。

在此,對(duì)于不同類型的歷史運(yùn)行數(shù)據(jù),對(duì)應(yīng)的加工處理方式可以有所 不同,即使是同一類型的歷史運(yùn)行數(shù)據(jù),也可以根據(jù)需要進(jìn)行不同方式的數(shù)據(jù)加工處理。

在此,本領(lǐng)域技術(shù)人員應(yīng)能理解所述轉(zhuǎn)換、組合、連接等方式的加工處理僅為舉例,其他現(xiàn)有的或今后可能出現(xiàn)的其他對(duì)所述歷史運(yùn)行數(shù)據(jù)的加工處理方式如可適用于本發(fā)明,也應(yīng)包含在本發(fā)明保護(hù)范圍以內(nèi),并在此以引用方式包含于此。

接著,所述第四單元基于所述數(shù)據(jù)處理的結(jié)果,確定所述多個(gè)集群的未來(lái)需求信息。在此,所述數(shù)據(jù)處理的結(jié)果包括多個(gè)維度上的資源指標(biāo)數(shù)據(jù),本方案中,所述多個(gè)維度包括數(shù)據(jù)項(xiàng)、業(yè)務(wù)單元、集群或時(shí)間等維度,其中所述時(shí)間維度與所述數(shù)據(jù)項(xiàng)、業(yè)務(wù)單元、集群等維度正交。所述資源指標(biāo)數(shù)據(jù)包括存儲(chǔ)資源占用量、計(jì)算資源占用量、相互間的數(shù)據(jù)依賴量、集群間的復(fù)制數(shù)據(jù)量、集群間直接訪問(wèn)數(shù)據(jù)量等。在此,對(duì)于每個(gè)維度會(huì)分別對(duì)應(yīng)若干個(gè)資源指標(biāo)數(shù)據(jù),其中,各個(gè)維度可能使用相同的資源指標(biāo)數(shù)據(jù),如均統(tǒng)計(jì)所述存儲(chǔ)資源占用量、計(jì)算資源占用量和相互間的數(shù)據(jù)依賴量。此外,各個(gè)維度對(duì)應(yīng)的資源指標(biāo)數(shù)據(jù)類型也可能各不相同,特別是,有些類型的資源指標(biāo)數(shù)據(jù)只能夠在特定維度予以考慮,例如集群間的復(fù)制數(shù)據(jù)量、集群間直接訪問(wèn)數(shù)據(jù)量等。在此,所述數(shù)據(jù)處理的結(jié)果還包括集群資源配額指標(biāo)數(shù)據(jù),例如,集群間數(shù)據(jù)訪問(wèn)權(quán)重,基于集群間可用帶寬配額數(shù)據(jù),為各個(gè)集群之間的數(shù)據(jù)訪問(wèn)設(shè)置權(quán)重,如兩個(gè)集群間可用帶寬越大,對(duì)應(yīng)的數(shù)據(jù)訪問(wèn)權(quán)重越大。此時(shí),基于所述歷史運(yùn)行數(shù)據(jù)中獲取的、例如所述集群、業(yè)務(wù)單元的存儲(chǔ)、計(jì)算配額數(shù)據(jù)、所述集群間可用帶寬配額數(shù)據(jù)等數(shù)據(jù)信息,通過(guò)一定的處理,加工為相應(yīng)的集群資源配額指標(biāo)數(shù)據(jù),進(jìn)而可以體現(xiàn)現(xiàn)有的集群內(nèi)部,以及多個(gè)集群之間各種資源的限制和差異,并為后續(xù)操作提供基礎(chǔ)數(shù)據(jù)。在此,基于所述數(shù)據(jù)處理結(jié)果,進(jìn)一步為所述多個(gè)集群的未來(lái)資源使用情況進(jìn)行預(yù)測(cè)。

在此,本領(lǐng)域技術(shù)人員應(yīng)能理解所述數(shù)多個(gè)維度上的指標(biāo)數(shù)據(jù)和集群資源配額指標(biāo)數(shù)據(jù)僅為舉例,其他現(xiàn)有的或今后可能出現(xiàn)的其他數(shù)據(jù)處理的結(jié)果如可適用于本發(fā)明,也應(yīng)包含在本發(fā)明保護(hù)范圍以內(nèi),并在此以引用方式包含于此。

更優(yōu)選地,所述第四單元通過(guò)所述數(shù)據(jù)處理獲得所述多個(gè)集群對(duì)應(yīng)的資源指標(biāo)數(shù)據(jù);基于所述資源指標(biāo)數(shù)據(jù),通過(guò)指標(biāo)預(yù)測(cè)確定所述多個(gè)集群的未來(lái)需求信息。

具體地,在此,優(yōu)選地,通過(guò)指標(biāo)預(yù)測(cè)確定所述多個(gè)集群的未來(lái)需求信息。通過(guò)對(duì)所述歷史運(yùn)行數(shù)據(jù)的加工處理,可以獲得多個(gè)維度的所述資源指標(biāo)數(shù)據(jù),基于具體的資源指標(biāo)數(shù)據(jù),可以對(duì)未來(lái)一段時(shí)間內(nèi)不同維度上資源需求進(jìn)行預(yù)測(cè),例如,預(yù)測(cè)出某個(gè)集群在未來(lái)一個(gè)月內(nèi)的存儲(chǔ)資源占用量、每日每個(gè)時(shí)間區(qū)間的計(jì)算資源占用量等。具體的指標(biāo)預(yù)測(cè)方法包括:首先,基于所述加工后得到的資源指標(biāo)數(shù)據(jù),并結(jié)合一定的數(shù)據(jù)挖掘方法,建立一定的數(shù)據(jù)計(jì)算模型,在此,所述數(shù)據(jù)發(fā)掘方法包括但不限于線性回歸、基于時(shí)間序列的季節(jié)性回歸預(yù)測(cè)等方法;進(jìn)而,基于所述數(shù)據(jù)計(jì)算模型,結(jié)合相應(yīng)的參數(shù)數(shù)值,得到相應(yīng)的資源指標(biāo)對(duì)應(yīng)的未來(lái)需求信息。在此,以預(yù)測(cè)業(yè)務(wù)單元的未來(lái)的存儲(chǔ)資源占用量為例,基于所述數(shù)據(jù)處理平臺(tái)每天采集到的存儲(chǔ)資源占用信息,經(jīng)過(guò)加工處理,可以得到過(guò)去一段時(shí)間,如T個(gè)月,每天的存儲(chǔ)資源占用量,若以天數(shù)為變量x,以存儲(chǔ)資源占用量為變量y,進(jìn)行線性回歸建模,則得到y(tǒng)=f(x)函數(shù),進(jìn)而基于所述數(shù)據(jù)計(jì)算模型們可以預(yù)測(cè)出N天后的所述業(yè)務(wù)單元的存儲(chǔ)資源占用量。

在此,本領(lǐng)域技術(shù)人員應(yīng)能理解所述基于所述資源指標(biāo)數(shù)據(jù),通過(guò)指標(biāo)預(yù)測(cè)確定所述多個(gè)集群的未來(lái)需求信息僅為舉例,其他現(xiàn)有的或今后可能出現(xiàn)的其他確定所述多個(gè)集群的未來(lái)需求信息的方法如可適用于本發(fā)明,也應(yīng)包含在本發(fā)明保護(hù)范圍以內(nèi),并在此以引用方式包含于此。

接著,所述多集群管理設(shè)備1的第三裝置13基于所述未來(lái)需求信息確定所述多個(gè)集群的集群配置信息。所述集群配置信息包括所述多個(gè)集群中的業(yè)務(wù)分布信息,或是所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息。在此,所述多個(gè)集群中的業(yè)務(wù)分布信息包括每個(gè)集群中各種業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)的部署信息;所述多個(gè)集群中的業(yè)務(wù)分布信息還包括各種集群資源的設(shè)置信息。在此,可以基于所述未來(lái)需求信息對(duì)所述多個(gè)集群中的業(yè)務(wù)分布信息進(jìn)行安排,一般來(lái)說(shuō),目的是要使得所述多個(gè)集群對(duì)資源的未來(lái)需求在所 確定的業(yè)務(wù)分布信息的安排中得到滿足。此外,跨集群訪問(wèn)數(shù)據(jù)時(shí),若是直接遠(yuǎn)程讀取數(shù)據(jù),則可能會(huì)受到網(wǎng)絡(luò)帶寬、延時(shí)、抖動(dòng)等因素的較大影響,特別是兩個(gè)集群若是相跨較遠(yuǎn)時(shí),這種不利影響就越加明顯,所以優(yōu)選地,通過(guò)將需要被跨集群訪問(wèn)的數(shù)據(jù)事先復(fù)制到所述發(fā)出訪問(wèn)請(qǐng)求的集群,在此,基于所述未來(lái)需求信息,可以預(yù)先確定需要備份什么數(shù)據(jù),如何備份數(shù)據(jù),從而能夠確定一個(gè)更為合理的多集群件的數(shù)據(jù)復(fù)制配置信息。

在此,所述集群配置信息可以只包括所述多種集群配置信息中的任意一種,也可以同時(shí)包括所述多種集群配置信息中的多種,進(jìn)一步,優(yōu)選地,在后續(xù)的多集群管理中,可以同時(shí)結(jié)合多種集群配置信息進(jìn)行相應(yīng)的管理。例如,基于所述未來(lái)需求信息確定所述多個(gè)集群的業(yè)務(wù)分布信息,進(jìn)而基于所述未來(lái)需求信息,并結(jié)合所述多個(gè)集群的業(yè)務(wù)分布信息進(jìn)一步確定所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息。

在此,本申請(qǐng)通過(guò)對(duì)獲取的多個(gè)集群的歷史運(yùn)行數(shù)據(jù)進(jìn)行處理和分析獲得多個(gè)集群的未來(lái)需求信息,基于所述未來(lái)需求信息確定多個(gè)集群的集群配置信息?;谒龅募号渲眯畔?,本申請(qǐng)可以在跨地域的多集群、大規(guī)模的數(shù)據(jù)處理環(huán)境中,實(shí)現(xiàn)多集群資源的合理分布和配置,達(dá)到全局資源的平衡優(yōu)化,還可以在集群間資源條件允許的情況下,最大限度地高效實(shí)現(xiàn)跨集群的數(shù)據(jù)訪問(wèn)。

優(yōu)選地,所述多集群管理設(shè)備1還包括第四裝置(未示出),所述第四裝置根據(jù)所述集群配置信息管理所述多個(gè)集群。

具體地,基于確定的所述多個(gè)集群的集群配置信息,可以對(duì)是多個(gè)集群進(jìn)行相應(yīng)的管理。例如,基于確定的新的所述多個(gè)集群中的業(yè)務(wù)分布信息,對(duì)所述多個(gè)集群中的業(yè)務(wù)分布進(jìn)行調(diào)整;又如,基于所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息,為未來(lái)可能的跨集群數(shù)據(jù)訪問(wèn)預(yù)先備份待訪問(wèn)數(shù)據(jù)。在此,優(yōu)選地,通過(guò)調(diào)用所述數(shù)據(jù)處理平臺(tái)上對(duì)應(yīng)的接口輸出所確定的各類集群配置信息,如所述多個(gè)集群中的業(yè)務(wù)分布信息、所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息等,進(jìn)而,調(diào)整所述多個(gè)集群上的資源、業(yè)務(wù)分布和跨集群的數(shù)據(jù)復(fù)制配置等。

優(yōu)選地,所述集群配置信息包括以下至少任一項(xiàng):一是所述多個(gè)集群中的業(yè)務(wù)分布信息;二是所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息。

具體地,所述多個(gè)集群中的業(yè)務(wù)分布信息包括每個(gè)集群中各種業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)的部署信息,如哪些業(yè)務(wù)單元從屬于哪些集群,某個(gè)業(yè)務(wù)單元中包括哪些具體數(shù)據(jù)項(xiàng)等;所述多個(gè)集群中的業(yè)務(wù)分布信息還包括各種集群資源的設(shè)置信息,例如各個(gè)集群、業(yè)務(wù)單元的存儲(chǔ)、計(jì)算等資源的配額信息,或是各個(gè)集群之間的帶寬配額信息等等。所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息實(shí)際上是預(yù)先將需要訪問(wèn)的其他集群的數(shù)據(jù)信息備份到將發(fā)出訪問(wèn)的集群中。在跨集群訪問(wèn)數(shù)據(jù)時(shí),若是直接遠(yuǎn)程讀取數(shù)據(jù),則可能會(huì)受到網(wǎng)絡(luò)帶寬、延時(shí)、抖動(dòng)等因素的較大影響,特別是兩個(gè)集群若是相跨較遠(yuǎn)時(shí),這種不利影響就越加明顯,所以優(yōu)選地,通過(guò)將需要被跨集群訪問(wèn)的數(shù)據(jù)事先復(fù)制到所述發(fā)出訪問(wèn)請(qǐng)求的集群。

圖2示出根據(jù)本申請(qǐng)一個(gè)優(yōu)選實(shí)施例的多集群管理設(shè)備的設(shè)備示意圖。在所述優(yōu)選實(shí)施例中,所述多集群管理設(shè)備1包括第一裝置11’、第二裝置12’、第五裝置14’和第三裝置13’,其中,優(yōu)選地,所述第三裝置13’還包括第一單元131’和第二單元132’。其中,第一裝置11’獲取多個(gè)集群的歷史運(yùn)行數(shù)據(jù);第二裝置12’基于所述歷史運(yùn)行數(shù)據(jù)確定所述多個(gè)集群的未來(lái)需求信息;第五裝置14’基于所述未來(lái)需求信息,檢測(cè)所述多個(gè)集群的當(dāng)前資源分布是否滿足所述未來(lái)需求信息;第三裝置13’用于若所述當(dāng)前資源分布未滿足所述未來(lái)需求信息,基于所述未來(lái)需求信息確定所述多個(gè)集群中的業(yè)務(wù)分布信息。其中,第一單元131’用于所述當(dāng)前資源分布未滿足所述未來(lái)需求信息,確定所述多個(gè)集群中待調(diào)整業(yè)務(wù)單元;第二單元132’用于確定所述待調(diào)整業(yè)務(wù)單元在所述多個(gè)集群中的對(duì)應(yīng)目的集群。在此,所述第一裝置11’、第二裝置12’與圖1所示出的第一裝置11、第二裝置12對(duì)應(yīng)相同或基本相同,故此處不再贅述,并通過(guò)引用的方式包含于此。

在所述優(yōu)選實(shí)施例中,所述集群配置信息包括所述多個(gè)集群中的業(yè)務(wù)分布信息,其中,所述第五裝置14’基于所述未來(lái)需求信息,檢測(cè)所述多個(gè)集群的當(dāng)前資源分布是否滿足所述未來(lái)需求信息。具體地,所述未來(lái)需 求信息包括未來(lái)一段時(shí)間里,所述多個(gè)集群在若干個(gè)維度上數(shù)據(jù)處理任務(wù)占用集群各類資源的需求信息,當(dāng)前資源分布可以包括當(dāng)前所述多個(gè)集群在若干個(gè)維度各類資源配額相關(guān)信息,如所述存儲(chǔ)、計(jì)算和帶寬等資源配額信息。在此,在當(dāng)前資源分布的基礎(chǔ)上,評(píng)估各個(gè)維度的存儲(chǔ)、計(jì)算和帶寬資源是否滿足所述未來(lái)需求信息,即未來(lái)一段時(shí)間里各維度資源使用或占有的預(yù)測(cè)。為了保證整個(gè)集群的數(shù)據(jù)處理任務(wù)可以順利進(jìn)行,一般要求所述多個(gè)集群當(dāng)前的資源分布要滿足所述未來(lái)需求信息,即要求各個(gè)維度的資源配額要相對(duì)富余。若通過(guò)所述檢測(cè)操作,所述多個(gè)集群的當(dāng)前資源分布滿足所述未來(lái)需求信息,則可以默認(rèn)當(dāng)前多個(gè)集群的資源分布和業(yè)務(wù)配置是較為合理的,能夠順利進(jìn)行各個(gè)數(shù)據(jù)處理任務(wù),此時(shí),優(yōu)選地,并不需要對(duì)當(dāng)前的業(yè)務(wù)分布情況進(jìn)行變動(dòng)。若是所述當(dāng)前資源分布未滿足所述未來(lái)需求信息,則所述第三裝置13’將基于所述未來(lái)需求信息確定所述多個(gè)集群中的業(yè)務(wù)分布信息。在此,所述多個(gè)集群中的業(yè)務(wù)分布信息的確定包括對(duì)各個(gè)集群內(nèi)部的具體業(yè)務(wù)的重新部署,如對(duì)所述業(yè)務(wù)單元、甚至是對(duì)具體數(shù)據(jù)項(xiàng)的重新布局,例如,調(diào)整集群中的業(yè)務(wù)單元布局,及時(shí)調(diào)出不適宜所述集群的業(yè)務(wù)單元到其他集群中。

在此,優(yōu)選地,所述第三裝置13’包括第一單元131’和第二單元132’。具體地,所述當(dāng)前資源分布未滿足所述未來(lái)需求信息時(shí),所述第一單元131’將確定所述多個(gè)集群中待調(diào)整業(yè)務(wù)單元。在本申請(qǐng)中,所述各個(gè)維度的各個(gè)數(shù)據(jù)對(duì)象之間都存在一定的數(shù)據(jù)依賴關(guān)系,如數(shù)據(jù)項(xiàng)之間、業(yè)務(wù)單元之間、集群之間,以所述數(shù)據(jù)項(xiàng)之間的數(shù)據(jù)依賴關(guān)系為例,某個(gè)數(shù)據(jù)處理任務(wù)讀取某個(gè)數(shù)據(jù)項(xiàng)A,進(jìn)行加工處理之后,輸出了數(shù)據(jù)項(xiàng)B,此時(shí),所述數(shù)據(jù)項(xiàng)B是由所述數(shù)據(jù)項(xiàng)A處理得到的,即所述數(shù)據(jù)項(xiàng)B即依賴于所述數(shù)據(jù)項(xiàng)A,該依賴關(guān)系即為本申請(qǐng)中所述數(shù)據(jù)項(xiàng)之間的數(shù)據(jù)依賴關(guān)系。此外,在實(shí)際應(yīng)用中,所述數(shù)據(jù)項(xiàng)還會(huì)劃分各個(gè)數(shù)據(jù)項(xiàng)分區(qū),例如按照日期分區(qū),例如,上述數(shù)據(jù)項(xiàng)A化為分區(qū)A1、A2、A3……,此時(shí),所述數(shù)據(jù)項(xiàng)B依賴的是A的各個(gè)具體分區(qū)。進(jìn)一步,所述兩個(gè)業(yè)務(wù)單元(或集群)之間的數(shù)據(jù)依賴關(guān)系,就是其中一個(gè)業(yè)務(wù)單元有多少數(shù)據(jù)項(xiàng)是依賴另一個(gè)業(yè)務(wù)單元(或集群)中的數(shù)據(jù)項(xiàng)。在此,當(dāng)一個(gè)集群中各個(gè)業(yè)務(wù)單元之間 的數(shù)據(jù)依賴關(guān)系緊密時(shí),如該集群內(nèi)某一業(yè)務(wù)單元的數(shù)據(jù)的訪問(wèn)大部分在本集群內(nèi)部完成,則一般跨集群的資源訪問(wèn)的比例就相應(yīng)較少,集群內(nèi)部數(shù)據(jù)傳輸比跨集群數(shù)據(jù)訪問(wèn)會(huì)更加高效和節(jié)省資源;反之,若是一個(gè)集群中各個(gè)業(yè)務(wù)單元之間的數(shù)據(jù)依賴關(guān)系松散,則該集群中的業(yè)務(wù)單元對(duì)應(yīng)的數(shù)據(jù)傳輸和交換就會(huì)占用更多的資源,對(duì)此,就會(huì)有進(jìn)一步優(yōu)化的可能。所以,在此,若是所述當(dāng)前資源分布未滿足所述未來(lái)需求信息時(shí),則可以通過(guò)比較從相應(yīng)集群中確定與其他業(yè)務(wù)單元的數(shù)據(jù)依賴關(guān)系松散的業(yè)務(wù)單元為待調(diào)整的業(yè)務(wù)單元,通過(guò)將松散待調(diào)整業(yè)務(wù)單元的調(diào)出,來(lái)優(yōu)化相應(yīng)集群的資源分布。進(jìn)而,通過(guò)所述第二單元132’,為所述待調(diào)整業(yè)務(wù)單元尋找適合的集群,例如與其數(shù)據(jù)依賴關(guān)系更為緊密的其他集群,作為調(diào)整對(duì)應(yīng)的目的集群。

更優(yōu)選地,所述第一單元131’用于基于所述多個(gè)集群中各個(gè)業(yè)務(wù)單元的未來(lái)需求信息,分別計(jì)算每個(gè)業(yè)務(wù)單元與其他在相同集群中的各個(gè)業(yè)務(wù)單元之間的第一數(shù)據(jù)依賴量值之和;確定所述第一數(shù)據(jù)依賴量值之和最小的業(yè)務(wù)單元為相應(yīng)集群中的所述待調(diào)整業(yè)務(wù)單元。

具體地,在此,所述第一數(shù)據(jù)依賴量值的確定方式,優(yōu)選地,以被依賴數(shù)據(jù)項(xiàng)的大小為量化基礎(chǔ),例如,數(shù)據(jù)項(xiàng)D1依賴數(shù)據(jù)項(xiàng)C1,相應(yīng)的數(shù)據(jù)依賴量值的的大小就是數(shù)據(jù)項(xiàng)C1的大小V1,進(jìn)而,若所述某集群中有業(yè)務(wù)單元1與業(yè)務(wù)單元2,若業(yè)務(wù)單元1中的數(shù)據(jù)項(xiàng)D1依賴業(yè)務(wù)單元2中的數(shù)據(jù)項(xiàng)C1,對(duì)應(yīng)一個(gè)數(shù)據(jù)依賴量值V1,業(yè)務(wù)單元1中的數(shù)據(jù)項(xiàng)D2依賴業(yè)務(wù)單元2中的數(shù)據(jù)項(xiàng)C2,對(duì)應(yīng)一個(gè)數(shù)據(jù)依賴量值V2,…業(yè)務(wù)單元1中的數(shù)據(jù)項(xiàng)Dn依賴業(yè)務(wù)單元2中的數(shù)據(jù)項(xiàng)Cn,對(duì)應(yīng)一個(gè)數(shù)據(jù)依賴量值Vn,以此規(guī)律,則業(yè)務(wù)單元1依賴業(yè)務(wù)單元2的所述第一數(shù)據(jù)依賴量值即為V1+V2+……Vn,以此類推,將所述業(yè)務(wù)單元1與對(duì)應(yīng)集群內(nèi)部其他各個(gè)業(yè)務(wù)單元的各個(gè)第一數(shù)據(jù)依賴量值相加,就得到了所述的第一數(shù)據(jù)依賴量值之和。進(jìn)而,相比較之下,所述第一數(shù)據(jù)依賴量值之和最小的業(yè)務(wù)單元,其與集群中其他各個(gè)業(yè)務(wù)單元的數(shù)據(jù)依賴關(guān)系,最為松散,說(shuō)明集群間便捷訪問(wèn)的優(yōu)勢(shì),該業(yè)務(wù)單元獲益最少,此時(shí),優(yōu)選地,將該業(yè)務(wù)單元確定為相應(yīng)集群中的所述待調(diào)整業(yè)務(wù)單元。

在本方案中,所述多個(gè)集群中當(dāng)前資源分布未滿足所述未來(lái)需求信息的各個(gè)集群中,都可能各自對(duì)應(yīng)一個(gè)或多個(gè)待調(diào)整業(yè)務(wù)單元。

在此,本領(lǐng)域技術(shù)人員應(yīng)能理解,所述第一數(shù)據(jù)依賴量值、以及對(duì)所述第一數(shù)據(jù)依賴量值的優(yōu)選的確定方式僅為舉例,其他現(xiàn)有的或今后可能出現(xiàn)的其他數(shù)據(jù)信息、或與所述其他數(shù)據(jù)信息對(duì)應(yīng)的確定方式、或所述第一數(shù)據(jù)依賴量值的其他確定方式如可適用于本發(fā)明,也應(yīng)包含在本發(fā)明保護(hù)范圍以內(nèi),并在此以引用方式包含于此。

更優(yōu)選地,所述第二單元132’用于計(jì)算所述多個(gè)集群中待調(diào)整業(yè)務(wù)單元與每個(gè)候選目的集群上的各個(gè)業(yè)務(wù)單元之間的第二數(shù)據(jù)依賴量值之和,并按照所述第二數(shù)據(jù)依賴量值之和由大到小的順序,對(duì)若干個(gè)候選目的集群進(jìn)行排序;基于所述排序的順序,將最先滿足所述待調(diào)整業(yè)務(wù)單元的未來(lái)需求信息的目的集群作為所述待調(diào)整業(yè)務(wù)單元的對(duì)應(yīng)目的集群。

具體地,對(duì)于所述相應(yīng)集群中的所述待調(diào)整業(yè)務(wù)單元,為其選擇一個(gè)調(diào)入的目的集群,在此,優(yōu)選地,基于所述第二數(shù)據(jù)依賴量值之和,在所述多個(gè)集群中為所述待選擇一個(gè)最優(yōu)的目的集群。在此,所述第二數(shù)據(jù)依賴量值之和的確定方式可以與所述第一數(shù)據(jù)依賴量值之和的確定方式形似,在此,不在贅述,并通過(guò)引用的方式包含于此。此時(shí),將所述待調(diào)整的業(yè)務(wù)單元與每個(gè)候選的集群上的各個(gè)業(yè)務(wù)單元分別進(jìn)行第二數(shù)據(jù)依賴量值求和,例如,計(jì)算得到所述待調(diào)整業(yè)務(wù)單元3與候選目的集群L1上各個(gè)業(yè)務(wù)單元之間的第二數(shù)據(jù)依賴量值之和是W1,與候選目的集群L2上各個(gè)業(yè)務(wù)單元之間的第二數(shù)據(jù)依賴量值之和是W2,……與候選目的集群Zm上各個(gè)業(yè)務(wù)單元之間的第二數(shù)據(jù)依賴量值之和是Wm,進(jìn)而對(duì)所述各個(gè)第二數(shù)據(jù)依賴量值之和由大到小進(jìn)行排序,在此,假設(shè)所述由大到小的順序是W1、W2、……Wn。第二數(shù)據(jù)依賴量值越大的候選目的集群,所述待候選業(yè)務(wù)單元與其之內(nèi)的各個(gè)業(yè)務(wù)單元聯(lián)系越密切,對(duì)應(yīng)的數(shù)據(jù)依賴關(guān)系越緊密,進(jìn)一步,基于所述排序的順序,檢測(cè)所述待候選目的集群當(dāng)前的業(yè)務(wù)分布情況,例如,各類資源的相應(yīng)配額,數(shù)據(jù)項(xiàng)的相應(yīng)部署等等,是否能夠滿足所述待調(diào)整業(yè)務(wù)單元的未來(lái)需求信息,若是當(dāng)所述待調(diào)整業(yè)務(wù)單元加入所述待候選目的集群,致使所述待候選目的集群的資源分 布不能滿足待調(diào)整業(yè)務(wù)單元的所述未來(lái)需求信息,或是不能夠滿足調(diào)整后整個(gè)候選目的集群的未來(lái)需求信息,及時(shí),此時(shí)所述待候選業(yè)務(wù)單元與該候選目的集群數(shù)據(jù)依賴關(guān)系較緊密,卻仍然判斷該待候選目的集群不適合作為最終所述目的集群?;谏鲜雠袛喾椒ǎ凑账雠判虻捻樞?,將可以確定出與所述待調(diào)整業(yè)務(wù)單元關(guān)系最密切的、同時(shí)又能夠滿足所述待調(diào)整業(yè)務(wù)單元的未來(lái)需求信息的最佳待候選目的集群為所述目的集群。

優(yōu)選地,若所述當(dāng)前資源分布未滿足所述未來(lái)需求信息,所述第三裝置13’基于所述未來(lái)需求信息確定所述多個(gè)集群中的業(yè)務(wù)分布信息,直至所述業(yè)務(wù)分布信息滿足所述未來(lái)需求信息。

具體地,對(duì)于所述當(dāng)前資源分布未滿足所述未來(lái)需求信息的集群,當(dāng)確定了一次所述多個(gè)集群中的業(yè)務(wù)分布信息后,會(huì)基于確定的所述多個(gè)集群中的業(yè)務(wù)分布信息可能的調(diào)整情況進(jìn)行再次評(píng)估,檢測(cè)若是基于所述調(diào)整后的業(yè)務(wù)分布信息進(jìn)行集群管理,所述調(diào)整后的多個(gè)集群的業(yè)務(wù)分布信息依然無(wú)法滿足對(duì)應(yīng)的未來(lái)需求信息,則說(shuō)明一次的業(yè)務(wù)分布信息的調(diào)整,例如,一次的業(yè)務(wù)單元的調(diào)整仍然無(wú)法到達(dá)優(yōu)化集群資源的目的,此時(shí),可以再次確定所述多個(gè)集群中的業(yè)務(wù)分布信息,例如再次尋找、并調(diào)整出與所述多個(gè)集群中與其他業(yè)務(wù)單元的數(shù)據(jù)依賴關(guān)系較為松散的業(yè)務(wù)單元,以此類推,直到通過(guò)所述評(píng)估,確定所述業(yè)務(wù)分布信息滿足所述未來(lái)需求信息,則可以確定達(dá)到優(yōu)選結(jié)果。在此,所述業(yè)務(wù)分布的調(diào)整可能需要通過(guò)多次漸進(jìn)循環(huán)而最終達(dá)到較為理想的優(yōu)化狀態(tài)。

圖3示出根據(jù)本申請(qǐng)另一個(gè)優(yōu)選實(shí)施例的多集群管理設(shè)備的設(shè)備示意圖。在所述另一個(gè)優(yōu)選實(shí)施例中,所述多集群管理設(shè)備1包括第一裝置11”、第二裝置12”和第三裝置13”,其中,優(yōu)選地,所述第三裝置13”還包括第五單元135”和第六單元136”。其中,第一裝置11”獲取多個(gè)集群的歷史運(yùn)行數(shù)據(jù);第二裝置12”基于所述歷史運(yùn)行數(shù)據(jù)確定所述多個(gè)集群的未來(lái)需求信息;第五單元135”基于所述未來(lái)需求信息,確定所述多個(gè)集群中集群間數(shù)據(jù)訪問(wèn)信息;第六單元136”基于所述集群間數(shù)據(jù)訪問(wèn)信息,確定所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息。在此,所述第一裝置11”、第二裝置12”與圖1所示出的第一裝置11、第二裝置12對(duì)應(yīng)相同或基本 相同,故此處不再贅述,并通過(guò)引用的方式包含于此。

在此優(yōu)選實(shí)施例中,所述集群配置信息包括所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息,其中所述第五單元135”基于所述未來(lái)需求信息,確定所述多個(gè)集群中集群間數(shù)據(jù)訪問(wèn)信息。具體地,在跨集群訪問(wèn)數(shù)據(jù)時(shí),若是直接遠(yuǎn)程讀取數(shù)據(jù),則可能會(huì)受到網(wǎng)絡(luò)帶寬、延時(shí)、抖動(dòng)等因素的較大影響,特別是兩個(gè)集群若是相跨較遠(yuǎn)時(shí),這種不利影響就越加明顯,此時(shí),可以通過(guò)將需要被跨集群訪問(wèn)的數(shù)據(jù)預(yù)先復(fù)制到所述發(fā)出訪問(wèn)請(qǐng)求的集群,來(lái)提高跨集群訪問(wèn)的效率。所述具體的數(shù)據(jù)復(fù)制配置信息可以對(duì)應(yīng)于不同的維度,例如數(shù)據(jù)項(xiàng)、業(yè)務(wù)單元等不同范圍進(jìn)行部署。其中,具體復(fù)制數(shù)據(jù)的選擇、具體的配置集群的選擇等因素,對(duì)于集群間數(shù)據(jù)訪問(wèn)的最終效果會(huì)有直接的影響?;诖?,優(yōu)選地,本方案基于所述未來(lái)需求信息,確定所述多個(gè)集群中集群間數(shù)據(jù)訪問(wèn)信息。以所述數(shù)據(jù)復(fù)制配置信息對(duì)應(yīng)的配置對(duì)象是數(shù)據(jù)項(xiàng)為例,所述集群間數(shù)據(jù)訪問(wèn)信息包括一段時(shí)間內(nèi),預(yù)測(cè)的所述數(shù)據(jù)項(xiàng)被訪問(wèn)的次數(shù)和數(shù)據(jù)量等。進(jìn)而基于所述集群間數(shù)據(jù)訪問(wèn)信息,可以確定所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息。例如,訪問(wèn)次數(shù)較多、訪問(wèn)數(shù)據(jù)量較大的數(shù)據(jù)項(xiàng)將被優(yōu)選配置,進(jìn)一步,結(jié)合集群間的資源限制,如帶寬配額等,決定配置的數(shù)據(jù)項(xiàng)的具體數(shù)量,確定合理的數(shù)據(jù)復(fù)制配置信息,更進(jìn)一步,在具體應(yīng)用過(guò)程中,還可以對(duì)一些長(zhǎng)期不再使用到的數(shù)據(jù)項(xiàng)進(jìn)行定期的清理,優(yōu)化復(fù)制數(shù)據(jù)的存儲(chǔ)空間。在此,優(yōu)選地,所述數(shù)據(jù)復(fù)制配置信息能夠滿足使跨集群復(fù)制的數(shù)據(jù)占用存儲(chǔ)盡量小,同時(shí)又能夠保證所述數(shù)據(jù)處理任務(wù)的完成效率在一個(gè)可以接收的等待范圍內(nèi)。

優(yōu)選地,在所述多集群管理設(shè)備1中,所述集群配置信息不僅包括所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息,還包括述多個(gè)集群中的業(yè)務(wù)分布信息;其中,所述第五單元135”基于所述未來(lái)需求信息,確定所述多個(gè)集群中集群間數(shù)據(jù)訪問(wèn)信息。

具體地,基于所述未來(lái)需求信息,可以分別確定所述多個(gè)集群中的業(yè)務(wù)分布信息或所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息等集群配置信息,進(jìn)而,基于各類集群配置信息,分別對(duì)所述多個(gè)集群進(jìn)行優(yōu)化管理。更進(jìn)一步,還可以將多種集群配置信息的綜合考慮,可以得到一個(gè)更優(yōu)化的疊加 效果。例如,首先通過(guò)所述未來(lái)需求信息確定的所述多個(gè)集群中的業(yè)務(wù)分布信息,若是基于所述未來(lái)需求信息,可以得到優(yōu)化的多個(gè)集群中的業(yè)務(wù)分布信息,相比于直接基于優(yōu)選前的業(yè)務(wù)分布信息進(jìn)行的數(shù)據(jù)復(fù)制配置信息的確定,在所述優(yōu)化的業(yè)務(wù)分布信息的基礎(chǔ)上再進(jìn)行集群間數(shù)據(jù)訪問(wèn)信息的確定,并最終得到的數(shù)據(jù)復(fù)制配置信息,會(huì)更加優(yōu)化所述多個(gè)集群間數(shù)據(jù)訪問(wèn)效率。

圖4示出根據(jù)本申請(qǐng)另一個(gè)方面的一種多集群管理方法的流程圖。

其中,在步驟S41中,所述多集群管理設(shè)備1獲取多個(gè)集群的歷史運(yùn)行數(shù)據(jù);在步驟S42中,所述多集群管理設(shè)備1基于所述歷史運(yùn)行數(shù)據(jù)確定所述多個(gè)集群的未來(lái)需求信息;在步驟S43中,所述多集群管理設(shè)備1基于所述未來(lái)需求信息確定所述多個(gè)集群的集群配置信息。

具體地,在步驟S41中,所述多集群管理設(shè)備1獲取多個(gè)集群的歷史運(yùn)行數(shù)據(jù)。一般情況下,一個(gè)相對(duì)獨(dú)立的業(yè)務(wù)對(duì)應(yīng)的數(shù)據(jù)處理可以由一個(gè)業(yè)務(wù)單元獨(dú)立完成;或是進(jìn)一步,一個(gè)完整業(yè)務(wù)的處理需要基于一個(gè)集群中各個(gè)業(yè)務(wù)單元之間的數(shù)據(jù)依賴關(guān)系,通過(guò)集群內(nèi)多個(gè)業(yè)務(wù)單元之間的數(shù)據(jù)共享和數(shù)據(jù)交換來(lái)完成,此時(shí)數(shù)據(jù)處理任務(wù)消耗著集群的數(shù)據(jù)資源,如集群的存儲(chǔ)、計(jì)算等資源;或是更進(jìn)一步,在跨地域的多集群環(huán)境中,進(jìn)行更復(fù)雜的業(yè)務(wù)處理,此時(shí)集群之間的網(wǎng)絡(luò)連通還會(huì)消耗集群間的的網(wǎng)絡(luò)帶寬等資源。在此,所述歷史運(yùn)行數(shù)據(jù)包括一段時(shí)間內(nèi),在所述多個(gè)集群中完成各種數(shù)據(jù)處理任務(wù)對(duì)應(yīng)的運(yùn)行數(shù)據(jù)。在此,進(jìn)行所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)單位可以包括集群、業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)、數(shù)據(jù)項(xiàng)分區(qū)等不同維度。在本申請(qǐng)中,所述數(shù)據(jù)項(xiàng)包括一個(gè)數(shù)據(jù)的存儲(chǔ)集合,如數(shù)據(jù)庫(kù)中的表;所述數(shù)據(jù)項(xiàng)分區(qū)包括將所述數(shù)據(jù)項(xiàng)按一定的規(guī)則進(jìn)行劃分,目的是為了方便對(duì)數(shù)據(jù)進(jìn)行分片處理,從而降低數(shù)據(jù)處理量;在所述業(yè)務(wù)單元中,各種數(shù)據(jù)按照一定的范式進(jìn)行分層,各個(gè)業(yè)務(wù)單元之間可以基于具體的層級(jí)中的數(shù)據(jù)項(xiàng)展開數(shù)據(jù)訪問(wèn)。與此相應(yīng)的,所述歷史運(yùn)行數(shù)據(jù)包括但不限于:業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)、數(shù)據(jù)項(xiàng)分區(qū)的元數(shù)據(jù);業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)、數(shù)據(jù)項(xiàng)分區(qū)的存儲(chǔ)占用量;數(shù)據(jù)處理任務(wù)的運(yùn)行日志;集群間網(wǎng)絡(luò)帶寬使用量;集群、業(yè)務(wù)單元的存儲(chǔ)、計(jì)算配額數(shù)據(jù);集群間可用帶寬配額數(shù)據(jù),等等。其中, 在本申請(qǐng)中,所述元數(shù)據(jù)包括業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)、數(shù)據(jù)項(xiàng)分區(qū)的屬性、特征等基本描述性數(shù)據(jù);所述數(shù)據(jù)處理任務(wù)的運(yùn)行日志主要包含的信息有所述數(shù)據(jù)處理任務(wù)對(duì)應(yīng)的業(yè)務(wù)單元、任務(wù)啟動(dòng)結(jié)束時(shí)間、輸入輸出的數(shù)據(jù)項(xiàng)及相應(yīng)的數(shù)據(jù)項(xiàng)分區(qū)、輸入輸出的數(shù)據(jù)量、占用的計(jì)算單位等,通過(guò)所述運(yùn)行日志可以獲知所述業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)、數(shù)據(jù)項(xiàng)分區(qū)的計(jì)算占用量;所述各類配額數(shù)據(jù),如上述存儲(chǔ)、計(jì)算、帶寬等對(duì)應(yīng)的配額數(shù)據(jù),可能在一段時(shí)間內(nèi)保持不變,也可能基于實(shí)際需要有所變化調(diào)整。對(duì)于所述歷史運(yùn)行數(shù)據(jù),特別是變化頻率較高的數(shù)據(jù)信息,如所述業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)、數(shù)據(jù)項(xiàng)分區(qū)的存儲(chǔ)占用量、所述集群間網(wǎng)絡(luò)帶寬使用量和所述數(shù)據(jù)處理任務(wù)的運(yùn)行日志等可以周期性地進(jìn)行數(shù)據(jù)采樣。

在此,所述多個(gè)集群的歷史運(yùn)行數(shù)據(jù)可以間接的通過(guò)第三方存儲(chǔ)設(shè)備或數(shù)據(jù)庫(kù)進(jìn)行獲取。優(yōu)選地,也可以基于一定的數(shù)據(jù)處理平臺(tái)直接進(jìn)行所述歷史運(yùn)行數(shù)據(jù)的采集。本申請(qǐng)中,所述數(shù)據(jù)處理平臺(tái)包括使用分布式存儲(chǔ)和分布式計(jì)算等技術(shù),提供大規(guī)模數(shù)據(jù)處理的計(jì)算機(jī)系統(tǒng)平臺(tái)。例如,所述數(shù)據(jù)處理平臺(tái)中各個(gè)模塊中包含著運(yùn)行日志采集功能,并由統(tǒng)一的日志管理系統(tǒng)將日志匯總到一起統(tǒng)一存儲(chǔ);又如,數(shù)據(jù)處理平臺(tái)采用定時(shí)快照的方式將所述元數(shù)據(jù)匯總存儲(chǔ)。

接著,在步驟S42中,所述多集群管理設(shè)備1基于所述歷史運(yùn)行數(shù)據(jù)確定所述多個(gè)集群的未來(lái)需求信息。

具體地,基于所獲取的已有的歷史運(yùn)行數(shù)據(jù),對(duì)所述多個(gè)集群中各個(gè)集群的內(nèi)部以及集群間的數(shù)據(jù)處理情況進(jìn)行分析,可以確定所述多個(gè)集群中各個(gè)數(shù)據(jù)項(xiàng)、各個(gè)業(yè)務(wù)單元、甚至是各個(gè)集群對(duì)應(yīng)的各類資源的實(shí)際占用情況,基于所得到的實(shí)際資源占用信息,還可以進(jìn)一步確定各個(gè)數(shù)據(jù)項(xiàng)之間、各個(gè)業(yè)務(wù)單元之間、甚至是各個(gè)集群之間的數(shù)據(jù)相互調(diào)用情況和相互依賴關(guān)系?;趯?duì)所述歷史運(yùn)行數(shù)據(jù)進(jìn)行增長(zhǎng)預(yù)測(cè),可以預(yù)測(cè)所述多個(gè)集群在未來(lái)一段時(shí)間的資源需求信息。在此,優(yōu)選地,所述的未來(lái)需求信息就是后續(xù)確定所述多個(gè)集群的集群配置信息,從而對(duì)多集群進(jìn)行優(yōu)化管理的數(shù)據(jù)基礎(chǔ)。

優(yōu)選地,在步驟S42中,所述多集群管理方法包括子步驟S421(未 示出)和子步驟S422(未示出)。其中,在子步驟S421中,所述多集群管理設(shè)備1對(duì)所述歷史運(yùn)行數(shù)據(jù)進(jìn)行數(shù)據(jù)處理;在子步驟S422中,所述多集群管理設(shè)備1基于所述數(shù)據(jù)處理的結(jié)果,確定所述多個(gè)集群的未來(lái)需求信息。

具體地,在子步驟S421中,所述多集群管理設(shè)備1對(duì)所述歷史運(yùn)行數(shù)據(jù)進(jìn)行數(shù)據(jù)處理。如,可以對(duì)所述獲取的所述歷史運(yùn)行數(shù)據(jù)進(jìn)行轉(zhuǎn)換、組合、連接等方式的加工處理。在此,以數(shù)據(jù)處理任務(wù)所占用的計(jì)算資源的加工處理為例,若是要計(jì)算多個(gè)集群中各個(gè)集群上計(jì)算資源的占用情況,以t分鐘為采樣周期,通過(guò)統(tǒng)計(jì)在一天中各個(gè)采樣時(shí)刻多個(gè)集群中每個(gè)集群中所有數(shù)據(jù)處理任務(wù)占用的計(jì)算單位總和,得到各個(gè)集群中計(jì)算資源的占用情況。此時(shí),所述轉(zhuǎn)換即包括:將所述一天分成1440/t個(gè)采樣點(diǎn),遍歷所獲取的數(shù)據(jù)處理任務(wù),若是某個(gè)數(shù)據(jù)處理任務(wù)覆蓋了某個(gè)時(shí)刻的采樣點(diǎn),則把該數(shù)據(jù)處理任務(wù)添加到該時(shí)刻的采樣點(diǎn)對(duì)應(yīng)的數(shù)據(jù)處理任務(wù)集合中。所述連接即包括:以所述業(yè)務(wù)單元為條件,所述數(shù)據(jù)處理任務(wù)與哪個(gè)業(yè)務(wù)單元進(jìn)行數(shù)據(jù)連接,則該數(shù)據(jù)處理任務(wù)就運(yùn)行在所述業(yè)務(wù)單元所對(duì)應(yīng)的集群中。所述組合即包括:在各個(gè)采樣時(shí)刻,將運(yùn)行在同一個(gè)集群中的各個(gè)所述數(shù)據(jù)處理任務(wù)占用的計(jì)算單位進(jìn)行累加,即得到各個(gè)采樣時(shí)刻,該集群的計(jì)算資源占用量。

在此,對(duì)于不同類型的歷史運(yùn)行數(shù)據(jù),對(duì)應(yīng)的加工處理方式可以有所不同,即使是同一類型的歷史運(yùn)行數(shù)據(jù),也可以根據(jù)需要進(jìn)行不同方式的數(shù)據(jù)加工處理。

在此,本領(lǐng)域技術(shù)人員應(yīng)能理解所述轉(zhuǎn)換、組合、連接等方式的加工處理僅為舉例,其他現(xiàn)有的或今后可能出現(xiàn)的其他對(duì)所述歷史運(yùn)行數(shù)據(jù)的加工處理方式如可適用于本發(fā)明,也應(yīng)包含在本發(fā)明保護(hù)范圍以內(nèi),并在此以引用方式包含于此。

接著,在子步驟S422中,所述多集群管理設(shè)備1基于所述數(shù)據(jù)處理的結(jié)果,確定所述多個(gè)集群的未來(lái)需求信息。在此,所述數(shù)據(jù)處理的結(jié)果包括多個(gè)維度上的資源指標(biāo)數(shù)據(jù),本方案中,所述多個(gè)維度包括數(shù)據(jù)項(xiàng)、業(yè)務(wù)單元、集群或時(shí)間等維度,其中所述時(shí)間維度與所述數(shù)據(jù)項(xiàng)、業(yè)務(wù)單 元、集群等維度正交。所述資源指標(biāo)數(shù)據(jù)包括存儲(chǔ)資源占用量、計(jì)算資源占用量、相互間的數(shù)據(jù)依賴量、集群間的復(fù)制數(shù)據(jù)量、集群間直接訪問(wèn)數(shù)據(jù)量等。在此,對(duì)于每個(gè)維度會(huì)分別對(duì)應(yīng)若干個(gè)資源指標(biāo)數(shù)據(jù),其中,各個(gè)維度可能使用相同的資源指標(biāo)數(shù)據(jù),如均統(tǒng)計(jì)所述存儲(chǔ)資源占用量、計(jì)算資源占用量和相互間的數(shù)據(jù)依賴量。此外,各個(gè)維度對(duì)應(yīng)的資源指標(biāo)數(shù)據(jù)類型也可能各不相同,特別是,有些類型的資源指標(biāo)數(shù)據(jù)只能夠在特定維度予以考慮,例如集群間的復(fù)制數(shù)據(jù)量、集群間直接訪問(wèn)數(shù)據(jù)量等。在此,所述數(shù)據(jù)處理的結(jié)果還包括集群資源配額指標(biāo)數(shù)據(jù),例如,集群間數(shù)據(jù)訪問(wèn)權(quán)重,基于集群間可用帶寬配額數(shù)據(jù),為各個(gè)集群之間的數(shù)據(jù)訪問(wèn)設(shè)置權(quán)重,如兩個(gè)集群間可用帶寬越大,對(duì)應(yīng)的數(shù)據(jù)訪問(wèn)權(quán)重越大。此時(shí),基于所述歷史運(yùn)行數(shù)據(jù)中獲取的、例如所述集群、業(yè)務(wù)單元的存儲(chǔ)、計(jì)算配額數(shù)據(jù)、所述集群間可用帶寬配額數(shù)據(jù)等數(shù)據(jù)信息,通過(guò)一定的處理,加工為相應(yīng)的集群資源配額指標(biāo)數(shù)據(jù),進(jìn)而可以體現(xiàn)現(xiàn)有的集群內(nèi)部,以及多個(gè)集群之間各種資源的限制和差異,并為后續(xù)操作提供基礎(chǔ)數(shù)據(jù)。在此,基于所述數(shù)據(jù)處理結(jié)果,進(jìn)一步為所述多個(gè)集群的未來(lái)資源使用情況進(jìn)行預(yù)測(cè)。

在此,本領(lǐng)域技術(shù)人員應(yīng)能理解所述數(shù)多個(gè)維度上的指標(biāo)數(shù)據(jù)和集群資源配額指標(biāo)數(shù)據(jù)僅為舉例,其他現(xiàn)有的或今后可能出現(xiàn)的其他數(shù)據(jù)處理的結(jié)果如可適用于本發(fā)明,也應(yīng)包含在本發(fā)明保護(hù)范圍以內(nèi),并在此以引用方式包含于此。

更優(yōu)選地,所述基于所述數(shù)據(jù)處理的結(jié)果,確定所述多個(gè)集群的未來(lái)需求信息包括:通過(guò)所述數(shù)據(jù)處理獲得所述多個(gè)集群對(duì)應(yīng)的資源指標(biāo)數(shù)據(jù);基于所述資源指標(biāo)數(shù)據(jù),通過(guò)指標(biāo)預(yù)測(cè)確定所述多個(gè)集群的未來(lái)需求信息。

具體地,在此,優(yōu)選地,通過(guò)指標(biāo)預(yù)測(cè)確定所述多個(gè)集群的未來(lái)需求信息。通過(guò)對(duì)所述歷史運(yùn)行數(shù)據(jù)的加工處理,可以獲得多個(gè)維度的所述資源指標(biāo)數(shù)據(jù),基于具體的資源指標(biāo)數(shù)據(jù),可以對(duì)未來(lái)一段時(shí)間內(nèi)不同維度上資源需求進(jìn)行預(yù)測(cè),例如,預(yù)測(cè)出某個(gè)集群在未來(lái)一個(gè)月內(nèi)的存儲(chǔ)資源占用量、每日每個(gè)時(shí)間區(qū)間的計(jì)算資源占用量等。具體的指標(biāo)預(yù)測(cè)方法包 括:首先,基于所述加工后得到的資源指標(biāo)數(shù)據(jù),并結(jié)合一定的數(shù)據(jù)挖掘方法,建立一定的數(shù)據(jù)計(jì)算模型,在此,所述數(shù)據(jù)發(fā)掘方法包括但不限于線性回歸、基于時(shí)間序列的季節(jié)性回歸預(yù)測(cè)等方法;進(jìn)而,基于所述數(shù)據(jù)計(jì)算模型,結(jié)合相應(yīng)的參數(shù)數(shù)值,得到相應(yīng)的資源指標(biāo)對(duì)應(yīng)的未來(lái)需求信息。在此,以預(yù)測(cè)業(yè)務(wù)單元的未來(lái)的存儲(chǔ)資源占用量為例,基于所述數(shù)據(jù)處理平臺(tái)每天采集到的存儲(chǔ)資源占用信息,經(jīng)過(guò)加工處理,可以得到過(guò)去一段時(shí)間,如T個(gè)月,每天的存儲(chǔ)資源占用量,若以天數(shù)為變量x,以存儲(chǔ)資源占用量為變量y,進(jìn)行線性回歸建模,則得到y(tǒng)=f(x)函數(shù),進(jìn)而基于所述數(shù)據(jù)計(jì)算模型們可以預(yù)測(cè)出N天后的所述業(yè)務(wù)單元的存儲(chǔ)資源占用量。

在此,本領(lǐng)域技術(shù)人員應(yīng)能理解所述基于所述資源指標(biāo)數(shù)據(jù),通過(guò)指標(biāo)預(yù)測(cè)確定所述多個(gè)集群的未來(lái)需求信息僅為舉例,其他現(xiàn)有的或今后可能出現(xiàn)的其他確定所述多個(gè)集群的未來(lái)需求信息的方法如可適用于本發(fā)明,也應(yīng)包含在本發(fā)明保護(hù)范圍以內(nèi),并在此以引用方式包含于此。

接著,在步驟S43中,所述多集群管理設(shè)備1基于所述未來(lái)需求信息確定所述多個(gè)集群的集群配置信息。所述集群配置信息包括所述多個(gè)集群中的業(yè)務(wù)分布信息,或是所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息。在此,所述多個(gè)集群中的業(yè)務(wù)分布信息包括每個(gè)集群中各種業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)的部署信息;所述多個(gè)集群中的業(yè)務(wù)分布信息還包括各種集群資源的設(shè)置信息。在此,可以基于所述未來(lái)需求信息對(duì)所述多個(gè)集群中的業(yè)務(wù)分布信息進(jìn)行安排,一般來(lái)說(shuō),目的是要使得所述多個(gè)集群對(duì)資源的未來(lái)需求在所確定的業(yè)務(wù)分布信息的安排中得到滿足。此外,跨集群訪問(wèn)數(shù)據(jù)時(shí),若是直接遠(yuǎn)程讀取數(shù)據(jù),則可能會(huì)受到網(wǎng)絡(luò)帶寬、延時(shí)、抖動(dòng)等因素的較大影響,特別是兩個(gè)集群若是相跨較遠(yuǎn)時(shí),這種不利影響就越加明顯,所以優(yōu)選地,通過(guò)將需要被跨集群訪問(wèn)的數(shù)據(jù)事先復(fù)制到所述發(fā)出訪問(wèn)請(qǐng)求的集群,在此,基于所述未來(lái)需求信息,可以預(yù)先確定需要備份什么數(shù)據(jù),如何備份數(shù)據(jù),從而能夠確定一個(gè)更為合理的多集群件的數(shù)據(jù)復(fù)制配置信息。

在此,所述集群配置信息可以只包括所述多種集群配置信息中的任意 一種,也可以同時(shí)包括所述多種集群配置信息中的多種,進(jìn)一步,優(yōu)選地,在后續(xù)的多集群管理中,可以同時(shí)結(jié)合多種集群配置信息進(jìn)行相應(yīng)的管理。例如,基于所述未來(lái)需求信息確定所述多個(gè)集群的業(yè)務(wù)分布信息,進(jìn)而基于所述未來(lái)需求信息,并結(jié)合所述多個(gè)集群的業(yè)務(wù)分布信息進(jìn)一步確定所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息。

在此,本申請(qǐng)通過(guò)對(duì)獲取的多個(gè)集群的歷史運(yùn)行數(shù)據(jù)進(jìn)行處理和分析獲得多個(gè)集群的未來(lái)需求信息,基于所述未來(lái)需求信息確定多個(gè)集群的集群配置信息。基于所述的集群配置信息,本申請(qǐng)可以在跨地域的多集群、大規(guī)模的數(shù)據(jù)處理環(huán)境中,實(shí)現(xiàn)多集群資源的合理分布和配置,達(dá)到全局資源的平衡優(yōu)化,還可以在集群間資源條件允許的情況下,最大限度地高效實(shí)現(xiàn)跨集群的數(shù)據(jù)訪問(wèn)。

優(yōu)選地,所述多集群管理方法還包括步驟S44(未示出),在步驟S44中,所述多集群管理設(shè)備1根據(jù)所述集群配置信息管理所述多個(gè)集群。

具體地,基于確定的所述多個(gè)集群的集群配置信息,可以對(duì)是多個(gè)集群進(jìn)行相應(yīng)的管理。例如,基于確定的新的所述多個(gè)集群中的業(yè)務(wù)分布信息,對(duì)所述多個(gè)集群中的業(yè)務(wù)分布進(jìn)行調(diào)整;又如,基于所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息,為未來(lái)可能的跨集群數(shù)據(jù)訪問(wèn)預(yù)先備份待訪問(wèn)數(shù)據(jù)。在此,優(yōu)選地,通過(guò)調(diào)用所述數(shù)據(jù)處理平臺(tái)上對(duì)應(yīng)的接口輸出所確定的各類集群配置信息,如所述多個(gè)集群中的業(yè)務(wù)分布信息、所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息等,進(jìn)而,調(diào)整所述多個(gè)集群上的資源、業(yè)務(wù)分布和跨集群的數(shù)據(jù)復(fù)制配置等。

優(yōu)選地,所述集群配置信息包括以下至少任一項(xiàng):一是所述多個(gè)集群中的業(yè)務(wù)分布信息;二是所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息。

具體地,所述多個(gè)集群中的業(yè)務(wù)分布信息包括每個(gè)集群中各種業(yè)務(wù)單元、數(shù)據(jù)項(xiàng)的部署信息,如哪些業(yè)務(wù)單元從屬于哪些集群,某個(gè)業(yè)務(wù)單元中包括哪些具體數(shù)據(jù)項(xiàng)等;所述多個(gè)集群中的業(yè)務(wù)分布信息還包括各種集群資源的設(shè)置信息,例如各個(gè)集群、業(yè)務(wù)單元的存儲(chǔ)、計(jì)算等資源的配額信息,或是各個(gè)集群之間的帶寬配額信息等等。所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息實(shí)際上是預(yù)先將需要訪問(wèn)的其他集群的數(shù)據(jù)信息備份到將發(fā) 出訪問(wèn)的集群中。在跨集群訪問(wèn)數(shù)據(jù)時(shí),若是直接遠(yuǎn)程讀取數(shù)據(jù),則可能會(huì)受到網(wǎng)絡(luò)帶寬、延時(shí)、抖動(dòng)等因素的較大影響,特別是兩個(gè)集群若是相跨較遠(yuǎn)時(shí),這種不利影響就越加明顯,所以優(yōu)選地,通過(guò)將需要被跨集群訪問(wèn)的數(shù)據(jù)事先復(fù)制到所述發(fā)出訪問(wèn)請(qǐng)求的集群。

圖5示出根據(jù)本申請(qǐng)一個(gè)優(yōu)選實(shí)施例的一種多集群管理方法的流程圖。在所述優(yōu)選實(shí)施例中,所述多集群管理方法包括步驟S41’、步驟S42’、步驟S44’和步驟S43’,其中,優(yōu)選地,所述步驟S43’還包括子步驟S431’和子步驟S432’。其中,在步驟S41’中,所述多集群管理設(shè)備1獲取多個(gè)集群的歷史運(yùn)行數(shù)據(jù);在步驟S42’中,所述多集群管理設(shè)備1基于所述歷史運(yùn)行數(shù)據(jù)確定所述多個(gè)集群的未來(lái)需求信息;在步驟S44’中,所述多集群管理設(shè)備1基于所述未來(lái)需求信息,檢測(cè)所述多個(gè)集群的當(dāng)前資源分布是否滿足所述未來(lái)需求信息;在步驟S43’中,所述多集群管理設(shè)備1用于若所述當(dāng)前資源分布未滿足所述未來(lái)需求信息,基于所述未來(lái)需求信息確定所述多個(gè)集群中的業(yè)務(wù)分布信息。其中,在子步驟S431’中,所述多集群管理設(shè)備1用于所述當(dāng)前資源分布未滿足所述未來(lái)需求信息,確定所述多個(gè)集群中待調(diào)整業(yè)務(wù)單元;其中,在子步驟S432’中,所述多集群管理設(shè)備1用于確定所述待調(diào)整業(yè)務(wù)單元在所述多個(gè)集群中的對(duì)應(yīng)目的集群。在此,所述步驟S41’、步驟S42’與圖4所示出的步驟S41、步驟S42對(duì)應(yīng)相同或基本相同,故此處不再贅述,并通過(guò)引用的方式包含于此。

在所述優(yōu)選實(shí)施例中,所述集群配置信息包括所述多個(gè)集群中的業(yè)務(wù)分布信息,其中,在步驟S44’中,所述多集群管理設(shè)備1基于所述未來(lái)需求信息,檢測(cè)所述多個(gè)集群的當(dāng)前資源分布是否滿足所述未來(lái)需求信息。具體地,所述未來(lái)需求信息包括未來(lái)一段時(shí)間里,所述多個(gè)集群在若干個(gè)維度上數(shù)據(jù)處理任務(wù)占用集群各類資源的需求信息,當(dāng)前資源分布可以包括當(dāng)前所述多個(gè)集群在若干個(gè)維度各類資源配額相關(guān)信息,如所述存儲(chǔ)、計(jì)算和帶寬等資源配額信息。在此,在當(dāng)前資源分布的基礎(chǔ)上,評(píng)估各個(gè)維度的存儲(chǔ)、計(jì)算和帶寬資源是否滿足所述未來(lái)需求信息,即未來(lái)一段時(shí)間里各維度資源使用或占有的預(yù)測(cè)。為了保證整個(gè)集群的數(shù)據(jù)處理任務(wù)可以順利進(jìn)行,一般要求所述多個(gè)集群當(dāng)前的資源分布要滿足所述未來(lái) 需求信息,即要求各個(gè)維度的資源配額要相對(duì)富余。若通過(guò)所述檢測(cè)操作,所述多個(gè)集群的當(dāng)前資源分布滿足所述未來(lái)需求信息,則可以默認(rèn)當(dāng)前多個(gè)集群的資源分布和業(yè)務(wù)配置是較為合理的,能夠順利進(jìn)行各個(gè)數(shù)據(jù)處理任務(wù),此時(shí),優(yōu)選地,并不需要對(duì)當(dāng)前的業(yè)務(wù)分布情況進(jìn)行變動(dòng)。若是所述當(dāng)前資源分布未滿足所述未來(lái)需求信息,則在步驟S43’中,所述多集群管理設(shè)備1將基于所述未來(lái)需求信息確定所述多個(gè)集群中的業(yè)務(wù)分布信息。在此,所述多個(gè)集群中的業(yè)務(wù)分布信息的確定包括對(duì)各個(gè)集群內(nèi)部的具體業(yè)務(wù)的重新部署,如對(duì)所述業(yè)務(wù)單元、甚至是對(duì)具體數(shù)據(jù)項(xiàng)的重新布局,例如,調(diào)整集群中的業(yè)務(wù)單元布局,及時(shí)調(diào)出不適宜所述集群的業(yè)務(wù)單元到其他集群中。

在此,優(yōu)選地,所述步驟S43’還包括子步驟S431’和子步驟S432’。具體地,在子步驟S431’中,所述當(dāng)前資源分布未滿足所述未來(lái)需求信息時(shí),所述多集群管理設(shè)備1將確定所述多個(gè)集群中待調(diào)整業(yè)務(wù)單元。在本申請(qǐng)中,所述各個(gè)維度的各個(gè)數(shù)據(jù)對(duì)象之間都存在一定的數(shù)據(jù)依賴關(guān)系,如數(shù)據(jù)項(xiàng)之間、業(yè)務(wù)單元之間、集群之間,以所述數(shù)據(jù)項(xiàng)之間的數(shù)據(jù)依賴關(guān)系為例,某個(gè)數(shù)據(jù)處理任務(wù)讀取某個(gè)數(shù)據(jù)項(xiàng)A,進(jìn)行加工處理之后,輸出了數(shù)據(jù)項(xiàng)B,此時(shí),所述數(shù)據(jù)項(xiàng)B是由所述數(shù)據(jù)項(xiàng)A處理得到的,即所述數(shù)據(jù)項(xiàng)B即依賴于所述數(shù)據(jù)項(xiàng)A,該依賴關(guān)系即為本申請(qǐng)中所述數(shù)據(jù)項(xiàng)之間的數(shù)據(jù)依賴關(guān)系。此外,在實(shí)際應(yīng)用中,所述數(shù)據(jù)項(xiàng)還會(huì)劃分各個(gè)數(shù)據(jù)項(xiàng)分區(qū),例如按照日期分區(qū),例如,上述數(shù)據(jù)項(xiàng)A化為分區(qū)A1、A2、A3……,此時(shí),所述數(shù)據(jù)項(xiàng)B依賴的是A的各個(gè)具體分區(qū)。進(jìn)一步,所述兩個(gè)業(yè)務(wù)單元(或集群)之間的數(shù)據(jù)依賴關(guān)系,就是其中一個(gè)業(yè)務(wù)單元有多少數(shù)據(jù)項(xiàng)是依賴另一個(gè)業(yè)務(wù)單元(或集群)中的數(shù)據(jù)項(xiàng)。在此,當(dāng)一個(gè)集群中各個(gè)業(yè)務(wù)單元之間的數(shù)據(jù)依賴關(guān)系緊密時(shí),如該集群內(nèi)某一業(yè)務(wù)單元的數(shù)據(jù)的訪問(wèn)大部分在本集群內(nèi)部完成,則一般跨集群的資源訪問(wèn)的比例就相應(yīng)較少,集群內(nèi)部數(shù)據(jù)傳輸比跨集群數(shù)據(jù)訪問(wèn)會(huì)更加高效和節(jié)省資源;反之,若是一個(gè)集群中各個(gè)業(yè)務(wù)單元之間的數(shù)據(jù)依賴關(guān)系松散,則該集群中的業(yè)務(wù)單元對(duì)應(yīng)的數(shù)據(jù)傳輸和交換就會(huì)占用更多的資源,對(duì)此,就會(huì)有進(jìn)一步優(yōu)化的可能。所以,在此,若是所述當(dāng)前資源分布未滿足所 述未來(lái)需求信息時(shí),則可以通過(guò)比較從相應(yīng)集群中確定與其他業(yè)務(wù)單元的數(shù)據(jù)依賴關(guān)系松散的業(yè)務(wù)單元為待調(diào)整的業(yè)務(wù)單元,通過(guò)將松散待調(diào)整業(yè)務(wù)單元的調(diào)出,來(lái)優(yōu)化相應(yīng)集群的資源分布。進(jìn)而,在子步驟S432’中,為所述待調(diào)整業(yè)務(wù)單元尋找適合的集群,例如與其數(shù)據(jù)依賴關(guān)系更為緊密的其他集群,作為調(diào)整對(duì)應(yīng)的目的集群。

更優(yōu)選地,在子步驟S431’中,基于所述多個(gè)集群中各個(gè)業(yè)務(wù)單元的未來(lái)需求信息,分別計(jì)算每個(gè)業(yè)務(wù)單元與其他在相同集群中的各個(gè)業(yè)務(wù)單元之間的第一數(shù)據(jù)依賴量值之和;確定所述第一數(shù)據(jù)依賴量值之和最小的業(yè)務(wù)單元為相應(yīng)集群中的所述待調(diào)整業(yè)務(wù)單元。

具體地,在此,所述第一數(shù)據(jù)依賴量值的確定方式,優(yōu)選地,以被依賴數(shù)據(jù)項(xiàng)的大小為量化基礎(chǔ),例如,數(shù)據(jù)項(xiàng)D1依賴數(shù)據(jù)項(xiàng)C1,相應(yīng)的數(shù)據(jù)依賴量值的的大小就是數(shù)據(jù)項(xiàng)C1的大小V1,進(jìn)而,若所述某集群中有業(yè)務(wù)單元1與業(yè)務(wù)單元2,若業(yè)務(wù)單元1中的數(shù)據(jù)項(xiàng)D1依賴業(yè)務(wù)單元2中的數(shù)據(jù)項(xiàng)C1,對(duì)應(yīng)一個(gè)數(shù)據(jù)依賴量值V1,業(yè)務(wù)單元1中的數(shù)據(jù)項(xiàng)D2依賴業(yè)務(wù)單元2中的數(shù)據(jù)項(xiàng)C2,對(duì)應(yīng)一個(gè)數(shù)據(jù)依賴量值V2,…業(yè)務(wù)單元1中的數(shù)據(jù)項(xiàng)Dn依賴業(yè)務(wù)單元2中的數(shù)據(jù)項(xiàng)Cn,對(duì)應(yīng)一個(gè)數(shù)據(jù)依賴量值Vn,以此規(guī)律,則業(yè)務(wù)單元1依賴業(yè)務(wù)單元2的所述第一數(shù)據(jù)依賴量值即為V1+V2+……Vn,以此類推,將所述業(yè)務(wù)單元1與對(duì)應(yīng)集群內(nèi)部其他各個(gè)業(yè)務(wù)單元的各個(gè)第一數(shù)據(jù)依賴量值相加,就得到了所述的第一數(shù)據(jù)依賴量值之和。進(jìn)而,相比較之下,所述第一數(shù)據(jù)依賴量值之和最小的業(yè)務(wù)單元,其與集群中其他各個(gè)業(yè)務(wù)單元的數(shù)據(jù)依賴關(guān)系,最為松散,說(shuō)明集群間便捷訪問(wèn)的優(yōu)勢(shì),該業(yè)務(wù)單元獲益最少,此時(shí),優(yōu)選地,將該業(yè)務(wù)單元確定為相應(yīng)集群中的所述待調(diào)整業(yè)務(wù)單元。

在本方案中,所述多個(gè)集群中當(dāng)前資源分布未滿足所述未來(lái)需求信息的各個(gè)集群中,都可能各自對(duì)應(yīng)一個(gè)或多個(gè)待調(diào)整業(yè)務(wù)單元。

在此,本領(lǐng)域技術(shù)人員應(yīng)能理解,所述第一數(shù)據(jù)依賴量值、以及對(duì)所述第一數(shù)據(jù)依賴量值的優(yōu)選的確定方式僅為舉例,其他現(xiàn)有的或今后可能出現(xiàn)的其他數(shù)據(jù)信息、或與所述其他數(shù)據(jù)信息對(duì)應(yīng)的確定方式、或所述第一數(shù)據(jù)依賴量值的其他確定方式如可適用于本發(fā)明,也應(yīng)包含在本發(fā)明保 護(hù)范圍以內(nèi),并在此以引用方式包含于此。

更優(yōu)選地,在子步驟S432’中,計(jì)算所述多個(gè)集群中待調(diào)整業(yè)務(wù)單元與每個(gè)候選目的集群上的各個(gè)業(yè)務(wù)單元之間的第二數(shù)據(jù)依賴量值之和,并按照所述第二數(shù)據(jù)依賴量值之和由大到小的順序,對(duì)若干個(gè)候選目的集群進(jìn)行排序;基于所述排序的順序,將最先滿足所述待調(diào)整業(yè)務(wù)單元的未來(lái)需求信息的目的集群作為所述待調(diào)整業(yè)務(wù)單元的對(duì)應(yīng)目的集群。

具體地,對(duì)于所述相應(yīng)集群中的所述待調(diào)整業(yè)務(wù)單元,為其選擇一個(gè)調(diào)入的目的集群,在此,優(yōu)選地,基于所述第二數(shù)據(jù)依賴量值之和,在所述多個(gè)集群中為所述待選擇一個(gè)最優(yōu)的目的集群。在此,所述第二數(shù)據(jù)依賴量值之和的確定方式可以與所述第一數(shù)據(jù)依賴量值之和的確定方式形似,在此,不在贅述,并通過(guò)引用的方式包含于此。此時(shí),將所述待調(diào)整的業(yè)務(wù)單元與每個(gè)候選的集群上的各個(gè)業(yè)務(wù)單元分別進(jìn)行第二數(shù)據(jù)依賴量值求和,例如,計(jì)算得到所述待調(diào)整業(yè)務(wù)單元3與候選目的集群L1上各個(gè)業(yè)務(wù)單元之間的第二數(shù)據(jù)依賴量值之和是W1,與候選目的集群L2上各個(gè)業(yè)務(wù)單元之間的第二數(shù)據(jù)依賴量值之和是W2,……與候選目的集群Zm上各個(gè)業(yè)務(wù)單元之間的第二數(shù)據(jù)依賴量值之和是Wm,進(jìn)而對(duì)所述各個(gè)第二數(shù)據(jù)依賴量值之和由大到小進(jìn)行排序,在此,假設(shè)所述由大到小的順序是W1、W2、……Wn。第二數(shù)據(jù)依賴量值越大的候選目的集群,所述待候選業(yè)務(wù)單元與其之內(nèi)的各個(gè)業(yè)務(wù)單元聯(lián)系越密切,對(duì)應(yīng)的數(shù)據(jù)依賴關(guān)系越緊密,進(jìn)一步,基于所述排序的順序,檢測(cè)所述待候選目的集群當(dāng)前的業(yè)務(wù)分布情況,例如,各類資源的相應(yīng)配額,數(shù)據(jù)項(xiàng)的相應(yīng)部署等等,是否能夠滿足所述待調(diào)整業(yè)務(wù)單元的未來(lái)需求信息,若是當(dāng)所述待調(diào)整業(yè)務(wù)單元加入所述待候選目的集群,致使所述待候選目的集群的資源分布不能滿足待調(diào)整業(yè)務(wù)單元的所述未來(lái)需求信息,或是不能夠滿足調(diào)整后整個(gè)候選目的集群的未來(lái)需求信息,及時(shí),此時(shí)所述待候選業(yè)務(wù)單元與該候選目的集群數(shù)據(jù)依賴關(guān)系較緊密,卻仍然判斷該待候選目的集群不適合作為最終所述目的集群。基于上述判斷方法,按照所述排序的順序,將可以確定出與所述待調(diào)整業(yè)務(wù)單元關(guān)系最密切的、同時(shí)又能夠滿足所述待調(diào)整業(yè)務(wù)單元的未來(lái)需求信息的最佳待候選目的集群為所述目的集群。

優(yōu)選地,在步驟S43’中,若所述當(dāng)前資源分布未滿足所述未來(lái)需求信息,所述多集群管理設(shè)備1基于所述未來(lái)需求信息確定所述多個(gè)集群中的業(yè)務(wù)分布信息,直至所述業(yè)務(wù)分布信息滿足所述未來(lái)需求信息。

具體地,對(duì)于所述當(dāng)前資源分布未滿足所述未來(lái)需求信息的集群,當(dāng)確定了一次所述多個(gè)集群中的業(yè)務(wù)分布信息后,會(huì)基于確定的所述多個(gè)集群中的業(yè)務(wù)分布信息可能的調(diào)整情況進(jìn)行再次評(píng)估,檢測(cè)若是基于所述調(diào)整后的業(yè)務(wù)分布信息進(jìn)行集群管理,所述調(diào)整后的多個(gè)集群的業(yè)務(wù)分布信息依然無(wú)法滿足對(duì)應(yīng)的未來(lái)需求信息,則說(shuō)明一次的業(yè)務(wù)分布信息的調(diào)整,例如,一次的業(yè)務(wù)單元的調(diào)整仍然無(wú)法到達(dá)優(yōu)化集群資源的目的,此時(shí),可以再次確定所述多個(gè)集群中的業(yè)務(wù)分布信息,例如再次尋找、并調(diào)整出與所述多個(gè)集群中與其他業(yè)務(wù)單元的數(shù)據(jù)依賴關(guān)系較為松散的業(yè)務(wù)單元,以此類推,直到通過(guò)所述評(píng)估,確定所述業(yè)務(wù)分布信息滿足所述未來(lái)需求信息,則可以確定達(dá)到優(yōu)選結(jié)果。在此,所述業(yè)務(wù)分布的調(diào)整可能需要通過(guò)多次漸進(jìn)循環(huán)而最終達(dá)到較為理想的優(yōu)化狀態(tài)。

圖6示出根據(jù)本申請(qǐng)另一個(gè)優(yōu)選實(shí)施例的一種多集群管理方法的流程圖。在所述另一個(gè)優(yōu)選實(shí)施例中,所述多集群管理方法包括步驟S41”、步驟S42”和步驟S43”,其中,優(yōu)選地,所述步驟S43”還包括子步驟S435”和子步驟S436”。其中,在步驟S41”中,所述多集群管理設(shè)備1獲取多個(gè)集群的歷史運(yùn)行數(shù)據(jù);在步驟S42”中,所述多集群管理設(shè)備1基于所述歷史運(yùn)行數(shù)據(jù)確定所述多個(gè)集群的未來(lái)需求信息;在子步驟S435”中,所述多集群管理設(shè)備1基于所述未來(lái)需求信息,確定所述多個(gè)集群中集群間數(shù)據(jù)訪問(wèn)信息;在子步驟S436”中,所述多集群管理設(shè)備1基于所述集群間數(shù)據(jù)訪問(wèn)信息,確定所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息。在此,所述步驟S41”、步驟S42”與圖4所示出的步驟S41、步驟S42對(duì)應(yīng)相同或基本相同,故此處不再贅述,并通過(guò)引用的方式包含于此。

在此優(yōu)選實(shí)施例中,所述集群配置信息包括所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息,其中,在子步驟S435”中,所述多集群管理設(shè)備1基于所述未來(lái)需求信息,確定所述多個(gè)集群中集群間數(shù)據(jù)訪問(wèn)信息。具體地,在跨集群訪問(wèn)數(shù)據(jù)時(shí),若是直接遠(yuǎn)程讀取數(shù)據(jù),則可能會(huì)受到網(wǎng)絡(luò)帶寬、延時(shí)、 抖動(dòng)等因素的較大影響,特別是兩個(gè)集群若是相跨較遠(yuǎn)時(shí),這種不利影響就越加明顯,此時(shí),可以通過(guò)將需要被跨集群訪問(wèn)的數(shù)據(jù)預(yù)先復(fù)制到所述發(fā)出訪問(wèn)請(qǐng)求的集群,來(lái)提高跨集群訪問(wèn)的效率。所述具體的數(shù)據(jù)復(fù)制配置信息可以對(duì)應(yīng)于不同的維度,例如數(shù)據(jù)項(xiàng)、業(yè)務(wù)單元等不同范圍進(jìn)行部署。其中,具體復(fù)制數(shù)據(jù)的選擇、具體的配置集群的選擇等因素,對(duì)于集群間數(shù)據(jù)訪問(wèn)的最終效果會(huì)有直接的影響?;诖?,優(yōu)選地,本方案基于所述未來(lái)需求信息,確定所述多個(gè)集群中集群間數(shù)據(jù)訪問(wèn)信息。以所述數(shù)據(jù)復(fù)制配置信息對(duì)應(yīng)的配置對(duì)象是數(shù)據(jù)項(xiàng)為例,所述集群間數(shù)據(jù)訪問(wèn)信息包括一段時(shí)間內(nèi),預(yù)測(cè)的所述數(shù)據(jù)項(xiàng)被訪問(wèn)的次數(shù)和數(shù)據(jù)量等。進(jìn)而,在子步驟S436”中,所述多集群管理設(shè)備1基于所述集群間數(shù)據(jù)訪問(wèn)信息,可以確定所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息。例如,訪問(wèn)次數(shù)較多、訪問(wèn)數(shù)據(jù)量較大的數(shù)據(jù)項(xiàng)將被優(yōu)選配置,進(jìn)一步,結(jié)合集群間的資源限制,如帶寬配額等,決定配置的數(shù)據(jù)項(xiàng)的具體數(shù)量,確定合理的數(shù)據(jù)復(fù)制配置信息,更進(jìn)一步,在具體應(yīng)用過(guò)程中,還可以對(duì)一些長(zhǎng)期不再使用到的數(shù)據(jù)項(xiàng)進(jìn)行定期的清理,優(yōu)化復(fù)制數(shù)據(jù)的存儲(chǔ)空間。在此,優(yōu)選地,所述數(shù)據(jù)復(fù)制配置信息能夠滿足使跨集群復(fù)制的數(shù)據(jù)占用存儲(chǔ)盡量小,同時(shí)又能夠保證所述數(shù)據(jù)處理任務(wù)的完成效率在一個(gè)可以接收的等待范圍內(nèi)。

優(yōu)選地,在所述多集群管理設(shè)備方法中,所述集群配置信息不僅包括所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息,還包括述多個(gè)集群中的業(yè)務(wù)分布信息;其中,在子步驟S435”中,所述多集群管理設(shè)備1基于所述未來(lái)需求信息,確定所述多個(gè)集群中集群間數(shù)據(jù)訪問(wèn)信息。

具體地,基于所述未來(lái)需求信息,可以分別確定所述多個(gè)集群中的業(yè)務(wù)分布信息或所述多個(gè)集群間的數(shù)據(jù)復(fù)制配置信息等集群配置信息,進(jìn)而,基于各類集群配置信息,分別對(duì)所述多個(gè)集群進(jìn)行優(yōu)化管理。更進(jìn)一步,還可以將多種集群配置信息的綜合考慮,可以得到一個(gè)更優(yōu)化的疊加效果。例如,首先通過(guò)所述未來(lái)需求信息確定的所述多個(gè)集群中的業(yè)務(wù)分布信息,若是基于所述未來(lái)需求信息,可以得到優(yōu)化的多個(gè)集群中的業(yè)務(wù)分布信息,相比于直接基于優(yōu)選前的業(yè)務(wù)分布信息進(jìn)行的數(shù)據(jù)復(fù)制配置信息的確定,在所述優(yōu)化的業(yè)務(wù)分布信息的基礎(chǔ)上再進(jìn)行集群間數(shù)據(jù)訪問(wèn)信 息的確定,并最終得到的數(shù)據(jù)復(fù)制配置信息,會(huì)更加優(yōu)化所述多個(gè)集群間數(shù)據(jù)訪問(wèn)效率。

對(duì)于本領(lǐng)域技術(shù)人員而言,顯然本申請(qǐng)不限于上述示范性實(shí)施例的細(xì)節(jié),而且在不背離本申請(qǐng)的精神或基本特征的情況下,能夠以其他的具體形式實(shí)現(xiàn)本申請(qǐng)。因此,無(wú)論從哪一點(diǎn)來(lái)看,均應(yīng)將實(shí)施例看作是示范性的,而且是非限制性的,本申請(qǐng)的范圍由所附權(quán)利要求而不是上述說(shuō)明限定,因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化涵括在本申請(qǐng)內(nèi)。不應(yīng)將權(quán)利要求中的任何附圖標(biāo)記視為限制所涉及的權(quán)利要求。此外,顯然“包括”一詞不排除其他單元或步驟,單數(shù)不排除復(fù)數(shù)。裝置權(quán)利要求中陳述的多個(gè)單元或裝置也可以由一個(gè)單元或裝置通過(guò)軟件或者硬件來(lái)實(shí)現(xiàn)。第一,第二等詞語(yǔ)用來(lái)表示名稱,而并不表示任何特定的順序。

當(dāng)前第1頁(yè)1 2 3 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
宝坻区| 晋城| 宁陵县| 文登市| 淅川县| 禄劝| 德阳市| 剑阁县| 金溪县| 徐汇区| 斗六市| 瑞丽市| 临泽县| 邛崃市| 华坪县| 哈尔滨市| 德令哈市| 南丹县| 镇巴县| 洛隆县| 中西区| 介休市| 济南市| 商都县| 伽师县| 贺兰县| 桐庐县| 六枝特区| 股票| 封开县| 昌江| 阿尔山市| 桃源县| 柞水县| 宕昌县| 富平县| 荃湾区| 凤山市| 上林县| 博爱县| 万载县|