一種集群智能負(fù)載管理的方法
【專利摘要】本發(fā)明提供一種集群智能負(fù)載管理的方法，通過運行一個shell腳本或者C程序來完成集群系統(tǒng)中智能負(fù)載管理，根據(jù)作業(yè)負(fù)載的變化情況，自動開啟/關(guān)閉集群中的部分節(jié)點，當(dāng)作業(yè)負(fù)載輕時，通過電源管理模塊關(guān)閉一些節(jié)點電源；當(dāng)作業(yè)負(fù)載重時，通過電源管理模塊開啟一部分節(jié)點電源，幫助集群管理者節(jié)能。該一種集群智能負(fù)載管理的方法和現(xiàn)有技術(shù)相比，可以將大量空閑節(jié)點關(guān)閉，可以給集群系統(tǒng)管理者節(jié)省大量的電費；實用性強(qiáng)，易于推廣。
【專利說明】一種集群智能負(fù)載管理的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機(jī)應(yīng)用【技術(shù)領(lǐng)域】，具體的說是一種集群智能負(fù)載管理的方法。
【背景技術(shù)】
[0002]在一個大型集群系統(tǒng)中，電費占集群系統(tǒng)管理費用的很大一部分，因為傳統(tǒng)的集群系統(tǒng)中所有的節(jié)點都處于開機(jī)狀態(tài)，不管集群節(jié)點的利用率是不是滿負(fù)荷，浪費了很多電費。
[0003]集群系統(tǒng)中大部分節(jié)點上有“電源管理模塊”，如果能夠根據(jù)作業(yè)負(fù)載情況自動的關(guān)閉/開啟節(jié)點電源，能給集群管理者節(jié)省大量的人力、財力。當(dāng)作業(yè)負(fù)載較輕時，自動關(guān)閉一部分空閑節(jié)點電源，達(dá)到節(jié)能的目的；當(dāng)作業(yè)負(fù)載重時，自動開啟一部分?jǐn)嚯姽?jié)點，來滿足作業(yè)需求，基于此，現(xiàn)提供一種集群智能負(fù)載管理的方法。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的技術(shù)任務(wù)是解決現(xiàn)有技術(shù)的不足，提供一種集群智能負(fù)載管理的方法。
[0005]本發(fā)明的技術(shù)方案是按以下方式實現(xiàn)的，該一種集群智能負(fù)載管理的方法，包括以下步驟:
步驟一、配置文件中的配置項，該配置項包括:最大上電空閑節(jié)點數(shù)、節(jié)點空閑持續(xù)時間、一次關(guān)閉操作最多節(jié)點數(shù)、輪訓(xùn)時間；
步驟二、集群系統(tǒng)中節(jié)點與節(jié)點電源管理模塊ip的對應(yīng)關(guān)系文件，格式為:
節(jié)點名節(jié)點的電源管理模塊ip，在獲取節(jié)點狀態(tài)的時候通過讀取該文件來獲取電源管理模塊的ip地址；
步驟三、啟動輪訓(xùn)節(jié)點狀態(tài)守護(hù)進(jìn)程，該守護(hù)進(jìn)程定時通過給節(jié)點電源模塊發(fā)送節(jié)點電源狀態(tài)查詢命令，通過讀取節(jié)點和節(jié)點電源管理模塊ip文件來獲取電源管理模塊的ip，然后給該ip發(fā)送獲取電源狀態(tài)的命令，來獲取節(jié)點電源狀態(tài)，并存入文件，獲取節(jié)點的電源狀態(tài)；
步驟四、啟動開關(guān)機(jī)決策守護(hù)進(jìn)程，在固定時間間隔內(nèi)，查詢是否有排隊作業(yè)、節(jié)點的空閑/忙狀態(tài)、預(yù)留的節(jié)點、電源開啟PowerOn和電源關(guān)閉PowerOff的節(jié)點數(shù)量,根據(jù)上面的查詢結(jié)果和配置文件中的配置項值來確定開關(guān)機(jī)決策，其決策過程依據(jù)是滿足集群系統(tǒng)中作業(yè)的需求，在滿足作業(yè)需求的同時冗余一定數(shù)量的空閑節(jié)點處于上電狀態(tài)，在前面的作業(yè)沒有釋放資源時，空閑節(jié)點來滿足后續(xù)提交作業(yè)的需求；當(dāng)空閑節(jié)點大于配置項最大上電空閑節(jié)點數(shù)時，就關(guān)閉一部分節(jié)點，達(dá)到節(jié)能的目的。
[0006]所述步驟三的詳細(xì)過程為:啟動輪訓(xùn)節(jié)點狀態(tài)守護(hù)進(jìn)程，在固定的間隔內(nèi)執(zhí)行，
a、通過節(jié)點電源管理模塊命令獲取節(jié)點的電源狀態(tài),返回節(jié)點PowerOn/PowerOff狀
態(tài)；
b、將節(jié)點電源狀態(tài)保存到文件PowerState.txt。
[0007]進(jìn)一步的，所述輪訓(xùn)節(jié)點狀態(tài)守護(hù)進(jìn)程的實現(xiàn)過程為: 步驟一、首先通過讀取node-map.txt,獲取一個節(jié)點的電源管理模塊的ip ；
步驟二、讀取結(jié)束時，如果到了文件尾處，則等待輪訓(xùn)時間，并返回步驟一；
步驟三、讀取未結(jié)束，則發(fā)送電源管理模塊節(jié)點電源狀態(tài)查詢命令；
步驟四、將命令返回狀態(tài)寫入PowerState.txt,然后返回步驟一。
[0008]所述步驟四的詳細(xì)過程為:啟動開關(guān)機(jī)決策守護(hù)進(jìn)程，在固定的間隔內(nèi)執(zhí)行，
a、開啟節(jié)點電源，下面兩種情況需要開啟節(jié)點:
(1)有排隊作業(yè)；根據(jù)排隊作業(yè)需要的資源，從PowerOfT節(jié)點中查找滿足作業(yè)需求的節(jié)點并將其開啟；
(2)實際空閑節(jié)點數(shù)量小于最大上電空閑節(jié)點數(shù),開啟節(jié)點個數(shù)=min((最大上電空閑節(jié)點數(shù)減實際空閑節(jié)點數(shù)量個節(jié)點數(shù))，(Poweroff節(jié)點數(shù)))；
b、關(guān)閉節(jié)點電源，實際空閑節(jié)點數(shù)量大于最大上電空閑節(jié)點數(shù)，在關(guān)閉節(jié)點時需要滿足兩個條件:一個是關(guān)閉節(jié)點的空閑時間大于配置項節(jié)點空閑持續(xù)時間；另一個條件是一次關(guān)閉的空閑節(jié)點數(shù)量小于等于配置項一次關(guān)閉操作最多節(jié)點數(shù)，其中實際空閑節(jié)點數(shù)量=空閑節(jié)點數(shù)量-預(yù)留節(jié)點數(shù)量。
[0009]本發(fā)明與現(xiàn)有技術(shù)相比所產(chǎn)生的有益效果是:
本發(fā)明的一種集群智能負(fù)載管理的方法通過運行一個shell腳本或者C程序來完成集群系統(tǒng)中智能負(fù)載管理，根據(jù)作業(yè)負(fù)載的變化情況，自動開啟/關(guān)閉集群中的部分節(jié)點，當(dāng)作業(yè)負(fù)載輕時，通過電源管理模塊關(guān)閉一些節(jié)點電源；當(dāng)作業(yè)負(fù)載重時，通過電源管理模塊開啟一部分節(jié)點電源，幫助集群管理者節(jié)能；能夠根據(jù)集群系統(tǒng)的作業(yè)和資源走勢，自動開啟、關(guān)閉集群中的節(jié)點電源；當(dāng)作業(yè)負(fù)載較輕時，將大量空閑節(jié)點關(guān)閉；當(dāng)作業(yè)負(fù)載重時，將斷電的節(jié)點重新開啟；因為電費在集群系統(tǒng)的管理費用中占很大比例，而使用該方法，可以給集群系統(tǒng)管理者節(jié)省大量的電費；實用性強(qiáng)，易于推廣。
【專利附圖】

【附圖說明】
[0010]附圖1是本發(fā)明的輪訓(xùn)節(jié)點狀態(tài)守護(hù)進(jìn)程實現(xiàn)流程圖。
[0011]附圖2是本發(fā)明的開關(guān)機(jī)決策守護(hù)進(jìn)程的實現(xiàn)流程圖。
【具體實施方式】
[0012]下面結(jié)合附圖對本發(fā)明的一種集群智能負(fù)載管理的方法作以下詳細(xì)說明。
[0013]為了解決以上問題，本文發(fā)明了一種基于linux shell或C語言的集群智能負(fù)載管理的方法，包括以下步驟:
步驟一、配置文件中的配置項，該配置項包括:最大上電空閑節(jié)點數(shù)、節(jié)點空閑持續(xù)時間、一次關(guān)閉操作最多節(jié)點數(shù)、輪訓(xùn)時間。
[0014]其具體操作過程如下所述:
寫配置文件InteliLoad.cfg,內(nèi)容如下:
#最大上電空閑節(jié)點數(shù)，根據(jù)集群規(guī)模設(shè)置，經(jīng)驗值，單位節(jié)點個數(shù)。
[0015]MaxIdleNodeNum 10
#節(jié)點空閑持續(xù)時間，經(jīng)驗值，以秒為單位。
[0016]NodeIdleDuration 60 # 一次關(guān)閉操作最多節(jié)點數(shù)，經(jīng)驗值，單位節(jié)點個數(shù)。
[0017]MaxOperatingNum 10
#輪訓(xùn)時間，多長時間檢測一次作業(yè)負(fù)載和節(jié)點狀態(tài)，經(jīng)驗值，以秒為單位。
[0018]PollIterval 120
步驟二、集群系統(tǒng)中節(jié)點與節(jié)點電源管理模塊ip的對應(yīng)關(guān)系文件，格式為:
節(jié)點名節(jié)點的電源管理模塊ip，在獲取節(jié)點狀態(tài)的時候通過讀取該文件來獲取電源管理模塊的ip地址。
[0019]其具體操作過程為:
寫集群系統(tǒng)中節(jié)點與本節(jié)點電源管理模塊ip的對應(yīng)關(guān)系文件node_map.txt,格式如
下:
#節(jié)點名節(jié)點上電源管理模塊ip Nodel 10.156.3.5 Node2 10.156.3.6 Node3 10.156.3.7
步驟三、啟動輪訓(xùn)節(jié)點狀態(tài)守護(hù)進(jìn)程，該守護(hù)進(jìn)程定時通過給節(jié)點電源模塊發(fā)送節(jié)點電源狀態(tài)查詢命令，通過讀取節(jié)點和節(jié)點電源管理模塊ip文件來獲取電源管理模塊的ip，然后給該ip發(fā)送獲取電源狀態(tài)的命令，來獲取節(jié)點電源狀態(tài)，并存入文件，獲取節(jié)點的電源狀態(tài)。
[0020]步驟四、啟動開關(guān)機(jī)決策守護(hù)進(jìn)程，在固定時間間隔內(nèi)，查詢是否有排隊作業(yè)、節(jié)點的空閑/忙狀態(tài)、預(yù)留的節(jié)點、電源開啟PowerOn和電源關(guān)閉PowerOff的節(jié)點數(shù)量,根據(jù)上面的查詢結(jié)果和配置文件中的配置項值來確定開關(guān)機(jī)決策，其決策過程依據(jù)是滿足集群系統(tǒng)中作業(yè)的需求，在滿足作業(yè)需求的同時冗余一定數(shù)量的空閑節(jié)點處于上電狀態(tài)，在前面的作業(yè)沒有釋放資源時，空閑節(jié)點來滿足后續(xù)提交作業(yè)的需求；當(dāng)空閑節(jié)點大于配置項最大上電空閑節(jié)點數(shù)時，就關(guān)閉一部分節(jié)點，達(dá)到節(jié)能的目的。
[0021]如附圖1所示，所述步驟三的詳細(xì)過程為:啟動輪訓(xùn)節(jié)點狀態(tài)守護(hù)進(jìn)程，在固定的間隔內(nèi)執(zhí)行，
a、通過節(jié)點電源管理模塊命令獲取節(jié)點的電源狀態(tài),返回節(jié)點PowerOn/PowerOff狀態(tài)。
[0022]b、將節(jié)點電源狀態(tài)保存到文件PowerState.txt。
[0023]所述輪訓(xùn)節(jié)點狀態(tài)守護(hù)進(jìn)程的實現(xiàn)過程為:
步驟一、首先通過讀取node-map.txt,獲取一個節(jié)點的電源管理模塊的ip。
[0024]步驟二、讀取結(jié)束時，如果到了文件尾處，則等待輪訓(xùn)時間，并返回步驟一。
[0025]步驟三、讀取未結(jié)束，則發(fā)送電源管理模塊節(jié)點電源狀態(tài)查詢命令。
[0026]步驟四、將命令返回狀態(tài)寫入PowerState.txt,然后返回步驟一。
[0027]如附圖2所示，所述步驟四的詳細(xì)過程為:啟動開關(guān)機(jī)決策守護(hù)進(jìn)程，在固定的間隔內(nèi)執(zhí)行，
a、開啟節(jié)點電源，下面兩種情況需要開啟節(jié)點:
(I)有排隊作業(yè)；根據(jù)排隊作業(yè)需要的資源，從PowerOfT節(jié)點中查找滿足作業(yè)需求的節(jié)點并將其開啟。
[0028](2)實際空閑節(jié)點數(shù)量小于最大上電空閑節(jié)點數(shù)，開啟節(jié)點個數(shù)=min ((最大上電空閑節(jié)點數(shù)減實際空閑節(jié)點數(shù)量個節(jié)點數(shù))，(Poweroff節(jié)點數(shù)))。
[0029]b、關(guān)閉節(jié)點電源，實際空閑節(jié)點數(shù)量大于最大上電空閑節(jié)點數(shù)，在關(guān)閉節(jié)點時需要滿足兩個條件:一個是關(guān)閉節(jié)點的空閑時間大于配置項節(jié)點空閑持續(xù)時間；另一個條件是一次關(guān)閉的空閑節(jié)點數(shù)量小于等于配置項一次關(guān)閉操作最多節(jié)點數(shù)，其中實際空閑節(jié)點數(shù)量=空閑節(jié)點數(shù)量-預(yù)留節(jié)點數(shù)量。
[0030]以上所述僅為本發(fā)明的實施例而已，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種集群智能負(fù)載管理的方法，其特征在于包括以下步驟: 步驟一、配置文件中的配置項，該配置項包括:最大上電空閑節(jié)點數(shù)、節(jié)點空閑持續(xù)時間、一次關(guān)閉操作最多節(jié)點數(shù)、輪訓(xùn)時間； 步驟二、集群系統(tǒng)中節(jié)點與節(jié)點電源管理模塊ip的對應(yīng)關(guān)系文件，格式為: 節(jié)點名節(jié)點的電源管理模塊ip，在獲取節(jié)點狀態(tài)的時候通過讀取該文件來獲取電源管理模塊的ip地址； 步驟三、啟動輪訓(xùn)節(jié)點狀態(tài)守護(hù)進(jìn)程，該守護(hù)進(jìn)程定時通過給節(jié)點電源模塊發(fā)送節(jié)點電源狀態(tài)查詢命令，通過讀取節(jié)點和節(jié)點電源管理模塊ip文件來獲取電源管理模塊的ip，然后給該ip發(fā)送獲取電源狀態(tài)的命令，來獲取節(jié)點電源狀態(tài)，并存入文件，獲取節(jié)點的電源狀態(tài)； 步驟四、啟動開關(guān)機(jī)決策守護(hù)進(jìn)程，在固定時間間隔內(nèi)，查詢是否有排隊作業(yè)、節(jié)點的空閑/忙狀態(tài)、預(yù)留的節(jié)點、電源開啟PowerOn和電源關(guān)閉PowerOff的節(jié)點數(shù)量,根據(jù)上面的查詢結(jié)果和配置文件中的配置項值來確定開關(guān)機(jī)決策，其決策過程依據(jù)是滿足集群系統(tǒng)中作業(yè)的需求，在滿足作業(yè)需求的同時冗余一定數(shù)量的空閑節(jié)點處于上電狀態(tài)，在前面的作業(yè)沒有釋放資源時，空閑節(jié)點來滿足后續(xù)提交作業(yè)的需求；當(dāng)空閑節(jié)點大于配置項最大上電空閑節(jié)點數(shù)時，就關(guān)閉一部分節(jié)點，達(dá)到節(jié)能的目的。
2.根據(jù)權(quán)利要求1所述的一種集群智能負(fù)載管理的方法，其特征在于:所述步驟三的詳細(xì)過程為:啟動輪訓(xùn)節(jié)點狀態(tài)守護(hù)進(jìn)程，在固定的間隔內(nèi)執(zhí)行， a、通過節(jié)點電源管理模塊命令獲取節(jié)點的電源狀態(tài),返回節(jié)點PowerOn/PowerOff狀態(tài)； b、將節(jié)點電源狀態(tài)保存到文件PowerState.txt。
3.根據(jù)權(quán)利要求2所述的一種集群智能負(fù)載管理的方法，其特征在于:所述輪訓(xùn)節(jié)點狀態(tài)守護(hù)進(jìn)程的實現(xiàn)過程為: 步驟1、首先通過讀取node-map.txt,獲取一個節(jié)點的電源管理模塊的ip ； 步驟2、讀取結(jié)束時，如果到了文件尾處，則等待輪訓(xùn)時間，并返回步驟I ; 步驟3、讀取未結(jié)束，則發(fā)送電源管理模塊節(jié)點電源狀態(tài)查詢命令； 步驟4、將命令返回狀態(tài)寫入PowerState.txt,然后返回步驟I。
4.根據(jù)權(quán)利要求1所述的一種集群智能負(fù)載管理的方法，其特征在于:所述步驟四的詳細(xì)過程為:啟動開關(guān)機(jī)決策守護(hù)進(jìn)程，在固定的間隔內(nèi)執(zhí)行， a、開啟節(jié)點電源，下面兩種情況需要開啟節(jié)點: (1)有排隊作業(yè)；根據(jù)排隊作業(yè)需要的資源，從PowerOfT節(jié)點中查找滿足作業(yè)需求的節(jié)點并將其開啟； (2)實際空閑節(jié)點數(shù)量小于最大上電空閑節(jié)點數(shù),開啟節(jié)點個數(shù)=min((最大上電空閑節(jié)點數(shù)減實際空閑節(jié)點數(shù)量個節(jié)點數(shù))，(Poweroff節(jié)點數(shù)))； b、關(guān)閉節(jié)點電源，實際空閑節(jié)點數(shù)量大于最大上電空閑節(jié)點數(shù)，在關(guān)閉節(jié)點時需要滿足兩個條件:一個是關(guān)閉節(jié)點的空閑時間大于配置項節(jié)點空閑持續(xù)時間；另一個條件是一次關(guān)閉的空閑節(jié)點數(shù)量小于等于配置項一次關(guān)閉操作最多節(jié)點數(shù)，其中實際空閑節(jié)點數(shù)量=空閑節(jié)點數(shù)量-預(yù)留節(jié)點數(shù)量。
【文檔編號】G06F1/32GK103645956SQ201310695452
【公開日】2014年3月19日 申請日期:2013年12月18日 優(yōu)先權(quán)日:2013年12月18日
【發(fā)明者】焦芬芳 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司