一種基于云計(jì)算數(shù)據(jù)中心的統(tǒng)一資源調(diào)度節(jié)能方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于云計(jì)算領(lǐng)域，具體來(lái)說(shuō)是一種基于云計(jì)算數(shù)據(jù)中心的統(tǒng)一資源調(diào)度節(jié)能方法。
【背景技術(shù)】
[0002]隨著云計(jì)算的提出和發(fā)展，數(shù)據(jù)中心的高能耗問(wèn)題開(kāi)始受到了社會(huì)各界的廣泛關(guān)注，大量的計(jì)算資源和存儲(chǔ)資源從分布式松散放置過(guò)渡到集中在云端，給能耗的高效管理帶來(lái)更大的挑戰(zhàn)。由于云計(jì)算數(shù)據(jù)中心的數(shù)據(jù)量日益增大，云計(jì)算基礎(chǔ)設(shè)施(IaaS)的設(shè)計(jì)者和管理者面臨著巨大的財(cái)政刺激和調(diào)控壓力，希望能夠找到有效的策略來(lái)降低云計(jì)算系統(tǒng)的運(yùn)行和維護(hù)成本，減少云計(jì)算數(shù)據(jù)中心的能耗，進(jìn)而減少二氧化碳排放。
[0003]目前的研究與實(shí)踐通常采取兩種方法來(lái)實(shí)現(xiàn)能效優(yōu)化:一種是數(shù)據(jù)中心采用可再生能源進(jìn)行供電；另一種方法是利用虛擬機(jī)的聚合和迀移，整合工作的虛擬機(jī)，提高物理資源的使用效率，減少能源消耗。
[0004]很多研究提出了在云計(jì)算基礎(chǔ)架構(gòu)上的各種節(jié)約能耗方法。其中大部分方法側(cè)重于具有能耗感知(Energy Aware)特性的虛擬機(jī)的分配和調(diào)度的資源管理算法。其基本思想是:減少分配給虛擬機(jī)工作的服務(wù)器數(shù)量，關(guān)閉或休眠那些閑置的沒(méi)有任何工作的機(jī)器，從而達(dá)到提高運(yùn)行設(shè)備的效率，進(jìn)而在云計(jì)算基礎(chǔ)設(shè)施層中節(jié)約能耗的目的。此外，還可以通過(guò)把虛擬機(jī)放置在最少數(shù)量的服務(wù)器上，使部分計(jì)算資源過(guò)渡到低功耗狀態(tài)，提高資源的利用率。
[0005]云計(jì)算環(huán)境中不同的工作負(fù)載也是數(shù)據(jù)中心能耗問(wèn)題面臨的挑戰(zhàn)，用戶可以運(yùn)行各種類(lèi)型的任務(wù)，如社交網(wǎng)絡(luò)、科學(xué)計(jì)算、商業(yè)服務(wù)。這些任務(wù)往往在處理器使用率、內(nèi)存和存儲(chǔ)訪問(wèn)上，表現(xiàn)出不同的特點(diǎn)。同時(shí)，所有這些不同工作負(fù)載通常在服務(wù)等級(jí)協(xié)議上，有著不同的服務(wù)質(zhì)量要求。這使得設(shè)計(jì)一個(gè)優(yōu)秀的資源調(diào)度算法，變得異常復(fù)雜。
[0006]目前，云計(jì)算數(shù)據(jù)中心內(nèi)虛擬機(jī)資源的聚合與迀移，可視為一個(gè)有著多重優(yōu)化目標(biāo)和約束條件的優(yōu)化問(wèn)題。為了找到最優(yōu)解決方案，可以把虛擬機(jī)的分配和迀移過(guò)程，看成一個(gè)多維裝填問(wèn)題(Bin Packing Problem)的實(shí)例。由于該問(wèn)題的NP-難性質(zhì)，人們已經(jīng)證明諸如 “First-Fit-Decreasing-Resource” 和 “Best-Fit-Decreasing-Resource” 的啟發(fā)式方法可以為該問(wèn)題提供良好的效果。為了評(píng)估不同的啟發(fā)式算法，研究者通常使用實(shí)驗(yàn)或仿真的方式，測(cè)試這些算法在不同的情況下的效果。但是在真實(shí)的實(shí)驗(yàn)環(huán)境中，為準(zhǔn)確分析一個(gè)數(shù)據(jù)中心的能耗，必須為其建立大量的能耗測(cè)量探頭。同時(shí)，為了測(cè)試資源調(diào)度算法的性能及后果，也需要花費(fèi)很多的精力去修改數(shù)據(jù)中心的資源調(diào)度策略。因此，模擬成為在大規(guī)模云計(jì)算數(shù)據(jù)中心上，研究具有能耗優(yōu)化的資源調(diào)度算法的最可行的辦法。

【發(fā)明內(nèi)容】

[0007]本發(fā)明針對(duì)現(xiàn)有技術(shù)中，在數(shù)據(jù)中心資源調(diào)度能耗管理上存在的復(fù)雜度高和節(jié)能效果不明顯等問(wèn)題，提出了一種基于云計(jì)算數(shù)據(jù)中心的統(tǒng)一資源調(diào)度節(jié)能方法。
[0008]包括以下步驟
[0009]步驟一、初始化數(shù)據(jù)中心所有的網(wǎng)絡(luò)節(jié)點(diǎn)和虛擬機(jī)隊(duì)列；
[0010]初始化每一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)包括:1)將各節(jié)點(diǎn)的能耗使用、資源使用設(shè)為零，包括將CPU和內(nèi)存設(shè)為零；2)為每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的使用率設(shè)定上下閾值；
[0011]將虛擬機(jī)列表集合設(shè)為空集；
[0012]步驟二、將用戶提出的虛擬機(jī)請(qǐng)求存儲(chǔ)在虛擬機(jī)隊(duì)列中；
[0013]步驟三、根據(jù)用戶提交的虛擬機(jī)請(qǐng)求，對(duì)虛擬機(jī)按照虛擬機(jī)的資源請(qǐng)求數(shù)目降序排列。
[0014]對(duì)于資源請(qǐng)求數(shù)目多的虛擬機(jī)優(yōu)先放置。
[0015]步驟四、針對(duì)排列后的虛擬機(jī)，依次遍歷所有網(wǎng)絡(luò)節(jié)點(diǎn)，判斷是否有網(wǎng)絡(luò)節(jié)點(diǎn)能夠滿足當(dāng)前虛擬機(jī)請(qǐng)求。如果滿足，進(jìn)入步驟五；否則進(jìn)入步驟六；
[0016]當(dāng)前虛擬機(jī)記為Vnij，1彡j彡n，n為請(qǐng)求資源的虛擬機(jī)的總數(shù)；Vmj初始值為資源請(qǐng)求數(shù)目最多的虛擬機(jī)；
[0017]步驟五、獲取滿足當(dāng)前虛擬機(jī)請(qǐng)求的能耗最小的網(wǎng)絡(luò)節(jié)點(diǎn)作為放置目標(biāo)節(jié)點(diǎn)，進(jìn)入步驟七；
[0018]具體為:
[0019]步驟501、依次遍歷所有網(wǎng)絡(luò)節(jié)點(diǎn)，對(duì)能滿足當(dāng)前虛擬機(jī)資源請(qǐng)求數(shù)目的網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行標(biāo)記；
[0020]如果某個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的可用資源數(shù)目大于等于當(dāng)前虛擬機(jī)的資源請(qǐng)求數(shù)目，則該網(wǎng)絡(luò)節(jié)點(diǎn)滿足虛擬機(jī)請(qǐng)求，標(biāo)記該網(wǎng)絡(luò)節(jié)點(diǎn)的布爾變量w (Node)值為1 ;
[0021]步驟502、針對(duì)標(biāo)記的各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)，分別計(jì)算虛擬機(jī)放置在各標(biāo)記網(wǎng)絡(luò)節(jié)點(diǎn)上的能耗；
[0022]使用公式ENERGY-ESTIMATE進(jìn)行計(jì)算；
[0023]步驟503、選取能耗最小的網(wǎng)絡(luò)節(jié)點(diǎn)作為放置目標(biāo)節(jié)點(diǎn)；
[0024]步驟504、將當(dāng)前虛擬機(jī)放在放置目標(biāo)節(jié)點(diǎn)上，并更新放置目標(biāo)節(jié)點(diǎn)信息，進(jìn)入步驟七。
[0025]步驟六、再次遍歷所有網(wǎng)絡(luò)節(jié)點(diǎn)，獲取剩余可用資源最多的網(wǎng)絡(luò)節(jié)點(diǎn)，迀出該節(jié)點(diǎn)上的某個(gè)虛擬機(jī)，放置當(dāng)前虛擬機(jī)，進(jìn)入步驟七；
[0026]具體為:
[0027]步驟601、遍歷所有網(wǎng)絡(luò)節(jié)點(diǎn)，尋找剩余可用資源最多的網(wǎng)絡(luò)節(jié)點(diǎn)，記為Nodek
[0028]步驟602、對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)Nodek上各虛擬機(jī)的使用資源升序排列；
[0029]步驟603、依次選取從小到大排序后的虛擬機(jī)作為待迀出虛擬機(jī)Vmt;
[0030]待迀出虛擬機(jī)Vmt初始值為節(jié)點(diǎn)Node k上使用資源最小的虛擬機(jī)；
[0031]步驟604、判斷將待迀出虛擬機(jī)Vmt迀出后，節(jié)點(diǎn)Node k的剩余可用資源能否符合當(dāng)前虛擬機(jī)Vnij的資源請(qǐng)求，如果能，將待迀出虛擬機(jī)Vm t迀出，同時(shí)將當(dāng)前虛擬機(jī)Vm.j放置到節(jié)點(diǎn)Nodek，并更新節(jié)點(diǎn)Node!/^息。否則，當(dāng)前虛擬機(jī)Vm.j沒(méi)有成功放置，返回步驟603。
[0032]步驟605、遍歷其余網(wǎng)絡(luò)節(jié)點(diǎn)，為待迀出虛擬機(jī)￥!1^尋找目標(biāo)節(jié)點(diǎn)進(jìn)行放置；
[0033]計(jì)算其余各網(wǎng)絡(luò)節(jié)點(diǎn)的當(dāng)前剩余可用資源，尋找能滿足虛擬機(jī)Vmt的資源請(qǐng)求，且虛擬機(jī)資源使用率最高的節(jié)點(diǎn)，將待迀出虛擬機(jī)Vmt迀移到該節(jié)點(diǎn)，并更新該節(jié)點(diǎn)信息。
[0034]步驟606、如果網(wǎng)絡(luò)節(jié)點(diǎn)Nodek，將使用資源最大的虛擬機(jī)迀出后，剩余的可用資源仍不滿足當(dāng)前虛擬機(jī)Vm,的資源請(qǐng)求數(shù)目，則返回步驟601繼續(xù)遍歷其余所有網(wǎng)絡(luò)節(jié)點(diǎn)。
[0035]步驟七、順序選取虛擬機(jī)隊(duì)列中的下一個(gè)虛擬機(jī)作為當(dāng)前虛擬機(jī)，返回步驟四；直至將虛擬機(jī)隊(duì)列中所有虛擬機(jī)放置完畢，算法結(jié)束。
[0036]步驟八、根據(jù)虛擬機(jī)實(shí)際使用的資源規(guī)模，對(duì)系統(tǒng)能耗進(jìn)行再優(yōu)化。
[0037]當(dāng)虛擬機(jī)隊(duì)列中所有虛擬機(jī)放置完畢后，集群中沒(méi)有新的虛擬機(jī)請(qǐng)求到來(lái)時(shí)，對(duì)集群中的每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)通過(guò)公式ENERGY-ESTIMATE計(jì)算各節(jié)點(diǎn)當(dāng)前的能耗；
[0038]具體為:首先將各節(jié)點(diǎn)上虛擬機(jī)的使用資源升序排列；然后計(jì)算各節(jié)點(diǎn)的剩余可用資源；如果某網(wǎng)絡(luò)節(jié)點(diǎn)Node上的剩余可用資源滿足另一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)上某個(gè)虛擬機(jī)Vm的使用資源，則將虛擬機(jī)Vm迀移到網(wǎng)絡(luò)節(jié)點(diǎn)Node上，更新網(wǎng)絡(luò)節(jié)點(diǎn)Node的信息，使網(wǎng)絡(luò)節(jié)點(diǎn)Node的使用資源最大化；
[0039]或者將某網(wǎng)絡(luò)節(jié)點(diǎn)使用資源較小的虛擬機(jī)迀出后，該網(wǎng)絡(luò)節(jié)點(diǎn)的剩余可用資源滿足資源使用數(shù)目更大的虛擬機(jī)，將資源較小的虛擬機(jī)迀移，放置資源使用數(shù)目更大的虛擬機(jī)并更新該網(wǎng)絡(luò)節(jié)點(diǎn)信息。
[0040]將所有網(wǎng)絡(luò)節(jié)點(diǎn)經(jīng)過(guò)迀移處理；優(yōu)化后為下一個(gè)虛擬機(jī)請(qǐng)求隊(duì)列釋放更多的剩余資源。
[0041]本發(fā)明的優(yōu)點(diǎn)在于:
[0042]1、一種基于云計(jì)算數(shù)據(jù)中心的統(tǒng)一資源調(diào)度節(jié)能方法，通過(guò)對(duì)云計(jì)算數(shù)據(jù)中心的能耗問(wèn)題進(jìn)行建模，該數(shù)學(xué)模型具有全系統(tǒng)、精確、快速、通用性、彈性、簡(jiǎn)單等特點(diǎn)。
[0043]2、一種基于云計(jì)算數(shù)據(jù)中心的統(tǒng)一資源調(diào)度節(jié)能方法，是面向能耗優(yōu)化的資源調(diào)度算法，在能耗優(yōu)化方面具有更高的效率。
[0044]3、一種基于云計(jì)算數(shù)據(jù)中心的統(tǒng)一資源調(diào)度節(jié)能方法，平衡了最小化功耗問(wèn)題和滿足SLA要求之間的矛盾關(guān)系。
【附圖說(shuō)明】
[0045]圖1為本發(fā)明一種基于云計(jì)算數(shù)據(jù)中心的統(tǒng)一資源調(diào)度節(jié)能方法流程圖；
[0046]圖2為本發(fā)明獲取目標(biāo)節(jié)點(diǎn)放置虛擬機(jī)的方法流程圖；
[0047]圖3為本發(fā)明利用虛擬機(jī)迀移算法放置虛擬機(jī)的方法流程圖。
【具體實(shí)施方式】
[0048]下面將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。
[0049]針對(duì)云計(jì)算中的能耗進(jìn)行建模，設(shè)計(jì)出合理的調(diào)度算法在不降低服務(wù)等級(jí)的前提下，降低數(shù)據(jù)中心能耗。
[0050]—種基于云計(jì)算數(shù)據(jù)中心的統(tǒng)一資源調(diào)度節(jié)能方法，輸入申請(qǐng)的虛擬機(jī)、集群節(jié)點(diǎn)以及當(dāng)前的虛擬機(jī)列表，通過(guò)運(yùn)算將輸出更新后的資源池與虛擬機(jī)列表。首先初始化網(wǎng)絡(luò)節(jié)點(diǎn)和虛擬機(jī)隊(duì)列，接下來(lái)放置和迀移虛擬機(jī)，虛擬機(jī)的放置和迀移會(huì)改變系統(tǒng)和節(jié)點(diǎn)的狀態(tài)。為了避免相互影響，虛擬機(jī)的放置和迀移將會(huì)分開(kāi)進(jìn)行。當(dāng)需要分配虛擬機(jī)列表中的虛擬機(jī)時(shí)，系統(tǒng)執(zhí)行虛擬機(jī)放置算法，選取最合適的節(jié)點(diǎn)放置虛擬機(jī)；當(dāng)虛擬機(jī)列表為空，且已經(jīng)持續(xù)了 T時(shí)間后，系統(tǒng)進(jìn)行虛擬機(jī)迀移操作。[0051 ] 如圖1所示，具體步驟如下:
[0052]步驟一、初始化數(shù)據(jù)中心所有的網(wǎng)絡(luò)節(jié)點(diǎn)和虛擬機(jī)隊(duì)列。
[0053]云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)點(diǎn)的作用是實(shí)現(xiàn)中轉(zhuǎn)、負(fù)載均衡、平分資源、冗余等功能；
[0054]集群中通常包含很多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)，每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)定義為不同的虛擬機(jī)操作，即每一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)上設(shè)有多個(gè)虛擬機(jī)；
[0055]虛擬機(jī)是云計(jì)算資源的基本調(diào)度單位，虛擬機(jī)的個(gè)數(shù)根據(jù)用戶請(qǐng)求設(shè)定。
[0056]初始化操作如下:1)、遍歷所有的網(wǎng)絡(luò)節(jié)點(diǎn)，將各網(wǎng)絡(luò)節(jié)點(diǎn)的能耗使用、資源使用(CPU、內(nèi)存等)設(shè)為零；設(shè)定各網(wǎng)絡(luò)節(jié)點(diǎn)使用率的上、下閾值。
[0057]設(shè)定使用率閾值的目的是為了提高能源效率。通過(guò)控制節(jié)點(diǎn)的資源情況在指定的范圍內(nèi)，可以節(jié)省更多的資源，同時(shí)確保節(jié)點(diǎn)的服務(wù)質(zhì)量。
[0058]2)、虛擬機(jī)列表集合設(shè)為空集；
[0059]步驟二、將用戶提出的虛擬機(jī)請(qǐng)求存儲(chǔ)在虛擬機(jī)隊(duì)列中。
[0060]當(dāng)初始化使用的網(wǎng)絡(luò)節(jié)點(diǎn)后，虛擬機(jī)隊(duì)列已經(jīng)清空。用戶提交虛擬機(jī)請(qǐng)求時(shí)，則會(huì)被存儲(chǔ)在虛擬機(jī)隊(duì)列中。然后，為每個(gè)網(wǎng)絡(luò)節(jié)