本發(fā)明涉及一種基于機(jī)器學(xué)習(xí)算法的云平臺(tái)容量規(guī)劃方法。

背景技術(shù)：

隨著云平臺(tái)應(yīng)用的日益廣泛，虛擬資源已經(jīng)成為數(shù)據(jù)中心資源分配的主要形式。在應(yīng)用系統(tǒng)投產(chǎn)和運(yùn)維階段，云平臺(tái)需要投入多少資源才能保障應(yīng)用系統(tǒng)的設(shè)計(jì)性能指標(biāo)，是困擾大多數(shù)數(shù)據(jù)中心進(jìn)行容量規(guī)劃的難題。傳統(tǒng)數(shù)據(jù)中心容量規(guī)劃主要以經(jīng)驗(yàn)為主，為了保障穩(wěn)定的系統(tǒng)性能，經(jīng)常采用過量分配資源的方式，導(dǎo)致數(shù)據(jù)中心服務(wù)器資源利用率整體非常低，造成資源浪費(fèi)。如將服務(wù)器整體有效資源利用率從20％提升至40％，將可以大幅節(jié)省數(shù)據(jù)中心物理資源投入。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的主要目的在于提供一種基于機(jī)器學(xué)習(xí)的云平臺(tái)容量規(guī)劃方法，解決上述數(shù)據(jù)中心容量規(guī)劃問題。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：一種基于機(jī)器學(xué)習(xí)的云平臺(tái)容量規(guī)劃方法，該方法為：每發(fā)生一次遷移，即根據(jù)拓?fù)浣Y(jié)構(gòu)，對(duì)相關(guān)節(jié)點(diǎn)觸發(fā)一次容量評(píng)估，響應(yīng)時(shí)間T'或物理資源利用率U_p'最先達(dá)到閾值的節(jié)點(diǎn)的虛擬資源或物理資源所能支撐的訪問量作為該云平臺(tái)的容量值。

所述響應(yīng)時(shí)間T'和物理資源利用率U_p'通過以下步驟獲得：

步驟1：采用操作系統(tǒng)底層命令，采用邏輯時(shí)鐘同步方式，實(shí)時(shí)獲取物理資源利用率U_p與虛擬資源利用率U_a，業(yè)務(wù)系統(tǒng)訪問日志。

步驟2：從訪問日志中提取占請(qǐng)求比例最大的K類請(qǐng)求，獲得每類請(qǐng)求的到達(dá)率R_k，根據(jù)U_a＝∑_kS_k×R_k，獲得第k類請(qǐng)求的服務(wù)時(shí)間S_k。進(jìn)一步獲得虛擬化資源開銷模型：

步驟3：采用隱馬爾可夫模型，結(jié)合當(dāng)前訪問日志中提取的K類請(qǐng)求，預(yù)測(cè)下一段時(shí)間每類請(qǐng)求的到達(dá)率R_k'。

步驟4：根據(jù)預(yù)測(cè)的請(qǐng)求到達(dá)率R_k'和服務(wù)時(shí)間S_k，對(duì)下一段時(shí)間的虛擬資源利用率U_a'進(jìn)行預(yù)測(cè)：U_a'＝∑_kS_k×R_k'

進(jìn)一步根據(jù)步驟2訓(xùn)練的虛擬化資源開銷模型都對(duì)下一段時(shí)間的虛擬化資源開銷U_v'進(jìn)行預(yù)測(cè)，U_v'＝∑_kaR_k^'2+bR_k'+c；

由此獲得下一段時(shí)間的物理資源利用率U_p'，U_p'＝U_a'+U_v'；

步驟5：采用隊(duì)列模型，結(jié)合每個(gè)請(qǐng)求的到達(dá)率R_k'和事務(wù)的服務(wù)時(shí)間S_k，對(duì)響應(yīng)時(shí)間T'進(jìn)行預(yù)測(cè)。

進(jìn)一步地，所述相關(guān)節(jié)點(diǎn)為：與遷移直接相關(guān)的節(jié)點(diǎn)。

本發(fā)明的有益效果在于：本發(fā)明適用于大型數(shù)據(jù)中心云平臺(tái)的容量預(yù)測(cè)和規(guī)劃，單純依靠運(yùn)維人員的經(jīng)驗(yàn)，很難準(zhǔn)確預(yù)測(cè)和估算云平臺(tái)資源使用是否合理。本發(fā)明引入了基于多項(xiàng)式回歸的云平臺(tái)資源利用率估算和基于序列分析的應(yīng)用系統(tǒng)響應(yīng)事件預(yù)測(cè)，通過預(yù)測(cè)這些性能指標(biāo)，衡量當(dāng)前云平臺(tái)資源是否可以滿足應(yīng)用系統(tǒng)運(yùn)行指標(biāo)。本發(fā)明適用于應(yīng)用系統(tǒng)上線前、業(yè)務(wù)增長期和設(shè)配運(yùn)維過程中數(shù)據(jù)中心容量規(guī)劃，在保障應(yīng)用性能的前提下，合理布局軟硬件設(shè)備。

附圖說明

圖1為云平臺(tái)容量規(guī)劃場(chǎng)景示意圖；

圖2為基于機(jī)器學(xué)習(xí)的云平臺(tái)容量規(guī)劃流程圖；

圖3為單個(gè)物理節(jié)點(diǎn)上的虛擬化資源消耗的估算準(zhǔn)確度以及計(jì)算所需時(shí)間開銷統(tǒng)計(jì)圖。

具體實(shí)施方式

動(dòng)態(tài)虛擬資源調(diào)度是主流云平臺(tái)的基本功能之一，實(shí)現(xiàn)虛擬機(jī)、容器等的動(dòng)態(tài)遷移，實(shí)現(xiàn)云平臺(tái)的負(fù)載均衡，然而由于虛擬化帶來的額外開銷，將虛擬資源運(yùn)行在不同的物理主機(jī)上，虛擬化開銷代價(jià)也各不相同，從而影響整個(gè)云平臺(tái)的容量。本發(fā)明的容量預(yù)測(cè)將綜合考慮每臺(tái)物理主機(jī)和每臺(tái)虛擬主機(jī)能夠支撐的應(yīng)用系統(tǒng)的最大訪問量，形成動(dòng)態(tài)的集群容量布局規(guī)劃，結(jié)合動(dòng)態(tài)資源調(diào)度來實(shí)現(xiàn)動(dòng)態(tài)實(shí)時(shí)容量預(yù)測(cè)。

本發(fā)明結(jié)合云平臺(tái)采用的動(dòng)態(tài)遷移策略，實(shí)時(shí)計(jì)算物理服務(wù)器的負(fù)載狀態(tài)，實(shí)時(shí)計(jì)算每臺(tái)服務(wù)當(dāng)前的容量使用情況和能夠承受的最大容量。由于云平臺(tái)的資源開銷包括應(yīng)用開銷和虛擬化開銷，其中虛擬化開銷與應(yīng)用系統(tǒng)特點(diǎn)、虛擬機(jī)配置和虛擬機(jī)部都有關(guān)系，因此虛擬機(jī)遷移前后，云平臺(tái)整體的容量會(huì)隨之發(fā)生變化。本發(fā)明通過遷移直接相關(guān)的節(jié)點(diǎn)對(duì)特定業(yè)務(wù)的容量規(guī)劃分析，可以準(zhǔn)確預(yù)測(cè)調(diào)度云平臺(tái)的容量。每發(fā)生一次虛擬機(jī)遷移，即根據(jù)拓?fù)浣Y(jié)構(gòu)，對(duì)相關(guān)節(jié)點(diǎn)觸發(fā)一次容量評(píng)估，響應(yīng)時(shí)間T'或物理資源利用率U_p'最先達(dá)到閾值的節(jié)點(diǎn)的虛擬資源或物理資源所能支撐的業(yè)務(wù)量作為該云平臺(tái)的容量值。

其中，所述響應(yīng)時(shí)間T'和物理資源利用率U_p'通過以下步驟獲得：

步驟1：采用操作系統(tǒng)底層命令，采用邏輯時(shí)鐘同步方式，實(shí)時(shí)獲取物理資源利用率U_p與虛擬資源利用率U_a，業(yè)務(wù)系統(tǒng)訪問日志，作為數(shù)據(jù)中心容量規(guī)劃的基礎(chǔ)。本發(fā)明采用邏輯時(shí)鐘同步方式，實(shí)現(xiàn)各節(jié)點(diǎn)數(shù)據(jù)選取時(shí)間間隔的一致性。

步驟2：云平臺(tái)性能分析，包括兩個(gè)部分：應(yīng)用服務(wù)時(shí)間估算和平臺(tái)虛擬化開銷估算，分別從應(yīng)用系統(tǒng)資源消耗和虛擬化管理資源消耗兩個(gè)方面進(jìn)行分析。

復(fù)雜用系統(tǒng)包含大量的服務(wù)請(qǐng)求，每類請(qǐng)求對(duì)應(yīng)的資源開銷存在明顯差異，應(yīng)用系統(tǒng)服務(wù)時(shí)間估算變得非常復(fù)雜。本發(fā)明針對(duì)復(fù)雜混合事務(wù)，設(shè)計(jì)一套多元回歸分析方法，估算每類訪問請(qǐng)求的服務(wù)時(shí)間。具體如下：

從訪問日志中提取占請(qǐng)求比例最大的K類請(qǐng)求，獲得每類請(qǐng)求的到達(dá)率R_k，根據(jù)U_a＝∑_kS_k×R_k，獲得第k類請(qǐng)求的服務(wù)時(shí)間S_k。

在應(yīng)用系統(tǒng)事務(wù)服務(wù)時(shí)間估算的基礎(chǔ)上，結(jié)合應(yīng)用系統(tǒng)訪問請(qǐng)求負(fù)載變化條件下，服務(wù)器整體資源利用率的預(yù)測(cè)。虛擬環(huán)境下，虛擬化將帶來額外的資源開銷，因此資源利用率預(yù)測(cè)也將分為兩個(gè)部分，即事務(wù)相關(guān)的應(yīng)用資源開銷和虛擬化相關(guān)的開銷，其中虛擬化資源開銷同樣也與應(yīng)用系統(tǒng)負(fù)載直接相關(guān)。以CPU資源利用率為例，除事務(wù)的CPU計(jì)算需求外，虛擬化層將應(yīng)用事務(wù)映射到物理層指令的過程也需要CPU計(jì)算開銷，應(yīng)用事務(wù)負(fù)載越重，虛擬化資源開銷也會(huì)越多。

在云平臺(tái)虛擬化環(huán)境下，服務(wù)器資源利用率不僅受應(yīng)用系統(tǒng)影響，虛擬化以及虛擬資源管理也會(huì)帶來資源開銷，虛擬化開銷主要體現(xiàn)在虛擬化管理層將應(yīng)用系統(tǒng)的虛擬指令轉(zhuǎn)化為物理機(jī)的指令，虛擬化管理開銷取決于虛擬資源的調(diào)度開銷，實(shí)驗(yàn)發(fā)現(xiàn)這些開銷都與虛擬機(jī)上應(yīng)用系統(tǒng)的負(fù)載相關(guān)，負(fù)載越大尤其是IO負(fù)載越大，虛擬化帶來的資源開銷也會(huì)越大。多項(xiàng)式模型是曲線擬合的常用方式，虛擬化資源開銷的定義如下：

其中U_v表示服務(wù)器虛擬化資源開銷，定義為R表示應(yīng)用系統(tǒng)資源到達(dá)率；K和n分別表示虛擬機(jī)個(gè)數(shù)和虛擬機(jī)k上的事務(wù)個(gè)數(shù)。

在分析過程中，i的值越大，擬合準(zhǔn)確度通常越高，算法復(fù)雜度也會(huì)響應(yīng)增加，實(shí)際應(yīng)用過程中，通常會(huì)在計(jì)算復(fù)雜度和準(zhǔn)確度之間做個(gè)平衡，為此我們進(jìn)行大量實(shí)驗(yàn)，對(duì)單個(gè)物理節(jié)點(diǎn)上的虛擬化資源消耗的估算準(zhǔn)確度以及計(jì)算所需時(shí)間開銷統(tǒng)計(jì)如下。準(zhǔn)確度時(shí)間隨多項(xiàng)式次數(shù)增加呈緩慢增長趨勢(shì)，而時(shí)間復(fù)雜度增長迅速，選取二次多項(xiàng)式是較好折衷方案，具體如下：

a,b,c為多項(xiàng)式系數(shù)，

步驟3：采用隱馬爾可夫模型，結(jié)合當(dāng)前訪問日志中提取的K類請(qǐng)求，預(yù)測(cè)下一段時(shí)間每類請(qǐng)求的到達(dá)率R_k'。

步驟4：根據(jù)預(yù)測(cè)的請(qǐng)求到達(dá)率R_k'和服務(wù)時(shí)間S_k，對(duì)下一段時(shí)間的虛擬資源利用率U_a'進(jìn)行預(yù)測(cè)：U_a'＝∑_kS_k×R_k'

進(jìn)一步根據(jù)步驟2訓(xùn)練的虛擬化資源開銷模型都對(duì)下一段時(shí)間的虛擬化資源開銷U_v'進(jìn)行預(yù)測(cè)，以預(yù)測(cè)特定負(fù)載情況下的平臺(tái)資源利用率，U_v'＝∑_kaR_k^'2+bR_k'+c；

由此獲得下一段時(shí)間的物理資源利用率U_p'，U_p'＝U_a'+U_v'；

步驟5：采用隊(duì)列模型，結(jié)合每個(gè)請(qǐng)求的到達(dá)率R_k'和事務(wù)的服務(wù)時(shí)間S_k，對(duì)響應(yīng)時(shí)間T'進(jìn)行預(yù)測(cè)。響應(yīng)時(shí)間是評(píng)估數(shù)據(jù)中心服務(wù)質(zhì)量的重要指標(biāo)之一，響應(yīng)時(shí)間指標(biāo)不能超出系統(tǒng)設(shè)計(jì)指標(biāo)是進(jìn)行容量規(guī)劃的前提，而準(zhǔn)確預(yù)測(cè)響應(yīng)時(shí)間變化是其中的關(guān)鍵。