基于性能模型的云平臺(tái)性能評(píng)測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及云平臺(tái)性能評(píng)測(cè)領(lǐng)域，特別是一種基于性能模型的云平臺(tái)性能評(píng)測(cè)方 法。
【背景技術(shù)】
[0002] 云計(jì)算已經(jīng)成為當(dāng)前計(jì)算機(jī)科學(xué)學(xué)術(shù)界和工業(yè)界最重要最熱門的研究主題之一。 基礎(chǔ)設(shè)施即服務(wù)是最基礎(chǔ)的云服務(wù)模型，基礎(chǔ)設(shè)施云提供商一般以虛擬機(jī)的形式將計(jì)算資 源和其他的一些資源提供給用戶。一般會(huì)提供的資源包括虛擬機(jī)鏡像、塊存儲(chǔ)或文件存儲(chǔ)、 防火墻、IP地址、虛擬局域網(wǎng)、負(fù)載均衡器等等。隨著云計(jì)算熱潮的出現(xiàn)，云環(huán)境下的性能 評(píng)測(cè)也獲得了越來越廣泛的關(guān)注。不管是云服務(wù)提供商還是個(gè)人用戶，他們都希望有公平 準(zhǔn)確的性能評(píng)測(cè)標(biāo)準(zhǔn)對(duì)各種公有云和私有云平臺(tái)適用。但是云環(huán)境的復(fù)雜性使得對(duì)云的性 能評(píng)測(cè)異于對(duì)傳統(tǒng)虛擬化集群系統(tǒng)進(jìn)行的性能評(píng)測(cè)。為了評(píng)測(cè)云系統(tǒng)的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等 不同方面的性能，需要用到各種各樣的負(fù)載，在這些負(fù)載之上會(huì)產(chǎn)生龐大的參數(shù)空間。而除 了這些基礎(chǔ)性能之外，還需要對(duì)云的可靠性、可擴(kuò)展性、可用性等多種其他方面進(jìn)行評(píng)估才 能正確衡量一個(gè)云系統(tǒng)的能力。這些要求大大增加了性能評(píng)測(cè)工具的設(shè)計(jì)難度。目前已經(jīng) 出現(xiàn)了各種各樣的分布式系統(tǒng)性能評(píng)測(cè)工具，但是它們或者受限于云系統(tǒng)和測(cè)試負(fù)載的種 類，或者需要大量人工參與工作才能結(jié)束一個(gè)完整的測(cè)試周期。對(duì)能支持多種云系統(tǒng)并且 負(fù)載集可擴(kuò)展的自動(dòng)化性能評(píng)測(cè)工具和相關(guān)評(píng)測(cè)方法的需求非常迫切。
[0003] 在對(duì)云系統(tǒng)進(jìn)行性能評(píng)測(cè)時(shí)會(huì)遇到各種復(fù)雜的測(cè)試場(chǎng)景，如靜態(tài)并行場(chǎng)景和動(dòng)態(tài) 增量場(chǎng)景。在這些場(chǎng)景下會(huì)用到各種不同的負(fù)載，每個(gè)負(fù)載都有很多可選擇的配置參數(shù)。 多種負(fù)載的組合測(cè)試下，生成的數(shù)據(jù)量和與之對(duì)應(yīng)的參數(shù)設(shè)置量更加隨負(fù)載數(shù)的增多而迅 速增大。為了從如此多的數(shù)據(jù)中過濾出真正有意義的數(shù)據(jù)，并從中窺得云系統(tǒng)的性能和潛 力，需要一種好的建模方法和性能模型，來對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析解讀，并準(zhǔn)確地描述云系統(tǒng) 的綜合性能。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明針對(duì)上述云平臺(tái)性能評(píng)測(cè)所遇到的問題，結(jié)合優(yōu)化設(shè)計(jì)的可擴(kuò)展自動(dòng)化性 能測(cè)試框架，提出了一種基于一系列基本模式和復(fù)雜模式的應(yīng)用場(chǎng)景實(shí)驗(yàn)建立得到的新的 性能模型，在該框架中作為一個(gè)評(píng)測(cè)數(shù)據(jù)評(píng)估分析的模塊，來對(duì)可擴(kuò)展的云平臺(tái)性能評(píng)測(cè) 得到的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析解讀，并描述云系統(tǒng)的可擴(kuò)展性。
[0005]本發(fā)明的技術(shù)方案提供了一種基于性能模型的云平臺(tái)性能評(píng)測(cè)方法，包括：
[0006] 對(duì)各類云系統(tǒng)的接口進(jìn)行抽象和總結(jié)，并對(duì)云資源操作邏輯進(jìn)行封裝，使得在測(cè) 試時(shí)，自動(dòng)化分配和管理所述云資源；
[0007] 基于全新建模方式得到的性能評(píng)測(cè)模塊對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析解讀，對(duì)被測(cè)的云系 統(tǒng)各個(gè)方面的性能進(jìn)行擴(kuò)展性分析，歸納所述被測(cè)的云系統(tǒng)的規(guī)模變化時(shí)的性能模型，得 到相應(yīng)應(yīng)用場(chǎng)景下該云系統(tǒng)的性能的變化趨勢(shì)和峰值。
[0008] 可選的，所述抽象包括所述云系統(tǒng)的基礎(chǔ)信息以及用于操作所述云資源的一系列 接口。
[0009] 可選的，所述基于全新建模方式得到的性能評(píng)測(cè)模塊對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析解讀， 對(duì)被測(cè)的云系統(tǒng)各個(gè)方面的性能進(jìn)行擴(kuò)展性分析包括：數(shù)據(jù)收集及建模分析模塊負(fù)責(zé)對(duì)測(cè) 試結(jié)果的數(shù)據(jù)進(jìn)行收集、提取、分類工作，并分別從計(jì)算能力、網(wǎng)絡(luò)能力、存儲(chǔ)能力以及性能 歸納四個(gè)方面進(jìn)行建模分析，給出可擴(kuò)展性和性能分析結(jié)果。
[0010] 本發(fā)明的技術(shù)方案具有以下優(yōu)勢(shì)：
[0011] 通過對(duì)各類云系統(tǒng)的接口進(jìn)行抽象和總結(jié)，將復(fù)雜的云資源操作邏輯進(jìn)行封裝， 實(shí)現(xiàn)測(cè)試時(shí)自動(dòng)化分配和管理云端資源，并且由基于全新建模方式得到的性能評(píng)測(cè)模塊來 對(duì)大量的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析解讀，對(duì)被測(cè)云系統(tǒng)各個(gè)方面的性能進(jìn)行擴(kuò)展性分析，歸納被 測(cè)云系統(tǒng)規(guī)模變化時(shí)的性能模型，最終可以較為直觀的得到相應(yīng)應(yīng)用場(chǎng)景下云系統(tǒng)性能的 變化趨勢(shì)、峰值等情況，以此達(dá)到對(duì)云系統(tǒng)的性能評(píng)測(cè)和部署指導(dǎo)的作用。本發(fā)明幫助測(cè)試 人員從眾多的數(shù)據(jù)中過濾出正真有意義的數(shù)據(jù)，并從中窺得云系統(tǒng)的性能和潛力，給出相 應(yīng)應(yīng)用場(chǎng)景下的性能變化及其趨勢(shì)，為部署和維護(hù)云系統(tǒng)環(huán)境起到參考和指導(dǎo)作用。本發(fā) 明能夠減輕測(cè)試者進(jìn)行云性能評(píng)估時(shí)的工作量，預(yù)期它能為相關(guān)對(duì)云性能的研究工作提供 幫助和支持。
【附圖說明】
[0012] 圖1是本發(fā)明實(shí)施例提供的工作流程圖；
[0013] 圖2是本發(fā)明實(shí)施例提供的計(jì)算性能建模圖。
【具體實(shí)施方式】
[0014] 為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更為明顯易懂，下面結(jié)合附圖對(duì)本發(fā)明 的【具體實(shí)施方式】做詳細(xì)的說明。
[0015] 在以下描述中闡述了具體細(xì)節(jié)以便于充分理解本發(fā)明。但是本發(fā)明能夠以多種不 同于在此描述的其它方式來實(shí)施，本領(lǐng)域技術(shù)人員可以在不違背本發(fā)明內(nèi)涵的情況下做類 似推廣。因此本發(fā)明不受下面公開的【具體實(shí)施方式】的限制。
[0016] 結(jié)合圖1詳細(xì)說明本發(fā)明的技術(shù)方案：
[0017] -種基于性能模型的云平臺(tái)性能評(píng)測(cè)方法，包括：
[0018]S1，對(duì)各類云系統(tǒng)的接口進(jìn)行抽象和總結(jié)，并對(duì)云資源操作邏輯進(jìn)行封裝，使得在 測(cè)試時(shí)，自動(dòng)化分配和管理所述云資源；
[0019]S2,基于全新建模方式得到的性能評(píng)測(cè)模塊對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析解讀，對(duì)被測(cè)的 云系統(tǒng)各個(gè)方面的性能進(jìn)行擴(kuò)展性分析，歸納所述被測(cè)的云系統(tǒng)的規(guī)模變化時(shí)的性能模 型，得到相應(yīng)應(yīng)用場(chǎng)景下該云系統(tǒng)的性能的變化趨勢(shì)和峰值。
[0020] 具體的，所述抽象包括所述云系統(tǒng)的基礎(chǔ)信息以及用于操作所述云資源的一系列 接口。所述基于全新建模方式得到的性能評(píng)測(cè)模塊對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析解讀，對(duì)被測(cè)的云 系統(tǒng)各個(gè)方面的性能進(jìn)行擴(kuò)展性分析包括：數(shù)據(jù)收集及建模分析模塊負(fù)責(zé)對(duì)測(cè)試結(jié)果的數(shù) 據(jù)進(jìn)行收集、提取、分類工作，并分別從計(jì)算能力、網(wǎng)絡(luò)能力、存儲(chǔ)能力以及性能歸納四個(gè)方 面進(jìn)行建模分析，給出可擴(kuò)展性和性能分析結(jié)果。
[0021] 本發(fā)明包括：⑴被測(cè)云系統(tǒng)抽象、（2)負(fù)載抽象、（3)工作流抽象、（4)分層數(shù)據(jù) 處理、（5)數(shù)據(jù)收集及建模分析。其中，被測(cè)云抽象定義一個(gè)能夠適用于多種基礎(chǔ)設(shè)施云系 統(tǒng)的抽象，這樣一個(gè)抽象需要包含一個(gè)云系統(tǒng)的基礎(chǔ)信息以及用于操作云資源的一系列接 口；負(fù)載抽象提供了一個(gè)負(fù)載集合（WorkloadSet)，能夠支持一系列針對(duì)多個(gè)云系統(tǒng)不同 方面的自動(dòng)化性能測(cè)試；工作流抽象通過支持python和shell兩種語言接口來達(dá)到靈活 性，默認(rèn)分為四個(gè)階段，分別是準(zhǔn)備階段（Pr印areStage)、測(cè)試階段（RunStage)、停止階 段（StopStage)和后續(xù)處理階段（PostStage)，這四個(gè)階段能夠適用于大多數(shù)的負(fù)載，在 一些特殊負(fù)載需要的情況下，也是可以由用戶定制不同階段的處理過程；分層數(shù)據(jù)處理定 義了一個(gè)數(shù)據(jù)集成接口，用來對(duì)一個(gè)測(cè)試中不同負(fù)載的結(jié)果進(jìn)行歸納和總結(jié)；數(shù)據(jù)收集及 建模分析模塊負(fù)責(zé)對(duì)測(cè)試結(jié)果的數(shù)據(jù)進(jìn)行收集、提取、分類工作，并分別從計(jì)算能力、網(wǎng)絡(luò) 能力、存儲(chǔ)能力以及性能歸納四個(gè)方面進(jìn)行建模分析，給出可擴(kuò)展性和性能分析結(jié)果。
[0022] 圖1描述了本發(fā)明框架的工作流程。首先通過圖形化界面進(jìn)行測(cè)試用例的配置。 用戶需要明確被測(cè)試云系統(tǒng)類型、選擇負(fù)載集、制定負(fù)載的運(yùn)行方式以及關(guān)注的結(jié)果數(shù)據(jù) 設(shè)置。這部分都屬于測(cè)試工作模塊，測(cè)試流程設(shè)置好后，將被測(cè)云引入測(cè)試模塊，按照設(shè)置 的方案作用于被測(cè)云，將得到大量的原始測(cè)試結(jié)果數(shù)據(jù)。在對(duì)被測(cè)云進(jìn)行測(cè)試過程中，評(píng)測(cè) 分析模塊對(duì)被測(cè)云進(jìn)行監(jiān)督，收集其測(cè)試結(jié)果數(shù)據(jù)。在完成了所有測(cè)試，確保被測(cè)云處于空 閑后，進(jìn)行數(shù)據(jù)的分析、建模。當(dāng)一個(gè)測(cè)試用例完成之后，其信息會(huì)被永久的存儲(chǔ)歸檔，包括 該測(cè)試的配置、運(yùn)行細(xì)節(jié)以及中間和最終結(jié)果等。最后得到的數(shù)據(jù)分析結(jié)果包括性能建模 和數(shù)據(jù)點(diǎn)圖表，可以直觀的看到性能與部署的關(guān)系，得到對(duì)部署有指導(dǎo)意義的峰值數(shù)據(jù)和 圖形。
[0023] 本發(fā)明的測(cè)試執(zhí)行部分主要由三部分組成，分別是前端部分、核心進(jìn)程和協(xié)調(diào)進(jìn) 程。前端部分主要負(fù)責(zé)對(duì)用戶操作的封裝和驗(yàn)證，它和核心進(jìn)程之間通過CSAPI模炔基 于HTTP協(xié)議進(jìn)行通信。核心進(jìn)程和協(xié)調(diào)進(jìn)程組成核心模塊。核心進(jìn)程主要負(fù)責(zé)與用戶 前端的交互和維護(hù)測(cè)試用例隊(duì)列的狀態(tài)。核心進(jìn)程會(huì)在整個(gè)測(cè)試過程中跟蹤記錄測(cè)試運(yùn) 行的狀態(tài)，包括每一個(gè)步驟，并且負(fù)責(zé)測(cè)試結(jié)束后的歸檔工作。協(xié)調(diào)進(jìn)程則會(huì)控制整個(gè)選 定負(fù)載的執(zhí)行過程。協(xié)調(diào)進(jìn)程通過CloudAPI模塊對(duì)云資源進(jìn)行管理，通過通信抽象層 (CommunicationAbstractLayer,CAL)在虛擬機(jī)實(shí)例內(nèi)部進(jìn)行操作。協(xié)調(diào)進(jìn)程和核心進(jìn)程 之間也是通過HTTP協(xié)議進(jìn)行通信，這種松耦合的設(shè)計(jì)能夠很好的避免錯(cuò)誤聚集效應(yīng)，并提 供更好的可擴(kuò)展性支持。一般地，在一個(gè)測(cè)試中，每個(gè)被測(cè)試云系統(tǒng)都額外地啟動(dòng)一個(gè)主結(jié) 點(diǎn)（MasterInstance)，它會(huì)作為云內(nèi)負(fù)載運(yùn)行的副結(jié)點(diǎn)（SlaveInstance)和云外協(xié)調(diào)進(jìn) 程的通信代理。這樣的設(shè)計(jì)是為了節(jié)省浮動(dòng)IP地址的開銷，使每個(gè)云只需要為某一個(gè)測(cè)試 分配一個(gè)浮動(dòng)IP，而不是為每個(gè)副結(jié)點(diǎn)都分配。而本文認(rèn)為一個(gè)虛擬機(jī)實(shí)例的額外開銷對(duì) 整個(gè)云的性能來說是可以忽略的。
[0024] 在一段時(shí)間的運(yùn)行后，該框架會(huì)因?yàn)榻K止條件的滿足而結(jié)束運(yùn)行，并記錄測(cè)試狀 態(tài)，回收處理測(cè)試數(shù)據(jù)，解放云端資源，清理環(huán)境。從用戶角度來說，云系統(tǒng)可以被認(rèn)為是一 個(gè)黑盒。測(cè)試者不需要像平常使用云的用戶一樣考慮太多操作云系統(tǒng)的接口，而是將這些 資源分配管理都交由該框架完成。
[0025] 本發(fā)明的數(shù)據(jù)評(píng)估分析部分，新提出了一種方式來定義數(shù)據(jù)對(duì)，由單個(gè)虛擬機(jī)實(shí) 例的性能讀數(shù)（集合記為P)和此時(shí)與之相關(guān)的負(fù)載規(guī)模（集合記為S)組成。這里的性能 可以是吞吐量、延時(shí)或者其他度量標(biāo)準(zhǔn)。負(fù)載規(guī)模表達(dá)為測(cè)試相關(guān)虛擬機(jī)的個(gè)數(shù)。模型接 受輸入是一組實(shí)驗(yàn)得到的數(shù)據(jù)對(duì)，記為集合E= {(p，s) | 3pGP，3eGS}。它為其中 性能讀數(shù)的坐標(biāo)軸規(guī)定一個(gè)間隔值，利用這個(gè)間隔值，輸入的性能坐標(biāo)范圍被分割為很多 連續(xù)的小段，在每一小段對(duì)應(yīng)的負(fù)載中將最大的負(fù)載規(guī)模對(duì)應(yīng)的點(diǎn)挑選出來，組成一個(gè)子 集E':SE:s對(duì)集合E'中的點(diǎn)進(jìn)行曲線的擬合，得到的擬合函數(shù)可以代表在測(cè)試范圍內(nèi)得到 的某個(gè)規(guī)模下最好的單個(gè)虛擬機(jī)性能值，也可以理解為在保證單個(gè)虛擬機(jī)實(shí)例能達(dá)到某種 程度的