一種應(yīng)用于云工作流調(diào)度的數(shù)據(jù)預(yù)取方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于云工作流技術(shù)領(lǐng)域，尤其是云工作流技術(shù)領(lǐng)域中的調(diào)度優(yōu)化技術(shù)，該發(fā)明可以有效地提高資源的利用率和工作流的執(zhí)行效率。
【背景技術(shù)】
[0002]在工作流管理系統(tǒng)中，調(diào)度模塊是其最重要的核心組件之一，它的主要目標(biāo)是根據(jù)云計(jì)算資源信息和工作流信息，通過(guò)合適的調(diào)度策略將工作流活動(dòng)分配到相應(yīng)的資源上執(zhí)行。然而，由于資源的異構(gòu)性和動(dòng)態(tài)性，使得工作流調(diào)度問(wèn)題變的極其復(fù)雜，調(diào)度算法的優(yōu)劣直接影響著活動(dòng)的執(zhí)行時(shí)間以及資源的利用率。因此，如何設(shè)計(jì)一個(gè)高效的調(diào)度方法是工作流的重要研宄方向之一。由于工作流調(diào)度問(wèn)題是NP完全問(wèn)題，在很多情況下，獲得一個(gè)最優(yōu)解對(duì)于求解該類(lèi)問(wèn)題幾乎是不可能的。我們可以使用啟發(fā)式算法在多項(xiàng)式時(shí)間內(nèi)得出次優(yōu)解。
[0003]工作流調(diào)度問(wèn)題已經(jīng)得到了廣泛和深入的研宄，基于多種算法策略和不同的問(wèn)題假設(shè)提出了很多種算法，大致分為兩類(lèi):靜態(tài)調(diào)度和動(dòng)態(tài)調(diào)度。靜態(tài)調(diào)度無(wú)法適應(yīng)資源環(huán)境的動(dòng)態(tài)變化，效率低，容錯(cuò)率差，容易造成工作流活動(dòng)的運(yùn)行失敗，采用這種調(diào)度策略的應(yīng)用很少。動(dòng)態(tài)調(diào)度在建模階段并不綁定具體的資源，而是綁定資源的描述，因此在調(diào)度時(shí)能根據(jù)運(yùn)行的實(shí)際情況，利用合適的資源來(lái)執(zhí)行活動(dòng)。動(dòng)態(tài)調(diào)度算法按照工作流調(diào)度策略可以分為兩類(lèi):全局動(dòng)態(tài)調(diào)度算法與實(shí)時(shí)動(dòng)態(tài)調(diào)度算法。
[0004]著名的有遺傳算法，蟻群算法等都屬于全局動(dòng)態(tài)調(diào)度算法。全局動(dòng)態(tài)調(diào)度算法有足夠的時(shí)間充分利用啟發(fā)式信息，因而能產(chǎn)生更為有效的調(diào)度方案。但是算法要求資源環(huán)境是穩(wěn)定的，同時(shí)參與調(diào)度的活動(dòng)參數(shù)需準(zhǔn)確，這在云計(jì)算這一動(dòng)態(tài)變化的環(huán)境中是難以實(shí)現(xiàn)的。在實(shí)時(shí)動(dòng)態(tài)調(diào)度算法中，列表式調(diào)度技術(shù)由于其設(shè)計(jì)簡(jiǎn)單，而且在大多數(shù)情況下能獲得次優(yōu)解，因此，現(xiàn)在很多工作流實(shí)時(shí)動(dòng)態(tài)調(diào)度算法大多采用列表式調(diào)度的基本思想來(lái)構(gòu)造啟發(fā)式調(diào)度算法的。現(xiàn)有的文獻(xiàn)介紹了多種列表式調(diào)度算法:M.Maheswaran等人在((Heterogeneous Computing Workshop〉〉會(huì)議上發(fā)表〈〈Dynamic matching and schedulingof a class of independent tasks onto heterogeneous computing systems))文章，提出 Min-Min 算法，Max-Min 算法，Sufferage 算法。H.Topcuoglu 等人在《Parallel andDistributed Systems))期干丨J上發(fā)表((Performance-effective and low-complexity taskscheduling for heterogeneous computing》，提出 HEFT (Heterogeneous Earliest FinishTime)算法，CPOP (Critical Path on a Processor)算法，M.Rahman 等人在《e-Scienceand Grid Computing〉〉會(huì)議上發(fā)表〈〈A dynamic critical path algorithm for schedulingscientific workflow applicat1ns on global grids》，提出 DCP-G 算法(DynamicCritical Path for Grids)。
[0005]在上述算法中，Min-Min、Max-Min和Sufferage算法可以歸類(lèi)為基于活動(dòng)的優(yōu)先級(jí)調(diào)度算法，因?yàn)樵谟?jì)算活動(dòng)優(yōu)先級(jí)的時(shí)候，算法只考慮活動(dòng)本身的參數(shù)，并沒(méi)有考慮整個(gè)工作流，而HEFT、CPOP和DCP-G算法則從全局出發(fā)，考慮了關(guān)鍵路徑對(duì)工作流調(diào)度的影響，HEFT和CPOP算法雖然采用了關(guān)鍵路徑技術(shù)，但是其關(guān)鍵路徑是在調(diào)度產(chǎn)生前就確定的，活動(dòng)的權(quán)值也是固定的。然而，在調(diào)度過(guò)程中，工作流的關(guān)鍵路徑會(huì)發(fā)生變化，活動(dòng)的權(quán)值也會(huì)隨之會(huì)改變，DCP-G算法引入了動(dòng)態(tài)關(guān)鍵路徑概念，在每個(gè)調(diào)度步驟中，重新計(jì)算活動(dòng)的權(quán)值。實(shí)驗(yàn)數(shù)據(jù)表明，強(qiáng)調(diào)優(yōu)先調(diào)度位于關(guān)鍵路徑上的活動(dòng)的算法在性能上通常優(yōu)于其它算法，而在調(diào)度過(guò)程中，動(dòng)態(tài)計(jì)算活動(dòng)優(yōu)先級(jí)的動(dòng)態(tài)關(guān)鍵路徑算法的性能通常優(yōu)于米用靜態(tài)關(guān)鍵路徑的算法。DCP-G算法就是采用動(dòng)態(tài)關(guān)鍵路徑的算法，在絕大數(shù)情況下，DCP-G算法的調(diào)度性能優(yōu)于其它調(diào)度算法。
[0006]但是在實(shí)驗(yàn)中，我們發(fā)現(xiàn)應(yīng)用DCP-G算法在調(diào)度通信密集型工作流時(shí)經(jīng)常出現(xiàn)資源空閑，即資源已經(jīng)閑置，但該資源上的活動(dòng)仍然在等待輸入數(shù)據(jù)(即前驅(qū)活動(dòng)的輸出數(shù)據(jù))而不能執(zhí)行，我們把這段資源的閑置時(shí)間稱(chēng)為空閑時(shí)間。在高CCR和低帶寬的情況下，輸入文件往往需要較長(zhǎng)的時(shí)間來(lái)傳輸，在這種情況下，空閑時(shí)間就會(huì)變得很大，這嚴(yán)重影響了資源的利用率，因此我們提出 DCP-DPM(Dynamic Critical Path-Data PrefetchingMechanism，動(dòng)態(tài)關(guān)鍵路徑-數(shù)據(jù)預(yù)取機(jī)制)算法，引入數(shù)據(jù)預(yù)取機(jī)制，用于解決空閑時(shí)間的問(wèn)題，進(jìn)一步提高工作流的調(diào)度效率。數(shù)據(jù)預(yù)取機(jī)制不僅限于DCP-G算法。

【發(fā)明內(nèi)容】

[0007]本發(fā)明鑒于上述情況而做出的，其目的在于提供一種云工作流調(diào)度的優(yōu)化方法?；趥鹘y(tǒng)的工作流調(diào)度流程，在活動(dòng)獲得資源調(diào)度執(zhí)行之前，根據(jù)工作流活動(dòng)狀態(tài)，設(shè)定目標(biāo)資源，協(xié)調(diào)已經(jīng)完成的活動(dòng)進(jìn)行數(shù)據(jù)預(yù)取。以及在活動(dòng)結(jié)束后，判斷是否存在目標(biāo)資源，進(jìn)行數(shù)據(jù)預(yù)先傳輸。這樣可以顯著地減少資源的空閑時(shí)間，提高資源利用率和工作流調(diào)度效率。
[0008]本發(fā)明的技術(shù)方案是，一種應(yīng)用于工作流調(diào)度的數(shù)據(jù)預(yù)取方法，在工作流調(diào)度過(guò)程中，匯聚活動(dòng)的多個(gè)前驅(qū)活動(dòng)執(zhí)行的完成時(shí)間存在先后次序，當(dāng)某個(gè)前驅(qū)活動(dòng)執(zhí)行完成后，在該資源傳輸帶寬空閑的情況下，預(yù)先把某個(gè)前驅(qū)活動(dòng)執(zhí)行完成后的輸出文件傳輸?shù)焦ぷ髁髡{(diào)度過(guò)程共同后繼所在的資源上，這種過(guò)程稱(chēng)為數(shù)據(jù)預(yù)取:
[0009]步驟SI和S2都為數(shù)據(jù)預(yù)取，區(qū)別在于數(shù)據(jù)預(yù)取的時(shí)機(jī)不同；
[0010]步驟SI，在前驅(qū)活動(dòng)的資源分配時(shí)刻，進(jìn)行數(shù)據(jù)預(yù)??；如果一個(gè)活動(dòng)是某個(gè)匯聚活動(dòng)的前驅(qū)活動(dòng)，那么在分配資源給該前驅(qū)活動(dòng)之后，需進(jìn)行目標(biāo)資源的設(shè)定，并且將其他已完成的前驅(qū)活動(dòng)的輸出文件或數(shù)據(jù)預(yù)先傳輸?shù)皆O(shè)定的目標(biāo)資源上；
[0011]步驟S2，在前驅(qū)活動(dòng)執(zhí)行完成時(shí)刻，進(jìn)行數(shù)據(jù)預(yù)??；判斷是否存在目標(biāo)資源，進(jìn)行數(shù)據(jù)預(yù)傳輸；一旦確定目標(biāo)資源，前驅(qū)任務(wù)完成之后就能將輸出數(shù)據(jù)提前傳輸?shù)侥繕?biāo)資源。
[0012]步驟SI進(jìn)一步細(xì)分為以下步驟(如圖2(1)所示):
[0013]步驟S101，活動(dòng)％被分配到資源Rx，判斷活動(dòng)％是否為匯聚活動(dòng)(設(shè)為ak)的前驅(qū)活動(dòng)，是則轉(zhuǎn)步驟S102，否則轉(zhuǎn)至步驟S105。
[0014]步驟S102，對(duì)于匯聚活動(dòng)ak的其余前驅(qū)活動(dòng)，判斷這些活動(dòng)中是否存在已完成活動(dòng)，是則轉(zhuǎn)至步驟S103，否則跳轉(zhuǎn)至步驟S105。
[0015]步驟S103，判斷是否為匯聚活動(dòng)ak設(shè)定目標(biāo)資源，是則轉(zhuǎn)至步驟S105，否則轉(zhuǎn)至步驟S104.
[0016]步驟S104，設(shè)定活動(dòng)％所在的資源Rx為匯聚活動(dòng)a k的目標(biāo)資源，并將其他處于完成狀態(tài)的ak的前驅(qū)活動(dòng)的輸出數(shù)據(jù)傳輸?shù)侥繕?biāo)資源Rx上。如果活動(dòng)之前已經(jīng)將數(shù)據(jù)傳輸至目標(biāo)資源Rx上，則無(wú)需重復(fù)傳輸，轉(zhuǎn)至步驟S105。
[0017]步驟S105，活動(dòng)Bi開(kāi)始執(zhí)行。
[0018]步驟S2進(jìn)一步細(xì)分為以下步驟(如圖2⑵所示):
[0019]步驟S201，活動(dòng)％在資源R x上執(zhí)行結(jié)束，判斷活動(dòng)a 1是否為匯聚活動(dòng)(設(shè)為a k)的前驅(qū)活動(dòng)，是則轉(zhuǎn)步驟S202，否則步驟S2結(jié)束。
[0020]步驟S202，判斷是否已為匯聚活動(dòng)ak設(shè)定目標(biāo)資源，是則轉(zhuǎn)至步驟S205，否則轉(zhuǎn)至步驟S203。
[0021]步驟S203，對(duì)于匯聚活動(dòng)ak的其余前驅(qū)活動(dòng)，判斷這些活動(dòng)狀態(tài)是否有正在執(zhí)行，是則轉(zhuǎn)至步驟S204，并設(shè)正在執(zhí)行的活動(dòng)為a" a/斤在資源為R y，否則步驟S2結(jié)束。
[0022]步驟S204，設(shè)定活動(dòng)a」所在的資源Ry為匯聚活動(dòng)a k的目標(biāo)資源，轉(zhuǎn)至步驟S205。
[0023]步驟S205，將活動(dòng)％的輸出數(shù)據(jù)從資源Rx傳輸?shù)侥繕?biāo)資源上，如果資源Rx和目標(biāo)資源相同，則無(wú)需傳輸，步驟S2結(jié)束。
[0024]本發(fā)明有益效果:與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)是通過(guò)在工作流調(diào)度中引入數(shù)據(jù)預(yù)取技術(shù)，有效地提高資源利用率，進(jìn)一步提高工作流的執(zhí)行效率。即在匯聚活動(dòng)的所有前驅(qū)活動(dòng)未全部執(zhí)行完之前，可以對(duì)已完成的前驅(qū)任務(wù)的輸出數(shù)據(jù)進(jìn)行預(yù)取，使得前驅(qū)任務(wù)的輸出數(shù)據(jù)可以提前傳輸?shù)侥繕?biāo)資源上，有效地減少匯聚活動(dòng)執(zhí)行前的數(shù)據(jù)通信時(shí)間，減小資源的空閑時(shí)間，匯聚活動(dòng)得到提前執(zhí)行，從而提高工作流的執(zhí)行效率。
【附圖說(shuō)明】
[0025]圖1為工作流調(diào)度流程圖。
[0026]圖2為數(shù)據(jù)預(yù)取技術(shù)的流程圖
[0027]圖3為一個(gè)工作流DAG建模圖。
[0028]圖4為未引入數(shù)據(jù)預(yù)取方法的工作流調(diào)度甘特圖。
[0029]圖5為引入數(shù)據(jù)預(yù)取方法的工作流調(diào)度甘特圖。
【具體實(shí)施方式】