專利名稱：面向服務的網(wǎng)格高性能計算作業(yè)調(diào)度方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種計算機技術(shù)領(lǐng)域的方法，具體而言是一種面向服務的網(wǎng)格高性能計算作業(yè)調(diào)度方法。
背景技術(shù)：
隨著網(wǎng)絡(luò)技術(shù)和計算機技術(shù)的發(fā)展，以及對高性能計算不斷增長的需求，在集群計算的基礎(chǔ)之上，出現(xiàn)了早期的元計算和近年來的計算網(wǎng)格。由于網(wǎng)格計算在高性能計算上的成功應用，促成了網(wǎng)格計算在信息服務、數(shù)據(jù)處理等多方面得到進一步的應用和深化。同時，Web服務技術(shù)在業(yè)界的推動下已得到長足的發(fā)展?；诰W(wǎng)格技術(shù)和Web服務，由IBM和Globus聯(lián)盟提出了WSRF(WS-Resource Framework)，以整合Web服務和網(wǎng)格技術(shù)的優(yōu)勢，實現(xiàn)在跨區(qū)域和機構(gòu)上的資源共享，充分利用各類計算資源。無論基于Web服務和網(wǎng)格技術(shù)的WSRF，還是其它面向服務的架構(gòu)(SOA)，都需要針對在動態(tài)、開放的計算環(huán)境下確立如何構(gòu)造、部署和使用面向服務應用的有效方法和機制。在傳統(tǒng)計算網(wǎng)格的基礎(chǔ)之上，高性能計算應用也將會得益于面向服務的架構(gòu)。與傳統(tǒng)的架構(gòu)類似，在面向服務的架構(gòu)下，同樣需要解決資源的組織管理、任務的分解和調(diào)度等問題。
經(jīng)對現(xiàn)有技術(shù)文獻的檢索發(fā)現(xiàn)，以余海燕為主提出了一種面向服務的網(wǎng)格作業(yè)管理方法(余海燕，查禮，李偉.一種面向服務的網(wǎng)格作業(yè)管理機制，計算機研究與發(fā)展，2003，40(12)1770-1774)。該方法基于一種面向服務的作業(yè)管理機制，它作為用戶訪問網(wǎng)格資源(服務)的代理，為用戶提供透明的、與資源物理位置無關(guān)的并帶有會話支持的作業(yè)服務接口。并引入了服務水平協(xié)議(SLA)的概念來表示用戶需求的不同網(wǎng)格服務級別，作業(yè)管理系統(tǒng)則根據(jù)可定制的服務水平實現(xiàn)配置(SLAP)將SLA中規(guī)定的各項QoS特性映射到具體的作業(yè)管理行為。該作業(yè)管理機制已應用于織女星網(wǎng)格系統(tǒng)軟件中，并能夠為基于服務網(wǎng)格的應用提供靈活有效的支持。該方法主要針對網(wǎng)格環(huán)境下的事務處理作業(yè)，沒有考慮高性能計算應用的特點，因此不適用于網(wǎng)格高性能計算應用。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)的不足，結(jié)合高性能計算應用和網(wǎng)格計算特點，提出一種面向服務的網(wǎng)格高性能計算作業(yè)調(diào)度方法，使其實現(xiàn)高性能計算作業(yè)在網(wǎng)格環(huán)境下的有效調(diào)度，提高資源的利用率，降低作業(yè)的執(zhí)行時間。
本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，本發(fā)明采用面向服務的方式，網(wǎng)格系統(tǒng)由分布的資源服務組構(gòu)成，根據(jù)高性能計算應用的特征、網(wǎng)格計算中不同計算站點之間協(xié)作處理作業(yè)的特點，將一個高性能計算應用分解為一組存在數(shù)據(jù)輸入輸出關(guān)系的計算子任務。采用有向無循環(huán)圖表示一個高性能計算應用中各個子任務之間的數(shù)據(jù)相關(guān)性，采用改進型的動態(tài)優(yōu)先級調(diào)度算法同時匹配就緒子任務和可用的資源服務組，將選定的子任務調(diào)度到選定的資源服務組中，考慮了一個子任務只能在特定的一些資源服務組上執(zhí)行的情況，實現(xiàn)網(wǎng)格范圍內(nèi)的高性能計算作業(yè)的高效調(diào)度。
本發(fā)明方法包括如下步聚(1)確定作業(yè)有向無循環(huán)圖(DAG)中的就緒任務{(diào)vi}通常一個高性能計算應用任務可以分解成多個子任務，針對廣域網(wǎng)的特點，計算網(wǎng)格通常適用于子任務之間通信量較小的高性能計算應用。在這些子任務之間存在一定的數(shù)據(jù)相關(guān)性，其中輸入輸出相關(guān)情況較多，因此，一個高性能計算應用的多個子任務可以用有向無循環(huán)圖(DAG)加以表示。
一個有向無循環(huán)圖G＝(V，E)，其中頂點集合V＝{v1，vI，...，vm}表示高性能計算應用被分解的多個子任務，eij＝(vi，vj)∈E表示從子任務vi到子任務vj的通信，而|eij|則表示通信量，通信可以分為兩大類一類是大數(shù)據(jù)的文件數(shù)據(jù)通信，另一類是小數(shù)據(jù)的參數(shù)數(shù)據(jù)通信。需要注意的是，對于一個子任務，并不是在網(wǎng)格環(huán)境中的所有資源管理域中均可以運行，如一些子任務需要特定的科學工程計算庫，而這個科學工程計算庫僅存在于一些特定的計算結(jié)點上。
如果有向無循環(huán)圖中子任務vi所有前緒子任務均以執(zhí)行，則該子任務為就緒任務。
(2)獲取當前可用資源服務組的實時信息{Rj}若將一個高性能計算應用劃分為多個子任務，分別通過相應的計算程序求解，通常這些子任務是屬于計算密集型任務，因此一個特定計算資源上通常只會運行一個程序拷貝。這一計算程序和特定運行的計算資源即構(gòu)成了資源服務組。
網(wǎng)格環(huán)境可以定義為由一系列的資源服務組構(gòu)成，其中每個資源服務組由相應的計算軟件和特定的硬件計算資源組成，通過服務封裝機制可以很便利地被外界訪問。資源服務組集合形式化地表示為R＝{R1，R2，...，Rn}。開銷函數(shù)CV×R→R，表示一個計算子任務在資源服務組上執(zhí)行的時間開銷，子任務vi在資源服務組Rj上執(zhí)行的時間開銷定義為C(vi，Rj)。對于不能執(zhí)行某子任務的資源服務組，定義其時間開銷為無窮大。
通過查詢網(wǎng)格系統(tǒng)中的信息服務，可獲得相應的資源服務組的實時信息{Rj}。
基于(1)和步聚(2)的設(shè)定，網(wǎng)格高性能計算應用調(diào)度問題可以表示為圖的映射問題，即將一個有向無循環(huán)圖映射到資源服務組集合上，以最小化總的執(zhí)行時間為目標。
(3)計算MDL(vi，Rj|j∈A(vi)，∑(t))作業(yè)調(diào)度方法采用一種改進的動態(tài)優(yōu)先級調(diào)度算法(DLS)，DLS算法是通過任務優(yōu)先級進行調(diào)度任務，DLS算法的特點在于一個子任務的優(yōu)先級與任務圖中已調(diào)度的子任務相關(guān)。
改進的動態(tài)優(yōu)先級(Dynamic Level)表示為MDL(vi，Rj，∑(t))，其反映了在狀態(tài)集∑(t)情況下，子任務vi調(diào)度到資源服務組Rj上的匹配程度，狀態(tài)集∑(t)表示時刻t時所有資源服務組和通信資源等的狀態(tài)信息。形式地，動態(tài)優(yōu)先級MDL可以定義為MDL(vi,Rj|j∈A(vi),Σ(t))=SL(vi)-max(td(vi,Rj),ta(Rj))+Δ(vi,Rj)]]>其中，t是當前時間。式中的第一部分表示子任務vi在任務圖的靜態(tài)優(yōu)先級，其值為從子任務vi到任務圖終點不同路徑上執(zhí)行時間總和的最大值，對于一個高性能計算應用的任務圖，這是一個靜態(tài)信息。td(vi，Rj)表示在狀態(tài)集合∑(t)情況下，子任務vi所需所有數(shù)據(jù)的最早可用時間。ta(Rj)表示資源服務組最早空閑時間。Δ(vi，Rj)則是表示資源服務組處理能力的差異，定義為Δ(vi，Rj)＝C(vi)-C(vi，Rj)其中，C(vi)表示子任務vi在所有資源服務組上執(zhí)行時間的平均值。如果計算得到的平均值為無限大，則取在所有資源服務組上執(zhí)行時間為有限時間值的最大值。A(vi)表示可以執(zhí)行子任務vi的所有可用資源服務組的集合。在計算Δ(vi，Rj)時，C(vi)定義為C‾(vi)=Σj∈A(vi)C(vi,Rj)/||A(vi)||]]>其中，‖A(vi)‖表示集合A(vi)中元素的個數(shù)。
(4)確定使得MDL值最大的資源服務組RJ和就緒任務vI；(5)調(diào)度就緒任務vI到資源服務組RJ；(6)等待下一次調(diào)度事件，并重復上述過程。
其中，資源是指各類計算資源，可以是物理上的CPU資源、存儲資源，也可以是邏輯上的數(shù)據(jù)庫、工程計算庫等；Web服務是一種接口，它描述了在網(wǎng)絡(luò)上可通過相關(guān)協(xié)議進行訪問的操作集合；而資源服務組是指在特定資源上的操作集合；任務是指代高性能計算應用，而子任務指代高性能計算應用分解后的計算模塊。
在本發(fā)明提出的作業(yè)調(diào)度方法中，以最大化動態(tài)優(yōu)先級MDL為目標，匹配就緒子任務和可用的資源服務組，并將該子任務調(diào)度到選定的資源服務組中，然后更新系統(tǒng)的狀態(tài)信息，重新計算MDL，確定下一個子任務的調(diào)度。其優(yōu)點在于子任務和資源服務組是在同時選擇的，優(yōu)于單獨選取子任務或者資源服務組。
本發(fā)明提出的作業(yè)調(diào)度方法，是針對高性能計算應用，采用面向服務的方式，通過網(wǎng)格基礎(chǔ)設(shè)施，為在廣域范圍內(nèi)實現(xiàn)協(xié)同求解高性能計算問題提供了一種高效、靈活的方法，同時考慮了完成一個計算作業(yè)需要專用計算資源的情況，不同于已有技術(shù)中一個計算作業(yè)可以在所有計算資源上執(zhí)行的情況。因此，提出的作業(yè)調(diào)度方法能夠很好地應用于網(wǎng)格環(huán)境中高性能計算的實際情況，可以獲得更好的性能。


圖1為面向服務的層次化資源管理體系結(jié)構(gòu)2為高性能計算應用分解的多個子任務構(gòu)成的有向無循環(huán)圖示意3為本發(fā)明任務調(diào)度流程圖具體實施方式
為實現(xiàn)高效組織分布、異構(gòu)、自治的計算資源，網(wǎng)格系統(tǒng)采用以下組織方式網(wǎng)格門戶、全局資源管理層和局部資源管理層，如圖1所示。
1)網(wǎng)格門戶在組織結(jié)構(gòu)的上層是網(wǎng)格門戶，也是終端用戶與網(wǎng)格高性能計算環(huán)境交互的組件。網(wǎng)格門戶為終端用戶提供工具以便于在網(wǎng)格環(huán)境下協(xié)同調(diào)度大規(guī)模高性能應用，通過簡潔的圖形界面或Web界面，終端用戶可以很便利地獲取服務信息，例如計算處理能力、科學與工程庫、系統(tǒng)負載等，同時還可便利地調(diào)用計算服務、配置參數(shù)、監(jiān)控中間結(jié)果和下載最終計算結(jié)果等。從理論上，終端用戶無須關(guān)注網(wǎng)格協(xié)議和網(wǎng)格基礎(chǔ)設(shè)施；另一方面，高性能應用領(lǐng)域的開發(fā)人員亦無須關(guān)注網(wǎng)格環(huán)境下應用軟件的配置。終端用戶通過網(wǎng)格平臺可以很便利地利用多個高性能計算應用軟件完成大規(guī)模的科學計算任務。
2)全局資源管理層在全局資源管理層，需要實現(xiàn)服務請求的解析、計算任務的分解、計算子任務的協(xié)同調(diào)度以及信息服務等。
代理服務(broker service)是網(wǎng)格中間件的一個重要組成部份，由它解析由網(wǎng)格門戶傳遞來的用戶請求，最終根據(jù)不同應用問題，將一個大規(guī)模的高性能計算任務劃分為多個子任務。例如，飛機整機模擬任務可以分解為多個子任務，即多個功能模塊，各個功能模塊分別計算飛機的機身、兩個機翼、水平尾翼和垂直尾翼。任務解析與分解是和相應的計算任務類型密切相關(guān)，不同的高性能計算應用需要不同的分解策略。
通常被分解的多個子任務之間存在一定的數(shù)據(jù)相關(guān)性，設(shè)定這些子任務間存在輸入輸出關(guān)聯(lián)性。通過協(xié)同分配服務可以將這些子任務分別由地理上分布的、跨管理域的多個應用軟件執(zhí)行。信息服務則提供當前整個系統(tǒng)的狀態(tài)信息。
3)局部資源管理層為了管理本地資源，需要兩類Web服務一類是作業(yè)工廠服務，另一類是作業(yè)管理服務。作業(yè)工廠服務為高性能計算子任務請求創(chuàng)建服務實例，并確立相應的計算資源。同時向外界提供本地資源管理域的資源信息，包括硬件資源信息和計算應用軟件服務。作業(yè)管理服務則是管理已被創(chuàng)建的服務實例，并結(jié)合確立的計算資源，形成對應特定請求的資源服務組，并發(fā)布已被提交給后臺調(diào)度系統(tǒng)的作業(yè)的狀態(tài)信息。
這兩類特定的服務由專用的計算資源實現(xiàn)，而為高性能計算子任務請求創(chuàng)建的服務則是動態(tài)依附于當前可用資源，即是由局部資源管理層根據(jù)請求類型和當前可用資源信息進行動態(tài)指定。
具體調(diào)度過程如下網(wǎng)格用戶通過網(wǎng)格門戶提交一個高性能計算作業(yè)，然后由全局資源管理層中的代理服務根據(jù)計算應用的特征進行分解，形成相應任務的有向無循環(huán)任務圖。如圖2所示，這個計算作業(yè)由7個子任務vi組成，i＝1，2，...，7，各個子任務之間的邊表示它們之間的通信，也反映了它們執(zhí)行所需的先后次序。
作業(yè)的調(diào)度框架如圖3所示，全局資源管理層中的協(xié)同分配服務向信息服務查詢當前網(wǎng)格中資源服務組的實時信息，即R＝{R1，R2，...，Rn}的信息。
協(xié)同分配服務確定有向無循環(huán)任務圖中就緒子任務，即在有向無循環(huán)圖中前驅(qū)結(jié)點已經(jīng)執(zhí)行的結(jié)點所對應的子任務。針對每個子任務，分別計算MDL(vi，Rj|j∈A(vi)，∑(t))，并選定調(diào)度就緒子任務vI到資源服務組RJ，即在這些子任務和資源服務組中，資源服務組RJ和就緒子任務vI使得MDL值最大。協(xié)同分配服務根據(jù)調(diào)度事件重復上述調(diào)度過程，直至所有子任務均被調(diào)度到相應的資源服務組上。
資源服務組RJ所對應的局部資源管理層中作業(yè)管理服務獲得執(zhí)行相應子任務vI的請求之后，通過作業(yè)工廠服務創(chuàng)建相應的服務實例，確定相應的硬件資源和軟件，啟動相應的計算服務。在任務執(zhí)行期間，作業(yè)管理服務同時還響應來自用戶的查詢請求，提供子任務vI的執(zhí)行中間狀態(tài)。等待相應的子任務vI執(zhí)行結(jié)束之后，作業(yè)管理服務將計算結(jié)果返回給協(xié)同分配服務。
由協(xié)同分配服務整合這個高性能計算應用的多個子任務(子任務vi，i＝1，2，...，7)的計算結(jié)果，并返回至網(wǎng)格門戶，最后通過網(wǎng)格門戶將計算結(jié)果返回給用戶。
權(quán)利要求
1.一種面向服務的網(wǎng)格高性能計算作業(yè)調(diào)度方法，其特征在于，采用面向服務的方式，網(wǎng)格系統(tǒng)由分布的資源服務組構(gòu)成，根據(jù)高性能計算應用的特征、網(wǎng)格計算中不同計算站點之間協(xié)作處理作業(yè)的特點，將一個高性能計算應用分解為一組存在數(shù)據(jù)輸入輸出關(guān)系的計算子任務，用有向無循環(huán)圖表示一個高性能計算應用中各個子任務之間的數(shù)據(jù)相關(guān)性，并采用動態(tài)優(yōu)先級調(diào)度算法同時匹配就緒子任務和可用的資源服務組，將選定的子任務調(diào)度到選定的資源服務組中，實現(xiàn)網(wǎng)格范圍內(nèi)的高性能計算作業(yè)的高效調(diào)度。
2.根據(jù)權(quán)利要求1所述的面向服務的網(wǎng)格高性能計算作業(yè)調(diào)度方法，其特征是，包括如下步聚(1)確定作業(yè)有向無循環(huán)圖DAG中的就緒任務{(diào)vi}用有向無循環(huán)圖表示一個高性能計算應用的多個子任務，一個有向無循環(huán)圖G＝(V，E)，其中頂點集合V＝{v1，v1，...，vm}表示高性能計算應用被分解的多個子任務，eij＝(vi，vj)∈E表示從子任務vi到子任務vj的通信，而|eij|則表示通信量，如果有向無循環(huán)圖中子任務vi所有前緒子任務均以執(zhí)行，則該子任務為就緒任務；(2)獲取當前可用資源服務組的實時信息{Rj}網(wǎng)格環(huán)境定義為由一系列的資源服務組構(gòu)成，資源服務組集合形式化地表示為R＝{R1，R2，...，Rn}，開銷函數(shù)CV×R→R，表示一個計算子任務在資源服務組上執(zhí)行的時間開銷，子任務vi在資源服務組Rj上執(zhí)行的時間開銷定義為C(vi，Rj)，通過查詢網(wǎng)格系統(tǒng)中的信息服務，獲得相應的資源服務組的實時信息{Rj}；(3)計算MDL(vi,Rj|j∈A(vi),Σ(t))]]>采用動態(tài)優(yōu)先級調(diào)度算法，動態(tài)優(yōu)先級表示為MDL(vi，Rj，∑(t))，其反映了在狀態(tài)集∑(t)情況下，子任務vi調(diào)度到資源服務組Rj上的匹配程度，狀態(tài)集∑(t)表示時刻t時所有資源服務組和通信資源的狀態(tài)信息，動態(tài)優(yōu)先級MDL定義為MDL(vi,Rj|j∈A(vi),Σ(t))=SL(vi)-max(td(vi,Rj),ta(Rj))+Δ(vi,Rj)]]>其中，t是當前時間，式中的第一部分表示子任務vi在任務圖的靜態(tài)優(yōu)先級，其值為從子任務vi到任務圖終點不同路徑上執(zhí)行時間總和的最大值，td(vi，Rj)表示在狀態(tài)集合∑(t)情況下，子任務vi所需所有數(shù)據(jù)的最早可用時間，ta(Rj)表示資源服務組最早空閑時間，(4)確定使得MDL值最大的資源服務組RJ和就緒任務vI；(5)調(diào)度就緒任務vI到資源服務組RJ；(6)等待下一次調(diào)度事件，并重復上述過程。
3.根據(jù)權(quán)利要求2所述的面向服務的網(wǎng)格高性能計算作業(yè)調(diào)度方法，其特征是，所述的步驟(1)中，對于一個子任務，并不是在網(wǎng)格環(huán)境中的所有資源管理域中均能運行，一些子任務需要相應的科學工程計算庫，而這個科學工程計算庫僅存在于相應的計算結(jié)點上。
4.根據(jù)權(quán)利要求2所述的面向服務的網(wǎng)格高性能計算作業(yè)調(diào)度方法，其特征是，所述的步驟(2)中，對于不能執(zhí)行某子任務的資源服務組，定義其時間開銷為無窮大。
5.根據(jù)權(quán)利要求1或者2或者4所述的面向服務的網(wǎng)格高性能計算作業(yè)調(diào)度方法，其特征是，所述的資源服務組，是指若將一個高性能計算應用劃分為多個子任務，分別通過相應的計算程序求解，這些子任務屬于計算密集型任務，因此一個計算資源上只會運行一個程序拷貝，這一計算程序和其運行的計算資源即構(gòu)成了資源服務組。
6.根據(jù)權(quán)利要求2所述的面向服務的網(wǎng)格高性能計算作業(yè)調(diào)度方法，其特征是，所述的步驟(3)中，Δ(vi，Rj)是表示資源服務組處理能力的差異，定義為Δ(vi，Rj)＝C(vi)-C(vi，Rj)其中，C(vi)表示子任務vi在所有資源服務組上執(zhí)行時間的平均值，如果計算得到的平均值為無限大，則取在所有資源服務組上執(zhí)行時間為有限時間值的最大值，A(vi)表示可執(zhí)行子任務vi的所有可用資源服務組的集合。
7.根據(jù)權(quán)利要求6所述的面向服務的網(wǎng)格高性能計算作業(yè)調(diào)度方法，其特征是，在計算Δ(vi，Rj)時，C(vi)定義為C‾(vi)=Σj∈A(vi)C(vi,Rj)/||A(vi)||]]>其中，‖A(vi)‖表示集合A(vi)中元素的個數(shù)。
全文摘要
一種面向服務的網(wǎng)格高性能計算作業(yè)調(diào)度方法，采用面向服務的方式，網(wǎng)格系統(tǒng)由分布的資源服務組構(gòu)成，根據(jù)高性能計算應用的特征、網(wǎng)格計算中不同計算站點之間協(xié)作處理作業(yè)的特點，將一個高性能計算應用分解為一組存在數(shù)據(jù)輸入輸出關(guān)系的計算子任務。采用有向無循環(huán)圖表示一個高性能計算應用中各個子任務之間的數(shù)據(jù)相關(guān)性，采用改進型的動態(tài)優(yōu)先級調(diào)度算法同時匹配就緒子任務和可用的資源服務組，將選定的子任務調(diào)度到選定的資源服務組中，考慮了一個子任務只能在特定的一些資源服務組上執(zhí)行的情況，實現(xiàn)網(wǎng)格范圍內(nèi)的高性能計算作業(yè)的高效調(diào)度。
文檔編號G06F9/46GK1845075SQ200610026430
公開日2006年10月11日 申請日期2006年5月11日 優(yōu)先權(quán)日2006年5月11日
發(fā)明者翁楚良 申請人:上海交通大學