一種基于滑動窗口的多優(yōu)先級元數(shù)據(jù)任務(wù)調(diào)度方法
【專利摘要】本發(fā)明公開了一種基于滑動窗口的多優(yōu)先級元數(shù)據(jù)任務(wù)調(diào)度方法，包括以下步驟：設(shè)置高、中、低三種元數(shù)據(jù)的任務(wù)優(yōu)先級；設(shè)置所述高、中、低三種優(yōu)先級元數(shù)據(jù)任務(wù)的預(yù)期響應(yīng)時間延遲；計算元數(shù)據(jù)任務(wù)預(yù)期調(diào)度時間，并按元數(shù)據(jù)任務(wù)預(yù)期調(diào)度時間從小到大排序；設(shè)置滑動窗口，在滑動窗口內(nèi)優(yōu)先調(diào)度高優(yōu)先級元數(shù)據(jù)任務(wù)，對于相同等級的元數(shù)據(jù)任務(wù)，則優(yōu)先調(diào)度預(yù)期調(diào)度時間小的任務(wù)；移動滑動窗口，若緩沖隊列為空則完成任務(wù)調(diào)度。本發(fā)明方法優(yōu)先級高的元數(shù)據(jù)任務(wù)越早調(diào)度，對于相同優(yōu)先級的元數(shù)據(jù)任務(wù)，則按先進先出的調(diào)度策略進行調(diào)度。由于優(yōu)先級調(diào)度被限制在滑動窗口范圍內(nèi)，本發(fā)明體現(xiàn)了高優(yōu)先級元數(shù)據(jù)優(yōu)先調(diào)度優(yōu)勢，又兼顧了調(diào)度的公平性。
【專利說明】—種基于滑動窗口的多優(yōu)先級元數(shù)據(jù)任務(wù)調(diào)度方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種云計算環(huán)境下的元數(shù)據(jù)任務(wù)的調(diào)度方法，具體地指一種基于滑動窗口的多優(yōu)先級元數(shù)據(jù)任務(wù)調(diào)度方法。

【背景技術(shù)】
[0002]云計算近年取得了迅猛的發(fā)展，其以規(guī)模效應(yīng)和頂級IT公司提供技術(shù)支撐為基礎(chǔ)，為企業(yè)和用戶提供了經(jīng)濟、可靠、使用便捷的存儲和計算等服務(wù)。隨著云計算服務(wù)的普及，各種云計算平臺應(yīng)運而生，典型的如谷歌的GFS、微軟的Windows azure、亞馬遜的Amazon等云計算平臺都提供了云計算服務(wù)，云用戶數(shù)量也逐年上升。目前，大多數(shù)云計算平臺都是米用類似HDFS (Hadoop Distribute File System)的主從結(jié)構(gòu)，主節(jié)點NameNode是元數(shù)據(jù)服務(wù)器，它管理著文件系統(tǒng)的元數(shù)據(jù)；從節(jié)點DataNodes是為數(shù)眾多的數(shù)據(jù)存儲服務(wù)器，其存儲著實際的數(shù)據(jù)。從用戶的角度來看，它就像傳統(tǒng)的文件系統(tǒng)一樣，可以通過目錄路徑對文件執(zhí)行讀寫等操作，但實際上客戶端是通過NameNode來獲取文件的元數(shù)據(jù)，真正的文件I/O操作時直接通過和DataNode進行交互的。因此，NameNode可能成為系統(tǒng)的瓶頸，在用戶請求激增的情況下，其先進先出(First In First Out，F(xiàn)IFO)策略無法保證用戶的響應(yīng)時延。
[0003]任務(wù)的隊列調(diào)度是實現(xiàn)QoS區(qū)分的重要技術(shù)之一，QoS是一個綜合指標，用于衡量使用一個服務(wù)的滿意程度，QoS可用丟包率、帶寬、延遲、抖動等指標進行度量，由于網(wǎng)絡(luò)的數(shù)據(jù)流量逐年增長，特別是在突發(fā)事件或重大活動時，網(wǎng)絡(luò)訪問量存在突然爆發(fā)式增長時，服務(wù)器往往無法應(yīng)對，傳統(tǒng)的FIFO (First In First Out)策略會使隊列始終保持“滿”狀態(tài)，造成響應(yīng)延遲甚至崩潰。隊列調(diào)度解決的是元數(shù)據(jù)任務(wù)的排隊與轉(zhuǎn)發(fā)的整體過程。典型的隊列調(diào)度算法有:先進先出調(diào)度算法，優(yōu)先級調(diào)度算法等。先進先出調(diào)度算法適用于單緩存隊列，其實現(xiàn)簡單，但沒有分級；優(yōu)先級調(diào)度算法嚴格按照優(yōu)先級逐級調(diào)度，其實現(xiàn)了QoS區(qū)分，但可能造成低等級請求長期無法響應(yīng)，形成“假死”，有失公允。


【發(fā)明內(nèi)容】

[0004]本發(fā)明目的在于克服上述現(xiàn)有技術(shù)的不足而提供一種基于滑動窗口的多優(yōu)先級元數(shù)據(jù)任務(wù)調(diào)度方法，該方法采用最早截止優(yōu)先調(diào)度算法和優(yōu)先級調(diào)度算法先結(jié)合的方式，以滑動窗口進行約束，保證了高優(yōu)先級元數(shù)據(jù)任務(wù)的服務(wù)質(zhì)量并兼顧了調(diào)度的公平性。
[0005]實現(xiàn)本發(fā)明目的采用的技術(shù)方案是:一種基于滑動窗口的多優(yōu)先級元數(shù)據(jù)任務(wù)調(diào)度方法，包括以下步驟:
[0006]S1、設(shè)置高、中、低三種元數(shù)據(jù)的任務(wù)優(yōu)先級，分別記為HR3 ；
[0007]S2、設(shè)置所述高、中、低三種優(yōu)先級元數(shù)據(jù)任務(wù)的預(yù)期響應(yīng)時間延遲，分別記為DelaypDelayyDelay3 ；
[0008]S3、計算元數(shù)據(jù)任務(wù)預(yù)期調(diào)度時間，并按元數(shù)據(jù)任務(wù)預(yù)期調(diào)度時間從小到大排序；
[0009]S4、設(shè)置滑動窗口，在滑動窗口內(nèi)優(yōu)先調(diào)度高優(yōu)先級元數(shù)據(jù)任務(wù)，對于相同等級的元數(shù)據(jù)任務(wù)，則優(yōu)先調(diào)度預(yù)期調(diào)度時間小的任務(wù)；
[0010]S5、移動滑動窗口，若緩沖隊列為空則完成任務(wù)調(diào)度，否則，轉(zhuǎn)到步驟S4。
[0011]本發(fā)明具有以下優(yōu)點:
[0012]優(yōu)先級調(diào)度嚴格按照任務(wù)的優(yōu)先級進行調(diào)度，優(yōu)先級高的元數(shù)據(jù)任務(wù)越早調(diào)度，對于相同優(yōu)先級的元數(shù)據(jù)任務(wù)，則按先進先出的調(diào)度策略進行調(diào)度。由于優(yōu)先級調(diào)度被限制在滑動窗口范圍內(nèi)，因此，本專利提出的調(diào)度方法既體現(xiàn)了高優(yōu)先級元數(shù)據(jù)優(yōu)先調(diào)度優(yōu)勢，又兼顧了調(diào)度的公平性。

【專利附圖】

【附圖說明】
[0013]圖1是本發(fā)明基于滑動窗口的多優(yōu)先級元數(shù)據(jù)任務(wù)調(diào)度方法的流程圖。
[0014]圖2是基于滑動窗口的多優(yōu)先級元數(shù)據(jù)任務(wù)調(diào)度的調(diào)度順序轉(zhuǎn)換圖。

【具體實施方式】
[0015]下面結(jié)合附圖和具體實施對本發(fā)明作進一步的詳細說明。
[0016]如圖1所示，本發(fā)明基于滑動窗口的多優(yōu)先級元數(shù)據(jù)任務(wù)調(diào)度方法包括以下步驟:
[0017]S1、設(shè)置高、中、低三種元數(shù)據(jù)的任務(wù)優(yōu)先級，分別記為Rp R2, R3 ;優(yōu)先級可以按以下方法設(shè)置:
[0018]一是按業(yè)務(wù)類別進行分類，根據(jù)請求業(yè)務(wù)的實時性要求高低進行分類，例如語音服務(wù)、視頻點播等實時性要求很高，需要選取較高的優(yōu)先級，而郵件、網(wǎng)盤等業(yè)務(wù)則允許有一定的時延，可以安排較低的優(yōu)先級；
[0019]二是直接按用戶注冊信息實現(xiàn)區(qū)分，訪問云計算平臺的用戶使用前必須注冊，注冊信息中對用戶優(yōu)先級進行區(qū)分，當用戶注冊后提交訪問請求時，根據(jù)用戶注冊信息確定用戶訪問請求的優(yōu)先級。
[0020]S2、設(shè)置所述高、中、低三種優(yōu)先級元數(shù)據(jù)任務(wù)的預(yù)期響應(yīng)時間延遲，分別記為Delay1' Delay2、Delay30
[0021]本發(fā)明按元數(shù)據(jù)任務(wù)的優(yōu)先級不同設(shè)置不同的預(yù)期響應(yīng)時間延遲，預(yù)期響應(yīng)時間延遲越小，說明元數(shù)據(jù)任務(wù)對服務(wù)質(zhì)量要求越高，因此，對于同時或相近時間到達的不同的元數(shù)據(jù)任務(wù)，優(yōu)先級較高的元數(shù)據(jù)任務(wù)因該優(yōu)先調(diào)度。用數(shù)學公式表示為:i>j，則Delayi>Delayj，其中i，j為元數(shù)據(jù)任務(wù)的優(yōu)先級，Delayi表示優(yōu)先級為i的元數(shù)據(jù)任務(wù)的期望時間延遲。
[0022]S3、計算元數(shù)據(jù)任務(wù)預(yù)期調(diào)度時間，并按元數(shù)據(jù)任務(wù)預(yù)期調(diào)度時間從小到大排序。
[0023]在元數(shù)據(jù)訪問操作中，滿足不同等級用戶Qos需求的主要性能參數(shù)是響應(yīng)時延，同時由于元數(shù)據(jù)服務(wù)器對請求的處理速率是恒定的，因此能否滿足響應(yīng)時延的需求主要取決于緩沖隊列的排隊方式。越高服務(wù)質(zhì)量等級的用戶元數(shù)據(jù)請求，其響應(yīng)時延要求越短，因此可以采用最早截止時間優(yōu)先EDF算法的思想對緩沖隊列進行調(diào)度。EDF算法根據(jù)任務(wù)的最早截止期限，動態(tài)改變?nèi)蝿?wù)的調(diào)度順序，最早截止期限的任務(wù)可以得到服務(wù)器的優(yōu)先處理。本實施例中，最早截止期限即是本發(fā)明中通過計算得到的元數(shù)據(jù)任務(wù)預(yù)期的調(diào)度時間Tfij，它與元數(shù)據(jù)任務(wù)的請求到達時間元數(shù)據(jù)任務(wù)的優(yōu)先級相關(guān)，S卩Afij =Tcij^Delay1
[0024]S4、設(shè)置滑動窗口，在滑動窗口內(nèi)優(yōu)先調(diào)度高優(yōu)先級元數(shù)據(jù)任務(wù)，對于相同等級的元數(shù)據(jù)任務(wù)，則優(yōu)先調(diào)度預(yù)期調(diào)度時間小的任務(wù)。
[0025]本發(fā)明的滑動窗口可以表示調(diào)度時間的相似度，在滑動窗口內(nèi)的元數(shù)據(jù)任務(wù)可以認為具有相似的元數(shù)據(jù)任務(wù)預(yù)期的調(diào)度時間，調(diào)節(jié)滑動窗口的大小成為了一種調(diào)節(jié)參數(shù)，確定了嚴格優(yōu)先級和公平性調(diào)度的調(diào)節(jié)方向。若窗口大小為1，則本發(fā)明中的調(diào)度算法退化為EDF調(diào)度算法；若窗口大小為N (N為緩沖隊列長度)，則本發(fā)明中的調(diào)度算法退化為優(yōu)先級調(diào)度算法，因此，根據(jù)服務(wù)器的不同優(yōu)先級任務(wù)狀態(tài)不同，動態(tài)的調(diào)節(jié)滑動窗口的大小，因而本發(fā)明所用的調(diào)度方法具有更強的適應(yīng)性。
[0026]S5、移動滑動窗口，若緩沖隊列為空則完成任務(wù)調(diào)度，否則，轉(zhuǎn)到步驟S4。
[0027]因為元數(shù)據(jù)的操作不涉及磁盤資源的大規(guī)模調(diào)度，因此可以近似認為所有的元數(shù)據(jù)操作所耗費的服務(wù)器處理時間都是一樣的，元數(shù)據(jù)任務(wù)的服務(wù)質(zhì)量與元數(shù)據(jù)在緩沖隊列中的調(diào)度順序緊密相關(guān)。將元數(shù)據(jù)任務(wù)進行分類，賦予不同的優(yōu)先級，優(yōu)先級越高，元數(shù)據(jù)任務(wù)的預(yù)期響應(yīng)時間延遲越小。本發(fā)明將元數(shù)據(jù)任務(wù)分為3個等級，記為R{R1; R2, R3}，其對應(yīng)的預(yù)期響應(yīng)時間延遲記為DelayiDelay1, Delay2, Delay3},元數(shù)據(jù)任務(wù)Rij表示優(yōu)先級為i中的第j個元數(shù)據(jù)任務(wù)，Tcij表示元數(shù)據(jù)任務(wù)Rij的到達時間，Tfij表示元數(shù)據(jù)任務(wù)預(yù)期的調(diào)度時間，則EDF按元數(shù)據(jù)任務(wù)的Tf值進行排列。
[0028]優(yōu)先級調(diào)度以任務(wù)的優(yōu)先級作為優(yōu)先調(diào)度的依據(jù)，任務(wù)的優(yōu)先級越高，則越早被調(diào)度，優(yōu)先級調(diào)度可能造成低等級請求長期無法響應(yīng)，形成“假死”。本發(fā)明通過滑動窗口限制對于緩沖隊列調(diào)度具有重要的意義，窗口的大小可以表示調(diào)度時間的相似度，也就是可認為窗口內(nèi)的元數(shù)據(jù)任務(wù)具有相似的調(diào)度時間要求，因此，在滑動窗口內(nèi)的按優(yōu)先級調(diào)度既實現(xiàn)了服務(wù)質(zhì)量的區(qū)分，也兼顧了調(diào)度的公平性。
[0029]元數(shù)據(jù)服務(wù)器是主從架構(gòu)的云計算分布式系統(tǒng)的核心，所有的數(shù)據(jù)訪問都需要經(jīng)過元數(shù)據(jù)服務(wù)器，在訪問激增的情況下，可能導致服務(wù)延遲過長甚至癱瘓。因此，本發(fā)明方法采用最早截止優(yōu)先調(diào)度算法和優(yōu)先級調(diào)度算法相結(jié)合的方式，以滑動窗口進行約束，保證了高優(yōu)先級元數(shù)據(jù)任務(wù)的服務(wù)質(zhì)量并兼顧了調(diào)度的公平性。
[0030]此外，優(yōu)先級調(diào)度嚴格按照任務(wù)的優(yōu)先級進行調(diào)度，優(yōu)先級高的元數(shù)據(jù)任務(wù)越早調(diào)度，對于相同優(yōu)先級的元數(shù)據(jù)任務(wù)，則按先進先出的調(diào)度策略進行調(diào)度。由于優(yōu)先級調(diào)度被限制在滑動窗口范圍內(nèi)，因此，本發(fā)明提出的調(diào)度方法既體現(xiàn)了高優(yōu)先級元數(shù)據(jù)優(yōu)先調(diào)度優(yōu)勢，又兼顧了調(diào)度的公平性。
[0031]圖2是基于滑動窗口的多優(yōu)先級元數(shù)據(jù)任務(wù)調(diào)度的調(diào)度順序轉(zhuǎn)換圖，圖中，(a)表示任務(wù)按到達的時間先后順序進入緩沖隊列后的狀態(tài)，是隊列調(diào)度前的初始隊列狀態(tài)；(b)是根據(jù)任務(wù)的到達時間和任務(wù)的不同期望延遲計算出的預(yù)期調(diào)度時間進行排序，對應(yīng)著步驟S1、S2、S3 ; (c)表不設(shè)置了滑動窗口且窗口大小為6 ; (d)表不對滑動窗口內(nèi)的任務(wù)按優(yōu)先級重新進行排序后的狀態(tài)，任務(wù)優(yōu)先級越高，位置越靠前，(c)和(d)對應(yīng)著步驟S4;(e)表示調(diào)度窗口內(nèi)的高優(yōu)先級任務(wù)并移動滑動窗口后的狀態(tài)，對應(yīng)著步驟S5。
【權(quán)利要求】
1.一種基于滑動窗口的多優(yōu)先級元數(shù)據(jù)任務(wù)調(diào)度方法，其具體實施包括以下步驟: 51、設(shè)置高、中、低三種元數(shù)據(jù)的任務(wù)優(yōu)先級，分別記為R1、R2、R3； 52、設(shè)置所述高、中、低三種優(yōu)先級元數(shù)據(jù)任務(wù)的預(yù)期響應(yīng)時間延遲，分別記為Delay1、Delay2、Delay3 ； 53、計算元數(shù)據(jù)任務(wù)預(yù)期調(diào)度時間，并按元數(shù)據(jù)任務(wù)預(yù)期調(diào)度時間從小到大排序； 54、設(shè)置滑動窗口，在滑動窗口內(nèi)優(yōu)先調(diào)度高優(yōu)先級元數(shù)據(jù)任務(wù)，對于相同等級的元數(shù)據(jù)任務(wù)，則優(yōu)先調(diào)度預(yù)期調(diào)度時間小的任務(wù)； 55、移動滑動窗口，若緩沖隊列為空則完成任務(wù)調(diào)度，否則，轉(zhuǎn)到步驟S4。
2.根據(jù)權(quán)利要求1所述基于滑動窗口的多優(yōu)先級元數(shù)據(jù)任務(wù)調(diào)度方法，其特征在于:任務(wù)調(diào)度依據(jù)預(yù)期調(diào)度時間，而預(yù)期調(diào)度時間的計算綜合考慮任務(wù)到達時間和任務(wù)的優(yōu)先級；滑動窗口的大小動態(tài)設(shè)置，通過合理設(shè)置窗口大小，將優(yōu)先調(diào)度限制在窗口范圍內(nèi)，實現(xiàn)了不同優(yōu)先級的服務(wù)質(zhì)量區(qū)分并兼顧了調(diào)度的公平性。
【文檔編號】G06F9/46GK104360902SQ201410640002
【公開日】2015年2月18日 申請日期:2014年11月13日 優(yōu)先權(quán)日:2014年11月13日
【發(fā)明者】李春林, 楊志勇, 劉炎培, 柳運昌, 杜書猛, 趙亞輝, 嚴煒 申請人:武漢理工大學