跨idc大數(shù)處理架構(gòu)下執(zhí)行策略生成方法、裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別涉及一種跨IDC(Internet Data Center，網(wǎng)絡(luò)數(shù)據(jù)中心)大數(shù)處理架構(gòu)下執(zhí)行策略生成方法、裝置。
【背景技術(shù)】
[0002]當(dāng)前處理海量數(shù)據(jù)處理平臺(tái)都是以單個(gè)IDC內(nèi)方式構(gòu)建，使用者不需要了解在IDC內(nèi)分布式計(jì)算所涉及的底層技術(shù)細(xì)節(jié)，能方便快捷地開發(fā)數(shù)據(jù)處理程序。
[0003]在當(dāng)前架構(gòu)下，任務(wù)策略都以量化集群內(nèi)設(shè)備的CPU、內(nèi)存等計(jì)算相關(guān)資源來開發(fā)。
[0004]1.FIFO (First In First Out，先入先出)調(diào)度策略
[0005]隊(duì)列調(diào)度策略，是從工作隊(duì)列中以先進(jìn)先出方式來處理任務(wù)。此策略是最老、最簡單的處理方式，易于實(shí)現(xiàn)運(yùn)行穩(wěn)定。但是，該策略不考慮作業(yè)的優(yōu)先級(jí)或大小，如果遇到大的計(jì)算任務(wù)會(huì)占用整個(gè)集群全部資源，后續(xù)任務(wù)需要等待當(dāng)前大任務(wù)完成才能獲得處理。一些優(yōu)先級(jí)別高、計(jì)算量小的任務(wù)，不能得到及時(shí)處理。
[0006]2.容量調(diào)度策略
[0007]容量調(diào)度策略，是讓任務(wù)選擇預(yù)先分配的資源容器處理執(zhí)行。
[0008]按照各容器預(yù)先劃分計(jì)算資源到每個(gè)容器內(nèi)，并分配容器給多個(gè)獨(dú)立用戶和目標(biāo)應(yīng)用程序。該調(diào)度策略對(duì)集群的計(jì)算資源利用率不高，且計(jì)算資源擴(kuò)容、刪減的維護(hù)成本較高；此外，容器內(nèi)多任務(wù)運(yùn)行采用FIFO調(diào)度器，無法避免相應(yīng)容器內(nèi)的大任務(wù)導(dǎo)致?lián)砣麄€(gè)容器。
[0009]3.公平調(diào)度策略
[0010]公平調(diào)度策略，與容器調(diào)度策略有相似的地方。相對(duì)容器調(diào)度策略，公平調(diào)度策略強(qiáng)制公平共享各容器的計(jì)算資源。
[0011 ] 具體來說，處理任務(wù)隨著時(shí)間推移，在使用完自身容器所有計(jì)算資源情況下，根據(jù)強(qiáng)制公平共享計(jì)算資源的全局規(guī)則約定，當(dāng)前任務(wù)從其他還有計(jì)算資源且優(yōu)先策略低于當(dāng)前任務(wù)的容器中借用相關(guān)資源。
[0012]在該規(guī)則下，臨時(shí)的、需要較少時(shí)間、優(yōu)先級(jí)別較高的作業(yè)會(huì)獲得計(jì)算資源，那些需要更長時(shí)間執(zhí)行的作業(yè)會(huì)推遲結(jié)果輸出。但當(dāng)在數(shù)據(jù)與計(jì)算資源分布不均勻時(shí)，采用任務(wù)延遲策略，導(dǎo)致調(diào)度穩(wěn)定性不可預(yù)估。
[0013]現(xiàn)有大數(shù)據(jù)通用計(jì)算調(diào)度策略是在單IDC內(nèi)，且數(shù)據(jù)、計(jì)算能力分布較均勻情況下有較好的批量執(zhí)行處理能力。
[0014]首先，單個(gè)大IDC構(gòu)建數(shù)據(jù)中心方面，隨著大數(shù)據(jù)的演進(jìn)。多樣數(shù)據(jù)源源不斷地來自網(wǎng)絡(luò)每個(gè)角落，大家已經(jīng)普遍認(rèn)同:一個(gè)數(shù)據(jù)中心在建立和計(jì)算時(shí)效上都會(huì)對(duì)網(wǎng)絡(luò)、可擴(kuò)容等方面造成過高的運(yùn)營成本。業(yè)內(nèi)需要建立一個(gè)通用有層級(jí)數(shù)據(jù)處理能力的架構(gòu)，在此架構(gòu)下當(dāng)前調(diào)度策略都是無法滿足的。
[0015]其次，在數(shù)據(jù)與計(jì)算能力匹配調(diào)度為可執(zhí)行任務(wù)上，現(xiàn)有的策略采取的是任務(wù)延遲策略。本策略中出現(xiàn)一個(gè)空閑計(jì)算資源，如果它被選中的作業(yè)沒有設(shè)備內(nèi)或本機(jī)架中的待處理數(shù)據(jù)時(shí)，策略暫把計(jì)算資源讓給其他作業(yè)?；诖瞬呗裕瑢?duì)處理數(shù)據(jù)分布不理想，只采用延遲一段時(shí)間后隨機(jī)處理的辦法會(huì)讓調(diào)度不穩(wěn)定。
[0016]最后，隨著大數(shù)據(jù)處理平臺(tái)的普及，不同用戶提交的應(yīng)用作業(yè)往往具有不同的服務(wù)質(zhì)量(QoS)需求。目前通用調(diào)度策略普遍是基于批量處理，已難于滿足當(dāng)前對(duì)大數(shù)據(jù)多樣的QoS的要求。

【發(fā)明內(nèi)容】

[0017]本發(fā)明的發(fā)明人發(fā)現(xiàn)上述現(xiàn)有技術(shù)中存在問題，并因此針對(duì)問題中的至少一個(gè)問題提出了一種新的技術(shù)方案。
[0018]本發(fā)明的一個(gè)目的是提供一種用于跨IDC的大數(shù)處理架構(gòu)下執(zhí)行策略生成的技術(shù)方案。
[0019]根據(jù)本發(fā)明的第一方面，提供了一種跨互聯(lián)網(wǎng)數(shù)據(jù)中心IDC的大數(shù)處理架構(gòu)下執(zhí)行策略生成方法，包括:
[0020]調(diào)度組件接收各個(gè)IDC集群上報(bào)的當(dāng)前可用的計(jì)算資源和傳輸資源；
[0021]所述調(diào)度組件接收提交的作業(yè)，所述作業(yè)包括任務(wù)、作業(yè)數(shù)據(jù)和期望輸出；
[0022]所述調(diào)度組件根據(jù)任務(wù)類型基于任務(wù)分類模型庫確定所述任務(wù)的代表執(zhí)行策略，所述任務(wù)的代表執(zhí)行策略包括所述任務(wù)所需計(jì)算資源和所消耗時(shí)間；
[0023]所述調(diào)度組件根據(jù)集群可用資源池中的[集群可用計(jì)算資源、作業(yè)數(shù)據(jù)分布]矩陣和[各個(gè)任務(wù)所需計(jì)算資源、和所消耗時(shí)間、集群可用網(wǎng)絡(luò)傳輸資源]矩陣進(jìn)行調(diào)度，獲得所述作業(yè)的當(dāng)前最優(yōu)執(zhí)行策略。
[0024]可選地，該方法還包括:通過機(jī)器學(xué)習(xí)建立所述任務(wù)分類模型庫。
[0025]可選地，通過機(jī)器學(xué)習(xí)建立所述任務(wù)分類模型庫包括:任務(wù)作為一個(gè)對(duì)象向IDC集群申請(qǐng)相關(guān)資源，相關(guān)資源包括CPU、硬盤、內(nèi)存、傳輸資源和任務(wù)所需數(shù)據(jù)；對(duì)于每個(gè)類型的任務(wù)，通過試運(yùn)行任務(wù)對(duì)相關(guān)資源進(jìn)行隨機(jī)分配，獲得不同相關(guān)資源分配狀態(tài)下的任務(wù)執(zhí)行輸出結(jié)果，獲得任務(wù)試運(yùn)行結(jié)果最優(yōu)的最優(yōu)執(zhí)行策略；將任務(wù)的最優(yōu)執(zhí)行策略作為該任務(wù)類型的代表執(zhí)行策略存入任務(wù)分類模型庫。
[0026]可選地，計(jì)算資源包括CPU、硬盤、內(nèi)存和傳輸資源。
[0027]可選地，該方法還包括:基于作業(yè)的服務(wù)質(zhì)量要求為作業(yè)分配不同的作業(yè)權(quán)重，具有較高服務(wù)質(zhì)量要求的作業(yè)分配較高的作業(yè)權(quán)重，讓集群計(jì)算資源在作業(yè)權(quán)重的分配下達(dá)到使用利用率最大化，從而進(jìn)行策略分配時(shí)優(yōu)先分配具有較高QoS要求的作業(yè)。
[0028]可選地，調(diào)度組件根據(jù)可用資源池中的[集群可用計(jì)算資源、作業(yè)數(shù)據(jù)分布]矩陣和[各個(gè)任務(wù)所需計(jì)算資源、所消耗時(shí)間、集群可用網(wǎng)絡(luò)傳輸資源]矩陣進(jìn)行調(diào)度獲得所述作業(yè)的當(dāng)前最優(yōu)執(zhí)行策略包括:基于優(yōu)化算法隨機(jī)迭代，將[集群可用計(jì)算資源、作業(yè)數(shù)據(jù)分布]矩陣中的相關(guān)資源分配到[各個(gè)任務(wù)所需計(jì)算資源和所消耗時(shí)間、集群可用網(wǎng)絡(luò)資源]矩陣的各任務(wù)的公式中，通過比對(duì)最優(yōu)策略選取集群最優(yōu)的分配策略。
[0029]根據(jù)本發(fā)明的另一方面，提供一種跨互聯(lián)網(wǎng)數(shù)據(jù)中心IDC的大數(shù)處理架構(gòu)下執(zhí)行策略生成裝置，包括:
[0030]可用資源獲取模塊，用于接收各個(gè)IDC集群上報(bào)的當(dāng)前可用的計(jì)算資源和傳輸資源；
[0031]作業(yè)接收模塊，用于接收提交的作業(yè)，所述作業(yè)包括任務(wù)、作業(yè)數(shù)據(jù)和期望輸出；
[0032]任務(wù)策略確定模塊，用于根據(jù)所述任務(wù)的類型基于任務(wù)分類模型庫確定所述任務(wù)的代表執(zhí)行策略，所述任務(wù)的代表執(zhí)行策略包括所需計(jì)算資源和所消耗時(shí)間；
[0033]最優(yōu)策略確定模塊，用于根據(jù)可用資源池中的[集群可用計(jì)算資源、作業(yè)數(shù)據(jù)分布]矩陣和[作業(yè)的各個(gè)任務(wù)的所需計(jì)算資源和所消耗時(shí)間、集群可用網(wǎng)絡(luò)資源]矩陣進(jìn)行調(diào)度，獲得所述作業(yè)的當(dāng)前最優(yōu)執(zhí)行策略。
[0034]可選地，該裝置還包括:任務(wù)分類模型庫建立模塊，用于通過機(jī)器學(xué)習(xí)建立所述任務(wù)分類模型庫。
[0035]可選地，任務(wù)分類模型庫建立模塊將任務(wù)作為一個(gè)對(duì)象向集群申請(qǐng)相關(guān)資源，相關(guān)資源包括CPU、硬盤、傳輸資源、內(nèi)存、任務(wù)所需數(shù)據(jù)；對(duì)于每個(gè)類型的任務(wù)，通過試運(yùn)行任務(wù)對(duì)相關(guān)資源進(jìn)行隨機(jī)分配，獲得不同相關(guān)資源分配狀態(tài)下的任務(wù)執(zhí)行輸出結(jié)果，獲得任務(wù)試運(yùn)行結(jié)果最優(yōu)的最優(yōu)執(zhí)行策略；將任務(wù)的最優(yōu)執(zhí)行策略作為該任務(wù)類型的代表執(zhí)行策略存入任務(wù)分類模型庫。
[0036]可選地，最優(yōu)策略確定模塊基于優(yōu)化算法隨機(jī)迭代，將[集群可用計(jì)算資源、作業(yè)數(shù)據(jù)分布]矩陣中的相關(guān)資源分配到[各個(gè)任務(wù)所需計(jì)算資源和所消耗時(shí)間、集群可用網(wǎng)絡(luò)資源]矩陣的各任務(wù)的公式中，通過比對(duì)最優(yōu)策略選取集群最優(yōu)的分配策略。。
[0037]本發(fā)明的一個(gè)優(yōu)點(diǎn)在于，根據(jù)任務(wù)分類模型庫中不同類型任務(wù)的代表執(zhí)行策略來確定作業(yè)中各個(gè)任務(wù)的所需計(jì)算資源和所消耗時(shí)間，并結(jié)合各個(gè)集群內(nèi)的可用計(jì)算資源、作業(yè)數(shù)據(jù)分別以及各個(gè)集群的可用網(wǎng)絡(luò)資源，確定作業(yè)的當(dāng)前最優(yōu)執(zhí)行策略，從而實(shí)現(xiàn)了跨IDC的最優(yōu)執(zhí)行策略的調(diào)度和實(shí)現(xiàn)。
[0038]通過以下參照附圖對(duì)本發(fā)明的示例性實(shí)施例的詳細(xì)描述，本發(fā)明的其它特征及其優(yōu)點(diǎn)將會(huì)變得清楚。
【附圖說明】
[0039]構(gòu)成說明書的一部分的附圖描述了本發(fā)明的實(shí)施例，并且連同說明書一起用于解釋本發(fā)明的原理。
[0040]參照附圖，根據(jù)下面的詳細(xì)描述，可以更加清楚地理解本發(fā)明，其中:
[0041]圖1是示出根據(jù)本發(fā)明的跨IDC的大數(shù)處理架構(gòu)下執(zhí)行策略生成方法的一個(gè)實(shí)施例的流程圖；
[0042]圖2是示出根據(jù)本發(fā)明的跨IDC的大數(shù)處理架構(gòu)下執(zhí)行策略生成方法的另一個(gè)實(shí)施例的示意圖；
[0043]圖3是示出根據(jù)本發(fā)明的跨IDC的大數(shù)處理架構(gòu)下執(zhí)行策略生成裝置的一個(gè)實(shí)施例的結(jié)構(gòu)圖；
[0044]圖4是示出根據(jù)本發(fā)明的跨IDC的大數(shù)處理架構(gòu)下執(zhí)行策略生成裝置的另一個(gè)實(shí)施例的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0045]現(xiàn)在將參照附圖來詳細(xì)描述本發(fā)明的各種示例性實(shí)施例。應(yīng)注意到:除非另外具體說明，否則在這些實(shí)施例中闡述的部件和步驟的相對(duì)布置、數(shù)字表達(dá)式和數(shù)值不限制本發(fā)明的范圍。
[0046]同時(shí)，應(yīng)當(dāng)明白，為了便于描述，附圖中所示出的各個(gè)部分的尺