本發(fā)明涉及群集系統(tǒng)優(yōu)化方法，具體涉及一種面向集群系統(tǒng)的資源優(yōu)化管理方法。

背景技術(shù)：

集群系統(tǒng)是指一組相互獨(dú)立的計(jì)算機(jī)，利用高速通信網(wǎng)絡(luò)組成一個(gè)計(jì)算機(jī)系統(tǒng)，每個(gè)群集節(jié)點(diǎn)，即集群中的每臺(tái)計(jì)算機(jī)，都是運(yùn)行期自己進(jìn)程的一個(gè)獨(dú)立服務(wù)器。這些進(jìn)程可以彼此通信，對(duì)網(wǎng)絡(luò)客戶機(jī)來說就像是形成了一個(gè)單一系統(tǒng)，協(xié)同起來向用戶提供應(yīng)用程序、系統(tǒng)資源和數(shù)據(jù)處理，并以單一系統(tǒng)的模式加以管理。然而現(xiàn)在的集群系統(tǒng)中，會(huì)存在由于資源分配不當(dāng)，使得很多節(jié)點(diǎn)大部分時(shí)間都處于空閑狀態(tài)，而該空閑狀態(tài)的節(jié)點(diǎn)所在隊(duì)列里又仍有很多待完成的作業(yè)，由于這種情況，使得集群系統(tǒng)的節(jié)點(diǎn)利用率變得極低，造成集群系統(tǒng)工作效率低下。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種面向集群系統(tǒng)的資源優(yōu)化管理方法，解決目前的集群系統(tǒng)中存在即是在有大量待完成的作業(yè)的情況下，仍有許多節(jié)點(diǎn)由于系統(tǒng)原因而處于空閑狀態(tài)，導(dǎo)致的集群系統(tǒng)效率低下的問題，達(dá)到提升集群系統(tǒng)節(jié)點(diǎn)利用率，改善集群系統(tǒng)整體工作效率的目的。

本發(fā)明通過下述技術(shù)方案實(shí)現(xiàn)：

一種面向集群系統(tǒng)的資源優(yōu)化管理方法，包括：步驟一、將集群系統(tǒng)中的計(jì)算節(jié)點(diǎn)整合為不同的隊(duì)列，當(dāng)任務(wù)進(jìn)入某一隊(duì)列，則計(jì)算出該任務(wù)在所述隊(duì)列中的配置屬性；步驟二、根據(jù)任務(wù)的優(yōu)先級(jí)影響因子，計(jì)算該任務(wù)在隊(duì)列中的優(yōu)先級(jí)，并按照優(yōu)先級(jí)高低在隊(duì)列中為任務(wù)設(shè)定執(zhí)行順序，執(zhí)行順序?yàn)閺母邇?yōu)先級(jí)到低優(yōu)先級(jí)；步驟三、檢查隊(duì)列中是否有高優(yōu)先級(jí)任務(wù)已經(jīng)占據(jù)了部分資源，卻因?yàn)樯形传@取所有需要的資源而導(dǎo)致任務(wù)暫時(shí)無法執(zhí)行且所占用的資源處于空閑狀態(tài)；步驟四、若步驟四中判斷有處于空閑的資源，則在不影響高優(yōu)先級(jí)任務(wù)的前提下，根據(jù)分配策略的選擇，將處于空閑狀態(tài)的資源分配給該隊(duì)列中低優(yōu)先級(jí)的任務(wù)。

進(jìn)一步的，步驟二中任務(wù)的優(yōu)先級(jí)影響因子包括，

任務(wù)來源：提交該任務(wù)的用戶的級(jí)別；

公平共享：提交該任務(wù)的用戶的資源使用歷史記錄；

任務(wù)申請(qǐng)資源：該任務(wù)索要占用的計(jì)算節(jié)點(diǎn)數(shù)；CPU個(gè)數(shù)、GPU個(gè)數(shù)、DSP個(gè)數(shù)、內(nèi)存；

服務(wù)級(jí)別：任務(wù)排隊(duì)等待的時(shí)間和任務(wù)所需時(shí)間的比值、任務(wù)已經(jīng)在隊(duì)列中排隊(duì)的時(shí)間。

進(jìn)一步的，分配策略包括：

首次適應(yīng)策略：掃描隊(duì)列中處于排隊(duì)狀態(tài)的任務(wù)，執(zhí)行第一個(gè)能放入處于空閑狀態(tài)的計(jì)算節(jié)點(diǎn)的任務(wù)；

最優(yōu)適應(yīng)策略：掃描隊(duì)列中處于排隊(duì)狀態(tài)的任務(wù)，執(zhí)行能夠最大程度利用處于空閑狀態(tài)的計(jì)算節(jié)點(diǎn)的數(shù)量和其空閑實(shí)現(xiàn)的任務(wù)；

貪婪適應(yīng)策略：掃描隊(duì)列中處于排隊(duì)狀態(tài)的任務(wù)，挑選出優(yōu)先級(jí)最高的任務(wù)分配給空閑節(jié)點(diǎn)，達(dá)到最大程度上使得系統(tǒng)中的空閑節(jié)點(diǎn)完全被利用起來的情況，提升了系統(tǒng)的整體效率。

本發(fā)明與現(xiàn)有技術(shù)相比，具有如下的優(yōu)點(diǎn)和有益效果：

1、本發(fā)明一種面向集群系統(tǒng)的資源優(yōu)化管理方法， 通過系統(tǒng)內(nèi)部對(duì)空閑節(jié)點(diǎn)的靈活調(diào)用與安排，達(dá)到提升集群系統(tǒng)中的節(jié)點(diǎn)利用率，提升集群系統(tǒng)整體效率的目的。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施例，對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明，本發(fā)明的示意性實(shí)施方式及其說明僅用于解釋本發(fā)明，并不作為對(duì)本發(fā)明的限定。

實(shí)施例

本發(fā)明一種面向集群系統(tǒng)的資源優(yōu)化管理方法，包括：

步驟一、將集群系統(tǒng)中的計(jì)算節(jié)點(diǎn)整合為不同的隊(duì)列，當(dāng)任務(wù)進(jìn)入某一隊(duì)列，則計(jì)算出該任務(wù)在所述隊(duì)列中的配置屬性；

步驟二、根據(jù)任務(wù)的優(yōu)先級(jí)影響因子，計(jì)算該任務(wù)在隊(duì)列中的優(yōu)先級(jí)，并按照優(yōu)先級(jí)高低在隊(duì)列中為任務(wù)設(shè)定執(zhí)行順序，執(zhí)行順序?yàn)閺母邇?yōu)先級(jí)到低優(yōu)先級(jí)；

步驟三 、檢查隊(duì)列中是否有高優(yōu)先級(jí)任務(wù)已經(jīng)占據(jù)了部分資源，卻因?yàn)樯形传@取所有需要的資源而導(dǎo)致任務(wù)暫時(shí)無法執(zhí)行且所占用的資源處于空閑狀態(tài)；

步驟四、若步驟四中判斷有處于空閑的資源，則在不影響高優(yōu)先級(jí)任務(wù)的前提下，根據(jù)分配策略的選擇，將處于空閑狀態(tài)的資源分配給該隊(duì)列中低優(yōu)先級(jí)的任務(wù)。

進(jìn)一步的，步驟二中任務(wù)的優(yōu)先級(jí)影響因子包括，

任務(wù)來源：提交該任務(wù)的用戶的級(jí)別；

公平共享：提交該任務(wù)的用戶的資源使用歷史記錄；

任務(wù)申請(qǐng)資源：該任務(wù)索要占用的計(jì)算節(jié)點(diǎn)數(shù)；CPU個(gè)數(shù)、GPU個(gè)數(shù)、DSP個(gè)數(shù)、內(nèi)存；

服務(wù)級(jí)別：任務(wù)排隊(duì)等待的時(shí)間和任務(wù)所需時(shí)間的比值、任務(wù)已經(jīng)在隊(duì)列中排隊(duì)的時(shí)間。

進(jìn)一步的，分配策略包括：

首次適應(yīng)策略：掃描隊(duì)列中處于排隊(duì)狀態(tài)的任務(wù)，執(zhí)行第一個(gè)能放入處于空閑狀態(tài)的計(jì)算節(jié)點(diǎn)的任務(wù)；

最優(yōu)適應(yīng)策略：掃描隊(duì)列中處于排隊(duì)狀態(tài)的任務(wù)，執(zhí)行能夠最大程度利用處于空閑狀態(tài)的計(jì)算節(jié)點(diǎn)的數(shù)量和其將處于空閑狀態(tài)的持續(xù)時(shí)長；該任務(wù)通過計(jì)算處于空閑狀態(tài)的計(jì)算節(jié)點(diǎn)的梳理

貪婪適應(yīng)策略：掃描隊(duì)列中處于排隊(duì)狀態(tài)的任務(wù)，挑選出優(yōu)先級(jí)最高的任務(wù)分配給空閑節(jié)點(diǎn)。該策略最大程度上保障了利用空閑節(jié)點(diǎn)完成優(yōu)先級(jí)為第二高的任務(wù)。

以上所述的具體實(shí)施方式，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施方式而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。