基于三維數(shù)據(jù)訪問的分布式服務器集群資源調(diào)度方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機軟件領(lǐng)域，涉及三維數(shù)據(jù)服務器的資源管理，具體涉及一種基于三維數(shù)據(jù)訪問的分布式服務器集群資源調(diào)度方法。
【背景技術(shù)】
[0002]在地理信息數(shù)據(jù)處理中，特別是三維數(shù)據(jù)的廣泛推廣使用，數(shù)據(jù)量相對以往具有幾何級數(shù)的增長，例如一顆衛(wèi)星每半小時即可發(fā)回一次全波段數(shù)據(jù)(5個波段)，每天的數(shù)據(jù)量可達1.1GB ;采樣率較低的數(shù)字電話，按每一取樣用8位壓擴量化，通常其數(shù)碼率也需要8X8 = 64kbps，一張A4(210mmX297mm)大小幅面的圖片，即使采用中等分辨率(300dpi)的掃描儀按真彩色掃描，共有(300X210/25.4) X (300X297/25.4)個象素，每個象素占3個字節(jié)，其數(shù)據(jù)量為26M字節(jié)。
[0003]由此可見，面對當今如此大量的數(shù)據(jù)，對網(wǎng)絡服務器的性能提出了更高要求，通常采用分布式的服務器集群提高服務器帶寬，但另一方面，服務器對負載變化不具有良好的適應性。在服務器集群的調(diào)度技術(shù)方面，大部分應用仍然使用傳統(tǒng)服務器集群下使用的基于任務調(diào)度的策略。由于任務型的應用不能覆蓋所有類型的應用；因此，基于任務調(diào)度的集群調(diào)度方法具有一定的局限性，并且調(diào)度粒度較大，難以發(fā)揮出服務器集群本身具有的特殊優(yōu)勢大量的數(shù)據(jù)傳輸和使有限的網(wǎng)絡帶寬變得不堪重負。
[0004]目前的經(jīng)濟運行調(diào)度為根據(jù)當前資源的負載情況，進行服務器資源調(diào)度。當發(fā)生突發(fā)大規(guī)模負載的情況時不能及時啟動物理節(jié)點，從而導致運行變慢。同時，服務器集群中不同品牌的服務器對數(shù)據(jù)處理格式不同，也限制了服務器集群的整體性能。

【發(fā)明內(nèi)容】

[0005]為克服現(xiàn)有技術(shù)不能及時應對負載突增造成系統(tǒng)運行速度突然減緩的技術(shù)缺陷，本發(fā)明公開了一種基于三維數(shù)據(jù)訪問的分布式服務器集群資源調(diào)度方法。
[0006]本發(fā)明所述基于三維數(shù)據(jù)訪問的分布式服務器集群資源調(diào)度方法，包括如下步驟:
51.對各個服務器的數(shù)據(jù)進行統(tǒng)一轉(zhuǎn)換，按照相同的格式輸出數(shù)據(jù)；
52.從歷史負荷數(shù)據(jù)庫中尋找服務器的負載警戒時間點；所謂負載警戒時間點，是當一臺以上服務器的服務器資源利用量Dvm達到警戒值ALR時的時刻，
所述警戒值ALR= Mvm*Al，Al為預先設定的警戒百分比，服務器資源利用量Dvm=Mvm*Lvm,其中Mvm為服務器可調(diào)用資源，Lvm為服務器資源利用率；
53.預先設定第一時間長度μ，在負載警戒時間點前μ時刻，開啟備用服務器，新開啟服務器的增加物理資源SN應大于N*Mvm*A2 ；
其中N為SI步驟中服務器資源利用量Dvm達到警戒值ALR的服務器數(shù)量，A2為預設的削峰參數(shù)。
[0007]優(yōu)選的，所述步驟SI中進行統(tǒng)一轉(zhuǎn)換數(shù)據(jù)采用基于OSGI組件架構(gòu)的調(diào)度適配器。
[0008]優(yōu)選的，所述負載警戒時間點的尋找方法為:
定義第二時間長度At，從歷史負荷數(shù)據(jù)庫中找出與預測日類型相同的多個比照日，對每一比照日按第二時間長度At間隔劃分為N=24h/At個點，對多個比照日的屬于相同時間點的服務器資源利用量取平均值作為該時間點的比照值，當任意連續(xù)兩個比照值均大于警戒值ALR時，則較早的比照值對應的時間點為負載警戒時間點。
[0009]優(yōu)選的，所述所述第一時間長度μ不少于500秒。
[0010]采用本發(fā)明所述的基于三維數(shù)據(jù)訪問的分布式服務器集群資源調(diào)度方法，采用統(tǒng)一轉(zhuǎn)換后的數(shù)據(jù)進行分配管理，提高了服務器集群的整體性能，根據(jù)歷史數(shù)據(jù)確定負載警戒時間點，預先開啟備用服務器進行分流遷移，保證每臺服務器提前降低資源使用率，通過提前對服務器的啟動并對服務器進行平滑遷移，達到負載平衡目的。
【附圖說明】
[0011]圖1為本發(fā)明所述服務器群利用調(diào)度適配器統(tǒng)一輸出格式的示意圖；
圖2為本發(fā)明所述服務器資源利用量Dvm的一種具體計算方式示意圖。
【具體實施方式】
[0012]下面結(jié)合附圖，對本發(fā)明的【具體實施方式】作進一步的詳細說明。
[0013]本發(fā)明的典型應用環(huán)境是在云計算資源池IaaS層，依賴的硬件系統(tǒng)為一個調(diào)度服務器管理的由多臺服務器組成的服務器集群，調(diào)度服務器負責管理服務器的調(diào)度及分配。云計算的目的在于為不同的用戶提供服務、計算能力和存儲等，需要更加注重用戶需求的滿足度，且盡量避免資源調(diào)度負載失衡，同時又要盡可能做到節(jié)約能源，降低系統(tǒng)的功耗。硬件系統(tǒng)工作時，調(diào)度服務器調(diào)動集群中的不同服務器工作，并將任務分配至各個服務器。
[0014]本發(fā)明所述的基于三維數(shù)據(jù)訪問的分布式服務器集群資源調(diào)度方法，包括如下步驟，
基于三維數(shù)據(jù)訪問的分布式服務器集群資源調(diào)度方法，其特征在于，包括如下步驟 S1.對各個服務器的數(shù)據(jù)進行統(tǒng)一轉(zhuǎn)換，按照相同的格式輸出數(shù)據(jù)；
現(xiàn)有服務器從大類通常分為Χ86服務器、HP小型機、IBM小型機等。由于這些服務器的芯片架構(gòu)和制造商的不同，這四類物理服務器的虛擬化技術(shù)也不同。
[0015]如圖1所示，可以通過調(diào)度適配器對多種不同的資源控制器接口及數(shù)據(jù)格式進行統(tǒng)一轉(zhuǎn)換，形成對外一致的接口及數(shù)據(jù)格式。調(diào)度適配器通過對外開放基于REST風格的接口，供資源管理系統(tǒng)訪問。
[0016]S2.從歷史負荷數(shù)據(jù)庫中尋找服務器的負載警戒時間點；所謂負載警戒時間點，是當一臺以上服務器的服務器資源利用量Dvm達到警戒值ALR時的時刻，
所述警戒值ALR= Mvm*Al，Al為預先設定的警戒百分比，服務器資源利用量Dvm=Mvm*Lvm,其中Mvm為服務器可調(diào)用資源，Lvm為服務器資源利用率；
S3.預先設定第一時間長度μ，在負載警戒時間點前μ時刻，開啟備用服務器，新開啟服務器的增加物理資源SN應大于N*Mvm*A2 ；
其中N為SI步驟中服務器資源利用量Dvm達到警戒值ALR的服務器數(shù)量，A2為預設的削峰參數(shù)。
[0017]歷史負荷數(shù)據(jù)庫是儲存記錄服務器集群在過往運行過程隨時間變化的負載使用情況數(shù)據(jù)庫，按照一般的負荷變化規(guī)律，每天的負荷變化隨用戶集中使用的時間變化，該變化規(guī)律通常是相似的，例如早上9點-11點，下午2點-6點一般負荷較高,而晚上10點至凌晨7點一般負荷較低。歷史負荷數(shù)據(jù)庫通常按天儲存數(shù)據(jù)，分析多個不同日期的全天歷史負荷曲線，可以總結(jié)出歷史負荷的一般規(guī)律，判斷出發(fā)生概率高的重負荷時間點作為負載警戒時間點。
[0018]為更好的定量描述負載警戒時間點的定義方法，針對按天為負荷儲存周期的歷史負荷數(shù)據(jù)庫，本發(fā)明給出一種負載警戒時間點的具體實現(xiàn)方式。
[0019]定義第二時間長度At，從歷史負荷數(shù)據(jù)庫中找出與預測日類型相同的多個比照日，對每一比照日按第二時間長度Λ t間隔劃分為N=24h/ Δ t個點，對多個比照日的屬于相同時間點的服務器資源利用量取平均值作為該時間點的比照值，