基于最短邏輯距離的虛擬Hadoop集群節(jié)點選擇方法及裝置制造方法
【專利摘要】本發(fā)明涉及一種虛擬Hadoop集群節(jié)點選擇方法及裝置，公開了基于最短邏輯距離的虛擬Hadoop集群節(jié)點選擇方法，通過計算虛擬機(jī)節(jié)點的邏輯通信距離選擇Master節(jié)點，通過計算虛擬機(jī)節(jié)點的邏輯傳輸距離選擇R個Reducer節(jié)點，通過監(jiān)控虛擬集群是否達(dá)到SLA要求決定是否重新選擇Master節(jié)點以及Reducer節(jié)點，此外，本發(fā)明也提供了一種應(yīng)用上述基于最短邏輯距離的虛擬Hadoop集群節(jié)點選擇方法得到的選擇裝置。本發(fā)明的優(yōu)點在于，可以提高計算性能，減少網(wǎng)絡(luò)數(shù)據(jù)數(shù)據(jù)傳輸壓力，同時兼具對網(wǎng)絡(luò)環(huán)境的動態(tài)適應(yīng)機(jī)制，具有較好的應(yīng)用價值。
【專利說明】[0001] 基于最短邏輯距離的虛擬Hadoop集群節(jié)點選擇方法及裝 CP3

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及一種虛擬Hadoop集群節(jié)點選擇方法及裝置，特別涉及一種基于最短 邏輯距離的虛擬Hadoop集群節(jié)點選擇方法，以及基于最短邏輯距離的虛擬Hadoop集群節(jié) 點選擇裝置。

【背景技術(shù)】
[0003] 隨著云計算技術(shù)的飛速發(fā)展，傳統(tǒng)的物理集群上運行的程序也逐漸向云計算環(huán)境 下的虛擬機(jī)集群轉(zhuǎn)移。大數(shù)據(jù)計算平臺Hadoop便是典型代表，Hadoop平臺部署到虛擬機(jī) 集群具有很多優(yōu)勢：一、高效的資源利用率，多虛擬機(jī)共用一臺物理機(jī)提升資源使用效率； 二、快捷的動態(tài)部署，節(jié)點數(shù)可以在秒級時間內(nèi)按需增減；三、動態(tài)資源調(diào)配，每個虛擬機(jī)節(jié) 點的資源分配可以按需增減；四、高效的存儲性能，計算時數(shù)據(jù)存儲在本地磁盤，共用數(shù)據(jù) 和不急需的數(shù)據(jù)存放在HDFS上，提升了數(shù)據(jù)存取速度。
[0004] 然而，虛擬Hadoop集群的推廣同時面臨很多需要解決的性能問題，最具代表性的 是網(wǎng)絡(luò)開銷問題，虛擬集群使得多臺虛擬機(jī)部署到一臺物理機(jī)上，每一臺虛擬機(jī)承受和原 有物理機(jī)同樣的數(shù)據(jù)傳輸壓力，使得物理機(jī)的網(wǎng)絡(luò)傳輸壓力是以前的數(shù)倍。因此，急需就減 少物理機(jī)的網(wǎng)絡(luò)傳輸壓力進(jìn)行進(jìn)一步的研究。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對現(xiàn)有技術(shù)中，缺乏針對網(wǎng)絡(luò)傳輸壓力，特別是針對虛擬Hadoop集群的 網(wǎng)絡(luò)優(yōu)化方案的缺點，提供了一種基于最短邏輯距離的虛擬Hadoop集群節(jié)點選擇方法及 應(yīng)用上述方法的裝置。
[0006] 為實現(xiàn)上述目的，本發(fā)明可采取下述技術(shù)方案： 基于最短邏輯距離的虛擬Hadoop集群節(jié)點選擇方法，包括以下具體步驟： 1)應(yīng)用Vivaldi網(wǎng)絡(luò)坐標(biāo)計算方法計算虛擬集群內(nèi)每個虛擬機(jī)節(jié)點在Vivaldi網(wǎng)絡(luò)坐 標(biāo)內(nèi)所對應(yīng)的虛擬坐標(biāo)； 2 ) 根據(jù)虛 擬坐標(biāo) 計算虛 擬機(jī)節(jié) 點Vj、Vj之間的邏輯通信距離LCDi：i，其中，虛擬機(jī)節(jié)點％為虛擬集群內(nèi)的任意兩個虛擬 機(jī)節(jié)點：

【權(quán)利要求】
1. 一種基于最短邏輯距離的虛擬Hadoop集群節(jié)點選擇方法，其特征在于，包括以下具 體步驟： 1)應(yīng)用Vivaldi網(wǎng)絡(luò)坐標(biāo)計算方法計算虛擬集群內(nèi)每個虛擬機(jī)節(jié)點在Vivaldi網(wǎng)絡(luò)坐 標(biāo)內(nèi)所對應(yīng)的虛擬坐標(biāo)； 2 ) 根據(jù)虛擬坐標(biāo)計算虛擬機(jī)節(jié)點QU0TE Γ,Γ、QUOTE丨'，Γ,之間的邏輯通信距離QUOTE 其中，虛擬機(jī)節(jié)點QUOTE k4i ikV hJ Γ, Γ、QUOTE K Γ,為虛擬集群內(nèi)的任意兩個虛擬機(jī)節(jié)點，QUOTE ?α)., = Ι?, I,i, J J ttJ " J [CD. ,=.?-1,1,QUOTEI1為虛擬機(jī)節(jié)點QUOTEΓ,.Γ,在Vivaldi網(wǎng)絡(luò)坐標(biāo)內(nèi)所對應(yīng) % .j kJ1- k k kh ww ww I f I ? 的坐標(biāo)向量，QUOTE為虛擬機(jī)節(jié)點QUOTEI,在Vivaldi網(wǎng)絡(luò)坐標(biāo)內(nèi)所對應(yīng)的坐標(biāo) J J i J 向量； 3) 根據(jù)邏輯通信距離QUOTEICD,,iCO,,計算虛擬集群內(nèi)任一虛擬機(jī)節(jié)點與虛擬集 群內(nèi)除該任一虛擬機(jī)節(jié)點以外的所有虛擬機(jī)節(jié)點的邏輯通信距離之和，記為總邏輯通信距 離，選擇總邏輯通信距離最短的虛擬機(jī)節(jié)點作為Master節(jié)點； 4) 計算虛擬集群內(nèi)虛擬機(jī)節(jié)點QUOTEΓ,Γ至Mapper節(jié)點QUOTE?,?,的邏輯傳輸 kk i i 距離QUOTE!Til,UO,.,,其中，QUOTE1:「為虛擬集群內(nèi)的任一虛擬機(jī)節(jié)點，QUOTEFf !.為任一Mapper節(jié)點，QUOTE[ΓΛ，=λX?ΩΙ，XITD,(=KXLCD,,X7?^,k i KV?w? *-% u 為QUOTEiCft,iCfl,,以及與虛擬機(jī)節(jié)點QUOTE[:I:相連接的交換機(jī)i的影響力因子，QUOTEi反為與虛擬機(jī)節(jié)點QUOTEKΓ相連接的交換機(jī)i的剩余傳輸能力，QUOTESwi! i ? Ir Ir WU 為所有與交換機(jī)i相連接的交換機(jī)的剩余傳輸能力之和； 5) 根據(jù)虛擬集群內(nèi)虛擬機(jī)節(jié)點QUOTEΓ, 至Mapper節(jié)點QUOTEI,I,的邏輯傳輸距 ihJi 離QUOTEHO.,UD.,,分別計算集群內(nèi)任一虛擬機(jī)節(jié)點至集群內(nèi)除該任一虛擬機(jī)節(jié)點以 外的其他虛擬機(jī)節(jié)點的邏輯傳輸距離之和，記為總邏輯傳輸距離，選擇R個總邏輯傳輸距 離最短的虛擬機(jī)節(jié)點作為Reducer節(jié)點； 6 )對虛擬集群進(jìn)行監(jiān)控，如果虛擬集群因為網(wǎng)絡(luò)傳輸速率無法達(dá)到預(yù)定速率從而出現(xiàn) 網(wǎng)絡(luò)數(shù)據(jù)傳輸瓶頸，貝1J重新開始步驟1)，選擇新的Master節(jié)點以及Reducer節(jié)點，并將數(shù)據(jù) 遷移至新的Master節(jié)點以及Reducer節(jié)點。
2. 根據(jù)權(quán)利要求1所述的基于最短邏輯距離的虛擬Hadoop集群節(jié)點選擇方法，其 特征在于，步驟2)中，使用歐式距離計算任意兩個虛擬機(jī)節(jié)點之間的邏輯通信距離QUOTE 腿觀,。 hiJkiJ
3. 根據(jù)權(quán)利要求1所述的基于最短邏輯距離的虛擬Hadoop集群節(jié)點選擇方法，其特征 在于，步驟5)中，還包括以下具體步驟：對虛擬機(jī)節(jié)點的總邏輯傳輸距離進(jìn)行升序排序，選 擇前R個虛擬機(jī)節(jié)點作為Reducer節(jié)點。
4. 根據(jù)權(quán)利要求1所述的基于最短邏輯距離的虛擬Hadoop集群節(jié)點選擇方法，其特征 在于，步驟6)中，如果虛擬集群因為網(wǎng)絡(luò)數(shù)據(jù)傳輸瓶頸而無法滿足SLA時，則重新開始步驟 1)。
5. -種基于最短邏輯距離的虛擬Hadoop集群節(jié)點選擇裝置，其特征在于，包括： 邏輯通信距離計算器：邏輯通信距離計算器應(yīng)用Vivaldi網(wǎng)絡(luò)坐標(biāo)計算方法計算虛擬 集群內(nèi)每個虛擬機(jī)節(jié)點在Vivaldi網(wǎng)絡(luò)坐標(biāo)內(nèi)所對應(yīng)的虛擬坐標(biāo)； Master節(jié)點選擇器：Master節(jié)點選擇器根據(jù)虛擬坐標(biāo)計算虛擬機(jī)節(jié)點QUOTE QUOTE 之間的邏輯通信距離QUOTEMJCD,S； I I "i''I 邏輯傳輸距離計算器：邏輯傳輸距離計算器根據(jù)邏輯通信距離QUOTEiCD.JOL ,j ?丨j 計算任意虛擬機(jī)節(jié)點與其他所有虛擬機(jī)節(jié)點的邏輯通信距離之和，并選擇總邏輯通信距離 最短的虛擬機(jī)節(jié)點作為Master節(jié)點； Reducer節(jié)點選擇器：Reducer節(jié)點選擇器計算虛擬集群內(nèi)虛擬機(jī)節(jié)點QUOTEIlf 至 fe k Mapper節(jié)點QUOTEI.I.的邏輯傳輸距離QUOTE腿H JJ''J '} 集群性能監(jiān)控器：集群性能監(jiān)控器對虛擬集群進(jìn)行監(jiān)控，如果虛擬集群因為網(wǎng)絡(luò)傳輸 速率無法達(dá)到預(yù)定速率從而出現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)傳輸瓶頸，則重新開始步驟1)，選擇新的Master 節(jié)點以及Reducer節(jié)點，并將數(shù)據(jù)遷移至新的Master節(jié)點以及Reducer節(jié)點。
【文檔編號】H04L12/733GK104468379SQ201310418713
【公開日】2015年3月25日 申請日期:2013年9月16日 優(yōu)先權(quán)日:2013年9月16日
【發(fā)明者】尹建偉, 趙新奎, 李瑩, 鄧水光, 吳健, 吳朝暉 申請人:浙江大學(xué)