MapReduce分布式系統(tǒng)的作業(yè)診斷方法及設(shè)備的制作方法
【專利摘要】本發(fā)明提供一種MapReduce分布式系統(tǒng)的作業(yè)診斷方法及設(shè)備。本發(fā)明實施例通過獲得MapReduce分布式系統(tǒng)中待診斷對象的對象標識，所述對象標識包括集群標識，或者集群標識和作業(yè)標識，進而利用所述對象標識，獲得至少一個作業(yè)運行的日志文件，使得能夠根據(jù)所述日志文件和預(yù)先配置的診斷規(guī)則，對所述至少一個作業(yè)進行診斷，以獲得診斷結(jié)果，全部流程為自動化操作流程，無需操作人員進行手動控制，操作簡單，且正確率高，從而提高了作業(yè)診斷的效率和可靠性。
【專利說明】MapReduce分布式系統(tǒng)的作業(yè)診斷方法及設(shè)備
【【技術(shù)領(lǐng)域】】
[0001]本發(fā)明涉及通信技術(shù)，尤其涉及一種MapReduce分布式系統(tǒng)的作業(yè)診斷方法及設(shè)備。
【【背景技術(shù)】】
[0002]近年來，隨著寬帶網(wǎng)絡(luò)技術(shù)與并行計算理論的快速發(fā)展，一種更簡化的分布式系統(tǒng)即映射和匯總(MapReduce)分布式系統(tǒng)應(yīng)運而生，以為多種應(yīng)用提供服務(wù)，例如，為搜索引擎提供服務(wù)。在MapReduce分布式系統(tǒng),也可以成為MapReduce分布式集群,例如,Hadoop系統(tǒng)，中，一個數(shù)據(jù)處理過程稱為一個作業(yè)(Job)，Job提交之后，將待處理數(shù)據(jù)分為N份，每份待處理數(shù)據(jù)由一個映射(Map)任務(wù)進行處理,Map任務(wù)運行在該MapReduce分布式系統(tǒng)中的一個節(jié)點設(shè)備上，一個節(jié)點設(shè)備上可以運行一個或多個Map任務(wù)；所有Map任務(wù)的輸出結(jié)果由匯總(Reduce)任務(wù)進行匯總，輸出對應(yīng)的結(jié)果。其中，Hadoop是阿帕奇軟件基金下的一個開源項目。
[0003]然而，在作業(yè)運行過程中，作業(yè)的運行狀態(tài)的監(jiān)控、作業(yè)的運行控制參數(shù)的調(diào)整等諸多作業(yè)診斷均需要操作人員進行手動控制，操作復(fù)雜，且容易出錯，從而導(dǎo)致了作業(yè)診斷的效率和可靠性的降低。
【
【發(fā)明內(nèi)容】
】
[0004]本發(fā)明的多個方面提供一種MapReduce分布式系統(tǒng)的作業(yè)診斷方法及設(shè)備，用以提高作業(yè)診斷的效率和可靠性。
[0005]本發(fā)明的一方面,提供一種MapReduce分布式系統(tǒng)的作業(yè)診斷方法，包括:
[0006]獲得MapReduce分布式系統(tǒng)中待診斷對象的對象標識，所述對象標識包括集群標識，或者集群標識和作業(yè)標識；
[0007]利用所述對象標識，獲得至少一個作業(yè)運行的日志文件；
[0008]根據(jù)所述日志文件和預(yù)先配置的診斷規(guī)則，對所述至少一個作業(yè)進行診斷，以獲得診斷結(jié)果。
[0009]如上所述的方面和任一可能的實現(xiàn)方式，進一步提供一種實現(xiàn)方式，所述利用所述對象標識，獲得至少一個作業(yè)運行的日志文件，包括:
[0010]利用所述對象標識，獲得所述日志文件的URL ；
[0011 ] 根據(jù)所述日志文件的URL，獲得所述日志文件。
[0012]如上所述的方面和任一可能的實現(xiàn)方式，進一步提供一種實現(xiàn)方式，所述根據(jù)所述日志文件和預(yù)先配置的診斷規(guī)則，對所述至少一個作業(yè)進行診斷，包括:
[0013]根據(jù)所述日志文件，提取作業(yè)信息；
[0014]根據(jù)預(yù)先設(shè)置的數(shù)據(jù)格式，對所述作業(yè)信息進行封裝；
[0015]根據(jù)所述診斷規(guī)則，對封裝之后的作業(yè)信息進行診斷。
[0016]如上所述的方面和任一可能的實現(xiàn)方式，進一步提供一種實現(xiàn)方式，所述根據(jù)所述日志文件和預(yù)先配置的診斷規(guī)則，對所述至少一個作業(yè)進行診斷，以獲得診斷結(jié)果之后，還包括:
[0017]根據(jù)所述診斷結(jié)果，調(diào)整所述至少一個作業(yè)的運行控制參數(shù)。
[0018]如上所述的方面和任一可能的實現(xiàn)方式，進一步提供一種實現(xiàn)方式，所述日志文件包括配置文件和狀態(tài)文件。
[0019]如上所述的方面和任一可能的實現(xiàn)方式，進一步提供一種實現(xiàn)方式，所述方法還包括:
[0020]對所述至少一個作業(yè)的運行狀況進行統(tǒng)計，以獲得統(tǒng)計信息。
[0021]本發(fā)明的另一方面，提供一種MapReduce分布式系統(tǒng)的作業(yè)診斷設(shè)備，包括:
[0022]獲得單元，用于獲得MapReduce分布式系統(tǒng)中待診斷對象的對象標識，所述對象標識包括集群標識，或者集群標識和作業(yè)標識；
[0023]所述獲得單元，還用于利用所述對象標識，獲得至少一個作業(yè)運行的日志文件；
[0024]診斷單元，用于根據(jù)所述日志文件和預(yù)先配置的診斷規(guī)則，對所述至少一個作業(yè)進行診斷，以獲得診斷結(jié)果。
[0025]如上所述的方面和任一可能的實現(xiàn)方式，進一步提供一種實現(xiàn)方式，所述獲得單元，具體用于
[0026]利用所述對象標識，獲得所述日志文件的URL ；以及根據(jù)所述日志文件的URL，獲得所述日志文件。
[0027]如上所述的方面和任一可能的實現(xiàn)方式，進一步提供一種實現(xiàn)方式，所述診斷單元，具體用于
[0028]根據(jù)所述日志文件，提取作業(yè)信息；根據(jù)預(yù)先設(shè)置的數(shù)據(jù)格式，對所述作業(yè)信息進行封裝；以及根據(jù)所述診斷規(guī)則，對封裝之后的作業(yè)信息進行診斷。
[0029]如上所述的方面和任一可能的實現(xiàn)方式，進一步提供一種實現(xiàn)方式，所述設(shè)備還包括調(diào)整單元，用于
[0030]根據(jù)所述診斷結(jié)果，調(diào)整所述至少一個作業(yè)的運行控制參數(shù)。
[0031]如上所述的方面和任一可能的實現(xiàn)方式，進一步提供一種實現(xiàn)方式，所述獲得單元所獲得的所述日志文件包括配置文件和狀態(tài)文件。
[0032]如上所述的方面和任一可能的實現(xiàn)方式，進一步提供一種實現(xiàn)方式，所述設(shè)備還包括統(tǒng)計單元，用于
[0033]對所述至少一個作業(yè)的運行狀況進行統(tǒng)計，以獲得統(tǒng)計信息。
[0034]由上述技術(shù)方案可知，本發(fā)明實施例通過獲得MapReduce分布式系統(tǒng)中待診斷對象的對象標識，所述對象標識包括集群標識，或者集群標識和作業(yè)標識，進而利用所述對象標識，獲得至少一個作業(yè)運行的日志文件，使得能夠根據(jù)所述日志文件和預(yù)先配置的診斷規(guī)則，對所述至少一個作業(yè)進行診斷，以獲得診斷結(jié)果，全部流程為自動化操作流程，無需操作人員進行手動控制，操作簡單，且正確率高，從而提高了作業(yè)診斷的效率和可靠性。
【【專利附圖】

【附圖說明】】
[0035]為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0036]圖1為本發(fā)明一實施例提供的MapReduce分布式系統(tǒng)的作業(yè)診斷方法的流程示意圖；
[0037]圖2為本發(fā)明另一實施例提供的MapReduce分布式系統(tǒng)的作業(yè)診斷設(shè)備的結(jié)構(gòu)示意圖；
[0038]圖3為本發(fā)明另一實施例提供的MapReduce分布式系統(tǒng)的作業(yè)診斷設(shè)備的結(jié)構(gòu)示意圖；
[0039]圖4為本發(fā)明另一實施例提供的MapReduce分布式系統(tǒng)的作業(yè)診斷設(shè)備的結(jié)構(gòu)示意圖。
【【具體實施方式】】
[0040]為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0041 ] 另外，本文中術(shù)語“和/或”，僅僅是一種描述關(guān)聯(lián)對象的關(guān)聯(lián)關(guān)系，表示可以存在三種關(guān)系，例如，A和/或B，可以表示:單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字符“/”，一般表示前后關(guān)聯(lián)對象是一種“或”的關(guān)系。
[0042]圖1為本發(fā)明一實施例提供的MapReduce分布式系統(tǒng)的作業(yè)診斷方法的流程示意圖。
[0043]101、獲得MapReduce分布式系統(tǒng)中待診斷對象的對象標識,所述對象標識包括集群標識，或者集群標識和作業(yè)標識。
[0044]例如，所述集群標識可以為集群名稱(Cluster Name)。
[0045]再例如，所述作業(yè)標識可以為作業(yè)標識符(Job ID)。
[0046]102、利用所述對象標識，獲得至少一個作業(yè)運行的日志文件。
[0047]其中，所述日志文件可以包括但不限于配置文件(例如，conf.xml文件)和狀態(tài)文件(例如，log文件)，本實施例對此不進行限定。
[0048]103、根據(jù)所述日志文件和預(yù)先配置的診斷規(guī)則，對所述至少一個作業(yè)進行診斷，以獲得診斷結(jié)果。
[0049]需要說明的是，101~103的執(zhí)行主體可以是一診斷設(shè)備。
[0050]這樣,通過獲得MapReduce分布式系統(tǒng)中待診斷對象的對象標識,所述對象標識包括集群標識，或者集群標識和作業(yè)標識，進而利用所述對象標識，獲得至少一個作業(yè)運行的日志文件，使得能夠根據(jù)所述日志文件和預(yù)先配置的診斷規(guī)則，對所述至少一個作業(yè)進行診斷，以獲得診斷結(jié)果，全部流程為自動化操作流程，無需操作人員進行手動控制，操作簡單，且正確率高，從而提高了作業(yè)診斷的效率和可靠性。
[0051]可選地，在本實施例的一個可能的實現(xiàn)方式中，在102中，診斷設(shè)備具體可以利用所述對象標識，獲得所述日志文件的統(tǒng)一資源定位符(Uniform Resource Locator, URL)。例如，所述日志文件的URL可以通過拼接字符串的方式生成，具體方式的詳細描述可以參見現(xiàn)有技術(shù)中的相關(guān)內(nèi)容，此處不再贅述。然后，所述診斷設(shè)備則可以根據(jù)所述日志文件的URL，獲得所述日志文件。
[0052]可選地，在本實施例的一個可能的實現(xiàn)方式中，在103中，診斷設(shè)備具體可以根據(jù)所述日志文件，提取作業(yè)信息。具體地，所述診斷設(shè)備具體可以根據(jù)用戶指定，或者所述診斷規(guī)則的需要，從所述日志文件中提取有用的部分內(nèi)容，作為作業(yè)信息。然后，所述診斷設(shè)備則可以根據(jù)預(yù)先設(shè)置的數(shù)據(jù)格式，對所述作業(yè)信息進行封裝，以及根據(jù)所述診斷規(guī)則，對封裝之后的作業(yè)信息進行診斷。
[0053]可選地，在本實施例的一個可能的實現(xiàn)方式中，在103之后，診斷設(shè)備還可以進一步根據(jù)所述診斷結(jié)果，調(diào)整所述至少一個作業(yè)的運行控制參數(shù)。這樣，可以縮短所述至少一個作業(yè)的執(zhí)行時間，從而提高了 MapReduce分布式系統(tǒng)的作業(yè)執(zhí)行效率。
[0054]另外，還可以優(yōu)化所述至少一個作業(yè)的執(zhí)行策略，從而提高了 MapReduce分布式系統(tǒng)的資源利用率。
[0055]具體地，所述診斷規(guī)則可以有很多種，下面將舉幾個例子進行簡單說明。簡單來說，可以將所述診斷規(guī)則分為三類，一類是Map任務(wù)相關(guān)的一些規(guī)則，另一類是Reduce任務(wù)相關(guān)的一些規(guī)則，還有一類是其它規(guī)則。
[0056]第一類、Map任務(wù)相關(guān)的一些規(guī)則
[0057]1、Map 階段磁盤溢寫(Map Side Disk Spill)
[0058]當(dāng)Map任務(wù)開始運行，并產(chǎn)生中間數(shù)據(jù)時，其產(chǎn)生的中間數(shù)據(jù)并非直接就簡單的寫入磁盤。這中間的過程比較復(fù)雜，并且利用到了內(nèi)存(buffer)來進行產(chǎn)生的中間數(shù)據(jù)的緩存，并在buffer中進行一些預(yù)排序(sort)來優(yōu)化整個Map任務(wù)的性能。每一個Map任務(wù)都會對應(yīng)存在一個buffer (MapOutputBuffer), Map任務(wù)會將產(chǎn)生的中間數(shù)據(jù)先寫入到該buffer中，這個buffer默認是100兆字節(jié)(MB)大小,但是這個大小是可以根據(jù)作業(yè)提交時的參數(shù)設(shè)定來調(diào)整的，該參數(shù)即為:1.sort, mb。當(dāng)Map任務(wù)產(chǎn)生的中間數(shù)據(jù)非常大時，并且把1.sort, mb調(diào)大,那么Map任務(wù)在整個計算過程中溢寫(spill)的次數(shù)就勢必會降低，Map任務(wù)對磁盤的操作就會變少，如果Map任務(wù)的瓶頸在磁盤上，這樣調(diào)整就會大大提高Map任務(wù)的計算性能。
[0059]Map任務(wù)在運行過程中，不停的向該buffer中寫入產(chǎn)生的中間數(shù)據(jù)，但是該buffer并不一定能將全部的Map任務(wù)產(chǎn)生的中間數(shù)據(jù)緩存下來,當(dāng)Map任務(wù)產(chǎn)生的中間數(shù)據(jù)超出一定閾值(例如，100MB)，那么Map任務(wù)就必須將該buffer中的數(shù)據(jù)寫入到磁盤中去，這個過程在MapReduce分布式系統(tǒng)中叫做溢寫(spill)。Map任務(wù)并不是要等到將該buffer全部寫滿時才進行spill,因為如果全部寫滿了再去寫spill,勢必會造成Map任務(wù)的計算部分等待buffer釋放空間的情況。所以，Map任務(wù)其實是當(dāng)buffer被寫滿到一定程度(例如，80%)時，就開始進行spill。這個閾值也是可以根據(jù)作業(yè)提交時的參數(shù)設(shè)定來調(diào)整的由，該參數(shù)即為:1.sort, spill, percent,默認為0.80或80%。這個參數(shù)同樣也是影響spill頻繁程度，進而影響Map任務(wù)運行周期對磁盤的讀寫頻率的。
[0060]具體的診斷規(guī)則可以參見公式(I):
[0061]
【權(quán)利要求】
1.一種MapReduce分布式系統(tǒng)的作業(yè)診斷方法,其特征在于，包括:獲得MapReduce分布式系統(tǒng)中待診斷對象的對象標識，所述對象標識包括集群標識，或者集群標識和作業(yè)標識； 利用所述對象標識，獲得至少一個作業(yè)運行的日志文件； 根據(jù)所述日志文件和預(yù)先配置的診斷規(guī)則，對所述至少一個作業(yè)進行診斷，以獲得診斷結(jié)果。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用所述對象標識，獲得至少一個作業(yè)運行的日志文件,包括: 利用所述對象標識，獲得所述日志文件的URL ； 根據(jù)所述日志文件的URL，獲得所述日志文件。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)所述日志文件和預(yù)先配置的診斷規(guī)則，對所述至少一個作業(yè)進行診斷，包括: 根據(jù)所述日志文件，提取作業(yè)信息； 根據(jù)預(yù)先設(shè)置的數(shù)據(jù) 格式，對所述作業(yè)信息進行封裝； 根據(jù)所述診斷規(guī)則，對封裝之后的作業(yè)信息進行診斷。
4.根據(jù)權(quán)利要求1~3任一權(quán)利要求所述的方法，其特征在于，所述根據(jù)所述日志文件和預(yù)先配置的診斷規(guī)則，對所述至少一個作業(yè)進行診斷，以獲得診斷結(jié)果之后，還包括: 根據(jù)所述診斷結(jié)果，調(diào)整所述至少一個作業(yè)的運行控制參數(shù)。
5.根據(jù)權(quán)利要求1~4任一權(quán)利要求所述的方法，其特征在于，所述日志文件包括配置文件和狀態(tài)文件。
6.根據(jù)權(quán)利要求1~5任一權(quán)利要求所述的方法，其特征在于，所述方法還包括: 對所述至少一個作業(yè)的運行狀況進行統(tǒng)計，以獲得統(tǒng)計信息。
7.—種MapReduce分布式系統(tǒng)的作業(yè)診斷設(shè)備,其特征在于,包括: 獲得單元，用于獲得MapReduce分布式系統(tǒng)中待診斷對象的對象標識，所述對象標識包括集群標識，或者集群標識和作業(yè)標識； 所述獲得單元，還用于利用所述對象標識，獲得至少一個作業(yè)運行的日志文件； 診斷單元，用于根據(jù)所述日志文件和預(yù)先配置的診斷規(guī)則，對所述至少一個作業(yè)進行診斷，以獲得診斷結(jié)果。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其特征在于，所述獲得單元，具體用于 利用所述對象標識，獲得所述日志文件的URL ；以及根據(jù)所述日志文件的URL，獲得所述日志文件。
9.根據(jù)權(quán)利要求7或8所述的設(shè)備，其特征在于，所述診斷單元，具體用于 根據(jù)所述日志文件，提取作業(yè)信息；根據(jù)預(yù)先設(shè)置的數(shù)據(jù)格式，對所述作業(yè)信息進行封裝；以及根據(jù)所述診斷規(guī)則，對封裝之后的作業(yè)信息進行診斷。
10.根據(jù)權(quán)利要求7~9任一權(quán)利要求所述的設(shè)備，其特征在于，所述設(shè)備還包括調(diào)整單元，用于 根據(jù)所述診斷結(jié)果，調(diào)整所述至少一個作業(yè)的運行控制參數(shù)。
11.根據(jù)權(quán)利要求7~10任一權(quán)利要求所述的設(shè)備，其特征在于，所述獲得單元所獲得的所述日志文件包括配置文件和狀態(tài)文件。
12.根據(jù)權(quán)利要求7~11任一權(quán)利要求所述的設(shè)備，其特征在于，所述設(shè)備還包括統(tǒng)計單元，用于
對所述至少一個作業(yè)的運行狀況進行統(tǒng)計，以獲得統(tǒng)計信息。
【文檔編號】G06F17/30GK104077328SQ201310109756
【公開日】2014年10月1日 申請日期:2013年3月29日 優(yōu)先權(quán)日:2013年3月29日
【發(fā)明者】楊斐, 劉旭 申請人:百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司