分布式文件系統(tǒng)優(yōu)化負(fù)載均衡的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種分布式文件系統(tǒng)優(yōu)化負(fù)載均衡的方法及系統(tǒng)，其系統(tǒng)包括元數(shù)據(jù)服務(wù)器、存儲(chǔ)服務(wù)器及數(shù)據(jù)庫服務(wù)器，數(shù)據(jù)庫服務(wù)器在接收客戶端發(fā)送的文件寫入請(qǐng)求，根據(jù)文件寫入請(qǐng)求寫入文件，并為每一文件的各分片打上標(biāo)簽；元數(shù)據(jù)服務(wù)器當(dāng)監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常時(shí)，向存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求；存儲(chǔ)服務(wù)器根據(jù)本地存儲(chǔ)文件的各分片的標(biāo)簽以及分片遷移請(qǐng)求攜帶的異常信息，重新分配分片位置，并發(fā)起遷移；當(dāng)遷移成功后，將分片新的位置信息上報(bào)至數(shù)據(jù)庫服務(wù)器。本發(fā)明在存儲(chǔ)服務(wù)器異常以及硬盤故障和擴(kuò)容情況下，對(duì)分片進(jìn)行重新調(diào)整，達(dá)到了優(yōu)化負(fù)載均衡的效果，節(jié)省了元數(shù)據(jù)服務(wù)器的開支，提高了小文件模型下的整體性能。
【專利說明】分布式文件系統(tǒng)優(yōu)化負(fù)載均衡的方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及分布式文件系統(tǒng)負(fù)載均衡【技術(shù)領(lǐng)域】，尤其涉及一種通過自動(dòng)調(diào)整分布式文件系統(tǒng)文件分片的分布來優(yōu)化負(fù)載均衡的方法及系統(tǒng)。
【背景技術(shù)】
[0002]與傳統(tǒng)磁陣設(shè)備相比，分布式文件系統(tǒng)具有兼容不同型號(hào)設(shè)備、易于接入、易于擴(kuò)容等優(yōu)點(diǎn)。由于協(xié)同大量的存儲(chǔ)設(shè)備共同為用戶提供服務(wù)，因此分布式文件系統(tǒng)對(duì)于負(fù)載均衡要求很高。
[0003]分布式文件系統(tǒng)通常將大文件切割成相同大小的分片，然后將這些分片分別存放在待提供服務(wù)的存儲(chǔ)設(shè)備中。如果需要實(shí)現(xiàn)負(fù)載均衡，必須解決以下兩個(gè)問題:
[0004]第一，當(dāng)用戶請(qǐng)求寫或者讀時(shí)，元數(shù)據(jù)服務(wù)器必須權(quán)衡現(xiàn)有存儲(chǔ)服務(wù)器的資源信息，選擇一個(gè)更有利于整體優(yōu)化的存儲(chǔ)服務(wù)器為用戶提供服務(wù)；
[0005]第二，文件分片存放的位置必須合理，否則無論元數(shù)據(jù)服務(wù)器如何優(yōu)化選擇存儲(chǔ)服務(wù)器，還是必須從存放相應(yīng)數(shù)據(jù)的存儲(chǔ)服務(wù)器獲取數(shù)據(jù)。
[0006]針對(duì)上述第二個(gè)問題，當(dāng)文件分片存放位置已經(jīng)不合理的情況下，如何進(jìn)行二次調(diào)整，優(yōu)化負(fù)載均衡成為待解決的問題。
[0007]文件分片存放位置會(huì)產(chǎn)生不合理絕大多數(shù)情況是因?yàn)橛脖P故障和擴(kuò)容而造成的。在硬盤故障和擴(kuò)容的過程中，有兩種情況會(huì)影響文件分片分布均勻。一種情況是，硬盤狀態(tài)正常，但讀寫慢，這樣原先數(shù)據(jù)庫根據(jù)負(fù)載均衡分配的方案，會(huì)被迫重新調(diào)整；另外一種情況是，硬盤狀態(tài)壞和擴(kuò)容，需要將部分分片重新調(diào)整到新增加或者換上的硬盤上。
[0008]現(xiàn)有的解決方法是，由存儲(chǔ)服務(wù)器上報(bào)硬盤空間利用率，元數(shù)據(jù)服務(wù)器定時(shí)輪詢，當(dāng)發(fā)現(xiàn)硬盤空間利用率大于一定的閾值后，由元數(shù)據(jù)服務(wù)器發(fā)起分片遷移。但是，現(xiàn)有的這種解決方法存在以下缺陷:
[0009]第一、硬盤空間利用率只能反映硬盤上分片的數(shù)量，并不能代表文件在所有硬盤上的分布情況。因此，分片遷移后，會(huì)造成大量的文件只存放于少量硬盤上，而不能使得所有硬盤協(xié)同為用戶服務(wù)。
[0010]第二、硬盤空間利用率不能反映文件的第一塊分片的存放信息，遷移可能造成許多文件的第一塊分片集中存放到少數(shù)硬盤上。當(dāng)用戶讀文件時(shí)，都是從第一塊分片開始，由此會(huì)產(chǎn)生能力不足的現(xiàn)象。
[0011]第三、所有的遷移由元數(shù)據(jù)服務(wù)器完成，這無疑增加了元數(shù)據(jù)服務(wù)器的負(fù)擔(dān)。尤其在小文件占比例較大的模型下，會(huì)影響文件系統(tǒng)的整體性能。

【發(fā)明內(nèi)容】

[0012]本發(fā)明的主要目的在于提供一種分布式文件系統(tǒng)優(yōu)化負(fù)載均衡的方法及系統(tǒng)，旨在解決遷移分片后，負(fù)載均衡失效的問題。
[0013]為了達(dá)到上述目的，本發(fā)明提出一種分布式文件系統(tǒng)優(yōu)化負(fù)載均衡的方法，包括:
[0014]當(dāng)元數(shù)據(jù)服務(wù)器監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求；
[0015]所述存儲(chǔ)服務(wù)器根據(jù)本地存儲(chǔ)文件的各分片的標(biāo)簽以及所述分片遷移請(qǐng)求攜帶的異常信息，重新分配分片位置，并發(fā)起遷移；當(dāng)遷移成功后，將所述分片新的位置信息上報(bào)數(shù)據(jù)庫服務(wù)器。
[0016]優(yōu)選地，所述當(dāng)元數(shù)據(jù)服務(wù)器監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求的步驟之前還包括:
[0017]所述數(shù)據(jù)庫服務(wù)器接收客戶端發(fā)送的文件寫入請(qǐng)求，根據(jù)所述文件寫入請(qǐng)求寫入文件，并為每一文件的各分片打上標(biāo)簽。
[0018]優(yōu)選地，所述數(shù)據(jù)庫服務(wù)器為每一文件的各分片打上標(biāo)簽的步驟包括:
[0019]所述數(shù)據(jù)庫服務(wù)器寫入第一個(gè)文件時(shí)，給該文件打上標(biāo)簽1，后續(xù)每增加一個(gè)文件，標(biāo)簽則增加1，當(dāng)標(biāo)簽達(dá)到65535時(shí)再循環(huán)打標(biāo)簽。
[0020]優(yōu)選地，所述存儲(chǔ)服務(wù)器狀態(tài)異常至少包括存儲(chǔ)服務(wù)器的增加、刪除以及硬盤故障或者擴(kuò)容。
[0021]優(yōu)選地，所述元數(shù)據(jù)服務(wù)器監(jiān)控到所述硬盤故障的步驟包括:
[0022]所述存儲(chǔ)服務(wù)器在偵聽到硬盤故障時(shí)，將硬盤異常信息發(fā)送給所述元數(shù)據(jù)服務(wù)器；
[0023]所述元數(shù)據(jù)服務(wù)器接收到所述硬盤異常信息后，監(jiān)控到所述硬盤故障。
[0024]優(yōu)選地，所述當(dāng)元數(shù)據(jù)服務(wù)器監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求的步驟包括:
[0025]當(dāng)元數(shù)據(jù)服務(wù)器監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常，且異常時(shí)間大于預(yù)定閾值時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求。
[0026]本發(fā)明還提出一種優(yōu)化負(fù)載均衡的分布式文件系統(tǒng)，包括:元數(shù)據(jù)服務(wù)器、存儲(chǔ)服務(wù)器及數(shù)據(jù)庫服務(wù)器，其中:
[0027]所述元數(shù)據(jù)服務(wù)器用于當(dāng)監(jiān)控到所述存儲(chǔ)服務(wù)器狀態(tài)異常時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求；
[0028]所述存儲(chǔ)服務(wù)器用于根據(jù)本地存儲(chǔ)文件的各分片的標(biāo)簽以及所述分片遷移請(qǐng)求攜帶的異常信息，重新分配分片位置，并發(fā)起遷移；當(dāng)遷移成功后，將所述分片新的位置信息上報(bào)至所述數(shù)據(jù)庫服務(wù)器。
[0029]優(yōu)選地，所述數(shù)據(jù)庫服務(wù)器還用于接收客戶端發(fā)送的文件寫入請(qǐng)求，根據(jù)所述文件寫入請(qǐng)求寫入文件，并為每一文件的各分片打上標(biāo)簽。
[0030]優(yōu)選地，所述數(shù)據(jù)庫服務(wù)器還用于在寫入第一個(gè)文件時(shí)，給該文件打上標(biāo)簽1，后續(xù)每增加一個(gè)文件，標(biāo)簽則增加1，當(dāng)標(biāo)簽達(dá)到65535時(shí)再循環(huán)打標(biāo)簽。
[0031]優(yōu)選地，所述存儲(chǔ)服務(wù)器狀態(tài)異常至少包括存儲(chǔ)服務(wù)器的增加、刪除以及硬盤故障或者擴(kuò)容。
[0032]優(yōu)選地，所述存儲(chǔ)服務(wù)器還用于在偵聽到硬盤故障時(shí)，將硬盤異常信息發(fā)送給所述元數(shù)據(jù)服務(wù)器；
[0033]所述元數(shù)據(jù)服務(wù)器還用于在接收到所述硬盤異常信息后，監(jiān)控到所述硬盤故障。[0034]優(yōu)選地，所述元數(shù)據(jù)服務(wù)器還用于當(dāng)監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常，且異常時(shí)間大于預(yù)定閾值時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求。
[0035]本發(fā)明提出的一種分布式文件系統(tǒng)優(yōu)化負(fù)載均衡的方法及系統(tǒng)，當(dāng)元數(shù)據(jù)服務(wù)器監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常時(shí)，向存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求；存儲(chǔ)服務(wù)器根據(jù)本地存儲(chǔ)文件的各分片的標(biāo)簽以及分片遷移請(qǐng)求攜帶的異常信息，重新分配分片位置，并發(fā)起遷移；當(dāng)遷移成功后，將分片新的位置信息上報(bào)數(shù)據(jù)庫服務(wù)器，由此在存儲(chǔ)服務(wù)器異常以及硬盤故障和擴(kuò)容情況下，對(duì)分片進(jìn)行重新調(diào)整，達(dá)到了優(yōu)化負(fù)載均衡的效果，節(jié)省了元數(shù)據(jù)服務(wù)器的開支，提高了小文件模型下的整體性能。
【專利附圖】

【附圖說明】
[0036]圖1是本發(fā)明優(yōu)化負(fù)載均衡的分布式文件系統(tǒng)一實(shí)施例的結(jié)構(gòu)示意圖；
[0037]圖2是本發(fā)明實(shí)施例中硬盤故障分片遷移流程圖；
[0038]圖3是本發(fā)明實(shí)施例中硬盤擴(kuò)容分片遷移流程圖；
[0039]圖4是本發(fā)明分布式文件系統(tǒng)優(yōu)化負(fù)載均衡的方法一實(shí)施例的流程示意圖?！揪唧w實(shí)施方式】
[0040]本發(fā)明實(shí)施例的解決方案主要思路是:當(dāng)元數(shù)據(jù)服務(wù)器監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常時(shí)，向存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求；存儲(chǔ)服務(wù)器根據(jù)本地存儲(chǔ)文件的各分片的標(biāo)簽以及分片遷移請(qǐng)求攜帶的異常信息，重新分配分片位置，并發(fā)起遷移；當(dāng)遷移成功后，將分片新的位置信息上報(bào)數(shù)據(jù)庫服務(wù)器，以達(dá)到優(yōu)化負(fù)載均衡的目的，節(jié)省元數(shù)據(jù)服務(wù)器的開支，提高小文件模型下的整體性能。
[0041]如圖1所示，本發(fā)明一實(shí)施例提出的一種優(yōu)化負(fù)載均衡的分布式文件系統(tǒng)，包括:元數(shù)據(jù)服務(wù)器10、存儲(chǔ)服務(wù)器20及數(shù)據(jù)庫服務(wù)器30，其中:
[0042]所述數(shù)據(jù)庫服務(wù)器30用于接收客戶端40發(fā)送的文件寫入請(qǐng)求，根據(jù)所述文件寫入請(qǐng)求寫入文件，并為每一文件的各分片打上標(biāo)簽；
[0043]所述元數(shù)據(jù)服務(wù)器10用于當(dāng)監(jiān)控到所述存儲(chǔ)服務(wù)器20狀態(tài)異常時(shí)，向所述存儲(chǔ)服務(wù)器20發(fā)起分片遷移請(qǐng)求；
[0044]所述存儲(chǔ)服務(wù)器20用于根據(jù)本地存儲(chǔ)文件的各分片的標(biāo)簽以及所述分片遷移請(qǐng)求攜帶的異常信息，重新分配分片位置，并發(fā)起遷移；當(dāng)遷移成功后，將所述分片新的位置信息上報(bào)至所述數(shù)據(jù)庫服務(wù)器30。
[0045]具體地，在本實(shí)施例中，存儲(chǔ)服務(wù)器20包括存儲(chǔ)服務(wù)器監(jiān)控模塊202、存儲(chǔ)服務(wù)器上報(bào)模塊201以及重置分片模塊203，其中:
[0046]存儲(chǔ)服務(wù)器監(jiān)控模塊202用于監(jiān)控存儲(chǔ)服務(wù)器20上硬盤、網(wǎng)絡(luò)資源信息，當(dāng)狀態(tài)發(fā)生異常時(shí)立即上報(bào)存儲(chǔ)服務(wù)器上報(bào)模塊201 ；
[0047]存儲(chǔ)服務(wù)器上報(bào)模塊201用于接收存儲(chǔ)服務(wù)器監(jiān)控模塊202的消息，在硬盤和網(wǎng)絡(luò)異常時(shí)，向元數(shù)據(jù)服務(wù)器10上報(bào)存儲(chǔ)服務(wù)器監(jiān)控模塊202監(jiān)控的信息。
[0048]重置分片模塊203用于根據(jù)首次存放文件時(shí)分片的標(biāo)簽，以及元數(shù)據(jù)服務(wù)器10觸發(fā)機(jī)制下發(fā)的當(dāng)前存儲(chǔ)服務(wù)器20和硬盤狀態(tài)參數(shù)，判斷分片應(yīng)該存放的最佳位置信息，發(fā)起分片遷移。[0049]元數(shù)據(jù)服務(wù)器10包括元數(shù)據(jù)服務(wù)器監(jiān)控模塊101和遷移觸發(fā)模塊102，其中:
[0050]元數(shù)據(jù)服務(wù)器監(jiān)控模塊101用于監(jiān)控每個(gè)存儲(chǔ)服務(wù)器20的狀態(tài)，發(fā)現(xiàn)存儲(chǔ)服務(wù)器20離線或者新增的情況，即負(fù)責(zé)監(jiān)控所有存儲(chǔ)服務(wù)器20的增加、刪除、異常等改變信息，以及接收存儲(chǔ)服務(wù)器上報(bào)模塊201的硬盤狀態(tài)信息；
[0051]遷移觸發(fā)模塊102用于當(dāng)存儲(chǔ)服務(wù)器20離線或者新增，或者硬盤異常或者擴(kuò)容發(fā)生時(shí)，在規(guī)定的閾值范圍時(shí)間后，向存儲(chǔ)服務(wù)器20發(fā)起重新調(diào)整分片的請(qǐng)求，觸發(fā)分片遷移。
[0052]數(shù)據(jù)庫服務(wù)器30包括:打標(biāo)簽?zāi)K301和數(shù)據(jù)庫模塊302，其中:
[0053]打標(biāo)簽?zāi)K301用于在客戶端40請(qǐng)求首次寫入某文件時(shí)，向文件的每個(gè)分片下發(fā)一個(gè)標(biāo)簽，將所有分片打上標(biāo)簽。在打標(biāo)簽時(shí)，對(duì)每個(gè)文件打上1飛5535范圍內(nèi)的標(biāo)簽，且按照請(qǐng)求寫入的順序逐個(gè)循環(huán)增加。
[0054]具體地，在寫入第一個(gè)文件時(shí)，給該文件打上標(biāo)簽I，后續(xù)每增加一個(gè)文件，標(biāo)簽則增加1，當(dāng)標(biāo)簽達(dá)到65535時(shí)再循環(huán)打標(biāo)簽。
[0055]數(shù)據(jù)庫模塊302用于記錄分片的存放信息和存儲(chǔ)服務(wù)器20、硬盤的狀態(tài)信息。
[0056]下面以硬盤異常遷移流程和擴(kuò)容遷移流程分別舉例進(jìn)行說明。
[0057]如圖2所示，硬盤故障觸發(fā)分片自動(dòng)遷移的流程具體如下:
[0058]步驟一:在硬盤異常后，存儲(chǔ)服務(wù)器監(jiān)控模塊202將硬盤異常的信息發(fā)送給存儲(chǔ)服務(wù)器上報(bào)模塊201。
[0059]步驟二:存儲(chǔ)服務(wù)器上報(bào)模塊201搜集該存儲(chǔ)服務(wù)器20上的所有硬盤異常消息，并將硬盤異常信息轉(zhuǎn)發(fā)給元數(shù)據(jù)服務(wù)器監(jiān)控模塊101。
[0060]步驟三:元數(shù)據(jù)服務(wù)器監(jiān)控模塊101在搜集到硬盤異常后，在異常時(shí)間大于閾值的情況下，發(fā)送消息給遷移觸發(fā)模塊102，并且攜帶異常硬盤信息。
[0061]步驟四:遷移觸發(fā)模塊102向重置分配模塊發(fā)送遷移請(qǐng)求，并攜帶異常硬盤信息。
[0062]步驟五:存儲(chǔ)服務(wù)器20的重置分片模塊203根據(jù)異常硬盤信息和標(biāo)簽，重新計(jì)算分片應(yīng)該存放的位置信息，并直接發(fā)起遷移。
[0063]步驟六:在遷移成功后，將分片新的位置信息上報(bào)給數(shù)據(jù)庫模塊302存儲(chǔ)。
[0064]如圖3所示，硬盤擴(kuò)容觸發(fā)分片自動(dòng)遷移流程具體如下:
[0065]步驟一:元數(shù)據(jù)服務(wù)器監(jiān)控模塊101發(fā)現(xiàn)硬盤擴(kuò)容或有存儲(chǔ)服務(wù)器20異常(發(fā)現(xiàn)其增加或者減少)，且超過時(shí)間閾值。
[0066]步驟二:元數(shù)據(jù)服務(wù)器監(jiān)控模塊101在發(fā)現(xiàn)異常后，向遷移觸發(fā)模塊102發(fā)送遷移請(qǐng)求，并且攜帶異常存儲(chǔ)服務(wù)器20信息。
[0067]步驟三:遷移觸發(fā)模塊102向重置分配模塊發(fā)送遷移請(qǐng)求，并攜帶異常存儲(chǔ)服務(wù)器20信息。
[0068]步驟四:重置分片模塊203根據(jù)異常存儲(chǔ)服務(wù)器20信息和標(biāo)簽，決定哪些分片需要重新調(diào)整，進(jìn)而重新分配分片位置，并發(fā)起遷移。
[0069]步驟五:存儲(chǔ)服務(wù)器20之間發(fā)起遷移請(qǐng)求，在遷移成功后，將分片新的位置信息上報(bào)數(shù)據(jù)庫模塊302。
[0070]相比現(xiàn)有技術(shù)，本實(shí)施例通過上述方案取得了存儲(chǔ)服務(wù)器20異常以及硬盤故障和擴(kuò)容情況下分片重新調(diào)整均衡的進(jìn)步，達(dá)到了優(yōu)化負(fù)載均衡的效果，節(jié)省了元數(shù)據(jù)服務(wù)器10的開支，提高了小文件模型下的整體性能。
[0071]如圖4所示，本發(fā)明一實(shí)施例提出的一種分布式文件系統(tǒng)優(yōu)化負(fù)載均衡的方法，基于上述實(shí)施例分布式文件系統(tǒng)而實(shí)施，該方法包括:
[0072]步驟S201，當(dāng)元數(shù)據(jù)服務(wù)器監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求；
[0073]步驟S202，所述存儲(chǔ)服務(wù)器根據(jù)本地存儲(chǔ)文件的各分片的標(biāo)簽以及所述分片遷移請(qǐng)求攜帶的異常信息，重新分配分片位置，并發(fā)起遷移；當(dāng)遷移成功后，將所述分片新的位置信息上報(bào)數(shù)據(jù)庫服務(wù)器。
[0074]具體地，在本實(shí)施例中，數(shù)據(jù)庫服務(wù)器在接收客戶端發(fā)送的文件寫入請(qǐng)求，根據(jù)所述文件寫入請(qǐng)求寫入文件，并為每一文件的各分片打上標(biāo)簽。其中，數(shù)據(jù)庫服務(wù)器在為每一文件的各分片打上標(biāo)簽時(shí)，具體采用以下方案:數(shù)據(jù)庫服務(wù)器寫入第一個(gè)文件時(shí)，給該文件打上標(biāo)簽I,后續(xù)每增加一個(gè)文件,標(biāo)簽則增加I,當(dāng)標(biāo)簽達(dá)到65535時(shí)再循環(huán)打標(biāo)簽。
[0075]存儲(chǔ)服務(wù)器監(jiān)控模塊實(shí)時(shí)監(jiān)控存儲(chǔ)服務(wù)器上硬盤、網(wǎng)絡(luò)資源信息，當(dāng)狀態(tài)發(fā)生異常時(shí)立即上報(bào)存儲(chǔ)服務(wù)器上報(bào)模塊；存儲(chǔ)服務(wù)器上報(bào)模塊接收存儲(chǔ)服務(wù)器監(jiān)控模塊的消息，在硬盤和網(wǎng)絡(luò)異常時(shí)，向元數(shù)據(jù)服務(wù)器上報(bào)存儲(chǔ)服務(wù)器監(jiān)控模塊監(jiān)控的信息。
[0076]元數(shù)據(jù)服務(wù)器監(jiān)控模塊負(fù)責(zé)監(jiān)控所有存儲(chǔ)服務(wù)器的增加、刪除、異常等改變信息，以及接收存儲(chǔ)服務(wù)器上報(bào)模塊的硬盤狀態(tài)信息；在接收到硬盤狀態(tài)改變(包括硬盤故障或擴(kuò)容)或服務(wù)器異常時(shí)，由遷移觸發(fā)模塊在規(guī)定的閾值范圍時(shí)間后，向存儲(chǔ)服務(wù)器發(fā)起重新調(diào)整分片的請(qǐng)求，觸發(fā)分片遷移。
[0077]存儲(chǔ)服務(wù)器的重置分片模塊根據(jù)首次存放文件時(shí)分片的標(biāo)簽，以及元數(shù)據(jù)服務(wù)器觸發(fā)機(jī)制下發(fā)的當(dāng)前存儲(chǔ)服務(wù)器和硬盤狀態(tài)參數(shù)，判斷分片應(yīng)該存放的最佳位置信息，發(fā)起分片遷移，在遷移成功后，將分片新的位置信息上報(bào)給數(shù)據(jù)庫模塊存儲(chǔ)。
[0078]下面以硬盤異常遷移流程和擴(kuò)容遷移流程分別舉例進(jìn)行說明。
[0079]如圖2所示，硬盤故障觸發(fā)分片自動(dòng)遷移的流程具體如下:
[0080]步驟一:在硬盤異常后，存儲(chǔ)服務(wù)器監(jiān)控模塊將硬盤異常的信息發(fā)送給存儲(chǔ)服務(wù)器上報(bào)模塊。
[0081]步驟二:存儲(chǔ)服務(wù)器上報(bào)模塊搜集該存儲(chǔ)服務(wù)器上的所有硬盤異常消息，并將硬盤異常信息轉(zhuǎn)發(fā)給元數(shù)據(jù)服務(wù)器監(jiān)控模塊。
[0082]步驟三:元數(shù)據(jù)服務(wù)器監(jiān)控模塊在搜集到硬盤異常后，在異常時(shí)間大于閾值的情況下，發(fā)送消息給遷移觸發(fā)模塊，并且攜帶異常硬盤信息。
[0083]步驟四:遷移觸發(fā)模塊向重置分配模塊發(fā)送遷移請(qǐng)求，并攜帶異常硬盤信息。
[0084]步驟五:存儲(chǔ)服務(wù)器的重置分片模塊根據(jù)異常硬盤信息和標(biāo)簽，重新計(jì)算分片應(yīng)該存放的位置信息，并直接發(fā)起遷移。
[0085]步驟六:在遷移成功后，將分片新的位置信息上報(bào)給數(shù)據(jù)庫模塊存儲(chǔ)。
[0086]如圖3所示，硬盤擴(kuò)容觸發(fā)分片自動(dòng)遷移流程具體如下:
[0087]步驟一:元數(shù)據(jù)服務(wù)器監(jiān)控模塊發(fā)現(xiàn)硬盤擴(kuò)容或有存儲(chǔ)服務(wù)器異常(發(fā)現(xiàn)其增加或者減少)，且超過時(shí)間閾值。
[0088]步驟二:元數(shù)據(jù)服務(wù)器監(jiān)控模塊在發(fā)現(xiàn)異常后，向遷移觸發(fā)模塊發(fā)送遷移請(qǐng)求，并且攜帶異常存儲(chǔ)服務(wù)器信息。[0089]步驟三:遷移觸發(fā)模塊向重置分配模塊發(fā)送遷移請(qǐng)求，并攜帶異常存儲(chǔ)服務(wù)器信
肩、O
[0090]步驟四:重置分片模塊根據(jù)異常存儲(chǔ)服務(wù)器信息和標(biāo)簽，決定哪些分片需要重新調(diào)整，進(jìn)而重新分配分片位置，并發(fā)起遷移。
[0091]步驟五:存儲(chǔ)服務(wù)器之間發(fā)起遷移請(qǐng)求，在遷移成功后，將分片新的位置信息上報(bào)數(shù)據(jù)庫模塊。
[0092]本實(shí)施例通過上述方案，在存儲(chǔ)服務(wù)器異常以及硬盤故障和擴(kuò)容情況下，對(duì)分片進(jìn)行重新調(diào)整，達(dá)到了優(yōu)化負(fù)載均衡的效果，節(jié)省了元數(shù)據(jù)服務(wù)器的開支，提高了小文件模型下的整體性能。
[0093]以上所述僅為本發(fā)明的優(yōu)選實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或流程變換，或直接或間接運(yùn)用在其它相關(guān)的【技術(shù)領(lǐng)域】，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。
【權(quán)利要求】
1.一種分布式文件系統(tǒng)優(yōu)化負(fù)載均衡的方法，其特征在于，包括: 當(dāng)元數(shù)據(jù)服務(wù)器監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求； 所述存儲(chǔ)服務(wù)器根據(jù)本地存儲(chǔ)文件的各分片的標(biāo)簽以及所述分片遷移請(qǐng)求攜帶的異常信息，重新分配分片位置，并發(fā)起遷移；當(dāng)遷移成功后，將所述分片新的位置信息上報(bào)數(shù)據(jù)庫服務(wù)器。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當(dāng)元數(shù)據(jù)服務(wù)器監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求的步驟之前還包括: 所述數(shù)據(jù)庫服務(wù)器接收客戶端發(fā)送的文件寫入請(qǐng)求，根據(jù)所述文件寫入請(qǐng)求寫入文件，并為每一文件的各分片打上標(biāo)簽。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述數(shù)據(jù)庫服務(wù)器為每一文件的各分片打上標(biāo)簽的步驟包括: 所述數(shù)據(jù)庫服務(wù)器寫入第一個(gè)文件時(shí)，給該文件打上標(biāo)簽1，后續(xù)每增加一個(gè)文件，標(biāo)簽則增加1，當(dāng)標(biāo)簽達(dá)到65535時(shí)再循環(huán)打標(biāo)簽。
4.根據(jù)權(quán)利要求1、2或3所述的方法，其特征在于，所述存儲(chǔ)服務(wù)器狀態(tài)異常至少包括存儲(chǔ)服務(wù)器的增加、刪除以及硬盤故障或者擴(kuò)容。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述元數(shù)據(jù)服務(wù)器監(jiān)控到所述硬盤故障的步驟包括: 所述存儲(chǔ)服務(wù)器在偵聽到硬盤故障時(shí)，將硬盤異常信息發(fā)送給所述元數(shù)據(jù)服務(wù)器； 所述元數(shù)據(jù)服務(wù)器接收到所述硬盤異常信息后，監(jiān)控到所述硬盤故障。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當(dāng)元數(shù)據(jù)服務(wù)器監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求的步驟包括: 當(dāng)元數(shù)據(jù)服務(wù)器監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常，且異常時(shí)間大于預(yù)定閾值時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求。
7.一種優(yōu)化負(fù)載均衡的分布式文件系統(tǒng)，其特征在于，包括:元數(shù)據(jù)服務(wù)器、存儲(chǔ)服務(wù)器及數(shù)據(jù)庫服務(wù)器，其中: 所述元數(shù)據(jù)服務(wù)器用于當(dāng)監(jiān)控到所述存儲(chǔ)服務(wù)器狀態(tài)異常時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求； 所述存儲(chǔ)服務(wù)器用于根據(jù)本地存儲(chǔ)文件的各分片的標(biāo)簽以及所述分片遷移請(qǐng)求攜帶的異常信息，重新分配分片位置，并發(fā)起遷移；當(dāng)遷移成功后，將所述分片新的位置信息上報(bào)至所述數(shù)據(jù)庫服務(wù)器。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)庫服務(wù)器還用于接收客戶端發(fā)送的文件寫入請(qǐng)求，根據(jù)所述文件寫入請(qǐng)求寫入文件，并為每一文件的各分片打上標(biāo)簽。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)庫服務(wù)器還用于在寫入第一個(gè)文件時(shí)，給該文件打上標(biāo)簽I，后續(xù)每增加一個(gè)文件，標(biāo)簽則增加1，當(dāng)標(biāo)簽達(dá)到65535時(shí)再循環(huán)打標(biāo)簽。
10.根據(jù)權(quán)利要求7、8或9所述的系統(tǒng)，其特征在于，所述存儲(chǔ)服務(wù)器狀態(tài)異常至少包括存儲(chǔ)服務(wù)器的增加、刪除以及硬盤故障或者擴(kuò)容。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其特征在于，所述存儲(chǔ)服務(wù)器還用于在偵聽到硬盤故障時(shí)，將硬盤異常信息發(fā)送給所述元數(shù)據(jù)服務(wù)器； 所述元數(shù)據(jù)服務(wù)器還用于在接收到所述硬盤異常信息后，監(jiān)控到所述硬盤故障。
12.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述元數(shù)據(jù)服務(wù)器還用于當(dāng)監(jiān)控到存儲(chǔ)服務(wù)器狀態(tài)異常 ，且異常時(shí)間大于預(yù)定閾值時(shí)，向所述存儲(chǔ)服務(wù)器發(fā)起分片遷移請(qǐng)求。
【文檔編號(hào)】H04L29/08GK103973583SQ201310032918
【公開日】2014年8月6日 申請(qǐng)日期:2013年1月28日 優(yōu)先權(quán)日:2013年1月28日
【發(fā)明者】金泉潔 申請(qǐng)人:中興通訊股份有限公司