一種元數(shù)據(jù)集群負(fù)載平衡實(shí)現(xiàn)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)存儲(chǔ)技術(shù)，具體的說(shuō)是一種元數(shù)據(jù)集群負(fù)載平衡實(shí)現(xiàn)方法。
【背景技術(shù)】
[0002] 元數(shù)據(jù)集群是由多臺(tái)元數(shù)據(jù)服務(wù)器組成集群，一起提供元數(shù)據(jù)服務(wù)。元數(shù)據(jù)服務(wù) 器集群必須把整個(gè)文件系統(tǒng)的命名空間按照一定的邏輯分割方法，由不同的元數(shù)據(jù)服務(wù)器 進(jìn)行管理。元數(shù)據(jù)服務(wù)器主要的功能是對(duì)元數(shù)據(jù)庫(kù)和元數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行管理和操作；可以在 多操作系統(tǒng)上運(yùn)行，如window、Linux操作系統(tǒng)上，元數(shù)據(jù)服務(wù)器本身不能獨(dú)立運(yùn)行，需要 運(yùn)行在中間件上面。
[0003] 任何文件系統(tǒng)中的數(shù)據(jù)分為數(shù)據(jù)和元數(shù)據(jù)。數(shù)據(jù)是指普通文件中的實(shí)際數(shù)據(jù)，而 元數(shù)據(jù)指用來(lái)描述一個(gè)文件的特征的系統(tǒng)數(shù)據(jù)，諸如訪問(wèn)權(quán)限、文件擁有者以及文件數(shù)據(jù) 塊的分布信息等等。對(duì)于大文件而言，數(shù)據(jù)存儲(chǔ)性能是文件系統(tǒng)的瓶頸；而對(duì)于小文件而 言，元數(shù)據(jù)存儲(chǔ)性能是影響文件系統(tǒng)性能的瓶頸。目前，大部分集群文件系統(tǒng)還是使用單元 數(shù)據(jù)服務(wù)器的架構(gòu)，該架構(gòu)能滿足存儲(chǔ)大文件較多的應(yīng)用，但是無(wú)法滿足小文件較多的應(yīng) 用場(chǎng)景，并且存在單點(diǎn)失效和元數(shù)據(jù)服務(wù)的可擴(kuò)展性問(wèn)題。為了提高文件系統(tǒng)小文件的存 儲(chǔ)性能，需要開(kāi)發(fā)元數(shù)據(jù)集群功能，來(lái)提高元數(shù)據(jù)的并發(fā)性，從而提高文件系統(tǒng)小文件讀寫(xiě) 性能。

【發(fā)明內(nèi)容】

[0004] 針對(duì)現(xiàn)有技術(shù)存在的不足之處，本發(fā)明提供了一種元數(shù)據(jù)集群負(fù)載平衡實(shí)現(xiàn)方 法。
[0005] 本發(fā)明所述一種元數(shù)據(jù)集群負(fù)載平衡實(shí)現(xiàn)方法，解決上述技術(shù)問(wèn)題采用的技術(shù)方 案如下：該元數(shù)據(jù)集群負(fù)載平衡實(shí)現(xiàn)方法，主要是在集群文件系統(tǒng)中實(shí)現(xiàn)多個(gè)元數(shù)據(jù)服務(wù) 器，通過(guò)定時(shí)同步各元數(shù)據(jù)服務(wù)器上元數(shù)據(jù)負(fù)載信息，將元數(shù)據(jù)負(fù)載較大的服務(wù)器的負(fù)載 自動(dòng)分配給壓力小的元數(shù)據(jù)服務(wù)器，實(shí)現(xiàn)元數(shù)據(jù)服務(wù)器之間的負(fù)載平衡。該方法可用在分 布式文件系統(tǒng)上，來(lái)實(shí)現(xiàn)元數(shù)據(jù)集群之間的負(fù)載平衡。
[0006] 優(yōu)選的，該元數(shù)據(jù)集群負(fù)載平衡實(shí)現(xiàn)方法主要由元數(shù)據(jù)負(fù)載統(tǒng)計(jì)模塊、元數(shù)據(jù)集 群負(fù)載平衡模塊兩部分組成；通過(guò)統(tǒng)計(jì)集群文件系統(tǒng)中文件的訪問(wèn)熱度來(lái)得出元數(shù)據(jù)負(fù) 載，并通過(guò)元數(shù)據(jù)集群負(fù)載平衡算法將符合導(dǎo)出的有負(fù)載的目錄分給其他元數(shù)據(jù)。
[0007] 優(yōu)選的，所述元數(shù)據(jù)負(fù)載統(tǒng)計(jì)模塊：主要是統(tǒng)計(jì)一定時(shí)間內(nèi)文件的訪問(wèn)熱度來(lái)計(jì) 算元數(shù)據(jù)負(fù)載值；對(duì)文件訪問(wèn)熱度進(jìn)行衰減，讓在較長(zhǎng)時(shí)間內(nèi)不會(huì)被訪問(wèn)的文件訪問(wèn)熱度 值減小或?yàn)?。
[0008] 優(yōu)選的，集群文件系統(tǒng)目錄下文件的讀寫(xiě)請(qǐng)求都會(huì)和元數(shù)據(jù)進(jìn)行消息通信，統(tǒng)計(jì) 所有的有消息通信的目錄訪問(wèn)熱度得出相應(yīng)元數(shù)據(jù)的負(fù)載值。
[0009] 優(yōu)選的，所述元數(shù)據(jù)集群負(fù)載平衡模塊：將集群文件系統(tǒng)目錄設(shè)為負(fù)載平衡的最 小單位，即在集群文件系統(tǒng)中若某個(gè)元數(shù)據(jù)負(fù)載較大，則通過(guò)負(fù)載平衡算法將符合導(dǎo)出目 標(biāo)的有負(fù)載的目錄分給另一個(gè)或其他幾個(gè)元數(shù)據(jù)。
[0010] 優(yōu)選的，元數(shù)據(jù)集群依據(jù)元數(shù)據(jù)的個(gè)數(shù)將有負(fù)載的目錄導(dǎo)出到其他元數(shù)據(jù)服務(wù)器 上；所述負(fù)載平衡算法為：
[0011]
【主權(quán)項(xiàng)】
1. 一種元數(shù)據(jù)集群負(fù)載平衡實(shí)現(xiàn)方法，其特征在于，在集群文件系統(tǒng)中實(shí)現(xiàn)多個(gè)元數(shù) 據(jù)服務(wù)器，通過(guò)定時(shí)同步各元數(shù)據(jù)服務(wù)器上元數(shù)據(jù)負(fù)載信息，將元數(shù)據(jù)負(fù)載較大的服務(wù)器 的負(fù)載自動(dòng)分配給壓力小的元數(shù)據(jù)服務(wù)器，進(jìn)行元數(shù)據(jù)服務(wù)器之間的負(fù)載平衡；該方法主 要由元數(shù)據(jù)負(fù)載統(tǒng)計(jì)模塊、元數(shù)據(jù)集群負(fù)載平衡模塊兩部分組成。
2. 根據(jù)權(quán)利要求1所述一種元數(shù)據(jù)集群負(fù)載平衡實(shí)現(xiàn)方法，其特征在于，所述元數(shù)據(jù) 負(fù)載統(tǒng)計(jì)模塊：主要是統(tǒng)計(jì)一定時(shí)間內(nèi)文件的訪問(wèn)熱度來(lái)計(jì)算元數(shù)據(jù)負(fù)載值；對(duì)文件訪問(wèn) 熱度進(jìn)行衰減，讓在較長(zhǎng)時(shí)間內(nèi)不會(huì)被訪問(wèn)的文件訪問(wèn)熱度值減小或?yàn)椹枴?br>3. 根據(jù)權(quán)利要求2所述一種元數(shù)據(jù)集群負(fù)載平衡實(shí)現(xiàn)方法，其特征在于，集群文件系 統(tǒng)目錄下文件的讀寫(xiě)請(qǐng)求都會(huì)和元數(shù)據(jù)進(jìn)行消息通信，統(tǒng)計(jì)所有的有消息通信的目錄訪問(wèn) 熱度得出相應(yīng)元數(shù)據(jù)負(fù)載值。
4. 根據(jù)權(quán)利要求1所述一種元數(shù)據(jù)集群負(fù)載平衡實(shí)現(xiàn)方法，其特征在于，所述元數(shù)據(jù) 集群負(fù)載平衡模塊：將集群文件系統(tǒng)目錄設(shè)為負(fù)載平衡的最小單位，即在集群文件系統(tǒng)中 若某個(gè)元數(shù)據(jù)負(fù)載較大，則通過(guò)負(fù)載平衡算法將符合導(dǎo)出目標(biāo)的有負(fù)載的目錄分給其他幾 個(gè)元數(shù)據(jù)。
5. 根據(jù)權(quán)利要求4所述一種元數(shù)據(jù)集群負(fù)載平衡實(shí)現(xiàn)方法，其特征在于，元數(shù)據(jù)集群 依據(jù)元數(shù)據(jù)的個(gè)數(shù)將有負(fù)載的目錄導(dǎo)出到其他元數(shù)據(jù)服務(wù)器上；所述負(fù)載平衡算法為：
其中，ExportlMd為導(dǎo)出的負(fù)載值，n為元數(shù)據(jù)個(gè)數(shù)，MDSlMd當(dāng)前元數(shù)據(jù)負(fù)載。
【專利摘要】本發(fā)明公開(kāi)一種元數(shù)據(jù)集群負(fù)載平衡實(shí)現(xiàn)方法,涉及計(jì)算機(jī)存儲(chǔ)技術(shù)，在集群文件系統(tǒng)中實(shí)現(xiàn)多個(gè)元數(shù)據(jù)服務(wù)器，通過(guò)定時(shí)同步各元數(shù)據(jù)服務(wù)器上元數(shù)據(jù)負(fù)載信息，將元數(shù)據(jù)負(fù)載較大的服務(wù)器的負(fù)載自動(dòng)分配給壓力小的元數(shù)據(jù)服務(wù)器，進(jìn)行元數(shù)據(jù)服務(wù)器之間的負(fù)載平衡；該方法主要由元數(shù)據(jù)負(fù)載統(tǒng)計(jì)模塊、元數(shù)據(jù)集群負(fù)載平衡模塊兩部分組成。通過(guò)該方法能有效的提高文件系統(tǒng)元數(shù)據(jù)性能，解決了小文件存儲(chǔ)性能問(wèn)題，實(shí)現(xiàn)了元數(shù)據(jù)集群的負(fù)載平衡。
【IPC分類】H04L29-08
【公開(kāi)號(hào)】CN104580536
【申請(qǐng)?zhí)枴緾N201510064916
【發(fā)明人】張延良, 張?jiān)谫F, 程瑤
【申請(qǐng)人】浪潮電子信息產(chǎn)業(yè)股份有限公司
【公開(kāi)日】2015年4月29日
【申請(qǐng)日】2015年2月6日