專利名稱：一種基于對(duì)象的集群文件系統(tǒng)管理方法及集群文件系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及集群文件系統(tǒng)，尤其涉及一種基于對(duì)象的集群文件系統(tǒng)管理方法及集 群文件系統(tǒng)。
背景技術(shù)：
文件系統(tǒng)是操作系統(tǒng)的一個(gè)重要組成部分，通過(guò)對(duì)操作系統(tǒng)所管理的存儲(chǔ)空間的 抽象，向用戶提供統(tǒng)一的、對(duì)象化的訪問(wèn)接口，屏蔽對(duì)物理設(shè)備的直接操作和資源管理。文 件系統(tǒng)可劃分為四個(gè)層次，從低到高依次是單處理器單用戶的本地文件系統(tǒng)，如DOSFS 的文件系統(tǒng)；多處理器單用戶的本地文件系統(tǒng)，如OS/2的文件系統(tǒng)；多處理器多用戶的文 件系統(tǒng)，如Unix的本地文件系統(tǒng)；多處理器多用戶的分布式文件系統(tǒng)。分布式文件系統(tǒng) (Distributed File System)是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié) 點(diǎn)上，而是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。集群是指通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)內(nèi)的有效協(xié)同，使多臺(tái)計(jì)算機(jī)對(duì)外提供統(tǒng)一的功能和強(qiáng) 大處理能力服務(wù)的特性。集群文件系統(tǒng)是在分布式文件系統(tǒng)基礎(chǔ)上發(fā)展而來(lái)，具備高性能、 高可用性、負(fù)載均衡、數(shù)據(jù)共享使用等集群自身特點(diǎn)。目前，集群文件系統(tǒng)主要有包括兩種GFS (Global File System)系統(tǒng)和 Lustre (Linux Cluster)文件系統(tǒng)。GFS文件系統(tǒng)中吸取了對(duì)稱多處理器(SMP)系統(tǒng)設(shè)計(jì)和 實(shí)現(xiàn)原理，將系統(tǒng)中的每一個(gè)客戶機(jī)類比于SMP中的一個(gè)處理器，客戶機(jī)間沒(méi)有任何區(qū)別， 可以平等地訪問(wèn)系統(tǒng)中的所有存儲(chǔ)設(shè)備，與處理器可以機(jī)會(huì)均等地訪問(wèn)主存同理。GFS實(shí)現(xiàn) 了元數(shù)據(jù)在不同節(jié)點(diǎn)的分布式管理，并且要求存儲(chǔ)數(shù)據(jù)集中共享。Lustre文件系統(tǒng)是一個(gè) 透明的全局文件系統(tǒng)，客戶端可以透明地訪問(wèn)集群文件系統(tǒng)中的數(shù)據(jù)，而無(wú)需知道數(shù)據(jù)的 實(shí)際存儲(chǔ)位置。Lustre文件系統(tǒng)內(nèi)部設(shè)計(jì)也采用了基于對(duì)象的設(shè)計(jì)方式，在統(tǒng)一構(gòu)建的支 持多種通信方式的底層通信平臺(tái)(LNET)上，所有對(duì)象的訪問(wèn)和工作都基于客戶機(jī)_服務(wù)器 的工作模式。Lustre實(shí)現(xiàn)了存儲(chǔ)數(shù)據(jù)的分布式管理，每個(gè)數(shù)據(jù)對(duì)象可管理多個(gè)物理設(shè)備。現(xiàn)有集群文件系統(tǒng)，對(duì)于功能和擴(kuò)展性都有一些局限。比如GFS文件系統(tǒng)要求 數(shù)據(jù)共享管理，但文件系統(tǒng)自身不提供額外的數(shù)據(jù)管理，數(shù)據(jù)擴(kuò)容和備份恢復(fù)較為困難。 Lustre文件系統(tǒng)中執(zhí)行元數(shù)據(jù)集中管理，對(duì)于元數(shù)據(jù)的訪問(wèn)較容易形成瓶頸。兩個(gè)文件系 統(tǒng)內(nèi)部功能都與物理設(shè)備位置固定相關(guān)，無(wú)法自動(dòng)與其它節(jié)點(diǎn)實(shí)現(xiàn)資源或功能的分擔(dān)，資 源復(fù)用的可能性較小。另外，兩個(gè)文件系統(tǒng)提供了數(shù)據(jù)并行訪問(wèn)的功能，但沒(méi)有有效的節(jié)點(diǎn) 訪問(wèn)負(fù)荷均衡方案。在日益大型化和復(fù)雜化的存儲(chǔ)網(wǎng)絡(luò)應(yīng)用中，存在頻繁訪問(wèn)的節(jié)點(diǎn)容易 出現(xiàn)訪問(wèn)瓶頸而局部空閑節(jié)點(diǎn)利用率不高的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是提供一種基于對(duì)象的集群文件系統(tǒng)管理方法及集群 文件系統(tǒng)，實(shí)現(xiàn)系統(tǒng)資源與物理設(shè)備無(wú)關(guān)的靈活配置和部署。為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于對(duì)象的集群文件系統(tǒng)管理方法，包括在集群文件系統(tǒng)中設(shè)置管理對(duì)象，管理對(duì)象對(duì)各系統(tǒng)節(jié)點(diǎn)進(jìn)行監(jiān)控并對(duì)系統(tǒng)節(jié)點(diǎn)的 負(fù)荷進(jìn)行自動(dòng)均衡配置。進(jìn)一步地，上述方法還可以具有以下特點(diǎn)所述管理對(duì)象對(duì)元數(shù)據(jù)對(duì)象和/或存儲(chǔ)數(shù)據(jù)對(duì)象在不同的系統(tǒng)節(jié)點(diǎn)上進(jìn)行創(chuàng)建、 刪除、備份和負(fù)荷均衡。進(jìn)一步地，上述方法還可以具有以下特點(diǎn)管理對(duì)象根據(jù)系統(tǒng)節(jié)點(diǎn)的業(yè)務(wù)訪問(wèn)處理能力、傳輸能力和存儲(chǔ)容量判斷系統(tǒng)節(jié)點(diǎn) 為過(guò)負(fù)荷節(jié)點(diǎn)或非過(guò)負(fù)荷節(jié)點(diǎn)，將過(guò)負(fù)荷節(jié)點(diǎn)上的元數(shù)據(jù)對(duì)象的服務(wù)轉(zhuǎn)移到非過(guò)負(fù)荷節(jié)點(diǎn) 上的備份元數(shù)據(jù)對(duì)象上，將過(guò)負(fù)荷節(jié)點(diǎn)上的存儲(chǔ)數(shù)據(jù)對(duì)象的服務(wù)轉(zhuǎn)移到非過(guò)負(fù)荷節(jié)點(diǎn)上的 備份存儲(chǔ)數(shù)據(jù)對(duì)象上。進(jìn)一步地，上述方法還可以具有以下特點(diǎn)新的系統(tǒng)節(jié)點(diǎn)加入時(shí)，管理對(duì)象在此新的系統(tǒng)節(jié)點(diǎn)上執(zhí)行對(duì)過(guò)負(fù)荷節(jié)點(diǎn)上元數(shù)據(jù) 對(duì)象和/或存儲(chǔ)數(shù)據(jù)對(duì)象的備份，并通過(guò)負(fù)荷均衡使此新的系統(tǒng)節(jié)分擔(dān)過(guò)負(fù)荷節(jié)點(diǎn)上元數(shù) 據(jù)對(duì)象和/或存儲(chǔ)數(shù)據(jù)對(duì)象的功能。進(jìn)一步地，上述方法還可以具有以下特點(diǎn)需創(chuàng)建新存儲(chǔ)數(shù)據(jù)對(duì)象時(shí)，管理對(duì)象收到元數(shù)據(jù)對(duì)象發(fā)起的創(chuàng)建新存儲(chǔ)數(shù)據(jù)對(duì)象 請(qǐng)求后，為此新存儲(chǔ)數(shù)據(jù)對(duì)象確定節(jié)點(diǎn)，并通知至元數(shù)據(jù)對(duì)象；管理對(duì)象響應(yīng)超時(shí)情況下， 由元數(shù)據(jù)對(duì)象為此新存儲(chǔ)數(shù)據(jù)對(duì)象確定節(jié)點(diǎn)，并以此上報(bào)管理對(duì)象。進(jìn)一步地，上述方法還可以具有以下特點(diǎn)管理對(duì)象存在備份，管理對(duì)象異常后，由備份管理對(duì)象提供管理功能；備份管理對(duì) 象有多個(gè)時(shí)，選擇備份管理對(duì)象所在節(jié)點(diǎn)中的負(fù)荷最輕的節(jié)點(diǎn)上的備份管理對(duì)象作為新的 管理對(duì)象。進(jìn)一步地，上述方法還可以具有以下特點(diǎn)管理對(duì)象所在節(jié)點(diǎn)的負(fù)荷超過(guò)預(yù)設(shè)門限時(shí)，重新選擇管理對(duì)象所在節(jié)點(diǎn)。進(jìn)一步地，上述方法還可以具有以下特點(diǎn)選擇管理對(duì)象所在節(jié)點(diǎn)時(shí)選擇元數(shù)據(jù)對(duì)象所在節(jié)點(diǎn)中負(fù)荷最輕的節(jié)點(diǎn)。為了解決上述技術(shù)問(wèn)題，本發(fā)明還提供了一種基于對(duì)象的集群文件系統(tǒng)管理系 統(tǒng)，包括承擔(dān)管理對(duì)象功能的節(jié)點(diǎn)；所述管理對(duì)象，用于對(duì)各系統(tǒng)節(jié)點(diǎn)進(jìn)行監(jiān)控并對(duì)系統(tǒng)節(jié) 點(diǎn)的負(fù)荷進(jìn)行自動(dòng)均衡配置。進(jìn)一步地，上述系統(tǒng)還可以具有以下特點(diǎn)所述管理對(duì)象，還用于對(duì)元數(shù)據(jù)對(duì)象和/或存儲(chǔ)數(shù)據(jù)對(duì)象在不同的系統(tǒng)節(jié)點(diǎn)上進(jìn) 行備份；還用于根據(jù)系統(tǒng)節(jié)點(diǎn)的業(yè)務(wù)訪問(wèn)處理能力、傳輸能力和存儲(chǔ)容量判斷系統(tǒng)節(jié)點(diǎn)為 過(guò)負(fù)荷節(jié)點(diǎn)或非過(guò)負(fù)荷節(jié)點(diǎn)，將過(guò)負(fù)荷節(jié)點(diǎn)上的元數(shù)據(jù)對(duì)象的服務(wù)轉(zhuǎn)移到非過(guò)負(fù)荷節(jié)點(diǎn)上 的備份元數(shù)據(jù)對(duì)象上，將過(guò)負(fù)荷節(jié)點(diǎn)上的存儲(chǔ)數(shù)據(jù)對(duì)象的服務(wù)轉(zhuǎn)移到非過(guò)負(fù)荷節(jié)點(diǎn)上的備 份存儲(chǔ)數(shù)據(jù)對(duì)象上。本發(fā)明通過(guò)管理對(duì)象、元數(shù)據(jù)對(duì)象和存儲(chǔ)數(shù)據(jù)對(duì)象分離，實(shí)現(xiàn)系統(tǒng)資源與物理設(shè) 備無(wú)關(guān)的靈活配置和部署，并且對(duì)系統(tǒng)節(jié)點(diǎn)的負(fù)荷進(jìn)行自動(dòng)均衡配置，使系統(tǒng)內(nèi)各對(duì)象存 儲(chǔ)和訪問(wèn)的動(dòng)態(tài)均衡，消除數(shù)據(jù)訪問(wèn)瓶頸；通過(guò)對(duì)象備份，實(shí)現(xiàn)自適應(yīng)的功能擴(kuò)展和有效的 故障恢復(fù)。與現(xiàn)有的集群文件系統(tǒng)相比，增強(qiáng)了集群文件系統(tǒng)的可擴(kuò)展性和可用性，實(shí)現(xiàn)了
4自適應(yīng)的負(fù)載均衡，提高了文件系統(tǒng)并行處理能力和系統(tǒng)整體的處理性能。


圖1是實(shí)施例中典型的應(yīng)用網(wǎng)絡(luò)拓?fù)鋱D；圖2是實(shí)施例中集群文件系統(tǒng)內(nèi)部組件的結(jié)構(gòu)示意圖；圖3是實(shí)施例中集群文件系統(tǒng)對(duì)象設(shè)計(jì)示意圖；圖4是實(shí)施例中集群文件系統(tǒng)運(yùn)行過(guò)程中對(duì)象申請(qǐng)的流程圖；圖5是實(shí)施例中集群文件系統(tǒng)運(yùn)行過(guò)程中數(shù)據(jù)均衡的流程圖；圖6是實(shí)施例中集群文件系統(tǒng)運(yùn)行過(guò)程中對(duì)象異常后恢復(fù)的流程圖。
具體實(shí)施例方式基于對(duì)象的集群文件系統(tǒng)管理系統(tǒng)包括系統(tǒng)節(jié)點(diǎn)，系統(tǒng)節(jié)點(diǎn)中包括承擔(dān)管理對(duì)象 功能的節(jié)點(diǎn)；所述管理對(duì)象用于對(duì)各系統(tǒng)節(jié)點(diǎn)進(jìn)行監(jiān)控并對(duì)系統(tǒng)節(jié)點(diǎn)的負(fù)荷進(jìn)行自動(dòng)均衡 配置。管理對(duì)象還用于對(duì)元數(shù)據(jù)對(duì)象和/或存儲(chǔ)數(shù)據(jù)對(duì)象在不同的系統(tǒng)節(jié)點(diǎn)上進(jìn)行備 份；還用于根據(jù)系統(tǒng)節(jié)點(diǎn)的業(yè)務(wù)訪問(wèn)處理能力、傳輸能力和存儲(chǔ)容量判斷系統(tǒng)節(jié)點(diǎn)為過(guò)負(fù) 荷節(jié)點(diǎn)或非過(guò)負(fù)荷節(jié)點(diǎn)，將過(guò)負(fù)荷節(jié)點(diǎn)上的元數(shù)據(jù)對(duì)象的服務(wù)轉(zhuǎn)移到非過(guò)負(fù)荷節(jié)點(diǎn)上的備 份元數(shù)據(jù)對(duì)象上，將過(guò)負(fù)荷節(jié)點(diǎn)上的存儲(chǔ)數(shù)據(jù)對(duì)象的服務(wù)轉(zhuǎn)移到非過(guò)負(fù)荷節(jié)點(diǎn)上的備份存 儲(chǔ)數(shù)據(jù)對(duì)象上。如圖1所示，本系統(tǒng)中，同一節(jié)點(diǎn)上可維護(hù)不同類型的對(duì)象。存儲(chǔ)和業(yè)務(wù)功能可以 部署在同一個(gè)服務(wù)器上，比如存儲(chǔ)節(jié)點(diǎn)1和業(yè)務(wù)節(jié)點(diǎn)2同時(shí)部署在服務(wù)器2上。內(nèi)部存儲(chǔ) 節(jié)點(diǎn)間通信可以和外部業(yè)務(wù)網(wǎng)絡(luò)共享，內(nèi)部存儲(chǔ)集群通信采用單獨(dú)網(wǎng)絡(luò)協(xié)議，和業(yè)務(wù)應(yīng)用 訪問(wèn)的網(wǎng)絡(luò)協(xié)議區(qū)分；也可以部署在不同物理網(wǎng)絡(luò)上，物理上就將內(nèi)部存儲(chǔ)集群通信和業(yè) 務(wù)應(yīng)用訪問(wèn)通信區(qū)隔開(kāi)。圖1實(shí)線箭頭線表示業(yè)務(wù)應(yīng)用訪問(wèn)，虛線箭頭線表示存儲(chǔ)集群通如圖2所示，本系統(tǒng)將集群文件系統(tǒng)的功能高度抽象，按功能組件劃分為管理對(duì) 象、元數(shù)據(jù)對(duì)象和存儲(chǔ)數(shù)據(jù)對(duì)象，使功能分離，位置靈活部署。管理對(duì)象負(fù)責(zé)分布式文件系統(tǒng)的配置管理功能，包括人機(jī)交互，配置下發(fā)、系統(tǒng)監(jiān) 控和第三方?jīng)Q策等管理功能。元數(shù)據(jù)對(duì)象負(fù)責(zé)管理文件系統(tǒng)的目錄層次結(jié)構(gòu)，以及具體文件節(jié)點(diǎn)和存儲(chǔ)數(shù)據(jù)對(duì) 象位置的對(duì)應(yīng)關(guān)系，文件數(shù)據(jù)的存儲(chǔ)和管理。元數(shù)據(jù)對(duì)象采用分布式管理方式，各自承擔(dān)部 分元數(shù)據(jù)管理功能，內(nèi)部統(tǒng)一編址。元數(shù)據(jù)對(duì)象位置不固定，功能可遷移，對(duì)用戶不可見(jiàn)。元 數(shù)據(jù)對(duì)象存在多個(gè)，以分布式工作方式對(duì)外體現(xiàn)元數(shù)據(jù)管理的完整功能，對(duì)每個(gè)元數(shù)據(jù)對(duì) 象系統(tǒng)內(nèi)都存在備份。存儲(chǔ)數(shù)據(jù)對(duì)象負(fù)責(zé)維護(hù)存儲(chǔ)的數(shù)據(jù)。本系統(tǒng)中可以對(duì)上述對(duì)象進(jìn)行備份。例如，采用現(xiàn)有RAID技術(shù)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的可
靠和安全。上述集群文件系統(tǒng)中，集群文件系統(tǒng)各組成部分——管理對(duì)象、元數(shù)據(jù)對(duì)象和存 儲(chǔ)數(shù)據(jù)對(duì)象只是邏輯功能獨(dú)立，事實(shí)上對(duì)其分布的物理位置沒(méi)有要求，甚至不同類型的對(duì)象可以分布在同一物理節(jié)點(diǎn)上。并且所有對(duì)象的設(shè)計(jì)都考慮到功能可以在不同節(jié)點(diǎn)間遷 移。如圖3所示，集群文件系統(tǒng)的對(duì)外功能通過(guò)客戶端體現(xiàn)，當(dāng)客戶端通過(guò)元數(shù)據(jù)交 互確定目標(biāo)文件數(shù)據(jù)位置后(S001)，就只需要和存儲(chǔ)數(shù)據(jù)對(duì)象交互(S002)，進(jìn)行正常的文 件訪問(wèn)。而管理對(duì)象的作用是通過(guò)內(nèi)部通信網(wǎng)絡(luò)對(duì)集群內(nèi)元數(shù)據(jù)對(duì)象和數(shù)據(jù)對(duì)象的監(jiān)控和 管理(S003和S004)，使集群內(nèi)部各組件的分工協(xié)作更加高效。管理對(duì)象對(duì)系統(tǒng)平時(shí)的操作 很少，但作用非常關(guān)鍵。實(shí)施例中，基于對(duì)象的集群文件系統(tǒng)管理方法包括在集群文件系統(tǒng)中設(shè)置管理 對(duì)象，管理對(duì)象對(duì)各系統(tǒng)節(jié)點(diǎn)進(jìn)行監(jiān)控并對(duì)系統(tǒng)節(jié)點(diǎn)的負(fù)荷進(jìn)行自動(dòng)均衡配置。本方法中，將集群文件系統(tǒng)的功能高度抽象，按功能組件劃分為管理對(duì)象、元數(shù)據(jù) 對(duì)象和存儲(chǔ)數(shù)據(jù)對(duì)象，使功能分離，位置靈活部署。管理對(duì)象負(fù)責(zé)分布式文件系統(tǒng)的配置管 理功能，包括人機(jī)交互，配置下發(fā)、系統(tǒng)監(jiān)控和第三方?jīng)Q策等管理功能。元數(shù)據(jù)對(duì)象負(fù)責(zé)管 理文件系統(tǒng)的目錄層次結(jié)構(gòu)，以及具體文件節(jié)點(diǎn)和存儲(chǔ)數(shù)據(jù)對(duì)象位置的對(duì)應(yīng)關(guān)系，文件數(shù) 據(jù)的存儲(chǔ)和管理。元數(shù)據(jù)對(duì)象采用分布式管理方式，各自承擔(dān)部分元數(shù)據(jù)管理功能，內(nèi)部統(tǒng) 一編址。元數(shù)據(jù)對(duì)象位置不固定，功能可遷移，對(duì)用戶不可見(jiàn)。元數(shù)據(jù)對(duì)象存在多個(gè)，以分 布式工作方式對(duì)外體現(xiàn)元數(shù)據(jù)管理的完整功能，對(duì)每個(gè)元數(shù)據(jù)對(duì)象系統(tǒng)內(nèi)都存在備份。存 儲(chǔ)數(shù)據(jù)對(duì)象負(fù)責(zé)維護(hù)存儲(chǔ)的數(shù)據(jù)。管理對(duì)象對(duì)元數(shù)據(jù)對(duì)象或存儲(chǔ)數(shù)據(jù)對(duì)象在不同的系統(tǒng)節(jié)點(diǎn)上進(jìn)行創(chuàng)建、刪除、備 份和負(fù)荷均衡。此備份功能防止內(nèi)部少數(shù)物理節(jié)點(diǎn)崩潰導(dǎo)致的系統(tǒng)功能異常?？梢圆捎矛F(xiàn) 有技術(shù)，假定同一時(shí)刻損壞的最大對(duì)象數(shù)量N個(gè)，則備份因子為N+1。對(duì)象及其備份盡量分 布在不同物理節(jié)點(diǎn)上，防止單個(gè)物理節(jié)點(diǎn)崩潰。如果管理對(duì)象監(jiān)控中發(fā)現(xiàn)備份對(duì)象數(shù)量大 于N+1，不會(huì)立即刪除，只是將冗余對(duì)象記錄在待更新數(shù)據(jù)列表中等待更新。備份對(duì)象可以 采用直接鏡像備份，也可以考慮更高效率的多種RAID方式備份。本系統(tǒng)中，采用現(xiàn)有的分 布式文件系統(tǒng)一般提供日志功能，日志中記錄了本地節(jié)點(diǎn)的存儲(chǔ)操作歷史記錄，防止本地 存儲(chǔ)掉電等異常導(dǎo)致的對(duì)象損壞，為故障發(fā)生后文件系統(tǒng)的恢復(fù)提供依據(jù)。本方法中管理 對(duì)象、元數(shù)據(jù)對(duì)象和存儲(chǔ)數(shù)據(jù)對(duì)象的日志實(shí)時(shí)與定期同步，比對(duì)最新的修改記錄，對(duì)備份管 理對(duì)象、備份元數(shù)據(jù)對(duì)象和備份存儲(chǔ)數(shù)據(jù)對(duì)象發(fā)起更新維護(hù)。管理對(duì)象的選擇方式包括選擇管理對(duì)象所在節(jié)點(diǎn)時(shí)選擇元數(shù)據(jù)對(duì)象所在節(jié)點(diǎn)中 負(fù)荷最輕的節(jié)點(diǎn)。管理對(duì)象的個(gè)數(shù)一般為一個(gè)，可以同時(shí)有多個(gè)備份管理對(duì)象。選擇備份 管理對(duì)象時(shí)也可以采用上述方式。管理對(duì)象所在節(jié)點(diǎn)的負(fù)荷超過(guò)預(yù)設(shè)門限時(shí)，重新選擇管 理對(duì)象所在節(jié)點(diǎn)。還可以設(shè)置管理周期，每管理周期結(jié)束時(shí)，檢測(cè)管理對(duì)象所在節(jié)點(diǎn)的負(fù)荷 是否超過(guò)預(yù)設(shè)門限，超過(guò)預(yù)設(shè)門限時(shí)，則重新選擇管理對(duì)象所在節(jié)點(diǎn)。管理對(duì)象設(shè)計(jì)做方式 達(dá)到位置不固定，功能可遷移，對(duì)用戶不可見(jiàn)。兩個(gè)管理對(duì)象以主備方式工作，即其中只有 一個(gè)管理對(duì)象對(duì)外提供接口和服務(wù)，即圖中存儲(chǔ)節(jié)點(diǎn)1上的管理對(duì)象(A)，保證用戶接口是 唯一的，而存儲(chǔ)節(jié)點(diǎn)2上的管理對(duì)象(S)以備份方式存在。管理對(duì)象中使用的用戶配置以 存儲(chǔ)數(shù)據(jù)對(duì)象方式存放。將系統(tǒng)節(jié)點(diǎn)的業(yè)務(wù)訪問(wèn)處理能力、傳輸能力和存儲(chǔ)容量的加權(quán)值構(gòu)成綜合均衡因 子用于進(jìn)行負(fù)荷均衡。訪問(wèn)處理能力和傳輸能力對(duì)應(yīng)于處理能力權(quán)值，存儲(chǔ)容量對(duì)應(yīng)于存 儲(chǔ)權(quán)值。處理能力和傳輸能力強(qiáng)的節(jié)點(diǎn)對(duì)應(yīng)的處理能力權(quán)值較高，使此節(jié)點(diǎn)可以承擔(dān)更多
6的處理任務(wù)；存儲(chǔ)容量大的節(jié)點(diǎn)對(duì)應(yīng)的存儲(chǔ)權(quán)值較高，使該節(jié)點(diǎn)可以容納更多的元數(shù)據(jù)對(duì) 象或存儲(chǔ)數(shù)據(jù)對(duì)象。一種典型的處理能力權(quán)值是使用處理能力加權(quán)因子乘以CPU剩余處理 能力(100% -當(dāng)前節(jié)點(diǎn)CPU占有率)；而存儲(chǔ)權(quán)值根據(jù)剩余磁盤空間大小計(jì)算得到。管理對(duì)象進(jìn)行負(fù)荷均衡處理的方法包括管理對(duì)象根據(jù)系統(tǒng)節(jié)點(diǎn)的業(yè)務(wù)訪問(wèn)處理 能力、傳輸能力和存儲(chǔ)容量判斷系統(tǒng)節(jié)點(diǎn)為過(guò)負(fù)荷節(jié)點(diǎn)或非過(guò)負(fù)荷節(jié)點(diǎn)，將過(guò)負(fù)荷節(jié)點(diǎn)上 的元數(shù)據(jù)對(duì)象的服務(wù)轉(zhuǎn)移到非過(guò)負(fù)荷節(jié)點(diǎn)上的備份元數(shù)據(jù)對(duì)象上(即將過(guò)負(fù)荷節(jié)點(diǎn)上的 元數(shù)據(jù)對(duì)象關(guān)閉，啟動(dòng)非過(guò)負(fù)荷節(jié)點(diǎn)上的備份元數(shù)據(jù)對(duì)象)，將過(guò)負(fù)荷節(jié)點(diǎn)上的存儲(chǔ)數(shù)據(jù)對(duì) 象的服務(wù)轉(zhuǎn)移到非過(guò)負(fù)荷節(jié)點(diǎn)上的備份存儲(chǔ)數(shù)據(jù)對(duì)象上(即將過(guò)負(fù)荷節(jié)點(diǎn)上的存儲(chǔ)數(shù)據(jù) 對(duì)象關(guān)閉，啟動(dòng)非過(guò)負(fù)荷節(jié)點(diǎn)上的備份存儲(chǔ)數(shù)據(jù)對(duì)象)。管理對(duì)象進(jìn)行負(fù)荷均衡處理的方法還包括以下處理方式(1)在文件系統(tǒng)擴(kuò)充時(shí)，由管理對(duì)象選擇創(chuàng)建的新對(duì)象所在的節(jié)點(diǎn)，選擇策略包括 根據(jù)系統(tǒng)節(jié)點(diǎn)的業(yè)務(wù)訪問(wèn)處理能力、傳輸能力和存儲(chǔ)容量綜合選擇負(fù)荷滿足要求的節(jié)點(diǎn)， 例如選擇負(fù)荷最輕的節(jié)點(diǎn)。(2)新的系統(tǒng)節(jié)點(diǎn)加入時(shí)，管理對(duì)象在此新的系統(tǒng)節(jié)點(diǎn)上執(zhí)行對(duì)過(guò)負(fù)荷節(jié)點(diǎn)上元 數(shù)據(jù)對(duì)象和/或存儲(chǔ)數(shù)據(jù)對(duì)象的備份，并通過(guò)負(fù)荷均衡使此新的系統(tǒng)節(jié)分擔(dān)過(guò)負(fù)荷節(jié)點(diǎn)上 元數(shù)據(jù)對(duì)象和/或存儲(chǔ)數(shù)據(jù)對(duì)象的功能。(3)將失效的節(jié)點(diǎn)所承載的對(duì)象分配給負(fù)荷滿足要求的節(jié)點(diǎn)。例如，分配給負(fù)荷低 于預(yù)設(shè)門限的節(jié)點(diǎn)。(4)針對(duì)在預(yù)設(shè)時(shí)間段內(nèi)維持的負(fù)荷均處于預(yù)設(shè)區(qū)間的節(jié)點(diǎn)，在此節(jié)點(diǎn)上執(zhí)行對(duì) 過(guò)負(fù)荷節(jié)點(diǎn)上元數(shù)據(jù)對(duì)象和/或存儲(chǔ)數(shù)據(jù)對(duì)象的備份。(5)回收數(shù)據(jù)時(shí)，優(yōu)先回收存儲(chǔ)容量低的節(jié)點(diǎn)上的數(shù)據(jù)，其次回收業(yè)務(wù)訪問(wèn)處理能 力和傳輸能力低的節(jié)點(diǎn)上的數(shù)據(jù)。由于一般文件系統(tǒng)文件數(shù)據(jù)刪除只是標(biāo)記數(shù)據(jù)長(zhǎng)度和回 收數(shù)據(jù)塊索引，所以此方式較高效，可以在很短時(shí)間內(nèi)完成回收。上述均衡處理方式將功能抽象，按處理能力、傳輸能力和存儲(chǔ)容量加權(quán)后進(jìn)行負(fù) 荷均衡，使待訪問(wèn)的數(shù)據(jù)對(duì)象盡量均勻分布在系統(tǒng)上的可用節(jié)點(diǎn)上，以實(shí)現(xiàn)負(fù)荷均衡，可達(dá) 到處理能力、訪問(wèn)帶寬和存儲(chǔ)容量的均衡，適應(yīng)各種網(wǎng)絡(luò)資源的實(shí)際情況，滿足多樣的用戶 需求，可消除數(shù)據(jù)訪問(wèn)瓶頸，提高系統(tǒng)并行處理能力，進(jìn)而提升整體處理性能。管理對(duì)象存在備份，管理對(duì)象異常時(shí)，由備份管理對(duì)象提供管理功能；備份管理對(duì) 象有多個(gè)時(shí)，選擇備份管理對(duì)象所在節(jié)點(diǎn)中的負(fù)荷最輕的節(jié)點(diǎn)上的備份管理對(duì)象作為新的 管理對(duì)象。元數(shù)據(jù)對(duì)象異常后，由備份的元數(shù)據(jù)對(duì)象恢復(fù)對(duì)元數(shù)據(jù)的訪問(wèn)。存儲(chǔ)數(shù)據(jù)對(duì)象 異常后，由管理對(duì)象對(duì)損壞的存儲(chǔ)數(shù)據(jù)對(duì)象進(jìn)行恢復(fù)。一定時(shí)間段時(shí)未完成對(duì)主用對(duì)象的 恢復(fù)，則可以重新生成備份對(duì)象。如圖4所示，在文件系統(tǒng)對(duì)象擴(kuò)充需創(chuàng)建新存儲(chǔ)數(shù)據(jù)對(duì)象時(shí)，管理對(duì)象收到元數(shù) 據(jù)對(duì)象發(fā)起的創(chuàng)建新存儲(chǔ)數(shù)據(jù)對(duì)象請(qǐng)求后，為此新存儲(chǔ)數(shù)據(jù)對(duì)象確定節(jié)點(diǎn)，并通知至元數(shù) 據(jù)對(duì)象；管理對(duì)象響應(yīng)超時(shí)情況下，由元數(shù)據(jù)對(duì)象為此新存儲(chǔ)數(shù)據(jù)對(duì)象確定節(jié)點(diǎn)，并以此上 報(bào)管理對(duì)象。具體包括步驟4. 1 元數(shù)據(jù)對(duì)象接受了用戶的新數(shù)據(jù)對(duì)象申請(qǐng)請(qǐng)求(一般發(fā)生在文件寫(xiě)入 長(zhǎng)度超過(guò)原有數(shù)據(jù)對(duì)象容量)。步驟4. 2 元數(shù)據(jù)對(duì)象根據(jù)本地已知的節(jié)點(diǎn)各節(jié)點(diǎn)上平衡因子結(jié)果首先決策新對(duì)象節(jié)點(diǎn)。步驟4. 3 元數(shù)據(jù)對(duì)象上報(bào)管理對(duì)象并設(shè)置超時(shí)定時(shí)器，如果管理對(duì)象根據(jù)全局 的節(jié)點(diǎn)信息做出新對(duì)象決策，則發(fā)布給元數(shù)據(jù)對(duì)象。步驟4. 4 如果管理對(duì)象響應(yīng)超時(shí)，則元數(shù)據(jù)對(duì)象保留原來(lái)自己的新對(duì)象決策，將 決策的新對(duì)象結(jié)果發(fā)布給數(shù)據(jù)節(jié)點(diǎn)創(chuàng)建新數(shù)據(jù)對(duì)象。步驟4.5 定時(shí)器超時(shí)后管理對(duì)象將其確定的節(jié)點(diǎn)通知至元數(shù)據(jù)對(duì)象，元數(shù)據(jù)對(duì) 象將管理對(duì)象所在節(jié)點(diǎn)確定的新對(duì)象節(jié)點(diǎn)上的新對(duì)象作為主用對(duì)象，將元數(shù)據(jù)確定的新對(duì) 象節(jié)點(diǎn)上的新對(duì)象作為備用對(duì)象。步驟4. 6 數(shù)據(jù)對(duì)象創(chuàng)建工作結(jié)束，開(kāi)啟工作，并通報(bào)更新元數(shù)據(jù)對(duì)象。此集群文件系統(tǒng)中，采用現(xiàn)有文件系統(tǒng)一般技術(shù)，刪除對(duì)象時(shí)只是將對(duì)象記錄在 待更新數(shù)據(jù)列表中。只有在寫(xiě)存儲(chǔ)數(shù)據(jù)空間不足時(shí)或需要啟動(dòng)存儲(chǔ)空間壓縮時(shí)發(fā)起更新數(shù) 據(jù)列表請(qǐng)求，對(duì)冗余數(shù)據(jù)對(duì)象進(jìn)行回收。如圖5所示，系統(tǒng)運(yùn)行過(guò)程中，管理對(duì)象進(jìn)行負(fù)荷均衡的維護(hù)，及時(shí)主動(dòng)關(guān)閉熱點(diǎn) 節(jié)點(diǎn)部分對(duì)象服務(wù)，啟動(dòng)備份對(duì)象服務(wù)。具體包括步驟5. 1 通過(guò)管理對(duì)象監(jiān)控功能實(shí)時(shí)監(jiān)控系統(tǒng)節(jié)點(diǎn)的業(yè)務(wù)訪問(wèn)處理能力、傳輸 能力和存儲(chǔ)容量，判斷系統(tǒng)節(jié)點(diǎn)為過(guò)負(fù)荷節(jié)點(diǎn)或非過(guò)負(fù)荷節(jié)點(diǎn)。步驟5. 2 管理對(duì)象發(fā)起負(fù)荷均衡。步驟5. 3 主動(dòng)關(guān)閉過(guò)負(fù)荷節(jié)點(diǎn)部分對(duì)象服務(wù)，并將這些對(duì)象上關(guān)鍵信息及時(shí)同 步到備份對(duì)象上。步驟5. 4:同步成功后，將倒換結(jié)果上報(bào)給管理對(duì)象，開(kāi)始啟動(dòng)備份對(duì)象服務(wù)。步驟5. 5 由原備份對(duì)象開(kāi)始對(duì)外提供服務(wù)，原主用對(duì)象停止對(duì)外服務(wù)，轉(zhuǎn)為備 份。上述集群文件系統(tǒng)中，由于數(shù)據(jù)對(duì)象分布在不同物理節(jié)點(diǎn)上，在響應(yīng)外部數(shù)據(jù)訪 問(wèn)請(qǐng)求時(shí)各節(jié)點(diǎn)負(fù)荷不均衡，本方法通過(guò)管理對(duì)象的定期檢測(cè)，將一定數(shù)量的數(shù)據(jù)對(duì)象從 過(guò)負(fù)荷節(jié)點(diǎn)遷移到非過(guò)負(fù)荷節(jié)點(diǎn)上的備份對(duì)象上，使待訪問(wèn)的數(shù)據(jù)對(duì)象盡量均勻分布在系 統(tǒng)上的可用節(jié)點(diǎn)上，以實(shí)現(xiàn)負(fù)荷均衡。如圖6所示，存儲(chǔ)數(shù)據(jù)對(duì)象異常后的恢復(fù)流程中，采用本地恢復(fù)和遠(yuǎn)程數(shù)據(jù)恢復(fù) 相結(jié)合的方式，并通過(guò)文件系統(tǒng)的校驗(yàn)將恢復(fù)后數(shù)據(jù)納入文件系統(tǒng)。存儲(chǔ)數(shù)據(jù)對(duì)象需要 和元數(shù)據(jù)對(duì)象通信獲取本地存儲(chǔ)對(duì)應(yīng)的元數(shù)據(jù)，根據(jù)本地存儲(chǔ)數(shù)據(jù)對(duì)象日志以及對(duì)象備份 (或RAID對(duì)象)進(jìn)行校驗(yàn)和恢復(fù)處理，恢復(fù)后的數(shù)據(jù)對(duì)象需要和元數(shù)據(jù)對(duì)象校驗(yàn)，最后才將 恢復(fù)成功后的存儲(chǔ)數(shù)據(jù)對(duì)象納入文件系統(tǒng)。具體包括步驟6. 1 根據(jù)本地存儲(chǔ)數(shù)據(jù)對(duì)象日志進(jìn)行本地存儲(chǔ)恢復(fù)。步驟6. 2 本地恢復(fù)不成功，在管理對(duì)象控制下由對(duì)象備份(或RAID對(duì)象)進(jìn)行 校驗(yàn)和恢復(fù)處理。步驟6. 3 管理對(duì)象發(fā)起遠(yuǎn)程數(shù)據(jù)恢復(fù)。步驟6. 4 恢復(fù)成功后，存儲(chǔ)數(shù)據(jù)對(duì)象和元數(shù)據(jù)對(duì)象通信獲取本地存儲(chǔ)對(duì)應(yīng)的元 數(shù)據(jù)。步驟6. 5 恢復(fù)后的數(shù)據(jù)對(duì)象需要和元數(shù)據(jù)對(duì)象校驗(yàn)，以確認(rèn)文件系統(tǒng)內(nèi)元數(shù)據(jù) 和存儲(chǔ)數(shù)據(jù)是一致的。
8
步驟6.6 恢復(fù)成功后的存儲(chǔ)數(shù)據(jù)對(duì)象納入文件系統(tǒng)，更新元數(shù)據(jù)對(duì)象。本發(fā)明所述的系統(tǒng)和方法由于在集群文件系統(tǒng)中采用差異化的對(duì)象設(shè)計(jì)，實(shí)現(xiàn)功 能靈活配置和部署，集群內(nèi)的負(fù)荷均衡以及高效的備份和恢復(fù)。與現(xiàn)有文件系統(tǒng)相比，更適 合于復(fù)雜的實(shí)際存儲(chǔ)網(wǎng)絡(luò)中的應(yīng)用，可以有效協(xié)調(diào)集群內(nèi)各節(jié)點(diǎn)工作，均衡數(shù)據(jù)訪問(wèn)熱點(diǎn)， 提高集群文件系統(tǒng)的擴(kuò)展性和性能。并且提供數(shù)據(jù)備份恢復(fù)機(jī)制，對(duì)損壞的節(jié)點(diǎn)進(jìn)行有效 的修復(fù)，提高文件系統(tǒng)的可用性。當(dāng)然，本發(fā)明還可有其他多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟 悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變 形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。本領(lǐng)域普通技術(shù)人員可以理解上述方法中的全部或部分步驟可通過(guò)程序來(lái)指令 相關(guān)硬件完成，所述程序可以存儲(chǔ)于計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，如只讀存儲(chǔ)器、磁盤或光盤 等。可選地，上述實(shí)施例的全部或部分步驟也可以使用一個(gè)或多個(gè)集成電路來(lái)實(shí)現(xiàn)。相應(yīng) 地，上述實(shí)施例中的各模塊/單元可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的 形式實(shí)現(xiàn)。本發(fā)明不限制于任何特定形式的硬件和軟件的結(jié)合。
權(quán)利要求
一種基于對(duì)象的集群文件系統(tǒng)管理方法，其特征在于，在集群文件系統(tǒng)中設(shè)置管理對(duì)象，管理對(duì)象對(duì)各系統(tǒng)節(jié)點(diǎn)進(jìn)行監(jiān)控并對(duì)系統(tǒng)節(jié)點(diǎn)的負(fù)荷進(jìn)行自動(dòng)均衡配置。
2.如權(quán)利要求1所述的方法，其特征在于，所述管理對(duì)象對(duì)元數(shù)據(jù)對(duì)象和/或存儲(chǔ)數(shù)據(jù)對(duì)象在不同的系統(tǒng)節(jié)點(diǎn)上進(jìn)行創(chuàng)建、刪 除、備份和負(fù)荷均衡。
3.如權(quán)利要求2所述的方法，其特征在于，管理對(duì)象根據(jù)系統(tǒng)節(jié)點(diǎn)的業(yè)務(wù)訪問(wèn)處理能力、傳輸能力和存儲(chǔ)容量判斷系統(tǒng)節(jié)點(diǎn)為過(guò) 負(fù)荷節(jié)點(diǎn)或非過(guò)負(fù)荷節(jié)點(diǎn)，將過(guò)負(fù)荷節(jié)點(diǎn)上的元數(shù)據(jù)對(duì)象的服務(wù)轉(zhuǎn)移到非過(guò)負(fù)荷節(jié)點(diǎn)上的 備份元數(shù)據(jù)對(duì)象上，將過(guò)負(fù)荷節(jié)點(diǎn)上的存儲(chǔ)數(shù)據(jù)對(duì)象的服務(wù)轉(zhuǎn)移到非過(guò)負(fù)荷節(jié)點(diǎn)上的備份 存儲(chǔ)數(shù)據(jù)對(duì)象上。
4.如權(quán)利要求3所述的方法，其特征在于，新的系統(tǒng)節(jié)點(diǎn)加入時(shí)，管理對(duì)象在此新的系統(tǒng)節(jié)點(diǎn)上執(zhí)行對(duì)過(guò)負(fù)荷節(jié)點(diǎn)上元數(shù)據(jù)對(duì)象 和/或存儲(chǔ)數(shù)據(jù)對(duì)象的備份，并通過(guò)負(fù)荷均衡使此新的系統(tǒng)節(jié)分擔(dān)過(guò)負(fù)荷節(jié)點(diǎn)上元數(shù)據(jù)對(duì) 象和/或存儲(chǔ)數(shù)據(jù)對(duì)象的功能。
5.如權(quán)利要求1所述的方法，其特征在于，需創(chuàng)建新存儲(chǔ)數(shù)據(jù)對(duì)象時(shí)，管理對(duì)象收到元數(shù)據(jù)對(duì)象發(fā)起的創(chuàng)建新存儲(chǔ)數(shù)據(jù)對(duì)象請(qǐng)求 后，為此新存儲(chǔ)數(shù)據(jù)對(duì)象確定節(jié)點(diǎn)，并通知至元數(shù)據(jù)對(duì)象；管理對(duì)象響應(yīng)超時(shí)情況下，由元 數(shù)據(jù)對(duì)象為此新存儲(chǔ)數(shù)據(jù)對(duì)象確定節(jié)點(diǎn)，并以此上報(bào)管理對(duì)象。
6.如權(quán)利要求1所述的方法，其特征在于，管理對(duì)象存在備份，管理對(duì)象異常后，由備份管理對(duì)象提供管理功能；備份管理對(duì)象有 多個(gè)時(shí)，選擇備份管理對(duì)象所在節(jié)點(diǎn)中的負(fù)荷最輕的節(jié)點(diǎn)上的備份管理對(duì)象作為新的管理 對(duì)象。
7.如權(quán)利要求1所述的方法，其特征在于，管理對(duì)象所在節(jié)點(diǎn)的負(fù)荷超過(guò)預(yù)設(shè)門限時(shí)，重新選擇管理對(duì)象所在節(jié)點(diǎn)。
8.如權(quán)利要求1所述的方法，其特征在于，選擇管理對(duì)象所在節(jié)點(diǎn)時(shí)選擇元數(shù)據(jù)對(duì)象所在節(jié)點(diǎn)中負(fù)荷最輕的節(jié)點(diǎn)。
9.一種基于對(duì)象的集群文件系統(tǒng)管理系統(tǒng)，包括承擔(dān)管理對(duì)象功能的節(jié)點(diǎn)，其特征在于，所述管理對(duì)象，用于對(duì)各系統(tǒng)節(jié)點(diǎn)進(jìn)行監(jiān)控并對(duì)系統(tǒng)節(jié)點(diǎn)的負(fù)荷進(jìn)行自動(dòng)均衡配置。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述管理對(duì)象，還用于對(duì)元數(shù)據(jù)對(duì)象和/或存儲(chǔ)數(shù)據(jù)對(duì)象在不同的系統(tǒng)節(jié)點(diǎn)上進(jìn)行備 份；還用于根據(jù)系統(tǒng)節(jié)點(diǎn)的業(yè)務(wù)訪問(wèn)處理能力、傳輸能力和存儲(chǔ)容量判斷系統(tǒng)節(jié)點(diǎn)為過(guò)負(fù) 荷節(jié)點(diǎn)或非過(guò)負(fù)荷節(jié)點(diǎn)，將過(guò)負(fù)荷節(jié)點(diǎn)上的元數(shù)據(jù)對(duì)象的服務(wù)轉(zhuǎn)移到非過(guò)負(fù)荷節(jié)點(diǎn)上的備 份元數(shù)據(jù)對(duì)象上，將過(guò)負(fù)荷節(jié)點(diǎn)上的存儲(chǔ)數(shù)據(jù)對(duì)象的服務(wù)轉(zhuǎn)移到非過(guò)負(fù)荷節(jié)點(diǎn)上的備份存 儲(chǔ)數(shù)據(jù)對(duì)象上。
全文摘要
本發(fā)明公開(kāi)了一種基于對(duì)象的集群文件系統(tǒng)管理方法及集群文件系統(tǒng)，此方法包括在集群文件系統(tǒng)中設(shè)置管理對(duì)象，管理對(duì)象對(duì)各系統(tǒng)節(jié)點(diǎn)進(jìn)行監(jiān)控并對(duì)系統(tǒng)節(jié)點(diǎn)的負(fù)荷進(jìn)行自動(dòng)均衡配置。本發(fā)明通過(guò)管理對(duì)象、元數(shù)據(jù)對(duì)象和存儲(chǔ)數(shù)據(jù)對(duì)象分離，實(shí)現(xiàn)系統(tǒng)資源與物理設(shè)備無(wú)關(guān)的靈活配置和部署，并且對(duì)系統(tǒng)節(jié)點(diǎn)的負(fù)荷進(jìn)行自動(dòng)均衡配置，使系統(tǒng)內(nèi)各對(duì)象存儲(chǔ)和訪問(wèn)的動(dòng)態(tài)均衡，消除數(shù)據(jù)訪問(wèn)瓶頸；通過(guò)對(duì)象備份，實(shí)現(xiàn)自適應(yīng)的功能擴(kuò)展和有效的故障恢復(fù)。與現(xiàn)有的集群文件系統(tǒng)相比，增強(qiáng)了集群文件系統(tǒng)的可擴(kuò)展性和可用性，實(shí)現(xiàn)了自適應(yīng)的負(fù)載均衡，提高了文件系統(tǒng)并行處理能力和系統(tǒng)整體的處理性能。
文檔編號(hào)G06F17/30GK101980192SQ201010516978
公開(kāi)日2011年2月23日 申請(qǐng)日期2010年10月15日 優(yōu)先權(quán)日2010年10月15日
發(fā)明者劉忱, 吳應(yīng)祥, 周自春 申請(qǐng)人:中興通訊股份有限公司