專利名稱：：一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及電子信息
技術(shù)領(lǐng)域：
，尤其涉及一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)。
背景技術(shù)：
：傳統(tǒng)的集群存儲數(shù)據(jù)，其物理位置比較集中，數(shù)據(jù)存放無需考慮負(fù)載是否均衡。在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)，云存儲系統(tǒng)一般采用順序存儲數(shù)據(jù)的原則存儲數(shù)據(jù)。但云存儲系統(tǒng)一般由多臺存儲服務(wù)器組成，一臺服務(wù)器滿載后可能無法滿足原承載用戶的需求。如果單純的采用順序存儲原則，則可能造成部分存儲服務(wù)器負(fù)載過重，部分服務(wù)器負(fù)載過輕。如此則導(dǎo)致存負(fù)載過重的存儲服務(wù)器性能下降，用戶無法高效的讀寫數(shù)據(jù)。為給用戶提供持續(xù)高效的服務(wù)質(zhì)量，有必要針對服務(wù)器的負(fù)載對存儲進(jìn)行數(shù)據(jù)存儲優(yōu)化，在海量數(shù)據(jù)存儲方面做出相應(yīng)的改進(jìn)。
發(fā)明內(nèi)容發(fā)明目的本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)。通過主卷管理服務(wù)器控制數(shù)據(jù)分流的方式，使存儲服務(wù)器均衡負(fù)載，性能一致且服務(wù)器原存儲數(shù)據(jù)存放路徑固定不變，通過本發(fā)明系統(tǒng)架構(gòu)，可以支撐海量數(shù)據(jù)存儲。本發(fā)明提供了一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)，為解決上述的技術(shù)問題，提供了如下解決方案。一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)，包括對于存儲節(jié)點服務(wù)器的負(fù)載百分比差值設(shè)置閥值，如果存儲節(jié)點服務(wù)器群組中的最高負(fù)載服務(wù)器與存儲節(jié)點服務(wù)器群組中的最低負(fù)載服務(wù)器負(fù)載百分比差值達(dá)到閥值，則通過主卷管理服務(wù)器控制數(shù)據(jù)對最高負(fù)載服務(wù)器存儲數(shù)據(jù)進(jìn)行分流。對于存儲節(jié)點服務(wù)器群組的負(fù)載百分比差值設(shè)置閥值，如果存儲節(jié)點服務(wù)器集群中的最高負(fù)載服務(wù)器群組與存儲節(jié)點服務(wù)器集群中的最低負(fù)載服務(wù)器群組負(fù)載百分比差值達(dá)到閥值，則通過主卷管理服務(wù)器控制數(shù)據(jù)對最高負(fù)載服務(wù)器群組新存儲數(shù)據(jù)進(jìn)行分流。本發(fā)明中特有的主卷管理服務(wù)器管理著其它普通存儲節(jié)點服務(wù)器，從而實現(xiàn)了本發(fā)明(云存儲系統(tǒng))的存儲空間無限擴展的可能性，理論支撐容量可達(dá)到GP級，即102牡102牡1024PB。數(shù)據(jù)分流具體方法如下云存儲系統(tǒng)使用初期，主卷管理服務(wù)器根據(jù)存儲服務(wù)器負(fù)載百分比逐臺啟用存儲服務(wù)器，下文設(shè)以負(fù)載百分比差值設(shè)置的閥值為10%，X個云存儲系統(tǒng)集群，集群包括Y個服務(wù)器群組，每個群組各包含Z臺存儲服務(wù)器為例闡述云存儲系統(tǒng)初期的使用情況。主卷管理服務(wù)器隨機安排第一個用戶的存儲空間在存儲系統(tǒng)集群M，存儲系統(tǒng)群組A中的存儲服務(wù)器1中，若該用戶的空間使用率未達(dá)到該存儲服務(wù)器總?cè)萘康?0%，則后續(xù)用戶存儲空間依然安排在該存儲服務(wù)器中，直到第N個用戶使用該存儲服務(wù)器時，該存儲服務(wù)器負(fù)載達(dá)到10%，此時存儲服務(wù)器負(fù)載百分比差值達(dá)到閥值10%，主卷管理服務(wù)器開始對該存儲服務(wù)器新寫入數(shù)據(jù)進(jìn)行分流，新寫入數(shù)據(jù)分流規(guī)則如下。為保持用戶原有數(shù)據(jù)物理存儲位置不變，原有目錄下的新增數(shù)據(jù)依然存儲在存儲服務(wù)器1中，原有用戶新建的任意級別的目錄均映射到存儲服務(wù)器2中，新增用戶存儲空間均安排到存儲服務(wù)器2中。存儲服務(wù)器2的使用與存儲服務(wù)器1相同，當(dāng)儲存服務(wù)器2負(fù)載百分比差值達(dá)到閥值10%，管理服務(wù)器開始對儲存服務(wù)器2新寫入的數(shù)據(jù)進(jìn)行分流，分流規(guī)則同服務(wù)器1。以此類推，直到儲存服務(wù)器Z負(fù)載百分比差值達(dá)到閥值10%，主卷管理服務(wù)器開啟存儲系統(tǒng)群組B并開始對存儲系統(tǒng)群組A新寫入數(shù)據(jù)進(jìn)行分流。存儲系統(tǒng)群組B使用過程同存儲系統(tǒng)群組A，以此類推，直到Y(jié)個服務(wù)器群組負(fù)載百分比差值達(dá)到閥值1096，超級管理服務(wù)器開啟存儲系統(tǒng)集群L，存儲系統(tǒng)集群使用過程同存儲系統(tǒng)集群M。優(yōu)選的，所述服務(wù)器啟動方法能在系統(tǒng)使用初期有效節(jié)約系統(tǒng)使用成本。優(yōu)選的，只對新建目錄進(jìn)行分流有如下特點保證服務(wù)器原有存儲數(shù)據(jù)的物理位置不發(fā)生改變；用戶不需要向主卷管理服務(wù)器重新獲取原有數(shù)據(jù)存儲路徑，主卷管理服務(wù)器會自動記錄給用戶分配的存儲服務(wù)器信息；元數(shù)據(jù)內(nèi)存訪問，帶寬飽和利用實現(xiàn)了快速訪問和高吞吐量的優(yōu)越性能；有效減少了存儲服務(wù)器之間的數(shù)據(jù)流。云存儲系統(tǒng)正常使用階段，由于每個存儲服務(wù)器(群組、集群)承載用戶活躍程度并不相同，如此便會導(dǎo)致每個存儲服務(wù)器(群組、集群)負(fù)載不均，管理服務(wù)器會對達(dá)到閥值的存儲服務(wù)器進(jìn)行分流，分流規(guī)則同云存儲系統(tǒng)使用初期。優(yōu)選的，系統(tǒng)均衡負(fù)載能給用戶良好的使用體驗。一種云存儲系統(tǒng)存儲服務(wù)器擴容的物理方法，包括對于存儲節(jié)點服務(wù)器的負(fù)載百分比差值設(shè)置閥值，如果存儲節(jié)點服務(wù)器群組中的最高負(fù)載服務(wù)器與存儲節(jié)點服務(wù)器群組中的最低負(fù)載服務(wù)器負(fù)載百分比差值達(dá)到閥值，但最高負(fù)載服務(wù)器原有目錄下仍有大量數(shù)據(jù)寫入，則對最高負(fù)載服務(wù)器存儲空間進(jìn)行擴展，直到最高負(fù)載服務(wù)器與最低負(fù)載服務(wù)器負(fù)載百分比差值小于閥值。對于存儲節(jié)點服務(wù)器群組的負(fù)載百分比差值設(shè)置閥值，如果存儲節(jié)點服務(wù)器集群中的最高負(fù)載服務(wù)器群組與存儲節(jié)點服務(wù)器集群中的最低負(fù)載服務(wù)器群組負(fù)載百分比差值達(dá)到閥值，但最高負(fù)載服務(wù)器群組原有目錄下仍有大量數(shù)據(jù)寫入，則對最高負(fù)載服務(wù)器存儲空間進(jìn)行擴展，直到最高負(fù)載服務(wù)器與最低負(fù)載服務(wù)器負(fù)載百分比差值小于閥值。優(yōu)選的，對最高負(fù)載存儲節(jié)點服務(wù)器(群組)存儲空間進(jìn)行擴展有如下特點最高負(fù)載存儲服務(wù)器整體性能提升；最高負(fù)載存儲服務(wù)器負(fù)載百分比下降；最高負(fù)載存儲服務(wù)器原存儲數(shù)據(jù)物理位置不發(fā)生改變；用戶不必停止服務(wù)，即可根據(jù)存儲容量的需求，靈活增減存儲節(jié)點。優(yōu)選的，服務(wù)器自動對用戶創(chuàng)建的新目錄進(jìn)行分流，存儲服務(wù)器不會因為負(fù)載不均導(dǎo)致部分存儲服務(wù)器性能下降。優(yōu)選的，用戶首次創(chuàng)建的目錄結(jié)構(gòu)永久存放的初始路徑下。優(yōu)選的，用戶首次讀寫數(shù)據(jù)時通過訪問主卷管理服務(wù)器獲取數(shù)據(jù)存放目錄表。優(yōu)選的，用戶后續(xù)讀寫數(shù)據(jù)時直接訪問原路徑獲取數(shù)據(jù)。本發(fā)明提供的一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)，所述的負(fù)載百分比差值設(shè)置的閥值根據(jù)需要可選擇為任意百分比或固定數(shù)值。本發(fā)明提供的一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)，設(shè)定了一種完美支持POSIX(可移植操作系統(tǒng)接口PortableOperatingSystemhterface)標(biāo)準(zhǔn)協(xié)議的驅(qū)動程序，通過該驅(qū)動程序可將OS(操作系統(tǒng))與本發(fā)明系統(tǒng)對接，如此一來，用戶使用本發(fā)明系統(tǒng)時，就猶如操作本地存儲空間(C、D盤等)一樣操作。圖1為云存儲系統(tǒng)的文件存儲管理系統(tǒng)結(jié)構(gòu)圖。圖2為云存儲系統(tǒng)支持POSIX標(biāo)準(zhǔn)流程圖。具體實施例方式下面結(jié)合附圖對本發(fā)明的實施方式作出說明。圖1為本發(fā)明的一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)結(jié)構(gòu)圖。如圖所示，當(dāng)用戶客戶端初次訪問本發(fā)明系統(tǒng)時，用戶客戶端首先訪問主卷管理服務(wù)器，主卷管理服務(wù)器分配對應(yīng)主元數(shù)據(jù)服務(wù)器，并將主元數(shù)據(jù)服務(wù)器IP地址等信息發(fā)回給客戶端，客戶端會在本地記錄這些IP信息并保存。之后每當(dāng)客戶端訪問本發(fā)明系統(tǒng)時，會直接查找本地記錄中對應(yīng)的主元數(shù)據(jù)服務(wù)器的IP信息并連接對應(yīng)IP的主元數(shù)據(jù)服務(wù)器，主元數(shù)據(jù)服務(wù)器會自動獲取其下各存儲節(jié)點服務(wù)器的負(fù)載情況并根據(jù)之前設(shè)置的負(fù)載閥值選擇負(fù)載最低的存儲節(jié)點提供給客戶端進(jìn)行讀寫操作。在客戶端進(jìn)行讀寫操作的同時，主元數(shù)據(jù)服務(wù)器會記錄客戶端讀寫某些文件對應(yīng)的存儲節(jié)點的信息并保存在主元數(shù)據(jù)服務(wù)器上。之后客戶端操作同樣的文件時可通過主元數(shù)據(jù)服務(wù)器獲取文件對應(yīng)的存儲節(jié)點的信息而直接訪問文件對應(yīng)的存儲節(jié)點。圖2為本發(fā)明的一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)支持POSIX標(biāo)準(zhǔn)流程圖。如圖所示，當(dāng)用戶通過OS(操作系統(tǒng))操作文件時，支持POSIX標(biāo)準(zhǔn)的驅(qū)動程序會將OS(操作系統(tǒng))與本系統(tǒng)進(jìn)行橋接，這樣使用本系統(tǒng)存儲文件時就類似于使用本機盤符C盤一樣操作。本發(fā)明提供了一種云存儲系統(tǒng)達(dá)到文件存儲管理的思路及方法，具體實現(xiàn)該技術(shù)方案的方法和途徑很多，以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本
技術(shù)領(lǐng)域：
的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。本實施例中未明確的各組成內(nèi)容和功能均可用現(xiàn)有技術(shù)加以實現(xiàn)。權(quán)利要求1.一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)，其特征在于，由一個或多個管理節(jié)點，一個或多個存儲節(jié)點(數(shù)據(jù)節(jié)點)組成，系統(tǒng)在數(shù)據(jù)建立與存儲時，分布式建立與存儲數(shù)據(jù)在各存儲節(jié)點上。2.根據(jù)權(quán)利要求1所述的一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)，其特征在于數(shù)據(jù)建立與存儲時，系統(tǒng)對外接口支持POSIX標(biāo)準(zhǔn)協(xié)議。3.根據(jù)權(quán)利要求1所述的一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)，其特征在于通過主卷管理服務(wù)器控制數(shù)據(jù)分流的方式，均衡各存儲服務(wù)器負(fù)載，保持性能且服務(wù)器原存儲數(shù)據(jù)存放路徑固定不變。4.根據(jù)權(quán)利要求3所述的一種主卷管理服務(wù)器控制數(shù)據(jù)分流的方式，其特征在于對于存儲節(jié)點服務(wù)器的負(fù)載百分比差值設(shè)置閥值，如果存儲節(jié)點服務(wù)器群組中的最高負(fù)載服務(wù)器與存儲節(jié)點服務(wù)器群組中的最低負(fù)載服務(wù)器負(fù)載百分比差值達(dá)到閥值，則通過主卷管理服務(wù)器控制數(shù)據(jù)對最高負(fù)載服務(wù)器存儲數(shù)據(jù)進(jìn)行分流。5.根據(jù)權(quán)利要求3所述的一種主卷管理服務(wù)器控制數(shù)據(jù)分流的方式，其特征在于對于存儲節(jié)點服務(wù)器群組的負(fù)載百分比差值設(shè)置閥值，如果存儲節(jié)點服務(wù)器集群中的最高負(fù)載服務(wù)器群組與存儲節(jié)點服務(wù)器集群中的最低負(fù)載服務(wù)器群組負(fù)載百分比差值達(dá)到閥值，則通過主卷管理服務(wù)器控制數(shù)據(jù)對最高負(fù)載服務(wù)器群組新存儲數(shù)據(jù)進(jìn)行分流。6.根據(jù)權(quán)利要求1所述的一種帶有文件存儲管理的云存儲系統(tǒng)，其特征在于存儲節(jié)點服務(wù)器中的最高負(fù)載服務(wù)器與存儲節(jié)點服務(wù)器中的最低負(fù)載服務(wù)器負(fù)載百分比差值達(dá)到閥值，但最高負(fù)載服務(wù)器原有目錄下仍有大量數(shù)據(jù)寫入，則對最高負(fù)載服務(wù)器存儲空間進(jìn)行擴展。7.根據(jù)權(quán)利要求1所述的一種帶有文件存儲管理的云存儲系統(tǒng)，其特征在于本系統(tǒng)采用中心服務(wù)器模式，主卷管理服務(wù)器管理其它普通存儲節(jié)點服務(wù)器，存儲空間可無限擴展，理論支撐容量達(dá)到GP級(1024*1024*1024PB)o8.根據(jù)權(quán)利要求1所述的一種帶有文件存儲管理的云存儲系統(tǒng)，其特征在于對于存儲節(jié)點服務(wù)器的負(fù)載百分比差值設(shè)置閥值，如果存儲節(jié)點服務(wù)器群組中的最高負(fù)載服務(wù)器與存儲節(jié)點服務(wù)器群組中的最低負(fù)載服務(wù)器負(fù)載百分比差值達(dá)到閥值，但最高負(fù)載服務(wù)器原有目錄下仍有大量數(shù)據(jù)寫入，則對最高負(fù)載服務(wù)器存儲空間進(jìn)行擴展，直到最高負(fù)載服務(wù)器與最低負(fù)載服務(wù)器負(fù)載百分比差值小于閥值。9.根據(jù)權(quán)利要求1所述的一種帶有文件存儲管理的云存儲系統(tǒng)，其特征在于對于存儲節(jié)點服務(wù)器群組的負(fù)載百分比差值設(shè)置閥值，如果存儲節(jié)點服務(wù)器集群中的最高負(fù)載服務(wù)器群組與存儲節(jié)點服務(wù)器集群中的最低負(fù)載服務(wù)器群組負(fù)載百分比差值達(dá)到閥值，但最高負(fù)載服務(wù)器群組原有目錄下仍有大量數(shù)據(jù)寫入，則對最高負(fù)載服務(wù)器存儲空間進(jìn)行擴展，直到最高負(fù)載服務(wù)器與最低負(fù)載服務(wù)器負(fù)載百分比差值小于閥值。10.根據(jù)權(quán)利要求1所述的一種帶有文件存儲管理的云存儲系統(tǒng)，其特征在于不必停止服務(wù)，即可根據(jù)存儲容量的需求，靈活增減存儲節(jié)點。11.根據(jù)權(quán)利要求1所述的一種帶有文件存儲管理的云存儲系統(tǒng)，其特征在于服務(wù)器自動對用戶創(chuàng)建的新目錄進(jìn)行分流。12.根據(jù)權(quán)利要求1所述的一種帶有文件存儲管理的云存儲系統(tǒng)，其特征在于用戶首次創(chuàng)建的目錄結(jié)構(gòu)永久存放的初始路徑下。13.根據(jù)權(quán)利要求1所述的一種帶有文件存儲管理的云存儲系統(tǒng)，其特征在于用戶首次讀寫數(shù)據(jù)時通過訪問主卷管理服務(wù)器獲取數(shù)據(jù)存放目錄表。14.根據(jù)權(quán)利要求1所述的一種帶有文件存儲管理的云存儲系統(tǒng)，其特征在于后續(xù)讀寫數(shù)據(jù)時直接訪問原路徑獲取數(shù)據(jù)。15.根據(jù)權(quán)利要求1所述的一種帶有文件存儲管理的云存儲系統(tǒng)，其特征在于對于所述的負(fù)載百分比差值設(shè)置的閥值根據(jù)需要可選擇為任意百分比或固定數(shù)值。16.根據(jù)權(quán)利要求1所述的一種帶有文件存儲管理的云存儲系統(tǒng)，其特征在于本系統(tǒng)采用完全分布式存儲，分布式入庫到各個不同的數(shù)據(jù)節(jié)點上，數(shù)據(jù)在云中存在多個索引的備份，根據(jù)文件的冗余備份方式，不同的文件可能被分別指向了不同的節(jié)點存儲。全文摘要本發(fā)明提供了一種云存儲系統(tǒng)的文件存儲管理系統(tǒng)，該系統(tǒng)由一個或多個管理節(jié)點，一個或多個存儲節(jié)點(數(shù)據(jù)節(jié)點)組成，系統(tǒng)在數(shù)據(jù)建立與存儲時，分布式建立與存儲數(shù)據(jù)在各存儲節(jié)點上，數(shù)據(jù)建立與存儲時，系統(tǒng)對外接口支持POSIX標(biāo)準(zhǔn)協(xié)議，通過主卷管理服務(wù)器控制數(shù)據(jù)分流的方式，均衡各存儲服務(wù)器負(fù)載，保持性能且服務(wù)器原存儲數(shù)據(jù)存放路徑固定不變。文檔編號H04L29/08GK102546823SQ201210036538公開日2012年7月4日申請日期2012年2月18日優(yōu)先權(quán)日2012年2月18日發(fā)明者張真申請人:南京云創(chuàng)存儲科技有限公司