两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法及設(shè)備、客戶端與流程

文檔序號(hào):11545407閱讀:415來(lái)源:國(guó)知局
分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法及設(shè)備、客戶端與流程
本發(fā)明實(shí)施例涉及信息存儲(chǔ)技術(shù),尤其涉及一種分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法及設(shè)備、客戶端。

背景技術(shù):
基于分布式哈希表(DistributedHashTable,簡(jiǎn)稱DHT)重疊網(wǎng)的分布式存儲(chǔ)系統(tǒng)中,每個(gè)存儲(chǔ)節(jié)點(diǎn)被賦予一個(gè)全局唯一的鍵值(Key),由DHT描述;所有存儲(chǔ)節(jié)點(diǎn)的鍵值形成一個(gè)封閉的、被切分了的空間環(huán);每個(gè)存儲(chǔ)節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)的數(shù)據(jù)空間為在該存儲(chǔ)節(jié)點(diǎn)的鍵值的順時(shí)針或逆時(shí)針?lè)较虻囊粋€(gè)分區(qū)??蛻舳丝梢愿鶕?jù)待存儲(chǔ)/讀取數(shù)據(jù)的鍵值,在DHT中查詢到該鍵值所在的分區(qū)和對(duì)應(yīng)的主存儲(chǔ)節(jié)點(diǎn),完成數(shù)據(jù)的存儲(chǔ)/讀取。為保證數(shù)據(jù)的高可靠性,基于DHT重疊網(wǎng)的分布式存儲(chǔ)系統(tǒng)中采用多副本存儲(chǔ)策略,即一份數(shù)據(jù)存儲(chǔ)多個(gè)副本,每個(gè)數(shù)據(jù)副本位于不同的存儲(chǔ)節(jié)點(diǎn)。例如:在確定數(shù)據(jù)的主存儲(chǔ)節(jié)點(diǎn)后,在順時(shí)針或逆時(shí)針?lè)较?,順序選擇相應(yīng)數(shù)目的存儲(chǔ)節(jié)點(diǎn),分別存儲(chǔ)一個(gè)數(shù)據(jù)副本。然而,由于上述系統(tǒng)中存儲(chǔ)節(jié)點(diǎn)的備份關(guān)系復(fù)雜,使得一個(gè)存儲(chǔ)節(jié)點(diǎn)可能會(huì)存儲(chǔ)多份不同的數(shù)據(jù)副本,導(dǎo)致了一個(gè)存儲(chǔ)節(jié)點(diǎn)加入或者離開(kāi)系統(tǒng),受到影響的存儲(chǔ)節(jié)點(diǎn)可能包括該存儲(chǔ)節(jié)點(diǎn)順時(shí)針?lè)较虻捻樞騼蓚€(gè)存儲(chǔ)節(jié)點(diǎn)和逆時(shí)針?lè)较虻捻樞騼蓚€(gè)存儲(chǔ)節(jié)點(diǎn)的備份關(guān)系,從而增加了系統(tǒng)維護(hù)和調(diào)度的難度。

技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提供一種分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法及設(shè)備、客戶端,用以降低系統(tǒng)維護(hù)和調(diào)度的難度。一方面提供了一種分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法,包括:客戶端根據(jù)數(shù)據(jù)的特征信息,獲得所述數(shù)據(jù)的哈希值;所述客戶端根據(jù)預(yù)先創(chuàng)建的分區(qū)表和所述數(shù)據(jù)的哈希值,確定與所述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),所述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng);所述客戶端將所述數(shù)據(jù)分別寫入所述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)。另一方面提供了一種客戶端,包括:獲得單元,用于根據(jù)數(shù)據(jù)的特征信息,獲得所述數(shù)據(jù)的哈希值;確定單元,用于根據(jù)預(yù)先創(chuàng)建的分區(qū)表和所述數(shù)據(jù)的哈希值,確定與所述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),所述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng);處理單元,用于將所述數(shù)據(jù)分別寫入所述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)。另一方面提供了一種分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理設(shè)備,包括:確定單元,用于根據(jù)所述分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)副本個(gè)數(shù),確定哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),其中,所述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)的個(gè)數(shù)等于所述分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)副本個(gè)數(shù),所述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng),所述不同的DHT重疊網(wǎng)的分區(qū)一致;創(chuàng)建單元,用于根據(jù)所述哈希值和所述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)的配置信息,創(chuàng)建分區(qū)表,以供客戶端根據(jù)數(shù)據(jù)的特征信息,獲得所述數(shù)據(jù)的哈希值,以及根據(jù)所述分區(qū)表和所述數(shù)據(jù)的哈希值,確定與所述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),并將所述數(shù)據(jù)分別寫入所述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),所述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng)。由上述技術(shù)方案可知,本發(fā)明實(shí)施例客戶端根據(jù)數(shù)據(jù)的特征信息,獲得上述數(shù)據(jù)的哈希值,并通過(guò)根據(jù)預(yù)先創(chuàng)建的分區(qū)表和上述數(shù)據(jù)的哈希值,確定與上述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng),使得上述客戶端能夠?qū)⑸鲜鰯?shù)據(jù)分別寫入上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),由于系統(tǒng)中上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)上只存儲(chǔ)一份數(shù)據(jù)副本,其備份關(guān)系簡(jiǎn)單,能夠避免現(xiàn)有技術(shù)中由于系統(tǒng)中存儲(chǔ)節(jié)點(diǎn)的備份關(guān)系復(fù)雜使得一個(gè)存儲(chǔ)節(jié)點(diǎn)可能會(huì)存儲(chǔ)多份不同的數(shù)據(jù)副本而導(dǎo)致的一個(gè)存儲(chǔ)節(jié)點(diǎn)加入或者離開(kāi)系統(tǒng)受到影響的存儲(chǔ)節(jié)點(diǎn)可能包括該存儲(chǔ)節(jié)點(diǎn)順時(shí)針?lè)较虻捻樞騼蓚€(gè)存儲(chǔ)節(jié)點(diǎn)和逆時(shí)針?lè)较虻捻樞騼蓚€(gè)存儲(chǔ)節(jié)點(diǎn)的備份關(guān)系的問(wèn)題,從而降低了系統(tǒng)維護(hù)和調(diào)度的難度。附圖說(shuō)明為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹,顯而易見(jiàn)地,下面描述中的附圖是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明一實(shí)施例提供的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法的流程示意圖;圖2為本發(fā)明另一實(shí)施例提供的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法的流程示意圖;圖3為圖1和圖2對(duì)應(yīng)的實(shí)施例提供的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法中涉及的分區(qū)表的示意圖;圖4為圖1和圖2對(duì)應(yīng)的實(shí)施例提供的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法中涉及的分布式存儲(chǔ)系統(tǒng);圖5為本發(fā)明另一實(shí)施例提供的客戶端的結(jié)構(gòu)示意圖;圖6為本發(fā)明另一實(shí)施例提供的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理設(shè)備的結(jié)構(gòu)示意圖;圖7為本發(fā)明另一實(shí)施例提供的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理設(shè)備的結(jié)構(gòu)示意圖。具體實(shí)施方式為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。圖1為本發(fā)明一實(shí)施例提供的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法的流程示意圖,如圖1所示,本實(shí)施例的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法可以包括:101、客戶端根據(jù)數(shù)據(jù)的特征信息,獲得上述數(shù)據(jù)的哈希值;特征信息可以包括以下內(nèi)容,例如:數(shù)據(jù)的文件名字、數(shù)據(jù)的摘要信息或者數(shù)據(jù)的內(nèi)容的等任何與該數(shù)據(jù)相關(guān)且能夠標(biāo)識(shí)該數(shù)據(jù)的信息。在101之前,本實(shí)施例還可以進(jìn)一步包括創(chuàng)建上述分區(qū)表的步驟。例如:可以根據(jù)上述分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)副本個(gè)數(shù),確定每一個(gè)哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),其中,上述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)的個(gè)數(shù)等于上述分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)副本個(gè)數(shù),上述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng),上述不同的DHT重疊網(wǎng)的分區(qū)一致;然后,根據(jù)上述哈希值和上述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)的配置信息,創(chuàng)建上述分區(qū)表。需要說(shuō)明的是:本實(shí)施例中,創(chuàng)建了上述分區(qū)表之后,可以將該分區(qū)表存儲(chǔ)在網(wǎng)絡(luò)中,以使得客戶端和上述不同的DHT重疊網(wǎng)對(duì)應(yīng)的每一個(gè)存儲(chǔ)節(jié)點(diǎn)共享上述分區(qū)表,或者還可以將該分區(qū)表直接分發(fā)至客戶端,以及上述不同的DHT重疊網(wǎng)對(duì)應(yīng)的每一個(gè)存儲(chǔ)節(jié)點(diǎn),以使得客戶端和上述不同的DHT重疊網(wǎng)對(duì)應(yīng)的每一個(gè)存儲(chǔ)節(jié)點(diǎn)獲得上述分區(qū)表。本實(shí)施例中,上述不同的DHT重疊網(wǎng)對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲得上述分區(qū)表之后,可以根據(jù)上述分區(qū)表,獲得與本存儲(chǔ)節(jié)點(diǎn)的配置信息對(duì)應(yīng)的哈希值,并確定該哈希值對(duì)應(yīng)的其他存儲(chǔ)節(jié)點(diǎn),即其他存儲(chǔ)節(jié)點(diǎn)為本存儲(chǔ)節(jié)點(diǎn)的備份存儲(chǔ)節(jié)點(diǎn);然后,上述不同的DHT重疊網(wǎng)對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)則可以根據(jù)本存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)和上述其他存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù),完成初始化操作。其中,存儲(chǔ)節(jié)點(diǎn)的配置信息可以包括但不限于IP地址、通信端口和存儲(chǔ)空間中的至少一項(xiàng)。例如:本存儲(chǔ)節(jié)點(diǎn)可以與備份存儲(chǔ)節(jié)點(diǎn)進(jìn)行通信,并根據(jù)本存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)和備份存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù),檢查二者是否同步,如果數(shù)據(jù)同步,本存儲(chǔ)節(jié)點(diǎn)則完成初始化操作,如果數(shù)據(jù)不同步,本存儲(chǔ)節(jié)點(diǎn)則進(jìn)行數(shù)據(jù)同步,以完成初始化操作。可選地,本實(shí)施例中,為了保證可靠性的要求,在創(chuàng)建分區(qū)表的過(guò)程中,不同重疊網(wǎng)的同一個(gè)哈希值可以對(duì)應(yīng)不同的存儲(chǔ)服務(wù)器上的存儲(chǔ)節(jié)點(diǎn),用以保證同一個(gè)哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)在物理上是隔離的。在具體實(shí)現(xiàn)時(shí),還可以進(jìn)一步考慮更多的隔離因素,例如:機(jī)架隔離、網(wǎng)絡(luò)隔離或供電隔離等。102、上述客戶端根據(jù)預(yù)先創(chuàng)建的分區(qū)表和上述數(shù)據(jù)的哈希值,確定與上述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng);可選地,在102中,上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)可以位于不同存儲(chǔ)服務(wù)器上,從而提高了數(shù)據(jù)處理的可靠性。103、上述客戶端將上述數(shù)據(jù)分別寫入上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)。需要說(shuō)明的是,在本發(fā)明實(shí)施例中,DHT重疊網(wǎng)具備以下特性:每個(gè)存儲(chǔ)節(jié)點(diǎn)被賦予一個(gè)全局唯一的鍵值(Key),由DHT描述;所有存儲(chǔ)節(jié)點(diǎn)的鍵值形成一個(gè)封閉的、被切分了的空間環(huán);每個(gè)存儲(chǔ)節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)的數(shù)據(jù)空間為在該存儲(chǔ)節(jié)點(diǎn)的鍵值的順時(shí)針或逆時(shí)針?lè)较虻囊粋€(gè)分區(qū)。本實(shí)施例中,客戶端根據(jù)數(shù)據(jù)的特征信息,獲得上述數(shù)據(jù)的哈希值,并通過(guò)根據(jù)預(yù)先創(chuàng)建的分區(qū)表和上述數(shù)據(jù)的哈希值,確定與上述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng),使得上述客戶端能夠?qū)⑸鲜鰯?shù)據(jù)分別寫入上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),由于系統(tǒng)中上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)上只存儲(chǔ)一份數(shù)據(jù)副本,其備份關(guān)系簡(jiǎn)單,能夠避免現(xiàn)有技術(shù)中由于系統(tǒng)中存儲(chǔ)節(jié)點(diǎn)的備份關(guān)系復(fù)雜使得一個(gè)存儲(chǔ)節(jié)點(diǎn)可能會(huì)存儲(chǔ)多份不同的數(shù)據(jù)副本而導(dǎo)致的一個(gè)存儲(chǔ)節(jié)點(diǎn)加入或者離開(kāi)系統(tǒng)受到影響的存儲(chǔ)節(jié)點(diǎn)可能包括該存儲(chǔ)節(jié)點(diǎn)順時(shí)針?lè)较虻捻樞騼蓚€(gè)存儲(chǔ)節(jié)點(diǎn)和逆時(shí)針?lè)较虻捻樞騼蓚€(gè)存儲(chǔ)節(jié)點(diǎn)的備份關(guān)系的問(wèn)題,從而降低了系統(tǒng)維護(hù)和調(diào)度的難度。圖2為本發(fā)明另一實(shí)施例提供的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法的流程示意圖,在上述圖1對(duì)應(yīng)的實(shí)施例的基礎(chǔ)之上,如圖2所示,本實(shí)施例的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理方法還可以進(jìn)一步包括:201、上述客戶端根據(jù)上述數(shù)據(jù)的特征信息,獲得上述數(shù)據(jù)的哈希值;202、上述客戶端根據(jù)預(yù)先創(chuàng)建的分區(qū)表和上述數(shù)據(jù)的哈希值,確定與上述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng);類似地,在202中,上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)可以位于不同存儲(chǔ)服務(wù)器上,從而提高了數(shù)據(jù)處理的可靠性。203、上述客戶端選擇上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)存儲(chǔ)節(jié)點(diǎn),并讀取選擇的上述存儲(chǔ)節(jié)點(diǎn)中寫入的上述數(shù)據(jù)。本實(shí)施例中,客戶端根據(jù)數(shù)據(jù)的特征信息,獲得上述數(shù)據(jù)的哈希值,并通過(guò)根據(jù)預(yù)先創(chuàng)建的分區(qū)表和上述數(shù)據(jù)的哈希值,確定與上述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng),使得上述客戶端能夠選擇上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)存儲(chǔ)節(jié)點(diǎn),并讀取選擇的上述存儲(chǔ)節(jié)點(diǎn)中寫入的上述數(shù)據(jù),由于系統(tǒng)中上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)上只存儲(chǔ)一份數(shù)據(jù)副本,其備份關(guān)系簡(jiǎn)單,能夠避免現(xiàn)有技術(shù)中由于系統(tǒng)中存儲(chǔ)節(jié)點(diǎn)的備份關(guān)系復(fù)雜使得一個(gè)存儲(chǔ)節(jié)點(diǎn)可能會(huì)存儲(chǔ)多份不同的數(shù)據(jù)副本而導(dǎo)致的一個(gè)存儲(chǔ)節(jié)點(diǎn)加入或者離開(kāi)系統(tǒng)受到影響的存儲(chǔ)節(jié)點(diǎn)可能包括該存儲(chǔ)節(jié)點(diǎn)順時(shí)針?lè)较虻捻樞騼蓚€(gè)存儲(chǔ)節(jié)點(diǎn)和逆時(shí)針?lè)较虻捻樞騼蓚€(gè)存儲(chǔ)節(jié)點(diǎn)的備份關(guān)系的問(wèn)題,從而降低了系統(tǒng)維護(hù)和調(diào)度的難度。為使得本發(fā)明實(shí)施例提供的方法更加清楚,下面將以三個(gè)數(shù)據(jù)副本的分布式存儲(chǔ)系統(tǒng)作為舉例。舉例來(lái)說(shuō),根據(jù)上述分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)副本個(gè)數(shù)3,確定哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),其中,上述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)的個(gè)數(shù)3等于上述分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)副本個(gè)數(shù)3,上述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng),即DHT重疊網(wǎng)1、DHT重疊網(wǎng)2和DHT重疊網(wǎng)3,上述不同的DHT重疊網(wǎng)的分區(qū)一致,例如:可以采用均勻分區(qū),空間被分成N等分,或者還可以采用非均勻分區(qū),本實(shí)施例對(duì)此不進(jìn)行限定;然后,根據(jù)上述哈希值和上述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)的配置信息,創(chuàng)建上述分區(qū)表,如圖3所示。所創(chuàng)建的分區(qū)表需要持久化保存,例如:將所創(chuàng)建的分區(qū)表存儲(chǔ)在硬盤中。上述創(chuàng)建的分區(qū)表可以分發(fā)到所有的存儲(chǔ)節(jié)點(diǎn),以及分發(fā)到所有的客戶端。存儲(chǔ)節(jié)點(diǎn)獲得上述分區(qū)表之后,進(jìn)行初始化操作,詳細(xì)內(nèi)容可以參見(jiàn)圖1對(duì)應(yīng)的實(shí)施例中的相關(guān)內(nèi)容,此處不再贅述。假設(shè)數(shù)據(jù)1需要存儲(chǔ)到上述三個(gè)數(shù)據(jù)副本的分布式存儲(chǔ)系統(tǒng),客戶端則可以根據(jù)獲得的預(yù)先創(chuàng)建的分區(qū)表和待寫入的數(shù)據(jù)1的哈希值,確定與數(shù)據(jù)1的哈希值對(duì)應(yīng)的三個(gè)存儲(chǔ)節(jié)點(diǎn),例如:存儲(chǔ)節(jié)點(diǎn)1、存儲(chǔ)節(jié)點(diǎn)4和存儲(chǔ)節(jié)點(diǎn)7,三個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)三個(gè)不同的DHT重疊網(wǎng),即DHT重疊網(wǎng)1、DHT重疊網(wǎng)2和DHT重疊網(wǎng)3。為了提高數(shù)據(jù)處理的可靠性,存儲(chǔ)節(jié)點(diǎn)1、存儲(chǔ)節(jié)點(diǎn)4和存儲(chǔ)節(jié)點(diǎn)7三個(gè)存儲(chǔ)節(jié)點(diǎn)可以位于不同存儲(chǔ)服務(wù)器,即存儲(chǔ)服務(wù)器1、存儲(chǔ)服務(wù)器2和存儲(chǔ)服務(wù)器3,上,如圖4所示;最后,客戶端則可以將上述數(shù)據(jù)1分別寫入存儲(chǔ)節(jié)點(diǎn)1、存儲(chǔ)節(jié)點(diǎn)4和存儲(chǔ)節(jié)點(diǎn)7三個(gè)存儲(chǔ)節(jié)點(diǎn)。類似地,客戶端則可以根據(jù)預(yù)先創(chuàng)建的分區(qū)表和待寫入的數(shù)據(jù)1的哈希值,確定與數(shù)據(jù)1的哈希值對(duì)應(yīng)的三個(gè)存儲(chǔ)節(jié)點(diǎn),例如:存儲(chǔ)節(jié)點(diǎn)1、存儲(chǔ)節(jié)點(diǎn)4和存儲(chǔ)節(jié)點(diǎn)7,三個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)三個(gè)不同的DHT重疊網(wǎng),即DHT重疊網(wǎng)1、DHT重疊網(wǎng)2和DHT重疊網(wǎng)3;最后客戶端則可以選擇存儲(chǔ)節(jié)點(diǎn)1、存儲(chǔ)節(jié)點(diǎn)4和存儲(chǔ)節(jié)點(diǎn)7三個(gè)存儲(chǔ)節(jié)點(diǎn)中的任意一個(gè)存儲(chǔ)節(jié)點(diǎn),并讀取選擇的存儲(chǔ)節(jié)點(diǎn)中寫入的上述數(shù)據(jù)1。需要說(shuō)明的是:對(duì)于前述的各方法實(shí)施例,為了簡(jiǎn)單描述,故將其都表述為一系列的動(dòng)作組合,但是本領(lǐng)域技術(shù)人員應(yīng)該知悉,本發(fā)明并不受所描述的動(dòng)作順序的限制,因?yàn)橐罁?jù)本發(fā)明,某些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次,本領(lǐng)域技術(shù)人員也應(yīng)該知悉,說(shuō)明書(shū)中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例,所涉及的動(dòng)作和模塊并不一定是本發(fā)明所必須的。在上述實(shí)施例中,對(duì)各個(gè)實(shí)施例的描述都各有側(cè)重,某個(gè)實(shí)施例中沒(méi)有詳述的部分,可以參見(jiàn)其他實(shí)施例的相關(guān)描述。圖5為本發(fā)明另一實(shí)施例提供的客戶端的結(jié)構(gòu)示意圖,如圖5所示,本實(shí)施例的客戶端可以包括獲得單元51、確定單元52和處理單元53。其中,獲得單元51用于根據(jù)數(shù)據(jù)的特征信息,獲得上述數(shù)據(jù)的哈希值;確定單元52用于根據(jù)預(yù)先創(chuàng)建的分區(qū)表和上述數(shù)據(jù)的哈希值,確定與上述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng);處理單元53用于將上述數(shù)據(jù)分別寫入上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)。上述圖1和圖2對(duì)應(yīng)的實(shí)施例中客戶端的功能均可以由本實(shí)施例提供的客戶端實(shí)現(xiàn)。進(jìn)一步地,本實(shí)施例中,獲得單元51還可以進(jìn)一步用于根據(jù)上述數(shù)據(jù)的特征信息,獲得上述數(shù)據(jù)的哈希值;確定單元52還可以進(jìn)一步用于根據(jù)預(yù)先創(chuàng)建的分區(qū)表和上述數(shù)據(jù)的哈希值,確定與上述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng);處理單元53還可以進(jìn)一步用于選擇上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)存儲(chǔ)節(jié)點(diǎn),并讀取選擇的上述存儲(chǔ)節(jié)點(diǎn)中寫入的上述數(shù)據(jù)。本實(shí)施例中,客戶端通過(guò)獲得單元根據(jù)數(shù)據(jù)的特征信息,獲得上述數(shù)據(jù)的哈希值,并通過(guò)確定單元根據(jù)預(yù)先創(chuàng)建的分區(qū)表和上述數(shù)據(jù)的哈希值,確定與上述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng),使得上處理單元能夠選擇上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)存儲(chǔ)節(jié)點(diǎn),并讀取選擇的上述存儲(chǔ)節(jié)點(diǎn)中寫入的上述數(shù)據(jù),或者還能夠選擇上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)存儲(chǔ)節(jié)點(diǎn),并讀取選擇的上述存儲(chǔ)節(jié)點(diǎn)中寫入的上述數(shù)據(jù),由于系統(tǒng)中上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)上只存儲(chǔ)一份數(shù)據(jù)副本,其備份關(guān)系簡(jiǎn)單,能夠避免現(xiàn)有技術(shù)中由于系統(tǒng)中存儲(chǔ)節(jié)點(diǎn)的備份關(guān)系復(fù)雜使得一個(gè)存儲(chǔ)節(jié)點(diǎn)可能會(huì)存儲(chǔ)多份不同的數(shù)據(jù)副本而導(dǎo)致的一個(gè)存儲(chǔ)節(jié)點(diǎn)加入或者離開(kāi)系統(tǒng)受到影響的存儲(chǔ)節(jié)點(diǎn)可能包括該存儲(chǔ)節(jié)點(diǎn)順時(shí)針?lè)较虻捻樞騼蓚€(gè)存儲(chǔ)節(jié)點(diǎn)和逆時(shí)針?lè)较虻捻樞騼蓚€(gè)存儲(chǔ)節(jié)點(diǎn)的備份關(guān)系的問(wèn)題,從而降低了系統(tǒng)維護(hù)和調(diào)度的難度。圖6為本發(fā)明另一實(shí)施例提供的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理設(shè)備的結(jié)構(gòu)示意圖,如圖6所示,本實(shí)施例的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理設(shè)備可以包括確定單元61和創(chuàng)建單元62。其中,確定單元61根據(jù)上述分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)副本個(gè)數(shù),確定哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),其中,上述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)的個(gè)數(shù)等于上述分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)副本個(gè)數(shù),上述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng),上述不同的DHT重疊網(wǎng)的分區(qū)一致;創(chuàng)建單元62根據(jù)上述哈希值和上述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)的配置信息,創(chuàng)建分區(qū)表,以供客戶端根據(jù)數(shù)據(jù)的特征信息,獲得上述數(shù)據(jù)的哈希值,以及根據(jù)上述分區(qū)表和上述數(shù)據(jù)的哈希值,確定與上述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),并將上述數(shù)據(jù)分別寫入上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng)。可選地,如圖7所示,本實(shí)施例提供的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)處理設(shè)備還可以進(jìn)一步包括發(fā)送單元71,用于可以向上述客戶端和上述不同的DHT重疊網(wǎng)對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)發(fā)送上述分區(qū)表,以使得上述不同的DHT重疊網(wǎng)對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)根據(jù)上述分區(qū)表,獲得與本存儲(chǔ)節(jié)點(diǎn)的配置信息對(duì)應(yīng)的哈希值,并確定該哈希值對(duì)應(yīng)的其他存儲(chǔ)節(jié)點(diǎn),以及根據(jù)本存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)和上述其他存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù),完成初始化操作??蛇x地,確定單元61確定的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)可以位于不同存儲(chǔ)服務(wù)器上,從而提高了數(shù)據(jù)處理的可靠性。本實(shí)施例中,通過(guò)確定單元根據(jù)分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)副本個(gè)數(shù),確定哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),并由創(chuàng)建單元根據(jù)上述哈希值和上述哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)的配置信息,創(chuàng)建分區(qū)表,使得客戶端根據(jù)數(shù)據(jù)的特征信息,獲得上述數(shù)據(jù)的哈希值,并通過(guò)根據(jù)預(yù)先創(chuàng)建的分區(qū)表和上述數(shù)據(jù)的哈希值,確定與上述數(shù)據(jù)的哈希值對(duì)應(yīng)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)不同的DHT重疊網(wǎng),使得上述客戶端能夠?qū)⑸鲜鰯?shù)據(jù)分別寫入上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn),由于系統(tǒng)中上述至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)上只存儲(chǔ)一份數(shù)據(jù)副本,其備份關(guān)系簡(jiǎn)單,能夠避免現(xiàn)有技術(shù)中由于系統(tǒng)中存儲(chǔ)節(jié)點(diǎn)的備份關(guān)系復(fù)雜使得一個(gè)存儲(chǔ)節(jié)點(diǎn)可能會(huì)存儲(chǔ)多份不同的數(shù)據(jù)副本而導(dǎo)致的一個(gè)存儲(chǔ)節(jié)點(diǎn)加入或者離開(kāi)系統(tǒng)受到影響的存儲(chǔ)節(jié)點(diǎn)可能包括該存儲(chǔ)節(jié)點(diǎn)順時(shí)針?lè)较虻捻樞騼蓚€(gè)存儲(chǔ)節(jié)點(diǎn)和逆時(shí)針?lè)较虻捻樞騼蓚€(gè)存儲(chǔ)節(jié)點(diǎn)的備份關(guān)系的問(wèn)題,從而降低了系統(tǒng)維護(hù)和調(diào)度的難度。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡(jiǎn)潔,上述描述的系統(tǒng),裝置和單元的具體工作過(guò)程,可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程,在此不再贅述。在本申請(qǐng)所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的系統(tǒng),裝置和方法,可以通過(guò)其它的方式實(shí)現(xiàn)。例如,以上所描述的裝置實(shí)施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機(jī)械或其它的形式。所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。另外,在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中,也可以是各個(gè)單元單獨(dú)物理存在,也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用硬件加軟件功能單元的形式實(shí)現(xiàn)。上述以軟件功能單元的形式實(shí)現(xiàn)的集成的單元,可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。上述軟件功能單元存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的部分步驟。而前述的存儲(chǔ)介質(zhì)包括:U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(Read-OnlyMemory,簡(jiǎn)稱ROM)、隨機(jī)存取存儲(chǔ)器(RandomAccessMemory,簡(jiǎn)稱RAM)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。最后應(yīng)說(shuō)明的是:以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
當(dāng)前第1頁(yè)1 2 3 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
酒泉市| 当雄县| 宜春市| 石城县| 临湘市| 乐至县| 简阳市| 浦东新区| 和平区| 钟山县| 铅山县| 平山县| 沽源县| 轮台县| 灵宝市| 琼中| 酉阳| 信丰县| 柘城县| 始兴县| 塔城市| 蒲城县| 利辛县| 宝坻区| 东至县| 青川县| 文登市| 永嘉县| 和田市| 保康县| 临安市| 双桥区| 德州市| 南澳县| 西华县| 高雄市| 霞浦县| 精河县| 邢台县| 赞皇县| 时尚|