两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

分布式系統(tǒng)中的數(shù)據(jù)備份方法、裝置及系統(tǒng)的制作方法

文檔序號(hào):7996634閱讀:247來(lái)源:國(guó)知局

專利名稱::分布式系統(tǒng)中的數(shù)據(jù)備份方法、裝置及系統(tǒng)的制作方法
技術(shù)領(lǐng)域
:本發(fā)明涉及通信領(lǐng)域,具體而言,涉及一種分布式系統(tǒng)中的數(shù)據(jù)備份方法、裝置及系統(tǒng)。
背景技術(shù)
:隨著互聯(lián)網(wǎng)和多媒體產(chǎn)業(yè)的迅猛發(fā)展,大量的媒體文件的存儲(chǔ)對(duì)存儲(chǔ)技術(shù)和系統(tǒng)提出了更高的要求。為了保證文件存儲(chǔ)的高可靠性、存儲(chǔ)器的大容量以及文件存儲(chǔ)的性價(jià)比,大部分IT廠商和互聯(lián)網(wǎng)服務(wù)商常常采用分布式文件系統(tǒng)來(lái)存儲(chǔ)數(shù)據(jù),這些系統(tǒng)常常采用冗余存儲(chǔ)的方式來(lái)保證存儲(chǔ)數(shù)據(jù)的可靠性,再以高可靠性的軟件來(lái)彌補(bǔ)硬件不可靠的缺點(diǎn),從而提供廉價(jià)可靠的海量分布式存儲(chǔ)和計(jì)算系統(tǒng)。分布式文件系統(tǒng)中,為了保證文件數(shù)據(jù)的可靠性,每個(gè)數(shù)據(jù)塊都會(huì)服務(wù)到多個(gè)存儲(chǔ)服務(wù)器上,并默認(rèn)保存三個(gè)備份。在文件創(chuàng)建的過程中,客戶端會(huì)將每個(gè)數(shù)據(jù)塊傳輸?shù)蕉鄠€(gè)存儲(chǔ)服務(wù)器上,每個(gè)客戶端和多個(gè)存儲(chǔ)服務(wù)器之間就體現(xiàn)為一對(duì)多的關(guān)系。而且隨著備份數(shù)目的增加,客戶端發(fā)送數(shù)據(jù)塊的次數(shù)就越多,網(wǎng)絡(luò)傳輸?shù)南到y(tǒng)消耗和客戶端性能消耗就越高,網(wǎng)絡(luò)帶寬占用也就越多。基本上文件備份數(shù)目與系統(tǒng)性能消耗將呈現(xiàn)線性增長(zhǎng)的關(guān)系,這將直接影響分布式文件系統(tǒng)的并發(fā)訪問性能。因此,如何減少文件備份數(shù)目對(duì)系統(tǒng)消耗和網(wǎng)絡(luò)帶寬的影響,對(duì)于分布式文件系統(tǒng)的推廣使用,具有重要的研究意義。針對(duì)相關(guān)技術(shù)中的文件存儲(chǔ)方式造成的網(wǎng)絡(luò)帶寬占用較多和系統(tǒng)的性能消耗較高的問題,目前尚未提出有效的解決方案。
發(fā)明內(nèi)容針對(duì)相關(guān)技術(shù)中文件的存儲(chǔ)方式造成的網(wǎng)絡(luò)帶寬占用較多和系統(tǒng)的性能消耗較高的問題,本發(fā)明提供了一種分布式系統(tǒng)中的數(shù)據(jù)備份方法、裝置及系統(tǒng),以至少解決上述問題。根據(jù)本發(fā)明的一個(gè)方面,提供了一種分布式系統(tǒng)中的數(shù)據(jù)備份方法,該方法包括文件訪問服務(wù)器向元數(shù)據(jù)服務(wù)器獲取用于備份文件數(shù)據(jù)的組播地址;文件訪問服務(wù)器采用組播傳輸方式在上述組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份文件數(shù)據(jù)。優(yōu)選地,上述文件訪問服務(wù)器向元數(shù)據(jù)服務(wù)器獲取用于備份文件數(shù)據(jù)的組播地址包括文件訪問服務(wù)器接收用戶的文件寫入請(qǐng)求消息,文件訪問服務(wù)器將該文件寫入請(qǐng)求消息轉(zhuǎn)發(fā)給元數(shù)據(jù)服務(wù)器,元數(shù)據(jù)服務(wù)器接收到文件寫入請(qǐng)求消息后,選擇文件存儲(chǔ)服務(wù)器,并為文件存儲(chǔ)服務(wù)器選擇組播地址,元數(shù)據(jù)服務(wù)器將該組播地址發(fā)送給文件訪問服務(wù)ο優(yōu)選地,元數(shù)據(jù)服務(wù)器為文件存儲(chǔ)服務(wù)器選擇組播地址之后,元數(shù)據(jù)服務(wù)器根據(jù)選擇的文件存儲(chǔ)服務(wù)器確定存儲(chǔ)路徑,并根據(jù)上述文件寫入請(qǐng)求消息確定數(shù)據(jù)緩存長(zhǎng)度,元數(shù)據(jù)服務(wù)器將存儲(chǔ)路徑、組播地址和數(shù)據(jù)緩存長(zhǎng)度發(fā)送給文件存儲(chǔ)服務(wù)器,文件存儲(chǔ)服務(wù)器記錄上述組播地址,并根據(jù)上述存儲(chǔ)路徑和上述數(shù)據(jù)緩存長(zhǎng)度創(chuàng)建備份文件數(shù)據(jù)的空文件。優(yōu)選地,文件訪問服務(wù)器采用組播傳輸方式在組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份文件數(shù)據(jù)包括文件訪問服務(wù)器接收到上述組播地址后,將文件數(shù)據(jù)發(fā)送到該組播地址,文件存儲(chǔ)服務(wù)器接收上述文件數(shù)據(jù),如果該文件數(shù)據(jù)中的組播地址與記錄的組播地址一致,將該文件數(shù)據(jù)備份在空文件中。優(yōu)選地,文件存儲(chǔ)服務(wù)器接收到組播地址之后,文件存儲(chǔ)服務(wù)器為該組播地址綁定第一網(wǎng)絡(luò)套結(jié)字,文件訪問服務(wù)器接收到組播地址后,文件訪問服務(wù)器為該組播地址綁定第二網(wǎng)絡(luò)套結(jié)字,文件訪問服務(wù)器將文件數(shù)據(jù)發(fā)送到組播地址包括文件訪問服務(wù)器通過第二網(wǎng)絡(luò)套結(jié)字將文件數(shù)據(jù)發(fā)送到組播地址,文件存儲(chǔ)服務(wù)器接收文件數(shù)據(jù)包括文件存儲(chǔ)服務(wù)器在第一網(wǎng)絡(luò)套結(jié)字上接收文件數(shù)據(jù)。優(yōu)選地,文件訪問服務(wù)器與文件存儲(chǔ)服務(wù)器之間的單播消息通過元數(shù)據(jù)服務(wù)器轉(zhuǎn)發(fā)。根據(jù)本發(fā)明的另一方面,提供了一種分布式系統(tǒng)中的數(shù)據(jù)備份裝置,該裝置包括:組播地址獲取模塊,用于向元數(shù)據(jù)服務(wù)器獲取用于備份文件數(shù)據(jù)的組播地址;備份模塊,用于采用組播傳輸方式在上述組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份文件數(shù)據(jù)。根據(jù)本發(fā)明的又一方面,提供了一種數(shù)據(jù)備份系統(tǒng),該系統(tǒng)包括文件訪問服務(wù)器、元數(shù)據(jù)服務(wù)器和文件存儲(chǔ)服務(wù)器;文件訪問服務(wù)器包括組播地址獲取模塊,用于向元數(shù)據(jù)服務(wù)器獲取用于備份文件數(shù)據(jù)的組播地址;備份模塊,用于采用組播傳輸方式在上述組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份上述文件數(shù)據(jù);元數(shù)據(jù)服務(wù)器包括組播地址提供模塊,用于向文件訪問服務(wù)器提供上述組播地址;文件存儲(chǔ)服務(wù)器包括接收模塊,用于接收文件訪問服務(wù)器以組播傳輸方式發(fā)送的文件數(shù)據(jù);存儲(chǔ)模塊,用于存儲(chǔ)接收模塊接收的文件數(shù)據(jù)。優(yōu)選地,上述組播地址獲取模塊包括請(qǐng)求接收單元,用于接收用戶的文件寫入請(qǐng)求消息;轉(zhuǎn)發(fā)單元,用于將請(qǐng)求接收單元接收的上述文件寫入請(qǐng)求消息轉(zhuǎn)發(fā)給元數(shù)據(jù)服務(wù)器;組播地址接收單元,用于接收元數(shù)據(jù)服務(wù)器發(fā)送的組播地址;組播地址提供模塊包括第一選擇單元,用于接收到文件寫入請(qǐng)求消息后,選擇文件存儲(chǔ)服務(wù)器;第二選擇單元,用于為第一選擇單元選擇的文件存儲(chǔ)服務(wù)器選擇組播地址;組播地址發(fā)送單元,用于將第二選擇單元選擇的組播地址發(fā)送給文件訪問服務(wù)器。優(yōu)選地,上述元數(shù)據(jù)服務(wù)器還包括路徑確定模塊,用于根據(jù)第一選擇單元選擇的文件存儲(chǔ)服務(wù)器確定存儲(chǔ)路徑;緩存確定模塊,用于根據(jù)文件寫入請(qǐng)求消息確定數(shù)據(jù)緩存長(zhǎng)度;通知模塊,用于將路徑確定模塊確定的存儲(chǔ)路徑、第二選擇單元選擇的組播地址和緩存確定模塊確定的數(shù)據(jù)緩存長(zhǎng)度發(fā)送給文件存儲(chǔ)服務(wù)器;文件存儲(chǔ)服務(wù)器還包括記錄模塊,用于接收到元數(shù)據(jù)服務(wù)器發(fā)送的存儲(chǔ)路徑、組播地址和數(shù)據(jù)緩存長(zhǎng)度后,記錄上述組播地址;空文件創(chuàng)建模塊,用于根據(jù)上述存儲(chǔ)路徑和上述數(shù)據(jù)緩存長(zhǎng)度創(chuàng)建備份上述文件數(shù)據(jù)的空文件。優(yōu)選地,上述備份模塊包括文件數(shù)據(jù)發(fā)送單元,用于組播地址獲取模塊獲取到組播地址后,將文件數(shù)據(jù)發(fā)送到該組播地址;文件存儲(chǔ)服務(wù)器還包括地址比較模塊,用于接收模塊接收文件數(shù)據(jù)后,比較文件數(shù)據(jù)中的上述組播地址與記錄模塊記錄的組播地址一致;存儲(chǔ)模塊包括存儲(chǔ)單元,用于將文件數(shù)據(jù)備份在空文件創(chuàng)建模塊創(chuàng)建的上述空文件中。通過本發(fā)明,文件訪問服務(wù)器向元數(shù)據(jù)服務(wù)器獲取組播地址之后,采用組播傳輸?shù)姆绞较蛟摻M播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器備份文件數(shù)據(jù),解決了相關(guān)技術(shù)中的文件存儲(chǔ)方式造成的網(wǎng)絡(luò)帶寬占用較多和系統(tǒng)的性能消耗較高的問題,從而降低了文件數(shù)據(jù)備份對(duì)網(wǎng)絡(luò)帶寬和系統(tǒng)消耗的影響,提高了分布式系統(tǒng)的并發(fā)文件寫入性能。此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解,構(gòu)成本申請(qǐng)的一部分,本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明,并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中圖1是根據(jù)本發(fā)明實(shí)施例的分布式系統(tǒng)中的數(shù)據(jù)備份方法的流程圖;圖2是根據(jù)本發(fā)明實(shí)施例的采用組播方式進(jìn)行數(shù)據(jù)寫入的分布式系統(tǒng)的示意圖;圖3是根據(jù)本發(fā)明實(shí)施例一的分布式系統(tǒng)中的數(shù)據(jù)備份方法的流程圖;圖4是根據(jù)本發(fā)明實(shí)施例的分布式系統(tǒng)中的數(shù)據(jù)備份裝置的結(jié)構(gòu)框圖;圖5是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)備份系統(tǒng)的結(jié)構(gòu)框圖;圖6是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)備份系統(tǒng)的具體結(jié)構(gòu)框圖;圖7是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)備份系統(tǒng)的另一具體結(jié)構(gòu)框圖。具體實(shí)施例方式下文中將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明。需要說(shuō)明的是,在不沖突的情況下,本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。在分布式文件系統(tǒng)中,為了保證文件數(shù)據(jù)的可靠性,文件數(shù)據(jù)一般都會(huì)在存儲(chǔ)服務(wù)器上備份,但是在數(shù)據(jù)的備份過程中,如果數(shù)據(jù)備份越多,數(shù)據(jù)發(fā)送到存儲(chǔ)服務(wù)器上的次數(shù)就越多,對(duì)網(wǎng)絡(luò)帶寬和系統(tǒng)的性能消耗的影響就越大?;诖耍景l(fā)明采用組播的方式進(jìn)行數(shù)據(jù)的發(fā)送,文件訪問服務(wù)器只需向網(wǎng)絡(luò)發(fā)送一次數(shù)據(jù),即可實(shí)現(xiàn)數(shù)據(jù)的備份,減少了數(shù)據(jù)發(fā)送次數(shù)。本發(fā)明實(shí)施例提供了一種分布式系統(tǒng)中的數(shù)據(jù)備份方法、裝置及系統(tǒng)。下面通過實(shí)施例進(jìn)行詳細(xì)說(shuō)明。本實(shí)施例提供了一種分布式系統(tǒng)中的數(shù)據(jù)備份方法,如圖1所示的是分布式系統(tǒng)中的數(shù)據(jù)備份方法的流程圖,該方法包括以下步驟(步驟S102-步驟S104)步驟S102,文件訪問服務(wù)器向元數(shù)據(jù)服務(wù)器獲取用于備份文件數(shù)據(jù)的組播地址;步驟S104,文件訪問服務(wù)器采用組播傳輸方式在上述組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份文件數(shù)據(jù)。通過上述步驟,文件訪問服務(wù)器向元數(shù)據(jù)服務(wù)器獲取組播地址之后,采用組播傳輸?shù)姆绞较蛟摻M播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器備份文件數(shù)據(jù),解決了相關(guān)技術(shù)中的文件存儲(chǔ)方式造成的網(wǎng)絡(luò)帶寬占用較多和系統(tǒng)的性能消耗較高的問題,降低了文件數(shù)據(jù)備份對(duì)網(wǎng)絡(luò)帶寬和系統(tǒng)消耗的影響,提高了分布式系統(tǒng)的并發(fā)文件寫入性能。在上述步驟S102中,文件訪問服務(wù)器向元數(shù)據(jù)服務(wù)器獲取用于備份文件數(shù)據(jù)的組播地址,其具體的實(shí)現(xiàn)過程如下所示首先,文件訪問服務(wù)器接收到用戶的文件寫入請(qǐng)求消息之后,將該文件寫入請(qǐng)求消息轉(zhuǎn)發(fā)給元數(shù)據(jù)服務(wù)器,元數(shù)據(jù)服務(wù)器接收到該文件寫入請(qǐng)求消息后,選擇若干個(gè)合適的(比如比較空閑的)文件存儲(chǔ)服務(wù)器,并為選擇出的文件存儲(chǔ)服務(wù)器選擇對(duì)應(yīng)的組播地址;其次,元數(shù)據(jù)服務(wù)器根據(jù)選擇的文件存儲(chǔ)服務(wù)器確定存儲(chǔ)路徑,根據(jù)文件寫入請(qǐng)求消息確定文件數(shù)據(jù)的緩存長(zhǎng)度,元數(shù)據(jù)服務(wù)器將存儲(chǔ)路徑、組播地址和文件數(shù)據(jù)的緩存長(zhǎng)度發(fā)送給文件存儲(chǔ)服務(wù)器和文件訪問服務(wù)器;然后,文件存儲(chǔ)服務(wù)器記錄該組播地址,并根據(jù)存儲(chǔ)路徑和文件數(shù)據(jù)的緩存長(zhǎng)度創(chuàng)建備份文件數(shù)據(jù)的空文件,該空文件用來(lái)存儲(chǔ)文件存儲(chǔ)服務(wù)器收到的文件數(shù)據(jù)。上述步驟是為文件訪問服務(wù)器采用組播傳播方式進(jìn)行文件數(shù)據(jù)的傳播做好前期準(zhǔn)備,為其提供基礎(chǔ)。在上述步驟S104中,文件訪問服務(wù)器采用組播傳輸方式在組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份文件數(shù)據(jù),其具體的實(shí)現(xiàn)過程如下所示首先,文件訪問服務(wù)器接收到組播地址后,為該組播地址綁定第二網(wǎng)絡(luò)套結(jié)字,文件訪問服務(wù)器通過該第二網(wǎng)絡(luò)套結(jié)字將文件數(shù)據(jù)發(fā)送到組播地址;其次,文件存儲(chǔ)服務(wù)器接收到組播地址之后,為該組播地址綁定第一網(wǎng)絡(luò)套結(jié)字,文件存儲(chǔ)服務(wù)器在第一網(wǎng)絡(luò)套結(jié)字上接收文件數(shù)據(jù),如果文件數(shù)據(jù)中的組播地址與記錄的組播地址一致,則將該文件數(shù)據(jù)備份在上述空文件中。在上述實(shí)現(xiàn)方式中,文件訪問服務(wù)器與文件存儲(chǔ)服務(wù)器之間的單播消息(比如上述文件寫入請(qǐng)求消息)通過元數(shù)據(jù)服務(wù)器進(jìn)行轉(zhuǎn)發(fā)。圖2是根據(jù)本發(fā)明實(shí)施例的采用組播方式進(jìn)行數(shù)據(jù)寫入的分布式系統(tǒng)的示意圖,本實(shí)施例以分布式系統(tǒng)中包括一個(gè)元數(shù)據(jù)服務(wù)器、兩個(gè)文件訪問服務(wù)器和三個(gè)文件存儲(chǔ)服務(wù)器為例進(jìn)行說(shuō)明。圖2中所示的元數(shù)據(jù)服務(wù)器,主要用于負(fù)責(zé)管理分布式文件系統(tǒng)中的文件元數(shù)據(jù)信息,包括文件目錄、文件名,以及文件數(shù)據(jù)塊在文件存儲(chǔ)服務(wù)器上的分布,同時(shí)該元數(shù)據(jù)服務(wù)器也負(fù)責(zé)管理組播地址列表,并將該組播地址分配給文件訪問服務(wù)器和文件存儲(chǔ)服務(wù)器以供使用。圖2中所示的文件訪問服務(wù)器,主要是和元數(shù)據(jù)服務(wù)器交互進(jìn)行元數(shù)據(jù)的操作,和文件存儲(chǔ)服務(wù)器通信進(jìn)行數(shù)據(jù)塊的操作,同時(shí)該文件訪問服務(wù)器使用元數(shù)據(jù)服務(wù)器分配的組播地址,發(fā)送數(shù)據(jù)給文件存儲(chǔ)服務(wù)器。文件訪問服務(wù)器一般提供類似于可移植操作系統(tǒng)接口(PortableOperatingSystemInterface,簡(jiǎn)稱為P0SIX)的訪問接口,應(yīng)用程序通過調(diào)用這些訪問接口使用分布式文件系統(tǒng)。圖2中所示的文件存儲(chǔ)服務(wù)器主要用于進(jìn)行文件數(shù)據(jù)塊的存儲(chǔ),為了保證文件數(shù)據(jù)的可靠性,每個(gè)數(shù)據(jù)塊會(huì)復(fù)制到多個(gè)文件存儲(chǔ)服務(wù)器上,一般情況下默認(rèn)保存三個(gè)備份,同時(shí)該文件存儲(chǔ)服務(wù)器使用元數(shù)據(jù)服務(wù)器分配的組播地址,接收文件訪問服務(wù)器發(fā)送過來(lái)的文件數(shù)據(jù)。在文件訪問服務(wù)器和文件存儲(chǔ)服務(wù)器之間傳播文件數(shù)據(jù)的時(shí)候,文件訪問服務(wù)器采用組播地址通信的方式,通過組播網(wǎng)絡(luò)將文件數(shù)據(jù)發(fā)送給文件存儲(chǔ)服務(wù)器,比如一個(gè)文件訪問服務(wù)器將文件數(shù)據(jù)發(fā)送給組播網(wǎng)絡(luò)后,三個(gè)文件存儲(chǔ)服務(wù)器可以同時(shí)接收該文件數(shù)據(jù),降低了文件備份數(shù)目對(duì)系統(tǒng)消耗和網(wǎng)絡(luò)帶寬的影響,大幅提升分布式文件系統(tǒng)的并發(fā)文件寫入性能。下面結(jié)合優(yōu)選實(shí)施例和附圖對(duì)上述實(shí)施例的實(shí)現(xiàn)過程進(jìn)行詳細(xì)說(shuō)明。實(shí)施例一在分布式文件系統(tǒng)中,一般包含一個(gè)元數(shù)據(jù)服務(wù)器和多個(gè)文件存儲(chǔ)服務(wù)器,并且上述元數(shù)據(jù)服務(wù)器和文件存儲(chǔ)服務(wù)器可以被多個(gè)文件訪問服務(wù)器訪問。本實(shí)施例將對(duì)分布式文件系統(tǒng)中文件數(shù)據(jù)的備份進(jìn)行詳細(xì)描述,如圖3所示的是根據(jù)本發(fā)明實(shí)施例一的分布式系統(tǒng)中的數(shù)據(jù)備份方法的流程圖,該方法包括如下步驟(步驟S302-步驟步驟S302,文件訪問服務(wù)器接收到用戶的文件寫入請(qǐng)求消息,在用戶通過文件訪問服務(wù)器提供的訪問接口進(jìn)行文件寫入操作時(shí),會(huì)提供文件名稱、數(shù)據(jù)緩沖內(nèi)容及其長(zhǎng)度。步驟S304,文件訪問服務(wù)器發(fā)送文件寫入請(qǐng)求消息給元數(shù)據(jù)服務(wù)器,該消息中包含文件名稱和數(shù)據(jù)緩沖長(zhǎng)度。步驟S306,元數(shù)據(jù)服務(wù)器收到該文件寫入請(qǐng)求消息后,記錄文件名稱到數(shù)據(jù)表格中,并統(tǒng)一分配文件數(shù)據(jù)在各個(gè)文件存儲(chǔ)服務(wù)器上的路徑。步驟S308,元數(shù)據(jù)服務(wù)器根據(jù)當(dāng)前系統(tǒng)中各個(gè)文件存儲(chǔ)服務(wù)器的存儲(chǔ)使用情況,依據(jù)備份數(shù)目的要求,選擇若干個(gè)相對(duì)比較空閑的文件存儲(chǔ)服務(wù)器,同時(shí)選擇目前可用的組播地址。步驟S310,元數(shù)據(jù)服務(wù)器發(fā)送組播地址發(fā)布請(qǐng)求消息給上述選擇出來(lái)的文件存儲(chǔ)服務(wù)器,該消息中包含可用的組播地址、文件存儲(chǔ)路徑和數(shù)據(jù)緩存長(zhǎng)度。步驟S312,文件存儲(chǔ)服務(wù)器收到該組播地址發(fā)布請(qǐng)求消息后,創(chuàng)建第二網(wǎng)絡(luò)套結(jié)字并綁定該組播地址,開始監(jiān)聽文件訪問服務(wù)器發(fā)送過來(lái)的文件數(shù)據(jù)。步驟S314,文件存儲(chǔ)服務(wù)器根據(jù)組播地址發(fā)布請(qǐng)求消息中攜帶的文件存儲(chǔ)路徑,創(chuàng)建指定長(zhǎng)度的空文件,然后給元數(shù)據(jù)服務(wù)器發(fā)送組播地址發(fā)布應(yīng)答消息。步驟S316,元數(shù)據(jù)服務(wù)器收到上述文件存儲(chǔ)服務(wù)器的組播地址發(fā)布應(yīng)答消息后,將這些文件存儲(chǔ)服務(wù)器的地址信息,以及該文件數(shù)據(jù)在各個(gè)文件存儲(chǔ)服務(wù)器上的路徑信息,與之前的文件名稱建立關(guān)聯(lián),存放在數(shù)據(jù)表格中。步驟S318,元數(shù)據(jù)服務(wù)器將可用的組播地址等信息組織成文件寫入應(yīng)答消息,并將該文件寫入應(yīng)答消息發(fā)送給文件訪問服務(wù)器。步驟S320,文件訪問服務(wù)器收到文件寫入應(yīng)答消息后,提取出組播地址信息,創(chuàng)建第一網(wǎng)絡(luò)套結(jié)字并綁定該組播地址,然后將用戶提供的文件數(shù)據(jù)緩沖內(nèi)容通過第一網(wǎng)絡(luò)套結(jié)字發(fā)送到指定組播地址。步驟S322,文件存儲(chǔ)服務(wù)器在組播地址的第一網(wǎng)絡(luò)套結(jié)字上接收到文件數(shù)據(jù)緩沖內(nèi)容后,將這些內(nèi)容寫入預(yù)先創(chuàng)建好的空文件中,并校驗(yàn)數(shù)據(jù)緩沖長(zhǎng)度等信息。步驟S3M,確認(rèn)文件數(shù)據(jù)接收完成后,文件存儲(chǔ)服務(wù)器發(fā)送文件數(shù)據(jù)接收確認(rèn)消息給元數(shù)據(jù)服務(wù)器。步驟,元數(shù)據(jù)服務(wù)器接收到上述文件存儲(chǔ)服務(wù)器發(fā)送的文件數(shù)據(jù)接收確認(rèn)消息后,向文件訪問服務(wù)器發(fā)送文件數(shù)據(jù)確認(rèn)消息。步驟,文件訪問服務(wù)器接收到該文件數(shù)據(jù)確認(rèn)消息后,給用戶寫入文件接口返回,提示用戶文件的寫入請(qǐng)求操作已經(jīng)完成。在本實(shí)施例中,在文件訪問服務(wù)器和文件存儲(chǔ)服務(wù)器之間傳輸文件數(shù)據(jù)的時(shí)候,采用組播地址通信的方式進(jìn)行文件數(shù)據(jù)的傳輸,文件訪問服務(wù)器一次發(fā)送,多個(gè)文件存儲(chǔ)服務(wù)器同時(shí)接收,從而降低了文件數(shù)據(jù)備份對(duì)網(wǎng)絡(luò)帶寬和系統(tǒng)消耗的影響,提高了分布式系統(tǒng)的并發(fā)文件寫入性能。對(duì)應(yīng)于上述分布式系統(tǒng)中的數(shù)據(jù)備份方法,本實(shí)施例提供了一種分布式系統(tǒng)中的數(shù)據(jù)備份裝置,該裝置在文件訪問服務(wù)器側(cè)實(shí)現(xiàn),用于實(shí)現(xiàn)上述實(shí)施例。圖4是根據(jù)本發(fā)明實(shí)施例的分布式系統(tǒng)中的數(shù)據(jù)備份裝置的結(jié)構(gòu)框圖,如圖4所示,該裝置包括組播地址獲取模塊42和備份模塊44。下面對(duì)該結(jié)構(gòu)進(jìn)行說(shuō)明。組播地址獲取模塊42,用于向元數(shù)據(jù)服務(wù)器獲取用于備份文件數(shù)據(jù)的組播地址;備份模塊44,連接至組播地址獲取模塊42,用于采用組播傳輸方式在上述組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份文件數(shù)據(jù)。通過上述裝置,組播地址獲取模塊42向元數(shù)據(jù)服務(wù)器獲取組播地址之后,備份模塊44采用組播傳輸?shù)姆绞较蛟摻M播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份文件數(shù)據(jù),解決了相關(guān)技術(shù)中的文件存儲(chǔ)方式造成的網(wǎng)絡(luò)帶寬占用較多和系統(tǒng)的性能消耗較高的問題,從而降低了文件數(shù)據(jù)備份對(duì)網(wǎng)絡(luò)帶寬和系統(tǒng)消耗的影響,提高了分布式系統(tǒng)的并發(fā)文件寫入性能。對(duì)應(yīng)于上述分布式系統(tǒng)中的數(shù)據(jù)備份方法和裝置,本實(shí)施例提供了一種數(shù)據(jù)備份系統(tǒng),該系統(tǒng)用于實(shí)現(xiàn)上述實(shí)施例。圖5是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)備份系統(tǒng)的結(jié)構(gòu)框圖,如圖5所示,該系統(tǒng)包括文件訪問服務(wù)器50、元數(shù)據(jù)服務(wù)器60和文件存儲(chǔ)服務(wù)器70。文件訪問服務(wù)器50包括組播地址獲取模塊52和備份模塊M。元數(shù)據(jù)服務(wù)器60包括組播地址提供模塊62。文件存儲(chǔ)服務(wù)器70包括接收模塊72和存儲(chǔ)模塊74。下面對(duì)該結(jié)構(gòu)進(jìn)行說(shuō)明。組播地址獲取模塊52,位于文件訪問服務(wù)器50中,用于向元數(shù)據(jù)服務(wù)器60獲取用于備份文件數(shù)據(jù)的組播地址;備份模塊M,位于文件訪問服務(wù)器50中,連接至組播地址獲取模塊52,用于采用組播傳輸方式在組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器70上備份文件數(shù)據(jù);組播地址提供模塊62,位于元數(shù)據(jù)服務(wù)器60中,連接至組播地址獲取模塊52,用于向文件訪問服務(wù)器50提供組播地址;接收模塊72,位于文件存儲(chǔ)服務(wù)器70中,連接至備份模塊M,用于接收文件訪問服務(wù)器50以組播傳輸方式發(fā)送的文件數(shù)據(jù);存儲(chǔ)模塊74,位于文件存儲(chǔ)服務(wù)器70中,連接至接收模塊72,用于存儲(chǔ)接收模塊72接收的文件數(shù)據(jù)。通過上述系統(tǒng),組播地址獲取模塊52向元數(shù)據(jù)服務(wù)器60獲取組播地址之后,備份模塊M采用組播傳輸?shù)姆绞较蛟摻M播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器發(fā)送文件數(shù)據(jù)的備份,然后文件存儲(chǔ)服務(wù)器70中的存儲(chǔ)模塊74存儲(chǔ)該備份,解決了相關(guān)技術(shù)中的文件存儲(chǔ)方式造成的網(wǎng)絡(luò)帶寬占用較多和系統(tǒng)的性能消耗較高的問題,降低了文件數(shù)據(jù)備份對(duì)網(wǎng)絡(luò)帶寬和系統(tǒng)消耗的影響,提高了分布式系統(tǒng)的并發(fā)文件寫入性能。圖6是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)備份系統(tǒng)的具體結(jié)構(gòu)框圖,如圖6所示除了包括上述圖5中的各個(gè)模塊之外,該系統(tǒng)中的組播地址獲取模塊52包括請(qǐng)求接收單元520、轉(zhuǎn)發(fā)單元522和組播地址接收單元524。組播地址提供模塊62包括第一選擇單元620、第二選擇單元622和組播地址發(fā)送單元624。下面對(duì)該結(jié)構(gòu)進(jìn)行說(shuō)明。請(qǐng)求接收單元520,位于組播地址獲取模塊52中,用于接收用戶的文件寫入請(qǐng)求消息;轉(zhuǎn)發(fā)單元522,位于組播地址獲取模塊52中,連接至請(qǐng)求接收單元520,用于將請(qǐng)求接收單元520接收的文件寫入請(qǐng)求消息轉(zhuǎn)發(fā)給元數(shù)據(jù)服務(wù)器60;組播地址接收單元524,位于組播地址獲取模塊52中,用于接收元數(shù)據(jù)服務(wù)器60發(fā)送的組播地址;第一選擇單元620,位于組播地址提供模塊62中,用于接收到文件寫入請(qǐng)求消息后,選擇文件存儲(chǔ)服務(wù)器70;第二選擇單元622,位于組播地址提供模塊62中,連接至第一選擇單元620,用于為第一選擇單元620選擇的文件存儲(chǔ)服務(wù)器70選擇組播地址;組播地址發(fā)送單元624,位于組播地址提供模塊62中,連接至第二選擇單元622,用于將第二選擇單元622選擇的組播地址發(fā)送給文件訪問服務(wù)器50。圖7是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)備份系統(tǒng)的另一具體結(jié)構(gòu)框圖,如圖7所示除了包括上述圖6中的各個(gè)模塊之外,該系統(tǒng)中的元數(shù)據(jù)服務(wù)器60包括路徑確定模塊64、緩存確定模塊66和通知模塊68。文件存儲(chǔ)服務(wù)器70包括記錄模塊76和空文件創(chuàng)建模塊78。下面對(duì)該結(jié)構(gòu)進(jìn)行說(shuō)明。路徑確定模塊64,位于元數(shù)據(jù)服務(wù)器60中,連接至第一選擇單元620,用于根據(jù)第一選擇單元620選擇的文件存儲(chǔ)服務(wù)器70確定存儲(chǔ)路徑;緩存確定模塊66,位于元數(shù)據(jù)服務(wù)器60中,用于根據(jù)文件寫入請(qǐng)求消息確定數(shù)據(jù)緩存長(zhǎng)度;通知模塊68,位于元數(shù)據(jù)服務(wù)器60中,連接至路徑確定模塊64和緩存確定模塊66,用于將路徑確定模塊64確定的存儲(chǔ)路徑、第二選擇單元622選擇的組播地址和緩存確定模塊66確定的數(shù)據(jù)緩存長(zhǎng)度發(fā)送給文件存儲(chǔ)服務(wù)器70;記錄模塊76,位于文件存儲(chǔ)服務(wù)器70中,用于接收到元數(shù)據(jù)服務(wù)器60發(fā)送的存儲(chǔ)路徑、組播地址和數(shù)據(jù)緩存長(zhǎng)度后,記錄組播地址;空文件創(chuàng)建模塊78,位于文件存儲(chǔ)服務(wù)器70中,連接至記錄模塊76,用于根據(jù)存儲(chǔ)路徑和數(shù)據(jù)緩存長(zhǎng)度創(chuàng)建備份文件數(shù)據(jù)的空文件。上述系統(tǒng)中的備份模塊M還包括文件數(shù)據(jù)發(fā)送單元,文件存儲(chǔ)服務(wù)器70包括地址比較模塊,存儲(chǔ)模塊74包括存儲(chǔ)單元。下面對(duì)該結(jié)構(gòu)進(jìn)行說(shuō)明。文件數(shù)據(jù)發(fā)送單元,位于備份模塊M中,用于組播地址獲取模塊52獲取到所述組播地址后,將文件數(shù)據(jù)發(fā)送到組播地址;地址比較模塊,位于文件存儲(chǔ)服務(wù)器70中,用于接收模塊72接收文件數(shù)據(jù)后,比較文件數(shù)據(jù)中的組播地址與記錄模塊76記錄的組播地址一致;存儲(chǔ)單元,位于存儲(chǔ)模塊74中,用于將文件數(shù)據(jù)的備份在空文件創(chuàng)建模塊78創(chuàng)建的空文件中。上述文件訪問服務(wù)器50與文件存儲(chǔ)服務(wù)器70之間的單播消息通過元數(shù)據(jù)服務(wù)器60轉(zhuǎn)發(fā),而文件訪問服務(wù)器50向文件存儲(chǔ)服務(wù)器70備份的文件數(shù)據(jù)通過網(wǎng)絡(luò)(例如組播網(wǎng)絡(luò))進(jìn)行傳輸。從以上的描述中可以看出,本發(fā)明采用組播傳輸?shù)姆绞皆谖募L問服務(wù)器和文件存儲(chǔ)服務(wù)器之間進(jìn)行文件數(shù)據(jù)的傳輸以確保文件數(shù)據(jù)在文件存儲(chǔ)服務(wù)器上備份,解決了相關(guān)技術(shù)中的文件存儲(chǔ)方式造成的網(wǎng)絡(luò)帶寬占用較多和系統(tǒng)的性能消耗較高的問題,降低了文件數(shù)據(jù)備份對(duì)網(wǎng)絡(luò)帶寬和系統(tǒng)消耗的影響,提高了分布式系統(tǒng)的并發(fā)文件寫入性能。顯然,本領(lǐng)域的技術(shù)人員應(yīng)該明白,上述的本發(fā)明的各模塊或各步驟可以用通用的計(jì)算裝置來(lái)實(shí)現(xiàn),它們可以集中在單個(gè)的計(jì)算裝置上,或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上,可選地,它們可以用計(jì)算裝置可執(zhí)行的程序代碼來(lái)實(shí)現(xiàn),從而,可以將它們存儲(chǔ)在存儲(chǔ)裝置中由計(jì)算裝置來(lái)執(zhí)行,并且在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟,或者將它們分別制作成各個(gè)集成電路模塊,或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來(lái)實(shí)現(xiàn)。這樣,本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已,并不用于限制本發(fā)明,對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō),本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。權(quán)利要求1.一種分布式系統(tǒng)中的數(shù)據(jù)備份方法,其特征在于包括文件訪問服務(wù)器向元數(shù)據(jù)服務(wù)器獲取用于備份文件數(shù)據(jù)的組播地址;所述文件訪問服務(wù)器采用組播傳輸方式在所述組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份所述文件數(shù)據(jù)。2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述文件訪問服務(wù)器向元數(shù)據(jù)服務(wù)器獲取用于備份文件數(shù)據(jù)的組播地址包括所述文件訪問服務(wù)器接收用戶的文件寫入請(qǐng)求消息;所述文件訪問服務(wù)器將所述文件寫入請(qǐng)求消息轉(zhuǎn)發(fā)給所述元數(shù)據(jù)服務(wù)器;所述元數(shù)據(jù)服務(wù)器接收到所述文件寫入請(qǐng)求消息后,選擇文件存儲(chǔ)服務(wù)器,并為所述文件存儲(chǔ)服務(wù)器選擇組播地址;所述元數(shù)據(jù)服務(wù)器將所述組播地址發(fā)送給所述文件訪問服務(wù)器。3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述元數(shù)據(jù)服務(wù)器為所述文件存儲(chǔ)服務(wù)器選擇組播地址之后,所述方法還包括所述元數(shù)據(jù)服務(wù)器根據(jù)選擇的所述文件存儲(chǔ)服務(wù)器確定存儲(chǔ)路徑,并根據(jù)所述文件寫入請(qǐng)求消息確定數(shù)據(jù)緩存長(zhǎng)度;所述元數(shù)據(jù)服務(wù)器將所述存儲(chǔ)路徑、所述組播地址和所述數(shù)據(jù)緩存長(zhǎng)度發(fā)送給所述文件存儲(chǔ)服務(wù)器;所述文件存儲(chǔ)服務(wù)器記錄所述組播地址,并根據(jù)所述存儲(chǔ)路徑和所述數(shù)據(jù)緩存長(zhǎng)度創(chuàng)建備份所述文件數(shù)據(jù)的空文件。4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述文件訪問服務(wù)器采用組播傳輸方式在組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份所述文件數(shù)據(jù)包括所述文件訪問服務(wù)器接收到所述組播地址后,將文件數(shù)據(jù)發(fā)送到所述組播地址;所述文件存儲(chǔ)服務(wù)器接收所述文件數(shù)據(jù),如果所述文件數(shù)據(jù)中的組播地址與記錄的所述組播地址一致,將所述文件數(shù)據(jù)備份在所述空文件中。5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述文件存儲(chǔ)服務(wù)器接收到所述組播地址之后,所述方法還包括所述文件存儲(chǔ)服務(wù)器為所述組播地址綁定第一網(wǎng)絡(luò)套結(jié)字;所述文件訪問服務(wù)器接收到所述組播地址后,所述方法還包括所述文件訪問服務(wù)器為所述組播地址綁定第二網(wǎng)絡(luò)套結(jié)字;所述文件訪問服務(wù)器將文件數(shù)據(jù)發(fā)送到所述組播地址包括所述文件訪問服務(wù)器通過所述第二網(wǎng)絡(luò)套結(jié)字將文件數(shù)據(jù)發(fā)送到所述組播地址;所述文件存儲(chǔ)服務(wù)器接收所述文件數(shù)據(jù)包括所述文件存儲(chǔ)服務(wù)器在所述第一網(wǎng)絡(luò)套結(jié)字上接收所述文件數(shù)據(jù)。6.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述文件訪問服務(wù)器與所述文件存儲(chǔ)服務(wù)器之間的單播消息通過所述元數(shù)據(jù)服務(wù)器轉(zhuǎn)發(fā)。7.一種分布式系統(tǒng)中的數(shù)據(jù)備份裝置,其特征在于包括組播地址獲取模塊,用于向元數(shù)據(jù)服務(wù)器獲取用于備份文件數(shù)據(jù)的組播地址;備份模塊,用于采用組播傳輸方式在所述組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份所述文件數(shù)據(jù)。8.一種數(shù)據(jù)備份系統(tǒng),其特征在于,包括文件訪問服務(wù)器、元數(shù)據(jù)服務(wù)器和文件存儲(chǔ)服務(wù)器;所述文件訪問服務(wù)器包括組播地址獲取模塊,用于向所述元數(shù)據(jù)服務(wù)器獲取用于備份文件數(shù)據(jù)的組播地址;備份模塊,用于采用組播傳輸方式在所述組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份所述文件數(shù)據(jù);所述元數(shù)據(jù)服務(wù)器包括組播地址提供模塊,用于向所述文件訪問服務(wù)器提供所述組播地址;所述文件存儲(chǔ)服務(wù)器包括接收模塊,用于接收所述文件訪問服務(wù)器以組播傳輸方式發(fā)送的所述文件數(shù)據(jù);存儲(chǔ)模塊,用于存儲(chǔ)所述接收模塊接收的所述文件數(shù)據(jù)。9.根據(jù)權(quán)利要求8所述的系統(tǒng),其特征在于,所述組播地址獲取模塊包括請(qǐng)求接收單元,用于接收用戶的文件寫入請(qǐng)求消息;轉(zhuǎn)發(fā)單元,用于將所述請(qǐng)求接收單元接收的所述文件寫入請(qǐng)求消息轉(zhuǎn)發(fā)給所述元數(shù)據(jù)服務(wù)器;組播地址接收單元,用于接收所述元數(shù)據(jù)服務(wù)器發(fā)送的組播地址;所述組播地址提供模塊包括第一選擇單元,用于接收到所述文件寫入請(qǐng)求消息后,選擇文件存儲(chǔ)服務(wù)器;第二選擇單元,用于為所述第一選擇單元選擇的所述文件存儲(chǔ)服務(wù)器選擇組播地址;組播地址發(fā)送單元,用于將所述第二選擇單元選擇的所述組播地址發(fā)送給所述文件訪問服務(wù)器。10.根據(jù)權(quán)利要求9所述的系統(tǒng),其特征在于,所述元數(shù)據(jù)服務(wù)器還包括路徑確定模塊,用于根據(jù)所述第一選擇單元選擇的所述文件存儲(chǔ)服務(wù)器確定存儲(chǔ)路徑;緩存確定模塊,用于根據(jù)所述文件寫入請(qǐng)求消息確定數(shù)據(jù)緩存長(zhǎng)度;通知模塊,用于將所述路徑確定模塊確定的所述存儲(chǔ)路徑、所述第二選擇單元選擇的所述組播地址和所述緩存確定模塊確定的所述數(shù)據(jù)緩存長(zhǎng)度發(fā)送給所述文件存儲(chǔ)服務(wù)器;所述文件存儲(chǔ)服務(wù)器還包括記錄模塊,用于接收到所述元數(shù)據(jù)服務(wù)器發(fā)送的所述存儲(chǔ)路徑、所述組播地址和所述數(shù)據(jù)緩存長(zhǎng)度后,記錄所述組播地址;空文件創(chuàng)建模塊,用于根據(jù)所述存儲(chǔ)路徑和所述數(shù)據(jù)緩存長(zhǎng)度創(chuàng)建備份所述文件數(shù)據(jù)的空文件。11.根據(jù)權(quán)利要求10所述的系統(tǒng),其特征在于,所述備份模塊包括文件數(shù)據(jù)發(fā)送單元,用于所述組播地址獲取模塊獲取到所述組播地址后,將所述文件數(shù)據(jù)發(fā)送到所述組播地址;所述文件存儲(chǔ)服務(wù)器還包括地址比較模塊,用于所述接收模塊接收所述文件數(shù)據(jù)后,比較所述文件數(shù)據(jù)中的組播地址與所述記錄模塊記錄的所述組播地址一致;所述存儲(chǔ)模塊包括存儲(chǔ)單元,用于將所述文件數(shù)據(jù)備份在所述空文件創(chuàng)建模塊創(chuàng)建的空文件中。全文摘要本發(fā)明公開了一種分布式系統(tǒng)中的數(shù)據(jù)備份方法、裝置及系統(tǒng)。其中,該方法包括文件訪問服務(wù)器向元數(shù)據(jù)服務(wù)器獲取用于備份文件數(shù)據(jù)的組播地址,文件訪問服務(wù)器采用組播傳輸方式在上述組播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器上備份文件數(shù)據(jù)。通過本發(fā)明,文件訪問服務(wù)器向元數(shù)據(jù)服務(wù)器獲取組播地址之后,采用組播傳輸?shù)姆绞较蛟摻M播地址對(duì)應(yīng)的文件存儲(chǔ)服務(wù)器備份文件數(shù)據(jù),解決了相關(guān)技術(shù)中的文件存儲(chǔ)方式造成的網(wǎng)絡(luò)帶寬占用較多和系統(tǒng)的性能消耗較高的問題,從而降低了文件數(shù)據(jù)備份對(duì)網(wǎng)絡(luò)帶寬和系統(tǒng)消耗的影響,提高了分布式系統(tǒng)的并發(fā)文件寫入性能。文檔編號(hào)H04L12/24GK102437925SQ201110392479公開日2012年5月2日申請(qǐng)日期2011年12月1日優(yōu)先權(quán)日2011年12月1日發(fā)明者王魏強(qiáng)申請(qǐng)人:中興通訊股份有限公司
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
晴隆县| 桓台县| 青田县| 竹山县| 邵武市| 赤壁市| 四子王旗| 英山县| 南投市| 吉林省| 舟山市| 镇赉县| 攀枝花市| 江北区| 桦川县| 浦县| 霸州市| 新绛县| 淮滨县| 莱州市| 温泉县| 康定县| 绥宁县| 永春县| 太湖县| 社旗县| 安塞县| 兴安盟| 榆林市| 土默特左旗| 焉耆| 内丘县| 扬中市| 筠连县| 荣成市| 宜黄县| 治县。| 大方县| 阿拉善左旗| 旅游| 临海市|