專利名稱：一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)、設(shè)備及方法
技術(shù)領(lǐng)域：
本發(fā)明屬于通信領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)、設(shè)備和方法。
背景技術(shù)：
隨著通信網(wǎng)絡(luò)的發(fā)展和終端能力的不斷增強(qiáng)，用戶可以使用的數(shù)據(jù)類(lèi)型越來(lái)越多，除了基本的通訊錄、通話記錄、短信彩信記錄之外，還包括鈴音、圖片、視頻以及游戲等多媒體數(shù)據(jù)。豐富的數(shù)據(jù)應(yīng)用要求在本地存儲(chǔ)之外存儲(chǔ)數(shù)據(jù)。但非本地存儲(chǔ)對(duì)數(shù)據(jù)存儲(chǔ)和傳輸?shù)陌踩砸筝^高。
圖1示出了現(xiàn)有技術(shù)中實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的網(wǎng)絡(luò)結(jié)構(gòu)，用戶數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)服務(wù)器中，數(shù)據(jù)服務(wù)器為每個(gè)終端分配一塊存儲(chǔ)空間中。當(dāng)終端需要下載數(shù)據(jù)時(shí)，通過(guò)網(wǎng)絡(luò)訪問(wèn)數(shù)據(jù)服務(wù)器，下載所需要的數(shù)據(jù)。在這種方式中，數(shù)據(jù)在數(shù)據(jù)服務(wù)器上集中存儲(chǔ)，數(shù)據(jù)下載時(shí)采用單點(diǎn)傳輸，數(shù)據(jù)傳輸速度慢。當(dāng)用戶數(shù)量較多時(shí)，數(shù)據(jù)服務(wù)器將面臨較大的通信負(fù)載。同時(shí)，一旦數(shù)據(jù)服務(wù)器發(fā)生安全故障時(shí)，將造成數(shù)據(jù)丟失，安全性不高。
比特流(Bit Torrent，BT)下載技術(shù)是常見(jiàn)的數(shù)據(jù)下載方式，如圖2所示。BT服務(wù)器將數(shù)據(jù)分割為若干數(shù)據(jù)塊，各數(shù)據(jù)塊可以作為一個(gè)獨(dú)立的部分在網(wǎng)絡(luò)中傳輸。每個(gè)參加下載的終端既從其他終端上下載數(shù)據(jù)，同時(shí)自身也向其他終端提供下載，因此參與下載的終端數(shù)量越多，下載速度也越快。在這種方式中，終端必須獲取了全部數(shù)據(jù)塊才能還原出完整的數(shù)據(jù)，因此每一個(gè)數(shù)據(jù)塊都是必不可少的。由于網(wǎng)絡(luò)傳輸?shù)牟淮_定性，數(shù)據(jù)塊可能在網(wǎng)絡(luò)中丟失，從而造成不能恢復(fù)整個(gè)數(shù)據(jù)。同時(shí)，由于存儲(chǔ)節(jié)點(diǎn)的傳輸速度不一，會(huì)延長(zhǎng)整個(gè)數(shù)據(jù)的恢復(fù)時(shí)間。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)，旨在解決現(xiàn)有技術(shù)中在實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)下載過(guò)程中數(shù)據(jù)下載不穩(wěn)定、可靠性低的問(wèn)題。
本發(fā)明的另一目的在于提供一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載設(shè)備；本發(fā)明的另一目的在于提供一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載控制設(shè)備；本發(fā)明的另一目的在于提供一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)方法；本發(fā)明的另一目的在于提供一種網(wǎng)絡(luò)數(shù)據(jù)的分布式下載方法。
本發(fā)明是這樣實(shí)現(xiàn)的，一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)，所述系統(tǒng)包括源數(shù)據(jù)終端，用于對(duì)源數(shù)據(jù)進(jìn)行線性編碼，生成多個(gè)數(shù)據(jù)片，以及對(duì)下載的源數(shù)據(jù)的數(shù)據(jù)片進(jìn)行線性解碼，恢復(fù)源數(shù)據(jù)。
存儲(chǔ)節(jié)點(diǎn)，與所述源數(shù)據(jù)終端連接，用于下載存儲(chǔ)所述數(shù)據(jù)片；以及索引服務(wù)器，與所述源數(shù)據(jù)終端以及存儲(chǔ)節(jié)點(diǎn)連接，用于管理所述源數(shù)據(jù)終端的數(shù)據(jù)片信息以及所述存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)信息，控制所述源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)下載所述源數(shù)據(jù)的數(shù)據(jù)片。
所述源數(shù)據(jù)終端包括數(shù)據(jù)存儲(chǔ)單元，用于對(duì)源數(shù)據(jù)進(jìn)行分段線性編碼，生成多個(gè)數(shù)據(jù)片，并將數(shù)據(jù)片信息上報(bào)索引服務(wù)器。
所述數(shù)據(jù)存儲(chǔ)單元包括數(shù)據(jù)分段模塊，用于將源數(shù)據(jù)分為多個(gè)數(shù)據(jù)段；數(shù)據(jù)編碼模塊，用于對(duì)所述數(shù)據(jù)段進(jìn)行線性編碼，生成多個(gè)數(shù)據(jù)片，每個(gè)數(shù)據(jù)片中包含所述源數(shù)據(jù)的部分?jǐn)?shù)據(jù)段；數(shù)據(jù)片存儲(chǔ)模塊，用于存儲(chǔ)所述數(shù)據(jù)片；以及數(shù)據(jù)片信息發(fā)送模塊，用于將存儲(chǔ)的數(shù)據(jù)片信息上報(bào)索引服務(wù)器。
所述源數(shù)據(jù)終端進(jìn)一步包括
數(shù)據(jù)下載單元，用于下載存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)上的源數(shù)據(jù)的數(shù)據(jù)片，對(duì)所述數(shù)據(jù)片進(jìn)行線性解碼，合并恢復(fù)源數(shù)據(jù)。
所述數(shù)據(jù)下載單元包括下載請(qǐng)求模塊，用于向索引服務(wù)器發(fā)送數(shù)據(jù)下載請(qǐng)求，接收索引服務(wù)器返回的下載節(jié)點(diǎn)列表，所述下載節(jié)點(diǎn)列表中記錄有存儲(chǔ)源數(shù)據(jù)的數(shù)據(jù)片的存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息；數(shù)據(jù)下載模塊，用于根據(jù)所述下載節(jié)點(diǎn)列表與所述存儲(chǔ)節(jié)點(diǎn)連接通信，下載所述數(shù)據(jù)片信息對(duì)應(yīng)的數(shù)據(jù)片；數(shù)據(jù)解碼模塊，用于對(duì)下載的數(shù)據(jù)片進(jìn)行線性解碼，恢復(fù)線性編碼前的數(shù)據(jù)段；數(shù)據(jù)合并模塊，用于對(duì)所述數(shù)據(jù)段進(jìn)行合并，恢復(fù)源數(shù)據(jù)；以及數(shù)據(jù)存儲(chǔ)模塊，用于存儲(chǔ)所述源數(shù)據(jù)。
所述數(shù)據(jù)下載單元進(jìn)一步包括統(tǒng)計(jì)上報(bào)模塊，用于統(tǒng)計(jì)下載過(guò)程中存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度信息，上報(bào)索引服務(wù)器。
所述存儲(chǔ)節(jié)點(diǎn)包括下載請(qǐng)求模塊，用于向索引服務(wù)器發(fā)送數(shù)據(jù)下載請(qǐng)求，接收索引服務(wù)器返回的下載節(jié)點(diǎn)列表，所述下載節(jié)點(diǎn)列表中記錄有源數(shù)據(jù)終端的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息；數(shù)據(jù)下載模塊，用于根據(jù)所述下載節(jié)點(diǎn)列表與源數(shù)據(jù)終端連接通信，下載所述數(shù)據(jù)片信息對(duì)應(yīng)的數(shù)據(jù)片；數(shù)據(jù)片存儲(chǔ)模塊，用于存儲(chǔ)下載的數(shù)據(jù)片。
所述存儲(chǔ)節(jié)點(diǎn)進(jìn)一步包括數(shù)據(jù)編碼模塊，用于對(duì)下載的數(shù)據(jù)片重新進(jìn)行線性編碼，生成新的數(shù)據(jù)片。
所述索引服務(wù)器包括數(shù)據(jù)片信息接收模塊，用于接收源數(shù)據(jù)終端發(fā)送的數(shù)據(jù)片信息；
數(shù)據(jù)片信息數(shù)據(jù)庫(kù)，用于存儲(chǔ)所述數(shù)據(jù)片信息，以及與所述數(shù)據(jù)片信息對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)信息；鑒權(quán)驗(yàn)證模塊，用于接收源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)下載請(qǐng)求，對(duì)源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的下載權(quán)限進(jìn)行驗(yàn)證；下載控制模塊，用于根據(jù)所述源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)下載請(qǐng)求，查詢數(shù)據(jù)片信息數(shù)據(jù)庫(kù)，返回下載節(jié)點(diǎn)列表，所述下載節(jié)點(diǎn)列表中記錄有存儲(chǔ)源數(shù)據(jù)的數(shù)據(jù)片的源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息。
所述索引服務(wù)器進(jìn)一步包括統(tǒng)計(jì)信息接收模塊，用于接收源數(shù)據(jù)終端上報(bào)的存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度信息，更新所述數(shù)據(jù)片信息數(shù)據(jù)庫(kù)中的存儲(chǔ)節(jié)點(diǎn)信息。
一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載設(shè)備，其特征在于，所述設(shè)備與索引服務(wù)器及存儲(chǔ)節(jié)點(diǎn)連接，包括數(shù)據(jù)存儲(chǔ)單元，用于對(duì)源數(shù)據(jù)進(jìn)行分段線性編碼，生成多個(gè)數(shù)據(jù)片，并將數(shù)據(jù)片信息上報(bào)索引服務(wù)器，以及數(shù)據(jù)下載單元，用于下載存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)上的源數(shù)據(jù)的數(shù)據(jù)片，對(duì)所述數(shù)據(jù)片進(jìn)行線性解碼，合并恢復(fù)源數(shù)據(jù)。
所述數(shù)據(jù)存儲(chǔ)單元包括數(shù)據(jù)分段模塊，用于將源數(shù)據(jù)分為多個(gè)數(shù)據(jù)段；數(shù)據(jù)編碼模塊，用于對(duì)所述數(shù)據(jù)段進(jìn)行線性編碼，生成多個(gè)數(shù)據(jù)片，每個(gè)數(shù)據(jù)片中包含所述源數(shù)據(jù)的部分?jǐn)?shù)據(jù)段；數(shù)據(jù)片存儲(chǔ)模塊，用于存儲(chǔ)所述數(shù)據(jù)片；以及數(shù)據(jù)片信息發(fā)送模塊，用于將存儲(chǔ)的數(shù)據(jù)片信息上報(bào)索引服務(wù)器。
所述數(shù)據(jù)下載單元包括下載請(qǐng)求模塊，用于向索引服務(wù)器發(fā)送數(shù)據(jù)下載請(qǐng)求，接收索引服務(wù)器返回的下載節(jié)點(diǎn)列表，所述下載節(jié)點(diǎn)列表中記錄有存儲(chǔ)源數(shù)據(jù)的數(shù)據(jù)片的存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息；數(shù)據(jù)下載模塊，用于根據(jù)所述下載節(jié)點(diǎn)列表與所述存儲(chǔ)節(jié)點(diǎn)連接通信，下載所述數(shù)據(jù)片信息對(duì)應(yīng)的數(shù)據(jù)片；數(shù)據(jù)解碼模塊，用于對(duì)下載的數(shù)據(jù)片進(jìn)行線性解碼，恢復(fù)線性編碼前的數(shù)據(jù)段；數(shù)據(jù)合并模塊，用于對(duì)所述數(shù)據(jù)段進(jìn)行合并，恢復(fù)源數(shù)據(jù)；以及數(shù)據(jù)存儲(chǔ)模塊，用于存儲(chǔ)所述源數(shù)據(jù)。
所述數(shù)據(jù)下載單元進(jìn)一步包括統(tǒng)計(jì)上報(bào)模塊，用于統(tǒng)計(jì)下載過(guò)程中存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度信息。
一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載控制設(shè)備，所述控制設(shè)備與源數(shù)據(jù)終端以及存儲(chǔ)節(jié)點(diǎn)連接，用于管理所述源數(shù)據(jù)終端的數(shù)據(jù)片信息以及所述存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)信息，控制所述源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)下載所述源數(shù)據(jù)的數(shù)據(jù)片。
所述控制設(shè)備包括數(shù)據(jù)片信息接收模塊，用于接收源數(shù)據(jù)終端發(fā)送的數(shù)據(jù)片信息；數(shù)據(jù)片信息數(shù)據(jù)庫(kù)，用于存儲(chǔ)所述數(shù)據(jù)片信息，以及與所述數(shù)據(jù)片信息對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)信息；鑒權(quán)驗(yàn)證模塊，用于接收源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)下載請(qǐng)求，對(duì)源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的下載權(quán)限進(jìn)行驗(yàn)證；下載控制模塊，用于根據(jù)所述源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)下載請(qǐng)求，查詢數(shù)據(jù)片信息數(shù)據(jù)庫(kù)，返回下載節(jié)點(diǎn)列表，所述下載節(jié)點(diǎn)列表中記錄有存儲(chǔ)源數(shù)據(jù)的數(shù)據(jù)片的源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息。
所述控制設(shè)備進(jìn)一步包括統(tǒng)計(jì)信息接收模塊，用于接收源數(shù)據(jù)終端上報(bào)的存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度信息，更新所述數(shù)據(jù)片信息數(shù)據(jù)庫(kù)中的存儲(chǔ)節(jié)點(diǎn)信息。
一種利用上述系統(tǒng)實(shí)現(xiàn)的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)方法，所述方法包括下述步驟A.源數(shù)據(jù)終端對(duì)數(shù)據(jù)進(jìn)行分段線性編碼，生成多個(gè)數(shù)據(jù)片；B.索引服務(wù)器控制存儲(chǔ)節(jié)點(diǎn)下載存儲(chǔ)所述數(shù)據(jù)片。
所述步驟A進(jìn)一步包括下述步驟A1.將源數(shù)據(jù)分成n個(gè)數(shù)據(jù)段；A2.通過(guò)m個(gè)線性無(wú)關(guān)向量對(duì)所述n個(gè)數(shù)據(jù)段進(jìn)行線性編碼，生成m個(gè)數(shù)據(jù)片，每個(gè)數(shù)據(jù)片中包含所述源數(shù)據(jù)的部分?jǐn)?shù)據(jù)段；A3.存儲(chǔ)所述m個(gè)數(shù)據(jù)片；其中，1＜n≤m。
所述步驟B進(jìn)一步包括下述步驟B1.索引服務(wù)器接收存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)下載請(qǐng)求；B2.索引服務(wù)器向存儲(chǔ)節(jié)點(diǎn)返回節(jié)點(diǎn)下載列表，所述節(jié)點(diǎn)下載列表中包含有源數(shù)據(jù)終端的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息；B3.存儲(chǔ)節(jié)點(diǎn)根據(jù)所述下載節(jié)點(diǎn)列表與源數(shù)據(jù)終端連接通信，下載所述數(shù)據(jù)片信息對(duì)應(yīng)的數(shù)據(jù)片。
所述步驟B進(jìn)一步包括下述步驟B4.存儲(chǔ)節(jié)點(diǎn)對(duì)下載的數(shù)據(jù)片進(jìn)行線性編碼，生成新的數(shù)據(jù)片。
一種利用上述系統(tǒng)實(shí)現(xiàn)的網(wǎng)絡(luò)數(shù)據(jù)的分布式下載方法，所述方法包括下述步驟A.源數(shù)據(jù)終端登陸索引服務(wù)器，獲取節(jié)點(diǎn)下載信息；B.源數(shù)據(jù)終端根據(jù)所述節(jié)點(diǎn)下載信息與存儲(chǔ)節(jié)點(diǎn)連接，下載相應(yīng)的數(shù)據(jù)片，恢復(fù)源數(shù)據(jù)。
所述步驟A包括下述步驟A1.源數(shù)據(jù)終端向索引服務(wù)器發(fā)送數(shù)據(jù)下載請(qǐng)求；A2.索引服務(wù)器接收源數(shù)據(jù)終端的數(shù)據(jù)下載請(qǐng)求，對(duì)源數(shù)據(jù)終端的下載權(quán)限進(jìn)行驗(yàn)證；
A3.驗(yàn)證通過(guò)后，根據(jù)所述數(shù)據(jù)下載請(qǐng)求，返回下載節(jié)點(diǎn)列表，所述下載節(jié)點(diǎn)列表中記錄有存儲(chǔ)源數(shù)據(jù)的數(shù)據(jù)片的存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息。
所述步驟B包括下述步驟B1.根據(jù)所述節(jié)點(diǎn)下載信息與存儲(chǔ)節(jié)點(diǎn)連接，下載相應(yīng)的數(shù)據(jù)片；B2.對(duì)下載的數(shù)據(jù)片進(jìn)行線性解碼，恢復(fù)線性編碼前的數(shù)據(jù)段；B3.對(duì)所述數(shù)據(jù)段進(jìn)行合并，恢復(fù)源數(shù)據(jù)；B4.存儲(chǔ)所述源數(shù)據(jù)。
所述步驟B進(jìn)一步包括下述步驟B5.源數(shù)據(jù)終端統(tǒng)計(jì)下載過(guò)程中存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度信息，上報(bào)索引服務(wù)器；B6.索引服務(wù)器根據(jù)所述存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度信息，更新對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)信息。
本發(fā)明通過(guò)數(shù)據(jù)的線性編碼分割、分布式存儲(chǔ)以及多點(diǎn)下載，避免了因數(shù)據(jù)片的丟失導(dǎo)致數(shù)據(jù)恢復(fù)困難，增加了用戶的數(shù)據(jù)存儲(chǔ)空間，提高了數(shù)據(jù)下載的速度和可靠性。


圖1是現(xiàn)有技術(shù)中現(xiàn)有技術(shù)中實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的網(wǎng)絡(luò)結(jié)構(gòu)圖；圖2是現(xiàn)有技術(shù)中比特流下載的實(shí)現(xiàn)原理圖；圖3是本發(fā)明適用的網(wǎng)絡(luò)結(jié)構(gòu)圖；圖4是本發(fā)明中源數(shù)據(jù)在索引服務(wù)器的控制下實(shí)現(xiàn)數(shù)據(jù)分布式存儲(chǔ)的流程圖；圖5是本發(fā)明中源數(shù)據(jù)終端從存儲(chǔ)節(jié)點(diǎn)上下載數(shù)據(jù)的實(shí)現(xiàn)流程圖；圖6是本發(fā)明提供的索引服務(wù)器的結(jié)構(gòu)圖；圖7是本發(fā)明提供的源數(shù)據(jù)終端的結(jié)構(gòu)圖；
圖8是本發(fā)明提供的存儲(chǔ)節(jié)點(diǎn)的結(jié)構(gòu)圖。
具體實(shí)施例方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
在本發(fā)明中，源數(shù)據(jù)終端將源數(shù)據(jù)存儲(chǔ)在網(wǎng)絡(luò)上的存儲(chǔ)節(jié)點(diǎn)上，實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)，在將數(shù)據(jù)存儲(chǔ)到存儲(chǔ)節(jié)點(diǎn)上前，源數(shù)據(jù)終端將源數(shù)據(jù)進(jìn)行分段編碼，生成多個(gè)數(shù)據(jù)片。當(dāng)需要下載數(shù)據(jù)時(shí)，源數(shù)據(jù)終端從存儲(chǔ)節(jié)點(diǎn)上下載相應(yīng)的數(shù)據(jù)片，對(duì)下載后的數(shù)據(jù)片進(jìn)行解碼合并恢復(fù)完成的源數(shù)據(jù)。
圖3示出了本發(fā)明適用的網(wǎng)絡(luò)結(jié)構(gòu)，移動(dòng)電話、個(gè)人計(jì)算機(jī)或者個(gè)人數(shù)字助理(Personal Digital Assistant，PDA)等終端通過(guò)Web或者無(wú)線方式與索引服務(wù)器連接通信，終端之間可以進(jìn)行點(diǎn)對(duì)點(diǎn)(P2P)通信。每個(gè)終端既是源數(shù)據(jù)終端和數(shù)據(jù)下載終端，又同時(shí)作為其他終端的存儲(chǔ)設(shè)備，即存儲(chǔ)節(jié)點(diǎn)。源數(shù)據(jù)終端可以將自身的數(shù)據(jù)在索引服務(wù)器的控制下存儲(chǔ)到存儲(chǔ)節(jié)點(diǎn)上，從而實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)。當(dāng)需要下載數(shù)據(jù)時(shí)，終端與存儲(chǔ)節(jié)點(diǎn)之間通過(guò)P2P方式通信，下載存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)上的數(shù)據(jù)。
本發(fā)明中，為了實(shí)現(xiàn)多點(diǎn)同時(shí)傳輸，提高數(shù)據(jù)的傳輸速度和可靠性，源數(shù)據(jù)終端在將數(shù)據(jù)發(fā)布到網(wǎng)絡(luò)上前，對(duì)源數(shù)據(jù)進(jìn)行分段和線性編碼處理。
首先，將源數(shù)據(jù)(File)平均劃分為n個(gè)數(shù)據(jù)段(Segment，Seg)，即File＝Seg1+Seg2+……+Segn。
數(shù)據(jù)段的大小和數(shù)量可以通過(guò)兩種方式來(lái)確定，一種方式是首先確定數(shù)據(jù)段的數(shù)量，如分為100個(gè)數(shù)據(jù)段，然后用源數(shù)據(jù)的大小除以數(shù)據(jù)段的數(shù)量，即可得到每個(gè)數(shù)據(jù)段的大小。另一種方式也可以首先確定數(shù)據(jù)段的大小，例如1024K，然后用源數(shù)據(jù)的大小除以數(shù)據(jù)段的大小，即可得到數(shù)據(jù)段的數(shù)量。具體采用哪種方式可以通過(guò)源數(shù)據(jù)終端靈活設(shè)置。
然后，根據(jù)劃分的數(shù)據(jù)段對(duì)數(shù)據(jù)進(jìn)行線性編碼，生成多個(gè)數(shù)據(jù)片(Piece)，每個(gè)數(shù)據(jù)片包含了數(shù)據(jù)的部分?jǐn)?shù)據(jù)段信息Piece1(a11，a12，……a1n)＝a11×Seg1+a12×Seg2+……+a1n×Segn；Piece2(a21，a22，……a2n)＝a21×Seg1+a22×Seg2+……+a2n×Segn；……Piecem(am1，am2，……amn)＝am1×Seg1+am2×Seg2+……+amn×Segn；其中，1＜n≤m。
在上述的m個(gè)向量，即(a11，a12，……a1n)(a21，a22，……a2n)……(am1，am2，……amn)中須有n個(gè)為線性無(wú)關(guān)向量，以保證終端后續(xù)下載數(shù)據(jù)時(shí)能夠順利對(duì)數(shù)據(jù)片進(jìn)行解碼，恢復(fù)完整的源數(shù)據(jù)。
圖4示出了本發(fā)明中源數(shù)據(jù)終端在索引服務(wù)器的控制下實(shí)現(xiàn)數(shù)據(jù)分布式存儲(chǔ)的過(guò)程，詳述如下1.源數(shù)據(jù)終端按以上描述對(duì)源數(shù)據(jù)進(jìn)行分段編碼。此時(shí)，所有的數(shù)據(jù)片都仍然保存在源數(shù)據(jù)終端。
2.源數(shù)據(jù)終端將本地?cái)?shù)據(jù)片可訪問(wèn)信息通知索引服務(wù)器，索引服務(wù)器生成初始的數(shù)據(jù)片分布信息，即源數(shù)據(jù)終端對(duì)源數(shù)據(jù)進(jìn)行分段編碼后的數(shù)據(jù)片標(biāo)識(shí)。
3.當(dāng)存儲(chǔ)節(jié)點(diǎn)需要下載自身保存在網(wǎng)絡(luò)上的數(shù)據(jù)時(shí)，向索引服務(wù)器發(fā)起數(shù)據(jù)下載請(qǐng)求，索引服務(wù)器向存儲(chǔ)節(jié)點(diǎn)返回節(jié)點(diǎn)下載列表。節(jié)點(diǎn)下載列表中除了包含存儲(chǔ)該存儲(chǔ)節(jié)點(diǎn)數(shù)據(jù)片信息的其他存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及其他存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)的該存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)片信息外，還包含源數(shù)據(jù)終端的網(wǎng)絡(luò)地址信息以及需要該存儲(chǔ)節(jié)點(diǎn)下載源數(shù)據(jù)終端的數(shù)據(jù)片信息。這樣就可以達(dá)到存儲(chǔ)節(jié)點(diǎn)在下載自身數(shù)據(jù)的同時(shí)，也下載存儲(chǔ)了源數(shù)據(jù)終端的數(shù)據(jù)的目的。
4.存儲(chǔ)節(jié)點(diǎn)根據(jù)節(jié)點(diǎn)下載列表中源數(shù)據(jù)終端的網(wǎng)絡(luò)地址信息到源數(shù)據(jù)終端上下載相應(yīng)的數(shù)據(jù)片，存儲(chǔ)在本地，供源數(shù)據(jù)終端或者其他存儲(chǔ)節(jié)點(diǎn)訪問(wèn)下載。
存儲(chǔ)節(jié)點(diǎn)下載哪些數(shù)據(jù)片以及下載的數(shù)據(jù)片的數(shù)量等由索引服務(wù)器通過(guò)節(jié)點(diǎn)下載列表控制。同時(shí)，索引服務(wù)器將相應(yīng)存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)片下載信息記錄到數(shù)據(jù)片分布列表，此時(shí)數(shù)據(jù)片分布列表中包含了存儲(chǔ)節(jié)點(diǎn)標(biāo)識(shí)以及每個(gè)存儲(chǔ)節(jié)標(biāo)識(shí)對(duì)應(yīng)的數(shù)據(jù)片標(biāo)識(shí)等信息。
作為本發(fā)明的一個(gè)優(yōu)選實(shí)施例，存儲(chǔ)節(jié)點(diǎn)下載了相應(yīng)的數(shù)據(jù)片后，可以對(duì)數(shù)據(jù)片重新進(jìn)行線性編碼，生成新的數(shù)據(jù)片，從而進(jìn)一步豐富源數(shù)據(jù)的數(shù)據(jù)片分布，有助于后續(xù)源數(shù)據(jù)終端下載恢復(fù)源數(shù)據(jù)。存儲(chǔ)節(jié)點(diǎn)是否對(duì)存儲(chǔ)的數(shù)據(jù)片進(jìn)行重新線性編碼可以用戶靈活設(shè)置。
圖5示出了源數(shù)據(jù)終端從網(wǎng)絡(luò)的存儲(chǔ)節(jié)點(diǎn)上下載的數(shù)據(jù)的過(guò)程，詳述如下1.源數(shù)據(jù)終端向索引服務(wù)器發(fā)出數(shù)據(jù)下載請(qǐng)求。
2.索引服務(wù)器對(duì)源數(shù)據(jù)終端進(jìn)行鑒權(quán)，驗(yàn)證源數(shù)據(jù)終端的數(shù)據(jù)下載權(quán)限，如果鑒權(quán)失敗，則退出本流程。鑒權(quán)成功后，索引服務(wù)器查詢?cè)磾?shù)據(jù)終端的數(shù)據(jù)片分布列表，提取數(shù)據(jù)片分布列表中存儲(chǔ)節(jié)點(diǎn)傳輸速度最快的多個(gè)節(jié)點(diǎn)，形成下載節(jié)點(diǎn)列表發(fā)送給源數(shù)據(jù)終端。
3.源數(shù)據(jù)終端向下載節(jié)點(diǎn)列表中的各個(gè)存儲(chǔ)節(jié)點(diǎn)發(fā)起多點(diǎn)同時(shí)下載，下載存儲(chǔ)節(jié)點(diǎn)中存儲(chǔ)的數(shù)據(jù)片。
4.當(dāng)數(shù)據(jù)片下載完成后，源數(shù)據(jù)終端對(duì)數(shù)據(jù)片進(jìn)行線性解碼，獲取相應(yīng)的數(shù)據(jù)段，將數(shù)據(jù)端合并恢復(fù)完整的源數(shù)據(jù)。同時(shí)，統(tǒng)計(jì)在本次下載過(guò)程中同各個(gè)存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度。
5.源數(shù)據(jù)終端將存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度統(tǒng)計(jì)信息上報(bào)給索引服務(wù)器。
6.索引服務(wù)器根據(jù)源數(shù)據(jù)終端上報(bào)的存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度統(tǒng)計(jì)信息對(duì)數(shù)據(jù)片分布列表進(jìn)行重新排序和更新。
為了便于理解，本發(fā)明通過(guò)一個(gè)示例對(duì)上述源數(shù)據(jù)的分段以及線性編解碼過(guò)程進(jìn)行具體說(shuō)明。
假設(shè)源數(shù)據(jù)終端擁有源數(shù)據(jù)File＝1123，劃分為如下4個(gè)數(shù)據(jù)段
Seg1＝1，Seg2＝1，Seg3＝2，Seg4＝3，假設(shè)使用源數(shù)據(jù)終端采用如下4個(gè)線性無(wú)關(guān)向量對(duì)數(shù)據(jù)段進(jìn)行線性編碼(1，1，0，0)；(0，1，1，0)；(0，0，1，1)；(1，0，0，2)；線性編碼后生成如下4個(gè)數(shù)據(jù)片Piece1(1，1，0，0)＝1×1+1×1+0×2+0×3＝2；Piece2(0，1，1，0)＝0×1+1×1+1×2+0×3＝3；Piece3(0，0，1，1)＝0×1+0×1+1×2+1×3＝5；Piece4(1，0，0，2)＝1×1+0×1+0×2+2×3＝7；存儲(chǔ)節(jié)點(diǎn)A從源數(shù)據(jù)終端上下載了Piece1(1，1，0，0)＝2和Piece2(0，1，1，0)＝3兩個(gè)數(shù)據(jù)片，使用Piece1和Piece2再次線性編碼，構(gòu)造一個(gè)新的數(shù)據(jù)片Piece5Piece5＝1×Piece1+1×Piece2＝1×2(1，1，0，0)+1×3(0，1，1，0)＝5(1，2，1，0)。
然后，存儲(chǔ)節(jié)點(diǎn)A將Piece1、Piece2、Piece5分發(fā)到網(wǎng)絡(luò)中供其他存儲(chǔ)節(jié)點(diǎn)下載存儲(chǔ)。
當(dāng)源數(shù)據(jù)終端從存儲(chǔ)節(jié)點(diǎn)A以及其他存儲(chǔ)節(jié)點(diǎn)上下載數(shù)據(jù)片時(shí)，假設(shè)Piece2在傳輸過(guò)程中被丟失，源數(shù)據(jù)終端獲取了Piece1、Piece3、Piece4、Piece54個(gè)數(shù)據(jù)片Piece1(1，1，0，0)＝1×Seg1+1×Seg2+0×Seg3+0×Seg4＝2；
Piece3(0，0，1，1)＝0×Seg1+0×Seg2+1×Seg3+1×Seg4＝5；Piece4(1，0，0，2)＝1×Seg1+0×Seg2+0×Seg3+2×Seg4＝7；Piece5(1，2，1，0)＝1×Seg1+2×Seg2+1×Seg3+0×Seg4＝5；源數(shù)據(jù)終端對(duì)這4個(gè)線性無(wú)關(guān)的數(shù)據(jù)片進(jìn)行線性解碼，獲得以上線性方程組的解，從而獲得源數(shù)據(jù)的所有數(shù)據(jù)段，恢復(fù)出完整的源數(shù)據(jù)1123Seg1＝1；Seg2＝1Seg3＝2；Seg4＝3。
圖6示出了索引服務(wù)器600的結(jié)構(gòu)，包括數(shù)據(jù)片信息接收模塊601、數(shù)據(jù)片信息數(shù)據(jù)庫(kù)602，鑒權(quán)驗(yàn)證模塊603、下載控制模塊604以及統(tǒng)計(jì)信息接收模塊605。
數(shù)據(jù)片信息接收模塊601接收源數(shù)據(jù)終端發(fā)送的可訪問(wèn)的數(shù)據(jù)片信息，將數(shù)據(jù)片信息存儲(chǔ)到數(shù)據(jù)片信息數(shù)據(jù)庫(kù)602。數(shù)據(jù)片信息數(shù)據(jù)庫(kù)602存儲(chǔ)和維護(hù)源數(shù)據(jù)終端的數(shù)據(jù)片信息以及存儲(chǔ)相應(yīng)數(shù)據(jù)片的存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)信息，包括存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及存儲(chǔ)節(jié)點(diǎn)的傳輸速度等信息。
當(dāng)收到源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)下載請(qǐng)求時(shí)，鑒權(quán)驗(yàn)證模塊603對(duì)源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)進(jìn)行鑒權(quán)，驗(yàn)證源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的下載權(quán)限。驗(yàn)證通過(guò)后，下載控制模塊604查詢數(shù)據(jù)片信息數(shù)據(jù)庫(kù)602，向源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)返回節(jié)點(diǎn)下載列表，節(jié)點(diǎn)列表中記錄有源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息。統(tǒng)計(jì)信息接收模塊605接收源數(shù)據(jù)終端上報(bào)的存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度統(tǒng)計(jì)信息，對(duì)數(shù)據(jù)片信息數(shù)據(jù)庫(kù)602中的存儲(chǔ)節(jié)點(diǎn)信息進(jìn)行更新。
圖7示出了源數(shù)據(jù)終端700的結(jié)構(gòu)，包括數(shù)據(jù)存儲(chǔ)單元701以及數(shù)據(jù)下載單元702，數(shù)據(jù)存儲(chǔ)單元701包括數(shù)據(jù)分段模塊7011、數(shù)據(jù)編碼模塊7012、數(shù)據(jù)片存儲(chǔ)模塊7013以及數(shù)據(jù)片信息發(fā)送模塊7014；數(shù)據(jù)下載單元702包括下載請(qǐng)求模塊7021、數(shù)據(jù)下載模塊7022、數(shù)據(jù)解碼模塊7023、數(shù)據(jù)合并模塊7024、數(shù)據(jù)存儲(chǔ)模塊7025以及統(tǒng)計(jì)上報(bào)模塊7026。
源數(shù)據(jù)在網(wǎng)絡(luò)上存儲(chǔ)前，數(shù)據(jù)分段模塊7011對(duì)源數(shù)據(jù)進(jìn)行分段，生成多個(gè)數(shù)據(jù)段，數(shù)據(jù)編碼模塊7012對(duì)數(shù)據(jù)段進(jìn)行線性編碼，生成多個(gè)數(shù)據(jù)片，并將數(shù)據(jù)片存儲(chǔ)在數(shù)據(jù)片存儲(chǔ)模塊7013。數(shù)據(jù)片信息發(fā)送模塊7014將可訪問(wèn)的數(shù)據(jù)片信息上報(bào)索引服務(wù)器。
當(dāng)需要下載數(shù)據(jù)時(shí)，下載請(qǐng)求模塊7021向索引服務(wù)器發(fā)送數(shù)據(jù)下載請(qǐng)求，接收索引服務(wù)器返回的節(jié)點(diǎn)下載列表。數(shù)據(jù)下載模塊7022根據(jù)索引服務(wù)器提供的節(jié)點(diǎn)下載列表，與節(jié)點(diǎn)下載列表中記錄的存儲(chǔ)節(jié)點(diǎn)連接通信，下載存儲(chǔ)節(jié)點(diǎn)中存儲(chǔ)的相應(yīng)的數(shù)據(jù)片。數(shù)據(jù)解碼模塊7023對(duì)下載獲得的數(shù)據(jù)片進(jìn)行線性解碼，獲得線性編碼前的數(shù)據(jù)段。數(shù)據(jù)合并模塊7024對(duì)數(shù)據(jù)段進(jìn)行合并，恢復(fù)完整的源數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)模塊7025對(duì)源數(shù)據(jù)進(jìn)行存儲(chǔ)。下載完成后，統(tǒng)計(jì)上報(bào)模塊7026統(tǒng)計(jì)下載過(guò)程中各個(gè)存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度，上報(bào)給索引服務(wù)器。
圖8示出了存儲(chǔ)節(jié)點(diǎn)的結(jié)構(gòu)，包括下載請(qǐng)求模塊801、數(shù)據(jù)下載模塊802、數(shù)據(jù)片存儲(chǔ)模塊803以及數(shù)據(jù)編碼模塊804。
當(dāng)需要下載數(shù)據(jù)時(shí)，下載請(qǐng)求模塊801向索引服務(wù)器發(fā)送數(shù)據(jù)下載請(qǐng)求，接收索引服務(wù)器返回的節(jié)點(diǎn)下載列表。數(shù)據(jù)下載模塊802根據(jù)索引服務(wù)器提供的節(jié)點(diǎn)下載列表，與節(jié)點(diǎn)下載列表中記錄的源數(shù)據(jù)終端連接通信，下載源數(shù)據(jù)終端的相應(yīng)的數(shù)據(jù)片。數(shù)據(jù)片存儲(chǔ)模塊803存儲(chǔ)下載的數(shù)據(jù)片。數(shù)據(jù)編碼模塊804對(duì)下載的數(shù)據(jù)片進(jìn)行重新線性編碼，生成新的數(shù)據(jù)片。
需要說(shuō)明的是，為了描述方便，在前文將源數(shù)據(jù)終端和存儲(chǔ)節(jié)點(diǎn)的功能和模塊結(jié)構(gòu)分開(kāi)進(jìn)行了描述。容易理解的是，實(shí)際的網(wǎng)絡(luò)結(jié)構(gòu)中只存在索引服務(wù)器和存儲(chǔ)節(jié)點(diǎn)/源數(shù)據(jù)終端兩種實(shí)體，一個(gè)終端既是源數(shù)據(jù)終端，又是其他終端的存儲(chǔ)節(jié)點(diǎn)。因此，存儲(chǔ)節(jié)點(diǎn)和源數(shù)據(jù)終端的功能和結(jié)構(gòu)是相同的。
以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)，其特征在于，所述系統(tǒng)包括源數(shù)據(jù)終端，用于對(duì)源數(shù)據(jù)進(jìn)行線性編碼，生成多個(gè)數(shù)據(jù)片，以及對(duì)下載的源數(shù)據(jù)的數(shù)據(jù)片進(jìn)行線性解碼，恢復(fù)源數(shù)據(jù)。存儲(chǔ)節(jié)點(diǎn)，與所述源數(shù)據(jù)終端連接，用于下載存儲(chǔ)所述數(shù)據(jù)片；以及索引服務(wù)器，與所述源數(shù)據(jù)終端以及存儲(chǔ)節(jié)點(diǎn)連接，用于管理所述源數(shù)據(jù)終端的數(shù)據(jù)片信息以及所述存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)信息，控制所述源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)下載所述源數(shù)據(jù)的數(shù)據(jù)片。
2.如權(quán)利要求1所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)，其特征在于，所述源數(shù)據(jù)終端包括數(shù)據(jù)存儲(chǔ)單元，用于對(duì)源數(shù)據(jù)進(jìn)行分段線性編碼，生成多個(gè)數(shù)據(jù)片，并將數(shù)據(jù)片信息上報(bào)索引服務(wù)器。
3.如權(quán)利要求2所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)，其特征在于，所述數(shù)據(jù)存儲(chǔ)單元包括數(shù)據(jù)分段模塊，用于將源數(shù)據(jù)分為多個(gè)數(shù)據(jù)段；數(shù)據(jù)編碼模塊，用于對(duì)所述數(shù)據(jù)段進(jìn)行線性編碼，生成多個(gè)數(shù)據(jù)片，每個(gè)數(shù)據(jù)片中包含所述源數(shù)據(jù)的部分?jǐn)?shù)據(jù)段；數(shù)據(jù)片存儲(chǔ)模塊，用于存儲(chǔ)所述數(shù)據(jù)片；以及數(shù)據(jù)片信息發(fā)送模塊，用于將存儲(chǔ)的數(shù)據(jù)片信息上報(bào)索引服務(wù)器。
4.如權(quán)利要求1所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)，其特征在于，所述源數(shù)據(jù)終端進(jìn)一步包括數(shù)據(jù)下載單元，用于下載存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)上的源數(shù)據(jù)的數(shù)據(jù)片，對(duì)所述數(shù)據(jù)片進(jìn)行線性解碼，合并恢復(fù)源數(shù)據(jù)。
5.如權(quán)利要求4所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)，其特征在于，所述數(shù)據(jù)下載單元包括下載請(qǐng)求模塊，用于向索引服務(wù)器發(fā)送數(shù)據(jù)下載請(qǐng)求，接收索引服務(wù)器返回的下載節(jié)點(diǎn)列表，所述下載節(jié)點(diǎn)列表中記錄有存儲(chǔ)源數(shù)據(jù)的數(shù)據(jù)片的存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息；數(shù)據(jù)下載模塊，用于根據(jù)所述下載節(jié)點(diǎn)列表與所述存儲(chǔ)節(jié)點(diǎn)連接通信，下載所述數(shù)據(jù)片信息對(duì)應(yīng)的數(shù)據(jù)片；數(shù)據(jù)解碼模塊，用于對(duì)下載的數(shù)據(jù)片進(jìn)行線性解碼，恢復(fù)線性編碼前的數(shù)據(jù)段；數(shù)據(jù)合并模塊，用于對(duì)所述數(shù)據(jù)段進(jìn)行合并，恢復(fù)源數(shù)據(jù)；以及數(shù)據(jù)存儲(chǔ)模塊，用于存儲(chǔ)所述源數(shù)據(jù)。
6.如權(quán)利要求5所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)，其特征在于，所述數(shù)據(jù)下載單元進(jìn)一步包括統(tǒng)計(jì)上報(bào)模塊，用于統(tǒng)計(jì)下載過(guò)程中存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度信息，上報(bào)索引服務(wù)器。
7.如權(quán)利要求1所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)，其特征在于，所述存儲(chǔ)節(jié)點(diǎn)包括下載請(qǐng)求模塊，用于向索引服務(wù)器發(fā)送數(shù)據(jù)下載請(qǐng)求，接收索引服務(wù)器返回的下載節(jié)點(diǎn)列表，所述下載節(jié)點(diǎn)列表中記錄有源數(shù)據(jù)終端的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息；數(shù)據(jù)下載模塊，用于根據(jù)所述下載節(jié)點(diǎn)列表與源數(shù)據(jù)終端連接通信，下載所述數(shù)據(jù)片信息對(duì)應(yīng)的數(shù)據(jù)片；數(shù)據(jù)片存儲(chǔ)模塊，用于存儲(chǔ)下載的數(shù)據(jù)片。
8.如權(quán)利要求7所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)，其特征在于，所述存儲(chǔ)節(jié)點(diǎn)進(jìn)一步包括數(shù)據(jù)編碼模塊，用于對(duì)下載的數(shù)據(jù)片重新進(jìn)行線性編碼，生成新的數(shù)據(jù)片。
9.如權(quán)利要求1所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)，其特征在于，所述索引服務(wù)器包括數(shù)據(jù)片信息接收模塊，用于接收源數(shù)據(jù)終端發(fā)送的數(shù)據(jù)片信息；數(shù)據(jù)片信息數(shù)據(jù)庫(kù)，用于存儲(chǔ)所述數(shù)據(jù)片信息，以及與所述數(shù)據(jù)片信息對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)信息；鑒權(quán)驗(yàn)證模塊，用于接收源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)下載請(qǐng)求，對(duì)源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的下載權(quán)限進(jìn)行驗(yàn)證；下載控制模塊，用于根據(jù)所述源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)下載請(qǐng)求，查詢數(shù)據(jù)片信息數(shù)據(jù)庫(kù)，返回下載節(jié)點(diǎn)列表，所述下載節(jié)點(diǎn)列表中記錄有存儲(chǔ)源數(shù)據(jù)的數(shù)據(jù)片的源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息。
10.如權(quán)利要求9所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)，其特征在于，所述索引服務(wù)器進(jìn)一步包括統(tǒng)計(jì)信息接收模塊，用于接收源數(shù)據(jù)終端上報(bào)的存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度信息，更新所述數(shù)據(jù)片信息數(shù)據(jù)庫(kù)中的存儲(chǔ)節(jié)點(diǎn)信息。
11.一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載設(shè)備，其特征在于，所述設(shè)備與索引服務(wù)器及存儲(chǔ)節(jié)點(diǎn)連接，包括數(shù)據(jù)存儲(chǔ)單元，用于對(duì)源數(shù)據(jù)進(jìn)行分段線性編碼，生成多個(gè)數(shù)據(jù)片，并將數(shù)據(jù)片信息上報(bào)索引服務(wù)器，以及數(shù)據(jù)下載單元，用于下載存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)上的源數(shù)據(jù)的數(shù)據(jù)片，對(duì)所述數(shù)據(jù)片進(jìn)行線性解碼，合并恢復(fù)源數(shù)據(jù)。
12.如權(quán)利要求11所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載設(shè)備，其特征在于，所述數(shù)據(jù)存儲(chǔ)單元包括數(shù)據(jù)分段模塊，用于將源數(shù)據(jù)分為多個(gè)數(shù)據(jù)段；數(shù)據(jù)編碼模塊，用于對(duì)所述數(shù)據(jù)段進(jìn)行線性編碼，生成多個(gè)數(shù)據(jù)片，每個(gè)數(shù)據(jù)片中包含所述源數(shù)據(jù)的部分?jǐn)?shù)據(jù)段；數(shù)據(jù)片存儲(chǔ)模塊，用于存儲(chǔ)所述數(shù)據(jù)片；以及數(shù)據(jù)片信息發(fā)送模塊，用于將存儲(chǔ)的數(shù)據(jù)片信息上報(bào)索引服務(wù)器。
13.如權(quán)利要求1所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載設(shè)備，其特征在于，所述數(shù)據(jù)下載單元包括下載請(qǐng)求模塊，用于向索引服務(wù)器發(fā)送數(shù)據(jù)下載請(qǐng)求，接收索引服務(wù)器返回的下載節(jié)點(diǎn)列表，所述下載節(jié)點(diǎn)列表中記錄有存儲(chǔ)源數(shù)據(jù)的數(shù)據(jù)片的存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息；數(shù)據(jù)下載模塊，用于根據(jù)所述下載節(jié)點(diǎn)列表與所述存儲(chǔ)節(jié)點(diǎn)連接通信，下載所述數(shù)據(jù)片信息對(duì)應(yīng)的數(shù)據(jù)片；數(shù)據(jù)解碼模塊，用于對(duì)下載的數(shù)據(jù)片進(jìn)行線性解碼，恢復(fù)線性編碼前的數(shù)據(jù)段；數(shù)據(jù)合并模塊，用于對(duì)所述數(shù)據(jù)段進(jìn)行合并，恢復(fù)源數(shù)據(jù)；以及數(shù)據(jù)存儲(chǔ)模塊，用于存儲(chǔ)所述源數(shù)據(jù)。
14.如權(quán)利要求13所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載設(shè)備，其特征在于，所述數(shù)據(jù)下載單元進(jìn)一步包括統(tǒng)計(jì)上報(bào)模塊，用于統(tǒng)計(jì)下載過(guò)程中存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度信息。
15.一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載控制設(shè)備，其特征在于，所述控制設(shè)備與源數(shù)據(jù)終端以及存儲(chǔ)節(jié)點(diǎn)連接，用于管理所述源數(shù)據(jù)終端的數(shù)據(jù)片信息以及所述存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)信息，控制所述源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)下載所述源數(shù)據(jù)的數(shù)據(jù)片。
16.如權(quán)利要求15所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載控制設(shè)備，其特征在于，所述控制設(shè)備包括數(shù)據(jù)片信息接收模塊，用于接收源數(shù)據(jù)終端發(fā)送的數(shù)據(jù)片信息；數(shù)據(jù)片信息數(shù)據(jù)庫(kù)，用于存儲(chǔ)所述數(shù)據(jù)片信息，以及與所述數(shù)據(jù)片信息對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)信息；鑒權(quán)驗(yàn)證模塊，用于接收源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)下載請(qǐng)求，對(duì)源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的下載權(quán)限進(jìn)行驗(yàn)證；下載控制模塊，用于根據(jù)所述源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)下載請(qǐng)求，查詢數(shù)據(jù)片信息數(shù)據(jù)庫(kù)，返回下載節(jié)點(diǎn)列表，所述下載節(jié)點(diǎn)列表中記錄有存儲(chǔ)源數(shù)據(jù)的數(shù)據(jù)片的源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息。
17.如權(quán)利要求16所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載控制設(shè)備，其特征在于，所述控制設(shè)備進(jìn)一步包括統(tǒng)計(jì)信息接收模塊，用于接收源數(shù)據(jù)終端上報(bào)的存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度信息，更新所述數(shù)據(jù)片信息數(shù)據(jù)庫(kù)中的存儲(chǔ)節(jié)點(diǎn)信息。
18.一種利用權(quán)利要求1的系統(tǒng)實(shí)現(xiàn)的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)方法，其特征在于，所述方法包括下述步驟A.源數(shù)據(jù)終端對(duì)數(shù)據(jù)進(jìn)行分段線性編碼，生成多個(gè)數(shù)據(jù)片；B.索引服務(wù)器控制存儲(chǔ)節(jié)點(diǎn)下載存儲(chǔ)所述數(shù)據(jù)片。
19.如權(quán)利要求18所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)方法，其特征在于，所述步驟A進(jìn)一步包括下述步驟A1.將源數(shù)據(jù)分成n個(gè)數(shù)據(jù)段；A2.通過(guò)m個(gè)線性無(wú)關(guān)向量對(duì)所述n個(gè)數(shù)據(jù)段進(jìn)行線性編碼，生成m個(gè)數(shù)據(jù)片，每個(gè)數(shù)據(jù)片中包含所述源數(shù)據(jù)的部分?jǐn)?shù)據(jù)段；A3.存儲(chǔ)所述m個(gè)數(shù)據(jù)片；其中，1＜n≤m。
20.如權(quán)利要求18所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)方法，其特征在于，所述步驟B進(jìn)一步包括下述步驟B1.索引服務(wù)器接收存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)下載請(qǐng)求；B2.索引服務(wù)器向存儲(chǔ)節(jié)點(diǎn)返回節(jié)點(diǎn)下載列表，所述節(jié)點(diǎn)下載列表中包含有源數(shù)據(jù)終端的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息；B3.存儲(chǔ)節(jié)點(diǎn)根據(jù)所述下載節(jié)點(diǎn)列表與源數(shù)據(jù)終端連接通信，下載所述數(shù)據(jù)片信息對(duì)應(yīng)的數(shù)據(jù)片。
21.如權(quán)利要求20所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)方法，其特征在于，所述步驟B進(jìn)一步包括下述步驟B4.存儲(chǔ)節(jié)點(diǎn)對(duì)下載的數(shù)據(jù)片進(jìn)行線性編碼，生成新的數(shù)據(jù)片。
22.一種利用權(quán)利要求1的系統(tǒng)實(shí)現(xiàn)的網(wǎng)絡(luò)數(shù)據(jù)的分布式下載方法，其特征在于，所述方法包括下述步驟A.源數(shù)據(jù)終端登陸索引服務(wù)器，獲取節(jié)點(diǎn)下載信息；B.源數(shù)據(jù)終端根據(jù)所述節(jié)點(diǎn)下載信息與存儲(chǔ)節(jié)點(diǎn)連接，下載相應(yīng)的數(shù)據(jù)片，恢復(fù)源數(shù)據(jù)。
23.如權(quán)利要求22所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式下載方法，其特征在于，所述步驟A包括下述步驟A1.源數(shù)據(jù)終端向索引服務(wù)器發(fā)送數(shù)據(jù)下載請(qǐng)求；A2.索引服務(wù)器接收源數(shù)據(jù)終端的數(shù)據(jù)下載請(qǐng)求，對(duì)源數(shù)據(jù)終端的下載權(quán)限進(jìn)行驗(yàn)證；A3.驗(yàn)證通過(guò)后，根據(jù)所述數(shù)據(jù)下載請(qǐng)求，返回下載節(jié)點(diǎn)列表，所述下載節(jié)點(diǎn)列表中記錄有存儲(chǔ)源數(shù)據(jù)的數(shù)據(jù)片的存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)地址信息以及需要下載的數(shù)據(jù)片信息。
24.如權(quán)利要求22所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式下載方法，其特征在于，所述步驟B包括下述步驟B1.根據(jù)所述節(jié)點(diǎn)下載信息與存儲(chǔ)節(jié)點(diǎn)連接，下載相應(yīng)的數(shù)據(jù)片；B2.對(duì)下載的數(shù)據(jù)片進(jìn)行線性解碼，恢復(fù)線性編碼前的數(shù)據(jù)段；B3.對(duì)所述數(shù)據(jù)段進(jìn)行合并，恢復(fù)源數(shù)據(jù)；B4.存儲(chǔ)所述源數(shù)據(jù)。
25.如權(quán)利要求24所述的網(wǎng)絡(luò)數(shù)據(jù)的分布式下載方法，其特征在于，所述步驟B進(jìn)一步包括下述步驟B5.源數(shù)據(jù)終端統(tǒng)計(jì)下載過(guò)程中存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度信息，上報(bào)索引服務(wù)器；B6.索引服務(wù)器根據(jù)所述存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)傳輸速度信息，更新對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)信息。
全文摘要
本發(fā)明適用于通信領(lǐng)域，提供了一種網(wǎng)絡(luò)數(shù)據(jù)的分布式存儲(chǔ)下載系統(tǒng)、設(shè)備及方法，所述系統(tǒng)包括源數(shù)據(jù)終端，用于對(duì)源數(shù)據(jù)進(jìn)行線性編碼，生成多個(gè)數(shù)據(jù)片，以及對(duì)下載的源數(shù)據(jù)的數(shù)據(jù)片進(jìn)行線性解碼，恢復(fù)源數(shù)據(jù)。存儲(chǔ)節(jié)點(diǎn)，與所述源數(shù)據(jù)終端連接，用于下載存儲(chǔ)所述數(shù)據(jù)片；以及索引服務(wù)器，與所述源數(shù)據(jù)終端以及存儲(chǔ)節(jié)點(diǎn)連接，用于管理所述源數(shù)據(jù)終端的數(shù)據(jù)片信息以及所述存儲(chǔ)節(jié)點(diǎn)的網(wǎng)絡(luò)信息，控制所述源數(shù)據(jù)終端或者存儲(chǔ)節(jié)點(diǎn)下載所述源數(shù)據(jù)的數(shù)據(jù)片。本發(fā)明通過(guò)數(shù)據(jù)的線性編碼分割、分布式存儲(chǔ)以及多點(diǎn)下載，避免了因數(shù)據(jù)片的丟失導(dǎo)致數(shù)據(jù)恢復(fù)困難，增加了用戶的數(shù)據(jù)存儲(chǔ)空間，提高了數(shù)據(jù)下載的速度和可靠性。
文檔編號(hào)G06F17/30GK1859115SQ200610033379
公開(kāi)日2006年11月8日 申請(qǐng)日期2006年1月24日 優(yōu)先權(quán)日2006年1月24日
發(fā)明者彭錦, 唐杰 申請(qǐng)人:華為技術(shù)有限公司