通過多網(wǎng)盤冗余存儲實現(xiàn)可靠性的虛擬文件系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種通過多網(wǎng)盤冗余實現(xiàn)可靠性的虛擬文件系統(tǒng)，包括操作系統(tǒng)文件接口、文件分拆還原模塊、文件信息數(shù)據(jù)庫和上傳下載模塊；本發(fā)明通過對文件進行分拆，保證任何一個網(wǎng)盤沒有完整數(shù)據(jù)，從而保證隱私安全性，即使網(wǎng)盤管理員或黑客拿到文件，因為文件不完整而不能恢復文件，保證了隱私不泄露，可以保證用戶隱私的安全性。本發(fā)明通過冗余技術(shù)，使得即使一部分網(wǎng)盤故障或停止服務，系統(tǒng)仍然可以從剩余的網(wǎng)盤中把數(shù)據(jù)完整恢復，保證了數(shù)據(jù)的可靠性。
【專利說明】通過多網(wǎng)盤冗余存儲實現(xiàn)可靠性的虛擬文件系統(tǒng)

【技術(shù)領域】
[0001] 本發(fā)明涉及一種通過多網(wǎng)盤冗余實現(xiàn)可靠性的虛擬文件系統(tǒng)，屬于計算機信息存 儲領域。

【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)的發(fā)展，人們開始使用網(wǎng)盤保存自己的數(shù)據(jù)，可以隨時存取，方便共 享。這種方法有許多不安全的地方，包括：網(wǎng)盤的業(yè)務可能會隨時中斷，影響使用的連續(xù)性。 網(wǎng)盤的服務商可能因為種種原因中止服務，造成文件的丟失。隱私受到威脅，網(wǎng)盤的管理員 擁有獲取所有文件的權(quán)力，可隨時獲得涉及用戶隱私的文件。網(wǎng)盤很容易被黑客侵入，造成 文件被非法獲取。
[0003] 中國專利申請（201210035947. 7)，發(fā)明名稱：一種確保文件不被盜取的網(wǎng)盤利用 方法， 申請人:：潘燕輝；周勇兵，公布了一種通過切片和加密的方法來保證文件的安全性的 方法，該方法只考慮了文件內(nèi)容的安全性，未考慮文件數(shù)據(jù)丟失導致的安全性問題。
[0004] 中國專利申請（201210176807. 1)，發(fā)明名稱：一種云存儲環(huán)境下的安全網(wǎng)盤系統(tǒng) 的實現(xiàn)方法， 申請人:：清華大學。該發(fā)明公布了一種用PKI加密文件的方法，用于保障存儲 在網(wǎng)盤上的文件的安全，該方法同樣只考慮了文件內(nèi)容的安全性，而未考慮數(shù)據(jù)丟失導致 的安全性問題。
[0005] 傳統(tǒng)上，在存儲系統(tǒng)中都會使用 RAID (Redundant Arrays of Inexpensive Disks) 來實現(xiàn)冗余，在保證在硬盤損壞的情況下進行數(shù)據(jù)恢復。這種技術(shù)可以彌補上述兩個發(fā)明 的不足。但RAID系統(tǒng)一般用于完全相同的硬盤之間的冗余，部署不夠靈活，不適應于網(wǎng)盤 之間的應用。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明的技術(shù)解決問題是：克服現(xiàn)有技術(shù)的不足，提供一種虛擬文件系統(tǒng)，該系統(tǒng) 既能解決文件內(nèi)容安全性的問題，又能解決數(shù)據(jù)丟失造成的文件損壞問題。
[0007] 本發(fā)明的技術(shù)方案一是：通過多網(wǎng)盤冗余實現(xiàn)可靠性的虛擬文件系統(tǒng)，包括操作 系統(tǒng)文件接口、文件分拆還原模塊、文件信息數(shù)據(jù)庫和上傳下載模塊；操作系統(tǒng)文件接口用 于響應用戶作用在操作系統(tǒng)的請求，當用戶請求為上傳文件時，文件分拆還原模塊將待上 傳文件進行分片，生成冗余文件；上傳下載模塊通過網(wǎng)絡與其他網(wǎng)盤提供商提供的網(wǎng)盤系 統(tǒng)進行通信，將所述的冗余文件分別上傳到不同的網(wǎng)盤；文件分拆還原模塊將待上傳文件 以及生成的冗余文件的屬性信息、分片上傳信息記錄到文件信息數(shù)據(jù)庫；文件信息數(shù)據(jù)庫 保存在所述的操作系統(tǒng)內(nèi)；當用戶請求為下載文件時，文件分拆還原模塊從文件信息數(shù)據(jù) 庫中提取文件的屬性及分片信息，上傳下載模塊根據(jù)文件分拆還原模塊提取的信息通過網(wǎng) 絡從相應網(wǎng)盤中提取冗余文件，由文件分拆還原模塊對提取的冗余文件進行還原。
[0008] 本發(fā)明的技術(shù)方案二為：通過多網(wǎng)盤冗余實現(xiàn)可靠性的虛擬文件系統(tǒng)，包括多個 客戶端和一個互聯(lián)網(wǎng)同步系統(tǒng)；一個客戶端為方案一中所述的虛擬文件系統(tǒng)；上傳文件的 客戶端稱為上傳客戶端模塊，其它要同步這個文件的客戶端稱為同步客戶端模塊；上傳客 戶端模塊完成文件上傳時，將文件信息數(shù)據(jù)庫內(nèi)記錄的信息以及用戶id、客戶端id存儲在 互聯(lián)網(wǎng)同步系統(tǒng)中，所述的文件信息數(shù)據(jù)庫內(nèi)記錄的信息采用sql命令形式，同步客戶端 模塊向互聯(lián)網(wǎng)同步系統(tǒng)查詢，請求所有用戶id與本身用戶id相同，客戶端id與本身客戶 端id不同的所有記錄，取出每條記錄中對應的sql命令，在本客戶端的數(shù)據(jù)庫執(zhí)行該sql 命令，即可得到與上傳客戶端相同的數(shù)據(jù)內(nèi)容。
[0009] 本發(fā)明方案在文件上傳之前或者上傳過程中通過加密以提高安全性。
[0010] 本發(fā)明方案在文件上傳或下載過程中，通過對文件本地緩存，提升訪問性能。
[0011] 本系統(tǒng)具有以下優(yōu)點：
[0012] 1.本發(fā)明通過對文件進行分拆，保證任何一個網(wǎng)盤沒有完整數(shù)據(jù)，從而保證隱私 安全性，即使網(wǎng)盤管理員或黑客拿到文件，因為文件不完整而不能恢復文件，保證了隱私不 泄露，可以保證用戶隱私的可靠性。
[0013] 2.本發(fā)明通過冗余技術(shù)，使得即使一部分網(wǎng)盤故障或停止服務，系統(tǒng)仍然可以從 剩余的網(wǎng)盤中把數(shù)據(jù)完整恢復，保證了數(shù)據(jù)的可靠性。
[0014] 3.數(shù)據(jù)庫保存在用戶本地，無服務器失效的影響。
[0015] 4.虛擬文件系統(tǒng)的數(shù)據(jù)可以通過專用的系統(tǒng)在不同節(jié)點，不同系統(tǒng)間同步，保證 多個節(jié)點可以同時使用該虛擬文件系統(tǒng)，并有相同的文件系統(tǒng)視圖。
[0016] 5.可以通過使用加密的方法來提高安全性。
[0017] 6.通過對文件本地緩存，可以提升訪問性能。

【專利附圖】

【附圖說明】：
[0018] 圖1是基本系統(tǒng)的結(jié)構(gòu)圖
[0019] 圖2是帶同步系統(tǒng)的整體結(jié)構(gòu)圖
[0020] 圖3是文件上傳的流程圖
[0021] 圖4是文件下載及還原的流程圖。

【具體實施方式】
[0022] 1.基本系統(tǒng)說明
[0023] 如圖1，本發(fā)明虛擬文件系統(tǒng)包含4個模塊：
[0024] 操作系統(tǒng)文件接口：用于響應操作系統(tǒng)對文件系統(tǒng)的請求，包括目錄列表，刪除文 件，增加文件，新建目錄，刪除目錄，修改文件名等。
[0025] 文件分拆還原模塊：在上傳時用于將文件分拆，并生成冗余文件，并記錄相關(guān)信息 到數(shù)據(jù)庫。在下載時從數(shù)據(jù)庫中取出文件的分片及冗余信息，對文件分片進行還原。
[0026] 文件信息數(shù)據(jù)庫：記錄所有文件的屬性及分片信息，屬性信息包括文件類型，
[0027] 尺寸，生成、修改時間等信息。數(shù)據(jù)庫同時用一種類UNIX的格式記錄文件和文 件夾的位置，比如/a. txt是根目錄下的文件a. txt，/abc/a. txt是/abc/目錄下的文件 a. txt，/abc/是指目錄/abc，我們稱之為虛擬文件系統(tǒng)的位置.
[0028] 上傳下載模塊：用于程序與網(wǎng)盤系統(tǒng)通信，包括把分片后的文件上傳到網(wǎng)盤，或 者把網(wǎng)盤上的分片文件下載到本地計算機。上傳或下載的方法可以使用網(wǎng)盤的公開接口 openapi 〇
[0029] 上傳文件的實現(xiàn)過程為（圖2):
[0030] 1)操作系統(tǒng)通過接口調(diào)用文件分拆還原模塊，并給出兩個參數(shù)：本機要上傳的文 件全路徑，比如c : \ xy. txt ;上傳后在虛擬文件系統(tǒng)的目錄位置，如/abc/。
[0031] 2)文件分拆還原模塊首先把這兩個參數(shù)的字符串連接，并使用散列算法（md5或 shal)生成一個完全隨機的文件名，就象3C67B533F30B442740F71301B2A995。
[0032] 3)文件分拆還原模塊對c : \ xy. txt進行分拆并做冗余計算（冗余算法可以采 用所羅門算法），生成三個文件（我們稱之為分片文件亦稱冗余文件），3C67B533F30B4427 40F71301B2A995. 1,3C67B533F30B442740F71301B2A995.2.3C67B533F30B442740F71301B2 A995. 3,保存在操作系統(tǒng)臨時目錄中。由于所羅門算法需要一些分割的信息，比如文件的分 片數(shù)，冗余數(shù)及相關(guān)參數(shù)，用于文件還原。所以，需要在文件前端記錄相關(guān)信息，記錄的方 法可以直接寫一個結(jié)構(gòu)體如下：
[0033] typedef struct { int k; int m; int w; int size; int packetsize; int buffersize; }fheader;
[0034] 其中，k為分片數(shù)，m為冗余數(shù)，w為字長，size為原始的文件大小。Packetsize為 分片大小，buffersize為分片計算的緩存大小。
[0035] 4)文件分拆模塊調(diào)用上傳下載模塊，將臨時目錄中的分片文件作為參數(shù)傳入。文 件上傳下載模塊隨機選擇網(wǎng)盤，將每一個分片文件存儲到一個網(wǎng)盤上。文件上傳下載模塊 有檢查機制，保證這三個文件中不會有兩個文件保存到同一個網(wǎng)盤上。上傳完成后，上傳下 載模塊將每個分片文件保存在哪個網(wǎng)盤上及在該網(wǎng)盤上的位置信息記錄，并結(jié)合虛擬文件 系統(tǒng)的位置，完成地記錄到文件信息數(shù)據(jù)庫中。記錄結(jié)果類似于：
[0036]

【權(quán)利要求】
1. 通過多網(wǎng)盤冗余實現(xiàn)可靠性的虛擬文件系統(tǒng)，其特征在于：包括操作系統(tǒng)文件接 口、文件分拆還原模塊、文件信息數(shù)據(jù)庫和上傳下載模塊；操作系統(tǒng)文件接口用于響應用戶 作用在操作系統(tǒng)的請求，當用戶請求為上傳文件時，文件分拆還原模塊將待上傳文件進行 分片，生成冗余文件；上傳下載模塊通過網(wǎng)絡與其他網(wǎng)盤提供商提供的網(wǎng)盤系統(tǒng)進行通信， 將所述的冗余文件分別上傳到不同的網(wǎng)盤；文件分拆還原模塊將待上傳文件以及生成的冗 余文件的屬性信息、分片上傳信息記錄到文件信息數(shù)據(jù)庫；文件信息數(shù)據(jù)庫保存在所述的 操作系統(tǒng)內(nèi)；當用戶請求為下載文件時，文件分拆還原模塊從文件信息數(shù)據(jù)庫中提取文件 的屬性及分片信息，上傳下載模塊根據(jù)文件分拆還原模塊提取的信息通過網(wǎng)絡從相應網(wǎng)盤 中提取冗余文件，由文件分拆還原模塊對提取的冗余文件進行還原。
2. 通過多網(wǎng)盤冗余實現(xiàn)可靠性的虛擬文件系統(tǒng)，其特征在于：包括多個客戶端和一個 互聯(lián)網(wǎng)同步系統(tǒng)；一個客戶端為一個權(quán)利要求1所述的虛擬文件系統(tǒng)；上傳文件的客戶端 稱為上傳客戶端模塊，其它要同步這個文件的客戶端稱為同步客戶端模塊；上傳客戶端模 塊完成文件上傳時，將文件信息數(shù)據(jù)庫內(nèi)記錄的信息以及用戶id、客戶端id存儲在互聯(lián)網(wǎng) 同步系統(tǒng)中，所述的文件信息數(shù)據(jù)庫內(nèi)記錄的信息采用sql命令形式，同步客戶端模塊向 互聯(lián)網(wǎng)同步系統(tǒng)查詢，請求所有用戶id與本身用戶id相同，客戶端id與本身客戶端id不 同的所有記錄，取出每條記錄中對應的sql命令，在本客戶端的數(shù)據(jù)庫執(zhí)行該sql命令，即 可得到與上傳客戶端相同的數(shù)據(jù)內(nèi)容。
3. 根據(jù)權(quán)利要求1或2所述的通過多網(wǎng)盤冗余實現(xiàn)可靠性的虛擬文件系統(tǒng)，其特征在 于：在文件上傳之前或者上傳過程中通過加密以提高安全性。
4. 根據(jù)權(quán)利要求1或2所述的通過多網(wǎng)盤冗余實現(xiàn)可靠性的虛擬文件系統(tǒng)，其特征在 于：在文件上傳或下載過程中，通過對文件本地緩存，提升訪問性能。
【文檔編號】G06F11/14GK104156377SQ201310382098
【公開日】2014年11月19日 申請日期:2013年8月29日 優(yōu)先權(quán)日:2013年5月13日
【發(fā)明者】孫良茵 申請人:孫良茵