專利名稱：適用于云存儲(chǔ)的智能配置存儲(chǔ)備份方法
技術(shù)領(lǐng)域：
本發(fā)明涉及云存儲(chǔ)領(lǐng)域，特別涉及一種適用于云存儲(chǔ)的策略驅(qū)動(dòng)的智能配置存儲(chǔ)備份方法。
背景技術(shù)：
云存儲(chǔ)是在云計(jì)算(cloud computing)概念上延伸和發(fā)展出來的一個(gè)新的概念， 是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)和管理時(shí)，云計(jì)算系統(tǒng)中就需要配置大量的存儲(chǔ)設(shè)備，那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲(chǔ)系統(tǒng)，所以云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。如今磁盤備份設(shè)備的容量已經(jīng)趨于飽和，數(shù)據(jù)中心已經(jīng)沒有足夠的空間來備份PT 級(jí)的數(shù)據(jù)。在這種情況下，當(dāng)我們希望將備份數(shù)據(jù)保存一個(gè)月時(shí)，卻只能保存兩到三天。問題的根源在于備份設(shè)備中總是充斥著大量的冗余數(shù)據(jù)。為了解決這個(gè)問題，節(jié)省更多空間， “重復(fù)數(shù)據(jù)刪除”技術(shù)便順理成章地成了人們關(guān)注的焦點(diǎn)。采用“重復(fù)數(shù)據(jù)刪除”技術(shù)可以將存儲(chǔ)的數(shù)據(jù)縮減為原來的1/20，從而讓出更多的備份空間，不僅可以使磁盤上的備份數(shù)據(jù)保存更長(zhǎng)的時(shí)間，而且還可以節(jié)約離線存儲(chǔ)時(shí)所需的大量的帶寬。存在于數(shù)據(jù)重復(fù)刪除中的風(fēng)險(xiǎn)是，如果重復(fù)數(shù)據(jù)刪除系統(tǒng)錯(cuò)誤地把兩個(gè)不同數(shù)據(jù)塊識(shí)別成含有相同數(shù)據(jù)的塊，當(dāng)它們不被存儲(chǔ)時(shí)，數(shù)據(jù)塊被錯(cuò)誤識(shí)別的這個(gè)文件會(huì)被破壞。 更大的風(fēng)險(xiǎn)是來自硬件故障的災(zāi)難性的數(shù)據(jù)損失。因?yàn)槿魏翁囟ǖ膫浞莨ぷ鞯臄?shù)據(jù)實(shí)事上是任何特定的大文件被切成塊，分散在整個(gè)重復(fù)數(shù)據(jù)刪除設(shè)備中，它不關(guān)心你備份了那個(gè)服務(wù)器多少次，如果你在重復(fù)刪除設(shè)備中損失了一個(gè)RAID設(shè)置，你會(huì)損失很多數(shù)據(jù)。本發(fā)明旨在研究動(dòng)態(tài)且非破壞性的遷移功能，提供了不同級(jí)別存儲(chǔ)的數(shù)據(jù)遷移功能。實(shí)現(xiàn)這一流程自動(dòng)化對(duì)于減輕存儲(chǔ)管理員負(fù)擔(dān)和最大限度降低故障風(fēng)險(xiǎn)來說十分重要。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有重復(fù)數(shù)據(jù)刪除中存在的缺陷與問題，申請(qǐng)人進(jìn)行了改進(jìn)研究，提供一種適用于云存儲(chǔ)的智能配置存儲(chǔ)備份方法，通過將數(shù)據(jù)去重壓縮分層存儲(chǔ)，從而提高數(shù)據(jù)去重率和系統(tǒng)性能占用率性價(jià)比，優(yōu)化存儲(chǔ)資源配置。本發(fā)明的技術(shù)方案如下
一種適用于云存儲(chǔ)的智能配置存儲(chǔ)備份方法，根據(jù)用戶需求選定存儲(chǔ)備份策略，所述存儲(chǔ)備份策略包括分層存儲(chǔ)子策略以及效率性能子策略；根據(jù)分層存儲(chǔ)子策略對(duì)待備份文件進(jìn)行分類，根據(jù)效率性能子策略對(duì)待備份文件進(jìn)行文件級(jí)或數(shù)據(jù)塊級(jí)的重復(fù)數(shù)據(jù)刪除并進(jìn)一步壓縮；根據(jù)分層存儲(chǔ)子策略把文件轉(zhuǎn)移到不同級(jí)別的存儲(chǔ)上，同時(shí)保留指向存儲(chǔ)地的索引指針；檢查文件以前的備份狀態(tài)，把處理后的文件備份至備份設(shè)備，完成備份同步。
具體步驟如下
1)選定策略，根據(jù)用戶需求選定存儲(chǔ)備份策略，系統(tǒng)根據(jù)歷史數(shù)據(jù)給出分析數(shù)據(jù)，用戶依照所述分析數(shù)據(jù)做出策略調(diào)整；
2)文件分類，判斷文件是否符合分層存儲(chǔ)條件，如果該文件符合分層存儲(chǔ)條，則進(jìn)入步驟3)；如果該文件不符合分層存儲(chǔ)條件，則進(jìn)入步驟6)；
3)對(duì)符合分層存儲(chǔ)條件的文件，檢查其是否做過分層存儲(chǔ)，如果該文件未做過分層存儲(chǔ)，則進(jìn)入重復(fù)數(shù)據(jù)刪除子程序，重復(fù)數(shù)據(jù)刪除子程序結(jié)束后進(jìn)入步驟4)；如果該文件已經(jīng)做過分層存儲(chǔ)，則過程結(jié)束；
4)分層存儲(chǔ)，根據(jù)數(shù)據(jù)的重要程度不同將數(shù)據(jù)分開存儲(chǔ)至不同存儲(chǔ)，重要的數(shù)據(jù)存放至高性能、高安全性的存儲(chǔ)層，不重要的數(shù)據(jù)存放至低級(jí)存儲(chǔ)層；
5)同步備份，檢查備份設(shè)備有無此文件，如果沒有，則備份該文件至備份設(shè)備；如果已有此文件，則不用操作；
6)對(duì)不符合分層存儲(chǔ)條件的文件，檢查其有無歷史備份，如果已有備份，則過程結(jié)束； 如果無備份，則進(jìn)入步驟7);
7)根據(jù)策略對(duì)數(shù)據(jù)塊大小的限定，檢查文件尺寸是否小于數(shù)據(jù)塊大小，如果文件尺寸小于數(shù)據(jù)塊尺寸，則進(jìn)入步驟5)；如果文件尺寸大于等于數(shù)據(jù)塊尺寸，則進(jìn)入重復(fù)數(shù)據(jù)刪除子程序，重復(fù)數(shù)據(jù)刪除子程序結(jié)束后進(jìn)入步驟5)；
8)過程結(jié)束。其進(jìn)一步的技術(shù)方案為所述步驟1)中用戶設(shè)置的存儲(chǔ)備份策略包括分層存儲(chǔ)子策略以及效率性能子策略
所述分層存儲(chǔ)子策略是根據(jù)分層備份需求和備份環(huán)境，設(shè)置以下參數(shù)
A.指定文件被訪問的頻率，在此頻率以下的所有文件與其余文件實(shí)行不同級(jí)別存儲(chǔ)的數(shù)據(jù)遷移；
B.指定文件的路徑，在此路徑下的所有文件與其余文件實(shí)行不同級(jí)別存儲(chǔ)的數(shù)據(jù)遷
移；
C.指定文件的類型，對(duì)所有該類型的文件與其余文件實(shí)行不同級(jí)別存儲(chǔ)的數(shù)據(jù)遷移； 所述效率性能子策略是根據(jù)備份的性能效率需求，設(shè)置以下參數(shù)
D.指定數(shù)據(jù)塊顆粒大小，從22K 1 范圍內(nèi)選定；
E.指定本次操作完成期限，根據(jù)用戶需求選定；
F.指定數(shù)據(jù)重復(fù)刪除以后是否需要再做數(shù)據(jù)壓縮；
其進(jìn)一步的技術(shù)方案為所述步驟4)分層存儲(chǔ)具體包括如下步驟
(1)當(dāng)文件尺寸大于預(yù)先確定的值，遷移文件到低級(jí)存儲(chǔ)；
(2)在原文件的位置留下一個(gè)和原文件同名的存根文件，所述存根文件是一個(gè)指針類型的文件，其包含了已被遷移的原文件的新的位置信息和調(diào)用程序；
(3)如果該文件被調(diào)用，存根文件通過其調(diào)用程序和位置信息調(diào)回文件。其進(jìn)一步的技術(shù)方案為所述步驟5)同步備份結(jié)束后，保存本次備份策略和備份性能參數(shù)到數(shù)據(jù)庫，作為后續(xù)備份策略制定的參考數(shù)據(jù)。其進(jìn)一步的技術(shù)方案為所述重復(fù)數(shù)據(jù)刪除子程序具體包括如下步驟
①對(duì)數(shù)據(jù)文件進(jìn)行文件級(jí)重復(fù)數(shù)據(jù)刪除，采用零碰撞指紋算法計(jì)算該文件的指紋，在備份文件指紋庫中查找該文件指紋，如果找到該指紋，說明該文件先前已有過備份；如果未找到指紋，則進(jìn)入步驟②；
②對(duì)數(shù)據(jù)文件進(jìn)行數(shù)據(jù)塊級(jí)重復(fù)數(shù)據(jù)刪除，數(shù)據(jù)塊粒度大小為32k；
③對(duì)照策略確認(rèn)是否需要數(shù)據(jù)壓縮，如果需要壓縮，進(jìn)入步驟④，否則重復(fù)數(shù)據(jù)刪除子程序結(jié)束；
④對(duì)去重后的數(shù)據(jù)塊集合進(jìn)行壓縮；
⑤重復(fù)數(shù)據(jù)刪除子程序結(jié)束。本發(fā)明的有益技術(shù)效果是
發(fā)明使用戶可根據(jù)需要靈活的配置備份策略；在接受到用戶備份請(qǐng)求后，分層存儲(chǔ)子策略提供對(duì)數(shù)據(jù)進(jìn)行分類，將滿足的文件轉(zhuǎn)移到相應(yīng)級(jí)別的存儲(chǔ)上，從而減少主存儲(chǔ)的占用，優(yōu)化各種存儲(chǔ)資源綜合利用；效率性能子策略提供對(duì)數(shù)據(jù)去重率和系統(tǒng)性能占用平衡考慮，以求在滿足系統(tǒng)性能要求條件下，數(shù)據(jù)去重率最大。


為了更清楚的說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將實(shí)施例中所使用的附圖作簡(jiǎn)單介紹。這些附圖構(gòu)成本申請(qǐng)的一部分，并不構(gòu)成對(duì)本發(fā)明的限定。圖1是本發(fā)明的總體框圖。圖2是本發(fā)明的具體實(shí)施例流程圖。圖3是本發(fā)明中重復(fù)數(shù)據(jù)刪除子程序的流程圖。
具體實(shí)施例方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行全面的描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的部分實(shí)施例，而不是全部實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒作出創(chuàng)造性勞動(dòng)前提下獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。如圖1所示，本發(fā)明是一種適用于云存儲(chǔ)的智能配置存儲(chǔ)備份方法，其方案是根據(jù)用戶的需求選定存儲(chǔ)備份策略，這里的存儲(chǔ)備份策略包括分層存儲(chǔ)子策略以及效率性能子策略。首先根據(jù)分層存儲(chǔ)子策略(包括文件最近一次訪問時(shí)間或訪問頻度、指定分層等) 對(duì)待備份文件進(jìn)行分類，然后根據(jù)效率性能子策略對(duì)待備份文件進(jìn)行文件級(jí)或數(shù)據(jù)塊級(jí)的重復(fù)數(shù)據(jù)刪除并進(jìn)一步壓縮；接著根據(jù)分層存儲(chǔ)子策略把文件轉(zhuǎn)移到不同級(jí)別的存儲(chǔ)上， 同時(shí)保留指向存儲(chǔ)地的索引指針；最后檢查文件以前的備份狀態(tài)，把處理后的文件備份至備份設(shè)備，完成備份同步。圖2示出了本發(fā)明的具體流程。如圖2所示，本發(fā)明方法的流程包括如下具體步驟
步驟1 選擇、確定具體的存儲(chǔ)備份策略，由用戶選定策略，系統(tǒng)自動(dòng)根據(jù)歷史數(shù)據(jù)給出分析數(shù)據(jù)，以便用戶依照分析數(shù)據(jù)做策略調(diào)整，具體是
(A)指定文件被訪問的頻率，在此頻率以下的所有文件與其余文件實(shí)行不同級(jí)別存儲(chǔ)的數(shù)據(jù)遷移。具體來說，比如找出近一月內(nèi)沒有被訪問的文件和一年內(nèi)被訪問不超過5次的文件，上述文件與其余文件實(shí)行不同級(jí)別存儲(chǔ)的數(shù)據(jù)遷移，(B)指定新文件的路徑，在此路徑下所有文件與其余文件立即實(shí)行不同級(jí)別存儲(chǔ)的數(shù)據(jù)遷移。(C)指定新文件的文件類型，對(duì)所有該類型的文件與其余文件實(shí)行不同級(jí)別存儲(chǔ)的數(shù)據(jù)遷移；
所述不同級(jí)別的存儲(chǔ)是指根據(jù)數(shù)據(jù)的重要程度不同將數(shù)據(jù)分開存儲(chǔ)至不同存儲(chǔ)，重要的數(shù)據(jù)存放至高性能、高安全性的存儲(chǔ)層，不重要的數(shù)據(jù)存放至低級(jí)存儲(chǔ)；
(D)指定數(shù)據(jù)塊顆粒大小為32K，從22 K 1 范圍內(nèi)選定；
(E)指定本次操作的完成期限，可根據(jù)用戶需求設(shè)定，如“5小時(shí)”；
(F)指定數(shù)據(jù)重復(fù)刪除以后是否需要再做數(shù)據(jù)壓縮。上述參數(shù)(A)、(B)、(C)稱為分層存儲(chǔ)子策略；根據(jù)分層備份需求和備份環(huán)境，用戶可以靈活設(shè)置參數(shù)(A)、(B)、(C)。上述參數(shù)(D)、(E)、(F)稱為效率性能子策略；根據(jù)備份的性能效率需求，用戶可靈活設(shè)置參數(shù)⑶)、^)、^)。比如以下兩個(gè)策略配置方案
方案一本次備份要求去重率最大，對(duì)備份時(shí)間不做要求?？梢詫?shù)(D)設(shè)置為數(shù)據(jù)塊大小為4K，參數(shù)(F)需要數(shù)據(jù)壓縮。設(shè)置完后，系統(tǒng)根據(jù)歷史數(shù)據(jù)和待備份的數(shù)據(jù)大小、 備份參數(shù)，自動(dòng)計(jì)算出備份時(shí)間、去重率。方案二 如果某次備份，數(shù)據(jù)量為1TB，時(shí)間要求5小時(shí)，那么只要設(shè)置參數(shù)(E)為 5小時(shí)。設(shè)置完后，系統(tǒng)根據(jù)歷史數(shù)據(jù)和待存儲(chǔ)備份的數(shù)據(jù)大小、備份時(shí)間，自動(dòng)計(jì)算出計(jì)算數(shù)據(jù)塊尺寸的限制，必須大于16K，因此3 是最佳選擇。步驟2 文件分類，判斷文件是否符合分層存儲(chǔ)條件，如果該文件符合分層存儲(chǔ)條，則進(jìn)入步驟3 ；如果該文件不符合分層存儲(chǔ)條件，則進(jìn)入步驟6。步驟3 對(duì)符合分層存儲(chǔ)條件的文件，檢查其是否做過分層存儲(chǔ)，如果該文件未做過分層存儲(chǔ)，則進(jìn)入重復(fù)數(shù)據(jù)刪除子程序，重復(fù)數(shù)據(jù)刪除子程序結(jié)束后進(jìn)入步驟4 ；如果該文件已經(jīng)做過分層存儲(chǔ)，則過程結(jié)束。步驟4 分層存儲(chǔ)，對(duì)比分層存儲(chǔ)子策略，如果文件滿足策略條件，則實(shí)行不同級(jí)別存儲(chǔ)的數(shù)據(jù)遷移；不同級(jí)別的存儲(chǔ)是指根據(jù)數(shù)據(jù)的重要程度不同將數(shù)據(jù)分開存儲(chǔ)至不同存儲(chǔ)，重要的數(shù)據(jù)存放至高性能、高安全性的存儲(chǔ)層，不重要的數(shù)據(jù)存放至低級(jí)存儲(chǔ)層；數(shù)據(jù)分層存儲(chǔ)和調(diào)用對(duì)用戶來說是完全透明的，它包括如下步驟
(1)當(dāng)文件尺寸大于一個(gè)預(yù)先確定的值比如4k或池，遷移文件到低級(jí)存儲(chǔ)；
(2)在原文件的位置留下一個(gè)和原文件同名的存根文件。存根文件是一個(gè)指針類型的文件，它包含了已被遷移的原文件的新的位置信息和調(diào)用程序。存根文件的尺寸一般是固定的而且很小(4k或池)，原文件都比它大，也就是說文件尺寸大于存根文件的就可以被遷移到低級(jí)存儲(chǔ)，這是分層存儲(chǔ)的原則。(3)如果該文件需求調(diào)用，存根文件通過其調(diào)用程序和位置信息調(diào)回文件。步驟5 同步備份，檢查備份設(shè)備有無此文件，如果沒有，則備份該文件至備份設(shè)備；如果已有此文件，則不用操作。備份結(jié)束后，系統(tǒng)自動(dòng)保存本次備份策略和備份性能參數(shù)到數(shù)據(jù)庫，作為后續(xù)備份策略制定的參考數(shù)據(jù)，為后續(xù)備份提供輔助決策。
7
步驟6 對(duì)不符合分層存儲(chǔ)條件的文件，檢查其有無歷史備份，如果已有備份，則過程結(jié)束；如果無備份，則進(jìn)入步驟7。步驟7 根據(jù)策略對(duì)數(shù)據(jù)塊大小的限定，檢查文件尺寸是否小于數(shù)據(jù)塊大小，如果文件尺寸小于數(shù)據(jù)塊尺寸，則進(jìn)入步驟5 ；如果文件尺寸大于等于數(shù)據(jù)塊尺寸，則進(jìn)入重復(fù)數(shù)據(jù)刪除子程序，重復(fù)數(shù)據(jù)刪除子程序結(jié)束后進(jìn)入步驟5。具體來說，比如對(duì)文件尺寸小于數(shù)據(jù)塊尺寸32k的文件，進(jìn)入步驟5 ；文件尺寸大于數(shù)據(jù)塊尺寸32k的文件，進(jìn)入A子程序， A子程序結(jié)束后進(jìn)入步驟5。步驟8:過程結(jié)束。如圖3所示，本實(shí)施例所述的重復(fù)數(shù)據(jù)刪除子程序(即圖3中所指A子程序)具體包括如下步驟
①對(duì)數(shù)據(jù)文件進(jìn)行文件級(jí)重復(fù)數(shù)據(jù)刪除，采用零碰撞指紋算法(例如可采用MD5算法) 計(jì)算該文件的指紋，在備份文件指紋庫中查找該文件指紋，如果找到該指紋，說明該文件先前已有過備份；如果未找到指紋，則進(jìn)入步驟②；
②對(duì)數(shù)據(jù)文件進(jìn)行數(shù)據(jù)塊級(jí)重復(fù)數(shù)據(jù)刪除，數(shù)據(jù)塊粒度大小為32k；
③對(duì)照策略確認(rèn)是否需要數(shù)據(jù)壓縮，如果需要壓縮，進(jìn)入步驟④，否則重復(fù)數(shù)據(jù)刪除子程序結(jié)束；
④對(duì)去重后的數(shù)據(jù)塊集合進(jìn)行壓縮；
⑤重復(fù)數(shù)據(jù)刪除子程序結(jié)束。以上實(shí)施例中使用的硬件環(huán)境包括用戶端和備份服務(wù)器、主存儲(chǔ)、二級(jí)存儲(chǔ)以及備份設(shè)備，采用現(xiàn)有技術(shù)設(shè)計(jì)制造或直接采用相關(guān)市售產(chǎn)品。以上所述的僅是本發(fā)明的優(yōu)選實(shí)施方式，本發(fā)明不限于以上實(shí)施例?？梢岳斫?，本領(lǐng)域技術(shù)人員在不脫離本發(fā)明的精神和構(gòu)思的前提下直接導(dǎo)出或聯(lián)想到的其他改進(jìn)和變化，均應(yīng)認(rèn)為包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種適用于云存儲(chǔ)的智能配置存儲(chǔ)備份方法，其特征在于根據(jù)用戶需求選定存儲(chǔ)備份策略，所述存儲(chǔ)備份策略包括分層存儲(chǔ)子策略以及效率性能子策略；根據(jù)分層存儲(chǔ)子策略對(duì)待備份文件進(jìn)行分類，根據(jù)效率性能子策略對(duì)待備份文件進(jìn)行文件級(jí)或數(shù)據(jù)塊級(jí)的重復(fù)數(shù)據(jù)刪除并進(jìn)一步壓縮；根據(jù)分層存儲(chǔ)子策略把文件轉(zhuǎn)移到不同級(jí)別的存儲(chǔ)上，同時(shí)保留指向存儲(chǔ)地的索引指針；檢查文件以前的備份狀態(tài)，把處理后的文件備份至備份設(shè)備， 完成備份同步。
2.根據(jù)權(quán)利要求1所述適用于云存儲(chǔ)的智能配置存儲(chǔ)備份方法，其特征在于具體步驟如下1)選定策略，根據(jù)用戶需求選定存儲(chǔ)備份策略，系統(tǒng)根據(jù)歷史數(shù)據(jù)給出分析數(shù)據(jù)，用戶依照所述分析數(shù)據(jù)做出策略調(diào)整；2)文件分類，判斷文件是否符合分層存儲(chǔ)條件，如果該文件符合分層存儲(chǔ)條，則進(jìn)入步驟3)；如果該文件不符合分層存儲(chǔ)條件，則進(jìn)入步驟6)；3)對(duì)符合分層存儲(chǔ)條件的文件，檢查其是否做過分層存儲(chǔ)，如果該文件未做過分層存儲(chǔ)，則進(jìn)入重復(fù)數(shù)據(jù)刪除子程序，重復(fù)數(shù)據(jù)刪除子程序結(jié)束后進(jìn)入步驟4)；如果該文件已經(jīng)做過分層存儲(chǔ)，則過程結(jié)束；4)分層存儲(chǔ)，根據(jù)數(shù)據(jù)的重要程度不同將數(shù)據(jù)分開存儲(chǔ)至不同存儲(chǔ)，重要的數(shù)據(jù)存放至高性能、高安全性的存儲(chǔ)層，不重要的數(shù)據(jù)存放至低級(jí)存儲(chǔ)層；5)同步備份，檢查備份設(shè)備有無此文件，如果沒有，則備份該文件至備份設(shè)備；如果已有此文件，則不用操作；6)對(duì)不符合分層存儲(chǔ)條件的文件，檢查其有無歷史備份，如果已有備份，則過程結(jié)束； 如果無備份，則進(jìn)入步驟7);7)根據(jù)策略對(duì)數(shù)據(jù)塊大小的限定，檢查文件尺寸是否小于數(shù)據(jù)塊大小，如果文件尺寸小于數(shù)據(jù)塊尺寸，則進(jìn)入步驟5)；如果文件尺寸大于等于數(shù)據(jù)塊尺寸，則進(jìn)入重復(fù)數(shù)據(jù)刪除子程序，重復(fù)數(shù)據(jù)刪除子程序結(jié)束后進(jìn)入步驟5)；8)過程結(jié)束。
3.根據(jù)權(quán)利要求2所述適用于云存儲(chǔ)的智能配置存儲(chǔ)備份方法，其特征在于所述步驟1)中用戶設(shè)置的存儲(chǔ)備份策略包括分層存儲(chǔ)子策略以及效率性能子策略所述分層存儲(chǔ)子策略是根據(jù)分層備份需求和備份環(huán)境，設(shè)置以下參數(shù)A.指定文件被訪問的頻率，在此頻率以下的所有文件與其余文件實(shí)行不同級(jí)別存儲(chǔ)的數(shù)據(jù)遷移；B.指定文件的路徑，在此路徑下的所有文件與其余文件實(shí)行不同級(jí)別存儲(chǔ)的數(shù)據(jù)遷移；C.指定文件的類型，對(duì)所有該類型的文件與其余文件實(shí)行不同級(jí)別存儲(chǔ)的數(shù)據(jù)遷移；所述效率性能子策略是根據(jù)備份的性能效率需求，設(shè)置以下參數(shù)D.指定數(shù)據(jù)塊顆粒大小，從22K 1 范圍內(nèi)選定；E.指定本次操作完成期限，根據(jù)用戶需求選定；F.指定數(shù)據(jù)重復(fù)刪除以后是否需要再做數(shù)據(jù)壓縮。
4.根據(jù)權(quán)利要求2所述適用于云存儲(chǔ)的智能配置存儲(chǔ)備份方法，其特征在于所述步驟4)分層存儲(chǔ)具體包括如下步驟(1)當(dāng)文件尺寸大于預(yù)先確定的值，遷移文件到低級(jí)存儲(chǔ)；(2)在原文件的位置留下一個(gè)和原文件同名的存根文件，所述存根文件是一個(gè)指針類型的文件，其包含了已被遷移的原文件的新的位置信息和調(diào)用程序；(3)如果該文件被調(diào)用，存根文件通過其調(diào)用程序和位置信息調(diào)回文件。
5.根據(jù)權(quán)利要求2所述適用于云存儲(chǔ)的智能配置存儲(chǔ)備份方法，其特征在于所述步驟5)同步備份結(jié)束后，保存本次備份策略和備份性能參數(shù)到數(shù)據(jù)庫，作為后續(xù)備份策略制定的參考數(shù)據(jù)。
6.根據(jù)權(quán)利要求2所述適用于云存儲(chǔ)的智能配置存儲(chǔ)備份方法，其特征在于所述重復(fù)數(shù)據(jù)刪除子程序具體包括如下步驟①對(duì)數(shù)據(jù)文件進(jìn)行文件級(jí)重復(fù)數(shù)據(jù)刪除，采用零碰撞指紋算法計(jì)算該文件的指紋，在備份文件指紋庫中查找該文件指紋，如果找到該指紋，說明該文件先前已有過備份；如果未找到指紋，則進(jìn)入步驟②；②對(duì)數(shù)據(jù)文件進(jìn)行數(shù)據(jù)塊級(jí)重復(fù)數(shù)據(jù)刪除，數(shù)據(jù)塊粒度大小為32k；③對(duì)照策略確認(rèn)是否需要數(shù)據(jù)壓縮，如果需要壓縮，進(jìn)入步驟④，否則重復(fù)數(shù)據(jù)刪除子程序結(jié)束；④對(duì)去重后的數(shù)據(jù)塊集合進(jìn)行壓縮；⑤重復(fù)數(shù)據(jù)刪除子程序結(jié)束。
全文摘要
本發(fā)明涉及一種適用于云存儲(chǔ)的智能配置存儲(chǔ)備份方法，根據(jù)用戶需求選定存儲(chǔ)備份策略，所述存儲(chǔ)備份策略包括分層存儲(chǔ)子策略以及效率性能子策略；根據(jù)分層存儲(chǔ)子策略對(duì)待備份文件進(jìn)行分類，根據(jù)效率性能子策略對(duì)待備份文件進(jìn)行文件級(jí)或數(shù)據(jù)塊級(jí)的重復(fù)數(shù)據(jù)刪除并進(jìn)一步壓縮；根據(jù)分層存儲(chǔ)子策略把文件轉(zhuǎn)移到不同級(jí)別的存儲(chǔ)上，同時(shí)保留指向存儲(chǔ)地的索引指針；檢查文件以前的備份狀態(tài)，把處理后的文件備份至備份設(shè)備，完成備份同步。本發(fā)明通過將數(shù)據(jù)去重壓縮分層存儲(chǔ)，從而提高數(shù)據(jù)去重率和系統(tǒng)性能占用率性價(jià)比，優(yōu)化存儲(chǔ)資源配置。
文檔編號(hào)G06F11/14GK102200936SQ20111012078
公開日2011年9月28日 申請(qǐng)日期2011年5月11日 優(yōu)先權(quán)日2011年5月11日
發(fā)明者楊鈞 申請(qǐng)人:楊鈞