專利名稱：一種實現(xiàn)海量數(shù)據(jù)存取的系統(tǒng)及方法
技術領域：
本發(fā)明涉及計算機數(shù)據(jù)存儲技術，尤其涉及海量數(shù)據(jù)存儲的方法及系統(tǒng)。
背景技術：
針對目前TB (TeraByte，萬億字節(jié))級、PB (PetaByte，千萬億字節(jié))級甚至更高級的海量數(shù)據(jù)存儲，如何高效地提取和安全地存儲海量數(shù)據(jù)，已成為用戶以及業(yè)界的關注重
點ο在現(xiàn)階段，針對海量數(shù)據(jù)的存儲和為用戶提供服務主要存在如下問題(1)數(shù)據(jù)的高效讀取難以實現(xiàn)在海量數(shù)據(jù)的存儲系統(tǒng)中，首先需要將數(shù)據(jù)進行不確定性大小的數(shù)據(jù)分塊，當用戶需要調用存儲中的文件時，系統(tǒng)會按照索引表對數(shù)據(jù)塊進行索引并進行數(shù)據(jù)的整合供用戶使用。在對數(shù)據(jù)塊進行索引時需要耗費較長的時間，因此對頻繁調用的數(shù)據(jù)沒有通過預處理機制進行整合，會使得數(shù)據(jù)存儲的讀取速度不高，因而會影響到數(shù)據(jù)讀取的效率。(2)安全備份未能針對數(shù)據(jù)的重要性實現(xiàn)因為面臨非法攻擊、管理員的誤操作、磁盤損壞、壽命限制以及數(shù)據(jù)中心遭受地震等自然災害，會使數(shù)據(jù)存儲的介質有不安全的因素或隱患，一旦發(fā)生上述情況，會導致數(shù)據(jù)丟失。因此，海量數(shù)據(jù)的存儲必須制定合適的備份策略，如采取本地備份和遠程備份相結合的備份方案。而在目前并未采取針對不同數(shù)據(jù)塊的重要性備份不同數(shù)量的措施，因而難以安全確保用戶重要數(shù)據(jù)的完整性。綜上所述可知，現(xiàn)有的海量數(shù)據(jù)存儲存在著數(shù)據(jù)存取效率較低及數(shù)據(jù)存儲安全性不高的問題，亟待提供一種實現(xiàn)海量數(shù)據(jù)存取的方法及系統(tǒng)，能夠提高海量數(shù)據(jù)的存取效率，并能夠針對用戶重要數(shù)據(jù)確保其存儲的安全性。

發(fā)明內容
本發(fā)明所要解決的技術問題是提供一種實現(xiàn)海量數(shù)據(jù)存儲的方法及系統(tǒng)，能夠提高數(shù)據(jù)存取的效率。為了解決上述技術問題，本發(fā)明提供了一種實現(xiàn)海量數(shù)據(jù)存取的系統(tǒng)，包括文件索引數(shù)據(jù)庫和數(shù)據(jù)塊索引數(shù)據(jù)庫，其中文件索引數(shù)據(jù)庫在通過文件索引來訪問存儲的一個或多個文件時訪問到數(shù)據(jù)塊索引數(shù)據(jù)庫中一個或多個的數(shù)據(jù)塊；數(shù)據(jù)塊索引數(shù)據(jù)庫，至少包括數(shù)據(jù)索引預處理模塊，用于在一段時間內一個或多個數(shù)據(jù)塊被訪問的同時，記錄被訪數(shù)據(jù)塊的最近訪問次數(shù)。進一步地，數(shù)據(jù)索引預處理模塊在記錄的最近訪問次數(shù)超過預置的閥值時，將相應的數(shù)據(jù)塊重新整合為一個新的數(shù)據(jù)塊；或者，將相應的數(shù)據(jù)塊重新整合為一個新文件，存儲在文件索引數(shù)據(jù)庫中。
進一步地，數(shù)據(jù)塊索引數(shù)據(jù)庫還包括數(shù)據(jù)備份模塊，用于在一個或多個數(shù)據(jù)塊被訪問的同時，將每一數(shù)據(jù)塊的引用次數(shù)作為被依賴度累計，根據(jù)累計的引用次數(shù)確定數(shù)據(jù)塊的備份數(shù)量，并按照確定的備份數(shù)量將數(shù)據(jù)塊備份在不同位置的介質上。進一步地，數(shù)據(jù)索引預處理模塊包括依次連接的最近訪問次數(shù)統(tǒng)計單元和數(shù)據(jù)重新整合單元，其中最近訪問次數(shù)統(tǒng)計單元，用于在一段時間內一個或多個數(shù)據(jù)塊被訪問的同時，記錄被訪數(shù)據(jù)塊的最近訪問次數(shù)，當記錄的最近訪問次數(shù)超過預置的閥值時，將相應數(shù)據(jù)塊的標識輸出給數(shù)據(jù)重新整合單元；數(shù)據(jù)重新整合單元，用于根據(jù)數(shù)據(jù)塊的標識將相應的數(shù)據(jù)塊重新整合為一個新的數(shù)據(jù)塊，或者重新整合為一個新文件存儲在文件索引數(shù)據(jù)庫中。進一步地，數(shù)據(jù)備份模塊包括依次連接的數(shù)據(jù)塊引用次數(shù)統(tǒng)計單元和數(shù)據(jù)塊備份量化單元，其中數(shù)據(jù)塊引用次數(shù)統(tǒng)計單元，用于在一個或多個數(shù)據(jù)塊被訪問的同時，累計每一數(shù)據(jù)塊的引用次數(shù)，并將各數(shù)據(jù)塊的標識及累計的所述引用次數(shù)輸出給數(shù)據(jù)塊備份量化單元；數(shù)據(jù)塊備份量化單元，用于按照如下公式計算出數(shù)據(jù)塊的備份數(shù)量η = f (num) -1 = [min (max (2, a+b lg(num))，blockmax) ] -1 ；式中，η表示計算出的數(shù)據(jù)塊的備份數(shù)量；num表示數(shù)據(jù)塊的引用次數(shù)；a是根據(jù)num設置的常數(shù)；b是根據(jù)數(shù)據(jù)塊重要性級別設置的常數(shù)；blockmax表示數(shù)據(jù)塊的備份數(shù)量的上限值；并按照計算的備份數(shù)量將數(shù)據(jù)塊備份在不同位置的介質上。為了解決上述技術問題，本發(fā)明提供了一種實現(xiàn)海量數(shù)據(jù)存取的方法，涉及文件索引數(shù)據(jù)庫和數(shù)據(jù)塊索引數(shù)據(jù)庫，該方法包括文件索引數(shù)據(jù)庫通過文件索引訪問存儲的一個或多個文件時，訪問到數(shù)據(jù)塊索引數(shù)據(jù)庫中一個或多個的數(shù)據(jù)塊；數(shù)據(jù)塊索引數(shù)據(jù)庫在一段時間內一個或多個數(shù)據(jù)塊被訪問的同時，記錄被訪數(shù)據(jù)塊的最近訪問次數(shù)。進一步地，該方法還包括數(shù)據(jù)塊索引數(shù)據(jù)庫在記錄的最近訪問次數(shù)超過預置的閥值時，將相應的數(shù)據(jù)塊重新整合。進一步地，數(shù)據(jù)塊索引數(shù)據(jù)庫將相應的數(shù)據(jù)塊重新整合，包括將相應的數(shù)據(jù)塊重新整合為一個新的數(shù)據(jù)塊；或者，將相應的數(shù)據(jù)塊重新整合為一個新文件，存儲在文件索引數(shù)據(jù)庫中。進一步地，該方法還包括數(shù)據(jù)塊索引數(shù)據(jù)庫在一個或多個數(shù)據(jù)塊被訪問的同時，將每一數(shù)據(jù)塊的引用次數(shù)作為被依賴度累計，根據(jù)累計的引用次數(shù)確定數(shù)據(jù)塊的備份數(shù)量，并按照確定的備份數(shù)量將數(shù)據(jù)塊備份在不同位置的介質上。進一步地，數(shù)據(jù)塊索引數(shù)據(jù)庫根據(jù)累計的引用次數(shù)確定數(shù)據(jù)塊的備份數(shù)量，按照如下公式計算確定所述數(shù)據(jù)塊的備份數(shù)量η = f (num) -1 = [min (max (2, a+b lg(num))，blockmax) ] -1 ；式中，η表示計算出的數(shù)據(jù)塊的備份數(shù)量；num表示數(shù)據(jù)塊的引用次數(shù)；a是根據(jù)num設置的常數(shù)；b是根據(jù)數(shù)據(jù)塊的重要性級別設置的常數(shù)；blockmax表示數(shù)據(jù)塊的備份數(shù)量的上限值。本發(fā)明基于現(xiàn)有的重復數(shù)據(jù)刪除的分布式存儲技術，在文件和數(shù)據(jù)塊的雙索引數(shù)據(jù)庫策略基礎上，根據(jù)數(shù)據(jù)塊最近訪問次數(shù)超出預置閾值來重新整合數(shù)據(jù)，同時，采用量化的機制根據(jù)累計記錄的每個數(shù)據(jù)塊的被文件依賴程度的大小計算出相應的備份數(shù)量對數(shù)據(jù)塊進行不同位置介質上的備份，從而實現(xiàn)海量數(shù)據(jù)的高效存取，同時保證海量數(shù)據(jù)中用戶重要數(shù)據(jù)的完整性及安全性需求。


圖1是本發(fā)明的實現(xiàn)海量數(shù)據(jù)存取的系統(tǒng)實施例的結構示意圖；圖2為圖1中數(shù)據(jù)塊索引數(shù)據(jù)庫內數(shù)據(jù)索引預處理模塊實施例的結構框圖；圖3為圖1中數(shù)據(jù)塊索引數(shù)據(jù)庫內數(shù)據(jù)備份模塊實施例的結構框圖。
具體實施例方式下面結合附圖和優(yōu)選實施例對本發(fā)明的技術方案進行地詳細描述。應該理解，以下例舉的實施例僅用于說明和解釋本發(fā)明，而不構成對本發(fā)明技術方案的限制。本發(fā)明提供的實現(xiàn)海量數(shù)據(jù)存取的系統(tǒng)實施例的結構如圖1所示，包括文件索引數(shù)據(jù)庫和數(shù)據(jù)塊索引數(shù)據(jù)庫，其中文件索引數(shù)據(jù)庫，用于在通過文件索引來訪問存儲的一個或多個文件時，訪問到數(shù)據(jù)塊索引數(shù)據(jù)庫中一個或多個的數(shù)據(jù)塊；數(shù)據(jù)塊索引數(shù)據(jù)庫，至少包括數(shù)據(jù)索引預處理模塊，用于在一段時間內一個或多個數(shù)據(jù)塊被訪問的同時，記錄被訪數(shù)據(jù)塊的最近訪問次數(shù)。如圖1所示的數(shù)據(jù)塊索引數(shù)據(jù)庫，從左向右，假如數(shù)據(jù)塊1丟失會影響3個文件， 數(shù)據(jù)塊2丟失會破壞4個文件，以此類推。當讀取文件索引數(shù)據(jù)庫中的一個文件時，必須收集與它相關的數(shù)據(jù)塊索引數(shù)據(jù)庫內所有的數(shù)據(jù)塊，以保證不發(fā)生任何數(shù)據(jù)塊丟失。在上述系統(tǒng)實施例中，數(shù)據(jù)塊索引數(shù)據(jù)庫中的數(shù)據(jù)索引預處理模塊在記錄的最近訪問次數(shù)超過預置的閥值時，將相應的數(shù)據(jù)塊重新整合為一個新的數(shù)據(jù)塊；或者，將相應的數(shù)據(jù)塊重新整合為一個新文件，存儲在文件索引數(shù)據(jù)庫中。本發(fā)明的上述系統(tǒng)實施例，對于一些數(shù)據(jù)塊在某一段時間內訪問頻率突然增高，采用統(tǒng)計的最近訪問次數(shù)這一參數(shù)表示這種情況，當有數(shù)據(jù)的最近訪問次數(shù)超過預定義的閥值時，將這些數(shù)據(jù)重新整合，以減少短時間內對同一數(shù)據(jù)不斷整合的開銷，加快數(shù)據(jù)查詢速度，從而提高系統(tǒng)的響應速度。在上述實施例中，數(shù)據(jù)塊索引數(shù)據(jù)庫還包括數(shù)據(jù)備份模塊，用于在一個或多個數(shù)據(jù)塊被訪問的同時，將每一數(shù)據(jù)塊的引用次數(shù)作為被依賴度累計，根據(jù)累計的引用次數(shù)確定數(shù)據(jù)塊的備份數(shù)量，并按照確定的備份數(shù)量將數(shù)據(jù)塊備份在不同位置的介質上。在上述系統(tǒng)實施例中，數(shù)據(jù)索引預處理模塊一實施例的結構如圖2所示，進一步包括依次連接的最近訪問次數(shù)統(tǒng)計單元和數(shù)據(jù)重新整合單元，其中最近訪問次數(shù)統(tǒng)計單元，用于在一段時間內一個或多個數(shù)據(jù)塊被訪問的同時，記錄被訪數(shù)據(jù)塊的最近訪問次數(shù)，當記錄的最近訪問次數(shù)超過預置的閥值時，將相應數(shù)據(jù)塊的標識輸出給數(shù)據(jù)重新整合單元；數(shù)據(jù)重新整合單元，用于根據(jù)數(shù)據(jù)塊的標識將相應的數(shù)據(jù)塊重新整合為一個新的數(shù)據(jù)塊；或者重新整合為一個新文件，存儲在文件索引數(shù)據(jù)庫中。在上述系統(tǒng)實施例中，數(shù)據(jù)備份模塊一實施例的結構如圖3所示，進一步包括依次連接的數(shù)據(jù)塊引用次數(shù)統(tǒng)計單元和數(shù)據(jù)塊備份量化單元，其中數(shù)據(jù)塊引用次數(shù)統(tǒng)計單元，用于在一個或多個數(shù)據(jù)塊被訪問的同時，將每一數(shù)據(jù)塊的引用次數(shù)作為被依賴度累計，并將各數(shù)據(jù)塊的標識及累計的引用次數(shù)輸出給數(shù)據(jù)塊備份量化單元；數(shù)據(jù)塊備份量化單元，用于根據(jù)輸入的數(shù)據(jù)塊的引用次數(shù)計算出數(shù)據(jù)塊的備份數(shù)量，并按照計算的備份數(shù)量將數(shù)據(jù)塊備份在不同位置的介質上。數(shù)據(jù)塊備份量化單元按如下公式計算數(shù)據(jù)塊的備份數(shù)量η = f (num) -1 = [min (max (2, a+b lg(num))，blockmax) ] -1 ；式中，η表示計算出的數(shù)據(jù)塊的備份數(shù)量；num表示數(shù)據(jù)塊的引用次數(shù)；a、b是表示每一數(shù)據(jù)塊重要性的常數(shù)；其中，a與num具有直接關系，b與數(shù)據(jù)的重要性級別有關。譬如，根據(jù)num對常數(shù)a進行如下設置當 0 < num 彡 10 時，設 a = 2 ；當 10 < num 彡 100 時，設 a = 3 ；......，以此類催?；蛘?，根據(jù)num對常數(shù)a進行如下設置a = Ig num+1。譬如，對于普通數(shù)據(jù)可以取b = 0，較重要數(shù)據(jù)取b = 1，絕密數(shù)據(jù)取b = 2，......，
以次類催。blockmax表示一個數(shù)據(jù)塊備份數(shù)量的上限值。 通過上述公式可以看出，常數(shù)a、b和參數(shù)blockmax與數(shù)據(jù)塊的引用次數(shù)num —起共同影響系統(tǒng)中數(shù)據(jù)的存儲效率和可靠性。 針對上述系統(tǒng)實施例，本發(fā)明相應地還提供了實現(xiàn)海量數(shù)據(jù)存儲的方法實施例， 涉及文件索引數(shù)據(jù)庫和數(shù)據(jù)塊索引數(shù)據(jù)庫，該方法實施例包括
文件索引數(shù)據(jù)庫通過文件索引訪問存儲的一個或多個文件時，訪問到數(shù)據(jù)塊索引數(shù)據(jù)庫中一個或多個的數(shù)據(jù)塊；數(shù)據(jù)塊索引數(shù)據(jù)庫在一段時間內一個或多個數(shù)據(jù)塊被訪問的同時，記錄被訪數(shù)據(jù)塊的最近訪問次數(shù)。上述方法實施例還包括當數(shù)據(jù)塊索引數(shù)據(jù)庫記錄的最近訪問次數(shù)超過預置的閥值時，將相應的數(shù)據(jù)塊重新整合。上述方法實施例中，數(shù)據(jù)塊索引數(shù)據(jù)庫將相應的數(shù)據(jù)塊重新整合，具體包括將相應的多個數(shù)據(jù)塊重新整合為一個新的數(shù)據(jù)塊；或者，將相應的多個數(shù)據(jù)塊重新整合為一個新文件，存儲在文件索引數(shù)據(jù)庫中。上述方法實施例還包括數(shù)據(jù)塊索引數(shù)據(jù)庫在一個或多個數(shù)據(jù)塊被訪問的同時，將每一數(shù)據(jù)塊的引用次數(shù)作為被依賴度累計，根據(jù)累計的引用次數(shù)確定數(shù)據(jù)塊的備份數(shù)量。在上述方法實施例中，數(shù)據(jù)塊索引數(shù)據(jù)庫根據(jù)累計的引用次數(shù)確定數(shù)據(jù)塊的備份數(shù)量，具體通過如下公式計算確定η = f(num)_l = [min (max (2, a+b lg(num))，blockmax) ]-1 ；式中各參數(shù)的含義前已述及，此不再贅述。上述方法實施例還包括數(shù)據(jù)塊索引數(shù)據(jù)庫按照確定的備份數(shù)量將數(shù)據(jù)塊備份在不同位置的介質上。本發(fā)明基于文件索引數(shù)據(jù)庫和數(shù)據(jù)塊索引數(shù)據(jù)庫的分離管理，根據(jù)數(shù)據(jù)塊最近訪問次數(shù)超出預置閾值來重新整合數(shù)據(jù)，由此可加快數(shù)據(jù)查詢速度，從而實現(xiàn)海量數(shù)據(jù)的高效存取。對于海量數(shù)據(jù)，通過采取將數(shù)據(jù)不固定大小分塊與分布存儲的策略，存儲的每個文件都會依賴不同數(shù)目、不同大小的數(shù)據(jù)塊，采用量化的機制根據(jù)累計的每個數(shù)據(jù)塊的被依賴度的大小(即引用次數(shù))計算確定數(shù)據(jù)塊的備份數(shù)量，按照確定的備份數(shù)量進行不同位置的介質備份，，從而保證海量數(shù)據(jù)中用戶重要數(shù)據(jù)的完整性及安全性需求。對于本領域的專業(yè)人員來說，在了解了本發(fā)明內容和原理后，能夠在不背離本發(fā)明的原理和范圍的情況下，根據(jù)本發(fā)明的方法進行形式和細節(jié)上的各種修正和改變，但是這些基于本發(fā)明的修正和改變仍在本發(fā)明的權利要求保護范圍之內。
權利要求
1.一種實現(xiàn)海量數(shù)據(jù)存取的系統(tǒng)，包括文件索引數(shù)據(jù)庫和數(shù)據(jù)塊索引數(shù)據(jù)庫，其中文件索引數(shù)據(jù)庫在通過文件索引來訪問存儲的一個或多個文件時訪問到數(shù)據(jù)塊索引數(shù)據(jù)庫中一個或多個的數(shù)據(jù)塊，其特征在于數(shù)據(jù)塊索引數(shù)據(jù)庫，至少包括數(shù)據(jù)索引預處理模塊，用于在一段時間內一個或多個數(shù)據(jù)塊被訪問的同時，記錄被訪數(shù)據(jù)塊的最近訪問次數(shù)。
2.按照權利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)索引預處理模塊在記錄的所述最近訪問次數(shù)超過預置的閥值時，將相應的數(shù)據(jù)塊重新整合為一個新的數(shù)據(jù)塊；或者，將相應的數(shù)據(jù)塊重新整合為一個新文件，存儲在所述文件索引數(shù)據(jù)庫中。
3.按照權利要求1或2所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)塊索引數(shù)據(jù)庫還包括數(shù)據(jù)備份模塊，用于在一個或多個數(shù)據(jù)塊被訪問的同時，將每一數(shù)據(jù)塊的引用次數(shù)作為被依賴度累計，根據(jù)累計的引用次數(shù)確定數(shù)據(jù)塊的備份數(shù)量，并按照確定的所述備份數(shù)量將數(shù)據(jù)塊備份在不同位置的介質上。
4.按照權利要求1或2所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)索引預處理模塊包括依次連接的最近訪問次數(shù)統(tǒng)計單元和數(shù)據(jù)重新整合單元，其中最近訪問次數(shù)統(tǒng)計單元，用于在一段時間內一個或多個數(shù)據(jù)塊被訪問的同時，記錄被訪數(shù)據(jù)塊的最近訪問次數(shù)，當記錄的所述最近訪問次數(shù)超過預置的閥值時，將相應數(shù)據(jù)塊的標識輸出給數(shù)據(jù)重新整合單元；數(shù)據(jù)重新整合單元，用于根據(jù)所述數(shù)據(jù)塊的標識將相應的數(shù)據(jù)塊重新整合為一個新的數(shù)據(jù)塊，或者重新整合為一個新文件存儲在所述文件索引數(shù)據(jù)庫中。
5.按照權利要求3所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)備份模塊包括依次連接的數(shù)據(jù)塊引用次數(shù)統(tǒng)計單元和數(shù)據(jù)塊備份量化單元，其中數(shù)據(jù)塊引用次數(shù)統(tǒng)計單元，用于在一個或多個數(shù)據(jù)塊被訪問的同時，累計每一數(shù)據(jù)塊的引用次數(shù)，并將各數(shù)據(jù)塊的標識及累計的所述引用次數(shù)輸出給數(shù)據(jù)塊備份量化單元； 數(shù)據(jù)塊備份量化單元，用于按照如下公式計算出所述數(shù)據(jù)塊的備份數(shù)量 η = f(num)_l = [min (max (2，a+b Ig (num))，blockmax) ]-1 ； 式中，所述η表示計算出的所述數(shù)據(jù)塊的備份數(shù)量；所述rmm表示所述數(shù)據(jù)塊的引用次數(shù)；所述a是根據(jù)所述num設置的常數(shù)；所述b是根據(jù)所述數(shù)據(jù)塊的重要性級別設置的常數(shù)；所述blockmax表示所述數(shù)據(jù)塊的備份數(shù)量的上限值；并按照計算的所述備份數(shù)量將所述數(shù)據(jù)塊備份在不同位置的介質上。
6.一種實現(xiàn)海量數(shù)據(jù)存取的方法，涉及文件索引數(shù)據(jù)庫和數(shù)據(jù)塊索引數(shù)據(jù)庫，該方法包括文件索引數(shù)據(jù)庫通過文件索引訪問存儲的一個或多個文件時，訪問到數(shù)據(jù)塊索引數(shù)據(jù)庫中一個或多個的數(shù)據(jù)塊；數(shù)據(jù)塊索引數(shù)據(jù)庫在一段時間內一個或多個數(shù)據(jù)塊被訪問的同時，記錄被訪數(shù)據(jù)塊的最近訪問次數(shù)。
7.按照權利要求6所述的方法，其特征在于，還包括所述數(shù)據(jù)塊索引數(shù)據(jù)庫在記錄的所述最近訪問次數(shù)超過預置的閥值時，將相應的數(shù)據(jù)塊重新整合。
8.按照權利要求7所述的方法，其特征在于，所述數(shù)據(jù)塊索引數(shù)據(jù)庫將相應的數(shù)據(jù)塊重新整合，包括將相應的數(shù)據(jù)塊重新整合為一個新的數(shù)據(jù)塊；或者，將相應的數(shù)據(jù)塊重新整合為一個新文件，存儲在所述文件索引數(shù)據(jù)庫中。
9.按照權利要求6至8任一項所述的方法，其特征在于，還包括所述數(shù)據(jù)塊索引數(shù)據(jù)庫在一個或多個數(shù)據(jù)塊被訪問的同時，將每一數(shù)據(jù)塊的引用次數(shù)作為被依賴度累計，根據(jù)累計的所述引用次數(shù)確定所述數(shù)據(jù)塊的備份數(shù)量，并按照確定的備份數(shù)量將所述數(shù)據(jù)塊備份在不同位置的介質上。
10.按照權利要求9所述的方法，其特征在于，所述數(shù)據(jù)塊索引數(shù)據(jù)庫根據(jù)累計的所述引用次數(shù)確定所述數(shù)據(jù)塊的備份數(shù)量，按照如下公式計算確定所述數(shù)據(jù)塊的備份數(shù)量η = f(num)_l = [min (max (2，a+b Ig (num))，blockmax) ]-1 ； 式中，所述η表示計算出的所述數(shù)據(jù)塊的備份數(shù)量； 所述rmm表示所述數(shù)據(jù)塊的引用次數(shù)； 所述a是根據(jù)所述num設置的常數(shù)； 所述b是根據(jù)所述數(shù)據(jù)塊的重要性級別設置的常數(shù)； 所述blockmax表示所述數(shù)據(jù)塊的備份數(shù)量的上限值。
全文摘要
本發(fā)明披露了一種實現(xiàn)海量數(shù)據(jù)存取的系統(tǒng)及方法，其中系統(tǒng)包括文件索引數(shù)據(jù)庫在通過文件索引來訪問存儲的一個或多個文件時訪問到數(shù)據(jù)塊索引數(shù)據(jù)庫中一個或多個的數(shù)據(jù)塊；數(shù)據(jù)塊索引數(shù)據(jù)庫至少包括數(shù)據(jù)索引預處理模塊，用于在一段時間內一個或多個數(shù)據(jù)塊被訪問的同時，記錄被訪數(shù)據(jù)塊的最近訪問次數(shù)；當記錄的最近訪問次數(shù)超過預置的閥值時，將相應的數(shù)據(jù)塊重新整合。本發(fā)明實現(xiàn)了海量數(shù)據(jù)的高效存取，同時保證了海量數(shù)據(jù)中用戶重要數(shù)據(jù)的完整性及安全性需求。
文檔編號G06F17/30GK102436478SQ20111030888
公開日2012年5月2日 申請日期2011年10月12日 優(yōu)先權日2011年10月12日
發(fā)明者劉正偉, 張硯波 申請人:浪潮(北京)電子信息產業(yè)有限公司