專利名稱：云平臺系統(tǒng)智能備份的制作方法
技術(shù)領(lǐng)域：
本發(fā)明專利屬于云計算領(lǐng)域，涉及網(wǎng)絡(luò)存儲系統(tǒng)。用于支撐大規(guī)模云計算環(huán)境下數(shù)據(jù)的容災(zāi)備份與恢復(fù)，并且高效利用存儲資源，合理分配網(wǎng)絡(luò)資源。
背景技術(shù)：
如今的數(shù)據(jù)中心越來越復(fù)雜，不僅系統(tǒng)規(guī)模每年翻番，系統(tǒng)的復(fù)雜性及面臨的風險也與日俱增，另一面，業(yè)務(wù)部門對業(yè)務(wù)連續(xù)運行的要求卻是不斷提高的，甚至越來越多的系統(tǒng)要求“零數(shù)據(jù)丟失”。為了提高數(shù)據(jù)的安全性，作為數(shù)據(jù)保護的最后一道防線-備份的重要性就不言而喻了。但是根據(jù)國際知名調(diào)研機構(gòu)對世界五百強大企業(yè)的技術(shù)主管的回訪記錄和巡檢記錄來看，大部分企業(yè)用戶的平均備份成功率在75%左右。事實上，我們還注意到很多時候的備份成功率小于50%，恢復(fù)率就更低。一方面我們面臨的實際情況是每天需要備份的數(shù)據(jù)量在增長，但在另一方面，備份系統(tǒng)預(yù)算的增長卻遠遠小于這個速度。為了應(yīng)對這一現(xiàn)實所帶來的問題，本專利提供了一種智能備份的方法，在保障數(shù)據(jù)可靠性，可恢復(fù)性的同時，也達到充分利用、合理調(diào)度系統(tǒng)資源的目的。

發(fā)明內(nèi)容
傳統(tǒng)的網(wǎng)絡(luò)備份特性為共享，無法提供數(shù)據(jù)及傳輸加密服務(wù)，重要數(shù)據(jù)、信息和私密文件等只能通過本地磁盤或移動存儲備份。一方面，隨著信息化進程的深入，各行各業(yè)對數(shù)據(jù)的依賴性，數(shù)據(jù)本身的重要性，都對容災(zāi)備份，容災(zāi)恢復(fù)提出了迫切的要求。另一方面， 現(xiàn)有技術(shù)對存儲資源利用效率低下，無法有效的支持云計算環(huán)境下大規(guī)模，海量數(shù)據(jù)的備份要求。為了克服上述問題，本發(fā)明專利提供一種有效安全的云平臺智能備份系統(tǒng)設(shè)計方案。采用以下的技術(shù)解決方案云平臺智能備份系統(tǒng)在對數(shù)據(jù)進行備份的過程中，會進行一定的壓縮和加密，這種壓縮和加密主要是提高單位存儲容量可以包含的信息，同時在內(nèi)網(wǎng)(云系統(tǒng)內(nèi)部)進行數(shù)據(jù)傳輸時提高對資源的利用率。這種壓縮和加密是以不妨害有關(guān)部門的必要監(jiān)管為前提的。根據(jù)數(shù)據(jù)的規(guī)模，重要性，及其使用對象，本專利能提供異地，異機的備份服務(wù)，從而提高數(shù)據(jù)在重大災(zāi)害和事故面前的可恢復(fù)性。本專利也支持各種不同的備份策略，包括一 (中心)對一(用戶)，一(中心)對多(用戶)，多(中心)對一(用戶)，多(中心)對多(用戶)的備份機制，這樣可以為不同的用戶提供其所需的容災(zāi)可靠性級別。云平臺智能備份系統(tǒng)按照需要來做備份內(nèi)容，提高存儲資源的有效利用。當數(shù)據(jù)更新時，系統(tǒng)記錄用戶的操作，并記錄數(shù)據(jù)的差異。以最常見的數(shù)據(jù)庫數(shù)據(jù)為例，系統(tǒng)使用數(shù)據(jù)庫DUMP命令將數(shù)據(jù)庫備份為數(shù)據(jù)庫差異文件，然后對備份的數(shù)據(jù)庫差異文件進行安全性檢查，再將其上傳到云存儲資源池。在資源池內(nèi)對備份的數(shù)據(jù)庫文件進行重復(fù)數(shù)據(jù)刪除，最后向用戶提交備份報告。這種方法節(jié)省了對數(shù)據(jù)存儲部分大量且卻不必要的I/O操作，而是通過版本管理的方式，通過記錄對數(shù)據(jù)的操作和改變，來實現(xiàn)備份。由于歷史數(shù)據(jù)的變化可以通過原始數(shù)據(jù)備份加上操作和差異文件一一重現(xiàn)，這樣就不需要每次修改都為備份做一次更新，對于某些需要長期保留歷史數(shù)據(jù)的用戶來說也不需要存儲每一個不同的歷史版本。具體來說，對于數(shù)據(jù)操作，不必對操作后的數(shù)據(jù)進行再次備份，而是(在上一個版本的基礎(chǔ)上)以操作記錄和差異文件的形式備份下來(上一個版本的數(shù)據(jù)不必復(fù)制一遍)；系統(tǒng)可以定期，或者在歷史操作數(shù)據(jù)針與差異文件已經(jīng)累積到一定程度的時候(這個標準可以根據(jù)具體應(yīng)用背景來決定，一個簡單的標準可以是“當歷史操作數(shù)據(jù)和差異文件的大小已經(jīng)超過數(shù)據(jù)庫數(shù)據(jù)的大小的時候”)，進行一次備份版本升級，產(chǎn)生一個新版本的備份數(shù)據(jù)庫和當前的數(shù)據(jù)完全一致，以后的數(shù)據(jù)操作和改變都會基于新版本的數(shù)據(jù)和數(shù)據(jù)備份來進行。云平臺智能備份系統(tǒng)可進行有效的資源整合。這些資源包括存儲資源和網(wǎng)絡(luò)帶寬資源。一個正常運營的云計算系統(tǒng)中，用戶數(shù)據(jù)只占很小部分，大量的信息是用戶對數(shù)據(jù)的操作和用戶執(zhí)行的應(yīng)用，這一特點不僅是由于云計算系統(tǒng)以虛擬化的方式向用戶提供資源，同時也是云計算系統(tǒng)安全性和可管理性的要求。本專利中的智能備份系統(tǒng)針對磁盤I/ 0以及帶寬資源的的限制，可以對有限的資源加以分時復(fù)用。具體來說，對于用戶提交的數(shù)據(jù)操作，特別是涉及數(shù)據(jù)復(fù)制，移動等需要大量磁盤I/O和傳輸帶寬的操作，系統(tǒng)在記錄用戶操作后，根據(jù)資源當時使用的情況，現(xiàn)在邏輯上完成操作，并反饋給用戶。隨后，當物理資源有空閑的時候，把邏輯上完成的操作進行物理實現(xiàn)。這個過程首先要保證數(shù)據(jù)完整性，一致性的要求。所以，對于針對同一個數(shù)據(jù)的并發(fā)訪問和操作，在邏輯層完成并發(fā)控制和完整性檢驗。只有當所有操作完成，并通過完整性檢驗后，才會被確認并排入等待物理實現(xiàn)的隊列。這些等待物理實現(xiàn)的信息本身也會被系統(tǒng)暫存?zhèn)浞菰谠拼鎯Τ刂?，以防止硬件故障造成操作信息的丟失。
具體實施例方式技術(shù)實現(xiàn)方案1)備份虛擬化技術(shù)引入及部署-建立一個可擴展的基礎(chǔ)架構(gòu)在云備份架構(gòu)中將備份SA(System Architecture體系結(jié)構(gòu))從生產(chǎn)SA分離出來，使得原有數(shù)據(jù)中心中，那些分散在各個應(yīng)用系統(tǒng)中的備份設(shè)備通過備份SA虛擬化地呈現(xiàn)給整個數(shù)據(jù)中心，形成了一個集中的備份資源池。同時備份的SA可以根據(jù)業(yè)務(wù)的變化， 備份任務(wù)的變化靈活的擴展和回收，實現(xiàn)了備份資源的靈活調(diào)度和靈活的縮放，對生產(chǎn)SA 沒有任何影響。2) 一個共享的、彈性的備份架構(gòu)基于云備份架構(gòu)上的各個關(guān)鍵要素——數(shù)據(jù)、網(wǎng)絡(luò)、存儲資源，分別細化、組合、封裝，最后形成備份服務(wù)。對不同的用戶來說，云備份架構(gòu)可以根據(jù)他們不同的需求，特別是備份可靠性級別以及數(shù)據(jù)存儲生命周期，來定制相應(yīng)的備份服務(wù)方案，不同服務(wù)標準的備份作業(yè)會自動尋找合適的存儲資源，備份數(shù)據(jù)也可以根據(jù)設(shè)定的數(shù)據(jù)存儲生命周期在存儲資源間進行流動。3)操作記錄和完整性檢驗用戶操作和應(yīng)用的記錄都會被詳細的記錄下來，作為云系統(tǒng)龐大的日志的一部分，這些用戶操作記錄構(gòu)成了智能備份的核心。圍繞著這些操作，首先在邏輯上滿足數(shù)據(jù)完整性、一致性的檢驗，這種檢驗參照事務(wù)流程的模式，即只有當一系列相關(guān)聯(lián)的操作一起提交后才進行檢驗，而不是逐步檢驗。為此，對于完整性相關(guān)的數(shù)據(jù)，特別是數(shù)據(jù)庫數(shù)據(jù)，需要調(diào)用相應(yīng)的完整性規(guī)則信息。操作記錄本身和系統(tǒng)日志一樣，會被物理保存于云存儲池中。4)版本控制和差異文件差異文件記錄的是當前的數(shù)據(jù)和前一個版本數(shù)據(jù)上的差別信息。這些信息和用戶操作一起構(gòu)成智能備份的實體。完整地恢復(fù)最近版本地數(shù)據(jù)需要上一個版本的數(shù)據(jù)加上差異文件和操作記錄(一般來說，差異文件本身就已經(jīng)足夠，操作記錄可以用來驗證恢復(fù)的結(jié)果)。版本控制就是要記錄數(shù)據(jù)不同版本的版本信息，并且根據(jù)用戶的需要，定期或按照指定規(guī)則來更新實際備份的數(shù)據(jù)。一個典型的例子就是，當操作記錄和差異文件大過數(shù)據(jù)文件本身的時候，我們可以將這些內(nèi)容變成一個新版本的備份數(shù)據(jù)。至于是否代替原有的備份數(shù)據(jù)，則取決于用戶所要求的數(shù)據(jù)存儲生命周期。5)統(tǒng)一調(diào)度的任務(wù)管理用戶提交的操作一般來說不會馬上得到物理實現(xiàn)，而是以操作記錄的方式暫時存儲下來，這些操作被邏輯實現(xiàn)，并迅速反饋結(jié)果給用戶，物理操作通常會先排在任務(wù)隊列里，被系統(tǒng)統(tǒng)一調(diào)度。任務(wù)本身根據(jù)用戶的不同，任務(wù)性質(zhì)的不同，等待時間的不同，需求資源(I/O資源和帶寬資源)的不同而擁有不同的優(yōu)先級別和調(diào)度策略。6)數(shù)據(jù)壓縮，加密和解壓縮，解密模塊數(shù)據(jù)在提交存儲池之前，都會被壓縮，加密，這些壓縮和加密算法可以按照用戶要求定制，并向有關(guān)部門報備。算法本身并不屬于本專利的一部分，本專利所提供的是一個可以面向不同用戶的壓縮/解壓縮，加密/解密模塊。這個模塊不止是為了提高存儲和傳輸?shù)男?，也是為了增強?shù)據(jù)傳輸過程中的私密性，更重要的是，這個模塊也給公共云環(huán)境的有關(guān)部門的監(jiān)管提供接口。
權(quán)利要求
1.一種云平臺系統(tǒng)智能備份服務(wù)，其特征在于通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將大量不同類型的存儲設(shè)備通過應(yīng)用軟件整合并協(xié)同工作，共同對外提供數(shù)據(jù)存儲備份和業(yè)務(wù)訪問的功能服務(wù)。
2.一種權(quán)力要求1中系統(tǒng)環(huán)境下高可靠性的容災(zāi)保護機制，其特征在于上傳到云存儲資源池的數(shù)據(jù)，根據(jù)用戶需要進行異地、異機數(shù)據(jù)備份。在不妨害必要監(jiān)管的前提下，備份數(shù)據(jù)被壓縮和加密。依據(jù)實際需求，可實現(xiàn)一(中心)對多(用戶)、多 (中心)對多(用戶)、多(中心)對一(用戶)等不同備份方案。
3.一種權(quán)力要求1中系統(tǒng)環(huán)境下備份數(shù)據(jù)管理機制，其特征在于按需確定備份內(nèi)容；參照代碼管理的思想對原始數(shù)據(jù)、備份數(shù)據(jù)以及不同版本備份數(shù)據(jù)之間進行版本管理①使用數(shù)據(jù)庫DUMP命令將數(shù)據(jù)庫備份為數(shù)據(jù)庫差異文件②對備份的數(shù)據(jù)庫差異文件進行安全性檢查③將其上傳到云存儲資源池并對備份的數(shù)據(jù)庫文件進行重復(fù)數(shù)據(jù)刪除④向用戶提交備份報告。
4.一種權(quán)力要求1中系統(tǒng)環(huán)境下文件傳輸機制，其特征在于根據(jù)網(wǎng)絡(luò)傳輸資源的實際情況，數(shù)據(jù)恢復(fù)或異地備份時的數(shù)據(jù)傳輸請求會被有效處理。具體實現(xiàn)方式為用戶提交文件傳輸請求時，智能備份系統(tǒng)記錄其操作內(nèi)容，若網(wǎng)絡(luò)空閑，則立即進行傳輸至任務(wù)結(jié)束；若網(wǎng)絡(luò)繁忙，則首先完成邏輯傳輸操作并迅速響應(yīng)，用戶之后的操作同樣被記錄，等到網(wǎng)絡(luò)空閑，智能備份系統(tǒng)優(yōu)化用戶之前提交的一系列操作，上傳數(shù)據(jù)操作的結(jié)果和操作日志，把之前在邏輯上完成的內(nèi)容在物理設(shè)備上實現(xiàn)。
全文摘要
本發(fā)明提出了一種云平臺系統(tǒng)數(shù)據(jù)智能備份方法。本方法在吸收了目前關(guān)鍵備份技術(shù)的思想后，提供一種可靠有效的云平臺系統(tǒng)數(shù)據(jù)備份的技術(shù)。首先使用數(shù)據(jù)庫DUMP命令將數(shù)據(jù)庫備份為數(shù)據(jù)庫差異文件，然后對備份的數(shù)據(jù)庫差異文件進行安全性檢查，再將其上傳到云存儲資源池。在資源池內(nèi)對備份的數(shù)據(jù)庫文件進行重復(fù)數(shù)據(jù)刪除，最后向用戶提交備份報告?？梢允褂霉ぞ叨ㄆ趯?shù)據(jù)庫完成備份和檢查。該方法對防止云平臺系統(tǒng)數(shù)據(jù)容災(zāi)(指各種原因造成的數(shù)據(jù)損壞、丟失、誤操作)，以及災(zāi)后數(shù)據(jù)恢復(fù)有著十分重要的意義。
文檔編號H04L29/06GK102316131SQ201010215599
公開日2012年1月11日 申請日期2010年7月2日 優(yōu)先權(quán)日2010年7月2日
發(fā)明者戴元順 申請人:戴元順