專利名稱：適用于存儲(chǔ)云內(nèi)數(shù)據(jù)安全遷移的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于存儲(chǔ)云環(huán)境的安全領(lǐng)域，主要應(yīng)用在私有存儲(chǔ)云的數(shù)據(jù)遷移過程中， 通過制定的一套安全規(guī)則策略對(duì)需要遷移的數(shù)據(jù)進(jìn)行安全管理。
背景技術(shù)：
存儲(chǔ)云是一種基于分布式文件系統(tǒng)實(shí)現(xiàn)存儲(chǔ)云的基礎(chǔ)設(shè)施。首先，應(yīng)該明確一下存儲(chǔ)云的概念。所謂存儲(chǔ)云，與云計(jì)算類似，它是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)服務(wù)系統(tǒng)。因此， 存儲(chǔ)云技術(shù)中包含了分布式文件系統(tǒng)的功能特點(diǎn)，本發(fā)明的存儲(chǔ)云大環(huán)境主要是具體針對(duì)當(dāng)前的分布式文件系統(tǒng)而言的。存儲(chǔ)云為了保證系統(tǒng)自身的強(qiáng)壯性、均衡性，其內(nèi)部的分布式文件系統(tǒng)(即分布式存儲(chǔ)集群，以下簡稱“集群”)中數(shù)據(jù)遷移的應(yīng)用是非常廣泛的，最基本的兩種應(yīng)用在于 一、大部分集群為了保證自身的容錯(cuò)性、強(qiáng)壯性，都會(huì)進(jìn)行數(shù)據(jù)冗余備份處理——即同一份數(shù)據(jù)在系統(tǒng)中需要自制出多份拷貝，由此需要進(jìn)行繁多的類似于數(shù)據(jù)復(fù)制、粘貼操作；二、 由于集群是由眾多的動(dòng)態(tài)節(jié)點(diǎn)組成的，即有的節(jié)點(diǎn)會(huì)可能會(huì)在某一時(shí)刻突然宕機(jī)，有的節(jié)點(diǎn)則有可能在某一時(shí)刻重新加入集群，系統(tǒng)為了保證整體存儲(chǔ)的均衡性，會(huì)自動(dòng)或者手動(dòng)觸發(fā)使各個(gè)節(jié)點(diǎn)間的存儲(chǔ)使用率平衡的命令，由此需要進(jìn)行繁多的文件剪切、粘貼操作。針對(duì)以上的分析，在進(jìn)行云環(huán)境的集群內(nèi)部數(shù)據(jù)遷移過程中，普遍存在以下安全風(fēng)險(xiǎn)其一，數(shù)據(jù)在集群內(nèi)進(jìn)行遷移過程中有可能會(huì)被他人從中獲取信息，導(dǎo)致遷移過程中的數(shù)據(jù)被破解而信息泄露。目前人們大多僅僅關(guān)注于此風(fēng)險(xiǎn)，并且很多分布式文件系統(tǒng)針對(duì)此風(fēng)險(xiǎn)已給出了較完善的加密遷移策略。其二，在進(jìn)行數(shù)據(jù)傳輸伊始，任意數(shù)據(jù)源節(jié)點(diǎn)需要對(duì)目標(biāo)節(jié)點(diǎn)進(jìn)行選擇，目前大部分集群選擇目標(biāo)節(jié)點(diǎn)的策略是比較粗略的——計(jì)算對(duì)方節(jié)點(diǎn)上是否已經(jīng)含有需要進(jìn)行傳輸?shù)臄?shù)據(jù)以及參考集群內(nèi)各節(jié)點(diǎn)物理上的拓?fù)浣Y(jié)構(gòu)從而進(jìn)行判定傳輸與否。這類方法過于簡單，而目前往往存在這類安全需求，即在一個(gè)廣義的存儲(chǔ)云環(huán)境下，通常存在多個(gè)分布式文件系統(tǒng)子集群，有的數(shù)據(jù)本身存在于一個(gè)子集群下是安全的，而基于分布式文件系統(tǒng)自身特有的內(nèi)部數(shù)據(jù)遷移特性，該數(shù)據(jù)有可能會(huì)被遷移到其他子集群中，此刻有可能該子集群針對(duì)于該數(shù)據(jù)是不安全的或者說該子集群沒有權(quán)利保存這個(gè)數(shù)據(jù)等等，因此存在一定的安全風(fēng)險(xiǎn)。尤其在基于所有分布式文件系統(tǒng)相對(duì)于用戶存儲(chǔ)透明的大環(huán)境下(用戶僅僅知道自己的數(shù)據(jù)保存在分布式文件系統(tǒng)上，至于這份數(shù)據(jù)時(shí)如何存儲(chǔ)在集群內(nèi)的，存儲(chǔ)在哪臺(tái)機(jī)器上，用戶是不可能知道的)，用戶本身對(duì)于文件的存儲(chǔ)位置就是不可控的，所以針對(duì)此類安全風(fēng)險(xiǎn)，制定出一套在存儲(chǔ)云環(huán)境，即分布式文件系統(tǒng)內(nèi)部遷移時(shí)的數(shù)據(jù)目標(biāo)抉擇以及管理策略顯得尤為重要，這套策略既不能打破分布式文件系統(tǒng)針對(duì)用戶存儲(chǔ)透明的特性，還需要考慮到存儲(chǔ)在集群內(nèi)的數(shù)據(jù)在遷移過程中目標(biāo)節(jié)點(diǎn)的抉擇是否安全。以下是目前可查到的與存儲(chǔ)云或分布式文件系統(tǒng)安全遷移相關(guān)的專利情況。
公開號(hào)為101986663A，發(fā)明名稱為“一種基于OTP的存儲(chǔ)云數(shù)據(jù)存儲(chǔ)方法、裝置及系統(tǒng)”的發(fā)明公開了一種屬于存儲(chǔ)云安全技術(shù)領(lǐng)域的專利，特別涉及一種基于OTP的存儲(chǔ)云數(shù)據(jù)存儲(chǔ)方法、裝置及系統(tǒng)。所述方法包括根據(jù)預(yù)置方法生成并存儲(chǔ)預(yù)定長度的真隨機(jī)數(shù)和由真隨機(jī)數(shù)組成的預(yù)定長度的隨機(jī)種子；從隨機(jī)種子中多次采集數(shù)據(jù)，將每次采集的數(shù)據(jù)級(jí)聯(lián)成不小于明文長度的真隨機(jī)數(shù)據(jù)串；根據(jù)真隨機(jī)數(shù)據(jù)串，生成不小于明文長度的真隨機(jī)密鑰，對(duì)明文加密并發(fā)送至存儲(chǔ)云數(shù)據(jù)中心。該專利雖然也隸屬于存儲(chǔ)云安全技術(shù)領(lǐng)域，但是其關(guān)注的焦點(diǎn)主要放在了數(shù)據(jù)上傳過程中，通過加密的方式實(shí)現(xiàn)安全的數(shù)據(jù)存儲(chǔ)，但是本專利的焦點(diǎn)主要在數(shù)據(jù)上傳以及之后的數(shù)據(jù)遷移過程中目標(biāo)節(jié)點(diǎn)的選擇過程。公開號(hào)為101692239，發(fā)明名稱為“一種分布式文件系統(tǒng)元數(shù)據(jù)分配方法”的發(fā)明公開了一種分布式文件系統(tǒng)元數(shù)據(jù)分配方法。該方法將文件系統(tǒng)的目錄作為哈希的基本單元，采用可擴(kuò)展的哈希方法來分配元數(shù)據(jù)到各個(gè)元數(shù)據(jù)服務(wù)器，使得客戶端可以定位元數(shù)據(jù)的位置，元數(shù)據(jù)訪問效率高，元數(shù)據(jù)分布均勻，負(fù)載均衡；同時(shí)保持了目錄的存儲(chǔ)局部性， 方便預(yù)取的實(shí)現(xiàn)，提高訪問效率。賦給目錄唯一不改變的標(biāo)識(shí)符，避免了哈希路徑名引起的元數(shù)據(jù)遷移，提高系統(tǒng)性能；元數(shù)據(jù)服務(wù)器加入或退出不會(huì)引起大量的元數(shù)據(jù)重新分布，最大限度地減少元數(shù)據(jù)遷移，可擴(kuò)展性高。此專利雖然也是涉及到分布式文件系統(tǒng)的數(shù)據(jù)遷移管理策略。先不說此專利遷移的對(duì)象是元數(shù)據(jù)，而不是文件數(shù)據(jù)本身；單說其關(guān)注的重點(diǎn)是如何高效的通過元數(shù)據(jù)找到客戶端所需要的數(shù)據(jù)，并不是本專利所關(guān)注的安全需求點(diǎn)。公開號(hào)為101316273，發(fā)明名稱為“一種分布式安全存儲(chǔ)系統(tǒng)”的發(fā)明公開了一種擁有良好的身份管理和訪問控制策略的分布式安全存儲(chǔ)系統(tǒng)。該專利目的在于克服現(xiàn)有基于證書的安全存儲(chǔ)系統(tǒng)中安全管理器負(fù)載重，用戶權(quán)限管理復(fù)雜的問題。此專利雖然也屬于一套目標(biāo)決策的解決方案，但是它主要是針對(duì)于用戶訪問控制功能的，更注重的是如何解決用戶權(quán)限管理問題，而不是分布式文件系統(tǒng)中數(shù)據(jù)的目標(biāo)抉擇問題。公開號(hào)為101796795A，發(fā)明名稱為“分布式系統(tǒng)”的發(fā)明公開了一種基于標(biāo)簽的分布式資源歸類系統(tǒng)。其中，分布式系統(tǒng)中的資源利用決策取決于分布式系統(tǒng)中存儲(chǔ)的資源描述的半自動(dòng)歸類。在主要實(shí)施方式中，資源描述是使用用戶或網(wǎng)絡(luò)服務(wù)管理員輸入的標(biāo)簽(例如，描述性詞或短語)進(jìn)行了補(bǔ)充的網(wǎng)絡(luò)服務(wù)描述。最初使用這些描述的自動(dòng)分類， 之后是用戶驅(qū)動(dòng)的對(duì)自動(dòng)生成類別進(jìn)行精細(xì)調(diào)節(jié)，這使得能夠快速創(chuàng)建資源描述的可靠歸類，進(jìn)而帶來更好的資源利用決策且因此帶來分布式系統(tǒng)資源的更有效使用。此專利是針對(duì)分布式系統(tǒng)中的資源，將其通過手動(dòng)及自動(dòng)標(biāo)簽的方式進(jìn)行歸類布局。他解決的主要是分布式系統(tǒng)中各種服務(wù)的描述問題，以及如何通過算法實(shí)現(xiàn)更加準(zhǔn)確的標(biāo)簽描述歸類。雖然也屬于在分布式系統(tǒng)中對(duì)目標(biāo)進(jìn)行管理存放，但是該專利并不是一個(gè)從安全角度出發(fā)的專利，其重視的是解決分布式應(yīng)用的效率問題。

發(fā)明內(nèi)容
針對(duì)存儲(chǔ)云中分布式文件系統(tǒng)內(nèi)部進(jìn)行數(shù)據(jù)安全遷移時(shí)所遇到的目標(biāo)決策問題， 當(dāng)前并沒有相關(guān)專利涉及到這一問題。但是隨著存儲(chǔ)云服務(wù)在互聯(lián)網(wǎng)上應(yīng)用的日益火熱，滿足在集群內(nèi)遷移過程中的安全管理數(shù)據(jù)目標(biāo)的選擇策略的需求迫在眉睫。本發(fā)明針對(duì)此需求，采取基于樹型標(biāo)簽的方法，通過可繼承式的遷移權(quán)限管理，在不破壞分布式文件系統(tǒng)對(duì)于客戶存儲(chǔ)透明這一大前提下，將數(shù)據(jù)遷移的目標(biāo)選擇策略最大程度上交給客戶，從而使得存儲(chǔ)云內(nèi)部的數(shù)據(jù)遷移安全且高效。本發(fā)明的技術(shù)方案為一種適用于存儲(chǔ)云內(nèi)數(shù)據(jù)安全遷移的方法，其步驟為1)將存儲(chǔ)云用戶劃分為若干部門并為每一部門設(shè)一標(biāo)簽，建立該用戶的樹型結(jié)構(gòu)標(biāo)簽，并將其保存到存儲(chǔ)云中的中央節(jié)點(diǎn)；2)將存儲(chǔ)云中的數(shù)據(jù)節(jié)點(diǎn)劃分為若干機(jī)組并為每一機(jī)組設(shè)一標(biāo)簽，建立針對(duì)該用戶的存儲(chǔ)云系統(tǒng)的樹型結(jié)構(gòu)標(biāo)簽，并將其保存到存儲(chǔ)云中的中央節(jié)點(diǎn)；3)建立上述兩顆樹型結(jié)構(gòu)標(biāo)簽的標(biāo)簽點(diǎn)對(duì)點(diǎn)的關(guān)聯(lián)關(guān)系，得到每一部門數(shù)據(jù)遷移過程中的目標(biāo)機(jī)組安全選擇策略，并將其保存到存儲(chǔ)云中的中央節(jié)點(diǎn)；4)中央節(jié)點(diǎn)根據(jù)所述目標(biāo)機(jī)組安全選擇策略，確定每一待遷移數(shù)據(jù)塊要遷移的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，然后執(zhí)行遷移命令進(jìn)行遷移；其中，所述樹型標(biāo)簽結(jié)構(gòu)滿足條件a)每個(gè)標(biāo)簽有零個(gè)或者多個(gè)直接后續(xù)標(biāo)簽， 但至多只能有一個(gè)直接前驅(qū)標(biāo)簽；b)每個(gè)標(biāo)簽的含義都包含其任意后續(xù)標(biāo)簽的含義；C)任意兩個(gè)非前驅(qū)或者非后續(xù)關(guān)系標(biāo)簽的含義之間的交集為空。進(jìn)一步的，所述樹型標(biāo)簽結(jié)構(gòu)為XML文件格式樹型標(biāo)簽結(jié)構(gòu)。進(jìn)一步的，所述執(zhí)行遷移命令進(jìn)行遷移的方法為對(duì)于所述云存儲(chǔ)用戶首次上傳的數(shù)據(jù)塊，中央節(jié)點(diǎn)根據(jù)所述目標(biāo)機(jī)組安全選擇策略確定當(dāng)前數(shù)據(jù)塊的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)當(dāng)前數(shù)據(jù)塊。進(jìn)一步的，所述執(zhí)行遷移命令進(jìn)行遷移的方法為對(duì)于所述云存儲(chǔ)用戶讀取或復(fù)制已上傳的數(shù)據(jù)塊，中央節(jié)點(diǎn)根據(jù)存儲(chǔ)云系統(tǒng)的BlocksMap數(shù)據(jù)結(jié)構(gòu)表確定待遷移數(shù)據(jù)塊所屬的文件，然后根據(jù)找到的文件確定該數(shù)據(jù)塊所屬云存儲(chǔ)用戶，然后通過找到的云存儲(chǔ)用戶確定該數(shù)據(jù)塊所屬的部門；最后根據(jù)部門和所述目標(biāo)機(jī)組安全選擇策略確定該數(shù)據(jù)塊的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行遷移。進(jìn)一步的，所述中央節(jié)點(diǎn)為每一部門的數(shù)據(jù)塊建立一隱身關(guān)系，所述隱身關(guān)系為 數(shù)據(jù)塊- >所屬文件->所屬存儲(chǔ)云用戶->所屬部門；中央節(jié)點(diǎn)根據(jù)所述隱身關(guān)系確定當(dāng)前數(shù)據(jù)塊對(duì)應(yīng)的部門，最后根據(jù)部門和所述目標(biāo)機(jī)組安全選擇策略確定該數(shù)據(jù)塊的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行遷移。進(jìn)一步的，根據(jù)職能或產(chǎn)品線將存儲(chǔ)云用戶劃分為若干部門并為每一部門設(shè)一標(biāo)簽。進(jìn)一步的，根據(jù)數(shù)據(jù)節(jié)點(diǎn)的歸屬地或數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)服務(wù)安全級(jí)別線將數(shù)據(jù)節(jié)點(diǎn)劃分為若干機(jī)組并為每一機(jī)組設(shè)一標(biāo)簽。以下重點(diǎn)闡述發(fā)明中的兩個(gè)要點(diǎn)一、基于樹型標(biāo)簽的規(guī)則首先，這套安全策略中的規(guī)則是由基于XML文件所描述的兩棵樹型標(biāo)簽組成的。針對(duì)當(dāng)前的情況，這套安全規(guī)則主要是為解決企業(yè)需求而提出的 (因此以下涉及的一些名詞也特別針對(duì)企業(yè)而言)。安全規(guī)則中的兩顆樹型標(biāo)簽是由分布式文件系統(tǒng)的使用客戶和存儲(chǔ)服務(wù)提供商分別設(shè)置填充的。
從使用客戶的角度出發(fā)，不難給出一個(gè)最貼切的描述自身企業(yè)組成的樹型結(jié)構(gòu)標(biāo)簽，例如有的客戶可以從不同的職能出發(fā)，劃分部門(如圖1所示)；也可以從不同的產(chǎn)品線出發(fā)，劃分部門(如圖2所示)。但部門的劃分有三個(gè)基本的要求就是需要嚴(yán)格按照樹型結(jié)構(gòu)的特征去定義每個(gè)“部門”所對(duì)應(yīng)的“標(biāo)簽”，即1.每個(gè)標(biāo)簽可以有零個(gè)或者多個(gè)直接后續(xù)標(biāo)簽，但至多只能有一個(gè)直接前驅(qū)標(biāo)簽；2.每個(gè)標(biāo)簽的含義(即所代表的部門)都包含其任意后續(xù)標(biāo)簽的含義；3.任意兩個(gè)非前驅(qū)或者非后續(xù)關(guān)系標(biāo)簽的含義之間的交集為空。使用客戶在遵守以上三個(gè)要求的同時(shí)，將企業(yè)劃分成為可以組成樹型結(jié)構(gòu)的多個(gè)部門之原因在于，該企業(yè)中，按照這種方式劃分出來的不同部門在分布式文件系統(tǒng)上有著不同的數(shù)據(jù)存儲(chǔ)需求——在存儲(chǔ)云的環(huán)境中，所屬于不同部門的數(shù)據(jù)在遷移過程中有著不同的遷移需求。而從服務(wù)提供商的角度出發(fā)，也可以給出一個(gè)最貼切的描述自身集群內(nèi)各個(gè)數(shù)據(jù)節(jié)點(diǎn)組成的樹型結(jié)構(gòu)標(biāo)簽，例如提供商可以分別從分布式文件系統(tǒng)內(nèi)各節(jié)點(diǎn)所歸屬的地區(qū)出發(fā)(如圖3所示)或者從各數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)服務(wù)安全級(jí)別出發(fā)(如圖4所示)將其劃分成為不同的機(jī)組(多個(gè)機(jī)架上的數(shù)據(jù)節(jié)點(diǎn)組成一個(gè)機(jī)組)。同樣，每個(gè)“機(jī)組”對(duì)應(yīng)于一個(gè)“標(biāo)簽”，這些標(biāo)簽的定義也嚴(yán)格遵守上述的樹型結(jié)構(gòu)特征規(guī)則。存儲(chǔ)服務(wù)提供商將分布式文件系統(tǒng)劃分成為多個(gè)機(jī)組的原因在于同使用客戶建立的“部門”樹型結(jié)構(gòu)標(biāo)簽相互對(duì)應(yīng)——從而滿足使用客戶自我定制的不同部門數(shù)據(jù)的安全遷移需求。二、數(shù)據(jù)目標(biāo)安全抉擇的策略類似于函數(shù)的組成，當(dāng)確定了定義域(客戶劃分的基于企業(yè)部門的樹型結(jié)構(gòu)標(biāo)簽)和值域(服務(wù)提供商劃分的基于集群內(nèi)機(jī)組的樹型結(jié)構(gòu)標(biāo)簽)后，需要確定的就是它們之間的對(duì)應(yīng)關(guān)系，即通過XML文件將上述兩顆樹型結(jié)構(gòu)的標(biāo)簽點(diǎn)對(duì)點(diǎn)的聯(lián)系起來，所謂“對(duì)應(yīng)關(guān)系”，其實(shí)就是客戶特定部門下的數(shù)據(jù)在分布式文件系統(tǒng)內(nèi)的遷移過程中目標(biāo)(即機(jī)組)的安全選擇策略。針對(duì)分布式文件系統(tǒng)內(nèi)數(shù)據(jù)安全遷移的需求，將其轉(zhuǎn)化成為固定的規(guī)則有任意部門標(biāo)簽均對(duì)應(yīng)一種且僅一種機(jī)組標(biāo)簽集合；不同的部門標(biāo)簽可以對(duì)應(yīng)相同的機(jī)組標(biāo)簽集合；部門標(biāo)簽之間的包含關(guān)系與其各自對(duì)應(yīng)的機(jī)組標(biāo)簽集合的包含關(guān)系一致(如圖5所示)?？蛻敉ㄟ^設(shè)置適合自身需要的樹形管理結(jié)構(gòu)， 而存儲(chǔ)云服務(wù)提供商提供一份匹配該客戶需求的自身存儲(chǔ)標(biāo)簽。兩者通過協(xié)商將定義好的兩棵樹間的標(biāo)簽對(duì)應(yīng)關(guān)系設(shè)定好，以上三要素均通過XML文件描述和存儲(chǔ)。其中雙方協(xié)商的對(duì)應(yīng)關(guān)系必須有著嚴(yán)格的數(shù)學(xué)方式對(duì)應(yīng)，即任意一個(gè)客戶定義的管理標(biāo)簽，通過描述的目標(biāo)安全抉擇的XML文件得到一個(gè)標(biāo)簽集合(其中的標(biāo)簽為服務(wù)商提供，對(duì)應(yīng)該用戶標(biāo)簽可安全存放的目前集群)，通過數(shù)學(xué)函數(shù)表達(dá)式的方式來描述數(shù)據(jù)目標(biāo)安全抉擇策略有Set {RackLabe 1 r 1 , RackLabel r2 , RackLabe 1 r3. . . }= Function (DepartmentLabel d)；其中，RackLabel rl,r2,r3 e {集群內(nèi)各個(gè)機(jī)組的標(biāo)簽}；DepartmentLabel d e {企業(yè)內(nèi)各個(gè)部門的標(biāo)簽}；FuctionO為數(shù)據(jù)目前安全抉擇策略——當(dāng)某數(shù)據(jù)屬于標(biāo)有D印artmentLabel d 的一個(gè)部門時(shí)，該數(shù)據(jù)只能在分布式文件系統(tǒng)的遷移機(jī)制下，“自由存儲(chǔ)”在隸屬于rl，r2, r3任意RackLabel下的數(shù)據(jù)節(jié)點(diǎn)當(dāng)中。若存儲(chǔ)在其他的數(shù)據(jù)節(jié)點(diǎn)下將被視為不安全的遷移操作。在一個(gè)存儲(chǔ)云服務(wù)的環(huán)境中，客戶企業(yè)有很多，而一個(gè)FimctionO特指一個(gè)客戶與服務(wù)提供商之間定制的安全遷移策略——即FimctionO與企業(yè)客戶互成一一映射關(guān)系。數(shù)據(jù)目標(biāo)的安全抉擇策略是由企業(yè)客戶與服務(wù)提供商雙方共同設(shè)計(jì)、定制而成的。雙方都應(yīng)該從考慮自身以及對(duì)方的具體情況出發(fā)而定制樹型標(biāo)簽以及設(shè)計(jì)安全策略。 在這種情況下，各自的樹型標(biāo)簽以及安全策略的頻繁修改是不提倡的，因?yàn)閷?duì)于分布式文件系統(tǒng)而言，這樣的操作會(huì)帶來額外消耗，系統(tǒng)需要啟動(dòng)異步線程對(duì)每個(gè)數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)重新進(jìn)行目標(biāo)安全決策的判定，這樣勢必會(huì)降低整個(gè)集群的服務(wù)能力。與現(xiàn)有技術(shù)相比，本發(fā)明的積極效果為1、由于客戶在初次使用時(shí)，僅僅需要提供一個(gè)適合其管理的樹型標(biāo)簽結(jié)構(gòu)，并與存儲(chǔ)云的服務(wù)提供商共同定義與服務(wù)商設(shè)置的樹型結(jié)構(gòu)存儲(chǔ)節(jié)點(diǎn)標(biāo)簽的對(duì)應(yīng)關(guān)系，即目標(biāo)安全遷移規(guī)則，這樣降低了客戶對(duì)于向存儲(chǔ)云的環(huán)境遷移的學(xué)習(xí)成本。2、由于“兩棵樹，一套規(guī)則”的方式極大的降低了各個(gè)客戶與提供商之間的耦合度，使得存儲(chǔ)云環(huán)境的提供商可以靈活的應(yīng)對(duì)客戶的加入或者退出。3、以往的技術(shù)往往在安全規(guī)則定義以后便不再能夠修改，而此發(fā)明不僅支持修改，而且是“熱修改”，即服務(wù)管理員只需要將描述樹型標(biāo)簽結(jié)構(gòu)和目標(biāo)安全規(guī)則的XML文件，并重新載入分布式文件系統(tǒng)即可，無需重新啟動(dòng)等繁雜的操作。


圖1、基于職能劃分的部門樹型結(jié)構(gòu)標(biāo)簽圖；圖2、基于產(chǎn)品劃分的部門樹型結(jié)構(gòu)標(biāo)簽圖；圖3、基于地區(qū)劃分的集群內(nèi)機(jī)組樹型結(jié)構(gòu)標(biāo)簽圖；圖4、基于安全級(jí)別的集群內(nèi)機(jī)組樹型結(jié)構(gòu)標(biāo)簽圖；圖5、兩顆樹型結(jié)構(gòu)標(biāo)簽之間的映射關(guān)系圖；圖6、本發(fā)明整體方法流程圖。
具體實(shí)施例方式存儲(chǔ)云服務(wù)的提供主要依賴于存儲(chǔ)云架構(gòu)中基礎(chǔ)管理層的分布式文件系統(tǒng)。而當(dāng)前社會(huì)中最流行，運(yùn)用范圍最廣泛的分布式文件系統(tǒng)當(dāng)屬基于Apache下的Hadoop開源項(xiàng)目中的子項(xiàng)目HDFS(Hadoop Distributed File System, Hadoop分布式文件系統(tǒng))。本專利的基本原型也是利用HDFS進(jìn)行開發(fā)的。在具體的開發(fā)實(shí)施過程中，采取AOP(面向切面編程)的思路，做到不修改HDFS原本代碼，將數(shù)據(jù)遷移的安全策略完全集成在每一個(gè)切面 (Aspect)中，以做到最大程度上的降低安全遷移策略與原系統(tǒng)的耦合度。首先具體介紹一下原型開發(fā)的平臺(tái)——HDFS,即一個(gè)主從結(jié)構(gòu)的體系，一個(gè)HDFS 集群包含一個(gè)中央節(jié)點(diǎn)(NameNode節(jié)點(diǎn))，它是一個(gè)管理文件的命名空間和調(diào)節(jié)客戶端訪問文件的主服務(wù)器，另外還包含多個(gè)數(shù)據(jù)節(jié)點(diǎn)(DataNode節(jié)點(diǎn))，它用于管理存儲(chǔ)。HDFS的內(nèi)部存儲(chǔ)機(jī)制是將一個(gè)文件分割成一個(gè)或多個(gè)的數(shù)據(jù)塊(Block)，這些Block是HDFS在存儲(chǔ)上的最小單位，為了保證HDFS的可靠性，Block會(huì)存儲(chǔ)在一系列的DataNode上。NameNode 在啟動(dòng)后的主要任務(wù)在于操作和管理文件命名空間以及控制文件的數(shù)量，同時(shí)保存各文件與自身多個(gè)Block的對(duì)應(yīng)關(guān)系，以及各Block與存放的DataNode間的映射，以便在客戶操作文件時(shí)，能夠讓Client與DataNode順利連接。而DataNode的功能主要是保存數(shù)據(jù)，以及完成NameNode所發(fā)放的命令，另外就是為了讓NameNode節(jié)點(diǎn)了解各DataNode節(jié)點(diǎn)的數(shù)據(jù)情況，DataNode需要定期向NameNode發(fā)放一個(gè)heartbeat信息。目前HDFS自身在集群內(nèi)數(shù)據(jù)遷移方面的安全風(fēng)險(xiǎn)是十分突出的，正如在技術(shù)背景中所分析到的情況一樣，HDFS當(dāng)中存儲(chǔ)的成千上萬份文件是由若干個(gè)Block組成的，而 HDFS在進(jìn)行分布式文件系統(tǒng)所特有的數(shù)據(jù)拷貝以及負(fù)載均衡操作時(shí)，會(huì)將這些Block進(jìn)行無數(shù)次的復(fù)制——粘貼，剪切——粘貼操作。對(duì)于這一操作過程中Block存放目的地的選擇HDFS僅僅依靠一個(gè)名為機(jī)架感知(Rack Awareness)的副本存放策略來完成的。所謂機(jī)架感知存放策略，即在大多數(shù)情況下，Block副本系數(shù)是3，HDFS的存放策略是將一個(gè)Block 副本存放在本地機(jī)架的節(jié)點(diǎn)上，一個(gè)副本放在同一機(jī)架的另一個(gè)節(jié)點(diǎn)上，最后一個(gè)副本放在不同機(jī)架的節(jié)點(diǎn)上。簡單來說便是，該策略將三分之一的Block副本在一個(gè)節(jié)點(diǎn)上，三分之二的Block副本在一個(gè)機(jī)架上，其他副本均勻分布在剩下的機(jī)架中，這一策略在不損害數(shù)據(jù)可靠性和讀取性能的情況下改進(jìn)了寫的性能。不難看出當(dāng)前的HDFS數(shù)據(jù)存放策略僅僅是從效率出發(fā)的，隨著HDFS當(dāng)中的DataNode越來越多，Block副本可選擇性就越來越大， 為了保證每個(gè)Block都存放在一個(gè)符合自身安全需求的DataNode上，就務(wù)必引入一套管理 Block遷移中目標(biāo)抉擇的安全規(guī)則策略。本發(fā)明的集群內(nèi)遷移實(shí)現(xiàn)方法如圖6所示首先通過XML格式的配置文件將兩組標(biāo)簽，一套規(guī)則描述下來(每個(gè)在該集群上的企業(yè)用戶擁有與之匹配的XML描述文件)。這一系列的規(guī)則描述文件保存在NameNode 服務(wù)器上，當(dāng)啟動(dòng)HDFS時(shí)，通過增添需要讀取的規(guī)則配置文件，將其以多個(gè)Map<String， Set<String rulesMap的數(shù)據(jù)結(jié)構(gòu)形式常駐在NameNode服務(wù)器內(nèi)存當(dāng)中，每個(gè)客戶擁有一個(gè)rulesMap，從而多個(gè)rulesMap組成一個(gè)針對(duì)不同企業(yè)用戶而定制不同安全遷移策略的 Map_Pool。從客戶上傳文件開始堅(jiān)決遵循安全遷移策略，即在NameNode服務(wù)器端內(nèi)存中常駐著一個(gè)BlocksMap的數(shù)據(jù)結(jié)構(gòu)(BlocksMap是Hadoop中原有的數(shù)據(jù)結(jié)構(gòu)，用于存儲(chǔ)Block 與File的映射)。通過這個(gè)表和安全遷移策略，可以得到以下一個(gè)隱身關(guān)系=Block- > File- > User- > Group,即通過HDFS當(dāng)初存儲(chǔ)的最基本單位Block，可以找到其所隸屬的文件，再從文件找到其創(chuàng)建客戶，而通過創(chuàng)建客戶，不難得到之前所談到的部門(這里為達(dá)到與HDFS中一致，用Group表示)，將部門傳入Map_P00l，即可得到通過上述安全遷移策略所返回的一系列有權(quán)限接受該部門Block的DataNode。從而無論是在集群內(nèi)的副本遷移還是負(fù)載均衡當(dāng)中，均可通過AOP的方式在原有的邏輯前增加該數(shù)據(jù)安全遷移策略。在副本遷移當(dāng)中，只需要針對(duì)FSNamesystem類中的getAdditionalBlock(客戶首次上傳文件時(shí)，NameNode會(huì)使用該方法尋找DataNode存儲(chǔ)該Block)與 computeR印IicationWork (當(dāng)NameNode在管理整個(gè)HDFS中的Block所含有副本數(shù)情況時(shí)， 如果發(fā)現(xiàn)Block的數(shù)量不足，則需要使用該方法進(jìn)行副本復(fù)制操作)兩個(gè)方法進(jìn)行AOP的 around操作，增加上述的安全遷移策略邏輯即可完成。而在負(fù)載均衡中增加安全策略則需要讓NameNode實(shí)現(xiàn)一個(gè) SaferBalancerProtocol 接口，因?yàn)榛?Java 的反射機(jī)制,HDFS 中 NameNode 與 Balancer 服務(wù)器間的通訊是基于RPC方式的，通過&iferBalancerProtocol中的is&ifeTarget方法， 利用之前所說的策略，在Balancer類中的isGoodBlockCandidate方法中添加安全遷移邏輯，即可完成安全遷移的策略了。
權(quán)利要求
1.一種適用于存儲(chǔ)云內(nèi)數(shù)據(jù)安全遷移的方法，其步驟為1)將存儲(chǔ)云用戶劃分為若干部門并為每一部門設(shè)一標(biāo)簽，建立該用戶的樹型結(jié)構(gòu)標(biāo)簽，并將其保存到存儲(chǔ)云中的中央節(jié)點(diǎn)；2)將存儲(chǔ)云中的數(shù)據(jù)節(jié)點(diǎn)劃分為若干機(jī)組并為每一機(jī)組設(shè)一標(biāo)簽，建立針對(duì)該用戶的存儲(chǔ)云系統(tǒng)的樹型結(jié)構(gòu)標(biāo)簽，并將其保存到存儲(chǔ)云中的中央節(jié)點(diǎn)；3)建立上述兩顆樹型結(jié)構(gòu)標(biāo)簽的標(biāo)簽點(diǎn)對(duì)點(diǎn)的關(guān)聯(lián)關(guān)系，得到每一部門數(shù)據(jù)遷移過程中的目標(biāo)機(jī)組安全選擇策略，并將其保存到存儲(chǔ)云中的中央節(jié)點(diǎn)；4)中央節(jié)點(diǎn)根據(jù)所述目標(biāo)機(jī)組安全選擇策略，確定每一待遷移數(shù)據(jù)塊要遷移的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，然后執(zhí)行遷移命令進(jìn)行遷移；其中，所述樹型標(biāo)簽結(jié)構(gòu)滿足條件a)每個(gè)標(biāo)簽有零個(gè)或者多個(gè)直接后續(xù)標(biāo)簽，但至多只能有一個(gè)直接前驅(qū)標(biāo)簽；b)每個(gè)標(biāo)簽的含義都包含其任意后續(xù)標(biāo)簽的含義；c)任意兩個(gè)非前驅(qū)或者非后續(xù)關(guān)系標(biāo)簽的含義之間的交集為空。
2.如權(quán)利要求1所述的方法，其特征在于所述樹型標(biāo)簽結(jié)構(gòu)為XML文件格式樹型標(biāo)簽結(jié)構(gòu)。
3.如權(quán)利要求2所述的方法，其特征在于所述執(zhí)行遷移命令進(jìn)行遷移的方法為對(duì)于所述云存儲(chǔ)用戶首次上傳的數(shù)據(jù)塊，中央節(jié)點(diǎn)根據(jù)所述目標(biāo)機(jī)組安全選擇策略確定當(dāng)前數(shù)據(jù)塊的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)當(dāng)前數(shù)據(jù)塊。
4.如權(quán)利要求2所述的方法，其特征在于所述執(zhí)行遷移命令進(jìn)行遷移的方法為對(duì)于所述云存儲(chǔ)用戶讀取或復(fù)制已上傳的數(shù)據(jù)塊，中央節(jié)點(diǎn)根據(jù)存儲(chǔ)云系統(tǒng)的BlocksMap數(shù)據(jù)結(jié)構(gòu)表確定待遷移數(shù)據(jù)塊所屬的文件，然后根據(jù)找到的文件確定該數(shù)據(jù)塊所屬云存儲(chǔ)用戶，然后通過找到的云存儲(chǔ)用戶確定該數(shù)據(jù)塊所屬的部門；最后根據(jù)部門和所述目標(biāo)機(jī)組安全選擇策略確定該數(shù)據(jù)塊的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行遷移。
5.如權(quán)利要求4所述的方法，其特征在于所述中央節(jié)點(diǎn)為每一部門的數(shù)據(jù)塊建立一隱身關(guān)系，所述隱身關(guān)系為數(shù)據(jù)塊- >所屬文件- >所屬存儲(chǔ)云用戶- >所屬部門；中央節(jié)點(diǎn)根據(jù)所述隱身關(guān)系確定當(dāng)前數(shù)據(jù)塊對(duì)應(yīng)的部門，最后根據(jù)部門和所述目標(biāo)機(jī)組安全選擇策略確定該數(shù)據(jù)塊的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行遷移。
6.如權(quán)利要求1或2或3或4或5所述的方法，其特征在于根據(jù)職能或產(chǎn)品線將存儲(chǔ)云用戶劃分為若干部門并為每一部門設(shè)一標(biāo)簽。
7.如權(quán)利要求1或2或3或4或5所述的方法，其特征在于根據(jù)數(shù)據(jù)節(jié)點(diǎn)的歸屬地或數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)服務(wù)安全級(jí)別線將數(shù)據(jù)節(jié)點(diǎn)劃分為若干機(jī)組并為每一機(jī)組設(shè)一標(biāo)簽。
全文摘要
本發(fā)明公開了一種適用于存儲(chǔ)云內(nèi)數(shù)據(jù)安全遷移的方法，屬于存儲(chǔ)云環(huán)境的安全領(lǐng)域。本方法為1)將存儲(chǔ)云用戶劃分為若干部門并為每一部門設(shè)一標(biāo)簽，建立該用戶的樹型結(jié)構(gòu)標(biāo)簽，并將其保存到存儲(chǔ)云中的中央節(jié)點(diǎn)；2)將存儲(chǔ)云中的數(shù)據(jù)節(jié)點(diǎn)劃分為若干機(jī)組并為每一機(jī)組設(shè)一標(biāo)簽，建立存儲(chǔ)云系統(tǒng)的樹型結(jié)構(gòu)標(biāo)簽，并將其保存到存儲(chǔ)云中的中央節(jié)點(diǎn)；3)建立上述兩顆樹型結(jié)構(gòu)標(biāo)簽點(diǎn)對(duì)點(diǎn)的關(guān)聯(lián)關(guān)系，得到每一部門數(shù)據(jù)遷移過程中的目標(biāo)機(jī)組安全選擇策略，并將其保存到存儲(chǔ)云中的中央節(jié)點(diǎn)；4)中央節(jié)點(diǎn)所述目標(biāo)機(jī)組安全選擇策略，確定每一待遷移數(shù)據(jù)塊要遷移的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)，然后執(zhí)行遷移命令進(jìn)行遷移。本發(fā)明易于操作，降低了客戶與提供商之間的耦合度。
文檔編號(hào)H04L29/06GK102196049SQ20111014486
公開日2011年9月21日 申請(qǐng)日期2011年5月31日 優(yōu)先權(quán)日2011年5月31日
發(fā)明者勞振明, 吳尉瀧, 楊雅輝, 沈晴霓, 王丹丹, 禹熹, 龍敏 申請(qǐng)人:北京大學(xué)