專利名稱：一種動(dòng)態(tài)自適應(yīng)的網(wǎng)格數(shù)據(jù)遷移方法
技術(shù)領(lǐng)域：
本發(fā)明是一種網(wǎng)格計(jì)算中的數(shù)據(jù)遷移方法，主要用于解決網(wǎng)格數(shù)據(jù)遷移的問題，屬于分布式計(jì)算軟件領(lǐng)域。

背景技術(shù)：
網(wǎng)格計(jì)算是一個(gè)分布式和并行計(jì)算的支持平臺(tái)，是一種無縫、集成計(jì)算和協(xié)同環(huán)境。它可以作為虛擬的整體使用在地理上分散的計(jì)算資源，如高速互連的異構(gòu)計(jì)算機(jī)、數(shù)據(jù)庫、科學(xué)儀器、文件和超級(jí)計(jì)算系統(tǒng)等?；贗nternet的網(wǎng)格計(jì)算系統(tǒng)不但能使人們聚集分散的計(jì)算能力、形成超級(jí)計(jì)算的能力，解決諸如高能物理、大氣、天文、生物信息和石油地質(zhì)等許多重大應(yīng)用領(lǐng)域中的問題(諸如虛擬核爆炸、新藥研制、氣象預(yù)報(bào)和環(huán)境監(jiān)測等)，而且還能使人們共享和充分利用網(wǎng)絡(luò)中的各種資源。簡言之，網(wǎng)格把整個(gè)Internet整合成一臺(tái)巨大的超級(jí)計(jì)算機(jī)，實(shí)現(xiàn)計(jì)算資源、存儲(chǔ)資源、數(shù)據(jù)資源、信息資源、知識(shí)資源、專家資源的全面共享和協(xié)同。
由于網(wǎng)格計(jì)算的這些優(yōu)勢，它在科學(xué)計(jì)算、數(shù)據(jù)存儲(chǔ)、虛擬現(xiàn)實(shí)、軍事以及電子商務(wù)等各個(gè)領(lǐng)域展開了廣泛的研究和應(yīng)用開發(fā)，且都有著良好的應(yīng)用前景，對(duì)網(wǎng)格計(jì)算技術(shù)的研究也日益受到各國政府和科研機(jī)構(gòu)的重視。網(wǎng)格計(jì)算主要包括信息管理、數(shù)據(jù)管理、資源管理、作業(yè)管理以及安全管理等功能模塊，其中數(shù)據(jù)管理是把網(wǎng)格應(yīng)用到實(shí)際問題中的關(guān)鍵技術(shù)之一，而數(shù)據(jù)遷移是一種不產(chǎn)生數(shù)據(jù)副本的數(shù)據(jù)管理機(jī)制，目的就是為了提高數(shù)據(jù)請(qǐng)求的響應(yīng)速度。因此研究有效的數(shù)據(jù)遷移方案能夠更好地提高網(wǎng)格數(shù)據(jù)管理能力，具有重要的意義。
數(shù)據(jù)遷移主要需考慮兩個(gè)方面的問題(1)數(shù)據(jù)遷移到新節(jié)點(diǎn)的選擇(2)數(shù)據(jù)遷移后如何把原來數(shù)據(jù)的URL訪問請(qǐng)求引導(dǎo)到新的位置。對(duì)于數(shù)據(jù)遷移而言，選擇一個(gè)合適的新節(jié)點(diǎn)作為移動(dòng)數(shù)據(jù)的目的節(jié)點(diǎn)，有諸多因素需要考慮首先該節(jié)點(diǎn)的可達(dá)帶寬要大于或者等于該數(shù)據(jù)未來一段時(shí)間的可能的請(qǐng)求帶寬，其次新節(jié)點(diǎn)的數(shù)據(jù)容器要支持待遷移的數(shù)據(jù)，最后新選擇的節(jié)點(diǎn)的數(shù)據(jù)訪問負(fù)載要小，避免移動(dòng)數(shù)據(jù)后造成該節(jié)點(diǎn)負(fù)載過大。而數(shù)據(jù)遷移后如何把按原來數(shù)據(jù)的URL訪問請(qǐng)求引導(dǎo)到新的位置，也是數(shù)據(jù)遷移的關(guān)鍵技術(shù)。


發(fā)明內(nèi)容
技術(shù)問題本發(fā)明的目的就是提供一種動(dòng)態(tài)自適應(yīng)的網(wǎng)格數(shù)據(jù)遷移方法，來解決網(wǎng)格環(huán)境下的數(shù)據(jù)遷移問題，本機(jī)制是一種策略性方法，通過使用本方法可以使得網(wǎng)格數(shù)據(jù)在一定條件下動(dòng)態(tài)自主地進(jìn)行遷移。
技術(shù)方案本發(fā)明的方法是一種策略性的方法，通過一種基于基因表達(dá)式編程算法來選擇網(wǎng)格節(jié)點(diǎn)，從而解決了數(shù)據(jù)在發(fā)生遷移時(shí)新節(jié)點(diǎn)的選擇，同時(shí)基于索引技術(shù)來完成把遷移后的數(shù)據(jù)從原來的位置引導(dǎo)到新的位置上。
一、體系結(jié)構(gòu) 圖1給出了動(dòng)態(tài)自適應(yīng)的網(wǎng)格數(shù)據(jù)遷移結(jié)構(gòu)圖，它主要包括四個(gè)部分?jǐn)?shù)據(jù)遷移控制器、目標(biāo)節(jié)點(diǎn)選擇器、索引分析器以及數(shù)據(jù)遷移操作核心。圖中的數(shù)據(jù)遷移操作核心包括了在目標(biāo)節(jié)點(diǎn)選好的情況下，對(duì)數(shù)據(jù)進(jìn)行遷移所需的所有具體操作。本發(fā)明增加了其它三個(gè)部分并不影響對(duì)數(shù)據(jù)本身的遷移動(dòng)作，只是保證數(shù)據(jù)遷移更加順利有效地進(jìn)行。
下面給出具體介紹 數(shù)據(jù)遷移控制器數(shù)據(jù)的移動(dòng)主要有網(wǎng)格系統(tǒng)管理下的數(shù)據(jù)移動(dòng)和數(shù)據(jù)擁有者請(qǐng)求下的數(shù)據(jù)遷移兩種情況。當(dāng)一個(gè)數(shù)據(jù)需要遷移時(shí)，表明該數(shù)據(jù)在這個(gè)節(jié)點(diǎn)上的存在已經(jīng)不能給網(wǎng)格用戶提供所需的服務(wù)質(zhì)量，或者造成了傳輸資源的浪費(fèi)。數(shù)據(jù)遷移控制器可以通過判斷上述這些發(fā)生數(shù)據(jù)遷移的條件是否滿足來決定是否進(jìn)行數(shù)據(jù)的遷移。在本專利中對(duì)數(shù)據(jù)遷移控制的具體實(shí)現(xiàn)不做任何限制。
目標(biāo)節(jié)點(diǎn)選擇器數(shù)據(jù)從一個(gè)節(jié)點(diǎn)遷移到另一個(gè)節(jié)點(diǎn)上時(shí)，需要從諸多的網(wǎng)格節(jié)點(diǎn)中選擇一個(gè)合適的節(jié)點(diǎn)作為遷移數(shù)據(jù)的目標(biāo)節(jié)點(diǎn)，并把數(shù)據(jù)遷移到新選擇的節(jié)點(diǎn)上。而新節(jié)點(diǎn)的選擇需要滿足節(jié)點(diǎn)的請(qǐng)求帶寬要足夠大、新舊節(jié)點(diǎn)的數(shù)據(jù)容器要一致以及節(jié)點(diǎn)的負(fù)載不能過大等條件，節(jié)點(diǎn)選擇器主要就是通過基因表達(dá)式編程來選擇滿足上述條件的新節(jié)點(diǎn)。
索引分析器數(shù)據(jù)遷移后如何把按原來數(shù)據(jù)的URL訪問請(qǐng)求引導(dǎo)到新的位置，這是數(shù)據(jù)遷移管理的關(guān)鍵環(huán)節(jié)。通過在原節(jié)點(diǎn)建立一個(gè)索引表，用戶請(qǐng)求數(shù)據(jù)時(shí)，會(huì)通過數(shù)據(jù)名查詢索引表，再通過索引表自動(dòng)把用戶訪問請(qǐng)求引導(dǎo)到新的位置。
二、方法流程 1、數(shù)據(jù)遷移控制器 網(wǎng)格中的數(shù)據(jù)是否發(fā)生遷移取決于數(shù)據(jù)在當(dāng)前節(jié)點(diǎn)上的存在已經(jīng)不能滿足用戶的服務(wù)質(zhì)量需求或者造成了傳輸資源的浪費(fèi)。為了及時(shí)判斷出當(dāng)前網(wǎng)格中的數(shù)據(jù)是否要發(fā)生遷移，在本方法中，建立一個(gè)數(shù)據(jù)遷移知識(shí)規(guī)則庫，把當(dāng)前反映數(shù)據(jù)是否發(fā)生遷移的條件輸入到數(shù)據(jù)遷移知識(shí)規(guī)則庫中，用戶定時(shí)采集網(wǎng)格中數(shù)據(jù)提供給用戶的服務(wù)質(zhì)量情況以及傳輸資源的利用情況，然后查詢數(shù)據(jù)遷移知識(shí)規(guī)則庫來判斷當(dāng)前數(shù)據(jù)是否需要發(fā)生遷移。
2、目標(biāo)節(jié)點(diǎn)選擇器 數(shù)據(jù)從一個(gè)節(jié)點(diǎn)遷移到另一個(gè)節(jié)點(diǎn)上，需要對(duì)目標(biāo)節(jié)點(diǎn)的性能進(jìn)行評(píng)估，以便于遷移后的數(shù)據(jù)能給網(wǎng)格用戶提供所需要的服務(wù)質(zhì)量，也不會(huì)造成傳輸資源的浪費(fèi)。由于新節(jié)點(diǎn)的選擇需要考慮諸多因素，要從中找出最優(yōu)化的節(jié)點(diǎn)，就必須對(duì)這些指標(biāo)進(jìn)行量化，但有些因素是動(dòng)態(tài)變化的，具體量化很困難，而且復(fù)雜。故在本方法中，我們提出了基于基因表達(dá)式編程的網(wǎng)格節(jié)點(diǎn)選擇策略。
首先要對(duì)待選擇的節(jié)點(diǎn)的指標(biāo)進(jìn)行數(shù)字化。在實(shí)際中考慮以下四個(gè)指標(biāo)作為我們選擇目標(biāo)節(jié)點(diǎn)的因素1)該節(jié)點(diǎn)的可達(dá)帶寬Mc；2)該節(jié)點(diǎn)的本地管理系統(tǒng)屬性y；3)本節(jié)點(diǎn)的數(shù)據(jù)訪問負(fù)載z；4)當(dāng)前待遷移數(shù)據(jù)的大小s。為了問題的處理，需要對(duì)上述指標(biāo)進(jìn)行預(yù)處理。
設(shè)某節(jié)點(diǎn)的當(dāng)前的可達(dá)帶寬為Mc，未來一段時(shí)間的可能的請(qǐng)求帶寬為M，則令而當(dāng)該節(jié)點(diǎn)的本地管理系統(tǒng)支持遷移數(shù)據(jù)的特征和屬性時(shí)，y＝1，否則y＝0。通過相應(yīng)的分析軟件可以得到當(dāng)前網(wǎng)格節(jié)點(diǎn)的數(shù)據(jù)訪問負(fù)載z的情況，并進(jìn)行歸一化處理。并對(duì)當(dāng)前遷移數(shù)據(jù)的大小s也進(jìn)行歸一化處理。再設(shè)F表示是否接受該節(jié)點(diǎn)為目標(biāo)節(jié)點(diǎn)，當(dāng)x≥1，y＝1，0＜z＜0.5，0＜s＜0.5時(shí)，我們認(rèn)為該節(jié)點(diǎn)可以作為數(shù)據(jù)遷移的目標(biāo)節(jié)點(diǎn)，此時(shí)F＝1，否則F＝0。在此我們構(gòu)建如下樣本數(shù)據(jù)表， 表1
在本發(fā)明中我們使用基因表達(dá)式編程算法來從事先得到的一組樣本數(shù)據(jù)中挖掘出F與x，y，z，s之間的函數(shù)關(guān)系F＝f(x，y，z，s)，然后對(duì)待選擇的節(jié)點(diǎn)把上述四個(gè)參數(shù)帶入計(jì)算F的值，取F最大的為數(shù)據(jù)遷移的目標(biāo)節(jié)點(diǎn)。
主要工作流程如下 (1)收集有關(guān)網(wǎng)格節(jié)點(diǎn)的當(dāng)前運(yùn)行參數(shù)和屬性的數(shù)據(jù)，并對(duì)該數(shù)據(jù)進(jìn)行預(yù)處理，組成待挖掘的測試樣本； (2)根據(jù)參數(shù)，初始化種群； (3)評(píng)價(jià)種群中每一個(gè)個(gè)體的適應(yīng)度函數(shù)值； (4)判斷是否滿足終止條件，若滿足則轉(zhuǎn)到第(7)步，否則繼續(xù)； (5)按照概率執(zhí)行各種遺傳操作； (6)產(chǎn)生新的種群，并轉(zhuǎn)到第(3)步。
(7)返回函數(shù)關(guān)系式，帶入網(wǎng)格節(jié)點(diǎn)的指標(biāo)參數(shù)樣本數(shù)據(jù)進(jìn)行計(jì)算，返回F為最大值的網(wǎng)格節(jié)點(diǎn)即為所求的目標(biāo)節(jié)點(diǎn)。
通過基因表達(dá)式編程算法使得網(wǎng)格節(jié)點(diǎn)具有自適應(yīng)的特點(diǎn)，通過定時(shí)運(yùn)行該算法程序，不斷根據(jù)收集到的網(wǎng)格節(jié)點(diǎn)的運(yùn)行參數(shù)和屬性的數(shù)據(jù)來動(dòng)態(tài)調(diào)整算法的參數(shù)，從而使得節(jié)點(diǎn)的選擇更加合理和優(yōu)化。
3、索引分析器 數(shù)據(jù)從一個(gè)節(jié)點(diǎn)遷移到另一個(gè)節(jié)點(diǎn)后，原來的舊數(shù)據(jù)要求刪除，如何把用戶從原來的位置引導(dǎo)到新節(jié)點(diǎn)上是數(shù)據(jù)遷移的重要工作之一。在本發(fā)明中通過建立索引來完成重新引導(dǎo)的工作，用戶在網(wǎng)格上主要是痛過數(shù)據(jù)名來訪問特定的數(shù)據(jù)實(shí)例，那么只要把數(shù)據(jù)名和數(shù)據(jù)所處的URL，也既是把該數(shù)據(jù)名和數(shù)據(jù)所處的網(wǎng)絡(luò)地址進(jìn)行一對(duì)一的映射，在數(shù)據(jù)遷移時(shí)，刪除原來的URL，添加目標(biāo)節(jié)點(diǎn)所在的URL，這樣用戶通過索引分析器就可以找到對(duì)應(yīng)數(shù)據(jù)名的URL地址，從而把用戶正確引導(dǎo)到新的位置上。為了說明這個(gè)過程，我們以電信計(jì)費(fèi)數(shù)據(jù)為例，整個(gè)數(shù)據(jù)庫的結(jié)構(gòu)以及更新后的情況如表2，表3所示。
表2更新前的索引數(shù)據(jù)庫 表3更新后的索引數(shù)據(jù)庫 從表2和表3中可以看出，電信計(jì)費(fèi)數(shù)據(jù)從網(wǎng)格節(jié)點(diǎn)1遷移到網(wǎng)格節(jié)點(diǎn)2對(duì)應(yīng)的數(shù)據(jù)庫中保存，其中數(shù)據(jù)源對(duì)應(yīng)的URL也發(fā)生了變化，通過索引數(shù)據(jù)庫實(shí)現(xiàn)了數(shù)據(jù)名和對(duì)應(yīng)的URL的綁定。
主要工作流程 (1)在索引服務(wù)器上建立一個(gè)索引數(shù)據(jù)庫，主要字段有數(shù)據(jù)名，當(dāng)前數(shù)據(jù)所處的URL。
(2)判斷數(shù)據(jù)是否要發(fā)生遷移，若發(fā)生遷移，刪除索引數(shù)據(jù)庫中發(fā)生遷移的數(shù)據(jù)的原來記錄，然后向索引數(shù)據(jù)庫中再插入一條記錄發(fā)生遷移的數(shù)據(jù)名，待遷移的目標(biāo)節(jié)點(diǎn)的URL。
(3)如果有相同數(shù)據(jù)名稱的數(shù)據(jù)集發(fā)生遷移，通過判斷目標(biāo)服務(wù)器上有無相同名稱的數(shù)據(jù)集，若有，則在發(fā)生遷移的過程中修改數(shù)據(jù)名，否則繼續(xù)。
通過索引分析器，用戶在訪問遷移后的數(shù)據(jù)時(shí)，無須關(guān)心數(shù)據(jù)遷移到網(wǎng)格哪一個(gè)節(jié)點(diǎn)上，只要通過查詢索引數(shù)據(jù)庫就可以知道數(shù)據(jù)遷移到新的節(jié)點(diǎn)的URL，從而使得網(wǎng)格環(huán)境下數(shù)據(jù)遷移能夠適應(yīng)網(wǎng)格資源動(dòng)態(tài)變化的特點(diǎn)，同時(shí)刪除原來對(duì)應(yīng)的索引記錄，以減少索引數(shù)據(jù)庫的空間大小。
本發(fā)明的動(dòng)態(tài)自適應(yīng)的網(wǎng)格數(shù)據(jù)遷移方法包含的步驟為 步驟1用戶根據(jù)數(shù)據(jù)遷移控制器定時(shí)查詢數(shù)據(jù)遷移知識(shí)規(guī)則庫來判斷是否需要進(jìn)行數(shù)據(jù)遷移，若需要遷移則進(jìn)入到下一步，否則繼續(xù)監(jiān)視； 步驟2收集當(dāng)前網(wǎng)格中各節(jié)點(diǎn)的屬性特征數(shù)據(jù)，也即是根據(jù)網(wǎng)格中所有節(jié)點(diǎn)的可達(dá)帶寬Mc，在結(jié)合未來一段時(shí)間的各相應(yīng)網(wǎng)格節(jié)點(diǎn)可能的請(qǐng)求帶寬M來計(jì)算的值；根據(jù)網(wǎng)格中所有節(jié)點(diǎn)的本地管理系統(tǒng)是否支持待遷移數(shù)據(jù)的屬性和特征來計(jì)算y的值；根據(jù)流量分析來判斷網(wǎng)格中節(jié)點(diǎn)的數(shù)據(jù)訪問負(fù)載z的值；記錄當(dāng)前待遷移數(shù)據(jù)的大小s的值；同時(shí)對(duì)收集得到的這些數(shù)據(jù)進(jìn)行預(yù)處理，并組成訓(xùn)練數(shù)據(jù)； 步驟3運(yùn)行基因表達(dá)式編程算法挖掘出目標(biāo)節(jié)點(diǎn)與各屬性特征數(shù)據(jù)之間的函數(shù)關(guān)系； 步驟4根據(jù)該函數(shù)關(guān)系，帶入如表1所示的由歸一化后的節(jié)點(diǎn)的可達(dá)帶寬Mc、本地管理系統(tǒng)屬性y、數(shù)據(jù)訪問負(fù)載z以及當(dāng)前待遷移數(shù)據(jù)的大小s所組成的測試數(shù)據(jù)，來選擇對(duì)應(yīng)的函數(shù)值最大的節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)； 步驟5選擇待遷移數(shù)據(jù)集，同時(shí)確定目標(biāo)數(shù)據(jù)集，若兩者之間屬于相同類型數(shù)據(jù)集，則轉(zhuǎn)步驟6，否則轉(zhuǎn)步驟7； 步驟6確定源和目標(biāo)數(shù)據(jù)集各字段之間的映射關(guān)系； 步驟7通過建立反映不同數(shù)據(jù)類型的元數(shù)據(jù)列表來建立這些元數(shù)據(jù)之間的映射關(guān)系，并轉(zhuǎn)化為源和目標(biāo)數(shù)據(jù)集字段之間的映射關(guān)系； 步驟8確定轉(zhuǎn)化規(guī)則并設(shè)定日志信息； 步驟9進(jìn)行具體的數(shù)據(jù)遷移，最終在目標(biāo)節(jié)點(diǎn)上得到原數(shù)據(jù)的副本； 步驟10判斷目標(biāo)節(jié)點(diǎn)上有無相同的數(shù)據(jù)名，若有則修改數(shù)據(jù)名后，轉(zhuǎn)到步驟11，否則直接轉(zhuǎn)到步驟11； 步驟11在索引服務(wù)器上建立索引數(shù)據(jù)庫，并向索引數(shù)據(jù)庫中插入原數(shù)據(jù)副本的數(shù)據(jù)名以及所在節(jié)點(diǎn)的網(wǎng)絡(luò)地址； 步驟12判斷此時(shí)網(wǎng)格中有無數(shù)據(jù)遷移，若有，轉(zhuǎn)至步驟2，否則轉(zhuǎn)至步驟14； 步驟13返回遷移后的數(shù)據(jù)所在的網(wǎng)絡(luò)地址； 步驟14數(shù)據(jù)遷移結(jié)束。
有益效果本發(fā)明方法提出了一種動(dòng)態(tài)自適應(yīng)的網(wǎng)格數(shù)據(jù)遷移機(jī)制，主要用于解決網(wǎng)格環(huán)境下數(shù)據(jù)遷移的問題，通過使用本發(fā)明中提出的方法可以根據(jù)當(dāng)前的網(wǎng)格節(jié)點(diǎn)屬性智能化選擇遷移的目標(biāo)網(wǎng)格節(jié)點(diǎn)，而且在數(shù)據(jù)遷移后可以很方便地把用戶引導(dǎo)到新的目標(biāo)位置上。
下面給出具體的說明。
目標(biāo)節(jié)點(diǎn)選擇器通過使用基因表達(dá)式編程算法，增加了目標(biāo)節(jié)點(diǎn)選擇的智能性。數(shù)據(jù)從一個(gè)節(jié)點(diǎn)遷移到目標(biāo)節(jié)點(diǎn)上，所需要考慮的影響因素很多，如果人為從網(wǎng)格中根據(jù)需求進(jìn)行選擇，無疑增加了用戶的負(fù)擔(dān)，而且選擇的目標(biāo)節(jié)點(diǎn)不一定是當(dāng)前最符合待遷移數(shù)據(jù)特征和用戶需求的目標(biāo)節(jié)點(diǎn)。故在節(jié)點(diǎn)選擇器中引入基因表達(dá)式編程算法，通過定時(shí)采集網(wǎng)格中各節(jié)點(diǎn)的特征和屬性值，運(yùn)行基因表達(dá)式編程算法，構(gòu)造一個(gè)符合需求的函數(shù)關(guān)系，通過該函數(shù)關(guān)系式用戶可以很方便地根據(jù)待遷移數(shù)據(jù)的屬性以及當(dāng)前網(wǎng)絡(luò)情況來選擇目標(biāo)節(jié)點(diǎn)，從而使得選擇的目標(biāo)節(jié)點(diǎn)具有動(dòng)態(tài)自適應(yīng)的特點(diǎn)。
索引分析器通過在服務(wù)器上部署關(guān)于數(shù)據(jù)名的索引數(shù)據(jù)庫，從而使得用戶可以方便快捷地訪問遷移后數(shù)據(jù)。數(shù)據(jù)從網(wǎng)格的一個(gè)節(jié)點(diǎn)遷移到另一個(gè)節(jié)點(diǎn)上，如何在不改變用戶需求的情況下把用戶引導(dǎo)到新的節(jié)點(diǎn)上是網(wǎng)格數(shù)據(jù)遷移的關(guān)鍵技術(shù)。如果用戶按照遷移后新的URL訪問數(shù)據(jù)，那么數(shù)據(jù)必須要在網(wǎng)格注冊(cè)中心重新注冊(cè)，使得注冊(cè)中心在向外發(fā)布數(shù)據(jù)時(shí)，及時(shí)更新數(shù)據(jù)新的URL，由于網(wǎng)格數(shù)據(jù)在網(wǎng)格環(huán)境中為了不產(chǎn)生過多的數(shù)據(jù)副本，遷移動(dòng)作頻繁，那么數(shù)據(jù)擁有者就要頻繁地向網(wǎng)格注冊(cè)中心注冊(cè)該數(shù)據(jù)資源，使之能再次成為網(wǎng)格中的合法可用資源，這種方法無疑增加了網(wǎng)格注冊(cè)中心的工作，也增加了數(shù)據(jù)擁有者的麻煩。所以在本發(fā)明中通過索引分析器來完成數(shù)據(jù)遷移后URL的重新定位問題。用戶通過數(shù)據(jù)名來訪問數(shù)據(jù)，這樣可以通過索引分析器來把數(shù)據(jù)名和其對(duì)應(yīng)的URL進(jìn)行有效的映射，每次數(shù)據(jù)遷移后，把遷移后的新節(jié)點(diǎn)的URL插入到索引數(shù)據(jù)庫中，并同時(shí)刪除對(duì)應(yīng)的原來的記錄，這樣既可以更新了數(shù)據(jù)URL，又不因?yàn)橐聰?shù)據(jù)庫而增加數(shù)據(jù)庫的空間大小。



圖1是網(wǎng)格數(shù)據(jù)遷移的組成結(jié)構(gòu)圖。主要包括數(shù)據(jù)遷移控制器、目標(biāo)節(jié)點(diǎn)選擇器、索引分析器以及數(shù)據(jù)遷移操作核心。
圖2是參考體系結(jié)構(gòu)示意圖。表示本發(fā)明方法包括的組件。
圖3是本發(fā)明方法的流程示意圖。

具體實(shí)施例方式 步驟1用戶根據(jù)數(shù)據(jù)遷移控制器定時(shí)查詢數(shù)據(jù)遷移知識(shí)規(guī)則庫來判斷是否需要進(jìn)行數(shù)據(jù)遷移，若需要遷移則進(jìn)入到下一步，否則繼續(xù)監(jiān)視； 步驟2收集當(dāng)前網(wǎng)格中各節(jié)點(diǎn)的屬性特征數(shù)據(jù)，也即是根據(jù)網(wǎng)格中所有節(jié)點(diǎn)的可達(dá)帶寬Mc，在結(jié)合未來一段時(shí)間的各相應(yīng)網(wǎng)格節(jié)點(diǎn)可能的請(qǐng)求帶寬M來計(jì)算的值；根據(jù)網(wǎng)格中所有節(jié)點(diǎn)的本地管理系統(tǒng)是否支持待遷移數(shù)據(jù)的屬性和特征來計(jì)算y的值；根據(jù)流量分析來判斷網(wǎng)格中節(jié)點(diǎn)的數(shù)據(jù)訪問負(fù)載z的值；記錄當(dāng)前待遷移數(shù)據(jù)的大小s的值；同時(shí)對(duì)收集得到的這些數(shù)據(jù)進(jìn)行預(yù)處理，并組成訓(xùn)練數(shù)據(jù)； 步驟3運(yùn)行基因表達(dá)式編程算法挖掘出目標(biāo)節(jié)點(diǎn)與各屬性特征數(shù)據(jù)之間的函數(shù)關(guān)系； 步驟4根據(jù)該函數(shù)關(guān)系，帶入樣本數(shù)據(jù)表由歸一化后的節(jié)點(diǎn)的可達(dá)帶寬Mc、本地管理系統(tǒng)屬性y、數(shù)據(jù)訪問負(fù)載z以及當(dāng)前待遷移數(shù)據(jù)的大小s所組成的測試數(shù)據(jù)，來選擇對(duì)應(yīng)的函數(shù)值最大的節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)； 步驟5選擇待遷移數(shù)據(jù)集，同時(shí)確定目標(biāo)數(shù)據(jù)集，若兩者之間屬于相同類型數(shù)據(jù)集，則轉(zhuǎn)步驟6，否則轉(zhuǎn)步驟7； 步驟6確定源和目標(biāo)數(shù)據(jù)集各字段之間的映射關(guān)系； 步驟7通過建立反映源和目標(biāo)數(shù)據(jù)集之間不同數(shù)據(jù)類型的元數(shù)據(jù)列表來建立這些元數(shù)據(jù)之間的映射關(guān)系，并轉(zhuǎn)化為源和目標(biāo)數(shù)據(jù)集字段之間的映射關(guān)系； 步驟8確定轉(zhuǎn)化規(guī)則并設(shè)定日志信息； 步驟9進(jìn)行具體的數(shù)據(jù)遷移，最終在目標(biāo)節(jié)點(diǎn)上得到原數(shù)據(jù)的副本； 步驟10判斷目標(biāo)節(jié)點(diǎn)上有無相同的數(shù)據(jù)名，若有則修改數(shù)據(jù)名后，轉(zhuǎn)到步驟11，否則直接轉(zhuǎn)到步驟11； 步驟11在索引服務(wù)器上建立索引數(shù)據(jù)庫，并向索引數(shù)據(jù)庫中插入原數(shù)據(jù)副本的數(shù)據(jù)名以及所在節(jié)點(diǎn)的網(wǎng)絡(luò)地址； 步驟12判斷此時(shí)網(wǎng)格中有無數(shù)據(jù)遷移，若有，轉(zhuǎn)至步驟2，否則轉(zhuǎn)至步驟14； 步驟13返回遷移后的數(shù)據(jù)所在的網(wǎng)絡(luò)地址； 步驟14數(shù)據(jù)遷移結(jié)束。
為了方便描述，我們假設(shè)有如下應(yīng)用實(shí)例 在網(wǎng)格節(jié)點(diǎn)A有數(shù)據(jù)X，由于某種原因需要遷移到網(wǎng)格中另一個(gè)節(jié)點(diǎn)B上，要求通過目標(biāo)節(jié)點(diǎn)選擇器來選擇目標(biāo)節(jié)點(diǎn)B，以及用戶通過索引分析器來無縫訪問遷移到目標(biāo)節(jié)點(diǎn)B上的原數(shù)據(jù)X的副本。
其具體的實(shí)施方案為 (1)根據(jù)數(shù)據(jù)遷移控制器對(duì)當(dāng)前網(wǎng)格節(jié)點(diǎn)A的數(shù)據(jù)訪問負(fù)載或從網(wǎng)格節(jié)點(diǎn)A到用戶的傳輸帶寬的利用率進(jìn)行判斷，若網(wǎng)格節(jié)點(diǎn)A的數(shù)據(jù)訪問負(fù)載過大，不能滿足用戶所需的服務(wù)質(zhì)量或者造成了傳輸帶寬的浪費(fèi)，則提出數(shù)據(jù)遷移請(qǐng)求；否則繼續(xù)監(jiān)視網(wǎng)格節(jié)點(diǎn)A的情況； (2)收集當(dāng)前網(wǎng)格中各節(jié)點(diǎn)的屬性特征數(shù)據(jù)，也即是根據(jù)網(wǎng)格中所有節(jié)點(diǎn)的可達(dá)帶寬Mc，在結(jié)合未來一段時(shí)間的各相應(yīng)網(wǎng)格節(jié)點(diǎn)可能的請(qǐng)求帶寬M來計(jì)算的值；根據(jù)網(wǎng)格中所有節(jié)點(diǎn)的本地管理系統(tǒng)是否支持待遷移數(shù)據(jù)的屬性和特征來計(jì)算y的值；根據(jù)流量分析來判斷網(wǎng)格中節(jié)點(diǎn)的數(shù)據(jù)訪問負(fù)載z的值；記錄當(dāng)前待遷移數(shù)據(jù)的大小s的值；同時(shí)對(duì)收集得到的這些數(shù)據(jù)進(jìn)行預(yù)處理，并組成訓(xùn)練數(shù)據(jù)； (3)運(yùn)行基因表達(dá)式編程算法挖掘出目標(biāo)節(jié)點(diǎn)與各屬性值之間的函數(shù)關(guān)系式。然后根據(jù)上面得到的函數(shù)關(guān)系式，代入當(dāng)前所收集到的網(wǎng)格中所有節(jié)點(diǎn)的屬性值數(shù)據(jù)，求出最大值所對(duì)應(yīng)的節(jié)點(diǎn)即為目標(biāo)節(jié)點(diǎn)B。
(4)遷移的目標(biāo)節(jié)點(diǎn)B選定之后，要進(jìn)行具體的數(shù)據(jù)遷移。首先在網(wǎng)格節(jié)點(diǎn)A上確定待遷移的數(shù)據(jù)集X，在目標(biāo)節(jié)點(diǎn)B上選擇目標(biāo)數(shù)據(jù)集X’；若兩者屬于相同類型的數(shù)據(jù)集，則在節(jié)點(diǎn)A和節(jié)點(diǎn)B之間建立原數(shù)據(jù)和目標(biāo)數(shù)據(jù)之間的映射關(guān)系；否則通過建立反映源和目標(biāo)數(shù)據(jù)集之間不同數(shù)據(jù)類型的元數(shù)據(jù)列表來建立這些元數(shù)據(jù)之間的映射關(guān)系，并轉(zhuǎn)化為源和目標(biāo)數(shù)據(jù)集字段之間的映射關(guān)系；接著設(shè)置數(shù)據(jù)進(jìn)行轉(zhuǎn)換的規(guī)則并設(shè)定轉(zhuǎn)換日志信息(包括格式和存儲(chǔ)位置)；最后借助于臨時(shí)表結(jié)構(gòu)來遷移數(shù)據(jù)，最終在目標(biāo)節(jié)點(diǎn)上得到原數(shù)據(jù)的副本Y，接著判斷目標(biāo)節(jié)點(diǎn)B上有無和原數(shù)據(jù)相同的數(shù)據(jù)名，若有則修改數(shù)據(jù)名。
(5)數(shù)據(jù)X遷移到目標(biāo)節(jié)點(diǎn)B后形成了原數(shù)據(jù)的目標(biāo)副本Y，原數(shù)據(jù)要求刪除，此時(shí)要做好原數(shù)據(jù)X和副本Y之間的URL映射。任意選擇網(wǎng)格中一個(gè)節(jié)點(diǎn)作為索引服務(wù)器，并在其上建立索引數(shù)據(jù)庫。副本Y建好后，同時(shí)要向索引數(shù)據(jù)庫中寫入副本Y的名稱以及副本Y在目標(biāo)節(jié)點(diǎn)B中所處的URL，同時(shí)刪除對(duì)應(yīng)副本Y名稱的原數(shù)據(jù)庫記錄。
(6)原數(shù)據(jù)X已從節(jié)點(diǎn)A遷移到了節(jié)點(diǎn)B，同時(shí)返回了原數(shù)據(jù)處于目標(biāo)節(jié)點(diǎn)B中的網(wǎng)絡(luò)地址，也既是完成了原數(shù)據(jù)的重定向，使得用戶可以在不改動(dòng)任何訪問方式的情況下，訪問遷移后的數(shù)據(jù)。整個(gè)過程結(jié)束。
權(quán)利要求
1.一種動(dòng)態(tài)自適應(yīng)的網(wǎng)格數(shù)據(jù)遷移方法，其特征在于該方法包含的步驟為
步驟1用戶根據(jù)數(shù)據(jù)遷移控制器定時(shí)查詢數(shù)據(jù)遷移知識(shí)規(guī)則庫來判斷是否需要進(jìn)行數(shù)據(jù)遷移，若需要遷移則進(jìn)入到下一步，否則繼續(xù)監(jiān)視；
步驟2收集當(dāng)前網(wǎng)格中各節(jié)點(diǎn)的屬性特征數(shù)據(jù)，也即是根據(jù)網(wǎng)格中所有節(jié)點(diǎn)的可達(dá)帶寬Mc，在結(jié)合未來一段時(shí)間的各相應(yīng)網(wǎng)格節(jié)點(diǎn)可能的請(qǐng)求帶寬M來計(jì)算的值；根據(jù)網(wǎng)格中所有節(jié)點(diǎn)的本地管理系統(tǒng)是否支持待遷移數(shù)據(jù)的屬性和特征來計(jì)算y的值；根據(jù)流量分析來判斷網(wǎng)格中節(jié)點(diǎn)的數(shù)據(jù)訪問負(fù)載z的值；記錄當(dāng)前待遷移數(shù)據(jù)的大小s的值；同時(shí)對(duì)收集得到的這些數(shù)據(jù)進(jìn)行預(yù)處理，并組成訓(xùn)練數(shù)據(jù)；
步驟3運(yùn)行基因表達(dá)式編程算法挖掘出目標(biāo)節(jié)點(diǎn)與各屬性特征數(shù)據(jù)之間的函數(shù)關(guān)系；
步驟4根據(jù)該函數(shù)關(guān)系，帶入樣本數(shù)據(jù)表由歸一化后的節(jié)點(diǎn)的可達(dá)帶寬Mc、本地管理系統(tǒng)屬性y、數(shù)據(jù)訪問負(fù)載z以及當(dāng)前待遷移數(shù)據(jù)的大小s所組成的測試數(shù)據(jù)，來選擇對(duì)應(yīng)的函數(shù)值最大的節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)；
步驟5選擇待遷移數(shù)據(jù)集，同時(shí)確定目標(biāo)數(shù)據(jù)集，若兩者之間屬于相同類型數(shù)據(jù)集，則轉(zhuǎn)步驟6，否則轉(zhuǎn)步驟7；
步驟6確定源和目標(biāo)數(shù)據(jù)集各字段之間的映射關(guān)系；
步驟7通過建立反映源和目標(biāo)數(shù)據(jù)集之間不同數(shù)據(jù)類型的元數(shù)據(jù)列表來建立這些元數(shù)據(jù)之間的映射關(guān)系，并轉(zhuǎn)化為源和目標(biāo)數(shù)據(jù)集字段之間的映射關(guān)系；
步驟8確定轉(zhuǎn)化規(guī)則并設(shè)定日志信息；
步驟9進(jìn)行具體的數(shù)據(jù)遷移，最終在目標(biāo)節(jié)點(diǎn)上得到原數(shù)據(jù)的副本；
步驟10判斷目標(biāo)節(jié)點(diǎn)上有無相同的數(shù)據(jù)名，若有則修改數(shù)據(jù)名后，轉(zhuǎn)到步驟11，否則直接轉(zhuǎn)到步驟11；
步驟11在索引服務(wù)器上建立索引數(shù)據(jù)庫，并向索引數(shù)據(jù)庫中插入原數(shù)據(jù)副本的數(shù)據(jù)名以及所在節(jié)點(diǎn)的網(wǎng)絡(luò)地址；
步驟12判斷此時(shí)網(wǎng)格中有無數(shù)據(jù)遷移，若有，轉(zhuǎn)至步驟2，否則轉(zhuǎn)至步驟14；
步驟13返回遷移后的數(shù)據(jù)所在的網(wǎng)絡(luò)地址；
步驟14數(shù)據(jù)遷移結(jié)束。
全文摘要
一種動(dòng)態(tài)自適應(yīng)的網(wǎng)格數(shù)據(jù)遷移方法是一種對(duì)網(wǎng)格下數(shù)據(jù)需要遷移時(shí)的一種動(dòng)態(tài)自適應(yīng)的機(jī)制，它主要有數(shù)據(jù)遷移控制器、目標(biāo)節(jié)點(diǎn)選擇器、索引分析器以及數(shù)據(jù)遷移操作核心等部分組成。當(dāng)網(wǎng)格中某節(jié)點(diǎn)的數(shù)據(jù)如果不能滿足當(dāng)前用戶的數(shù)據(jù)服務(wù)質(zhì)量，或者造成了網(wǎng)絡(luò)帶寬的浪費(fèi)時(shí)，此時(shí)該節(jié)點(diǎn)上的數(shù)據(jù)需要進(jìn)行遷移，通過選擇該節(jié)點(diǎn)的可達(dá)帶寬、該節(jié)點(diǎn)的本地管理系統(tǒng)屬性、本節(jié)點(diǎn)的數(shù)據(jù)訪問負(fù)載以及當(dāng)前待遷移數(shù)據(jù)的大小等因素，然后對(duì)這些因素進(jìn)行預(yù)處理，利用基因表達(dá)式編程的算法思想來挖掘目標(biāo)節(jié)點(diǎn)與這些因素的函數(shù)關(guān)系，通過挖掘得到的函數(shù)關(guān)系可以更好地進(jìn)行目標(biāo)節(jié)點(diǎn)的選擇。
文檔編號(hào)G06F9/46GK101299198SQ20081012415
公開日2008年11月5日 申請(qǐng)日期2008年6月13日 優(yōu)先權(quán)日2008年6月13日
發(fā)明者王汝傳, 松 鄧, 季一木, 任勛益, 侃 易, 楊明慧, 蔣凌云, 雄 付, 琳 張 申請(qǐng)人:南京郵電大學(xué)