專利名稱：一種面向網(wǎng)絡(luò)存儲(chǔ)的文件高速訪問方法
技術(shù)領(lǐng)域：
本發(fā)明提出了一種面向網(wǎng)絡(luò)存儲(chǔ)的文件高速訪問方法，屬于網(wǎng)絡(luò)存儲(chǔ)領(lǐng)域。
背景技術(shù)：
隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，越來越多的IT公司通過互聯(lián)網(wǎng)或者專用網(wǎng)絡(luò)為用戶提供大規(guī)模存儲(chǔ)系統(tǒng)，來滿足企業(yè)或者個(gè)人用戶對(duì)存儲(chǔ)空間呈指數(shù)態(tài)增長(zhǎng)的需求。因此，如何充分利用網(wǎng)絡(luò)帶寬資源，高效的組織、管理用戶的文件，讓用戶能夠快速的訪問其所需文件， 成為人們最為關(guān)注的話題。目前，比較成熟的方法是將文件冗余復(fù)制到多臺(tái)服務(wù)器或高速緩存上，通過分布用戶的訪問請(qǐng)求，來減少源文件服務(wù)器的負(fù)荷，提高文件的訪問速度。然而目前所采用的方法大都比較死板，沒有良好的機(jī)制來智能地管理不同的文件，合理的分配網(wǎng)絡(luò)資源。中國(guó)專利公開號(hào)為CN101253488的專利，通過將擁有文件拷貝的高速緩存移至網(wǎng)絡(luò)的邊緣，來分布整個(gè)網(wǎng)絡(luò)的通信量，減少文件訪問時(shí)間。然而這種方法存在以下不足
I)對(duì)熱點(diǎn)文件和過時(shí)文件統(tǒng)一對(duì)待，將過多的網(wǎng)絡(luò)資源浪費(fèi)在過時(shí)文件上，使得整體文件訪問效率低下。2)沒有查找最優(yōu)服務(wù)器的相關(guān)機(jī)制，無法最大化利用網(wǎng)絡(luò)資源。3)沒有文件淘汰機(jī)制，無法淘汰影響文件訪問速度的文件副本。本發(fā)明提出了一種面向網(wǎng)絡(luò)存儲(chǔ)的文件高速訪問方法，首先利用文件訪問頻率， 選出熱點(diǎn)文件和過時(shí)文件；其次通過網(wǎng)絡(luò)通信收益計(jì)算，找到最合適的服務(wù)器，拷貝熱點(diǎn)文件或者刪除過時(shí)文件的相應(yīng)副本；然后，根據(jù)文件讀寫頻率，淘汰降低文件訪問速度的文件副本。同時(shí)，本發(fā)明通過數(shù)據(jù)一致性步驟，來維護(hù)文件內(nèi)容一致。本發(fā)明具有以下優(yōu)點(diǎn)
I)區(qū)別對(duì)待熱點(diǎn)文件和過時(shí)文件，分配更多的網(wǎng)絡(luò)和存儲(chǔ)資源給熱點(diǎn)文件，提高整體文件訪問效率。2)利用網(wǎng)絡(luò)通信收益計(jì)算，選擇各個(gè)文件的最優(yōu)服務(wù)器進(jìn)行相應(yīng)操作，來最大化網(wǎng)絡(luò)帶寬利用率，減少網(wǎng)絡(luò)堵塞的可能性。3)主動(dòng)淘汰浪費(fèi)網(wǎng)絡(luò)資源的文件，減少文件訪問時(shí)間。4)利用數(shù)據(jù)一致性步驟，確保同一個(gè)文件的副本是內(nèi)容一致的。

發(fā)明內(nèi)容
本發(fā)明提出了一種面向網(wǎng)絡(luò)存儲(chǔ)的文件高速訪問方法。本方法的基本思想是首先設(shè)置一個(gè)元數(shù)據(jù)服務(wù)器，用來存儲(chǔ)各種元數(shù)據(jù)，如各服務(wù)器間單位傳輸數(shù)據(jù)成本。當(dāng)每過一個(gè)固定時(shí)間段，元數(shù)據(jù)通過各服務(wù)器收集各文件的在該時(shí)間段被訪問的次數(shù)，開始文件選擇的步驟。該步驟應(yīng)用文件訪問頻率進(jìn)行文件受歡迎程度和趨勢(shì)計(jì)算，選出熱點(diǎn)文件和過時(shí)文件。然后，通過網(wǎng)絡(luò)通信收益計(jì)算，尋找最合適的服務(wù)器，拷貝熱點(diǎn)文件的新副本或者刪除過時(shí)文件的相應(yīng)副本。之后，根據(jù)文件讀和寫頻率，淘汰有害文件副本，提高文件訪問速度。同時(shí)，為了保證數(shù)據(jù)的一致性，本發(fā)明中所有文件的更新都會(huì)先在源文件服務(wù)器上更新，并對(duì)每次更新分配一個(gè)更新號(hào)。當(dāng)文件更新好后，源文件服務(wù)器將更新數(shù)據(jù)和更新號(hào)發(fā)送到擁有相應(yīng)文件副本的服務(wù)器上，這些服務(wù)器按照更新號(hào)的順序更新文件。在詳細(xì)闡述本發(fā)明前，先做如下的術(shù)語定義
I)#代表非元數(shù)據(jù)服務(wù)器的數(shù)量，#代表文件的總數(shù)。2)服務(wù)器^，指第i個(gè)服務(wù)器。3)文件Oi,,指第k個(gè)文件。4) 1|代表文件的源文件服務(wù)器。5) 代表第/ 個(gè)時(shí)間段。6) CT|代表服務(wù)器j^和之間的單位傳輸數(shù)據(jù)成本。7) 4代表服務(wù)器^擁有文件O1的網(wǎng)絡(luò)通信收益。8) 代表服務(wù)器#上文件Ofc在時(shí)間段^中被讀取的次數(shù)，代表服務(wù)器上文件在時(shí)間段^中被寫的次數(shù)。9) If代表文件1 在時(shí)間段^中被讀取的總次數(shù)，if，代表文件1 在時(shí)間段 &中被寫的總次數(shù)。10) / 代表文件的受歡迎程度,pi代表所有文件的平均受歡迎程度。11)—代表離服務(wù)器j^最近的擁有文件Oi的服務(wù)器。12) Jlt代表文件1 的讀寫比，■代表所有文件的平均讀寫比。13) 1代表文件1 的讀取次數(shù)的變化趨勢(shì)代表兩個(gè)閾值，用來判斷文件0^的讀取趨勢(shì)是增加還是減少。14) 代表文件之前某個(gè)時(shí)間段被讀取的次數(shù)，作為基值，用來計(jì)算文件 Oi.的讀取次數(shù)的變化趨勢(shì)。


圖I是本發(fā)明的工作原理圖。圖2初始化元數(shù)據(jù)服務(wù)器的步驟。圖3文件選擇的步驟。圖4尋找合適服務(wù)器的步驟。圖5淘汰有害文件副本的步驟。圖6保持?jǐn)?shù)據(jù)一致性的步驟。
具體實(shí)施例方式以下結(jié)合附圖詳細(xì)說明本發(fā)明的具體方法。圖I是本發(fā)明的工作原理圖。圖I是本發(fā)明的工作原理圖，圖中介紹了本發(fā)明的具體流程。首先設(shè)置一個(gè)元數(shù)據(jù)服務(wù)器，用來存儲(chǔ)各種元數(shù)據(jù)，如各服務(wù)器間單位傳輸數(shù)據(jù)成本。當(dāng)每過一個(gè)固定時(shí)間段，元數(shù)據(jù)通過各服務(wù)器收集各文件的在該時(shí)間段被訪問的次數(shù)，開始文件選擇的步驟。該步驟應(yīng)用文件訪問頻率進(jìn)行文件受歡迎程度和趨勢(shì)計(jì)算，選出熱點(diǎn)文件和過時(shí)文件。然后， 通過網(wǎng)絡(luò)通信收益計(jì)算，尋找最合適的服務(wù)器，拷貝熱點(diǎn)文件的新副本或者刪除過時(shí)文件在其上副本。之后，根據(jù)文件讀和寫頻率，選出讀寫比小于平均值的文件，通過網(wǎng)絡(luò)通信收益計(jì)算，找出并淘汰有害文件副本，提高文件訪問速度。同時(shí)，為了保證數(shù)據(jù)的一致性，本方法中所有文件的更新都會(huì)先在源文件服務(wù)器上更新，并對(duì)每次更新分配一個(gè)更新號(hào)。當(dāng)文件更新好后，源文件服務(wù)器將更新數(shù)據(jù)和更新號(hào)發(fā)送到擁有相應(yīng)文件的服務(wù)器上，這些服務(wù)器按照更新號(hào)的順序更新文件。具體地，本發(fā)明提出的一種面向網(wǎng)絡(luò)存儲(chǔ)的文件高速訪問方法，包括以下步驟
O初始化元數(shù)據(jù)服務(wù)器的步驟；
2)文件選擇的步驟；
3)尋找合適服務(wù)器的步驟；
4)淘汰有害文件副本的步驟；
5)保持?jǐn)?shù)據(jù)一致性的步驟。圖2是初始化元數(shù)據(jù)服務(wù)器的步驟。圖2給出了初始化元數(shù)據(jù)服務(wù)器的步驟。該步驟首先建立一臺(tái)元數(shù)據(jù)服務(wù)器，來維護(hù)整個(gè)分布式環(huán)境的元數(shù)據(jù)，然后初始化部分元數(shù)據(jù)。具體步驟如下
1)設(shè)置元數(shù)據(jù)服務(wù)器的步驟從所有的服務(wù)器中，選擇擁有最大帶寬的服務(wù)器作為元數(shù)據(jù)服務(wù)器；
2)計(jì)算單位傳輸數(shù)據(jù)成本的步驟根據(jù)各個(gè)服務(wù)器之間的帶寬計(jì)算各個(gè)服務(wù)器之間的單位傳輸數(shù)據(jù)成本Oi,將這些數(shù)據(jù)存儲(chǔ)到元數(shù)據(jù)服務(wù)器中；
3)初始化部分元數(shù)據(jù)的步驟:初始化;設(shè)置一個(gè)固定的時(shí)間段。圖3是文件選擇的步驟。圖3是文件選擇的步驟。該步驟應(yīng)用當(dāng)前時(shí)間段中文件的訪問次數(shù)進(jìn)行計(jì)算，來找出熱點(diǎn)文件和過時(shí)的文件。首先，算出各個(gè)文件的受歡迎程度，其代表的是文件在最近的一段時(shí)間內(nèi)是否被訪問的次數(shù)是否超過其他文件。其次，算出各個(gè)文件訪問次數(shù)的變化趨勢(shì)。最后，通過這2個(gè)值選擇出熱點(diǎn)文件和過時(shí)文件。具體步驟如下
1)等待設(shè)定時(shí)間的步驟當(dāng)設(shè)定的時(shí)間段結(jié)束，通知各服務(wù)器開始收集數(shù)據(jù)；若沒有，則等待；
2)收集文件訪問頻率的步驟各個(gè)服務(wù)器收集其所擁有的文件被訪問的讀寫次數(shù)，發(fā)送給元數(shù)據(jù)服務(wù)器；
3)計(jì)算文件讀寫頻率的步驟元數(shù)據(jù)服務(wù)器根據(jù)收集信息，計(jì)算出Jtlf和IFt1,
權(quán)利要求
1.一種面向網(wǎng)絡(luò)存儲(chǔ)的文件高速訪問方法，其特征在于，所述方法包括以下步驟(1)初始化元數(shù)據(jù)服務(wù)器的步驟；(2)文件選擇的步驟，包括以下步驟1)等待設(shè)定時(shí)間的步驟；2)收集文件訪問頻率的步驟；3)計(jì)算文件讀寫頻率的步驟；4)根據(jù)文件受歡迎程度對(duì)文件進(jìn)行分類的步驟；5)計(jì)算文件讀取次數(shù)的變化趨勢(shì)的步驟；6)選擇熱點(diǎn)和過時(shí)文件的步驟；(3)尋找合適服務(wù)器的步驟，包括以下步驟；1)網(wǎng)絡(luò)通信收益計(jì)算的步驟；2)復(fù)制熱點(diǎn)文件的步驟；3)刪除過時(shí)文件副本的步驟；(4)淘汰有害文件副本的步驟；(5)保持?jǐn)?shù)據(jù)一致性的步驟。
2.根據(jù)權(quán)利要求I所述的一種面向網(wǎng)絡(luò)存儲(chǔ)的文件高速訪問方法，其特征是，所述的初始化元數(shù)據(jù)服務(wù)器的步驟包括以下步驟(1)設(shè)置元數(shù)據(jù)服務(wù)器的步驟；(2)計(jì)算單位傳輸數(shù)據(jù)成本的步驟；(3)初始化部分元數(shù)據(jù)的步驟。
3.根據(jù)權(quán)利要求I所述的一種面向網(wǎng)絡(luò)存儲(chǔ)的文件高速訪問方法，其特征是，所述的淘汰有害文件副本包括以下步驟(1)計(jì)算讀寫比步驟；(2)選擇淘汰文件的步驟；(3)刪除有害文件副本的步驟。
4.根據(jù)權(quán)利要求I所述的一種面向網(wǎng)絡(luò)存儲(chǔ)的文件高速訪問方法，其特征是，所述的保持?jǐn)?shù)據(jù)一致性的步驟包括以下步驟(1)更新源文件的步驟；(2)分配更新號(hào)的步驟；(3)獲取服務(wù)器列表的步驟；(4)發(fā)送更新數(shù)據(jù)和更新號(hào)的步驟；(5)數(shù)據(jù)更新的步驟。
5.根據(jù)權(quán)利要求I所述的一種面向網(wǎng)絡(luò)存儲(chǔ)的文件高速訪問方法，其特征是，所述的根據(jù)文件受歡迎程度對(duì)文件進(jìn)行分類的步驟包括以下步驟(1)計(jì)算單個(gè)文件受歡迎程度的步驟；(2)計(jì)算文件平均受歡迎程度的步驟；(3)分類文件的步驟。
全文摘要
本發(fā)明提出了一種面向網(wǎng)絡(luò)存儲(chǔ)的文件高速訪問方法。本方法的基本思想是首先設(shè)置一個(gè)元數(shù)據(jù)服務(wù)器，用來存儲(chǔ)各種元數(shù)據(jù)。每過一個(gè)時(shí)間段，元數(shù)據(jù)收集各文件的在該時(shí)間段被訪問的次數(shù)，開始文件選擇的步驟。該步驟應(yīng)用文件訪問頻率進(jìn)行文件受歡迎程度和趨勢(shì)計(jì)算，選出熱點(diǎn)和過時(shí)文件。然后，通過網(wǎng)絡(luò)通信收益計(jì)算，尋找最合適的服務(wù)器，拷貝熱點(diǎn)文件的新副本或者刪除過時(shí)文件的相應(yīng)副本。之后，根據(jù)文件讀和寫頻率，淘汰有害文件副本，增加文件訪問速度。同時(shí)，本發(fā)明的數(shù)據(jù)一致性機(jī)制利用更新順序號(hào)，確保在高延遲，高丟包率的情況下，數(shù)據(jù)依然具有一致性。在網(wǎng)絡(luò)存儲(chǔ)環(huán)境下，提高文件訪問速度的方法具有廣闊的研究和應(yīng)用前景。
文檔編號(hào)G06F17/30GK102609508SQ20121002427
公開日2012年7月25日 申請(qǐng)日期2012年2月5日 優(yōu)先權(quán)日2012年2月5日
發(fā)明者劉曉潔, 李濤, 梁剛, 陳文 , 龔勛 申請(qǐng)人:四川大學(xué)