一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法
【專利摘要】本發(fā)明提供一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法，首先設(shè)置分級(jí)存儲(chǔ)系統(tǒng)架構(gòu)，該構(gòu)架包括數(shù)據(jù)特征收集器、存儲(chǔ)資源管理器、策略配置管理器與遷移管理器，存儲(chǔ)資源管理器將存儲(chǔ)資源進(jìn)行整合，形成具備分級(jí)存儲(chǔ)能力的存儲(chǔ)資源池，然后將存儲(chǔ)資源映射為邏輯卷供上層文件系統(tǒng)使用；數(shù)據(jù)特征收集器負(fù)責(zé)監(jiān)控上層傳輸?shù)腎/O請(qǐng)求，并且統(tǒng)計(jì)針對(duì)于某個(gè)數(shù)據(jù)塊的引用頻率特征，然后根據(jù)數(shù)據(jù)特征分析方法進(jìn)行分析，將分析結(jié)果通知給遷移管理器進(jìn)行后續(xù)的分級(jí)管理操。該一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法和現(xiàn)有技術(shù)相比，實(shí)現(xiàn)對(duì)于數(shù)據(jù)分級(jí)存儲(chǔ)管理過(guò)程中熱點(diǎn)數(shù)據(jù)的發(fā)現(xiàn)與判定，提高熱點(diǎn)數(shù)據(jù)判定的準(zhǔn)確性。
【專利說(shuō)明】一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及智能數(shù)據(jù)管理領(lǐng)域，具體的說(shuō)是一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處
理方法。
【背景技術(shù)】
[0002]數(shù)據(jù)分級(jí)存儲(chǔ)技術(shù)主要是根據(jù)被監(jiān)控對(duì)象的數(shù)據(jù)特征在存儲(chǔ)虛擬層將存儲(chǔ)資源與熱點(diǎn)數(shù)據(jù)進(jìn)行合理匹配，實(shí)現(xiàn)存儲(chǔ)資源的高效利用。在現(xiàn)有的分級(jí)存儲(chǔ)數(shù)據(jù)特征分析方法中，一類是利用文件對(duì)象包括的多種數(shù)據(jù)特征屬性，如文件大小，類型等進(jìn)行數(shù)據(jù)特征的獲取分析，將具有不同特征的數(shù)據(jù)進(jìn)行分類管理。但是，基于文件級(jí)的分級(jí)存儲(chǔ)以文件作為數(shù)據(jù)特征統(tǒng)計(jì)的基本單位，如果文件比較大，并且當(dāng)只有局部信息經(jīng)常被訪問(wèn)時(shí)，那么就存在對(duì)于熱點(diǎn)數(shù)據(jù)定位不準(zhǔn)確的問(wèn)題，從而導(dǎo)致不能夠?qū)⒄嬲枰环旨?jí)的數(shù)據(jù)放置于高效且昂貴的存儲(chǔ)資源上，不利于提高存儲(chǔ)管理效率?；趬K級(jí)的分級(jí)存儲(chǔ)是一種細(xì)粒度的數(shù)據(jù)分級(jí)管理方案，能夠?qū)?shù)據(jù)管理的粒度細(xì)化到以根據(jù)應(yīng)用需求所定義的擴(kuò)展塊級(jí)。然而，對(duì)于數(shù)據(jù)特征的獲取與分析是難點(diǎn)，特別是對(duì)于塊級(jí)熱點(diǎn)數(shù)據(jù)的判定存在問(wèn)題。如果單獨(dú)基于塊被引用次數(shù)與閥值的比較結(jié)果作為數(shù)據(jù)冷熱程度的判定標(biāo)準(zhǔn)，從而做出數(shù)據(jù)遷移的決策，那么很可能引起數(shù)據(jù)抖動(dòng)問(wèn)題，即數(shù)據(jù)將在短時(shí)間內(nèi)重復(fù)進(jìn)行升/降級(jí)操作，這種方式將導(dǎo)致系統(tǒng)資源的消耗，不利于提高系統(tǒng)性能。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的技術(shù)任務(wù)是解決現(xiàn)有技術(shù)的不足，提供一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法。
[0004]本發(fā)明的技術(shù)方案是按以下方式實(shí)現(xiàn)的，該一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法，首先設(shè)置分級(jí)存儲(chǔ)系統(tǒng)架構(gòu)，該構(gòu)架包括數(shù)據(jù)特征收集器、存儲(chǔ)資源管理器、策略配置管理器與遷移管理器，其中各個(gè)部分對(duì)塊級(jí)數(shù)據(jù)特征的處理過(guò)程為:
一、存儲(chǔ)資源管理器將存儲(chǔ)資源進(jìn)行整合，形成具備分級(jí)存儲(chǔ)能力的存儲(chǔ)資源池，利用存儲(chǔ)資源管理器按照性能由高到低的順序組織磁盤，并且構(gòu)建多級(jí)設(shè)備鏈表，將設(shè)備進(jìn)行統(tǒng)一管理，然后將存儲(chǔ)資源映射為邏輯卷供上層文件系統(tǒng)使用；
二、數(shù)據(jù)特征收集器負(fù)責(zé)監(jiān)控上層傳輸?shù)腎/o請(qǐng)求，并且統(tǒng)計(jì)針對(duì)于某個(gè)數(shù)據(jù)塊的引用頻率特征，然后根據(jù)數(shù)據(jù)特征分析方法進(jìn)行分析，將分析結(jié)果通知給遷移管理器進(jìn)行后續(xù)的分級(jí)管理操；
三、遷移管理器同時(shí)利用策略配置管理器對(duì)塊數(shù)據(jù)的掃描周期、最大未使用時(shí)間等參數(shù)進(jìn)行設(shè)置，以便能夠?yàn)檫w移操作提供決策信息。
[0005]所述步驟二中的數(shù)據(jù)特征收集器對(duì)塊數(shù)據(jù)的完整I/O事件進(jìn)行監(jiān)控管理，其中I/0事件包括傳輸大小、響應(yīng)時(shí)間、邏輯塊地址LBA以及發(fā)生I/O事件的磁盤ID、執(zhí)行I/O的隊(duì)列，數(shù)據(jù)特征收集器將每一個(gè)I/o 二元組映射給唯一的塊，并且統(tǒng)計(jì)每一個(gè)塊的I/O數(shù)，然后，周期地計(jì)算每一個(gè)塊的引用頻率，分別統(tǒng)計(jì)讀引用數(shù)與寫(xiě)引用數(shù)。[0006]所述步驟二的詳細(xì)過(guò)程為:數(shù)據(jù)特征收集器的請(qǐng)求隊(duì)列接收來(lái)自通用塊設(shè)備的I/o請(qǐng)求，當(dāng)I/O入隊(duì)列后，通知分級(jí)系統(tǒng)工作線程運(yùn)轉(zhuǎn)，工作線程根據(jù)I/O的不同類型劃分不同的設(shè)備塊給I/o請(qǐng)求存儲(chǔ)寫(xiě)數(shù)據(jù)，數(shù)據(jù)寫(xiě)入分配的塊設(shè)備之后I/O結(jié)束；在處理寫(xiě)請(qǐng)求時(shí)，記錄數(shù)據(jù)塊的寫(xiě)信息，包括設(shè)備的寫(xiě)請(qǐng)求數(shù)量、塊的寫(xiě)請(qǐng)求數(shù)量；對(duì)于讀I/o請(qǐng)求統(tǒng)計(jì)設(shè)備以及塊的訪問(wèn)引用計(jì)數(shù)和訪問(wèn)時(shí)間信息，然后再將I/o進(jìn)行轉(zhuǎn)發(fā)；最后，將整個(gè)隊(duì)列的引用頻率信息進(jìn)行統(tǒng)計(jì)，根據(jù)數(shù)據(jù)特征計(jì)算方法進(jìn)行特征值的計(jì)算，從而判定數(shù)據(jù)的冷熱程度。
[0007]所述數(shù)據(jù)特征值包括引用頻率偏差Ei (t)與引用偏差變化率DEi (t):塊引用頻率偏差Ei (t)表示塊Si在數(shù)據(jù)管理周期T內(nèi)，數(shù)據(jù)塊Si被訪問(wèn)的實(shí)際引用數(shù)M與該塊所處層級(jí)設(shè)備的引用閥值threshold的差值，反映該塊數(shù)據(jù)與平均熱度的差值水平；引用偏差變化率DEi (t)表示塊Si在某段時(shí)間內(nèi)偏差的變化頻率，該值反映數(shù)據(jù)塊Si的活躍程度。 [0008]所述引用頻率偏差Ei(t)的計(jì)算方式如下:數(shù)據(jù)塊Si在數(shù)據(jù)管理周期T內(nèi)，5^皮訪問(wèn)的實(shí)際引用數(shù)M與該塊所處層級(jí)設(shè)備的引用閥值threshold的差值；
引用偏差變化率DEi (t)的計(jì)算方式如下:數(shù)據(jù)塊Si當(dāng)前采樣時(shí)刻t引用頻率偏差Ei (t)與上一采樣時(shí)刻t-1引用頻率偏差Ei (t-1)之間的差異，再除以采樣間隔時(shí)間At。
[0009]本發(fā)明與現(xiàn)有技術(shù)相比所產(chǎn)生的有益效果是:
本發(fā)明的一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法解決基于塊級(jí)的分級(jí)存儲(chǔ)系統(tǒng)中對(duì)于熱點(diǎn)數(shù)據(jù)的判定問(wèn)題，在分級(jí)存儲(chǔ)系統(tǒng)中，塊級(jí)數(shù)據(jù)特征分析方法能夠?qū)崿F(xiàn)對(duì)于卷中一部分固定大小的塊數(shù)據(jù)進(jìn)行監(jiān)控以及數(shù)據(jù)熱度的統(tǒng)計(jì)分析，繼而完成對(duì)于塊數(shù)據(jù)的分級(jí)管理操作。在卷中需要管理的對(duì)象粒度更細(xì)，熱點(diǎn)數(shù)據(jù)的定位也更加準(zhǔn)確，因此能夠獲得更高的數(shù)據(jù)分配效率，在進(jìn)行遷移等操作時(shí)損耗較少，有利于提高存儲(chǔ)資源的利用率與管理效率，該發(fā)明可用于智能數(shù)據(jù)管理領(lǐng)域中分級(jí)存儲(chǔ)管理，通過(guò)對(duì)底層物理塊的訪問(wèn)特征信息進(jìn)行獲取與分析，實(shí)現(xiàn)對(duì)于數(shù)據(jù)分級(jí)存儲(chǔ)管理過(guò)程中熱點(diǎn)數(shù)據(jù)的發(fā)現(xiàn)與判定，提高熱點(diǎn)數(shù)據(jù)判定的準(zhǔn)確性，實(shí)用性強(qiáng)，易于推廣。
【專利附圖】

【附圖說(shuō)明】
[0010]附圖1是本發(fā)明的分級(jí)存儲(chǔ)系統(tǒng)構(gòu)架圖。
[0011]附圖2是本發(fā)明數(shù)據(jù)特征收集器的執(zhí)行過(guò)程示意圖。
[0012]附圖3是本發(fā)明的引用數(shù)的計(jì)算公式。
[0013]附圖4是本發(fā)明的引用頻率偏差的計(jì)算公式。
[0014]附圖5是本發(fā)明的引用偏差變化率的計(jì)算公式。
【具體實(shí)施方式】
[0015]下面結(jié)合附圖對(duì)本發(fā)明的一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法作詳細(xì)說(shuō)明。
[0016]本發(fā)明是對(duì)基于塊級(jí)的數(shù)據(jù)特征進(jìn)行分析統(tǒng)計(jì)，由于塊數(shù)據(jù)對(duì)象基本處于存儲(chǔ)層次中的邏輯或物理底層，較之文件對(duì)象而言數(shù)據(jù)結(jié)構(gòu)相對(duì)簡(jiǎn)單，并且對(duì)于底層數(shù)據(jù)塊的最主要操作包括讀取與寫(xiě)入，因此，對(duì)于數(shù)據(jù)塊的讀/寫(xiě)頻度成為判定該數(shù)據(jù)是否為熱點(diǎn)的主要特征?；趬K級(jí)的數(shù)據(jù)特征分析方法中主要是對(duì)數(shù)據(jù)塊的引用數(shù)進(jìn)行統(tǒng)計(jì)，當(dāng)數(shù)據(jù)塊被讀/寫(xiě)時(shí)分別記錄其讀/寫(xiě)次數(shù)，以便計(jì)算引用頻率，即該塊數(shù)據(jù)在一段時(shí)間內(nèi)被讀/寫(xiě)的次數(shù)之和。在此基礎(chǔ)之上對(duì)數(shù)據(jù)塊的引用頻率進(jìn)行數(shù)學(xué)計(jì)算，分別定義了引用頻率偏差Ei (t)與引用偏差變化率DEi (t)，以反映數(shù)據(jù)塊的使用熱度以及塊數(shù)據(jù)的活性。
[0017]如附圖1所示，本發(fā)明提供一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法，首先設(shè)置分級(jí)存儲(chǔ)系統(tǒng)架構(gòu)，該構(gòu)架包括數(shù)據(jù)特征收集器、存儲(chǔ)資源管理器、策略配置管理器與遷移管理器，在分級(jí)存儲(chǔ)系統(tǒng)中，不同組件之間關(guān)聯(lián)過(guò)程為:存儲(chǔ)資源管理器將存儲(chǔ)資源進(jìn)行整合，形成具備分級(jí)存儲(chǔ)能力的存儲(chǔ)資源池，利用存儲(chǔ)資源管理器按照性能由高到低的順序組織磁盤，并且構(gòu)建多級(jí)設(shè)備鏈表，將設(shè)備進(jìn)行統(tǒng)一管理。然后將存儲(chǔ)資源映射為邏輯卷供上層文件系統(tǒng)等使用；數(shù)據(jù)特征收集器負(fù)責(zé)監(jiān)控上層傳輸?shù)腎/O請(qǐng)求，并且統(tǒng)計(jì)針對(duì)于某個(gè)數(shù)據(jù)塊的引用頻率等特征，然后根據(jù)數(shù)據(jù)特征分析方法進(jìn)行分析，將分析結(jié)果通知給遷移管理器進(jìn)行后續(xù)的分級(jí)管理操作。遷移管理器同時(shí)利用策略配置管理器對(duì)塊數(shù)據(jù)的掃描周期、最大未使用時(shí)間等參數(shù)進(jìn)行設(shè)置，以便能夠?yàn)檫w移操作提供決策信息。
[0018]本發(fā)明中所涉及的數(shù)據(jù)特征收集器負(fù)責(zé)監(jiān)控?cái)?shù)據(jù)塊的特征信息，并且對(duì)塊數(shù)據(jù)的特征信息按照熱度特征值進(jìn)行統(tǒng)計(jì)分析，其中，熱度特征值包括引用頻率偏差Ei (t)與引用偏差變化率DEjt)。塊引用頻率偏差Ei(t)表示塊Si在數(shù)據(jù)管理周期T內(nèi)，數(shù)據(jù)塊Si被訪問(wèn)的實(shí)際引用數(shù)M與該塊所處層級(jí)設(shè)備的引用閥值threshold的差值，反映了該塊數(shù)據(jù)與平均熱度的差值水平；引用偏差變化率DEi (t)表示塊Si在某段時(shí)間內(nèi)偏差的變化頻率，該值反映了數(shù)據(jù)塊Si的活躍程度。數(shù)據(jù)特征收集器的請(qǐng)求隊(duì)列接收來(lái)自通用塊設(shè)備的I/O請(qǐng)求，當(dāng)I/O入隊(duì)列后，通知分級(jí)系統(tǒng)工作線程運(yùn)轉(zhuǎn)，工作線程根據(jù)I/O的不同類型劃分不同的設(shè)備塊給I/O請(qǐng)求存儲(chǔ)寫(xiě)數(shù)據(jù)，數(shù)據(jù)寫(xiě)入分配的塊設(shè)備之后I/O結(jié)束。在處理寫(xiě)請(qǐng)求時(shí)，記錄數(shù)據(jù)塊的寫(xiě)信息，包括設(shè)備的寫(xiě)請(qǐng)求數(shù)量、塊的寫(xiě)請(qǐng)求數(shù)量；對(duì)于讀I/O請(qǐng)求統(tǒng)計(jì)設(shè)備以及塊的訪問(wèn)引用計(jì)數(shù)和訪問(wèn)時(shí)間信息，然后再將I/O進(jìn)行轉(zhuǎn)發(fā)。最后，將整個(gè)隊(duì)列的引用頻率信息進(jìn)行統(tǒng)計(jì)，根據(jù)數(shù)據(jù)特征計(jì)算方法進(jìn)行特征值的計(jì)算，從而判定數(shù)據(jù)的冷熱程度。
[0019]所述引用頻率偏差Ei(t)的計(jì)算方式如下:數(shù)據(jù)塊Si在數(shù)據(jù)管理周期T內(nèi)，5^皮訪問(wèn)的實(shí)際引用數(shù)M與該塊所處 層級(jí)設(shè)備的引用閥值threshold的差值；
引用偏差變化率DEi (t)的計(jì)算方式如下:數(shù)據(jù)塊Si當(dāng)前采樣時(shí)刻t引用頻率偏差Ei (t)與上一采樣時(shí)刻t-1引用頻率偏差Ei (t-1)之間的差異，再除以采樣間隔時(shí)間At。
[0020]分級(jí)原型系統(tǒng)在執(zhí)行過(guò)程中將數(shù)據(jù)時(shí)間軸、偏差率以及偏差變化率等熱點(diǎn)數(shù)據(jù)訪問(wèn)特征作為數(shù)據(jù)資源的分級(jí)依據(jù)，并依據(jù)存儲(chǔ)設(shè)備的讀寫(xiě)性能差異，進(jìn)行存儲(chǔ)資源與熱點(diǎn)數(shù)據(jù)的分級(jí)管理。因此，對(duì)于數(shù)據(jù)特征的收集是進(jìn)行特征分析的基礎(chǔ)，整個(gè)數(shù)據(jù)特征收集過(guò)程如圖2所示。數(shù)據(jù)特征收集器對(duì)塊數(shù)據(jù)的完整I/O事件進(jìn)行監(jiān)控管理，其中I/O事件包括傳輸大小、響應(yīng)時(shí)間、邏輯塊地址LBA以及發(fā)生I/O事件的磁盤ID，還包括執(zhí)行I/O的隊(duì)列。數(shù)據(jù)特征收集器將每一個(gè)I/O 二元組(LBA，磁盤ID)映射給唯一的塊，并且統(tǒng)計(jì)每一個(gè)塊的I/O數(shù)。然后，周期地計(jì)算每一個(gè)塊的引用頻率，分別統(tǒng)計(jì)讀引用數(shù)與寫(xiě)引用數(shù)。特征收集與分析過(guò)程如下:
首先，數(shù)據(jù)特征收集器利用hsm_d0_bi0函數(shù)對(duì)通用層傳輸?shù)臄?shù)據(jù)塊訪問(wèn)I/O進(jìn)行監(jiān)控，將每個(gè)塊的I/O請(qǐng)求都加入到分級(jí)存儲(chǔ)系統(tǒng)維護(hù)的I/O隊(duì)列當(dāng)中。利用bio_for_each_segment函數(shù)遍歷I/O隊(duì)列，分別判斷I/O操作類型,如果是write操作,那么就將該數(shù)據(jù)塊的寫(xiě)操作引用數(shù)Wi進(jìn)行累加，同樣處理該數(shù)據(jù)塊的讀操作引用數(shù)民。[0021]然后，數(shù)據(jù)特征收集器將所有數(shù)據(jù)塊的引用數(shù)進(jìn)行累加，獲得不同設(shè)備的總引用數(shù)，其中total_read_hitcount為層級(jí)總的讀取引用數(shù)，total_write_hitcount為層級(jí)總的寫(xiě)入引用數(shù)。然后利用該層容量tiersize與單元塊大小blocksize計(jì)算該層的平均引用數(shù)，average_read_hitcount為層級(jí)平均讀取引用數(shù)，average_write_hitcount為層級(jí)平均寫(xiě)入引用數(shù)。計(jì)算過(guò)程如附圖3所示的公式I。
[0022]最后，實(shí)施對(duì)數(shù)據(jù)特征的分析階段。對(duì)于反映數(shù)據(jù)熱度的特征變量￡1 (t)與DEi (t)進(jìn)行統(tǒng)計(jì)分析。對(duì)塊引用頻率偏差Ei(t)如附圖4所示的公式2，引用偏差變化率DEi (t)的計(jì)算附圖5所示的公式3所示，在附圖5中，Si的引用頻率偏差變化率是指當(dāng)前采樣時(shí)刻引用頻率偏差Ei (t)與上一采樣時(shí)刻引用頻率偏差Ei (t-1)之間的差異，其中，At為采樣時(shí)間。在計(jì)算EiU)時(shí),需要對(duì)不同層級(jí)上的平均引用頻率average_hitcount進(jìn)行計(jì)算。
[0023]通過(guò)對(duì)數(shù)據(jù)特征值進(jìn)行分析，根據(jù)DEi (t)與Ei(t)判定出數(shù)據(jù)的熱度，然后執(zhí)行相關(guān)的數(shù)據(jù)遷移操作。在進(jìn)行數(shù)據(jù)分級(jí)管理過(guò)程中，對(duì)于數(shù)據(jù)的管理操作，不再是簡(jiǎn)單根據(jù)閥值法進(jìn)行升/降級(jí)操作，而是需要根據(jù)特征變量DEi (t)與Ei (t)對(duì)數(shù)據(jù)塊Si的熱度進(jìn)行判定后實(shí)施。如果數(shù)據(jù)塊Si的引用頻率可能超過(guò)了閥值，但是，其訪問(wèn)頻率是在幾個(gè)周期內(nèi)完成的統(tǒng)計(jì)，那么DEi (t)值將會(huì)降低，從而反映出Si的活躍程度不高，很可能在未來(lái)一段周期內(nèi)不會(huì)出現(xiàn)密集訪問(wèn)情況，存在一定的降級(jí)預(yù)期，那么將繼續(xù)執(zhí)行引用頻率的統(tǒng)計(jì)分析工作，而不會(huì)發(fā)生升級(jí)操作。這樣避免了盲目的升級(jí)或者降級(jí)操作，保留一個(gè)操作緩沖區(qū)使得整個(gè)遷移過(guò)程更加平滑，不是一種非此即彼的過(guò)程。
[0024]除說(shuō)明書(shū)所述 的技術(shù)特征外，均為本專業(yè)技術(shù)人員的公知技術(shù)。
【權(quán)利要求】
1.一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法，其特征在于，首先設(shè)置分級(jí)存儲(chǔ)系統(tǒng)架構(gòu)，該構(gòu)架包括數(shù)據(jù)特征收集器、存儲(chǔ)資源管理器、策略配置管理器與遷移管理器，其中各個(gè)部分對(duì)塊級(jí)數(shù)據(jù)特征的處理過(guò)程為: 一、存儲(chǔ)資源管理器將存儲(chǔ)資源進(jìn)行整合，形成具備分級(jí)存儲(chǔ)能力的存儲(chǔ)資源池，利用存儲(chǔ)資源管理器按照性能由高到低的順序組織磁盤，并且構(gòu)建多級(jí)設(shè)備鏈表，將設(shè)備進(jìn)行統(tǒng)一管理，然后將存儲(chǔ)資源映射為邏輯卷供上層文件系統(tǒng)使用； 二、數(shù)據(jù)特征收集器負(fù)責(zé)監(jiān)控上層傳輸?shù)腎/O請(qǐng)求，并且統(tǒng)計(jì)針對(duì)于某個(gè)數(shù)據(jù)塊的引用頻率特征，然后根據(jù)數(shù)據(jù)特征分析方法進(jìn)行分析，將分析結(jié)果通知給遷移管理器進(jìn)行后續(xù)的分級(jí)管理操； 三、遷移管理器同時(shí)利用策略配置管理器對(duì)塊數(shù)據(jù)的掃描周期、最大未使用時(shí)間參數(shù)進(jìn)行設(shè)置，以便能夠?yàn)檫w移操作提供決策信息。
2.根據(jù)權(quán)利要求1所述的一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法，其特征在于，所述步驟二中的數(shù)據(jù)特征收集器對(duì)塊數(shù)據(jù)的完整I/O事件進(jìn)行監(jiān)控管理，其中I/O事件包括傳輸大小、響應(yīng)時(shí)間、邏輯塊地址LBA以及發(fā)生I/O事件的磁盤ID、執(zhí)行I/O的隊(duì)列，數(shù)據(jù)特征收集器將每一個(gè)I/O 二元組映射給唯一的塊，并且統(tǒng)計(jì)每一個(gè)塊的I/O數(shù)，然后，周期地計(jì)算每一個(gè)塊的引用頻率，分別統(tǒng)計(jì)讀引用數(shù)與寫(xiě)引用數(shù)。
3.根據(jù)權(quán)利要求2所述的一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法，其特征在于，所述步驟二的詳細(xì)過(guò)程為:數(shù)據(jù)特征收集器的請(qǐng)求隊(duì)列接收來(lái)自通用塊設(shè)備的I/O請(qǐng)求，當(dāng)I/O入隊(duì)列后，通知分級(jí)系統(tǒng)工作線程運(yùn)轉(zhuǎn)，工作線程根據(jù)I/O的不同類型劃分不同的設(shè)備塊給I/o請(qǐng)求存儲(chǔ)寫(xiě)數(shù)據(jù)，數(shù)據(jù)寫(xiě)入分配的塊設(shè)備之后I/O結(jié)束；在處理寫(xiě)請(qǐng)求時(shí)，記錄數(shù)據(jù)塊的寫(xiě)信息，包括設(shè)備的寫(xiě)請(qǐng)求數(shù)量、塊的寫(xiě)請(qǐng)求數(shù)量；對(duì)于讀I/o請(qǐng)求統(tǒng)計(jì)設(shè)備以及塊的訪問(wèn)引用計(jì)數(shù)和訪問(wèn)時(shí)間信息，然后再將I/o進(jìn)行轉(zhuǎn)發(fā)；最后，將整個(gè)隊(duì)列的引用頻率信息進(jìn)行統(tǒng)計(jì)，根據(jù)數(shù)據(jù)特征計(jì)算方法進(jìn)行特征值的計(jì)算，從而判定數(shù)據(jù)的冷熱程度。
4.根據(jù)權(quán)利要求3所述的一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法，其特征在于，所述數(shù)據(jù)特征值包括引用頻率偏差Ei (t)與引用偏差變化率DEi (t):塊引用頻率偏差EJt)表示塊Si在數(shù)據(jù)管理周期T內(nèi)，數(shù)據(jù)塊Si被訪問(wèn)的實(shí)際引用數(shù)M與該塊所處層級(jí)設(shè)備的引用閥值threshold的差值，反映該塊數(shù)據(jù)與平均熱度的差值水平；引用偏差變化率DEi (t)表示塊Si在某段時(shí)間內(nèi)偏差的變化頻率，該值反映數(shù)據(jù)塊Si的活躍程度。
5.根據(jù)權(quán)利要求4所述的一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法，其特征在于，所述引用頻率偏差Ei(t)的計(jì)算方式如下:數(shù)據(jù)塊Si在數(shù)據(jù)管理周期T內(nèi)，Si被訪問(wèn)的實(shí)際引用數(shù)M與該塊所處層級(jí)設(shè)備的引用閥值threshold的差值； 根據(jù)權(quán)利要求4所述的一種分級(jí)存儲(chǔ)系統(tǒng)中塊級(jí)數(shù)據(jù)特征處理方法，其特征在于，引用偏差變化率DEi (t)的計(jì)算方式如下:數(shù)據(jù)塊Si當(dāng)前采樣時(shí)刻t引用頻率偏差Ei (t)與上一采樣時(shí)刻t-1引用頻率偏差Ei(t-l)之間的差異，再除以采樣間隔時(shí)間At。
【文檔編號(hào)】G06F3/06GK103605483SQ201310587772
【公開(kāi)日】2014年2月26日 申請(qǐng)日期:2013年11月21日 優(yōu)先權(quán)日:2013年11月21日
【發(fā)明者】施光源, 張宇 申請(qǐng)人:浪潮電子信息產(chǎn)業(yè)股份有限公司