專利名稱：一種文件預(yù)測準(zhǔn)確度的統(tǒng)計(jì)方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及文件系統(tǒng)、文件預(yù)取算法以及文件訪問行為建模與定量分析方法。
背景技術(shù)：
由于計(jì)算機(jī)存儲系統(tǒng)中，磁帶、磁盤等大數(shù)據(jù)量存儲設(shè)備由于自身機(jī)械特性的限 制，數(shù)據(jù)傳輸速率的提升空間有限。因此高速訪問設(shè)備(如內(nèi)存)與低速訪問設(shè)備(如磁 盤、磁帶)訪問速度差距越來越大。一般來說磁盤的訪問速度在很大的程度上限制了計(jì)算機(jī)整體性能的提高。但隨著 緩存技術(shù)的出現(xiàn)，這一狀況得到改觀。當(dāng)系統(tǒng)所需的數(shù)據(jù)從磁盤加載到內(nèi)存中后，可以長期 駐留在內(nèi)存中。后續(xù)對相同數(shù)據(jù)的訪問可以不用再訪問磁盤而直接從內(nèi)存中獲取。但緩存技術(shù)是一種被動加速磁盤文件訪問速度的方法。無論是什么樣的緩存技 術(shù)，第一次數(shù)據(jù)訪問總需要等待磁盤的操作完成才可以進(jìn)行。如果訪問的文件比較多并且 對每個文件訪問的時間比較少，那么緩存技術(shù)幾乎無法提高系統(tǒng)的數(shù)據(jù)訪問速度。正因?yàn)槿绱?，文件預(yù)取作為一種主動加速文件訪問速度的方法被廣泛使用。由于 數(shù)據(jù)訪問的時間以及空間局部性，一個文件的后繼訪問文件在一定程度上具有可預(yù)測性。 但預(yù)取本身具有一定的代價(jià)，文件預(yù)取會加重系統(tǒng)數(shù)據(jù)處理負(fù)載。如果預(yù)取失敗次數(shù)較多， 會使嚴(yán)重影響系統(tǒng)性能。在這種情況下，預(yù)取準(zhǔn)確度成為是否實(shí)施預(yù)取行為的一個重要評價(jià)指標(biāo)。只有當(dāng) 預(yù)取準(zhǔn)確度達(dá)到一定閾值時，才認(rèn)為預(yù)取行為的實(shí)施會對性能帶來提升。預(yù)取準(zhǔn)確度的評 估主要使用文件預(yù)測的最近歷史統(tǒng)計(jì)。參見圖1，該圖示出了一種文件預(yù)讀統(tǒng)計(jì)周期的劃分，其中，一個文件預(yù)取算法會 給出多個候選預(yù)測，對于一個候選預(yù)測Pab來說，候選預(yù)測序列中Pab的預(yù)測結(jié)果被劃分為 若干個統(tǒng)計(jì)周期(statistical cycles)，每一個統(tǒng)計(jì)周期中含有2N個Pab的候選預(yù)測。每 個統(tǒng)計(jì)周期進(jìn)一步被劃分為預(yù)熱(warm-up)和使用(in-use)兩個階段(各占半個統(tǒng)計(jì)周 期)其中預(yù)熱階段只統(tǒng)計(jì)Pab預(yù)測的結(jié)果，并不給出Pab預(yù)測準(zhǔn)確度；使用階段在繼續(xù)完成 預(yù)熱階段中涉及到的統(tǒng)計(jì)工作外還會給出Pab正確的概率。申請人:通過深入的研究，注意到按照圖1所示文件預(yù)讀統(tǒng)計(jì)周期的劃分及處理方 式，在一個周期中的前半個周期將無法給出Pab正確的概率統(tǒng)計(jì)值，而且，在后半個周期給 出的Pab正確的概率統(tǒng)計(jì)值是一個周期內(nèi)的統(tǒng)計(jì)值，由于文件訪問具有時間局部性，因此長 時間的統(tǒng)計(jì)信息并不能有效地反映和估計(jì)某一預(yù)測當(dāng)前的精確度。當(dāng)然，時間過短的統(tǒng)計(jì) 信息也無法有效地反映一個預(yù)測的穩(wěn)定精度。因此，如何設(shè)計(jì)一種有效的統(tǒng)計(jì)方法正是本 發(fā)明所需要解決的問題。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是，提供一種文件預(yù)測準(zhǔn)確度的統(tǒng)計(jì)方法及裝置，不但 能夠?qū)㈩A(yù)測的偶然波動性降到最低，而且能夠確保性能評估輸出的連續(xù)性。
為了解決上述技術(shù)問題，本發(fā)明提出一種文件預(yù)測準(zhǔn)確度的統(tǒng)計(jì)方法，包括配置一第一統(tǒng)計(jì)鏈和一第二統(tǒng)計(jì)鏈，所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈具有相同 的統(tǒng)計(jì)周期，所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈的啟動時間相差半個所述統(tǒng)計(jì)周期；控制所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈從各自的啟動時間開始，在所述統(tǒng)計(jì)周期 的前半個周期內(nèi)統(tǒng)計(jì)候選預(yù)測的結(jié)果；在后半個統(tǒng)計(jì)周期內(nèi)繼續(xù)統(tǒng)計(jì)候選預(yù)測的結(jié)果，并 根據(jù)該周期內(nèi)當(dāng)前統(tǒng)計(jì)到的候選預(yù)測的結(jié)果來計(jì)算并輸出候選預(yù)測的正確率。進(jìn)一步地，上述統(tǒng)計(jì)方法還可具有以下特點(diǎn)在所述統(tǒng)計(jì)周期中，前半個周期為預(yù)熱階段，后半個周期為使用階段；所述第一統(tǒng)計(jì)鏈在預(yù)熱階段時，所述第二統(tǒng)計(jì)鏈在使用階段；或者所述第一統(tǒng)計(jì) 鏈在使用階段時，所述第二統(tǒng)計(jì)鏈在預(yù)熱階段。進(jìn)一步地，上述統(tǒng)計(jì)方法還可具有以下特點(diǎn)所述候選預(yù)測是根據(jù)預(yù)設(shè)的文件預(yù)測算法計(jì)算出的關(guān)于一個文件的后繼訪問文 件的預(yù)測。為了解決上述技術(shù)問題，本發(fā)明還提出一種文件預(yù)測準(zhǔn)確度的統(tǒng)計(jì)處理裝置，包 括配置模塊和統(tǒng)計(jì)處理模塊，其中所述配置模塊，用以配置一第一統(tǒng)計(jì)鏈和一第二統(tǒng)計(jì)鏈，所述第一統(tǒng)計(jì)鏈和所述 第二統(tǒng)計(jì)鏈具有相同的統(tǒng)計(jì)周期，所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈的啟動時間相差半個 所述統(tǒng)計(jì)周期；所述統(tǒng)計(jì)處理模塊，用以控制所述配置模塊中配置的所述第一統(tǒng)計(jì)鏈和所述第二 統(tǒng)計(jì)鏈從各自的啟動時間開始，在所述統(tǒng)計(jì)周期的前半個周期內(nèi)統(tǒng)計(jì)候選預(yù)測的結(jié)果；在 后半個統(tǒng)計(jì)周期內(nèi)繼續(xù)統(tǒng)計(jì)候選預(yù)測的結(jié)果，并根據(jù)該周期內(nèi)當(dāng)前統(tǒng)計(jì)到的候選預(yù)測的結(jié) 果來計(jì)算并輸出候選預(yù)測的正確率。進(jìn)一步地，上述裝置還可具有以下特點(diǎn)所述配置模塊配置的統(tǒng)計(jì)周期中，前半個周期為預(yù)熱階段，后半個周期為使用階 段；所述統(tǒng)計(jì)處理模塊，控制所述第一統(tǒng)計(jì)鏈在預(yù)熱階段時，所述第二統(tǒng)計(jì)鏈在使用 階段；或者控制所述第一統(tǒng)計(jì)鏈在使用階段時，所述第二統(tǒng)計(jì)鏈在預(yù)熱階段。進(jìn)一步地，上述裝置還可具有以下特點(diǎn)所述候選預(yù)測是根據(jù)預(yù)設(shè)的文件預(yù)測算法計(jì)算出的關(guān)于一個文件的后繼訪問文 件的預(yù)測。本發(fā)明提供的一種文件預(yù)測準(zhǔn)確度的統(tǒng)計(jì)方法及裝置，相對于現(xiàn)有技術(shù)，具有如 下優(yōu)點(diǎn)第一，所有關(guān)于候選預(yù)測的統(tǒng)計(jì)結(jié)果都是經(jīng)過一段歷史積累的，能夠?qū)㈩A(yù)測的偶 然波動性降到最低；第二，關(guān)于候選預(yù)測的預(yù)測精度的估計(jì)都是使用最近歷史的M(N <= M <= 2N) 個預(yù)測結(jié)果，保證了對“當(dāng)前”性能的估計(jì)；第三，任意時刻都能輸出候選預(yù)測的正確率，保證了性能評估輸出的連續(xù)性。基于上述三點(diǎn)，采用本發(fā)明技術(shù)方案能夠充分發(fā)掘當(dāng)前系統(tǒng)的文件訪問行為和模 式。


圖1是現(xiàn)有技術(shù)中文件預(yù)讀統(tǒng)計(jì)周期的劃分及處理示意圖；圖2是本發(fā)明實(shí)施例一種文件預(yù)測精度統(tǒng)計(jì)方法流程圖；圖3A和圖3B是本發(fā)明實(shí)施例一種文件預(yù)測精度統(tǒng)計(jì)方法具體實(shí)施的示意圖；圖4是本發(fā)明實(shí)施例一種文件預(yù)測精度統(tǒng)計(jì)裝置方框圖。
具體實(shí)施例方式參見圖2，該圖示出了本發(fā)明實(shí)施例一種文件預(yù)測精度統(tǒng)計(jì)方法，包括如下步驟步驟S201 配置一第一統(tǒng)計(jì)鏈和一第二統(tǒng)計(jì)鏈，所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì) 鏈具有相同的統(tǒng)計(jì)周期，所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈的啟動時間相差半個所述統(tǒng)計(jì) 周期；步驟S202 控制所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈從各自的啟動時間開始，在所 述統(tǒng)計(jì)周期的前半個周期內(nèi)統(tǒng)計(jì)候選預(yù)測的結(jié)果；在后半個統(tǒng)計(jì)周期內(nèi)繼續(xù)統(tǒng)計(jì)候選預(yù)測 的結(jié)果，并根據(jù)該周期內(nèi)當(dāng)前統(tǒng)計(jì)到的候選預(yù)測的結(jié)果來計(jì)算并輸出候選預(yù)測的正確率。候選預(yù)測的結(jié)果包括候選預(yù)測正確和候選預(yù)測錯誤；候選預(yù)測的正確率是指某文 件預(yù)測在一段時間內(nèi)預(yù)測正確的次數(shù)占所有預(yù)測次數(shù)的百分比。所述統(tǒng)計(jì)周期的前半個周期為預(yù)熱階段，后半個周期為使用階段。所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈均從各自的起始時間開始，在前半個統(tǒng)計(jì)周期 執(zhí)行預(yù)熱階段處理，在后半個統(tǒng)計(jì)周期內(nèi)執(zhí)行使用階段處理。由于本發(fā)明實(shí)施例巧妙地設(shè) 計(jì)2個統(tǒng)計(jì)鏈，且2個統(tǒng)計(jì)鏈的啟動時間相差半個所述統(tǒng)計(jì)周期，因此，所述第一統(tǒng)計(jì)鏈在 預(yù)熱階段時，所述第二統(tǒng)計(jì)鏈在使用階段；或者，所述第一統(tǒng)計(jì)鏈在使用階段時，所述第二 統(tǒng)計(jì)鏈在預(yù)熱階段，如圖3所示。采用本發(fā)明實(shí)施例技術(shù)方案，可以有效地確保任意時刻都 有一條統(tǒng)計(jì)鏈能夠輸出候選預(yù)測的正確率，進(jìn)而能夠?qū)崟r輸出當(dāng)前候選預(yù)測的正確率。執(zhí)行預(yù)熱階段處理包括統(tǒng)計(jì)候選預(yù)測的結(jié)果。預(yù)熱階段的統(tǒng)計(jì)是經(jīng)過一段歷史 積累的(半個統(tǒng)計(jì)周期)，因此能夠?qū)㈩A(yù)測的偶然波動性降到最低，其主要被用于消除統(tǒng)計(jì) 結(jié)果中可能出現(xiàn)的波動性。執(zhí)行使用階段處理包括在統(tǒng)計(jì)候選預(yù)測的結(jié)果的同時還計(jì)算候選預(yù)測準(zhǔn)確度。 使用階段是在預(yù)熱基礎(chǔ)上還負(fù)責(zé)輸出的統(tǒng)計(jì)半周期，使用階段能夠輸出穩(wěn)定并且最新的統(tǒng) 計(jì)結(jié)果，因?yàn)橐粋€使用階段與預(yù)熱持續(xù)相同的時間，這保證了數(shù)據(jù)的穩(wěn)定，同時還能反映最 近的歷史狀況。由于所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈在一個統(tǒng)計(jì)周期內(nèi)均執(zhí)行預(yù)熱階段處理 和使用階段處理，因此，其輸出的候選預(yù)測的正確率不但已經(jīng)消除了可能出現(xiàn)的波動性，很 穩(wěn)定；而且具有實(shí)時輸出統(tǒng)計(jì)結(jié)果的特點(diǎn)，保證了對“當(dāng)前”性能的估計(jì)，保證了性能評估輸 出的連續(xù)性。所述候選預(yù)測(Candidate Prediction)是指某個特定的文件預(yù)測算法(如Last Successor、Static Successor、Recent Popularity 等)給出的關(guān)于一個文件的后繼訪問 文件的預(yù)測。通常使用Pab來表示一個候選預(yù)測，該候選預(yù)測指出文件A的后繼訪問文件為 B的概率。
由于每一個統(tǒng)計(jì)周期中含有2N個Pab的候選預(yù)測，而所述第一統(tǒng)計(jì)鏈和所述第二 統(tǒng)計(jì)鏈的啟動時間相差半個所述統(tǒng)計(jì)周期，因此，所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈之間
相差N個Pab的結(jié)果。本發(fā)明實(shí)施例提供的上述方法，充分考慮了數(shù)據(jù)訪問的時間局部性以及統(tǒng)計(jì)中可 能出現(xiàn)的“顛簸”，巧妙的使用交替統(tǒng)計(jì)的方法高效地估計(jì)了預(yù)取算法實(shí)施過程中某候選預(yù) 測的精度。本發(fā)明的應(yīng)用不限于文件預(yù)取算法精確度的估計(jì)，也使用于其他有類似需求的 統(tǒng)計(jì)建模過程。為了實(shí)現(xiàn)上述方法，本發(fā)明實(shí)施例還提供了一種文件預(yù)測準(zhǔn)確度的統(tǒng)計(jì)裝置，包 括配置模塊和統(tǒng)計(jì)處理模塊，其中所述配置模塊，用以配置一第一統(tǒng)計(jì)鏈和一第二統(tǒng)計(jì)鏈，所述第一統(tǒng)計(jì)鏈和所述 第二統(tǒng)計(jì)鏈具有相同的統(tǒng)計(jì)周期，所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈的啟動時間相差半個 所述統(tǒng)計(jì)周期。所述統(tǒng)計(jì)處理模塊，用以控制所述配置模塊中配置的所述第一統(tǒng)計(jì)鏈和所述第二 統(tǒng)計(jì)鏈從各自的啟動時間開始，在所述統(tǒng)計(jì)周期的前半個周期內(nèi)統(tǒng)計(jì)候選預(yù)測的結(jié)果；在 后半個統(tǒng)計(jì)周期內(nèi)繼續(xù)統(tǒng)計(jì)候選預(yù)測的結(jié)果，并根據(jù)該周期內(nèi)當(dāng)前統(tǒng)計(jì)到的候選預(yù)測的結(jié) 果來計(jì)算并輸出候選預(yù)測的正確率。進(jìn)一步地，所述配置模塊配置的統(tǒng)計(jì)周期中，前半個周期為預(yù)熱階段，后半個周期 為使用階段。所述統(tǒng)計(jì)處理模塊，控制所述第一統(tǒng)計(jì)鏈在預(yù)熱階段時，所述第二統(tǒng)計(jì)鏈在使 用階段；或者控制所述第一統(tǒng)計(jì)鏈在使用階段時，所述第二統(tǒng)計(jì)鏈在預(yù)熱階段。進(jìn)一步地，所述候選預(yù)測是根據(jù)預(yù)設(shè)的文件預(yù)測算法計(jì)算出的關(guān)于一個文件的后 繼訪問文件的預(yù)測。當(dāng)然，本發(fā)明還可有其他多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，本 領(lǐng)域技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng) 屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
權(quán)利要求
一種文件預(yù)測準(zhǔn)確度的統(tǒng)計(jì)方法，包括配置一第一統(tǒng)計(jì)鏈和一第二統(tǒng)計(jì)鏈，所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈具有相同的統(tǒng)計(jì)周期，所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈的啟動時間相差半個所述統(tǒng)計(jì)周期；控制所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈從各自的啟動時間開始，在所述統(tǒng)計(jì)周期的前半個周期內(nèi)統(tǒng)計(jì)候選預(yù)測的結(jié)果；在后半個統(tǒng)計(jì)周期內(nèi)繼續(xù)統(tǒng)計(jì)候選預(yù)測的結(jié)果，并根據(jù)該周期內(nèi)當(dāng)前統(tǒng)計(jì)到的候選預(yù)測的結(jié)果來計(jì)算并輸出候選預(yù)測的正確率。
2.如權(quán)利要求1所述的方法，其特征在于，在所述統(tǒng)計(jì)周期中，前半個周期為預(yù)熱階段，后半個周期為使用階段； 所述第一統(tǒng)計(jì)鏈在預(yù)熱階段時，所述第二統(tǒng)計(jì)鏈在使用階段；或者所述第一統(tǒng)計(jì)鏈在 使用階段時，所述第二統(tǒng)計(jì)鏈在預(yù)熱階段。
3.如權(quán)利要求1所述的方法，其特征在于所述候選預(yù)測是根據(jù)預(yù)設(shè)的文件預(yù)測算法計(jì)算出的關(guān)于一個文件的后繼訪問文件的 預(yù)測。
4.一種文件預(yù)測準(zhǔn)確度的統(tǒng)計(jì)裝置，其特征在于，包括配置模塊和統(tǒng)計(jì)處理模塊，其中所述配置模塊，用以配置一第一統(tǒng)計(jì)鏈和一第二統(tǒng)計(jì)鏈，所述第一統(tǒng)計(jì)鏈和所述第二 統(tǒng)計(jì)鏈具有相同的統(tǒng)計(jì)周期，所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈的啟動時間相差半個所述 統(tǒng)計(jì)周期；所述統(tǒng)計(jì)處理模塊，用以控制所述配置模塊中配置的所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì) 鏈從各自的啟動時間開始，在所述統(tǒng)計(jì)周期的前半個周期內(nèi)統(tǒng)計(jì)候選預(yù)測的結(jié)果；在后半 個統(tǒng)計(jì)周期內(nèi)繼續(xù)統(tǒng)計(jì)候選預(yù)測的結(jié)果，并根據(jù)該周期內(nèi)當(dāng)前統(tǒng)計(jì)到的候選預(yù)測的結(jié)果來 計(jì)算并輸出候選預(yù)測的正確率。
5.如權(quán)利要求4所述的裝置，其特征在于所述配置模塊配置的統(tǒng)計(jì)周期中，前半個周期為預(yù)熱階段，后半個周期為使用階段； 所述統(tǒng)計(jì)處理模塊，控制所述第一統(tǒng)計(jì)鏈在預(yù)熱階段時，所述第二統(tǒng)計(jì)鏈在使用階段; 或者控制所述第一統(tǒng)計(jì)鏈在使用階段時，所述第二統(tǒng)計(jì)鏈在預(yù)熱階段。
6.如權(quán)利要求4所述的裝置，其特征在于所述候選預(yù)測是根據(jù)預(yù)設(shè)的文件預(yù)測算法計(jì)算出的關(guān)于一個文件的后繼訪問文件的 預(yù)測。
全文摘要
本發(fā)明提供了一種文件預(yù)測準(zhǔn)確度的統(tǒng)計(jì)方法及裝置，該方法包括配置一第一統(tǒng)計(jì)鏈和一第二統(tǒng)計(jì)鏈，所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈具有相同的統(tǒng)計(jì)周期，所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈的啟動時間相差半個所述統(tǒng)計(jì)周期；控制所述第一統(tǒng)計(jì)鏈和所述第二統(tǒng)計(jì)鏈從各自的啟動時間開始，在所述統(tǒng)計(jì)周期的前半個周期內(nèi)統(tǒng)計(jì)候選預(yù)測的結(jié)果；在后半個統(tǒng)計(jì)周期內(nèi)繼續(xù)統(tǒng)計(jì)候選預(yù)測的結(jié)果，并根據(jù)該周期內(nèi)當(dāng)前統(tǒng)計(jì)到的候選預(yù)測的結(jié)果來計(jì)算并輸出候選預(yù)測的正確率。該方法不但能夠?qū)㈩A(yù)測的偶然波動性降到最低，而且能夠確保性能評估輸出的連續(xù)性。
文檔編號G06F17/30GK101882155SQ20101020580
公開日2010年11月10日 申請日期2010年6月22日 優(yōu)先權(quán)日2010年6月22日
發(fā)明者何俊, 程旭, 管雪濤 申請人:北京北大眾志微系統(tǒng)科技有限責(zé)任公司