一種估算滑動窗口下的數(shù)據(jù)流平均值的方法與系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種估算滑動窗口下數(shù)據(jù)流平均值的方法，包括以下步驟：1初始化指數(shù)直方圖，所述指數(shù)直方圖把滑動窗口下的數(shù)據(jù)元素劃分到不同的層次的若干個(gè)桶中，所述桶用來存儲數(shù)據(jù)流中一段時(shí)間內(nèi)的數(shù)據(jù)集合信息，所述信息包括數(shù)據(jù)集合中距離當(dāng)前時(shí)刻最近的數(shù)據(jù)元素的時(shí)間戳和數(shù)據(jù)集合元素之和；2將數(shù)據(jù)流的信息儲存在桶中，所述桶在指數(shù)直方圖中的位置由時(shí)間戳決定。當(dāng)有新的數(shù)據(jù)添加以及舊的數(shù)據(jù)刪除時(shí)，以桶的容量為準(zhǔn)則進(jìn)行桶的合并與分解；3查詢所述指數(shù)直方圖，輸出近似平均值。本發(fā)明還提供了相應(yīng)的估算滑動窗口下數(shù)據(jù)流平均值的系統(tǒng)。本發(fā)明不需要保存全部歷史數(shù)據(jù)，計(jì)算滑動窗口中的平均值時(shí)，不需要掃描歷史數(shù)據(jù)，且誤差可控。
【專利說明】一種估算滑動窗口下的數(shù)據(jù)流平均值的方法與系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于數(shù)據(jù)流分析【技術(shù)領(lǐng)域】，更具體地，涉及一種估算滑動窗口下的數(shù)據(jù)流 平均值的方法與系統(tǒng)。

【背景技術(shù)】
[0002] 近年來，數(shù)據(jù)流分析技術(shù)被廣泛應(yīng)用到傳感器網(wǎng)絡(luò)通信，web服務(wù)器點(diǎn)擊日志、網(wǎng) 絡(luò)安全監(jiān)控與異常檢測、通話記錄、證券股票交易等領(lǐng)域，數(shù)據(jù)流分析已成為國內(nèi)外各界研 究的熱點(diǎn)。
[0003] 數(shù)據(jù)流不同于傳統(tǒng)數(shù)據(jù)，不是存儲在磁盤上的有限數(shù)據(jù)集合，而是無限的、連續(xù) 的、快速的、實(shí)時(shí)的，以流的形式出現(xiàn)的數(shù)據(jù)集合。實(shí)際應(yīng)用中，存儲空間是有限的，但是數(shù) 據(jù)流卻是源源不斷的到達(dá)。數(shù)據(jù)流的應(yīng)用場景對實(shí)時(shí)性有較高要求，但是傳統(tǒng)的靜態(tài)數(shù)據(jù) 挖掘往往需要多次掃描數(shù)據(jù)來獲得查詢結(jié)果，耗時(shí)較長。傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)不能滿足動 態(tài)的快速變化的數(shù)據(jù)流分析要求，數(shù)據(jù)流挖掘面臨著實(shí)時(shí)性、空間性和近似性等技術(shù)挑戰(zhàn)。
[0004] 平均值的計(jì)算是數(shù)據(jù)流統(tǒng)計(jì)分析中的一個(gè)重要問題。但是目前的解決方法需要掃 描窗口中的歷史數(shù)據(jù)而且需要保存一段窗口內(nèi)的全部數(shù)據(jù)，對內(nèi)存和計(jì)算能力要求較高， 遠(yuǎn)遠(yuǎn)不能滿足源源不斷到達(dá)的無限的數(shù)據(jù)流以及實(shí)時(shí)性的應(yīng)用要求，所以有必要提出基于 單次掃描的實(shí)時(shí)計(jì)算方法。


【發(fā)明內(nèi)容】

[0005] 為了解決現(xiàn)有上述的技術(shù)問題，本發(fā)明需要提供一種能夠滿足實(shí)時(shí)性要求的估算 滑動窗口下數(shù)據(jù)流平均值的方法與系統(tǒng)。
[0006] 為了實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種估算滑動窗口下數(shù)據(jù)流 平均值的方法，包括以下步驟：
[0007] (1)、初始化指數(shù)直方圖：所述指數(shù)直方圖把數(shù)據(jù)元素劃分到不同的層次上，每層 由若干個(gè)桶組成，所述桶用來存儲數(shù)據(jù)流中一段時(shí)間內(nèi)的數(shù)據(jù)集合信息，所述信息包括數(shù) 據(jù)集合對應(yīng)的時(shí)間戳和容量，所述時(shí)間戳表示的是數(shù)據(jù)集合中距離當(dāng)前時(shí)刻最近的數(shù)據(jù)的 時(shí)間戳，容量表示的是數(shù)據(jù)集合中所有數(shù)據(jù)元素的和；
[0008] (2)、將數(shù)據(jù)流的信息儲存在桶中：所述桶在指數(shù)直方圖中的位置由時(shí)間戳決定： 層數(shù)越高，所述層上的桶的時(shí)間戳越舊，層數(shù)越低，所述層上的桶的時(shí)間戳越新；所述桶的 時(shí)間戳越舊，表示桶中數(shù)據(jù)元素離當(dāng)前時(shí)刻越遠(yuǎn)；桶的時(shí)間戳越新，表示桶中數(shù)據(jù)元素離當(dāng) 前時(shí)刻越近；同一層中的桶按時(shí)間戳新舊順序排列；隨著數(shù)據(jù)的不斷流入，當(dāng)有新的數(shù)據(jù) 添加以及舊的數(shù)據(jù)刪除時(shí)，進(jìn)行桶的合并與分解操作，合并分解規(guī)則以桶的容量為參考；
[0009] (3)、查詢指數(shù)直方圖，輸出近似平均值：首先計(jì)算指數(shù)直方圖中所有桶的容量之 和SUM,如果指數(shù)直方圖只有一層，則輸出近似平均值avg，計(jì)算公式為a嘆=^，其中N - N 是滑動窗口的大??；如果指數(shù)直方圖不只一層，則查詢時(shí)間戳最舊的桶的容量C，輸出近似

【權(quán)利要求】
1. 一種估算滑動窗口下數(shù)據(jù)流平均值的方法，其特征在于，包括以下步驟： (1) 、初始化指數(shù)直方圖：所述指數(shù)直方圖把數(shù)據(jù)元素劃分到不同的層次上，每層由若 干個(gè)桶組成，所述桶用來存儲數(shù)據(jù)流中一段時(shí)間內(nèi)的數(shù)據(jù)集合信息，所述信息包括數(shù)據(jù)集 合對應(yīng)的時(shí)間戳和容量，所述時(shí)間戳表示的是數(shù)據(jù)集合中距離當(dāng)前時(shí)刻最近的數(shù)據(jù)的時(shí)間 戳，容量表示的是數(shù)據(jù)集合中所有數(shù)據(jù)元素的和； (2) 、將數(shù)據(jù)流的信息儲存在桶中：所述桶在指數(shù)直方圖中的位置由時(shí)間戳決定：層數(shù) 越高，所述層上的桶的時(shí)間戳越舊，層數(shù)越低，所述層上的桶的時(shí)間戳越新；所述桶的時(shí)間 戳越舊，表示桶中數(shù)據(jù)元素離當(dāng)前時(shí)刻越遠(yuǎn)；桶的時(shí)間戳越新，表示桶中數(shù)據(jù)元素離當(dāng)前時(shí) 刻越近；同一層中的桶按時(shí)間戳新舊順序排列；隨著數(shù)據(jù)的不斷流入，當(dāng)有新的數(shù)據(jù)添加 以及舊的數(shù)據(jù)刪除時(shí)，進(jìn)行桶的合并與分解操作，合并分解規(guī)則以桶的容量為參考；
2. 如權(quán)利要求1所述的方法，其特征在于，所述步驟（2)包括以下子步驟： (2. 1)、檢查是否存在已經(jīng)超過當(dāng)前滑動窗口的范圍的桶，如存在則從指數(shù)直方圖中刪 除其息； (2. 2)、從數(shù)據(jù)流中取出當(dāng)前到達(dá)的數(shù)據(jù)項(xiàng)，根據(jù)用戶自定義的精度將數(shù)據(jù)流中當(dāng)前到 達(dá)的數(shù)據(jù)項(xiàng)轉(zhuǎn)換成整數(shù)值；如果轉(zhuǎn)換之后的數(shù)據(jù)不等于〇,則執(zhí)行步驟（2.3);如果等于0， 則不必執(zhí)行步驟（2. 3); (2. 3)、更新指數(shù)直方圖中的桶存儲的信息，按照桶的分解合并規(guī)則對指數(shù)直方圖中的 桶進(jìn)行分解合并。
3. 如權(quán)利要求2所述的方法，其特征在于，所述步驟（2. 1)中檢查是否存在桶已經(jīng)超過 當(dāng)前滑動窗口的時(shí)間范圍，具體的是通過檢查時(shí)間戳最舊的桶的時(shí)間戳與（t+l)mod(N)是 否相等，若兩者相等，則表示時(shí)間戳最舊的桶超過了當(dāng)前滑動窗口的時(shí)間范圍，其中t為當(dāng) 前時(shí)刻，N為窗口的大小，其中mod表示取兩個(gè)整數(shù)相除后結(jié)果的余數(shù)。
4. 如權(quán)利要求2或3所述的方法，其特征在于，所述步驟（2. 3)包括以下子步驟： (2. 3. 1)、根據(jù)用戶自定義的精度將數(shù)據(jù)流中當(dāng)前到達(dá)的數(shù)據(jù)項(xiàng)轉(zhuǎn)換成整數(shù)值；新建一 個(gè)桶，時(shí)間戳為（t+l)mod(N)，容量為當(dāng)前到達(dá)的數(shù)據(jù)項(xiàng)轉(zhuǎn)換后的值的大小，其中t為當(dāng)前 時(shí)刻，N為滑動窗口的大小，將所述桶插入到指數(shù)直方圖的最低層仏中，用&表示指數(shù)直 方圖中的第i層，i從〇開始計(jì)數(shù)；然后從仏層開始逐步檢查&層中所有桶的容量之和； (2. 3. 2)、如果Bi層中所有桶的容量之和sunii超過Bi層預(yù)定義的值Maxsuiv則執(zhí)行步 驟（2. 3. 3)，否則不必執(zhí)行剩下子步驟；Maxsunii表示第i層允許的容量和的最大值，Maxsunii =(k+l)*2S k為用戶自定義的整數(shù)參數(shù)； (2. 3. 3)、計(jì)算Bi層多余容量D ;計(jì)算規(guī)則是如果（811111廠]/[;[118111^)1]1〇(121+1等于0,則Bi 層多余容量D的計(jì)算公式為sumi-Minsunii ;如果（811111廠]\1;[118111]^)1]1〇(121+1不等于0,則Bi層多 余容量D的計(jì)算公式為sunii-Maxsumi ; (2. 3. 4)、從Bi層時(shí)間戳最舊的桶開始一一檢查進(jìn)行分解合并；i增加一個(gè)單元，繼續(xù) 執(zhí)行步驟（2. 3. 2)，檢查氏層所有桶的容量之和，直到完成所有層的檢查。
5. 如權(quán)利要求4所述的方法，其特征在于，所述步驟（2.3.4)包括以下子步驟： (2.3.4. 1)、如果&層的多余容量D等于&層中時(shí)間戳最舊的桶的容量，執(zhí)行步 驟（2. 3. 4. 2)，如果&層的多余容量D大于&層中時(shí)間戳最舊的桶的容量，執(zhí)行步 驟（2. 3. 4.3)，如果氏層的多余容量D小于&層中時(shí)間戳最舊的桶的容量執(zhí)行步驟 (2. 3. 4. 4)； (2. 3. 4. 2)、將&層中時(shí)間戳最舊的桶插入到Bi+1層中，檢查Bi+1層中時(shí)間戳最新的桶 的時(shí)間戳與Bi+1層中新插入的桶的時(shí)間戳是否相同，如果相同，則將兩桶合并，合并之后的 容量為兩桶容量之和，合并之后的桶的時(shí)間戳為原始桶的時(shí)間戳；不必繼續(xù)檢查&層中其 余的桶； (2. 3. 4. 3)、檢查&層的多余容量D是否大于21 ;如果D大于21，則將&層時(shí)間戳最舊 的桶的容量減少21，然后將其插入到Bi+1層中，將&層中剩下的桶中時(shí)間戳最舊的桶的容量 增加2 1 ;檢查Bi+1層中時(shí)間戳最新的桶的時(shí)間戳與Bi+1層中新插入的桶的時(shí)間戳是否相同， 如果相同，則將兩桶合并，合并之后的容量為兩桶容量之和，合并之后的桶的時(shí)間戳為原始 桶的時(shí)間戳；重新計(jì)算&層的多余容量D，計(jì)算規(guī)則如步驟（2.3.3)中所述，然后執(zhí)行步驟 (2. 3. 4. 2)進(jìn)行桶的合并分解；如果&層的多余容量D不大于21，則直接將&層中時(shí)間戳最 舊的兩個(gè)桶進(jìn)行合并，合并后的桶的容量為兩桶的容量之和，時(shí)間戳為較新的桶的時(shí)間戳； 重新計(jì)算氏層的多余容量D，計(jì)算規(guī)則如步驟（2. 3. 3)中所述，繼續(xù)執(zhí)行步驟（2. 3. 4. 2)進(jìn) 行桶的合并分解； (2. 3. 4. 4)、將&層中時(shí)間戳最舊的桶分解成兩個(gè)桶，分解后的兩個(gè)桶的時(shí)間戳相同 且與分解前的桶的時(shí)間戳保持一致，分解后的兩個(gè)桶的容量之和等于分解前的原始桶的容 量；分解后的兩個(gè)桶中，其中一個(gè)桶的容量是D，將該桶插入到B i+1層中，另外一個(gè)桶繼續(xù)留 在&層中，Β,層中其余的桶不需要繼續(xù)檢查；檢查Bi+1層中時(shí)間戳最新的桶的時(shí)間戳與B i+1 層中新插入的桶的時(shí)間戳是否相同，如果相同，則將兩桶合并，合并之后的容量為兩桶容量 之和，合并之后的桶的時(shí)間戳為原始桶的時(shí)間戳。
6. -種估算滑動窗口下數(shù)據(jù)流平均值的系統(tǒng)，其特征在于，包括指數(shù)直方圖初始化模 塊、數(shù)據(jù)流信息儲存模塊以及平均值計(jì)算模塊，其中： 所述指數(shù)直方圖初始化模塊，用于初始化指數(shù)直方圖：所述指數(shù)直方圖把數(shù)據(jù)元素劃 分到不同的層次上，每層由若干個(gè)桶組成，所述桶用來存儲數(shù)據(jù)流中一段時(shí)間內(nèi)的數(shù)據(jù)集 合信息，所述信息包括數(shù)據(jù)集合對應(yīng)的時(shí)間戳和容量，所述時(shí)間戳表示的是數(shù)據(jù)集合中距 離當(dāng)前時(shí)刻最近的數(shù)據(jù)的時(shí)間戳，容量表示的是數(shù)據(jù)集合中所有數(shù)據(jù)元素的和； 所述數(shù)據(jù)流信息儲存模塊，用于將數(shù)據(jù)流的信息儲存在桶中：所述桶在指數(shù)直方圖中 的位置由時(shí)間戳決定：層數(shù)越高，所述層上的桶的時(shí)間戳越舊，層數(shù)越低，所述層上的桶的 時(shí)間戳越新；所述桶的時(shí)間戳越舊，表示桶中數(shù)據(jù)元素離當(dāng)前時(shí)刻越遠(yuǎn)；桶的時(shí)間戳越新， 表示桶中數(shù)據(jù)元素離當(dāng)前時(shí)刻越近；同一層中的桶按時(shí)間戳新舊順序排列；隨著數(shù)據(jù)的不 斷流入，當(dāng)有新的數(shù)據(jù)添加以及舊的數(shù)據(jù)刪除時(shí)，進(jìn)行桶的合并與分解操作，合并分解規(guī)則 以桶的容量為參考； 所述平均值計(jì)算模塊，用于查詢指數(shù)直方圖，輸出近似平均值：首先計(jì)算指數(shù)直方圖
7. 如權(quán)利要求6所述的方法，其特征在于，所述數(shù)據(jù)流信息儲存模塊包括檢查子模塊、 轉(zhuǎn)換子模塊以及更新子模塊，其中： 所述檢查子模塊，用于檢查是否存在已經(jīng)超過當(dāng)前滑動窗口的范圍的桶，如存在則從 指數(shù)直方圖中刪除其信息； 所述轉(zhuǎn)換子模塊，用于從數(shù)據(jù)流中取出當(dāng)前到達(dá)的數(shù)據(jù)項(xiàng)，根據(jù)用戶自定義的精度將 數(shù)據(jù)流中當(dāng)前到達(dá)的數(shù)據(jù)項(xiàng)轉(zhuǎn)換成整數(shù)值；如果轉(zhuǎn)換之后的數(shù)據(jù)不等于〇,則轉(zhuǎn)所述更新 子模塊；如果等于〇,則不轉(zhuǎn)所述更新子模塊； 所述更新子模塊，用于更新指數(shù)直方圖中的桶存儲的信息，按照桶的分解合并規(guī)則對 指數(shù)直方圖中的桶進(jìn)行分解合并。
8. 如權(quán)利要求7所述的方法，其特征在于，所述檢查子模塊檢查是否存在桶已經(jīng)超過 當(dāng)前滑動窗口的時(shí)間范圍，具體的是通過檢查時(shí)間戳最舊的桶的時(shí)間戳與（t+l)mod(N)是 否相等，若兩者相等，則表示時(shí)間戳最舊的桶超過了當(dāng)前滑動窗口的時(shí)間范圍，其中t為當(dāng) 前時(shí)刻，N為窗口的大小，其中mod表示取兩個(gè)整數(shù)相除后結(jié)果的余數(shù)。
9. 如權(quán)利要求7或8所述的方法，其特征在于，所述更新子模塊包括桶插入子模塊、容 量比較子模塊、多余容量計(jì)算子模塊以及分解合并子模塊，其中 ： 所述桶插入子模塊，用于根據(jù)用戶自定義的精度將數(shù)據(jù)流中當(dāng)前到達(dá)的數(shù)據(jù)項(xiàng)轉(zhuǎn)換 成整數(shù)值；新建一個(gè)桶，時(shí)間戳為（t+l)mod(N)，容量為當(dāng)前到達(dá)的數(shù)據(jù)項(xiàng)轉(zhuǎn)換后的值的大 小，其中t為當(dāng)前時(shí)刻，N為滑動窗口的大小，將所述桶插入到指數(shù)直方圖的最低層^中， 用&表示指數(shù)直方圖中的第i層，i從0開始計(jì)數(shù)；然后從^層開始逐步檢查&層中所有 桶的容量之和； 所述容量比較子模塊，用于如果Bi層中所有桶的容量之和sunii超過Bi層預(yù)定義的值 Maxsunii，則轉(zhuǎn)所述多余容量計(jì)算子模塊，否則不必執(zhí)行剩下子步驟；Maxsunii表示第i層允 許的容量和的最大值，Maxsunii = (k+l)*〗1，k為用戶自定義的整數(shù)參數(shù)； 所述多余容量計(jì)算子模塊，用于計(jì)算Bi層多余容量D ;計(jì)算規(guī)則是如果（sumi-Minsunii) mod21+1 等于 0,則 Bi 層多余容量 D 的計(jì)算公式為 sumi-Minsunii ;如果（811111廠]\1;[118111]^)1]1〇(121+1 不等于〇,則Bi層多余容量D的計(jì)算公式為sunii-Maxsumi ; 所述分解合并子模塊，用于從&層時(shí)間戳最舊的桶開始一一檢查進(jìn)行分解合并；i增 加一個(gè)單元，并轉(zhuǎn)所述容量比較子模塊，檢查&層所有桶的容量之和，直到完成所有層的檢 查。
10. 如權(quán)利要求9所述的方法，其特征在于，所述分解合并子模塊包括多余容量比較子 模塊、容量相等處理子模塊、容量大于處理子模塊以及容量小于處理子模塊，其中： 所述多余容量比較子模塊，用于如果&層的多余容量D等于&層中時(shí)間戳最舊的桶的 容量，則轉(zhuǎn)容量相等處理子模塊；如果Bi層的多余容量D大于Bi層中時(shí)間戳最舊的桶的容 量，則轉(zhuǎn)容量大于處理子模塊；如果&層的多余容量D小于&層中時(shí)間戳最舊的桶的容量， 則轉(zhuǎn)容量小于處理子模塊； 所述容量相等處理子模塊，用于將&層中時(shí)間戳最舊的桶插入到Bi+1層中，檢查Bi+1層 中時(shí)間戳最新的桶的時(shí)間戳與Bi+1層中新插入的桶的時(shí)間戳是否相同，如果相同，則將兩桶 合并，合并之后的容量為兩桶容量之和，合并之后的桶的時(shí)間戳為原始桶的時(shí)間戳；不必繼 續(xù)檢查&層中其余的桶； 所述容量大于處理子模塊，用于檢查氏層的多余容量D是否大于21 ;如果D大于2i， 則將&層時(shí)間戳最舊的桶的容量減少21，然后將其插入到Bi+1層中，將&層中剩下的桶中 時(shí)間戳最舊的桶的容量增加2 1 ;檢查Bi+1層中時(shí)間戳最新的桶的時(shí)間戳與Bi+1層中新插入 的桶的時(shí)間戳是否相同，如果相同，則將兩桶合并，合并之后的容量為兩桶容量之和，合并 之后的桶的時(shí)間戳為原始桶的時(shí)間戳；重新計(jì)算&層的多余容量D，計(jì)算規(guī)則為計(jì)算規(guī)則 是如果（811111廠]\1;[118111]^)1]1〇(12 1+1等于0,則Bi層多余容量D的計(jì)算公式為sumi-Minsunii ;如果 (811111廠]\1;[118111]^)1]1〇(121+1不等于0,則Bi層多余容量D的計(jì)算公式為sumi-Maxsuiv然后轉(zhuǎn)容 量相等處理子模塊進(jìn)行桶的合并分解；如果&層的多余容量D不大于2 1，則直接將&層中 時(shí)間戳最舊的兩個(gè)桶進(jìn)行合并，合并后的桶的容量為兩桶的容量之和，時(shí)間戳為較新的桶 的時(shí)間戳；重新計(jì)算Bi層的多余容量D，計(jì)算規(guī)則為計(jì)算規(guī)則是如果（811111廠]/[；[118111^)1]10(12 1+1 等于0,則Bi層多余容量D的計(jì)算公式為sumi-Minsunii ;如果（811111廠]\1;[118111]^)1]1〇(121+1不等于 0,則Bi層多余容量D的計(jì)算公式為sumi-Maxsmv然后轉(zhuǎn)容量相等處理子模塊進(jìn)行桶的合 并分解； 所述容量小于處理子模塊，用于將&層中時(shí)間戳最舊的桶分解成兩個(gè)桶，分解后的兩 個(gè)桶的時(shí)間戳相同且與分解前的桶的時(shí)間戳保持一致，分解后的兩個(gè)桶的容量之和等于分 解前的原始桶的容量；分解后的兩個(gè)桶中，其中一個(gè)桶的容量是D，將該桶插入到B i+1層中， 另外一個(gè)桶繼續(xù)留在氏層中，Bi層中其余的桶不需要繼續(xù)檢查；檢查Bi+1層中時(shí)間戳最新 的桶的時(shí)間戳與B i+1層中新插入的桶的時(shí)間戳是否相同，如果相同，則將兩桶合并，合并之 后的容量為兩桶容量之和，合并之后的桶的時(shí)間戳為原始桶的時(shí)間戳。
【文檔編號】G06F17/30GK104090952SQ201410315983
【公開日】2014年10月8日 申請日期:2014年7月2日 優(yōu)先權(quán)日:2014年7月2日
【發(fā)明者】王非, 陳歲迪 申請人:華中科技大學(xué)