1.一種數(shù)據(jù)處理方法,其特征在于,包括:
讀取數(shù)據(jù),并將所述數(shù)據(jù)寫入預(yù)設(shè)數(shù)據(jù)庫;
監(jiān)測所述預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)是否達(dá)到預(yù)設(shè)條件,并在所述數(shù)據(jù)達(dá)到所述預(yù)設(shè)條件時(shí)執(zhí)行數(shù)據(jù)統(tǒng)計(jì)任務(wù);
當(dāng)所述數(shù)據(jù)統(tǒng)計(jì)完成后,刪除所述預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù),所述歷史數(shù)據(jù)為寫入時(shí)間距離當(dāng)前時(shí)間的時(shí)長超過預(yù)設(shè)時(shí)長的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述預(yù)設(shè)數(shù)據(jù)庫中包括至少兩個(gè)分區(qū),其中,各分區(qū)分別用于存儲(chǔ)預(yù)設(shè)序號(hào)范圍內(nèi)的數(shù)據(jù);所述讀取數(shù)據(jù),并將所述數(shù)據(jù)寫入預(yù)設(shè)數(shù)據(jù)庫,包括:
當(dāng)讀取到所述數(shù)據(jù)時(shí),采用自增方式對(duì)所述數(shù)據(jù)進(jìn)行序號(hào)標(biāo)記;
根據(jù)所述標(biāo)記的序號(hào)確定所述數(shù)據(jù)對(duì)應(yīng)的分區(qū);
將所述數(shù)據(jù)寫入所述對(duì)應(yīng)的分區(qū)中。
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述預(yù)設(shè)數(shù)據(jù)庫中包括至少兩個(gè)分區(qū),其中,各分區(qū)是以日期為標(biāo)準(zhǔn)進(jìn)行劃分的,各分區(qū)中包括預(yù)設(shè)數(shù)量個(gè)時(shí)刻字段;所述讀取數(shù)據(jù),并將所述數(shù)據(jù)寫入預(yù)設(shè)數(shù)據(jù)庫,包括:
根據(jù)所述數(shù)據(jù)的時(shí)間戳確定所述數(shù)據(jù)對(duì)應(yīng)的日期信息和時(shí)刻信息;
根據(jù)所述日期信息確定所述數(shù)據(jù)對(duì)應(yīng)的預(yù)設(shè)數(shù)據(jù)庫中的目標(biāo)分區(qū),并根據(jù)所述時(shí)刻信息確定所述數(shù)據(jù)對(duì)應(yīng)的目標(biāo)時(shí)刻字段;
將所述數(shù)據(jù)寫入位于所述目標(biāo)分區(qū)中的目標(biāo)時(shí)刻字段中。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述執(zhí)行數(shù)據(jù)統(tǒng)計(jì)任務(wù),包括:
根據(jù)當(dāng)前時(shí)間信息確定預(yù)定時(shí)間在所述預(yù)設(shè)數(shù)據(jù)庫中對(duì)應(yīng)的分區(qū),所述預(yù)定時(shí)間包括預(yù)定日期、預(yù)定時(shí)刻、預(yù)定周日期中的至少一種;
提取所述預(yù)定時(shí)間在所述預(yù)設(shè)數(shù)據(jù)庫中對(duì)應(yīng)的分區(qū)中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。
5.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述執(zhí)行數(shù)據(jù)統(tǒng)計(jì)任務(wù),還包括:
刪除已統(tǒng)計(jì)的數(shù)據(jù)在所述預(yù)設(shè)數(shù)據(jù)庫中對(duì)應(yīng)的分區(qū)。
6.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述預(yù)設(shè)條件包括所述預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)量達(dá)到預(yù)設(shè)閾值。
7.根據(jù)權(quán)利要求1或6所述的方法,其特征在于,當(dāng)采用多線程方式讀取數(shù)據(jù)時(shí),所述在所述數(shù)據(jù)達(dá)到所述預(yù)設(shè)條件時(shí)執(zhí)行數(shù)據(jù)統(tǒng)計(jì)任務(wù),包括:
在每個(gè)線程上讀取的數(shù)據(jù)均達(dá)到所述預(yù)設(shè)條件時(shí),執(zhí)行所述數(shù)據(jù)統(tǒng)計(jì)任務(wù)。
8.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述刪除所述預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù),包括:
根據(jù)所述預(yù)設(shè)數(shù)據(jù)庫中所述數(shù)據(jù)的寫入時(shí)間確定所述歷史數(shù)據(jù);
按照預(yù)設(shè)頻率刪除所述預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù)。
9.一種數(shù)據(jù)處理裝置,其特征在于,包括:
寫入模塊,用于讀取數(shù)據(jù),并將所述數(shù)據(jù)寫入預(yù)設(shè)數(shù)據(jù)庫;
統(tǒng)計(jì)模塊,用于監(jiān)測所述預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)是否達(dá)到預(yù)設(shè)條件,并在所述數(shù)據(jù)達(dá)到所述預(yù)設(shè)條件時(shí)執(zhí)行數(shù)據(jù)統(tǒng)計(jì)任務(wù);
刪除模塊,用于當(dāng)所述數(shù)據(jù)統(tǒng)計(jì)完成后,刪除所述預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù),所述歷史數(shù)據(jù)為寫入時(shí)間距離當(dāng)前時(shí)間的時(shí)長超過預(yù)設(shè)時(shí)長的數(shù)據(jù)。
10.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述預(yù)設(shè)數(shù)據(jù)庫中包括至少兩個(gè)分區(qū),其中,各分區(qū)分別用于存儲(chǔ)預(yù)設(shè)序號(hào)范圍內(nèi)的數(shù)據(jù);所述寫入模塊包括:
標(biāo)記單元,用于當(dāng)讀取到所述數(shù)據(jù)時(shí),采用自增方式對(duì)所述數(shù)據(jù)進(jìn)行序號(hào)標(biāo)記;
確定單元,用于根據(jù)所述標(biāo)記的序號(hào)確定所述數(shù)據(jù)對(duì)應(yīng)的分區(qū);
寫入單元,用于將所述數(shù)據(jù)寫入所述對(duì)應(yīng)的分區(qū)中。