本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置。

背景技術(shù)：

互聯(lián)網(wǎng)科技的發(fā)展使得數(shù)據(jù)量急劇增加，在數(shù)據(jù)科技的大力發(fā)展下，人們所能存儲、處理的數(shù)據(jù)已經(jīng)達到前所未有的量級，大數(shù)據(jù)的核心價值就是在于對于海量數(shù)據(jù)進行存儲和統(tǒng)計分析。因此，如何對海量數(shù)據(jù)進行存儲和管理成為當(dāng)前亟待解決的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供一種數(shù)據(jù)處理方法及裝置，用于提高用戶行為數(shù)據(jù)的存儲及統(tǒng)計效率。

一種數(shù)據(jù)處理方法，包括以下步驟：

讀取數(shù)據(jù)，并將所述數(shù)據(jù)寫入預(yù)設(shè)數(shù)據(jù)庫；

監(jiān)測所述預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)是否達到預(yù)設(shè)條件，并在所述數(shù)據(jù)達到所述預(yù)設(shè)條件時執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)；

當(dāng)所述數(shù)據(jù)統(tǒng)計完成后，刪除所述預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù)，所述歷史數(shù)據(jù)為寫入時間距離當(dāng)前時間的時長超過預(yù)設(shè)時長的數(shù)據(jù)。

在一個實施例中，所述預(yù)設(shè)數(shù)據(jù)庫中包括至少兩個分區(qū)，其中，各分區(qū)分別用于存儲預(yù)設(shè)序號范圍內(nèi)的數(shù)據(jù)；所述讀取數(shù)據(jù)，并將所述數(shù)據(jù)寫入預(yù)設(shè)數(shù)據(jù)庫，包括：

當(dāng)讀取到所述數(shù)據(jù)時，采用自增方式對所述數(shù)據(jù)進行序號標記；

根據(jù)所述標記的序號確定所述數(shù)據(jù)對應(yīng)的分區(qū)；

將所述數(shù)據(jù)寫入所述對應(yīng)的分區(qū)中。

在一個實施例中，所述預(yù)設(shè)數(shù)據(jù)庫中包括至少兩個分區(qū)，其中，各分區(qū)是以日期為標準進行劃分的，各分區(qū)中包括預(yù)設(shè)數(shù)量個時刻字段；所述讀取數(shù)據(jù)，并將所述數(shù)據(jù)寫入預(yù)設(shè)數(shù)據(jù)庫，包括：

根據(jù)所述數(shù)據(jù)的時間戳確定所述數(shù)據(jù)對應(yīng)的日期信息和時刻信息；

根據(jù)所述日期信息確定所述數(shù)據(jù)對應(yīng)的預(yù)設(shè)數(shù)據(jù)庫中的目標分區(qū)，并根據(jù)所述時刻信息確定所述數(shù)據(jù)對應(yīng)的目標時刻字段；

將所述數(shù)據(jù)寫入位于所述目標分區(qū)中的目標時刻字段中。

在一個實施例中，所述執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)，包括：

根據(jù)當(dāng)前時間信息確定預(yù)定時間在所述預(yù)設(shè)數(shù)據(jù)庫中對應(yīng)的分區(qū)，所述預(yù)定時間包括預(yù)定日期、預(yù)定時刻、預(yù)定周日期中的至少一種；

提取所述預(yù)定時間在所述預(yù)設(shè)數(shù)據(jù)庫中對應(yīng)的分區(qū)中的數(shù)據(jù)進行統(tǒng)計。

在一個實施例中，所述執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)，還包括：

刪除已統(tǒng)計的數(shù)據(jù)在所述預(yù)設(shè)數(shù)據(jù)庫中對應(yīng)的分區(qū)。

在一個實施例中，所述預(yù)設(shè)條件包括所述預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)量達到預(yù)設(shè)閾值。

在一個實施例中，當(dāng)采用多線程方式讀取數(shù)據(jù)時，所述在所述數(shù)據(jù)達到所述預(yù)設(shè)條件時執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)，包括：

在每個線程上讀取的數(shù)據(jù)均達到所述預(yù)設(shè)條件時，執(zhí)行所述數(shù)據(jù)統(tǒng)計任務(wù)。

在一個實施例中，所述刪除所述預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù)，包括：

根據(jù)所述預(yù)設(shè)數(shù)據(jù)庫中所述數(shù)據(jù)的寫入時間確定所述歷史數(shù)據(jù)；

按照預(yù)設(shè)頻率刪除所述預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù)。

一種數(shù)據(jù)處理裝置，包括：

寫入模塊，用于讀取數(shù)據(jù)，并將所述數(shù)據(jù)寫入預(yù)設(shè)數(shù)據(jù)庫；

統(tǒng)計模塊，用于監(jiān)測所述預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)是否達到預(yù)設(shè)條件，并在所述數(shù)據(jù)達到所述預(yù)設(shè)條件時執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)；

刪除模塊，用于當(dāng)所述數(shù)據(jù)統(tǒng)計完成后，刪除所述預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù)，所述歷史數(shù)據(jù)為寫入時間距離當(dāng)前時間的時長超過預(yù)設(shè)時長的數(shù)據(jù)。

在一個實施例中，所述預(yù)設(shè)數(shù)據(jù)庫中包括至少兩個分區(qū)，其中，各分區(qū)分別用于存儲預(yù)設(shè)序號范圍內(nèi)的數(shù)據(jù)；所述寫入模塊包括：

標記單元，用于當(dāng)讀取到所述數(shù)據(jù)時，采用自增方式對所述數(shù)據(jù)進行序號標記；

確定單元，用于根據(jù)所述標記的序號確定所述數(shù)據(jù)對應(yīng)的分區(qū)；

寫入單元，用于將所述數(shù)據(jù)寫入所述對應(yīng)的分區(qū)中。

本發(fā)明實施例的一些有益效果可以包括：

采用本發(fā)明實施例提供的技術(shù)方案，首先讀取數(shù)據(jù)并寫入預(yù)設(shè)數(shù)據(jù)庫，然后監(jiān)測預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)是否達到預(yù)設(shè)條件，并在達到預(yù)設(shè)條件時執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)，使得數(shù)據(jù)統(tǒng)計任務(wù)的執(zhí)行能夠在預(yù)設(shè)條件的限定下進行，而不是每次寫入數(shù)據(jù)都進行統(tǒng)計，從而使數(shù)據(jù)的統(tǒng)計更加高效，尤其是對于海量數(shù)據(jù)的統(tǒng)計，在預(yù)設(shè)條件達到時再執(zhí)行統(tǒng)計任務(wù)有利于海量數(shù)據(jù)的統(tǒng)一管理和統(tǒng)計，并且，該技術(shù)方案能夠在執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)之后刪除預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù)，以減小預(yù)設(shè)數(shù)據(jù)庫的體積，從而提高數(shù)據(jù)統(tǒng)計任務(wù)的執(zhí)行性能。

本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。

下面通過附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細描述。

附圖說明

附圖用來提供對本發(fā)明的進一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：

圖1為本發(fā)明實施例中一種數(shù)據(jù)處理方法的流程圖；

圖2為本發(fā)明實施例中一種數(shù)據(jù)處理方法中步驟S11的流程圖；

圖3為本發(fā)明實施例中一種數(shù)據(jù)處理方法中步驟S11的流程圖；

圖4為本發(fā)明實施例中一種數(shù)據(jù)處理方法中步驟S13的流程圖；

圖5為本發(fā)明實施例中一種數(shù)據(jù)處理裝置的框圖；

圖6為本發(fā)明實施例中一種數(shù)據(jù)處理裝置中寫入模塊的框圖。

具體實施方式

以下結(jié)合附圖對本發(fā)明的優(yōu)選實施例進行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。

圖1為本發(fā)明實施例中一種數(shù)據(jù)處理方法的流程圖。如圖1所示，該方法包括以下步驟S11-S13：

步驟S11，讀取數(shù)據(jù)，并將數(shù)據(jù)寫入預(yù)設(shè)數(shù)據(jù)庫。

步驟S12，監(jiān)測預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)是否達到預(yù)設(shè)條件，并在數(shù)據(jù)達到預(yù)設(shè)條件時執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)。

步驟S13，當(dāng)數(shù)據(jù)統(tǒng)計完成后，刪除預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù)，歷史數(shù)據(jù)為寫入時間距離當(dāng)前時間的時長超過預(yù)設(shè)時長的數(shù)據(jù)。

該實施例可應(yīng)用于海量數(shù)據(jù)的管理和統(tǒng)計，例如對用戶行為數(shù)據(jù)的管理和統(tǒng)計，此時預(yù)設(shè)數(shù)據(jù)庫可以設(shè)為用戶行為表(例如MySQL數(shù)據(jù)庫)。

采用本發(fā)明實施例提供的技術(shù)方案，首先讀取數(shù)據(jù)并寫入預(yù)設(shè)數(shù)據(jù)庫，然后監(jiān)測預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)是否達到預(yù)設(shè)條件，并在達到預(yù)設(shè)條件時執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)，使得數(shù)據(jù)統(tǒng)計任務(wù)的執(zhí)行能夠在預(yù)設(shè)條件的限定下進行，而不是每次寫入數(shù)據(jù)都進行統(tǒng)計，從而使數(shù)據(jù)的統(tǒng)計更加高效，尤其是對于海量數(shù)據(jù)的統(tǒng)計，在預(yù)設(shè)條件達到時再執(zhí)行統(tǒng)計任務(wù)有利于海量數(shù)據(jù)的統(tǒng)一管理和統(tǒng)計，并且，該技術(shù)方案能夠在執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)之后刪除預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù)，以減小預(yù)設(shè)數(shù)據(jù)庫的體積，從而提高數(shù)據(jù)統(tǒng)計任務(wù)的執(zhí)行性能。

在一個實施例中，預(yù)設(shè)數(shù)據(jù)庫中包括至少兩個分區(qū)，其中，各分區(qū)分別用于存儲預(yù)設(shè)序號范圍內(nèi)的數(shù)據(jù)。相應(yīng)的，步驟S11可執(zhí)行為如圖2所示的步驟S21-S23：

步驟S21，當(dāng)讀取到數(shù)據(jù)時，采用自增方式對數(shù)據(jù)進行序號標記。

其中，自增序號為以單位序號漸次增加的序號。例如，當(dāng)寫入一條數(shù)據(jù)時，如果前一條被寫入的數(shù)據(jù)對應(yīng)的自增序號為20，則當(dāng)前正在寫入的數(shù)據(jù)對應(yīng)的自增序號為21，下一條將被寫入的數(shù)據(jù)對應(yīng)的自增序號為22。

步驟S22，根據(jù)標記的序號確定數(shù)據(jù)對應(yīng)的分區(qū)。

步驟S23，將數(shù)據(jù)寫入對應(yīng)的分區(qū)中。

該實施例中，各分區(qū)可采用數(shù)字標識。例如，第一分區(qū)用于存儲范圍為[1，100萬)的100萬個自增序號的用戶行為數(shù)據(jù)，第二分區(qū)用于存儲范圍為[100萬，200萬)的100萬個自增序號的用戶行為數(shù)據(jù)，等等。

該實施例中，能夠根據(jù)數(shù)據(jù)對應(yīng)的自增序號確定出該數(shù)據(jù)所在的分區(qū)，進而將數(shù)據(jù)寫入其對應(yīng)的分區(qū)中，使得將數(shù)據(jù)寫入預(yù)設(shè)數(shù)據(jù)庫時更加條理化、清晰化，進而使得后續(xù)調(diào)用或統(tǒng)計數(shù)據(jù)時更加方便準確。

在一個實施例中，預(yù)設(shè)數(shù)據(jù)庫中包括至少兩個分區(qū)，該至少兩個分區(qū)還可以日期和時刻為標準進行劃分。其中，每個分區(qū)中包括預(yù)設(shè)數(shù)量個時刻字段。此時，步驟S11可執(zhí)行為圖3所示的步驟S31-S33：

步驟S31，根據(jù)數(shù)據(jù)的時間戳確定數(shù)據(jù)對應(yīng)的日期信息和時刻信息。

步驟S32，根據(jù)日期信息確定數(shù)據(jù)對應(yīng)的預(yù)設(shè)數(shù)據(jù)庫中的目標分區(qū)，并根據(jù)時刻信息確定數(shù)據(jù)對應(yīng)的目標時刻字段。

步驟S33，將數(shù)據(jù)寫入位于目標分區(qū)中的目標時刻字段中。

在該實施例中，每個數(shù)據(jù)都具有各自對應(yīng)的時間戳，且根據(jù)該時間戳可確定出數(shù)據(jù)對應(yīng)的日期信息和時刻信息，其中，日期信息即年月日信息，時刻信息即時鐘信息，通常情況下，由于一天共分為24個小時，因此為方便統(tǒng)計，可將預(yù)設(shè)數(shù)量設(shè)為24，即每個分區(qū)中包括24個時刻字段，每個時刻字段用于存儲對應(yīng)時刻的數(shù)據(jù)。舉例而言，數(shù)據(jù)對應(yīng)的日期信息為20號，時刻信息為22時，則將數(shù)據(jù)寫入20號對應(yīng)的分區(qū)中、22時所在的時刻字段中。

基于上述實施例中按照日期和時刻劃分數(shù)據(jù)庫的前提下，執(zhí)行步驟S12時，可按照以下方式執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)：首先，根據(jù)當(dāng)前時間信息確定預(yù)定時間在預(yù)設(shè)數(shù)據(jù)庫中對應(yīng)的分區(qū)，預(yù)定時間包括預(yù)定日期、預(yù)定時刻、預(yù)定周日期中的至少一種；其次，提取預(yù)定時間在預(yù)設(shè)數(shù)據(jù)庫中對應(yīng)的分區(qū)中的數(shù)據(jù)進行統(tǒng)計。

舉例而言，預(yù)設(shè)數(shù)據(jù)庫中按照日期分為28個分區(qū)(即第一分區(qū)、第二分區(qū)、……、第二十八分區(qū))，這28個分區(qū)還可對應(yīng)周日期，即這28個分區(qū)共對應(yīng)有4個周一、4個周二、……、以及4個周日。并且，每一分區(qū)對應(yīng)有24個時刻字段(即第一時刻字段、第二時刻字段、……、第二十四時刻字段)。當(dāng)讀取到數(shù)據(jù)時，假設(shè)根據(jù)數(shù)據(jù)的時間戳可確定出數(shù)據(jù)對應(yīng)的日期信息為22號，時刻信息為15時，則將該數(shù)據(jù)寫入第二十二分區(qū)中的第十五時刻字段中。當(dāng)需要對預(yù)定周日期(假設(shè)預(yù)定周日期為周一)的數(shù)據(jù)進行統(tǒng)計時，首先根據(jù)當(dāng)前時間信息(假設(shè)當(dāng)前為周三、27號)可確定出預(yù)設(shè)數(shù)據(jù)庫中具體哪幾個分區(qū)對應(yīng)的周日期為周一(假設(shè)為4號、11號、18號、25號)，然后即可直接提取第四分區(qū)、第十一分區(qū)、第十八分區(qū)以及第二十五分區(qū)中的數(shù)據(jù)，進而可統(tǒng)計用戶在周一的數(shù)據(jù)。此外，當(dāng)預(yù)設(shè)日期的形式直接為具體哪一日時，可直接提取該日期對應(yīng)的分區(qū)中的數(shù)據(jù)。

在一個實施例中，步驟S12還包括以下步驟：刪除已統(tǒng)計的數(shù)據(jù)在預(yù)設(shè)數(shù)據(jù)庫中對應(yīng)的分區(qū)。例如，預(yù)設(shè)數(shù)據(jù)庫中包括多個分區(qū)，當(dāng)其中一個分區(qū)中的數(shù)據(jù)已被統(tǒng)計完成時，則刪除該分區(qū)，且其他分區(qū)則不受影響，這樣做的優(yōu)點是，即使其中某個分區(qū)對應(yīng)的數(shù)據(jù)統(tǒng)計任務(wù)中斷，那么也不會影響其他分區(qū)中數(shù)據(jù)的管理及統(tǒng)計，而是僅重新處理該某個分區(qū)的數(shù)據(jù)，無需對所有數(shù)據(jù)都重新處理。該實施例中，通過刪除已統(tǒng)計的數(shù)據(jù)在預(yù)設(shè)數(shù)據(jù)庫中對應(yīng)的分區(qū)，可減小預(yù)設(shè)數(shù)據(jù)庫的體積，從而提高數(shù)據(jù)統(tǒng)計任務(wù)的執(zhí)行性能。

上述任一實施例中，預(yù)設(shè)條件包括預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)量達到預(yù)設(shè)閾值。即，當(dāng)預(yù)設(shè)數(shù)據(jù)庫中已寫入的數(shù)據(jù)量達到預(yù)設(shè)閾值時，才會啟動執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)。

在一個實施例中，當(dāng)采用多線程方式讀取數(shù)據(jù)時，步驟S12執(zhí)行為以下步驟：在每個線程上讀取的數(shù)據(jù)均達到預(yù)設(shè)條件時，執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)。當(dāng)預(yù)設(shè)條件為預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)量達到預(yù)設(shè)閾值時，該步驟還可執(zhí)行為：在每個線程上讀取的數(shù)據(jù)的數(shù)據(jù)量均達到預(yù)設(shè)閾值時，執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)。例如，采用9個線程同時讀取數(shù)據(jù)，預(yù)設(shè)閾值為100萬，則當(dāng)9個線程上讀取的數(shù)據(jù)的數(shù)據(jù)量均達到100萬時，才會執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)。

在一個實施例中，步驟S13可執(zhí)行為圖4所示的步驟S41-S42：

步驟S41，根據(jù)預(yù)設(shè)數(shù)據(jù)庫中數(shù)據(jù)的寫入時間確定歷史數(shù)據(jù)。

步驟S42，按照預(yù)設(shè)頻率刪除預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù)。

舉例而言，為方便統(tǒng)計，預(yù)設(shè)數(shù)據(jù)庫中僅保持28天的數(shù)據(jù)，當(dāng)預(yù)設(shè)數(shù)據(jù)庫中存在寫入時間超過28天的數(shù)據(jù)，則該數(shù)據(jù)即為歷史數(shù)據(jù)，系統(tǒng)會刪除這些歷史數(shù)據(jù)，以避免預(yù)設(shè)數(shù)據(jù)庫中存儲的數(shù)據(jù)的數(shù)據(jù)量過大的情況，進而避免數(shù)據(jù)量過大時影響數(shù)據(jù)管理的效率的情況。

此外，該實施例中，假設(shè)預(yù)設(shè)頻率為一天，則每天刪除一次歷史數(shù)據(jù)，因此，即使某次刪除歷史數(shù)據(jù)的過程中斷，也不會影響整個預(yù)設(shè)數(shù)據(jù)庫中數(shù)據(jù)的管理。

圖5為本發(fā)明實施例中一種數(shù)據(jù)處理裝置的框圖。如圖5所示，該裝置包括：

寫入模塊51，用于讀取數(shù)據(jù)，并將數(shù)據(jù)寫入預(yù)設(shè)數(shù)據(jù)庫；

統(tǒng)計模塊52，用于監(jiān)測預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)是否達到預(yù)設(shè)條件，并在數(shù)據(jù)達到預(yù)設(shè)條件時執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)；

刪除模塊53，用于當(dāng)數(shù)據(jù)統(tǒng)計完成后，刪除預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù)，歷史數(shù)據(jù)為寫入時間距離當(dāng)前時間的時長超過預(yù)設(shè)時長的數(shù)據(jù)。

在一個實施例中，如圖6所示，預(yù)設(shè)數(shù)據(jù)庫中包括至少兩個分區(qū)，其中，各分區(qū)分別用于存儲預(yù)設(shè)序號范圍內(nèi)的數(shù)據(jù)；寫入模塊51包括：

標記單元511，用于當(dāng)讀取到數(shù)據(jù)時，采用自增方式對數(shù)據(jù)進行序號標記；

確定單元512，用于根據(jù)標記的序號確定數(shù)據(jù)對應(yīng)的分區(qū)；

寫入單元513，用于將數(shù)據(jù)寫入對應(yīng)的分區(qū)中。

在一個實施例中，預(yù)設(shè)數(shù)據(jù)庫中包括至少兩個分區(qū)，其中，各分區(qū)是以日期為標準進行劃分的，各分區(qū)中包括預(yù)設(shè)數(shù)量個時刻字段；寫入模塊51還用于：根據(jù)數(shù)據(jù)的時間戳確定數(shù)據(jù)對應(yīng)的日期信息和時刻信息；根據(jù)日期信息確定數(shù)據(jù)對應(yīng)的預(yù)設(shè)數(shù)據(jù)庫中的目標分區(qū)，并根據(jù)時刻信息確定數(shù)據(jù)對應(yīng)的目標時刻字段；將數(shù)據(jù)寫入位于目標分區(qū)中的目標時刻字段中。

在一個實施例中，統(tǒng)計模塊52還用于根據(jù)當(dāng)前時間信息確定預(yù)定時間在預(yù)設(shè)數(shù)據(jù)庫中對應(yīng)的分區(qū)，預(yù)定時間包括預(yù)定日期、預(yù)定時刻、預(yù)定周日期中的至少一種；提取預(yù)定時間在預(yù)設(shè)數(shù)據(jù)庫中對應(yīng)的分區(qū)中的數(shù)據(jù)進行統(tǒng)計。

在一個實施例中，統(tǒng)計模塊52還用于刪除已統(tǒng)計的數(shù)據(jù)在預(yù)設(shè)數(shù)據(jù)庫中對應(yīng)的分區(qū)。

在一個實施例中，預(yù)設(shè)條件包括預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)量達到預(yù)設(shè)閾值。

在一個實施例中，當(dāng)采用多線程方式讀取數(shù)據(jù)時，統(tǒng)計模塊52還用于在每個線程上讀取的數(shù)據(jù)均達到預(yù)設(shè)條件時，執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)。

在一個實施例中，刪除模塊53還用于根據(jù)預(yù)設(shè)數(shù)據(jù)庫中數(shù)據(jù)的寫入時間確定歷史數(shù)據(jù)；按照預(yù)設(shè)頻率刪除預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù)。

采用本發(fā)明實施例提供的裝置，首先讀取數(shù)據(jù)并寫入預(yù)設(shè)數(shù)據(jù)庫，然后監(jiān)測預(yù)設(shè)數(shù)據(jù)庫中的數(shù)據(jù)是否達到預(yù)設(shè)條件，并在達到預(yù)設(shè)條件時執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)，使得數(shù)據(jù)統(tǒng)計任務(wù)的執(zhí)行能夠在預(yù)設(shè)條件的限定下進行，而不是每次寫入數(shù)據(jù)都進行統(tǒng)計，從而使數(shù)據(jù)的統(tǒng)計更加高效，尤其是對于海量數(shù)據(jù)的統(tǒng)計，在預(yù)設(shè)條件達到時再執(zhí)行統(tǒng)計任務(wù)有利于海量數(shù)據(jù)的統(tǒng)一管理和統(tǒng)計，并且，該技術(shù)方案能夠在執(zhí)行數(shù)據(jù)統(tǒng)計任務(wù)之后刪除預(yù)設(shè)數(shù)據(jù)庫中的歷史數(shù)據(jù)，以減小預(yù)設(shè)數(shù)據(jù)庫的體積，從而提高數(shù)據(jù)統(tǒng)計任務(wù)的執(zhí)行性能。

關(guān)于上述實施例中的裝置，其中各個模塊執(zhí)行操作的具體方式已經(jīng)在有關(guān)該方法的實施例中進行了詳細描述，此處將不做詳細闡述說明。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器和光學(xué)存儲器等)上實施的計算機程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導(dǎo)計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。