本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法、裝置及系統(tǒng)。

背景技術(shù)：

移動互聯(lián)網(wǎng)給運營商帶來機(jī)遇的同時也帶來了挑戰(zhàn)，而信令作為通信網(wǎng)絡(luò)最基本，也是最關(guān)鍵的組成部分，反映著網(wǎng)絡(luò)質(zhì)量與業(yè)務(wù)提供的方方面面，所以運營商不惜巨資建設(shè)信令監(jiān)測平臺，用其服務(wù)于話務(wù)跟蹤、網(wǎng)規(guī)網(wǎng)優(yōu)、故障診斷等面對生產(chǎn)的功能域。如何提供高可用性的信令跟蹤平臺是當(dāng)務(wù)之急。

隨著數(shù)據(jù)收集手段的不斷豐富及完善，越來越多的行業(yè)數(shù)據(jù)被積累下來。數(shù)據(jù)規(guī)模已經(jīng)增長到了傳統(tǒng)軟件行業(yè)無法承載的大數(shù)據(jù)(例如，100GB、TB、PB)級別。在大數(shù)據(jù)場景下，大數(shù)據(jù)的存儲則成為了急需解決的問題。

目前，可以采用關(guān)系型數(shù)據(jù)庫來存儲大數(shù)據(jù)，例如，將具有關(guān)聯(lián)關(guān)系的多個數(shù)據(jù)分別存儲在不同數(shù)據(jù)庫的不同數(shù)據(jù)表中，并記錄各個不同數(shù)據(jù)庫中存儲的數(shù)據(jù)之間的關(guān)系，以便將各個數(shù)據(jù)關(guān)聯(lián)起來。而實際測試數(shù)據(jù)表明，例如，向SQL Server數(shù)據(jù)庫中插入數(shù)據(jù)，常用的辦法是由應(yīng)用程序直接(或間接)使用插入(Insert)的結(jié)構(gòu)化查詢語句(Structured Query Language，簡稱為SQL)進(jìn)行插入，這種方法速度太慢，經(jīng)測試其速度最快(當(dāng)原始表為空表時)也僅僅是1000條記錄每秒。對于先保存為文件、再批量導(dǎo)入到數(shù)據(jù)庫來提供檢索的方法，例如，SQL Server中的批量插入(Bulk Insert)，以用戶指定的格式復(fù)制一個數(shù)據(jù)文件至數(shù)據(jù)庫表或視圖中，經(jīng)過測試該種方法速度雖比使用插入(Insert)語句快，大約60000條記錄每秒，插入數(shù)據(jù)的速度提高了60倍，但是生成這些用于導(dǎo)入的指定格式的數(shù)據(jù)文件也有時間開銷，實際的記錄入庫速度減半。

此外，同時利用關(guān)聯(lián)關(guān)系將各個數(shù)據(jù)存儲到不同數(shù)據(jù)庫的不同數(shù)據(jù)表中的方法，數(shù)據(jù)存儲方式松散，其關(guān)聯(lián)關(guān)系必須通過關(guān)系型數(shù)據(jù)庫來體現(xiàn)。對于大數(shù)據(jù)的存儲，這種松散存儲數(shù)據(jù)及利用關(guān)聯(lián)關(guān)系記錄不同數(shù)據(jù)表中數(shù)據(jù)的方法，會大大降低數(shù)據(jù)存儲的效率，并會進(jìn)一步降低后續(xù)查找和維護(hù)的效率。

針對相關(guān)技術(shù)中信令存儲效率較低的問題，目前尚未提出有效的解決方案。

技術(shù)實現(xiàn)要素：

本發(fā)明提供了一種數(shù)據(jù)處理方法、裝置及系統(tǒng)，以至少解決相關(guān)技術(shù)中信令存儲效率較低的問題。

根據(jù)本發(fā)明的一個方面，提供了一種數(shù)據(jù)處理方法，包括：采集網(wǎng)關(guān)通用分組無線業(yè)務(wù)支持節(jié)點GGSN或公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)PGW的信令，其中，上述信令為用戶的信令；獲取上述用戶的唯一關(guān)鍵字；以及根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中。

進(jìn)一步地，采集網(wǎng)關(guān)通用分組無線業(yè)務(wù)支持節(jié)點GGSN或公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)PGW的信令包括：以光口鏡像的方式連接到上述通用分組無線業(yè)務(wù)支持節(jié)點或上述公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)的接口以采集上述信令，其中，上述接口包括以下至少之一：S5接口，S8接口，Gn接口，Gp接口，Gx接口，Gy接口，認(rèn)證授權(quán)計費AAA接口。

進(jìn)一步地，獲取上述用戶的唯一關(guān)鍵字包括：獲取上述用戶的識別碼，其中，上述識別碼包括國際移動用戶識別碼IMSI或移動用戶綜合業(yè)務(wù)數(shù)字網(wǎng)號碼MSISDN；對上述識別碼進(jìn)行哈希運算，得到上述唯一關(guān)鍵字。

進(jìn)一步地，在根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中之前，上述方法還包括：根據(jù)時間在上述數(shù)據(jù)存儲服務(wù)器中生成多級目錄。

進(jìn)一步地，在根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中之后，上述方法包括：檢測上述多級目錄中是否存在超過預(yù)設(shè)時間的目錄；以及在檢測出上述多級目錄中存在超過上述預(yù)設(shè)時間的目錄時，將超過上述預(yù)設(shè)時間的目錄從上述數(shù)據(jù)存儲服務(wù)器中刪除。

進(jìn)一步地，根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中包括：根據(jù)上述唯一關(guān)鍵字查找上述用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器；以及將上述信令存儲至上述用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器的多級目錄中。

進(jìn)一步地，將上述信令存儲至上述用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器的多級目錄中包括：獲取業(yè)務(wù)消息的時間戳；根據(jù)上述時間戳和上述唯一關(guān)鍵字生成第一標(biāo)識符；獲取上述第一標(biāo)識符對應(yīng)的寫入器，其中，上述寫入器和上述多級目錄一一對應(yīng)；以及通過上述寫入器將上述信令寫入至其對應(yīng)的目錄中。

進(jìn)一步地，上述數(shù)據(jù)存儲服務(wù)器包括內(nèi)存庫和文件服務(wù)器，其中，上述內(nèi)存庫用于存儲上述信令的概要信息，上述文件服務(wù)器用于存儲上述信令的文件信息，上述概要信息和上述文件信息之間存在映射關(guān)系。

進(jìn)一步地，在根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中之后，上述方法還包括：接收查詢指令，其中，上述查詢指令包括過濾條件和上述唯一關(guān)鍵字；查找上述唯一關(guān)鍵字對應(yīng)的數(shù)據(jù)存儲服務(wù)器；以及根據(jù)上述過濾條件從上述唯一關(guān)鍵字對應(yīng)的數(shù)據(jù)存儲服務(wù)器中查詢數(shù)據(jù)。

進(jìn)一步地，根據(jù)上述過濾條件從上述唯一關(guān)鍵字對應(yīng)的數(shù)據(jù)存儲服務(wù)器中查詢數(shù)據(jù)包括：根據(jù)上述過濾條件遍歷上述唯一關(guān)鍵字對應(yīng)的數(shù)據(jù)存儲服務(wù)器的多級目錄；從上 述唯一關(guān)鍵字對應(yīng)的數(shù)據(jù)存儲服務(wù)器的多級目錄中獲取滿足上述過濾條件的數(shù)據(jù)，得到查詢結(jié)果；判斷上述查詢結(jié)果的數(shù)據(jù)行數(shù)是否超過預(yù)設(shè)值；以及在判斷出上述查詢結(jié)果的數(shù)據(jù)行數(shù)超過上述預(yù)設(shè)值時，分批次顯示上述查詢結(jié)果。

根據(jù)本發(fā)明的另一方面，提供了一種數(shù)據(jù)處理裝置，包括：采集模塊，用于采集網(wǎng)關(guān)通用分組無線業(yè)務(wù)支持節(jié)點GGSN或公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)PGW的信令，其中，上述信令為用戶的信令；獲取模塊，用于獲取上述用戶的唯一關(guān)鍵字；以及存儲模塊，用于根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中。

進(jìn)一步地，上述采集模塊包括：信令采集器，以光口鏡像的方式連接到上述通用分組無線業(yè)務(wù)支持節(jié)點或上述公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)的接口以采集上述信令，其中，上述接口包括以下至少之一：S5接口，S8接口，Gn接口，Gp接口，Gx接口，Gy接口，認(rèn)證授權(quán)計費AAA接口。

進(jìn)一步地，上述獲取模塊包括：獲取單元，用于獲取上述用戶的識別碼，其中，上述識別碼包括國際移動用戶識別碼IMSI或移動用戶綜合業(yè)務(wù)數(shù)字網(wǎng)號碼MSISDN；運算單元，用于對上述識別碼進(jìn)行哈希運算，得到上述唯一關(guān)鍵字。

進(jìn)一步地，上述裝置還包括：生成模塊，用于根據(jù)時間在上述數(shù)據(jù)存儲服務(wù)器中生成多級目錄。

進(jìn)一步地，上述存儲模塊包括：查找單元，用于根據(jù)上述唯一關(guān)鍵字查找上述用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器；以及存儲單元，用于將上述信令存儲至上述用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器的多級目錄中。

根據(jù)本發(fā)明的又一方面，提供了一種數(shù)據(jù)處理系統(tǒng)，包括：數(shù)據(jù)采集服務(wù)器，用于采集網(wǎng)關(guān)通用分組無線業(yè)務(wù)支持節(jié)點GGSN或公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)PGW的信令，其中，上述信令為用戶的信令；以及數(shù)據(jù)存儲服務(wù)器，連接至上述數(shù)據(jù)采集模塊，其中，上述數(shù)據(jù)存儲服務(wù)器包括多級目錄，上述多級目錄用于存儲上述信令。

進(jìn)一步地，上述數(shù)據(jù)存儲服務(wù)器包括內(nèi)存庫和文件服務(wù)器，其中，上述內(nèi)存庫用于存儲上述信令的概要信息，上述文件服務(wù)器用于存儲上述信令的文件信息，上述概要信息和上述文件信息之間存在映射關(guān)系。

進(jìn)一步地，上述數(shù)據(jù)采集服務(wù)器包括探針信令采集器，上述探針信令采集器以光口鏡像的方式連接到上述通用分組無線業(yè)務(wù)支持節(jié)點或上述公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)的接口以采集上述信令，其中，上述接口包括以下至少之一：S5接口，S8接口，Gn接口，Gp接口，Gx接口，Gy接口，認(rèn)證授權(quán)計費AAA接口。

進(jìn)一步地，上述數(shù)據(jù)采集服務(wù)器還包括處理模塊，連接至上述探針信令采集器，用于對上述探針信令采集器采集的信令進(jìn)行解析得到上述概要信息和上述文件信息，并將上述概要信息和上述文件信息分別發(fā)送至上述內(nèi)存庫和上述文件服務(wù)器。

進(jìn)一步地，上述數(shù)據(jù)處理系統(tǒng)還包括：查詢服務(wù)器，連接至上述數(shù)據(jù)存儲服務(wù)器，用于從上述數(shù)據(jù)存儲服務(wù)器查詢上述信令。

通過本發(fā)明，采用采集網(wǎng)關(guān)通用分組無線業(yè)務(wù)支持節(jié)點GGSN或公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)PGW的信令，其中，上述信令為用戶的信令；獲取上述用戶的唯一關(guān)鍵字；以及根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中，解決了相關(guān)技術(shù)中信令存儲效率較低的問題，進(jìn)而達(dá)到了提高信令存儲效率的效果。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中：

圖1是根據(jù)本發(fā)明實施例的數(shù)據(jù)處理方法的流程圖；

圖2是根據(jù)本發(fā)明實施例的多級目錄的示意圖；

圖3是根據(jù)本發(fā)明實施例的內(nèi)存庫寫入數(shù)據(jù)的流程圖；

圖4是根據(jù)本發(fā)明實施例的內(nèi)存庫檢索數(shù)據(jù)流程示意圖；

圖5是根據(jù)本發(fā)明實施例的內(nèi)存庫檢索信息層次示意圖；

圖6是根據(jù)本發(fā)明實施例的數(shù)據(jù)處理裝置的結(jié)構(gòu)框圖；

圖7是根據(jù)本發(fā)明實施例的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)框圖；以及

圖8是根據(jù)本發(fā)明實施例的內(nèi)存庫檢索數(shù)據(jù)系統(tǒng)部署示意圖。

具體實施方式

下文中將參考附圖并結(jié)合實施例來詳細(xì)說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。

需要說明的是，本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。

在本實施例中提供了一種數(shù)據(jù)處理方法，圖1是根據(jù)本發(fā)明實施例的數(shù)據(jù)處理方法的流程圖，如圖1所示，該流程包括如下步驟：

步驟S102，采集網(wǎng)關(guān)通用分組無線業(yè)務(wù)支持節(jié)點GGSN或公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)PGW的信令，其中，上述信令為用戶的信令.

本發(fā)明實施例可以通過監(jiān)測網(wǎng)關(guān)通用分組無線業(yè)務(wù)支持節(jié)點(Gateway General Packet Radio Service Supporting Node，簡稱為GGSN)或公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)(Public Data Network Gateway，簡稱為PGW)的各個接口采集用戶的信令，其中，用戶可以是一個，也可以是多個。優(yōu)選地，為了保證GGSN或PGW的各個接口正常工作，采集網(wǎng)關(guān)通用分組無線業(yè)務(wù)支持節(jié)點GGSN或公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)PGW的信令包括：以光口鏡像的方式連接到上述通用分組無線業(yè)務(wù)支持節(jié)點或上述公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)的接口以采集上述信令，其中，上述接口包括以下至少之一：S5接口，S8接口，Gn接口，Gp接口，Gx接口，Gy接口，認(rèn)證授權(quán)計費AAA接口。

例如，可以通過探針信令采集器以光口鏡像的方式連接到GGSN或PGW的各個接口，從而可以實時采集GGSN或PGW的各個接口的信令。本發(fā)明實施例通過光口鏡像的方式采集GGSN或PGW的接口的信令，可以避免在采集GGSN或PGW的接口的信令的過程中影響GGSN或PGW的接口的正常工作。

步驟S104，獲取上述用戶的唯一關(guān)鍵字；

由于網(wǎng)元中存在大量的用戶，在采集用戶的信令時，為了便于對每個用戶的信令進(jìn)行區(qū)分，本發(fā)明實施例中每個用戶均對應(yīng)于一個唯一關(guān)鍵字，通過該唯一關(guān)鍵字對用戶進(jìn)行唯一標(biāo)識。優(yōu)選地，獲取上述用戶的唯一關(guān)鍵字包括：獲取上述用戶的識別碼，其中，上述識別碼包括國際移動用戶識別碼(International Mobie Subscriber Identity，簡稱為IMSI)或移動用戶綜合業(yè)務(wù)數(shù)字網(wǎng)號碼(Mobie Subscriber International Integranted Services Digital/Public Switched Telephone Network Number，簡稱為MSISDN)；對上述識別碼進(jìn)行哈希運算，得到上述唯一關(guān)鍵字。

在網(wǎng)元中的每個用戶均有對應(yīng)的國際移動用戶識別碼IMSI或移動用戶綜合業(yè)務(wù)數(shù)字網(wǎng)號碼MSISDN，通過對用戶對應(yīng)的IMSI或MSISDN進(jìn)行哈希運算得到哈希值，并將該哈希值作為上述唯一關(guān)鍵字，便于后續(xù)每個用戶信令的快速存儲和快速查找。

步驟S106，根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中。

本發(fā)明實施例可以預(yù)先在數(shù)據(jù)存儲服務(wù)器中創(chuàng)建多級目錄，也可以是在將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的過程中在數(shù)據(jù)存儲服務(wù)器中動態(tài)的生成多級目錄，具體的，本發(fā)明實施例將用戶的信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中的文件中，例如，根據(jù)唯一關(guān)鍵字命名的文件中。優(yōu)選地，在根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中之前，上述方法還包括：根據(jù)時間在上述數(shù)據(jù)存儲服務(wù)器中生成多級目錄。

例如，按照年、月、日、小時、分鐘生成樹型多級目錄，其中，年為根目錄，分鐘為葉子目錄，圖2是根據(jù)本發(fā)明實施例的多級目錄的示意圖，如圖2所示，依次根據(jù)年、月、日、小時、分鐘生成多級目錄，將用戶信令按照時間存儲至對應(yīng)的目錄中，例如，信令1是在2014年12月30日12點20分采集的，可以將信令1存儲在圖2所示的20分目錄中根據(jù)唯一關(guān)鍵字命名的文件中，信令2是在2014年12月30日12點22分采集，可以將信令2存儲于22分目錄中根據(jù)唯一關(guān)鍵字命名的文件中(圖2中未示出)。 需要說明的是，本發(fā)明實施例可以根據(jù)數(shù)據(jù)量的多少來決定多級目錄的級數(shù)，例如，數(shù)據(jù)量少時，可以采用小時作為葉子目錄，即為4級目錄，數(shù)據(jù)量較大時，可以采用分鐘作為葉子目錄，即為5級目錄。

通過上述步驟，根據(jù)唯一關(guān)鍵字將用戶的信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中，相比于現(xiàn)有技術(shù)中將用戶的信令存儲于數(shù)據(jù)庫中，存儲速度更快，解決了相關(guān)技術(shù)中信令存儲效率較低的問題，進(jìn)而達(dá)到了提高信令存儲效率的效果。

優(yōu)選地，為了減少內(nèi)存資源的占用，在根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中之后，上述方法包括：檢測上述多級目錄中是否存在超過預(yù)設(shè)時間的目錄；以及在檢測出上述多級目錄中存在超過上述預(yù)設(shè)時間的目錄時，將超過上述預(yù)設(shè)時間的目錄從上述數(shù)據(jù)存儲服務(wù)器中刪除。

由于網(wǎng)元中用戶的信令具有較強(qiáng)的實時性，對網(wǎng)元用戶進(jìn)行監(jiān)控時，通常只需分析最近一段時間的用戶信令。本發(fā)明實施例在根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中之后，可以刪除那些存儲時間較長的用戶信令，一方面可以節(jié)省內(nèi)存的占用，另一方面也利于用戶信令的快速檢索。上述預(yù)設(shè)時間可以根據(jù)實際情況進(jìn)行設(shè)置，例如，將預(yù)設(shè)天數(shù)設(shè)置為7天，可以將超過預(yù)設(shè)時間的目錄直接從數(shù)據(jù)存儲服務(wù)器中刪除。例如，可以每天檢查1次是否有超過7天的目錄，若存在就按時間刪除目錄，而不必檢查文件內(nèi)容。

優(yōu)選地，根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中包括：根據(jù)上述唯一關(guān)鍵字查找上述用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器；以及將上述信令存儲至上述用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器的多級目錄中。

由于網(wǎng)元中存在大量的用戶，為了便于快速存儲用戶的信令到該用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器中，可以預(yù)先將用戶的唯一關(guān)鍵字和其對應(yīng)的數(shù)據(jù)存儲服務(wù)器進(jìn)行關(guān)聯(lián)，通過用戶的唯一關(guān)鍵字即可查找到該用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器，并將用戶的信令均存儲于該用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器的多級目錄中，從而便于后續(xù)實現(xiàn)對用戶信令的快速檢索。

優(yōu)選地，將上述信令存儲至上述用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器的多級目錄中包括：獲取業(yè)務(wù)消息的時間戳；根據(jù)上述時間戳和上述唯一關(guān)鍵字生成第一標(biāo)識符；獲取上述第一標(biāo)識符對應(yīng)的寫入器，其中，上述寫入器和上述多級目錄一一對應(yīng)；以及通過上述寫入器將上述信令寫入至其對應(yīng)的目錄中。

業(yè)務(wù)消息即用戶的信令，根據(jù)時間戳和唯一關(guān)鍵字生成第一標(biāo)識符，第一標(biāo)識符用于寫入器的查找，找到第一標(biāo)識符對應(yīng)的寫入器后，即利用寫入器寫入到對應(yīng)的內(nèi)存文件中(即多級目錄中存放的文件)。由于第一標(biāo)識符使用了時間戳，這樣不必使用定時器就可以實現(xiàn)定時1秒寫入的功能，例如滿1秒時第一標(biāo)識符必然不同，會創(chuàng)建新的寫入器，在實時要求高的情況下要保證1秒會強(qiáng)制寫入一次文件，無論緩存是否滿，沒有使用定時器，卻能達(dá)到定時寫入的作用。

優(yōu)選地，上述數(shù)據(jù)存儲服務(wù)器包括內(nèi)存庫和文件服務(wù)器，其中，上述內(nèi)存庫用于存儲上述信令的概要信息，上述文件服務(wù)器用于存儲上述信令的文件信息，上述概要信息和上述文件信息之間存在映射關(guān)系。

本發(fā)明實施例采用分布式存儲方法，將信令的概要信息和信令的文件信息分別存儲于內(nèi)存庫和文件服務(wù)器中。具體的，通過將信令進(jìn)行解析可以得到信令的概要信息和信令的文件信息，其中，信令的概要信息包括信令文件的統(tǒng)一資源定位符(Uniform Resource Locator，簡稱為URL)信息和媒體文件的統(tǒng)一資源定位符URL信息，信令的文件信息則包括詳細(xì)的信令文件和媒體文件，本發(fā)明實施例通過信令文件的URL信息即可以得到對應(yīng)的信令文件，通過媒體文件的URL信息即可以得到對應(yīng)的媒體文件，因此，在檢索過程中，僅需從內(nèi)存庫中檢索信令的概要信息既可以得到其對應(yīng)的文件信息。

優(yōu)選地，在根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中之后，上述方法還包括：接收查詢指令，其中，上述查詢指令包括過濾條件和上述唯一關(guān)鍵字；查找上述唯一關(guān)鍵字對應(yīng)的數(shù)據(jù)存儲服務(wù)器；以及根據(jù)上述過濾條件從上述唯一關(guān)鍵字對應(yīng)的數(shù)據(jù)存儲服務(wù)器中查詢數(shù)據(jù)。

在將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中之后，可以對數(shù)據(jù)存儲服務(wù)器中存儲的用戶信令進(jìn)行查詢，本發(fā)明實施例通過在查詢指令中包括唯一關(guān)鍵字，從而可以根據(jù)唯一關(guān)鍵字快速地從數(shù)據(jù)存儲服務(wù)器檢索到該用戶的信令。

優(yōu)選地，根據(jù)上述過濾條件從上述唯一關(guān)鍵字對應(yīng)的數(shù)據(jù)存儲服務(wù)器中查詢數(shù)據(jù)包括：根據(jù)上述過濾條件遍歷上述唯一關(guān)鍵字對應(yīng)的數(shù)據(jù)存儲服務(wù)器的多級目錄；從上述唯一關(guān)鍵字對應(yīng)的數(shù)據(jù)存儲服務(wù)器的多級目錄中獲取滿足上述過濾條件的數(shù)據(jù)，得到查詢結(jié)果；判斷上述查詢結(jié)果的數(shù)據(jù)行數(shù)是否超過預(yù)設(shè)值；以及在判斷出上述查詢結(jié)果的數(shù)據(jù)行數(shù)超過上述預(yù)設(shè)值時，分批次顯示上述查詢結(jié)果。

為了提高信令檢索的效率，本發(fā)明實施例可以根據(jù)用戶查詢習(xí)慣(例如，用戶每次要看的最大數(shù)據(jù)行數(shù))來減輕服務(wù)器的檢索深度。具體地，可以設(shè)置每次顯示的查詢結(jié)果的行數(shù)，在查詢結(jié)果大于預(yù)設(shè)的行數(shù)時(即預(yù)設(shè)值)，則分批次顯示上述查詢結(jié)果。

本發(fā)明實施例不采用任何商用數(shù)據(jù)庫，來實現(xiàn)海量的數(shù)據(jù)的快速存儲和查詢，而是采用一種樹型的存儲結(jié)構(gòu)，將用戶信令存儲于內(nèi)存庫中，其數(shù)據(jù)文件格式可配置，例如，采用TLV(即包括類型、長度、值三個字段的數(shù)據(jù)格式)來描述，同時可以通過可擴(kuò)展標(biāo)記語言(Extensible Markup Language，簡稱為XML)文件來定義相關(guān)的數(shù)據(jù)字典，在存儲和查詢時作為數(shù)據(jù)處理的依據(jù)。配置了不同用戶信令的唯一性關(guān)鍵字KEY1，唯一性關(guān)鍵字KEY1用于文件生成時的文件名，以及查詢時匹配對應(yīng)的內(nèi)存庫DS SERVER。文件生成時，用戶可以根據(jù)數(shù)據(jù)量的多少來決定采用小時作為葉子目錄，還是以分鐘作為葉子目錄來保存，大數(shù)據(jù)情況下需要配置為以分鐘作為葉子目錄來保存。具體地，本發(fā)明實施例采用分布式組網(wǎng)架構(gòu)，即在網(wǎng)絡(luò)中部署多個信令采集模塊AGNENT和內(nèi)存 庫DS SERVER。多個信令采集模塊AGNENT和多個內(nèi)存庫DS SERVER之間通過MSISDN取哈希值作為唯一關(guān)鍵字KEY1進(jìn)行關(guān)聯(lián)，查詢服務(wù)器WEB SERVER的查詢請求與內(nèi)存庫DS SERVER之間的轉(zhuǎn)發(fā)關(guān)系也是通過查詢條件中的唯一關(guān)鍵字KEY1的哈希值進(jìn)行關(guān)聯(lián)，各個并行處理節(jié)點共同分擔(dān)處理GGSN或PGW網(wǎng)元抓取的協(xié)議包。

圖3是根據(jù)本發(fā)明實施例的內(nèi)存庫寫入數(shù)據(jù)的流程圖。如圖3所示，往內(nèi)存庫中寫入數(shù)據(jù)(相當(dāng)于將信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中)包括如下步驟：

步驟S301，信令采集模塊構(gòu)建TLV記錄，按MSISDN取哈希作為唯一關(guān)鍵字KEY1發(fā)送到得到對應(yīng)內(nèi)存庫，并將此KEY1加入到TLV記錄中。

信令采集模塊AGENT采集信令，并對信令進(jìn)行解析處理，例如，構(gòu)建TLV記錄，其中，TLV是指包括類型、長度和值三個字段的數(shù)據(jù)格式，將MSISDN取哈希作為唯一關(guān)鍵字KEY1發(fā)送到得到對應(yīng)內(nèi)存庫，并將此KEY1加入到TLV記錄中。

步驟S302，內(nèi)存庫接收到TLV記錄，構(gòu)建第一標(biāo)識符KEY2，KEY2為KEY1和業(yè)務(wù)消息的時間戳的秒格式，或者小時格式。

通過上述方式可以不需要定時，滿1秒或1小時時KEY2必然不同，會創(chuàng)建新的寫入器，在實時要求高的情況下保證1秒會強(qiáng)制寫入一次文件，無論緩存是否滿。

步驟S303，查找KEY2對應(yīng)的寫入器是否成功，成功則執(zhí)行步驟S306，失敗則執(zhí)行步驟KS304。

步驟S304，意味刷新時間到或新的MSISDN加入，需要批量(256個寫入器為一批)關(guān)閉下當(dāng)前的寫入器，關(guān)閉時會強(qiáng)制從緩存寫入內(nèi)存盤。

具體地，當(dāng)查找不到KEY2對應(yīng)的寫入器時，則表示刷新時間到或存在新的MSISDN加入，此時，需要關(guān)閉當(dāng)前的寫入器。

步驟S305，創(chuàng)建KEY2對應(yīng)的寫入器，寫入器會在當(dāng)前系統(tǒng)對應(yīng)的分鐘值或者小時值的葉子目錄中創(chuàng)建新的文件。

創(chuàng)建寫入器會創(chuàng)建對應(yīng)的時間葉子目錄和文件，以及緩存，寫入器先入緩存，通常緩存滿才寫入文件，文件存放在內(nèi)存虛擬盤中。需要說明的是，同一個MSISDN的數(shù)據(jù)文件名相同，不同時間目錄下會有相同文件名的數(shù)據(jù)文件。

步驟S306，寫入到對應(yīng)寫入器的緩存。

步驟S307，判斷寫入器的緩存是否已滿，如果寫入器的緩存已滿則執(zhí)行步驟S308，如果寫入器的緩存未滿則執(zhí)行步驟S301，進(jìn)行下一條數(shù)據(jù)的處理。

步驟S308，寫入器緩存數(shù)據(jù)寫入文件，完畢執(zhí)行步驟S301。

圖4是根據(jù)本發(fā)明實施例的內(nèi)存庫檢索數(shù)據(jù)流程示意圖，如圖4所示，從內(nèi)存庫檢 索數(shù)據(jù)(相當(dāng)于上述實施例中從數(shù)據(jù)存儲服務(wù)器中查詢數(shù)據(jù))包括如下步驟：

步驟S401，查詢服務(wù)器WEB SERVER接受用戶的查詢請求，根據(jù)KEY1找到對應(yīng)的內(nèi)存庫DS SERVER。

需要說明的是，TLV數(shù)據(jù)由CHRMAP來定義數(shù)據(jù)字典；PATCHMAP定義TLV數(shù)據(jù)的關(guān)鍵信息，例如，KEY1的索引；FILTERMAP定義了全部過濾條件。

步驟S402，內(nèi)存庫DS SERVER接收查詢服務(wù)器的查詢請求，找到根據(jù)KEY1，開始時間STARTTIME，結(jié)束時間ENDTIME，以及其他業(yè)務(wù)字段過濾值，構(gòu)造過濾器FILTERMAP發(fā)起查詢請求。

步驟S403，判斷時間類型是小時還是分鐘。如果判斷出時間類型為小時則執(zhí)行步驟S404，如果判斷出時間類型為分鐘則執(zhí)行步驟S405。

步驟S404，根據(jù)STARTTIME和ENDTIME遍歷時間范圍內(nèi)的分鐘目錄，搜索深度為5級：年/月/日/小時/分鐘/，獲取第5級目錄的URL列表，并執(zhí)行步驟S406。

步驟S405，根據(jù)STARTTIME和ENDTIME遍歷時間范圍內(nèi)的小時目錄，搜索深度為4級：年/月/日/小時/，獲取第4級目錄的URL列表，并執(zhí)行步驟S406。

步驟S406，遍歷時間目錄的同一資源定位符URL列表，判斷目錄下KEY1.il文件是否存在，如果不存在則執(zhí)行步驟S406繼續(xù)遍歷，如果存在則執(zhí)行步驟S407。

具體地，一個目錄下文件很多，故只按保存符合條件的目錄列表。由于查詢時KEY1是指定的，故文件名是固定的，這樣不必獲取文件列表，而只用判斷各個文件目錄下KEY1.il文件是否存在。

步驟S407，逐行處理文件，對各行數(shù)據(jù)根據(jù)設(shè)置的過濾器FILTERMAP過濾，只緩存有效的結(jié)果數(shù)據(jù)。

步驟S408，判斷查詢結(jié)果隊列是否超過預(yù)設(shè)的結(jié)果行數(shù)，如果未超過則執(zhí)行步驟S409，超過則執(zhí)行步驟S411，查詢結(jié)束。

步驟S409，判斷是否到文件尾部，如果未到文件尾部則執(zhí)行步驟S407，如果到文件尾部則執(zhí)行步驟S410。

步驟S410，判斷是否到目錄列表尾部，如果未到列表尾部則執(zhí)行步驟S406取下一個時間目錄處理，到目錄列表尾部則直接執(zhí)行步驟S411，查詢結(jié)束。

步驟S411，將結(jié)果按開始時間排序，并分包發(fā)送查詢結(jié)果到查詢服務(wù)器WEB SERVER。

圖5是根據(jù)本發(fā)明實施例的內(nèi)存庫檢索信息層次示意圖。本發(fā)明實施例提供了一種樹型的存儲結(jié)構(gòu)，信令跟蹤涉及到很多媒體文件、信令文件等，本發(fā)明實施例的內(nèi)存庫 中保存的是這些信息的概要，是最上層的數(shù)據(jù)，也是存儲和查詢最快的數(shù)據(jù)。概要信息中可以看到一個業(yè)務(wù)流程中涉及的信令和媒體文件的URL信息，客戶端對信令流程的展現(xiàn)只用將內(nèi)存庫中保存的信息和對應(yīng)URL的文件內(nèi)容關(guān)聯(lián)就可以了。大量的媒體文件和信令文件也是按分鐘為葉子節(jié)點分開的目錄結(jié)構(gòu)下保存，和內(nèi)存庫處理相同，而內(nèi)存庫記錄實現(xiàn)了這些文件和信令流程的管理處理。

本方明實施例的分布式大數(shù)據(jù)快速存儲策略，能根據(jù)用戶的配置提供不同的響應(yīng)速度，均勻分擔(dān)網(wǎng)絡(luò)業(yè)務(wù)量，提高系統(tǒng)處理能力和可靠性，如采用Intel DPDK流處理框架進(jìn)行數(shù)據(jù)采集，采用內(nèi)存盤技術(shù)，和分布式大數(shù)據(jù)存儲查詢系統(tǒng)，解決大量數(shù)據(jù)文件的生成，和及時查詢之間的矛盾，提供了10萬條每秒的數(shù)據(jù)實時插入的能力和實時的快速查詢的能力。同時能適應(yīng)在大數(shù)據(jù)量的業(yè)務(wù)需求下，網(wǎng)元并行分擔(dān)整個網(wǎng)絡(luò)業(yè)務(wù)負(fù)載，提高網(wǎng)絡(luò)的業(yè)務(wù)處理性能。同時，在某個網(wǎng)元通信鏈路出現(xiàn)中斷或故障時，分布式網(wǎng)絡(luò)中的其它網(wǎng)元接替該網(wǎng)元業(yè)務(wù)，整個網(wǎng)絡(luò)運營狀態(tài)不中斷，保證了網(wǎng)絡(luò)的穩(wěn)定性和可靠性。

通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到根據(jù)上述實施例的方法可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳的實施方式。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)(如ROM/RAM、磁碟、光盤)中，包括若干指令用以使得一臺終端設(shè)備(可以是手機(jī)，計算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述的方法。

在本實施例中還提供了一種數(shù)據(jù)處理裝置，該裝置用于實現(xiàn)上述實施例及優(yōu)選實施方式，已經(jīng)進(jìn)行過說明的不再贅述。如以下所使用的，術(shù)語“模塊”可以實現(xiàn)預(yù)定功能的軟件和/或硬件的組合。盡管以下實施例所描述的裝置較佳地以軟件來實現(xiàn)，但是硬件，或者軟件和硬件的組合的實現(xiàn)也是可能并被構(gòu)想的。

圖6是根據(jù)本發(fā)明實施例的數(shù)據(jù)處理裝置的結(jié)構(gòu)框圖，如圖6所示，該裝置包括采集模塊62、獲取模塊64和存儲模塊66。

采集模塊62，用于采集網(wǎng)關(guān)通用分組無線業(yè)務(wù)支持節(jié)點GGSN或公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)PGW的信令，其中，上述信令為用戶的信令；

本發(fā)明實施例可以通過監(jiān)測GGSN或PGW的各個接口采集用戶的信令，其中，用戶可以是一個，也可以是多個。優(yōu)選地，上述采集模塊62包括：信令采集器，以光口鏡像的方式連接到上述通用分組無線業(yè)務(wù)支持節(jié)點或上述公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)的接口以采集上述信令，其中，上述接口包括以下至少之一：S6接口，S8接口，Gn接口，Gp接口，Gx接口，Gy接口，認(rèn)證授權(quán)計費AAA接口。

獲取模塊64，用于獲取上述用戶的唯一關(guān)鍵字；

由于網(wǎng)元中存在大量的用戶，在采集用戶的信令時，為了便于對每個用戶的信令進(jìn)行區(qū)分，本發(fā)明實施例中每個用戶均對應(yīng)于一個唯一關(guān)鍵字，通過該唯一關(guān)鍵字對用戶進(jìn)行唯一標(biāo)識。優(yōu)選地，上述獲取模塊64包括：獲取單元，用于獲取上述用戶的識別碼，其中，上述用戶識別碼包括國際移動用戶識別碼IMSI或移動用戶綜合業(yè)務(wù)數(shù)字網(wǎng)號碼MSISDN；運算單元，用于對上述識別碼進(jìn)行哈希運算，得到上述唯一關(guān)鍵字。

在網(wǎng)元中的每個用戶均有對應(yīng)的國際移動用戶識別碼IMSI或移動用戶綜合業(yè)務(wù)數(shù)字網(wǎng)號碼MSISDN，通過對用戶對應(yīng)的IMSI或MSISDN進(jìn)行哈希運算得到哈希值，并將該哈希值作為上述唯一關(guān)鍵字，便于后續(xù)每個用戶信令的快速存儲和快速查找。

存儲模塊66，用于根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中。

本發(fā)明實施例可以預(yù)先在數(shù)據(jù)存儲服務(wù)器中創(chuàng)建多級目錄，也可以是在將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的過程中在數(shù)據(jù)存儲服務(wù)器中動態(tài)的生成多級目錄。

本發(fā)明實施例通過采集模塊62采集網(wǎng)關(guān)通用分組無線業(yè)務(wù)支持節(jié)點GGSN或公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)PGW的信令，其中，上述信令為用戶的信令；獲取模塊64獲取上述用戶的唯一關(guān)鍵字；以及存儲模塊66，用于根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中。相比于現(xiàn)有技術(shù)中將用戶的信令存儲于數(shù)據(jù)庫中，存儲速度更快，解決了相關(guān)技術(shù)中信令存儲效率較低的問題，進(jìn)而達(dá)到了提高信令存儲效率的效果。

優(yōu)選地，在根據(jù)上述唯一關(guān)鍵字將上述信令存儲至數(shù)據(jù)存儲服務(wù)器的多級目錄中之前，上述裝置還包括：生成模塊，用于根據(jù)時間在上述數(shù)據(jù)存儲服務(wù)器中生成多級目錄。

例如，按照年、月、日、小時、分鐘生成樹型多級目錄，其中，年為根目錄，分鐘為葉子目錄。本發(fā)明實施例可以根據(jù)數(shù)據(jù)量的多少來決定多級目錄的級數(shù)，例如，數(shù)據(jù)量少時，可以采用小時作為葉子目錄，即為4級目錄，數(shù)據(jù)量較大時，可以采用分鐘作為葉子目錄，即為5級目錄。

優(yōu)選地，上述存儲模塊66包括：查找單元，用于根據(jù)上述唯一關(guān)鍵字查找上述用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器；以及存儲單元，用于將上述信令存儲至上述用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器的多級目錄中。

由于網(wǎng)元中存在大量的用戶，為了便于快速存儲用戶的信令到該用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器中，可以預(yù)先將用戶的唯一關(guān)鍵字和其對應(yīng)的數(shù)據(jù)存儲服務(wù)器進(jìn)行關(guān)聯(lián)，通過用戶的唯一關(guān)鍵字即可查找到該用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器，并將用戶的信令均存儲于該用戶對應(yīng)的數(shù)據(jù)存儲服務(wù)器的多級目錄中，從而便于后續(xù)實現(xiàn)對用戶信令的快速檢索。

在本實施例中還提供了一種數(shù)據(jù)處理系統(tǒng)。圖7是根據(jù)本發(fā)明實施例的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)框圖。如圖7所示，數(shù)據(jù)處理系統(tǒng)包括：數(shù)據(jù)采集服務(wù)器72和數(shù)據(jù)存儲服務(wù)器74。

數(shù)據(jù)采集服務(wù)器72，用于采集網(wǎng)關(guān)通用分組無線業(yè)務(wù)支持節(jié)點GGSN或公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)PGW的信令，其中，上述信令為用戶的信令。

優(yōu)選地，上述數(shù)據(jù)采集服務(wù)器包括探針信令采集器，上述探針信令采集器以光口鏡像的方式連接到上述通用分組無線業(yè)務(wù)支持節(jié)點或上述公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)的接口以采集上述信令，其中，上述接口包括以下至少之一：S5接口，S8接口，Gn接口，Gp接口，Gx接口，Gy接口，認(rèn)證授權(quán)計費AAA接口。

本發(fā)明實施例通過光口鏡像的方式采集GGSN或PGW的接口的信令，可以避免在采集GGSN或PGW的接口的信令的過程中影響GGSN或PGW的接口的正常工作。

數(shù)據(jù)存儲服務(wù)器74，連接至上述數(shù)據(jù)采集模塊，其中，上述數(shù)據(jù)存儲服務(wù)器包括多級目錄，上述多級目錄用于存儲上述信令。

本發(fā)明實施例通過數(shù)據(jù)采集服務(wù)器72采集網(wǎng)關(guān)通用分組無線業(yè)務(wù)支持節(jié)點GGSN或公共數(shù)據(jù)網(wǎng)網(wǎng)關(guān)PGW的信令，其中，上述信令為用戶的信令，數(shù)據(jù)存儲服務(wù)器74，以多級目錄格式存儲上述信令，解決了相關(guān)技術(shù)中信令存儲效率較低的問題，進(jìn)而達(dá)到了提高信令存儲效率的效果。

優(yōu)選地，上述數(shù)據(jù)存儲服務(wù)器包括內(nèi)存庫和文件服務(wù)器，其中，上述內(nèi)存庫用于存儲上述信令的概要信息，上述文件服務(wù)器用于存儲上述信令的文件信息，上述概要信息和上述文件信息之間存在映射關(guān)系。

信令的概要信息包括信令文件的統(tǒng)一資源定位符URL信息和媒體文件的統(tǒng)一資源定位符URL信息，信令的文件信息則包括詳細(xì)的信令文件和媒體文件，本發(fā)明實施例通過信令文件的URL信息即可以得到對應(yīng)的信令文件，通過媒體文件的URL信息即可以得到對應(yīng)的媒體文件，因此，在檢索過程中，僅需從內(nèi)存庫中檢索信令的概要信息既可以得到其對應(yīng)的文件信息。

優(yōu)選地，數(shù)據(jù)采集服務(wù)器還包括處理模塊，連接至探針信令采集器，用于對探針信令采集器采集的信令進(jìn)行解析得到概要信息和文件信息，并將概要信息和文件信息分別發(fā)送至內(nèi)存庫和文件服務(wù)器。

本發(fā)明實施例采用分布式存儲方法，將信令的概要信息和信令的文件信息分別存儲于內(nèi)存庫和文件服務(wù)器中。具體的，數(shù)據(jù)采集服務(wù)器的處理器將信令進(jìn)行解析得到信令的概要信息和信令的文件信息，并將概要信息和文件信息分別發(fā)送至內(nèi)存庫和文件服務(wù)器。

優(yōu)選地，上述數(shù)據(jù)處理系統(tǒng)還包括：查詢服務(wù)器，連接至上述數(shù)據(jù)存儲服務(wù)器，用于從上述數(shù)據(jù)存儲服務(wù)器查詢上述信令。

查詢服務(wù)器用于從數(shù)據(jù)存儲服務(wù)器查詢網(wǎng)元用戶的信令，以實現(xiàn)對網(wǎng)元用戶的監(jiān)控。

圖8是根據(jù)本發(fā)明實施例的內(nèi)存庫檢索數(shù)據(jù)系統(tǒng)部署示意圖。如圖8所示，內(nèi)存庫檢索數(shù)據(jù)系統(tǒng)包括多個信令采集模塊(即信令采集模塊1至信令采集模塊m)，連接至GGSN或PGW各個接口以采集用戶信令，多個內(nèi)存庫(即內(nèi)存庫1至內(nèi)存庫n)，查詢服務(wù)器和客戶端查詢模塊，其中，在上報入庫流程中，信令采集模塊上報消息并根據(jù)MSISD取哈希做唯一關(guān)鍵字來匹配對應(yīng)的內(nèi)存庫；在查詢流程中，查詢服務(wù)器的查詢請求也根據(jù)必選條件，例如，MSISDN取哈希做唯一關(guān)鍵字來匹配對應(yīng)的內(nèi)存庫。

本發(fā)明實施例在各個服務(wù)器使用權(quán)限受到嚴(yán)格限制時，通過探針信令采集器以光口鏡像的方式連接到GGSN或PGW各個接口的信令進(jìn)行實時監(jiān)控，包括S5/S8接口，Gn/Gp接口，Gx接口，Gy接口和認(rèn)證授權(quán)計費AAA接口。

該系統(tǒng)是在現(xiàn)有運營商的移動數(shù)據(jù)網(wǎng)絡(luò)中通過新增網(wǎng)元的方式實現(xiàn)的，其在移動數(shù)據(jù)網(wǎng)絡(luò)架構(gòu)拓?fù)渲型ㄟ^信令采集模塊AGENT接入GGSN或PGW之間的Gn/Gp接口，Gx接口，Gy接口和認(rèn)證授權(quán)計費AAA接口，信令采集模塊AGENT以探針采集的方式獲取各個接口的數(shù)據(jù)包，提取網(wǎng)絡(luò)實時數(shù)據(jù)，并按用戶號MSISDN提取出用戶相關(guān)的信令流程。內(nèi)存庫DS SERVER接收信令采集模塊AGENT構(gòu)建的信令概要信息的TLV記錄，并實時入庫。查詢服務(wù)器WEB SERVER實現(xiàn)客戶端的可定制查詢功能，查詢服務(wù)器WEB SERVER接收用戶的查詢請求，根據(jù)唯一關(guān)鍵字KEY1找到對應(yīng)的內(nèi)存庫DS SERVER，并把JAVA腳本對象表示格式(JavaScript Object Notation，簡稱為JSON)的查詢請求發(fā)送給內(nèi)存庫DS SERVER，查詢請求中包括了唯一關(guān)鍵字KEY1。內(nèi)存庫DS SERVER的查詢處理完畢后，查詢服務(wù)器WEB SERVER會收到查詢結(jié)果，同時提供網(wǎng)管參數(shù)配置管控中心，能夠為網(wǎng)絡(luò)管理人員提供參數(shù)配置界面。查詢模塊包含了高效的查詢算法，查詢條件(即查詢指令)中包括三個信息：①起始時間；②終止時間；③MSISDN，其中，起始時間和終止時間精確到分鐘量級。查詢條件分別轉(zhuǎn)化為對應(yīng)日期、小時、MSISDN，并在日期/小時/分鐘/這樣的三級文件目錄中依層次執(zhí)行查找配匹。其中，查詢結(jié)果為信令流程圖，單擊某行，會出現(xiàn)該條信令的詳細(xì)的協(xié)議碼流和協(xié)議解碼詳細(xì)信息。網(wǎng)元信令回溯系統(tǒng)數(shù)據(jù)查詢步驟如下：

步驟1：用戶在客戶端查詢模塊的網(wǎng)絡(luò)查詢客戶界面輸入查詢條件(即查詢指令)包括：開始時間、結(jié)束時間、MSISDN、最大返回行數(shù)，組裝為JSON格式。

步驟2：查詢服務(wù)器WEB SERVER根據(jù)MSISDN取哈希得到唯一關(guān)鍵字KEY1，并將KEY1加入查詢參數(shù)組合后，根據(jù)KEY1找到匹配的內(nèi)存庫DS SERVER，將該查詢請求數(shù)據(jù)包以JSON格式發(fā)送給它。

步驟3：內(nèi)存庫DS SERVER的查詢監(jiān)聽到有查詢請求數(shù)據(jù)包到來，獲取該JSON格式的數(shù)據(jù)包中的查詢條件并轉(zhuǎn)化為：起始日期、結(jié)束日期、KEY1。并在內(nèi)存庫中根據(jù)最大返回行數(shù)搜索滿足條件的日志記錄。

步驟4：內(nèi)存庫DS SERVER將所有滿足條件的數(shù)據(jù)集組包以基于用戶數(shù)據(jù)包協(xié)議 的數(shù)據(jù)傳輸協(xié)議(UDP-based Data Transfer Protocol，簡稱為UDT)報文方式快速發(fā)送給查詢服務(wù)器WEB SERVER。

步驟5：查詢服務(wù)器WEB SERVER收到對應(yīng)的內(nèi)存庫DS SERVER返回的查詢結(jié)果數(shù)據(jù)包，對其按照時間進(jìn)行排序，并最終結(jié)果以JSON格式發(fā)送給客戶端，客戶端轉(zhuǎn)換后呈現(xiàn)在查詢界面上。

現(xiàn)有技術(shù)中，專利號為CN104636199A的“一種基于分布式內(nèi)存計算的大數(shù)據(jù)實時處理系統(tǒng)及方法”存在以下不足：寫文件前沒有考慮重復(fù)的問題，將新舊兩個版的文件元數(shù)據(jù)在服務(wù)器端進(jìn)行比較，通過存儲層中文件塊對相同數(shù)據(jù)進(jìn)行冗余去重，存在較大的系統(tǒng)開銷，而本發(fā)明數(shù)據(jù)先按IMSI的哈希碼進(jìn)行過濾到不同文件，保證相同的關(guān)鍵字在同一文件，查詢時可以按IMSI求哈希值直接定位到對應(yīng)文件。同時文件按細(xì)化到分鐘的目錄存放，查詢時根據(jù)時間范圍可以鎖定到為數(shù)很少的幾個目錄。此外，本發(fā)明實施例在查詢上采用了可定制查詢，就是用戶需要看幾條，服務(wù)端就只處理完文件中的對應(yīng)有限行文本返回，在大數(shù)據(jù)環(huán)境下，不必讀完整個文件，大大提高了響應(yīng)速度。本發(fā)明通過系統(tǒng)的規(guī)劃，保證了快速定位、快速查詢。專利號為CN104679893A的“一種基于大數(shù)據(jù)的信息檢索方法”存在以下不足：該基于大數(shù)據(jù)的信息檢索方法中數(shù)據(jù)涉及到多個不同主機(jī)的多重備份和一致性維護(hù)，比較復(fù)雜，影響了系統(tǒng)的海量數(shù)據(jù)的處理能力。本發(fā)明實施例采用對MSISDN取哈希得到唯一關(guān)鍵字KEY1后，進(jìn)行精確的發(fā)送，可以規(guī)避不同主機(jī)上數(shù)據(jù)重復(fù)的問題。分布式存儲和分布式查詢采用相同的字段的相同的散列算法，都定位到同一個內(nèi)存庫DS SERVER上，不會出現(xiàn)一個查詢涉及多個主機(jī)的現(xiàn)象。同時本發(fā)明中的信息模型為一個典型的樹結(jié)構(gòu)，頂級的是我們分布式內(nèi)存庫中的各個表，下級是各個表對應(yīng)的信令文件、媒體文件，內(nèi)存表的表現(xiàn)形式也是數(shù)據(jù)文件，內(nèi)存表的訪問也是對文件目錄的過濾和文件內(nèi)容的過濾。

本發(fā)明實施例提供了一種分布式大數(shù)據(jù)快速存儲查詢系統(tǒng)，對GGSN/PGW的業(yè)務(wù)信令及數(shù)據(jù)業(yè)務(wù)類型提供實時監(jiān)控和相應(yīng)報表。其中包括網(wǎng)絡(luò)實時監(jiān)控以及網(wǎng)元信令回溯功能?？梢詫GSN/PGW各個接口的信令進(jìn)行實時監(jiān)控，包括S5/S8，Gn/Gp，Gx,Gy，認(rèn)證授權(quán)計費AAA接口。運營商可以在系統(tǒng)上通過用戶IMSI/MSISDN號碼查詢到某一時段內(nèi)該用戶在GGSN/PGW上發(fā)生的信令，并能對這些信令進(jìn)行解碼?？梢灾辽俦３?天的全網(wǎng)元所有用戶的信令，用于回溯查詢。

同時，本發(fā)明還提供了一種分布式大數(shù)據(jù)快速存儲策略，能根據(jù)用戶的配置提供不同的響應(yīng)速度，旨在均勻分擔(dān)網(wǎng)絡(luò)業(yè)務(wù)量，提高系統(tǒng)處理能力和可靠性。如采用Intel DPDK流處理框架進(jìn)行數(shù)據(jù)采集，采用內(nèi)存盤技術(shù)，和分布式大數(shù)據(jù)存儲查詢系統(tǒng)，解決大量數(shù)據(jù)文件的生成，和及時查詢2個矛盾。提供了10萬條每秒的數(shù)據(jù)實時插入的能力。

本發(fā)明針對于實際網(wǎng)絡(luò)環(huán)境中不同的場景需求，提供兩種基于分布式的上網(wǎng)日志回溯系統(tǒng)。一、在各個服務(wù)器使用權(quán)限受到嚴(yán)格限制時，通過探針信令采集器以光口鏡像 的方式連接到GGSN/PGW各個接口的信令進(jìn)行實時監(jiān)控，包括S5/S8，Gn/Gp，Gx，Gy，認(rèn)證授權(quán)計費AAA接口；二、使用如MSISDN取哈希作為系統(tǒng)的唯一關(guān)鍵字KEY1，用于網(wǎng)絡(luò)查詢和內(nèi)存庫DS SERVER的關(guān)聯(lián)，信令采集模塊AGENT和內(nèi)存庫DS SERVER上報消息目的的關(guān)聯(lián)，用于內(nèi)存庫文件的唯一命名。三、系統(tǒng)采用了分布式內(nèi)存庫和分布式文件系統(tǒng)組合的方式提供了從概要到細(xì)目的分層信息結(jié)構(gòu)，概要信息存放在內(nèi)存庫中，詳細(xì)的信息(即信令文件、媒體文件等)通過分布式文件服務(wù)器分散保存，概要信息中包括例如信令文件的統(tǒng)一資源定位符URL和媒體文件的統(tǒng)一資源定位符URL，在客戶端需要詳細(xì)信息時，可以通過URL下載本地，在客戶端本地工具中呈現(xiàn)，不影響服務(wù)器的性能。四、利用系統(tǒng)數(shù)據(jù)的時間戳，減少了大量定時器的使用；利用用戶查詢習(xí)慣(一次要看的最大數(shù)據(jù)行數(shù))來減輕服務(wù)器的檢索深度；利用內(nèi)存處理替代文件處理，提高了系統(tǒng)處理能力。

因此，本系統(tǒng)裝置設(shè)有信令采集模塊AGENT，內(nèi)存庫DS Server，查詢服務(wù)器WEB SERVER，文件服務(wù)器，共4個組成部件。其中，信令采集模塊AGENT和內(nèi)存庫DS SERVER分別部署在不同的網(wǎng)絡(luò)環(huán)境中。各個組件具體功能如下：

(1)信令采集模塊AGENT，利用探針模塊(例如，探針信令采集器)抓取GGSN/PGW各個接口的信令，并進(jìn)行各個協(xié)議狀態(tài)機(jī)的解析得到相關(guān)概要信息和各個信令文件、媒體文件，文件保存到分布式文件服務(wù)器；將概要信息按MSISDN取哈希作為唯一關(guān)鍵字KEY1發(fā)送到得到對應(yīng)的內(nèi)存庫DS SERVER。

(2)內(nèi)存庫DS SERVER接收信令采集模塊AGENT構(gòu)建的TLV記錄，并根據(jù)數(shù)據(jù)字典解析出唯一關(guān)鍵字KEY1，并利用唯一關(guān)鍵字KEY1構(gòu)建第一標(biāo)識符KEY2。第一標(biāo)識符KEY2為唯一關(guān)鍵字KEY1組合上業(yè)務(wù)消息的時間戳的秒格式，或者小時格式。第一標(biāo)識符KEY2用于寫入器的查找，找到第一標(biāo)識符KEY2對應(yīng)的寫入器后，即利用寫入器寫入到對應(yīng)的內(nèi)存文件中。由于KEY2使用了時間戳，這樣不必使用定時器就可以實現(xiàn)定時1秒寫入的功能。例如，滿1秒時KEY2必然不同，會創(chuàng)建新的寫入器，在實時要求高的情況下要保證1秒會強(qiáng)制寫入一次文件，無論緩存是否滿，沒有使用定時器，卻能達(dá)到定時寫入的作用。同時還用處理查詢請求，內(nèi)存庫DS SERVER接收查詢服務(wù)器WEB SERVER的查詢請求，找到根據(jù)唯一關(guān)鍵字KEY1、開始時間STARTTIME、結(jié)束時間ENDTIME以及其他業(yè)務(wù)字段過濾值，構(gòu)造過濾器發(fā)起查詢請求，時間類型為分鐘時，根據(jù)開始時間STARTTIME、結(jié)束時間ENDTIME，遍歷時間范圍內(nèi)的分鐘目錄，搜索深度為4級：年/月/日/小時/分鐘/。只獲取第4級目錄的URL列表。然后遍歷時間目錄URL列表，目錄下KEY1.il文件存在。若文件存在逐行處理文件，對各行數(shù)據(jù)根據(jù)設(shè)置的過濾器FILTERMAP過濾，只緩存有效的結(jié)果數(shù)據(jù)，若結(jié)果隊列超過設(shè)置的結(jié)果行數(shù)或者到目錄列表尾部都會將結(jié)果按開始時間排序，并分包發(fā)送查詢結(jié)果到查詢服務(wù)器WEB SERVER，完成查詢。

(3)查詢服務(wù)器WEB SERVER，實現(xiàn)客戶端的可定制查詢功能，查詢服務(wù)器WEB SERVER接受用戶的查詢請求，根據(jù)唯一關(guān)鍵字KEY1找到對應(yīng)的內(nèi)存庫DS SERVER，并把JSON格式的查詢請求發(fā)送給內(nèi)存庫DS SERVER,，其中，查詢請求中包括了唯一關(guān)鍵字KEY1。內(nèi)存庫DS SERVER的查詢處理完畢后，查詢服務(wù)器WEB SERVER會收到查詢結(jié)果，同時提供網(wǎng)管參數(shù)配置管控中心，能夠為網(wǎng)絡(luò)管理人員提供參數(shù)配置界面。

(4)文件服務(wù)器，提供給信息采集模塊AGENT存儲信令文件和媒體文件，提供給客戶端高速下載。

為了達(dá)到系統(tǒng)對大數(shù)據(jù)量級業(yè)務(wù)的處理能力和保證可靠性的目的，本發(fā)明還提供了一種分布式大數(shù)據(jù)快速存儲策略，能根據(jù)用戶的配置提供不同的響應(yīng)速度，旨在均勻分擔(dān)網(wǎng)絡(luò)業(yè)務(wù)量，提高系統(tǒng)處理能力和可靠性。如采用Intel DPDK流處理框架進(jìn)行數(shù)據(jù)采集，采用內(nèi)存盤技術(shù)，和分布式大數(shù)據(jù)存儲查詢系統(tǒng)，解決大量數(shù)據(jù)文件的生成和及時查詢兩個矛盾，提供了10萬條每秒的數(shù)據(jù)實時插入的能力和實時的快速查詢的能力。

如圖3所示，往內(nèi)存庫中寫入數(shù)據(jù)包括如下步驟：

步驟S301，信令采集模塊構(gòu)建TLV記錄，按MSISDN取哈希作為唯一關(guān)鍵字KEY1發(fā)送到得到對應(yīng)內(nèi)存庫，并將此KEY1加入到TLV記錄中。

信令采集模塊AGENT采集信令，并對信令進(jìn)行解析處理，例如，構(gòu)建TLV記錄，其中，TLV是指包括類型、長度和值三個字段的數(shù)據(jù)格式，將MSISDN取哈希作為唯一關(guān)鍵字KEY1發(fā)送到得到對應(yīng)內(nèi)存庫，并將此KEY1加入到TLV記錄中。

步驟S302，內(nèi)存庫接收到TLV記錄，構(gòu)建第一標(biāo)識符KEY2，KEY2為KEY1和業(yè)務(wù)消息的時間戳的秒格式，或者小時格式。

步驟S303，查找KEY2對應(yīng)的寫入器是否成功，成功則執(zhí)行步驟S306，失敗則執(zhí)行步驟KS304。

步驟S304，意味刷新時間到或新的MSISDN加入，需要批量(256個寫入器為一批)關(guān)閉下當(dāng)前的寫入器，關(guān)閉時會強(qiáng)制從緩存寫入內(nèi)存盤。

具體地，當(dāng)查找不到KEY2對應(yīng)的寫入器時，則表示刷新時間到或存在新的MSISDN加入，此時，需要關(guān)閉當(dāng)前的寫入器。

步驟S305，創(chuàng)建KEY2對應(yīng)的寫入器，寫入器會在當(dāng)前系統(tǒng)對應(yīng)的分鐘值或者小時值的葉子目錄中創(chuàng)建新的文件。

步驟S306，寫入到對應(yīng)寫入器的緩存。

步驟S307，判斷寫入器的緩存是否已滿，如果寫入器的緩存已滿則執(zhí)行步驟S308，如果寫入器的緩存未滿則執(zhí)行步驟S301，進(jìn)行下一條數(shù)據(jù)的處理。

步驟S308，寫入器緩存數(shù)據(jù)寫入文件，完畢執(zhí)行步驟S301。

如圖4所示，從內(nèi)存庫檢索數(shù)據(jù)包括如下步驟：

步驟S401，查詢服務(wù)器WEB SERVER接受用戶的查詢請求，根據(jù)KEY1找到對應(yīng)的內(nèi)存庫DS SERVER。

步驟S402，內(nèi)存庫DS SERVER接收查詢服務(wù)器的查詢請求，根據(jù)KEY1，開始時間STARTTIME，結(jié)束時間ENDTIME，以及其他業(yè)務(wù)字段過濾值，構(gòu)造過濾器FILTERMAP發(fā)起查詢請求。

步驟S403，判斷時間類型是小時還是分鐘。如果判斷出時間類型為小時則執(zhí)行步驟S404，如果判斷出時間類型為分鐘則執(zhí)行步驟S405。

步驟S404，根據(jù)STARTTIME和ENDTIME遍歷時間范圍內(nèi)的分鐘目錄，搜索深度為5級：年/月/日/小時/分鐘/，獲取第5級目錄的URL列表，并執(zhí)行步驟S406。

步驟S405，根據(jù)STARTTIME和ENDTIME遍歷時間范圍內(nèi)的小時目錄，搜索深度為4級：年/月/日/小時/，獲取第4級目錄的URL列表，并執(zhí)行步驟S406。

步驟S406，遍歷時間目錄的同一資源定位符URL列表，判斷目錄下KEY1.il文件是否存在，如果不存在則執(zhí)行步驟S406繼續(xù)遍歷，如果存在則執(zhí)行步驟S407。

步驟S407，逐行處理文件，對各行數(shù)據(jù)根據(jù)設(shè)置的過濾器FILTERMAP過濾，只緩存有效的結(jié)果數(shù)據(jù)。

步驟S408，判斷查詢結(jié)果隊列是否超過預(yù)設(shè)的結(jié)果行數(shù)，如果未超過則執(zhí)行步驟S409，超過則執(zhí)行步驟S411，查詢結(jié)束。

步驟S409，判斷是否到文件尾部，如果未到文件尾部則執(zhí)行步驟S407，如果到文件尾部則執(zhí)行步驟S410。

步驟S410，判斷是否到目錄列表尾部，如果未到列表尾部則執(zhí)行步驟S406取下一個時間目錄處理，到目錄列表尾部則直接執(zhí)行步驟S411，查詢結(jié)束。

步驟S411，將結(jié)果按開始時間排序，并分包發(fā)送查詢結(jié)果到查詢服務(wù)器WEB SERVER。

與現(xiàn)有技術(shù)比較，本發(fā)明實施例所要解決的技術(shù)問題是：提供一種GGSN/PGW的實時的信令跟蹤平臺能支持全網(wǎng)500萬用戶，280Gbps吞吐量(2014年AIS標(biāo)書要求)；并且能支持單個GGSN/PGW 150萬用戶，50Gbps吞吐量，本發(fā)明能夠提供一種對GGSN/PGW的業(yè)務(wù)信令及數(shù)據(jù)業(yè)務(wù)類型提供實時監(jiān)控和相應(yīng)報表。其中包括網(wǎng)絡(luò)實時監(jiān)控以及網(wǎng)元信令回溯功能?？梢詫GSN/PGW各個接口的信令進(jìn)行實時監(jiān)控，包括S5/S8，Gn/Gp，Gx,Gy，認(rèn)證授權(quán)計費AAA接口。運營商可以在系統(tǒng)上通過用戶 IMSI/MSISDN號碼查詢到某一時段內(nèi)該用戶在GGSN/PGW上發(fā)生的信令，并能對這些信令進(jìn)行解碼?？梢灾辽俦３?天的全網(wǎng)元所有用戶的信令，用于回溯查詢。

此外，本方明還提供分布式大數(shù)據(jù)快速存儲策略，能根據(jù)用戶的配置提供不同的響應(yīng)速度，旨在均勻分擔(dān)網(wǎng)絡(luò)業(yè)務(wù)量，提高系統(tǒng)處理能力和可靠性。如采用Intel DPDK流處理框架進(jìn)行數(shù)據(jù)采集，采用內(nèi)存盤技術(shù)，和分布式大數(shù)據(jù)存儲查詢系統(tǒng)，解決大量數(shù)據(jù)文件的生成，和及時查詢2個矛盾。提供了10萬條每秒的數(shù)據(jù)實時插入的能力和實時的快速查詢的能力。同時能適應(yīng)在大數(shù)據(jù)量的業(yè)務(wù)需求下，網(wǎng)元并行分擔(dān)整個網(wǎng)絡(luò)業(yè)務(wù)負(fù)載，提高網(wǎng)絡(luò)的業(yè)務(wù)處理性能。同時，在某個網(wǎng)元通信鏈路出現(xiàn)中斷或故障時，分布式網(wǎng)絡(luò)中的其它網(wǎng)元接替該網(wǎng)元業(yè)務(wù)，整個網(wǎng)絡(luò)運營狀態(tài)不中斷，保證了網(wǎng)絡(luò)的穩(wěn)定性和可靠性。

需要說明的是，上述各個模塊是可以通過軟件或硬件來實現(xiàn)的，對于后者，可以通過以下方式實現(xiàn)，但不限于此：上述模塊均位于同一處理器中；或者，上述模塊分別位于多個處理器中。

本發(fā)明的實施例還提供了一種存儲介質(zhì)?？蛇x地，在本實施例中，上述存儲介質(zhì)可以被設(shè)置為存儲用于執(zhí)行上述實施例方法步驟的程序代碼：

可選地，在本實施例中，上述存儲介質(zhì)可以包括但不限于：U盤、只讀存儲器(ROM，Read-Only Memory)、隨機(jī)存取存儲器(RAM，Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

可選地，本實施例中的具體示例可以參考上述實施例及可選實施方式中所描述的示例，本實施例在此不再贅述。

顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，并且在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。

以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。