一種基于正態(tài)分布的互聯(lián)網(wǎng)大數(shù)據(jù)挖掘方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種基于正態(tài)分布的互聯(lián)網(wǎng)大數(shù)據(jù)挖掘方法和系統(tǒng)，屬于通信領(lǐng)域。
【背景技術(shù)】
[0002] 隨著網(wǎng)絡(luò)和IT技術(shù)的發(fā)展，大數(shù)據(jù)、移動互聯(lián)網(wǎng)已經(jīng)成為IT和通信行業(yè)的熱詞。 大數(shù)據(jù)化igdata),是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處 理的數(shù)據(jù)集合。而移動互聯(lián)網(wǎng)，就是將移動通信和互聯(lián)網(wǎng)二者結(jié)合起來，成為一體。是指互 聯(lián)網(wǎng)的技術(shù)、平臺、商業(yè)模式和應(yīng)用與移動通信技術(shù)結(jié)合并實踐的活動的總稱。
[0003] 特別對于運營商來說，隨著移動互聯(lián)網(wǎng)的發(fā)展，原有的質(zhì)量評估，問題監(jiān)控的目標(biāo) 和手段也在發(fā)生轉(zhuǎn)變。
[0004] 2/3G時化運營商關(guān)注的是網(wǎng)絡(luò)KPI或KQI指標(biāo)，對數(shù)據(jù)的獲取或采集通常采用， 計數(shù)的方式。數(shù)據(jù)量比較小，傳統(tǒng)的架構(gòu)和方法就可W勝任。
[0005] 而隨著4G的普及，運營商開始關(guān)注，用戶感知和業(yè)務(wù)的問題。首先，分析的精度和 要求進(jìn)一步提高，例如從網(wǎng)元分析的級別到達(dá)用戶、SP、業(yè)務(wù)級別。其次，分析的數(shù)據(jù)源也從 計數(shù)的方式變成通過信令、MR等更原始的能直接反應(yīng)用戶的數(shù)據(jù)。
[0006] 在數(shù)據(jù)處理方面，對于之前的告警類，傳統(tǒng)方式是依據(jù)專家的經(jīng)驗，設(shè)計出一個闊 值，對超過闊值的網(wǎng)元或者用戶進(jìn)行輸出，進(jìn)行二次統(tǒng)計后，再通過專家分析一段時間內(nèi)的 數(shù)據(jù)，來區(qū)分問題是常態(tài)還是臨時的。在此，闊值是幾乎不變的，一旦需要改變，需要重新設(shè) 置并計算，運樣，整個的計算統(tǒng)計的周期可能花費幾天或幾周，無法滿足數(shù)據(jù)的有效性。
[0007] 從W上可W看出傳統(tǒng)方案存在主要幾個問題：
[0008] 處理數(shù)據(jù)量較小，對于海量數(shù)據(jù)處理能力不足。
[0009] 闊值和分析區(qū)間為經(jīng)驗值，依賴專家的能力，對一些異常問題很難預(yù)警。
[0010] 闊值一旦確定較少改變，無法依據(jù)網(wǎng)絡(luò)用戶變化動態(tài)改變。
[0011] 處理效率較低，無法滿足實際需要。

【發(fā)明內(nèi)容】

[0012] 針對現(xiàn)有技術(shù)存在的上述問題，提出了本發(fā)明的技術(shù)方案。
[0013] 基于本發(fā)明的一個方面，提供了一種基于正態(tài)分布的互聯(lián)網(wǎng)大數(shù)據(jù)挖掘方法，包 括W下步驟：
[0014] 步驟S1，采集信令W獲取用戶XDR;
[0015] 步驟S2,基于大數(shù)據(jù)，通過用戶XDR，計算出某一SPIP的某一時段的當(dāng)前業(yè)務(wù)指 標(biāo)數(shù)據(jù)，并截取同時段的對應(yīng)所述SPIP的歷史業(yè)務(wù)指標(biāo)數(shù)據(jù)；
[0016] 步驟S3,將所述SPIP的同時段的當(dāng)前業(yè)務(wù)指標(biāo)數(shù)據(jù)與歷史業(yè)務(wù)指標(biāo)數(shù)據(jù)進(jìn)行組 合得到一數(shù)據(jù)組，W按時段數(shù)對業(yè)務(wù)指標(biāo)數(shù)據(jù)進(jìn)行分組統(tǒng)計，并逐一對每一數(shù)據(jù)組的業(yè)務(wù) 指標(biāo)數(shù)據(jù)進(jìn)行歸一化為方差為1，均值為0的規(guī)整化數(shù)據(jù)；
[0017] 步驟S4,基于所述SPIP的某一時段的當(dāng)前和歷史業(yè)務(wù)指標(biāo)數(shù)據(jù)，按照標(biāo)準(zhǔn)正態(tài) 分布的方式輸出小于-3σ的數(shù)據(jù)。
[0018] 優(yōu)選地，步驟S1中，通過信令采集系統(tǒng)獲取用戶XDR，所述業(yè)務(wù)指標(biāo)數(shù)據(jù)包括所述 SPIP的給定業(yè)務(wù)的HTTP建立成功率和/或流量，所述信令采集系統(tǒng)包括運營商統(tǒng)一DPI 系統(tǒng)和上網(wǎng)日志系統(tǒng)。
[0019] 優(yōu)選地，步驟S2中，所述時段的時長為1小時。
[0020] 優(yōu)選地，步驟S2中，所述歷史業(yè)務(wù)指標(biāo)數(shù)據(jù)包括同時段的對應(yīng)的多天內(nèi)的業(yè)務(wù)指 標(biāo)數(shù)據(jù)。
[0021] 優(yōu)選地，步驟S3中，按照
進(jìn)行規(guī)整，其中畑〇1、盈^>巧胃i 分別表示所述SPIP的第i天的同時段的數(shù)據(jù)組的值，該值包括該同時段的HTTP建立成功 率、數(shù)據(jù)組均值、數(shù)據(jù)組標(biāo)準(zhǔn)差。
[0022] 優(yōu)選地，規(guī)整后的數(shù)據(jù)中，所述SPIP的數(shù)據(jù)與其他任一SPIP的數(shù)據(jù)無關(guān)，不隨 其他SPIP的變化而變化。
[0023] 優(yōu)選地，在步驟S4中，使用3σ原則，從歸一化的業(yè)務(wù)指標(biāo)數(shù)據(jù)中找出存在網(wǎng)絡(luò)隱 患或異常的SPΙΡ，其中，存在網(wǎng)絡(luò)隱患或異常的SPIP的歸一化指標(biāo)數(shù)據(jù)位于小于-30的 區(qū)間。
[0024] 優(yōu)選地，還包括步驟S5,對存在網(wǎng)絡(luò)隱患或異常的SPIP，查找對應(yīng)的SPIP及時 段，并關(guān)聯(lián)對應(yīng)的用戶，進(jìn)行預(yù)警，或推送至相應(yīng)的維護人員進(jìn)行處理。
[00巧]基于本發(fā)明的第二個方面，提供了一種基于正態(tài)分布的互聯(lián)網(wǎng)大數(shù)據(jù)挖掘系統(tǒng)， 包括W下模塊：
[0026] 數(shù)據(jù)獲取模塊，配置為采集信令W獲取用戶XDR;
[0027] 指標(biāo)計算模塊，配置為基于大數(shù)據(jù)，通過用戶XDR，計算出某一SPIP的某一時段 的當(dāng)前業(yè)務(wù)指標(biāo)數(shù)據(jù)，并截取同時段的對應(yīng)所述SPIP的歷史業(yè)務(wù)指標(biāo)數(shù)據(jù)；
[0028] 數(shù)據(jù)規(guī)整模塊，配置為將所述SPIP的同時段的當(dāng)前業(yè)務(wù)指標(biāo)數(shù)據(jù)與歷史業(yè)務(wù)指 標(biāo)數(shù)據(jù)進(jìn)行組合得到一數(shù)據(jù)組，W按時段數(shù)對業(yè)務(wù)指+標(biāo)數(shù)據(jù)進(jìn)行分組統(tǒng)計，并逐一對每 一數(shù)據(jù)組的業(yè)務(wù)指標(biāo)數(shù)據(jù)進(jìn)行歸一化為方差為1，均值為0的規(guī)整化數(shù)據(jù)；
[0029] 3σ判斷模塊，配置為基于所述SPIP的某一時段的當(dāng)前和歷史業(yè)務(wù)指標(biāo)數(shù)據(jù)，按 照標(biāo)準(zhǔn)正態(tài)分布的方式輸出小于-3 0的數(shù)據(jù)。
[0030] 優(yōu)選地，還包括預(yù)警模塊，配置為對存在網(wǎng)絡(luò)隱患或異常的SPIP，查找對應(yīng)的SP IP及時段，并關(guān)聯(lián)對應(yīng)的用戶，進(jìn)行預(yù)警，或推送至相應(yīng)的維護人員進(jìn)行處理
[0031] 本發(fā)明的有益效果：通過大數(shù)據(jù)的處理方式，對海量的信令和全量用戶數(shù)據(jù)進(jìn)行 處理，得出某IP或用戶的關(guān)鍵指標(biāo)。采集一定時間段內(nèi)同時間的數(shù)據(jù)，通過對數(shù)據(jù)進(jìn)行規(guī) 整化處理，再采用正態(tài)分布的方式，取3σ作為判別異常數(shù)據(jù)的界限，而在此區(qū)間W外取值 的概率極小，例如只有0. 26%，通常認(rèn)為運種情況是小概率事件，幾乎不可能發(fā)生。從而挖 掘出某個IP、業(yè)務(wù)或用戶的異常，進(jìn)行預(yù)警或處置。
[0032] 進(jìn)一步，本發(fā)明的有益效果可總結(jié)為：
[0033]1、基于大數(shù)據(jù)對海量數(shù)據(jù)進(jìn)行處理統(tǒng)計。
[0034] 2、通過算法確定網(wǎng)絡(luò)異常事件進(jìn)行預(yù)警，減少對專家依賴。
[0035] 3、基于歷史小時數(shù)據(jù)算出得σ方差，作為基礎(chǔ)判斷異常數(shù)據(jù)，保證數(shù)據(jù)的動態(tài)和 有效性。
[0036] 4、可W小時為單位（每小時）對網(wǎng)絡(luò)異常SP、用戶或業(yè)務(wù)進(jìn)行預(yù)警。
【附圖說明】
[0037] 為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面結(jié)合附圖和具體實施例對 本發(fā)明進(jìn)行詳細(xì)描述，其中：
[003引圖1所示為根據(jù)本發(fā)明的信令采集系統(tǒng)的示意圖；
[0039] 圖2所示為根據(jù)本發(fā)明第一實施例的一種基于正態(tài)分布的互聯(lián)網(wǎng)大數(shù)據(jù)挖掘方 法的流程圖；
[0040]圖3所示為根據(jù)本發(fā)明第一實施例的示例性的歸一化短話單比例直方圖；
[0041] 圖4所示為根據(jù)本發(fā)明第一實施例的示例性的正態(tài)分布示意圖；
[0042] 圖5所示為根據(jù)本發(fā)明第Ξ實施例的一種基于正態(tài)分布的互聯(lián)網(wǎng)大數(shù)據(jù)挖掘系 統(tǒng)的模塊框圖；
【具體實施方式】
[0043] 根據(jù)本發(fā)明的第一實施例，為基于正態(tài)分布的互聯(lián)網(wǎng)大數(shù)據(jù)挖掘方法，如圖2所 示，包括步驟：
[0044] 步驟S1，采集信令W獲取用戶XDR。具體地，可通過信令采集系統(tǒng)，例如運營商統(tǒng) 一DPI系統(tǒng)和上網(wǎng)日志系統(tǒng)，來獲取用戶XDR。
[0045]圖1所示為根據(jù)本發(fā)明的信令采集系統(tǒng)的示意圖。隨著運營商IP化的發(fā)展，W及 信令系統(tǒng)采集的全面部署，現(xiàn)有技術(shù)已經(jīng)可W采集來自多個網(wǎng)絡(luò)接口的信令數(shù)據(jù)，包括用 戶面和控制面，進(jìn)一步獲得用戶XDR(其在本領(lǐng)域可稱為話單數(shù)據(jù)，在計算機其他領(lǐng)域還是 外部數(shù)據(jù)表示等的縮略）。通過信令數(shù)據(jù)可W或得到用戶和業(yè)務(wù)的相關(guān)指標(biāo)，例如某業(yè)務(wù)的 HTTP建立成功率，流量等。
[0046] 步驟S2,基于大數(shù)據(jù)，通過用戶XDR，計算出某一SPIP的某一時段的當(dāng)前業(yè)務(wù)指 標(biāo)數(shù)據(jù)，并截取同時段的對應(yīng)所述SPIP的歷史業(yè)務(wù)指標(biāo)數(shù)據(jù)，所述業(yè)務(wù)指標(biāo)數(shù)據(jù)可包括所 述SPIP的給定業(yè)務(wù)的HTTP建立成功率和/或流量。
[0047] 其中，所述時段的時長，優(yōu)選為1小時，所述歷史業(yè)務(wù)指標(biāo)數(shù)據(jù)包括同時段的對應(yīng) 的多天內(nèi)的業(yè)務(wù)指標(biāo)數(shù)據(jù)，例如兩周，W下W兩周共14天，每天W1小時為單位共24個時 段為例，進(jìn)行描述。
[0048] 步驟S3,將所述SPIP的同時段的當(dāng)前業(yè)務(wù)指標(biāo)數(shù)據(jù)與歷史業(yè)務(wù)指標(biāo)數(shù)據(jù)進(jìn)行組 合得到一數(shù)據(jù)組，W按時段數(shù)對業(yè)務(wù)指標(biāo)數(shù)據(jù)進(jìn)行分組統(tǒng)計，并逐一對每一數(shù)據(jù)組的業(yè)務(wù) 指標(biāo)數(shù)據(jù)進(jìn)行歸一化為方差為1，均值為0的規(guī)整化數(shù)據(jù)。
[0049] 其中，按照
進(jìn)行規(guī)整，其中D皿1、巧、σ胃分別表示所 述SPIP的第i天的同時段的數(shù)據(jù)組的值，該值包括該同時段的HTTP建立成功率、數(shù)據(jù)組 均值、數(shù)據(jù)組標(biāo)準(zhǔn)差。