專利名稱：一種性能數(shù)據(jù)的填補(bǔ)方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)管理領(lǐng)域，尤其涉及一種性能數(shù)據(jù)的填補(bǔ)方法及其裝置。
背景技術(shù)
在網(wǎng)管系統(tǒng)中，網(wǎng)元原始數(shù)據(jù)在采集過程中的缺失是普遍存在的問題，從而會(huì) 增加面向應(yīng)用的統(tǒng)計(jì)、分析任務(wù)的復(fù)雜性，造成統(tǒng)計(jì)結(jié)果的偏倚，降低數(shù)據(jù)統(tǒng)計(jì)、分析 的準(zhǔn)確性。在網(wǎng)絡(luò)管理系統(tǒng)的性能管理中，從網(wǎng)元或EMS或OMC采集來的原始性能數(shù) 據(jù)是很多用戶應(yīng)用管理功能實(shí)現(xiàn)的基礎(chǔ)。而因?yàn)榫W(wǎng)絡(luò)傳輸、甚至是所采集OMC或網(wǎng)元數(shù) 據(jù)源本身的原因，所采集的性能數(shù)據(jù)往往會(huì)遺漏和缺失，尤其是在性能數(shù)據(jù)完整性存在 差異的情況下，運(yùn)用常規(guī)統(tǒng)計(jì)方法對不完整數(shù)據(jù)集所做出的統(tǒng)計(jì)分析結(jié)果，是不能代替 對完整數(shù)據(jù)集統(tǒng)計(jì)時(shí)所做出的結(jié)果的。性能數(shù)據(jù)的不準(zhǔn)確會(huì)導(dǎo)致數(shù)據(jù)分析、統(tǒng)計(jì)結(jié)果的 不準(zhǔn)確，給網(wǎng)管性能數(shù)據(jù)有關(guān)的一系列統(tǒng)計(jì)工作帶來很大的問題，為了保證網(wǎng)管性能數(shù) 據(jù)采集的完整性和準(zhǔn)確性，為相關(guān)分析工作提供精準(zhǔn)的數(shù)據(jù)基礎(chǔ)，需要對缺失的網(wǎng)管性 能數(shù)據(jù)進(jìn)行填補(bǔ)。
目前處理網(wǎng)管系統(tǒng)中填補(bǔ)缺失性能數(shù)據(jù)的方法一般是采用數(shù)據(jù)補(bǔ)報(bào)和手工填補(bǔ) 的方法，這兩種方法缺陷都比較大。數(shù)據(jù)補(bǔ)報(bào)是將數(shù)據(jù)重新采集一次，且由于采用同樣 的數(shù)據(jù)采集機(jī)制，因此還會(huì)產(chǎn)生不可避免的數(shù)據(jù)缺失，在時(shí)效性和準(zhǔn)確性上不能達(dá)到較 好的效果，效率也很低。特別是當(dāng)數(shù)據(jù)由于某種原因難以再現(xiàn)時(shí)，補(bǔ)采數(shù)據(jù)已經(jīng)無法進(jìn) 行。手工填補(bǔ)數(shù)據(jù)需要花費(fèi)大量的人力、大量的時(shí)間進(jìn)行數(shù)據(jù)核查和數(shù)據(jù)填補(bǔ)，不僅效 率低下，而且會(huì)由于人為失誤而造成偏差。
因此當(dāng)前需要提供一種對性能數(shù)據(jù)進(jìn)行填補(bǔ)的技術(shù)方案，解決當(dāng)前性能數(shù)據(jù)需 要及時(shí)準(zhǔn)確填補(bǔ)的需求，克服過去無法填補(bǔ)或者填補(bǔ)方法存在準(zhǔn)確性差、效率低下的問 題。發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種性能數(shù)據(jù)的填補(bǔ)方法，解決當(dāng)前無法填 補(bǔ)數(shù)據(jù)的困境以及過去的性能數(shù)據(jù)填補(bǔ)方法中存在準(zhǔn)確性差、效率低下的問題。本發(fā)明 還提供了一種性能數(shù)據(jù)的填補(bǔ)裝置，以保證上述方法在實(shí)際中的應(yīng)用。
為了解決上述問題，本發(fā)明提供了一種性能數(shù)據(jù)的填補(bǔ)方法，包括獲取歷史 性能數(shù)據(jù)記錄序列；依據(jù)所述歷史性能數(shù)據(jù)記錄序列探測具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)之 間的內(nèi)部關(guān)聯(lián)性；所述具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)，具體是指屬于同一記錄的不同字 段的數(shù)據(jù)項(xiàng)，或者屬于不同記錄的相同字段的數(shù)據(jù)項(xiàng)；具有內(nèi)部關(guān)聯(lián)性的數(shù)據(jù)項(xiàng)互相稱 為對方的關(guān)聯(lián)數(shù)據(jù)項(xiàng)；為具有內(nèi)部關(guān)聯(lián)性的所述關(guān)聯(lián)數(shù)據(jù)項(xiàng)建立相互之間擬合的回歸模 型；若性能數(shù)據(jù)記錄中有數(shù)據(jù)項(xiàng)缺失，則根據(jù)已知的關(guān)聯(lián)數(shù)據(jù)項(xiàng)的值，使用對應(yīng)的回歸 模型，計(jì)算缺失數(shù)據(jù)項(xiàng)的估計(jì)值，將所述估計(jì)值填補(bǔ)到缺失的性能數(shù)據(jù)記錄中。
依據(jù)本發(fā)明另一優(yōu)選實(shí)施例，還提供了一種性能數(shù)據(jù)的填補(bǔ)裝置，包括歷史數(shù)據(jù)獲取單元，用于獲取歷史性能數(shù)據(jù)記錄序列；回歸模型建立單元，用于依據(jù)所述歷 史數(shù)據(jù)獲取單元獲取的歷史性能數(shù)據(jù)記錄序列，探測具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)之間的 內(nèi)部關(guān)聯(lián)性，為具有內(nèi)部關(guān)聯(lián)性的關(guān)聯(lián)數(shù)據(jù)項(xiàng)建立相互之間擬合的回歸模型；所述具有 特定關(guān)系的不同數(shù)據(jù)項(xiàng)，具體是指屬于同一記錄的不同字段的數(shù)據(jù)項(xiàng)，或者屬于不同 記錄的相同字段的數(shù)據(jù)項(xiàng)；具有內(nèi)部關(guān)聯(lián)性的數(shù)據(jù)項(xiàng)互相稱為對方的關(guān)聯(lián)數(shù)據(jù)項(xiàng)；數(shù)據(jù) 填補(bǔ)單元，用于根據(jù)數(shù)據(jù)項(xiàng)缺失的情況和已知的缺失數(shù)據(jù)項(xiàng)的關(guān)聯(lián)數(shù)據(jù)項(xiàng)的值，使用回 歸模型建立單元建立的相關(guān)回歸模型，計(jì)算該缺失數(shù)據(jù)項(xiàng)的估計(jì)值，將所述估計(jì)值填補(bǔ) 到缺失的性能數(shù)據(jù)記錄中。
與現(xiàn)有技術(shù)相比，本發(fā)明優(yōu)選實(shí)施例解決了當(dāng)前無法填補(bǔ)數(shù)據(jù)的困境以及過去 的數(shù)據(jù)填補(bǔ)方法存在準(zhǔn)確性差、效率低下的問題。本發(fā)明采用對歷史上某段時(shí)間的性能 數(shù)據(jù)進(jìn)行探測分析，探測具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)之間的內(nèi)部關(guān)聯(lián)性，并為具有內(nèi)部 關(guān)聯(lián)性的所述關(guān)聯(lián)數(shù)據(jù)項(xiàng)建立相互之間擬合的回歸模型，為同一記錄的不同字段數(shù)據(jù)項(xiàng) 之間建立擬合的字段關(guān)聯(lián)回歸模型，為不同記錄的相同字段數(shù)據(jù)項(xiàng)之間建立擬合的自回 歸模型；若性能數(shù)據(jù)記錄中有數(shù)據(jù)項(xiàng)缺失，則根據(jù)已知的關(guān)聯(lián)數(shù)據(jù)項(xiàng)的值，使用對應(yīng)的 回歸模型，計(jì)算缺失數(shù)據(jù)項(xiàng)的估計(jì)值，將所述估計(jì)值填補(bǔ)到性能數(shù)據(jù)記錄中。本發(fā)明 首次將基于數(shù)理統(tǒng)計(jì)和數(shù)據(jù)挖掘技術(shù)的建模方法應(yīng)用于網(wǎng)管系統(tǒng)中的性能數(shù)據(jù)填補(bǔ)，因 此本發(fā)明實(shí)現(xiàn)了填補(bǔ)方法的科學(xué)化、智能化和自動(dòng)化，不僅有效保證了數(shù)據(jù)填補(bǔ)的準(zhǔn)確 率，而且大大提高了批量缺失數(shù)據(jù)的填補(bǔ)效率。


圖1是本發(fā)明性能數(shù)據(jù)的填補(bǔ)方法實(shí)施例一的流程圖2-a至圖2-c是1700 1979年平均太陽黑子數(shù)自相關(guān)函數(shù)圖3至圖5是本發(fā)明性能數(shù)據(jù)的填補(bǔ)方法實(shí)例三中對歷史數(shù)據(jù)序列進(jìn)行周期性探 測采用的自相關(guān)函數(shù)示意圖6是本發(fā)明性能數(shù)據(jù)的填補(bǔ)方法實(shí)例三中ARMA模型對應(yīng)的AIC值的示意 圖7是本發(fā)明性能數(shù)據(jù)填補(bǔ)裝置一實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面結(jié)合附圖和具體實(shí)施方式
對本發(fā)明作進(jìn)一步說明。
在網(wǎng)管系統(tǒng)中，采集上來的性能數(shù)據(jù)包括多條數(shù)據(jù)記錄，每一條數(shù)據(jù)記錄由多 個(gè)性能指標(biāo)字段組成，網(wǎng)管系統(tǒng)逐條將這些若干條數(shù)據(jù)記錄存儲(chǔ)到數(shù)據(jù)庫的二維數(shù)據(jù)表 中，每一行存儲(chǔ)一條數(shù)據(jù)記錄。因此性能數(shù)據(jù)的遺漏主要表現(xiàn)為兩種情況一種情況是 表中一行性能數(shù)據(jù)中某個(gè)或某些指標(biāo)字段的遺漏，在本文中稱為數(shù)據(jù)字段缺失；另一種 情況是數(shù)據(jù)庫表中的整行性能數(shù)據(jù)即一條數(shù)據(jù)記錄的遺漏，在本文中稱為整條數(shù)據(jù)記錄 缺失。只要數(shù)據(jù)庫表中的一行性能數(shù)據(jù)中還存在一個(gè)已知的性能指標(biāo)值，就屬于性能數(shù) 據(jù)字段缺失的情況。
本發(fā)明把這些性能數(shù)據(jù)看作是一些隨機(jī)變量，一般都有內(nèi)在的規(guī)律可循，不同 行業(yè)、不同用途的數(shù)據(jù)會(huì)表現(xiàn)出不同的內(nèi)在規(guī)律。本發(fā)明通過應(yīng)用數(shù)理統(tǒng)計(jì)和回歸分析理論，探測分析已知性能數(shù)據(jù)內(nèi)部之間的關(guān)聯(lián)性和性能數(shù)據(jù)的變化趨勢，進(jìn)而提出了缺 失性能數(shù)據(jù)情況下的新的填補(bǔ)方法。
在性能數(shù)據(jù)缺失的情況下，為了及時(shí)進(jìn)行缺失值的填補(bǔ)，本發(fā)明提出的性能數(shù) 據(jù)填補(bǔ)方法為
取歷史性能數(shù)據(jù)記錄序列；
依據(jù)上述歷史性能數(shù)據(jù)記錄序列探測具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)之間的內(nèi)部關(guān) 聯(lián)性；所述具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)具體是指屬于同一記錄的不同字段的數(shù)據(jù)項(xiàng)， 或者屬于不同記錄的相同字段的數(shù)據(jù)項(xiàng)；具有內(nèi)部關(guān)聯(lián)性的數(shù)據(jù)項(xiàng)互相稱為對方的關(guān)聯(lián) 數(shù)據(jù)項(xiàng)。
為具有內(nèi)部關(guān)聯(lián)性的所述關(guān)聯(lián)數(shù)據(jù)項(xiàng)建立相互之間擬合的回歸模型；可以建立 兩種回歸模型，一種是根據(jù)同一條數(shù)據(jù)記錄的不同字段之間的內(nèi)部關(guān)聯(lián)性，建立擬合的 字段關(guān)聯(lián)回歸模型；一種是根據(jù)不同數(shù)據(jù)記錄的同一字段之間的變化趨勢，建立擬合的 自回歸模型。
若性能數(shù)據(jù)記錄中有數(shù)據(jù)項(xiàng)缺失，則根據(jù)已知的該缺失數(shù)據(jù)項(xiàng)的關(guān)聯(lián)數(shù)據(jù)項(xiàng)的 值，使用對應(yīng)的回歸模型，計(jì)算該缺失數(shù)據(jù)項(xiàng)的估計(jì)值，將所述估計(jì)值填補(bǔ)到缺失的性 能數(shù)據(jù)記錄中。
利用上述建立的兩種模型，都可以進(jìn)行缺失數(shù)據(jù)項(xiàng)的估計(jì)。
為了高效地填補(bǔ)數(shù)據(jù)，需要首先了解性能數(shù)據(jù)記錄中缺失的數(shù)據(jù)項(xiàng)字段的位 置。在整個(gè)時(shí)間序列中所缺失的數(shù)據(jù)記錄序號(hào)，缺失的字段名稱，缺失字段數(shù)據(jù)項(xiàng)是否 與其它字段數(shù)據(jù)項(xiàng)相關(guān)聯(lián)。如果在同一數(shù)據(jù)記錄中存在與一個(gè)字段相關(guān)聯(lián)的另一字段即 為關(guān)聯(lián)數(shù)據(jù)項(xiàng)，則按照所述的字段關(guān)聯(lián)回歸模型，根據(jù)已知的字段值計(jì)算在缺失性能數(shù) 據(jù)記錄序號(hào)的缺失字段的估計(jì)值，將所述估計(jì)值作為該缺失數(shù)據(jù)字段的填補(bǔ)值。一般利 用字段之間的關(guān)聯(lián)關(guān)系估計(jì)缺失的字段值是簡潔而高效的。如果在同一數(shù)據(jù)記錄中不存 在關(guān)聯(lián)數(shù)據(jù)項(xiàng)，則可根據(jù)歷史時(shí)間序列上的性能數(shù)據(jù)記錄尋找關(guān)聯(lián)數(shù)據(jù)項(xiàng)，建立歷史時(shí) 間序列的自回歸模型，在建立的自回歸模型中觀察缺失性能數(shù)據(jù)記錄序號(hào)的缺失字段數(shù) 據(jù)項(xiàng)，按照所述的自回歸模型，根據(jù)已知的關(guān)聯(lián)字段值計(jì)算在缺失性能數(shù)據(jù)序號(hào)的缺失 字段的估計(jì)值，將所述估計(jì)值作為該缺失數(shù)據(jù)字段的填補(bǔ)值。
在本發(fā)明的優(yōu)選實(shí)施例中，優(yōu)先采用字段關(guān)聯(lián)回歸模型填補(bǔ)缺失字段的值；當(dāng) 缺失字段與已知字段不存在關(guān)聯(lián)關(guān)系或整條記錄缺失時(shí)，再采用自回歸模型填補(bǔ)缺失字 段的值。
所述根據(jù)歷史樣本數(shù)據(jù)建立擬合模型的方法多種多樣，這在現(xiàn)有技術(shù)中有很多 實(shí)例可以支持。本發(fā)明則首次將基于數(shù)理統(tǒng)計(jì)和數(shù)據(jù)挖掘技術(shù)的建模方法應(yīng)用于網(wǎng)管系 統(tǒng)中的性能數(shù)據(jù)填補(bǔ)，大大提高了填補(bǔ)的準(zhǔn)確性和效率。
為了有效地解決缺失數(shù)據(jù)字段的填補(bǔ)，先探測性能指標(biāo)字段值之間的內(nèi)在關(guān)聯(lián) 性，當(dāng)性能指標(biāo)字段之間相關(guān)性有較高強(qiáng)度時(shí)，用回歸方法可得到對性能指標(biāo)的字段回 歸函數(shù)模型。因此，在某時(shí)間點(diǎn)上的性能數(shù)據(jù)記錄中性能指標(biāo)字段缺失的情況下，通過 對在該時(shí)間點(diǎn)近期的某段時(shí)間的若干條性能數(shù)據(jù)記錄進(jìn)行相關(guān)性分析，可得到相應(yīng)的字 段回歸函數(shù)模型，根據(jù)該時(shí)間點(diǎn)上的性能數(shù)據(jù)記錄中的已知性能指標(biāo)字段值，代入所述 字段回歸模型，計(jì)算獲得缺失的性能指標(biāo)字段值，填補(bǔ)寫入性能數(shù)據(jù)庫表中。對于較為簡單的字段回歸函數(shù)模型，例如一元線性函數(shù)，應(yīng)用此方法計(jì)算可以實(shí)現(xiàn)快捷高效的填 補(bǔ)。
上述字段關(guān)聯(lián)分析方法可以參照數(shù)據(jù)挖掘分析方法，根據(jù)數(shù)據(jù)的特征來確定， 不同行業(yè)的數(shù)據(jù)有著不同的特點(diǎn)，可以用相關(guān)系數(shù)、支持度等參數(shù)來檢驗(yàn)相關(guān)強(qiáng)度或者 確定關(guān)聯(lián)規(guī)則，通過大量數(shù)據(jù)的模擬計(jì)算，從而找出適合的回歸函數(shù)模型，這種體現(xiàn)字 段之間的關(guān)聯(lián)性的模型就稱為字段回歸函數(shù)模型。以下實(shí)施例二中將具體介紹一種探測 字段關(guān)聯(lián)性并建立模型的方法，可找到一種字段回歸函數(shù)模型。
所述性能數(shù)據(jù)庫表中若存在某時(shí)間點(diǎn)上的整條性能數(shù)據(jù)記錄缺失的情況，本發(fā) 明根據(jù)在該時(shí)間點(diǎn)較近期的歷史時(shí)間序列上的若干條性能數(shù)據(jù)記錄，運(yùn)用基于時(shí)間序列 的建模和預(yù)測方法，找出性能數(shù)據(jù)記錄的變化趨勢和適應(yīng)時(shí)間序列的自回歸模型，運(yùn)用 自回歸模型對其中關(guān)鍵性能數(shù)據(jù)字段進(jìn)行預(yù)測，可得到該字段數(shù)據(jù)項(xiàng)的預(yù)測值，填補(bǔ)寫 入性能數(shù)據(jù)庫表中。
以下實(shí)施例三中將具體介紹一種探測時(shí)間序列性能數(shù)據(jù)自回歸并建立模型的方 法，可找到一種自回歸模型。
根據(jù)上述字段回歸模型和/或時(shí)間序列自回歸模型，可對所有性能數(shù)據(jù)字段進(jìn) 行預(yù)測并得到所有字段的預(yù)測值。特別是，當(dāng)字段之間關(guān)系比較獨(dú)立，沒有相應(yīng)擬合的 字段回歸模型，則需要應(yīng)用此方法逐一填補(bǔ)缺失的獨(dú)立字段。
如果同一條數(shù)據(jù)記錄的各字段之間具有相關(guān)性，為了提高預(yù)測效率，根據(jù)上述 的相關(guān)性分析，能夠找到對應(yīng)擬合的回歸模型，則可根據(jù)預(yù)測出來的關(guān)鍵性能數(shù)據(jù)字段 值和其他性能數(shù)據(jù)字段值間的字段回歸函數(shù)模型，進(jìn)行其他字段缺失值的填補(bǔ)。
為了更好地應(yīng)用本方法，本發(fā)明又引入了數(shù)據(jù)缺失情況的探測方法，包括探測 數(shù)據(jù)字段缺失和探測整條數(shù)據(jù)記錄缺失。然后根據(jù)數(shù)據(jù)缺失的情況，靈活地運(yùn)用性能數(shù) 據(jù)的填補(bǔ)方法。
判斷數(shù)據(jù)缺失的探測方法是，逐一讀取每條數(shù)據(jù)記錄的每個(gè)字段，判別字段內(nèi) 容是否為空(NULL)，如果為空，則判斷該字段缺失，記錄該缺失字段的名稱和所在的 數(shù)據(jù)記錄序號(hào)。如果整條數(shù)據(jù)記錄的所有字段都缺失，則判斷該條數(shù)據(jù)記錄缺失，并記 錄缺失的數(shù)據(jù)記錄序號(hào)。
當(dāng)判斷為字段缺失，且有相應(yīng)擬合的字段回歸函數(shù)模型時(shí)，就可以按照字段回 歸模型填補(bǔ)缺失的字段。當(dāng)判斷為整條記錄缺失，有相應(yīng)擬合的自回歸模型，則按照自 回歸模型填補(bǔ)缺失的字段。循環(huán)所述過程，可填補(bǔ)所有缺失字段。
如圖1所示，本發(fā)明給出網(wǎng)管系統(tǒng)性能數(shù)據(jù)的填補(bǔ)方法實(shí)施例一，包括以下步 驟
步驟110、獲取歷史性能數(shù)據(jù)記錄序列；
例如取在缺失性能數(shù)據(jù)的時(shí)間點(diǎn)較近期的某段時(shí)間(如之前的一個(gè)月，或之前 兩個(gè)月)的歷史性能數(shù)據(jù)記錄序列。
現(xiàn)有網(wǎng)管系統(tǒng)中都有數(shù)據(jù)采集系統(tǒng)，完成采集某段時(shí)間的性能數(shù)據(jù)序列，按行 將每一條性能數(shù)據(jù)記錄存入性能數(shù)據(jù)庫的二維數(shù)據(jù)表中，每一行存儲(chǔ)一條數(shù)據(jù)記錄，每 一條數(shù)據(jù)記錄由多個(gè)性能指標(biāo)字段組成。表中每一列則對應(yīng)一個(gè)性能指標(biāo)字段。
本步驟從性能數(shù)據(jù)庫表讀取性能數(shù)據(jù)記錄和每一個(gè)字段數(shù)據(jù)。
步驟120、依據(jù)上述歷史性能數(shù)據(jù)記錄序列，探測同一數(shù)據(jù)記錄不同字段數(shù)據(jù)項(xiàng) 之間的內(nèi)部關(guān)聯(lián)性，建立擬合的字段關(guān)聯(lián)回歸模型，并將相互關(guān)聯(lián)的字段名稱和模型的 參數(shù)數(shù)據(jù)保存；
步驟130:依據(jù)上述歷史性能數(shù)據(jù)記錄序列，探測不同數(shù)據(jù)記錄的相同字段之 間性能數(shù)據(jù)的變化趨勢，建立擬合的自回歸模型，并將該字段名稱和模型的參數(shù)數(shù)據(jù)保 存；
步驟140 在性能數(shù)據(jù)記錄序列中查找缺失的數(shù)據(jù)字段并確定所在位置；
確定缺失的數(shù)據(jù)字段所在的數(shù)據(jù)記錄的序號(hào)，缺失字段的名稱。
步驟150:判斷缺失字段是否為部分字段缺失，并且是否與已知字段存在關(guān)聯(lián) 性？若是，則轉(zhuǎn)步驟160 ；否則，轉(zhuǎn)步驟170 ；
如果缺失字段與已知字段能夠建立字段關(guān)聯(lián)回歸模型，可以判斷缺失字段與已 知字段存在關(guān)聯(lián)。
步驟160:根據(jù)字段關(guān)聯(lián)回歸模型，用已知的關(guān)聯(lián)字段值計(jì)算缺失字段的預(yù)測 值，填補(bǔ)到缺失數(shù)據(jù)記錄的缺失字段中；
讀出缺失性能數(shù)據(jù)字段與已知性能數(shù)據(jù)字段的字段關(guān)聯(lián)回歸模型的模型參數(shù)數(shù) 據(jù)，根據(jù)缺失數(shù)據(jù)記錄的序號(hào)得知已知的字段數(shù)據(jù)項(xiàng)值，代入字段關(guān)聯(lián)回歸模型，計(jì)算 該缺失數(shù)據(jù)記錄中的缺失字段的估計(jì)值，將所述估計(jì)值作為該缺失數(shù)據(jù)字段的填補(bǔ)值。
步驟170:根據(jù)自回歸模型，用歷史數(shù)據(jù)序列中的某個(gè)數(shù)據(jù)記錄的已知字段值 計(jì)算缺失數(shù)據(jù)記錄的缺失字段的估計(jì)值，填補(bǔ)到缺失數(shù)據(jù)記錄中；
所述已知數(shù)據(jù)記錄和缺失數(shù)據(jù)記錄，具有同樣的數(shù)據(jù)結(jié)構(gòu)，即有同樣的數(shù)據(jù)字 段個(gè)數(shù)和同樣的字段名稱，在數(shù)據(jù)記錄的序列中，不同記錄的同一個(gè)字段就是相關(guān)聯(lián)的 字段。
讀出缺失數(shù)據(jù)字段的自回歸模型的參數(shù)數(shù)據(jù)，以及某個(gè)歷史數(shù)據(jù)記錄的該字段 值，代入自回歸模型，計(jì)算該缺失數(shù)據(jù)記錄中的缺失字段的估計(jì)值，將所述估計(jì)值作為 該缺失數(shù)據(jù)字段的填補(bǔ)值。
步驟180:是否還有未填補(bǔ)過的缺失數(shù)據(jù)字段？若有，則轉(zhuǎn)步驟150;否則，結(jié) 束數(shù)據(jù)填補(bǔ)流程。
其中，步驟120中，依據(jù)歷史性能數(shù)據(jù)記錄序列，探測不同字段之間性能數(shù)據(jù) 的內(nèi)部關(guān)聯(lián)性，建立擬合的字段關(guān)聯(lián)回歸模型的方法具體為
首先，取過去某段時(shí)間的數(shù)據(jù)，即從所述性能數(shù)據(jù)庫表中取連續(xù)若干條數(shù)據(jù)記 錄進(jìn)行缺失字段與已知字段的相關(guān)性分析，并創(chuàng)建對應(yīng)的字段間的回歸模型，并將創(chuàng)建 的字段回歸模型及其參數(shù)存入數(shù)據(jù)庫表中。
比如根據(jù)缺失數(shù)據(jù)時(shí)間點(diǎn)附近一個(gè)月以小時(shí)為粒度的網(wǎng)管性能數(shù)據(jù)進(jìn)行相關(guān) 性分析。與某網(wǎng)元相關(guān)的性能指標(biāo)數(shù)據(jù)中，在業(yè)務(wù)上往往存在一定的關(guān)聯(lián)。比如交換 機(jī)數(shù)據(jù)記錄中的三個(gè)性能指標(biāo)字段交換機(jī)試呼次數(shù)(Call_att)、交換機(jī)接通次數(shù)(call_ setup)、系統(tǒng)試呼次數(shù)(sys_call_att)。
交換機(jī)試呼次數(shù)統(tǒng)計(jì)時(shí)間段內(nèi)交換機(jī)發(fā)出“call proceeding”消息和收到 “IAM或IAI”消息的總次數(shù)。
系統(tǒng)試呼次數(shù)統(tǒng)計(jì)時(shí)間段內(nèi)“CM service request”和入局的“IAM、IAI”消息次數(shù)。
交換機(jī)接通次數(shù)統(tǒng)計(jì)時(shí)間段內(nèi)交換機(jī)收到“call confirmed”消息和“ACM”消息的總次數(shù)。
從上述3個(gè)性能指標(biāo)數(shù)據(jù)的含義來看，交換機(jī)接通次數(shù)與交換機(jī)試呼次數(shù)有很 強(qiáng)的關(guān)聯(lián)，而系統(tǒng)試呼次數(shù)應(yīng)該比交換機(jī)試呼的次數(shù)多，但差別不大。
以上分析只是一個(gè)定性分析。本發(fā)明將相關(guān)性分析方法和技術(shù)引入到性能數(shù)據(jù) 字段間的分析，即引入相關(guān)系數(shù)。相關(guān)系數(shù)是兩個(gè)變量之間相關(guān)程度的指標(biāo)。相關(guān)系數(shù) 的取值范圍為hi，1]。相關(guān)系數(shù)的絕對值越大，誤差Q越小，變量之間的線性相關(guān)程度 越高；相關(guān)系數(shù)的絕對值越接近0，Q越大，變量之間的線性相關(guān)程度越低。相關(guān)系數(shù) P XY定義如下
權(quán)利要求
1.一種性能數(shù)據(jù)的填補(bǔ)方法，其特征在于，包括獲取歷史性能數(shù)據(jù)記錄序列；依據(jù)所述歷史性能數(shù)據(jù)記錄序列探測具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)之間的內(nèi)部關(guān)聯(lián) 性；所述具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)，具體是指屬于同一記錄的不同字段的數(shù)據(jù)項(xiàng)， 或者屬于不同記錄的相同字段的數(shù)據(jù)項(xiàng)；具有內(nèi)部關(guān)聯(lián)性的數(shù)據(jù)項(xiàng)互相稱為對方的關(guān)聯(lián) 數(shù)據(jù)項(xiàng)；為具有內(nèi)部關(guān)聯(lián)性的所述關(guān)聯(lián)數(shù)據(jù)項(xiàng)建立相互之間擬合的回歸模型；若性能數(shù)據(jù)記錄中有數(shù)據(jù)項(xiàng)缺失，則根據(jù)已知的關(guān)聯(lián)數(shù)據(jù)項(xiàng)的值，使用對應(yīng)的回歸 模型，計(jì)算缺失數(shù)據(jù)項(xiàng)的估計(jì)值，將所述估計(jì)值填補(bǔ)到缺失的性能數(shù)據(jù)記錄中。
2.如權(quán)利要求1所述的方法，其特征在于，當(dāng)所述具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)是指同 一記錄的不同字段數(shù)據(jù)項(xiàng)時(shí)，依據(jù)所述歷史性能數(shù)據(jù)記錄序列探測具有特定關(guān)系的不同 數(shù)據(jù)項(xiàng)之間的內(nèi)部關(guān)聯(lián)性的方法具體為依據(jù)所述歷史性能數(shù)據(jù)記錄序列的多個(gè)記錄值，對每一個(gè)記錄內(nèi)的字段X和另一個(gè) 字段Y的數(shù)據(jù)值進(jìn)行相互之間的相關(guān)性分析，計(jì)算相關(guān)系數(shù)Pxy，如果相關(guān)系數(shù)Pxy的 絕對值在0.8 1之間，則判定所述字段X和字段Y之間具有相關(guān)性，建立字段關(guān)聯(lián)回歸 模型；所述字段X和字段Y之間的相關(guān)系數(shù)P χγ的計(jì)算公式如下 =C ο V ( X , Y )
3.如權(quán)利要求2所述的方法，其特征在于，所述建立字段關(guān)聯(lián)回歸模型具體是采用-元線性回歸擬合函數(shù)，具體是
4.如權(quán)利要求1所述的方法，其特征在于，當(dāng)所述具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)是指不 同記錄的相同字段數(shù)據(jù)項(xiàng)時(shí)，建立相互之間擬合的回歸模型的方法是依據(jù)所述歷史性 能數(shù)據(jù)記錄序列探測同一字段數(shù)據(jù)項(xiàng)在不同的數(shù)據(jù)記錄之間的變化趨勢，建立擬合的自 回歸模型。
5.如權(quán)利要求4所述的方法，其特征在于，依據(jù)所述歷史性能數(shù)據(jù)記錄序列探測同一 字段數(shù)據(jù)項(xiàng)在不同的數(shù)據(jù)記錄之間的變化趨勢，建立擬合的自回歸模型的方法具體為對所述歷史性能數(shù)據(jù)序列中的性能數(shù)據(jù)記錄的變化趨勢進(jìn)行探測分析，根據(jù)探測分 析結(jié)果，如果變化趨勢呈現(xiàn)平穩(wěn)的線性特征，則建立所述性能數(shù)據(jù)序列的ARMA模型； 如果變化趨勢呈現(xiàn)非平穩(wěn)特征但存在單調(diào)上升或下降的非平穩(wěn)性，并且差分后可以實(shí)現(xiàn) 平穩(wěn)化，則建立ARIMA模型；如果呈現(xiàn)明顯的周期性特征，則建立SARIMA模型；如 果變化趨勢呈現(xiàn)很強(qiáng)的非線性非平穩(wěn)特征，則建立神經(jīng)網(wǎng)絡(luò)模型或支持向量機(jī)模型。
6.如權(quán)利要求5所述的方法，其特征在于，所述建立ARMA模型的過程具體為利用階數(shù)判優(yōu)準(zhǔn)則確定ARMA模型的階數(shù)，進(jìn)行定階，得到模型簇；估計(jì)和確定所述模型簇的模型參數(shù)；根據(jù)確定的模型參數(shù)，進(jìn)行適用性檢查，確定最優(yōu)的模型參數(shù)。
7.如權(quán)利要求5所述的方法，其特征在于，所述建立ARIMA模型及計(jì)算估計(jì)值的過 程具體為對呈現(xiàn)單調(diào)上升或下降特征的所述歷史性能數(shù)據(jù)序列進(jìn)行差分處理，使處理后的數(shù) 據(jù)序列平穩(wěn)化；對平穩(wěn)化后的數(shù)據(jù)序列，利用階數(shù)判優(yōu)準(zhǔn)則確定ARIMA模型中的階數(shù)，進(jìn)行定階， 得到模型簇；估計(jì)和確定所述模型簇的模型參數(shù)；根據(jù)確定的模型參數(shù)，進(jìn)行適用性檢查，確定最優(yōu)的模型參數(shù)；根據(jù)已知的關(guān)聯(lián)數(shù)據(jù)項(xiàng)的值，按照得到的最優(yōu)模型參數(shù)計(jì)算出缺失數(shù)據(jù)項(xiàng)的初預(yù)測 值，之后再對初預(yù)測值進(jìn)行反向差分處理計(jì)算，從而得到原數(shù)據(jù)序列中缺失數(shù)據(jù)項(xiàng)的估 計(jì)值。
8.如權(quán)利要求5所述的方法，其特征在于，所述建立SARIMA模型及計(jì)算估計(jì)值的 過程具體為對呈現(xiàn)周期性特征的所述歷史性能數(shù)據(jù)序列進(jìn)行季節(jié)差分處理，使處理后的數(shù)據(jù)序 列平穩(wěn)化，若所述歷史性能數(shù)據(jù)序列存在多重季節(jié)性，則進(jìn)行多次季節(jié)差分處理；對平穩(wěn)化處理后的數(shù)據(jù)序列，利用階數(shù)判優(yōu)準(zhǔn)則確定SARIMA模型中的階數(shù)，進(jìn)行 定階得到模型簇；通過極大似然法估計(jì)和確定所述模型簇的模型參數(shù)；根據(jù)確定的模型參數(shù)，并通過殘差是否是白噪聲來檢驗(yàn)?zāi)Ｐ偷倪m用性，求得最優(yōu)模 型參數(shù)，根據(jù)已知的關(guān)聯(lián)數(shù)據(jù)項(xiàng)的值，按最優(yōu)模型參數(shù)求得缺失數(shù)據(jù)項(xiàng)的初預(yù)測值，之后再 對初預(yù)測值進(jìn)行反向季節(jié)差分處理計(jì)算，得到原數(shù)據(jù)序列中缺失數(shù)據(jù)項(xiàng)的估計(jì)值。
9.如權(quán)利要求5所述的方法，其特征在于，所述建立支持向量機(jī)模型的過程具體為對所述歷史性能數(shù)據(jù)序列進(jìn)行訓(xùn)練，以殘差白噪聲為依據(jù)來選取基于所述歷史性能 數(shù)據(jù)序列的最優(yōu)支持向量機(jī)模型，包括A)對所述所述歷史性能數(shù)據(jù)序列進(jìn)行預(yù)處理，相空間重構(gòu)，獲得訓(xùn)練數(shù)據(jù)序列；B)設(shè)置支持向量機(jī)模型的自由參數(shù)值；C)根據(jù)所設(shè)置的自由參數(shù)值，按照結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則對訓(xùn)練數(shù)據(jù)序列進(jìn)行訓(xùn)練， 獲得一個(gè)回歸方程式作為建模結(jié)果；D)將訓(xùn)練數(shù)據(jù)序列的實(shí)際值與所得回歸方程式下的計(jì)算值求差，得到擬合殘差序 列，計(jì)算殘差序列的自相關(guān)函數(shù)；E)根據(jù)所述殘差序列的自相關(guān)函數(shù)計(jì)算結(jié)果，檢驗(yàn)所述殘差序列是否為白噪聲序 列，如果是，則所獲得的支持向量機(jī)訓(xùn)練模型最優(yōu)，保存并輸出該模型和對應(yīng)的自由參 數(shù)值；否則如果不是白噪聲序列，返回步驟B)，重新設(shè)置自由參數(shù)的值，按照以上過程 重新訓(xùn)練，直到獲得最優(yōu)的支持向量機(jī)模型。
10.—種性能數(shù)據(jù)的填補(bǔ)裝置，其特征在于，包括歷史數(shù)據(jù)獲取單元，用于獲取歷史性能數(shù)據(jù)記錄序列；回歸模型建立單元，用于依據(jù)所述歷史數(shù)據(jù)獲取單元獲取的歷史性能數(shù)據(jù)記錄序 列，探測具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)之間的內(nèi)部關(guān)聯(lián)性，為具有內(nèi)部關(guān)聯(lián)性的關(guān)聯(lián)數(shù)據(jù) 項(xiàng)建立相互之間擬合的回歸模型；所述具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)，具體是指屬于同 一記錄的不同字段的數(shù)據(jù)項(xiàng)，或者屬于不同記錄的相同字段的數(shù)據(jù)項(xiàng)；具有內(nèi)部關(guān)聯(lián)性 的數(shù)據(jù)項(xiàng)互相稱為對方的關(guān)聯(lián)數(shù)據(jù)項(xiàng)；數(shù)據(jù)填補(bǔ)單元，用于根據(jù)數(shù)據(jù)項(xiàng)缺失的情況和已知的缺失數(shù)據(jù)項(xiàng)的關(guān)聯(lián)數(shù)據(jù)項(xiàng)的 值，使用回歸模型建立單元建立的相關(guān)回歸模型，計(jì)算該缺失數(shù)據(jù)項(xiàng)的估計(jì)值，將所述 估計(jì)值填補(bǔ)到缺失的性能數(shù)據(jù)記錄中。
11.如權(quán)利要求10所述的裝置，其特征在于，所述回歸模型建立單元具體包括字段關(guān) 聯(lián)回歸模型建立子單元和/或自回歸模型建立子單元；其中所述字段關(guān)聯(lián)回歸模型建立子單元用于根據(jù)所述歷史數(shù)據(jù)獲取單元獲取的歷史性能 數(shù)據(jù)記錄序列，探測同一記錄不同字段數(shù)據(jù)項(xiàng)之間的相關(guān)性，建立擬合的字段關(guān)聯(lián)回歸 模型；所述自回歸模型建立子單元用于依據(jù)所述歷史數(shù)據(jù)獲取單元獲取的歷史性能數(shù)據(jù)記 錄序列，探測同一字段數(shù)據(jù)項(xiàng)在不同的數(shù)據(jù)記錄之間的變化趨勢，建立擬合的自回歸模 型。
12.如權(quán)利要求11所述的裝置，其特征在于，所述字段關(guān)聯(lián)回歸模型建立子單元具體 包括相關(guān)性分析模塊和相關(guān)性模型建立模塊，其中相關(guān)性分析模塊，用于依據(jù)所述歷史性能數(shù)據(jù)記錄序列的多個(gè)記錄值，對每一個(gè) 記錄內(nèi)的字段X和另一個(gè)字段Y的數(shù)據(jù)值進(jìn)行相互之間的相關(guān)性分析，計(jì)算相關(guān)系數(shù) P χγ,如果相關(guān)系數(shù)P XY的絕對值在0.8 1之間，則判定所述字段X和字段Y之間具 有相關(guān)性；所述字段X和Y的相關(guān)系數(shù)ρ XY的計(jì)算公式如下 =C O ν { χ , Y )
13.如權(quán)利要求11所述的裝置，其特征在于，所述自回歸模型建立子單元具體包括趨勢探測分析模塊，用于對所述歷史性能數(shù)據(jù)序列中時(shí)間序列上的性能數(shù)據(jù)項(xiàng)的變 化趨勢進(jìn)行探測分析，并輸出探測結(jié)果；模型選擇和建立模塊，根據(jù)趨勢探測分析模塊的探測結(jié)果，若變化趨勢呈現(xiàn)平穩(wěn)的 線性特征，則建立ARMA模型；若變化趨勢呈現(xiàn)非平穩(wěn)特征但存在單調(diào)上升或下降的非 平穩(wěn)性，并且差分后可以實(shí)現(xiàn)平穩(wěn)化，則建立ARIMA模型；若呈現(xiàn)明顯的周期性特征， 則建立SARIMA模型；若變化趨勢呈現(xiàn)很強(qiáng)的非線性非平穩(wěn)特征，則建立神經(jīng)網(wǎng)絡(luò)模型 或支持向量機(jī)模型。
14.如權(quán)利要求13所述的裝置，其特征在于，所述模型選擇和建立模塊中ARMA模 型建模過程具體包括模型定階模塊，利用階數(shù)判優(yōu)準(zhǔn)則確定ARMA模型的階數(shù)，進(jìn)行定階，得到模型簇；參數(shù)估計(jì)模塊，用于估計(jì)和確定模型定階模塊所確定模型簇的參數(shù)； 適用性檢測模塊，對于用檢測參數(shù)估計(jì)模塊所估計(jì)參數(shù)確定的模型，進(jìn)行適用性檢 查，確定最優(yōu)的模型參數(shù)。
15.如權(quán)利要求13所述的裝置，其特征在于，所述模型選擇和建立模塊中ARIMA模 型建模過程具體包括平穩(wěn)化預(yù)處理模塊，對呈現(xiàn)周期性特征的所述歷史性能數(shù)據(jù)序列進(jìn)行差分處理，使 處理后的數(shù)據(jù)序列平穩(wěn)化；模型定階模塊，對經(jīng)過平穩(wěn)化預(yù)處理模塊得到的平穩(wěn)化數(shù)據(jù)序列，利用階數(shù)判優(yōu)準(zhǔn) 則確定ARIMA模型的階數(shù)，進(jìn)行定階；參數(shù)估計(jì)模塊，用于估計(jì)和確定模型定階模塊所確定模型的參數(shù)； 適用性檢測模塊，對于用檢測參數(shù)估計(jì)模塊所估計(jì)參數(shù)確定的模型，進(jìn)行適用性檢 查，確定最優(yōu)的模型參數(shù)。
16.如權(quán)利要求13所述的裝置，其特征在于，所述模型選擇和建立模塊中SARIMA 模型建模過程具體包括平穩(wěn)化預(yù)處理模塊，對呈現(xiàn)周期性特征的所述歷史性能數(shù)據(jù)序列進(jìn)行季節(jié)差分處 理，使處理后的數(shù)據(jù)序列平穩(wěn)化；若所述歷史性能數(shù)據(jù)序列存在多重季節(jié)性，則進(jìn)行多 次季節(jié)差分處理；模型定階模塊，對經(jīng)過平穩(wěn)化預(yù)處理模塊得到的平穩(wěn)化數(shù)據(jù)序列，利用階數(shù)判優(yōu)準(zhǔn) 則確定SARIMA模型的階數(shù)，進(jìn)行定階；參數(shù)估計(jì)模塊，用于估計(jì)和確定模型定階模塊所確定模型的參數(shù)； 適用性檢測模塊，對于用檢測參數(shù)估計(jì)模塊所估計(jì)參數(shù)確定的模型，進(jìn)行適用性檢 查，確定最優(yōu)的模型參數(shù)。
17.如權(quán)利要求13所述的裝置，其特征在于，所述模型選擇和建立模塊中支持向量機(jī) 模型建模過程具體包括訓(xùn)練數(shù)據(jù)獲取模塊，用于對所述正常樣本數(shù)據(jù)進(jìn)行預(yù)處理，相空間重構(gòu)，得到訓(xùn)練 數(shù)據(jù)序列；參數(shù)設(shè)置模塊，用于預(yù)置或調(diào)整支持向量機(jī)模型的自由參數(shù)值； 訓(xùn)練建模模塊，用于根據(jù)參數(shù)設(shè)置模塊所設(shè)置的自由參數(shù)值，按照結(jié)構(gòu)風(fēng)險(xiǎn)最小化 原則對訓(xùn)練數(shù)據(jù)序列進(jìn)行優(yōu)化訓(xùn)練，獲得一個(gè)回歸方程式作為建模結(jié)果；殘差計(jì)算模塊，根據(jù)訓(xùn)練建模模塊得到的回歸方程式計(jì)算訓(xùn)練數(shù)據(jù)在該回歸方程式 下的計(jì)算值，與訓(xùn)練數(shù)據(jù)獲取模塊得到的樣本數(shù)據(jù)的實(shí)際值求差，得到擬合殘差序列， 計(jì)算殘差序列的自相關(guān)函數(shù)；白噪聲檢驗(yàn)及模型確定模塊，用于檢驗(yàn)殘差計(jì)算模塊所計(jì)算殘差序列是否為白噪聲 序列，如果是，則所確定的支持向量機(jī)模型最優(yōu)，輸出設(shè)置的自由參數(shù)值和最優(yōu)的支持 向量機(jī)模型；否則轉(zhuǎn)到參數(shù)設(shè)置模塊，調(diào)整支持向量機(jī)模型的自由參數(shù)值，以重新訓(xùn) 練。
18.如權(quán)利要求15或16所述的裝置，其特征在于，所述數(shù)據(jù)填補(bǔ)單元中，使用回 歸模型建立單元建立的相關(guān)回歸模型，計(jì)算該缺失數(shù)據(jù)項(xiàng)的初估計(jì)值之后，還要進(jìn)行反 向差分計(jì)算處理，回溯為原數(shù)據(jù)序列的估計(jì)值，再將所述估計(jì)值填補(bǔ)到原性能數(shù)據(jù)記錄 中。
全文摘要
本發(fā)明提供了一種性能數(shù)據(jù)的填補(bǔ)方法及其裝置，所述方法包括獲取歷史性能數(shù)據(jù)記錄序列；依據(jù)歷史性能數(shù)據(jù)記錄序列探測具有特定關(guān)系的不同數(shù)據(jù)項(xiàng)之間的內(nèi)部關(guān)聯(lián)性；為具有內(nèi)部關(guān)聯(lián)性的所述關(guān)聯(lián)數(shù)據(jù)項(xiàng)建立相互之間擬合的回歸模型；若性能數(shù)據(jù)記錄中有數(shù)據(jù)項(xiàng)缺失，則根據(jù)已知的關(guān)聯(lián)數(shù)據(jù)項(xiàng)的值，使用對應(yīng)的回歸模型，計(jì)算缺失數(shù)據(jù)項(xiàng)的估計(jì)值，將所述估計(jì)值填補(bǔ)到缺失的性能數(shù)據(jù)記錄中。本發(fā)明首次將基于數(shù)理統(tǒng)計(jì)和數(shù)據(jù)挖掘技術(shù)的建模方法應(yīng)用于網(wǎng)管系統(tǒng)中的性能數(shù)據(jù)填補(bǔ)，可實(shí)現(xiàn)填補(bǔ)方法的科學(xué)化、智能化和自動(dòng)化，不僅有效保證了數(shù)據(jù)填補(bǔ)的準(zhǔn)確率，而且大大提高了批量缺失數(shù)據(jù)的填補(bǔ)效率。
文檔編號(hào)H04L12/24GK102025531SQ201010256368
公開日2011年4月20日 申請日期2010年8月18日 優(yōu)先權(quán)日2010年8月16日
發(fā)明者于艷華, 吳京川, 周政紅, 宋俊德, 楊金蓮, 王海清, 解新民 申請人:億陽信通股份有限公司, 北京億陽信通軟件研究院有限公司, 北京郵電大學(xué)