一種數(shù)控系統(tǒng)指令域序列異常數(shù)據(jù)檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于數(shù)據(jù)挖掘領(lǐng)域，更具體的，涉及一種數(shù)控系統(tǒng)指令域序列異常數(shù)據(jù)檢 測(cè)方法。
【背景技術(shù)】
[0002] 按照國家現(xiàn)行標(biāo)準(zhǔn)GB4883-2008中定義，異常值形成原因有2個(gè)：總體固有變 異性的極端表現(xiàn)引起，實(shí)驗(yàn)條件、試驗(yàn)方法、觀測(cè)、記錄或計(jì)算失誤引起；標(biāo)準(zhǔn)還給出了 異常值檢測(cè)方法，大多數(shù)研究也主要參照該標(biāo)準(zhǔn)提出的統(tǒng)計(jì)學(xué)方法進(jìn)行研究，例如公開 號(hào)為CN104657503A的專利，利用統(tǒng)計(jì)判別法對(duì)電商銷售額異常值進(jìn)行預(yù)處理，公開號(hào)為 CN104703215A的專利，通過在預(yù)設(shè)時(shí)間內(nèi)對(duì)異常值的頻率統(tǒng)計(jì)得到出現(xiàn)異常值的概率確定 是否出現(xiàn)異常事件；針對(duì)異常值挖掘算法還有利用聚類、距離、密度、偏差等方法。
[0003] 上述方法主要針對(duì)無序數(shù)據(jù)集，在實(shí)際社會(huì)、經(jīng)濟(jì)、軍事和生活等活動(dòng)中產(chǎn)生的數(shù) 據(jù)大多是按照某種順序排列的有序序列，例如時(shí)間序列、數(shù)控加工中基于指令序列的狀態(tài) 數(shù)據(jù)序列等，有序序列中異常數(shù)據(jù)包含著潛在的信息，充分挖掘其信息才能夠充分掌握實(shí) 際生產(chǎn)活動(dòng)動(dòng)態(tài)變化，實(shí)現(xiàn)社會(huì)、經(jīng)濟(jì)、軍事和生活等活動(dòng)的實(shí)時(shí)的智能檢測(cè)和控制。有序 序列異常有3種類型：點(diǎn)異常、連續(xù)序列異常、模式異常。點(diǎn)異常與連續(xù)序列異常主要表現(xiàn) 為單個(gè)或少量連續(xù)點(diǎn)偏離整體模式，形成局部尖峰或較為尖銳的局部波動(dòng)，其前后序列模 式一致，與無序數(shù)據(jù)集異常值形成原因一致；模式異常主要表現(xiàn)為大量"相對(duì)"連續(xù)點(diǎn)偏離 整體模式或者從某點(diǎn)開始走勢(shì)偏離原模式，二者分別會(huì)形成階梯或者跳變，具體見圖1，"相 對(duì)"是指在模式異常序列內(nèi)部可能存在點(diǎn)異常、連續(xù)序列異常，本質(zhì)上模式異常并非真正異 常，只是由于數(shù)據(jù)內(nèi)部結(jié)構(gòu)特異性或?qū)嶒?yàn)條件、試驗(yàn)方法改變引起的數(shù)據(jù)行為的改變。
[0004] 有序序列異常數(shù)據(jù)挖掘方法主要有生物學(xué)方法、機(jī)器學(xué)習(xí)方法、基于特征空間的 方法等；生物學(xué)方法仿照免疫系統(tǒng)識(shí)別自我和異我的機(jī)制，將"異我"識(shí)別為異常并剔除； 機(jī)器學(xué)習(xí)方法包括神經(jīng)網(wǎng)絡(luò)回歸模型、支持向量機(jī)回歸模型、聚類，利用回歸模型求取的值 或預(yù)測(cè)的值與實(shí)際值比較判別是否為異常值，聚類則主要對(duì)訓(xùn)練集分段后訓(xùn)練獲得狀態(tài) 機(jī)，數(shù)據(jù)流中出現(xiàn)與狀態(tài)機(jī)不符的序列被判定為異常模式；基于特征的方法對(duì)數(shù)據(jù)流分段 求取特征，從而將時(shí)間序列異常檢測(cè)轉(zhuǎn)化無序數(shù)據(jù)集異常檢測(cè)。
[0005] 對(duì)有序序列的分析分為動(dòng)態(tài)和靜態(tài)兩種，靜態(tài)分析主要針對(duì)數(shù)據(jù)庫中已存儲(chǔ)的數(shù) 據(jù)，數(shù)據(jù)不再更新，動(dòng)態(tài)分析主要針對(duì)隨某變量持續(xù)更新的有序序列，即數(shù)據(jù)流。針對(duì)動(dòng)態(tài) 數(shù)據(jù)的挖掘不僅要考慮序列的前后相關(guān)性還要考慮數(shù)據(jù)的持續(xù)更新，不能像對(duì)待靜態(tài)數(shù)據(jù) 將其全部存入數(shù)據(jù)庫，因?yàn)殡S著變量推移，數(shù)據(jù)流中數(shù)據(jù)是海量的，常用簡化存儲(chǔ)的方法是 存入一個(gè)遠(yuǎn)小于數(shù)據(jù)量的概要數(shù)據(jù)結(jié)構(gòu)或模型，針對(duì)數(shù)據(jù)流異常檢測(cè)應(yīng)是連續(xù)的，并且應(yīng) 該高效快速以滿足實(shí)時(shí)分析的需求。數(shù)據(jù)流異常數(shù)據(jù)挖掘是數(shù)據(jù)挖掘領(lǐng)域一個(gè)研究熱點(diǎn)， 針對(duì)時(shí)間序列異常數(shù)據(jù)挖掘的專利有很多，例如公開號(hào)為CN104715150A的專利，提取圖形 中時(shí)間序列構(gòu)建被試的靜息態(tài)腦功能復(fù)雜網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)性質(zhì)進(jìn)行雙樣本T檢驗(yàn) 得到顯著異常，公開號(hào)為CN104717106A的專利，利用ARMA模型預(yù)測(cè)值與真實(shí)值比對(duì)得到網(wǎng) 絡(luò)流量屬性數(shù)據(jù)信息的新息序列，通過多變量序貫概率比檢驗(yàn)后做差得到似然比序列，對(duì) 其進(jìn)行相關(guān)性分析判定網(wǎng)絡(luò)異常是否發(fā)生，公開號(hào)為CN104636999A的專利，首先利用行業(yè) 標(biāo)準(zhǔn)尋找異常，然后利用偏差檢測(cè)技術(shù)過濾異常，最后采用基于離散傅立葉變換的時(shí)間序 列相似性查找出異常，實(shí)現(xiàn)建筑用能數(shù)據(jù)中的異常數(shù)據(jù)精準(zhǔn)定位，時(shí)間序列異常檢測(cè)多為 靜態(tài)分析；目前并無針對(duì)數(shù)據(jù)流異常數(shù)據(jù)挖掘的中國專利，相關(guān)文獻(xiàn)有很多，例如哈爾濱工 業(yè)大學(xué)的龐景月基于滑動(dòng)窗口的高斯過程回歸模型，用于檢測(cè)單數(shù)據(jù)流異常，復(fù)旦大學(xué)的 張晨構(gòu)建了不確定數(shù)據(jù)流聚類算法、基于信息論的概率數(shù)據(jù)流聚類算法、多數(shù)據(jù)流情況下 的異常趨勢(shì)檢測(cè)方法，用于挖掘數(shù)據(jù)流異常，東北大學(xué)的田玥采用CLOSET算法挖掘網(wǎng)絡(luò)數(shù) 據(jù)流頻繁模式，利用加權(quán)歐幾里得距離度量相似性，檢測(cè)異常模式，設(shè)計(jì)了大規(guī)模網(wǎng)絡(luò)數(shù)據(jù) 流異常檢測(cè)系統(tǒng)模型和網(wǎng)絡(luò)數(shù)據(jù)流頻繁模式挖掘和檢測(cè)算法；這些研究要么模型建立和計(jì) 算復(fù)雜，要么難以實(shí)現(xiàn)自動(dòng)實(shí)時(shí)分析，需要進(jìn)行人為干涉選擇部分參數(shù)或判斷中間結(jié)果后 選取流程走向等。

【發(fā)明內(nèi)容】

[0006] 針對(duì)上述需求或改進(jìn)需求，本發(fā)明方法提出了一種數(shù)控系統(tǒng)指令域序列異常數(shù)據(jù) 挖掘方法，其能夠快速有效進(jìn)行數(shù)據(jù)流異常數(shù)據(jù)的實(shí)時(shí)檢測(cè)，所述方法包括：
[0007] (1)、利用簡單移動(dòng)平均法或多項(xiàng)式擬合法獲取訓(xùn)練樣本數(shù)據(jù)中心線，利用訓(xùn)練樣 本、訓(xùn)練樣本數(shù)據(jù)中心線，通過二分法或直接搜索法獲取包絡(luò)線比率r ;
[0008] 簡單移動(dòng)平均法如下：
[0009]
CD
[0010] 其中X1為序列號(hào)為i的樣本點(diǎn)，y k為獲取的第k個(gè)中心點(diǎn)，d為移動(dòng)平均項(xiàng)數(shù)， [d/2]為向左取整，d計(jì)算方法如下：
[0011] d = k3l (2)
[0012] 其中匕為移動(dòng)平均項(xiàng)數(shù)占樣本量比例，一般取4% ;
[0013] 多項(xiàng)式擬合法確定多項(xiàng)式項(xiàng)數(shù)w后，數(shù)據(jù)中心線多項(xiàng)式為：yk= awxkw+aw Pk" k… +a。，利用最小二乘法求取多項(xiàng)式系數(shù)a。、S1、…、aw，
[0014] 根據(jù)數(shù)據(jù)中心線、r，上下包絡(luò)線公式如下：
[0015] yk= X k±r · R ⑶
[0016] 其中r為包絡(luò)線比率，R為樣本值偏離中心線值的均方差，在式（3)外的樣本點(diǎn)為 滑動(dòng)窗口內(nèi)判定的異常點(diǎn)；
[0017] 設(shè)訓(xùn)練集樣本點(diǎn)數(shù)為I (1多10N)，二分法搜索獲取r的條件如下：
[0018] 條件1:包絡(luò)線外樣本點(diǎn)數(shù)小于kl · 1 ;
[0019] 條件2:包絡(luò)線外樣本點(diǎn)數(shù)大于k2 · 1 ;
[0020] 條件3:包絡(luò)線外樣本點(diǎn)總數(shù)小于k2 · 1，大于kl · I ;
[0021] 其中，所述kl是最小異常點(diǎn)數(shù)占樣本總量的比率，k2是最大異常點(diǎn)數(shù)占樣本總量 的比率；
[0022] 具體搜索流程如下：
[0023] (1-1)、給定最小和最大r分別為a()、a1&最大迭代次數(shù)k，令當(dāng)前迭代次數(shù)i = 1 ;
[0024] (1-2)、根據(jù)公式（3)依次計(jì)算包絡(luò)線比率分別為a。、％時(shí)是否滿足條件3,滿足輸 出滿足條件的值，迭代結(jié)束，否則轉(zhuǎn)入（1-3);
[0025] (1-3)、令 i = i+Ι，左右節(jié)點(diǎn) L、R 分別為 a。、a1;a ;= (L+R)/2 ;
[0026] (1-4)、若&1滿足條件1，則需要減小r，使包絡(luò)線外樣本增加，故左節(jié)點(diǎn)不變，右節(jié) 點(diǎn)更新為a 1;若滿足條件2,則需要增大r，使包絡(luò)線外樣本減少，故右節(jié)點(diǎn)不變，左節(jié)點(diǎn)更 新為ai;
[0027] (1-5)、重復(fù)步驟（1-3)、（1-4)，直到滿足條件3或達(dá)到最大迭代次數(shù)，輸出最終 r ；
[0028] 本發(fā)明方法根據(jù)具體條件設(shè)計(jì)的二分法只需更新左右節(jié)點(diǎn)，利用左右節(jié)點(diǎn)中值即 可不斷迅速縮小范圍，搜索滿足條件的值；此二分法同樣適用滿足相同條件的搜索；
[0029] 其中利用直接搜索法是指從最大值&1或最小值a。，按照指定步長s搜索減小或增 大r值，為達(dá)到精度q要求，s需滿足：
[0030]
[0031] 正負(fù)代表搜索方向，為正則由a。開始搜索，反之從&1開始。
[0032] (2)、構(gòu)造窗寬N、臨界長度X、連續(xù)異常點(diǎn)長度和階梯點(diǎn)長度分界線Y、數(shù)據(jù)流分析 長度Z的經(jīng)驗(yàn)公式并根據(jù)經(jīng)驗(yàn)公式設(shè)置相應(yīng)參數(shù)；初始化單步處理樣本點(diǎn)數(shù)u、滑動(dòng)窗口異 常記錄多維序列I ciuuict、過程記錄序列1_、過程記錄正常序列l(wèi)n_al;
[0033] 其中，窗寬N根據(jù)采樣周期T、單步處理樣本點(diǎn)數(shù)u、單步檢測(cè)與存儲(chǔ)需要的時(shí)間c 確定，窗寬N需滿足下式：
[0034] u · T 彡 c (5)
[0035] 若不滿足，則適當(dāng)減小窗寬N，若不滿足需相應(yīng)增大N。其中X、Y、Z、N-般應(yīng)滿足 下式：
[0036] Z 彡 100Ν
[0037] Y ^ 0. 4% N
[0038] X ^ 0. 5% N (6)
[0039] 初始化單步處理樣本點(diǎn)數(shù)u、滑動(dòng)窗口異常記錄多維序列Iciuuict、過程記錄序列 1_、過程記錄正常序列I nmial，用U確定滑動(dòng)窗口滑動(dòng)一次處理的樣本點(diǎn)數(shù)，用記錄 滑動(dòng)窗口內(nèi)判定的異常點(diǎn)的序列號(hào)及其累計(jì)異常數(shù)，用1_記錄通過滑動(dòng)窗口且待處理的 樣本點(diǎn)序列號(hào)及其初始判定類型，用I nmial記錄通過滑動(dòng)窗口且為初始判定正常點(diǎn)的序列 號(hào)及其初始判定類型；
[0040] (3)、利用N確定滑動(dòng)窗口長度，利用滑動(dòng)窗口分割數(shù)據(jù)流，利用簡單移動(dòng)平均法 或多項(xiàng)式擬合法獲取滑動(dòng)窗口數(shù)據(jù)中心線，利用滑動(dòng)窗口數(shù)據(jù)中心線、r、公式（3)求取當(dāng) 前滑動(dòng)窗口上下包絡(luò)線，包絡(luò)線外樣本為當(dāng)前滑動(dòng)窗口內(nèi)判定的異常點(diǎn)，存入I ciuuict，當(dāng)前 滑動(dòng)窗口內(nèi)異常點(diǎn)判定完畢后，利用過程記錄序列1_、過程記錄正常序列l(wèi)n_al、X、Y確定 最終判定類型；
[0041] 其中利用滑動(dòng)窗口分割數(shù)據(jù)流是指滑動(dòng)窗口包含N個(gè)連續(xù)樣本點(diǎn)，第i個(gè)滑動(dòng)窗 口異常檢測(cè)后，位于滑動(dòng)窗口前部