本發(fā)明屬于算法測試，尤其涉及一種基于數(shù)據(jù)回放的工業(yè)算法實時測試方法及系統(tǒng)。

背景技術(shù)：

1、隨著工業(yè)技術(shù)的不斷發(fā)展，智能制造、化工生產(chǎn)、冶金工業(yè)、交通與物流、建筑與基礎(chǔ)設(shè)施等工業(yè)領(lǐng)域中算法的智能化程度越來越高，針對各種算法的測試驗證越來越重要，而在傳統(tǒng)基準測試中，算法的驗證只能離線進行，難以實時監(jiān)測和分析數(shù)據(jù)，無法很好地適應(yīng)工業(yè)需求變化，而且隨著時間推移，設(shè)備性能可能發(fā)生退化，故障類型也可能改變，導(dǎo)致算法的測試結(jié)果出現(xiàn)誤差。為了應(yīng)對這一挑戰(zhàn)，急需一種工業(yè)算法的實時測試方法及系統(tǒng)，以在實時運行算法的同時，對算法進行有效、準確的驗證，對工業(yè)算法在實時環(huán)境中的綜合性能進行全面評價，為工業(yè)智能化提供有效支持。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是傳統(tǒng)工業(yè)算法測試不具備實時性以及工業(yè)算法實時測試如何保證評分合理性和數(shù)據(jù)集的真實性、多樣性的問題，克服以上背景技術(shù)中提到的不足和缺陷，提供一種基于數(shù)據(jù)回放的工業(yè)算法實時測試方法及系統(tǒng)。

2、為解決上述技術(shù)問題，本發(fā)明提出一種基于數(shù)據(jù)回放的工業(yè)算法實時測試方法，包括以下步驟：

3、s1：采集現(xiàn)場數(shù)據(jù)集，獲得原始數(shù)據(jù)集，對原始數(shù)據(jù)集進行預(yù)處理，獲得模擬數(shù)據(jù)集；

4、s2：利用模擬數(shù)據(jù)集運行用戶上傳的待測算法，實時獲取用戶上傳的待測算法的運行結(jié)果，對用戶上傳的待測算法進行評估，實時計算用戶上傳的待測算法的算法評分；

5、s3：在保持s2不斷實時運行的同時，再次采集特定時間長度的現(xiàn)場數(shù)據(jù)，獲得新的原始數(shù)據(jù)集，對新的原始數(shù)據(jù)集進行預(yù)處理，基于聚類分析、信息熵計算對預(yù)處理后的新的原始數(shù)據(jù)集進行篩選得到更新數(shù)據(jù)集，將更新數(shù)據(jù)集插入模擬數(shù)據(jù)集以對模擬數(shù)據(jù)集進行熱更新；；

6、s4：對熱更新后的模擬數(shù)據(jù)集進行判斷，若滿足設(shè)定的停止條件，則以最后一次計算獲得的的算法評分為最終算法評分，若不滿足條件，則重復(fù)s3，直至模擬數(shù)據(jù)集滿足停止條件，以最后一次計算獲得的用戶算法評分為最終算法評分。

7、優(yōu)選地，所述對用戶上傳的待測算法進行評估，實時計算用戶上傳的待測算法的算法評分，包括：

8、對用戶上傳的待測算法的性能指標、復(fù)雜度指標、穩(wěn)定性指標的得分及權(quán)重進行計算；

9、計算用戶上傳的待測算法的算法評分score現(xiàn)場錄波回放：

10、score現(xiàn)場錄波回放＝wperformance·scoreperformance+wcomplexity·scorecomplexity+wruntime·scoreruntime??(1)；

11、其中，wperformance、wcomplexity、wruntime分別為性能指標、復(fù)雜度指標和穩(wěn)定性指標的權(quán)重，scoreperformance、scorecomplexity、scoreruntime分別為性能指標、復(fù)雜度指標、穩(wěn)定性指標的得分。

12、優(yōu)選地，所述性能指標包括至少一個性能參數(shù)；

13、性能指標得分scoreperformance的計算公式如下：

14、

15、其中，pi表示第i個性能參數(shù)，wpi表示第i個性能參數(shù)的權(quán)重，n為性能參數(shù)的數(shù)量。

16、優(yōu)選地，所述復(fù)雜度指標包括：

17、時間復(fù)雜度，空間復(fù)雜度；

18、復(fù)雜度指標得分scorecomplexity的計算公式如下：

19、scorecomplexity＝wspace·scorespace+wtime·scoretime?(3)；

20、

21、其中，wspace、wtime為空間復(fù)雜度和時間復(fù)雜度對應(yīng)的權(quán)重，scorespace、scoretime分別為空間復(fù)雜度得分和時間復(fù)雜度得分，t表示當前算法的時間復(fù)雜度，tmax表示允許的最大時間復(fù)雜度，s表示當前算法的空間復(fù)雜度，smax表示允許的最大空間復(fù)雜度。

22、優(yōu)選地，所述穩(wěn)定性指標包括：

23、算法穩(wěn)定運行時間；

24、穩(wěn)定性指標得分scoreruntime計算如下：

25、

26、其中，β為分數(shù)衰減速度的調(diào)整參數(shù)。

27、優(yōu)選地，s3所述基于聚類分析、信息熵計算對預(yù)處理后的新的原始數(shù)據(jù)集進行篩選得到更新數(shù)據(jù)集，包括：

28、s31：對預(yù)處理后的新的原始數(shù)據(jù)集進行聚類分析，獲取聚類分析中心點：

29、對預(yù)處理后的新的原始數(shù)據(jù)集隨機選擇k個初始聚類分析中心點；

30、分配數(shù)據(jù)點，將每個數(shù)據(jù)點根據(jù)距離分配給其最近的中心點形成的簇；

31、通過重新計算每個簇中所有數(shù)據(jù)點的均值，更新聚類分析中心點，簇中所有數(shù)據(jù)點的均值計算如式(6)：

32、

33、其中，μi是第i個簇的中心點，ci是第i個簇的所有數(shù)據(jù)點，xj是數(shù)據(jù)點；

34、重復(fù)進行分配數(shù)據(jù)點和更新聚類分析中心點，直到聚類分析中心點不再發(fā)生變化或達到指定的迭代次數(shù)；

35、s32：計算預(yù)處理后的新的原始數(shù)據(jù)集的信息熵和信息增益，信息熵計算如下：

36、

37、其中，h(d)是數(shù)據(jù)集d的信息熵，pi是類別i的概率；

38、信息增益計算如下：

39、ig(d,xj)＝h(d)-h(d\{xj})?(8)；

40、其中，ig(d,xj)是樣本xj對數(shù)據(jù)集d的信息增益，h(d\{xj})是去除樣本xj后數(shù)據(jù)集的條件熵，pi′是類別i'的概率；

41、根據(jù)計算得到的信息增益，找到不同類別數(shù)據(jù)中信息增益較大的樣本點；

42、s33：將s32和s33中得到的聚類分析的中心點、信息增益較大的樣本點，與模擬數(shù)據(jù)集進行對比，計算樣本之間的向量相似度，刪除已有工況或向量相似度高的樣本，以剩余樣本組成更新數(shù)據(jù)集。

43、基于一個總的發(fā)明構(gòu)思，本發(fā)明還提供一種基于數(shù)據(jù)回放的工業(yè)算法實時測試系統(tǒng)，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述方法的步驟。

44、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

45、本發(fā)明通過現(xiàn)場數(shù)據(jù)回放的方式進行算法實時驗證與評估，從而模擬該算法模型在工業(yè)環(huán)境下的運行情況，使得用戶可以對算法進行實時驗證，同時采集實時數(shù)據(jù)，監(jiān)測設(shè)備性能變化，利用基于聚類分析和信息增益的提取具有豐富性和代表性的典型數(shù)據(jù)并對算法驗證過程中所用的模擬數(shù)據(jù)集進行熱更新，使得數(shù)據(jù)集能夠反映最新的現(xiàn)場情況和算法的性能變化，此外還構(gòu)建了算法性能、復(fù)雜度等評估指標，從準確性、穩(wěn)定性、復(fù)雜度等方面綜合評價不同用戶的算法，從而了實現(xiàn)了對算法實時監(jiān)控和分析的效果，并保證了算法評價的公平性和有效性。本發(fā)明提供的基于數(shù)據(jù)回放的故障診斷算法實時測試方法可廣泛應(yīng)用于智能制造、化工生產(chǎn)、冶金工業(yè)、交通與物流、建筑與基礎(chǔ)設(shè)施等工業(yè)領(lǐng)域，對軟測量、健康監(jiān)測、故障診斷、過程優(yōu)化等算法進行測試、評價。