本發(fā)明涉及工業(yè)自動化與智能監(jiān)測，具體為一種基于電子視覺的智能巡檢監(jiān)測方法及系統(tǒng)。

背景技術(shù)：

1、隨著工業(yè)自動化和智能化水平的不斷提升，基于電子視覺的設(shè)備巡檢技術(shù)逐漸成為智能運維系統(tǒng)的重要組成部分。傳統(tǒng)的設(shè)備巡檢方式大多依賴于人工定期檢查，存在著效率低下、易于遺漏細(xì)節(jié)的問題，尤其在大規(guī)模工業(yè)場景下，人工巡檢往往難以覆蓋所有設(shè)備狀態(tài)。近年來，隨著圖像處理技術(shù)、機(jī)器學(xué)習(xí)算法以及傳感器技術(shù)的發(fā)展，電子視覺技術(shù)逐漸應(yīng)用于巡檢領(lǐng)域，通過攝像頭、熱成像儀和多種傳感器，能夠自動采集設(shè)備的外觀、熱狀態(tài)、聲音等多模態(tài)數(shù)據(jù)，并通過智能分析算法對設(shè)備狀態(tài)進(jìn)行評估，極大提高了巡檢效率。卷積神經(jīng)網(wǎng)絡(luò)(cnn)等深度學(xué)習(xí)算法在圖像處理中的成功應(yīng)用，使得基于電子視覺的巡檢系統(tǒng)在設(shè)備故障檢測、損壞識別等方面表現(xiàn)出優(yōu)異的性能。然而，現(xiàn)有的技術(shù)雖然能夠?qū)崿F(xiàn)初步的設(shè)備狀態(tài)識別，但在數(shù)據(jù)融合、智能異常檢測和路徑優(yōu)化方面仍存在較大提升空間。

2、現(xiàn)有的相關(guān)技術(shù)中，數(shù)據(jù)采集往往局限于單一類型的傳感器，未能充分利用多模態(tài)數(shù)據(jù)融合的優(yōu)勢，導(dǎo)致設(shè)備的狀態(tài)評估存在不全面和誤差較大的問題。此外，現(xiàn)有系統(tǒng)對設(shè)備故障的檢測依賴于預(yù)設(shè)規(guī)則，缺乏自適應(yīng)能力，難以準(zhǔn)確識別復(fù)雜的非線性故障模式。尤其是在巡檢路徑規(guī)劃方面，多數(shù)技術(shù)仍采用固定或經(jīng)驗驅(qū)動的路徑選擇，未能結(jié)合設(shè)備的健康狀態(tài)進(jìn)行動態(tài)調(diào)整，巡檢效率受到限制。相比之下，本文發(fā)明的基于電子視覺的智能巡檢監(jiān)測方法，通過多模態(tài)數(shù)據(jù)采集與融合、卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)識別與異常檢測，以及圖論模型與最短路徑算法的巡檢路徑優(yōu)化，不僅能夠更加準(zhǔn)確地識別設(shè)備的潛在故障，還能夠根據(jù)設(shè)備的健康狀態(tài)動態(tài)調(diào)整巡檢頻率與路徑，顯著提高了巡檢效率和故障識別的準(zhǔn)確性。這一創(chuàng)新性方法克服了現(xiàn)有技術(shù)的諸多不足，具備良好的實用性與應(yīng)用前景。

技術(shù)實現(xiàn)思路

1、鑒于上述存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明解決的技術(shù)問題是：現(xiàn)有的電子視覺方法存在自適應(yīng)能力差，故障識別的準(zhǔn)確性低，巡檢效率差，以及難以準(zhǔn)確識別復(fù)雜的非線性故障模式的問題。

3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于電子視覺的智能巡檢監(jiān)測方法，包括采集多模態(tài)巡檢數(shù)據(jù)并對數(shù)據(jù)進(jìn)行預(yù)處理；基于卷積神經(jīng)網(wǎng)絡(luò)對目標(biāo)識別分類與異常檢測；采用圖論模型和最短路徑算法優(yōu)化巡檢路徑。

4、作為本發(fā)明所述的基于電子視覺的智能巡檢監(jiān)測方法的一種優(yōu)選方案，其中：所述采集多模態(tài)巡檢數(shù)據(jù)并對數(shù)據(jù)進(jìn)行預(yù)處理包括采集圖像數(shù)據(jù)、設(shè)備運行狀態(tài)數(shù)據(jù)、位置和時間數(shù)據(jù)、聲音數(shù)據(jù)以及歷史數(shù)據(jù)，進(jìn)行多模態(tài)數(shù)據(jù)融合；

5、圖像數(shù)據(jù)包括可見光圖像、熱成像數(shù)據(jù)以及多光譜圖像；

6、設(shè)備運行狀態(tài)數(shù)據(jù)包括電氣參數(shù)、溫度和濕度以及振動數(shù)據(jù)；

7、位置和時間數(shù)據(jù)包括gps位置信息以及時間戳；

8、聲音數(shù)據(jù)包括運行聲頻；

9、歷史數(shù)據(jù)包括設(shè)備維護(hù)記錄和歷史異常記錄；

10、不同傳感器的采集數(shù)據(jù)同步進(jìn)行，進(jìn)行多模態(tài)數(shù)據(jù)融合。

11、作為本發(fā)明所述的基于電子視覺的智能巡檢監(jiān)測方法的一種優(yōu)選方案，其中：所述采集多模態(tài)巡檢數(shù)據(jù)并對數(shù)據(jù)進(jìn)行預(yù)處理包括數(shù)據(jù)在采集過程中受到環(huán)境光線變化、設(shè)備振動、傳感器自身噪聲因素影響，產(chǎn)生噪聲；

12、使用圖像濾波算法對圖像數(shù)據(jù)進(jìn)行去噪處理包括：

13、通過對圖像中像素點周圍的像素取中值，去除噪聲，保留邊緣特征；

14、通過加權(quán)平均像素點的鄰域值，平滑圖像，去除噪聲；

15、考慮空間鄰近關(guān)系和像素值的差異，去除噪聲同時保留邊緣信息。

16、作為本發(fā)明所述的基于電子視覺的智能巡檢監(jiān)測方法的一種優(yōu)選方案，其中：所述基于卷積神經(jīng)網(wǎng)絡(luò)對目標(biāo)識別分類與異常檢測包括通過移動卷積核在輸入圖像上逐個像素進(jìn)行計算，提取圖像中的局部特征，包括邊緣、紋理、設(shè)備表面的損壞或裂紋；

17、卷積核對輸入圖像執(zhí)行逐像素操作，檢測不同的圖像特征，卷積運算模型表示為:

18、

19、其中，o(i，j)表示圖像在位置(i，j)處的像素值，(i，j)表示圖像像素的坐標(biāo)，k(m，n)表示卷積核矩陣，k表示卷積核的半徑，m和n表示卷積核的移動索引，i(i+m，j+n)表示圖像在位置(i+m，j+n)處的像素值；

20、卷積神經(jīng)網(wǎng)絡(luò)在提取圖像特征后，將特征輸入到全連接層進(jìn)行分類；

21、構(gòu)建分類概率模型，將每個類別的評分轉(zhuǎn)化為概率，表示為：

22、

23、其中，p(y＝i|z)表示圖像分類為第i類的概率，z＝[z1，z2，...，zn]表示神經(jīng)網(wǎng)絡(luò)在全連接層輸出的每個類別的評分，zi表示圖像屬于類別i的得分，n表示類別的數(shù)量；

24、使用分類概率模型輸出設(shè)備狀態(tài)的分類概率，確定設(shè)備的健康狀態(tài)或故障類型。

25、作為本發(fā)明所述的基于電子視覺的智能巡檢監(jiān)測方法的一種優(yōu)選方案，其中：所述基于卷積神經(jīng)網(wǎng)絡(luò)對目標(biāo)識別分類與異常檢測包括使用自編碼器進(jìn)行異常檢測，通過對設(shè)備數(shù)據(jù)進(jìn)行重建誤差分析，判斷當(dāng)前設(shè)備狀態(tài)是否異常；

26、構(gòu)建自編碼器模型表示為：

27、

28、其中，x表示輸入的數(shù)據(jù)，f(x)表示編碼器函數(shù)，g(f(x))表示解碼器函數(shù)，表示重建后的數(shù)據(jù)，表示輸入數(shù)據(jù)與重建數(shù)據(jù)之間的差異；

29、通過最小化自編碼器學(xué)習(xí)到設(shè)備的正常狀態(tài)，并在后續(xù)檢測中判斷是否存在異常；

30、量化異常檢測的結(jié)果，異常評分模型對自編碼器的重建誤差進(jìn)行標(biāo)準(zhǔn)化處理，通過設(shè)定閾值，當(dāng)損失函數(shù)的值超過閾值時，設(shè)備被認(rèn)為存在異常，評分的大小判斷異常的嚴(yán)重程度，異常評分模型表示為：

31、

32、其中，s表示異常評分，t表示設(shè)定的閾值；

33、若s>1，說明設(shè)備出現(xiàn)異常，且s的數(shù)值與異常的嚴(yán)重程度成正比。

34、作為本發(fā)明所述的基于電子視覺的智能巡檢監(jiān)測方法的一種優(yōu)選方案，其中：所述采用圖論模型和最短路徑算法優(yōu)化巡檢路徑包括設(shè)定不同級別的報警機(jī)制；

35、輕度異常時發(fā)送提醒，嚴(yán)重異常時發(fā)出警報并自動生成故障報告；

36、報警通過短信、郵件、app推送通知維護(hù)人員；

37、系統(tǒng)將所有檢測到的異常情況按時間和位置進(jìn)行記錄，并保存為巡檢日志，每條故障記錄應(yīng)包括設(shè)備編號、異常類型、圖像數(shù)據(jù)、異常程度和設(shè)備運行參數(shù)；

38、系統(tǒng)將當(dāng)前的故障信息與歷史數(shù)據(jù)進(jìn)行對比分析，評估異常的頻率和趨勢，為設(shè)備的維護(hù)計劃提供依據(jù)；

39、巡檢系統(tǒng)采用無損壓縮算法對圖像和視頻數(shù)據(jù)進(jìn)行壓縮，同時對非關(guān)鍵數(shù)據(jù)進(jìn)行分層存儲，節(jié)約存儲空間；

40、設(shè)計基于時間、設(shè)備位置、異常類型多維度的數(shù)據(jù)庫結(jié)構(gòu)；

41、數(shù)據(jù)包括原始圖像、預(yù)處理后的圖像、分析結(jié)果、設(shè)備運行參數(shù)；

42、采用數(shù)據(jù)傳輸協(xié)議將數(shù)據(jù)從前端采集設(shè)備傳輸?shù)竭h(yuǎn)程監(jiān)控中心，數(shù)據(jù)傳輸時進(jìn)行加密。

43、作為本發(fā)明所述的基于電子視覺的智能巡檢監(jiān)測方法的一種優(yōu)選方案，其中：所述采用圖論模型和最短路徑算法優(yōu)化巡檢路徑包括在巡檢過程中，設(shè)備位置被視為圖的節(jié)點，連接節(jié)點之間的邊表示設(shè)備之間的距離和巡檢時間；

44、通過圖論算法，系統(tǒng)確定從巡檢起點到各個設(shè)備的最短路徑，圖模型表示為：

45、g＝(v，e)

46、w(eij)

47、其中，g表示巡檢區(qū)域的圖模型，v表示節(jié)點集合，v＝{v1，v2，...，vn}，每個節(jié)點vi表示一個設(shè)備的位置，e表示邊集合，每條邊eij代表設(shè)備vi和設(shè)備vj之間的連通路徑，w(eij)表示邊的權(quán)重，為設(shè)備i和設(shè)備j之間的巡檢成本；

48、通過動態(tài)選擇路徑長度最小的設(shè)備節(jié)點，找到從起點到所有目標(biāo)設(shè)備的最短路徑，最短路徑模型表示為：

49、

50、其中，l(p)表示路徑p的總長度，(i,j)∈p表示路徑p上的每一對設(shè)備i和j；

51、初始時，設(shè)定起點vs的路徑長度為0，設(shè)備節(jié)點的路徑長度為無窮大；

52、選擇當(dāng)前最小路徑長度的節(jié)點，每次從未訪問的節(jié)點中選擇路徑長度最小的節(jié)點，并更新相鄰節(jié)點的路徑長度；

53、重復(fù)選擇，直到所有設(shè)備的最短路徑都被找到；

54、構(gòu)建動態(tài)巡檢頻率優(yōu)化模型，動態(tài)調(diào)整設(shè)備的巡檢頻率，基于設(shè)備的健康狀態(tài)自動優(yōu)化巡檢優(yōu)先級，表示為：

55、

56、

57、其中，p(i)表示設(shè)備i的巡檢優(yōu)先級，h(i)表示設(shè)備i的健康指數(shù)，f表示優(yōu)化目標(biāo)函數(shù)，為系統(tǒng)總的巡檢成本，n表示需要巡檢的設(shè)備總數(shù)，p(i)表示設(shè)備i的巡檢優(yōu)先級，l(pi)表示設(shè)備i的巡檢路徑長度；

58、優(yōu)先級與健康指數(shù)成反比；

59、健康指數(shù)與設(shè)備狀態(tài)成正比。

60、本發(fā)明的另外一個目的是提供一種基于電子視覺的智能巡檢監(jiān)測系統(tǒng)，其能通過自編碼器異常檢測與評分，解決了目前的電子視覺方法含有故障識別的準(zhǔn)確性低的問題。

61、作為本發(fā)明所述的基于電子視覺的智能巡檢監(jiān)測系統(tǒng)的一種優(yōu)選方案，其中：包括初始化模塊，數(shù)據(jù)預(yù)處理模塊，智能分析與目標(biāo)識別模塊，巡檢優(yōu)化模塊；所述初始化模塊用于采集多模態(tài)巡檢數(shù)據(jù)；所述數(shù)據(jù)預(yù)處理模塊用于分析與目標(biāo)識別；所述智能分析與目標(biāo)識別模塊用于對預(yù)處理后的圖像數(shù)據(jù)進(jìn)行目標(biāo)檢測和分類；所述巡檢優(yōu)化模塊用于生成最優(yōu)巡檢路徑。

62、一種計算機(jī)設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序是實現(xiàn)基于電子視覺的智能巡檢監(jiān)測方法的步驟。

63、一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)基于電子視覺的智能巡檢監(jiān)測方法的步驟。

64、本發(fā)明的有益效果：本發(fā)明提供的基于電子視覺的智能巡檢監(jiān)測方法通過采用卷積神經(jīng)網(wǎng)絡(luò)對巡檢過程中獲取的圖像進(jìn)行分析，提取設(shè)備表面的邊緣、紋理等重要特征，提高故障檢測的精度和設(shè)備分類的準(zhǔn)確性，降低人為誤判的可能性，增強(qiáng)系統(tǒng)的智能性和自適應(yīng)性，通過自編碼器模型，適應(yīng)設(shè)備狀態(tài)的非線性變化，并根據(jù)實際設(shè)備運行情況動態(tài)調(diào)整，極大提高異常檢測的靈活性和準(zhǔn)確性，通過將設(shè)備位置視為圖的節(jié)點，采用圖論模型計算最優(yōu)巡檢路徑，顯著提高巡檢效率，優(yōu)化巡檢調(diào)度，提高巡檢覆蓋率，又能夠通過智能化路徑優(yōu)化減少人力和時間成本，通過建立輕度異常與嚴(yán)重故障的多級報警機(jī)制，幫助維護(hù)人員及時了解設(shè)備狀態(tài)，防止設(shè)備故障的惡化，同時積累了設(shè)備運維的歷史數(shù)據(jù)，有助于長期的設(shè)備健康狀態(tài)分析和趨勢預(yù)測，本發(fā)明在故障識別的準(zhǔn)確性，巡檢效率以及自適應(yīng)性方面都取得更加良好的效果。