本發(fā)明屬于目標檢測，更具體地，涉及一種基于自編碼器的電力無人機巡檢邊側(cè)設(shè)備缺陷識別方法及系統(tǒng)。

背景技術(shù)：

1、隨著智能電網(wǎng)的發(fā)展，電網(wǎng)正日益成為網(wǎng)絡(luò)復雜、設(shè)備繁多、技術(shù)龐雜的綜合系統(tǒng)，為保障電力設(shè)備設(shè)施的運行可靠和有效管理，傳統(tǒng)的運維檢修方式也已無法滿足要求。人工智能與電網(wǎng)應(yīng)用技術(shù)融合，有效的解決了這種問題。盡管目前電力場景中，在邊緣側(cè)通過無人機采集數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)進行檢測的巡檢方式已經(jīng)取得了一定進步，但是邊緣側(cè)小模型的檢測結(jié)果仍然不夠精確，對于不確定的圖片仍然需要人工復核，影響電力無人機巡檢的實用性。

2、現(xiàn)有技術(shù)中常需要對數(shù)據(jù)進行標注，但由于部分故障出現(xiàn)的概率較低，異常數(shù)據(jù)數(shù)量較少，使得采集到的數(shù)據(jù)中各類別的數(shù)據(jù)分布極不平衡，部分類別的樣本出現(xiàn)頻率極高，部分類別的樣本出現(xiàn)頻率極低。導致對現(xiàn)有目標檢測網(wǎng)絡(luò)訓練完成后，樣本出現(xiàn)頻率較高的類別識別精度較高，樣本出現(xiàn)頻率較低的類別識別精度較低。

3、另外由于嵌入式設(shè)備具有體積小、低功耗、可靠性高、成本低等優(yōu)點，使其很適合在邊緣側(cè)部署。然而邊緣設(shè)備存儲和計算資源有限，這限制了可運行的神經(jīng)網(wǎng)絡(luò)模型的計算量和大小。

4、現(xiàn)有的缺陷識別方法有：

5、授權(quán)公告號cn111126359a的專利公開了一種基于自編碼器與yolo算法的高清圖像小目標檢測方法，實現(xiàn)步驟為：1)采集高清圖像并標注，獲得訓練集和測試集；2)對標注好的訓練集進行數(shù)據(jù)擴充；3)根據(jù)標注信息生成對應(yīng)的mask數(shù)據(jù)；4)搭建自編碼器模型；5)使用訓練集對其訓練；6)將訓練好的自編碼器的編碼網(wǎng)絡(luò)與yolo-v3檢測網(wǎng)絡(luò)拼接，得到混合網(wǎng)絡(luò)并使用訓練集對其訓練；7)使用訓練好的混合網(wǎng)絡(luò)在測試集上進行目標檢測。

6、但是，該專利是先單獨訓練一個自編碼網(wǎng)絡(luò)，然后將自編碼網(wǎng)絡(luò)的編碼器與解碼器解耦，在編碼器部分與yolov3檢測器部分進行拼接，固定編碼器網(wǎng)絡(luò)部分，對新增加的yolov3檢測器部分再進行訓練。該專利不是端到端的，而是分階段的，這樣效率較低。另外該專利主要對處理小目標時的精度高。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于自編碼器的電力無人機巡檢邊側(cè)設(shè)備缺陷識別方法及系統(tǒng)。

2、本發(fā)明采用如下的技術(shù)方案。

3、本發(fā)明的第一方面提出了一種基于自編碼器的電力無人機巡檢邊緣設(shè)備缺陷識別方法，包括以下步驟：

4、s1，邊緣設(shè)備加載電力無人機歷史巡檢圖像，對歷史巡檢圖像進行預(yù)處理，所述預(yù)處理包括對圖像大小和格式進行調(diào)整；

5、s2，構(gòu)建電力無人機巡檢缺陷檢測模型，包括訓練階段模型和推理階段模型，訓練階段模型將s1預(yù)處理后的圖像數(shù)據(jù)作為訓練樣本進行訓練，將訓練后的訓練階段模型中的解碼器模塊移除得到推理階段模型；

6、s3，邊緣設(shè)備加載電力無人機實時巡檢圖像，經(jīng)預(yù)處理后輸入至推理階段模型，進行結(jié)果后處理，實現(xiàn)對設(shè)備缺陷的識別。

7、優(yōu)選地，在s1中，圖像預(yù)處理的具體內(nèi)容為：將圖片大小調(diào)整到邊緣設(shè)備在推理過程中能接收的最大輸入空間尺寸(h,w)，將圖片像素值歸一化到[0,1]區(qū)間，對圖片格式進行轉(zhuǎn)置，轉(zhuǎn)換為(b,c,h,w)的張量，其中，b表示批處理大小，設(shè)定為1；c表示一張圖像中的通道數(shù)，c取值為3，分別代表r、g、b；h表示圖像垂直維度的像素數(shù)；w表示圖像水平維度的像素數(shù)。

8、優(yōu)選地，在s2中，電力無人機巡檢缺陷檢測模型具體內(nèi)容為:

9、訓練階段模型包含四個部分：主干網(wǎng)絡(luò)、特征融合模塊、檢測器、解碼器；主干網(wǎng)絡(luò)對預(yù)處理后的圖像進行特征提取得到特征圖；特征融合模塊對主干網(wǎng)絡(luò)得到的特征圖進行特征融合得到特征融合后的特征圖；檢測器用于進行目標預(yù)測；解碼器對主干網(wǎng)絡(luò)生成的特征進行解碼，還原出輸入圖像，在訓練階段將解碼模塊作為額外的網(wǎng)絡(luò)頭部進行訓練，增加模型學習的信息；訓練階段不斷對模型進行優(yōu)化；

10、推理階段模型包含三個部分：主干網(wǎng)絡(luò)、特征融合、檢測器，每一部分和訓練階段的對應(yīng)部分保持相同，推理階段模型輸出缺陷類別預(yù)測結(jié)果和缺陷目標位置預(yù)測結(jié)果；

11、缺陷類別預(yù)測結(jié)果的輸出是特征圖每個位置的值為每個類別的概率；所述特征圖等效為一個四維矩陣，矩陣中的每個值就是特征圖的每個位置的值；

12、目標位置預(yù)測結(jié)果的輸出是目標相對于特征圖每個位置中心點在左，上，右，下四個方向的偏移量。

13、優(yōu)選地，所述訓練階段不斷對模型進行優(yōu)化，具體過程為

14、訓練中使用損失函數(shù)為幾個損失函數(shù)的加權(quán)和：

15、ltotal＝αlcls+βlpos+δldfl+γlmse

16、其中，α、β、δ、γ是權(quán)重，α＝0.5、β＝7.5、δ＝1.5、γ＝1；lcls為類別預(yù)測結(jié)果的交叉熵損失；lpos和ldfl分別為目標位置預(yù)測結(jié)果的交并比損失和數(shù)據(jù)平均保真度損失；lmse為解碼器生成的圖像和原始圖像之間的平均平方誤差損失；

17、對類別預(yù)測結(jié)果計算交叉熵損失lcls，對類別預(yù)測特征圖上的每個位置交叉熵損失計算公式如下：

18、

19、其中，n是類別數(shù)目，yi是真實標簽，如果該位置對應(yīng)的目標類別是第i個類，則yi＝1，否則yi＝0；pi是預(yù)測的該位置出現(xiàn)的目標是第i個類的概率；對三個特征圖所有批的所有位置的交叉熵損失求和得到最終的類別預(yù)測損失；

20、對目標位置預(yù)測結(jié)果計算交并比損失lpos和數(shù)據(jù)平均保真度損失ldfl，對解碼器生成的圖像和原始圖像之間通過以下函數(shù)計算平均平方誤差損失：

21、

22、其中w是圖像寬度，h是圖像高度，b是批處理大?。皇墙獯a器生成的圖像的第b張圖像第c個通道第i行第j列的像素值；是第b張原始圖像第c個通道第i行第j列的像素值。

23、優(yōu)選地，所述主干網(wǎng)絡(luò)具體為：主干網(wǎng)絡(luò)包括卷積模塊、切分層、bottleneck模塊、連接層、池化層組成，經(jīng)過多次提取特征，輸出特征圖feat3、特征圖feat4；特征圖feat3大小為特征圖feat4大小為特征圖feat5大小為

24、優(yōu)選地，所述特征融合具體內(nèi)容為：

25、將feat5通過上采樣，然后使用連接層和feat4在通道維度進行連接，隨后對得到的特征圖使用卷積核大小為1x1、步長為1的卷積模塊和卷積核大小為3x3、步長為1的卷積模塊進行特征融合得到feat41；

26、隨后對feat41通過上采樣，然后使用連接層和feat3在通道維度進行連接，隨后對得到的特征圖使用卷積核大小為1x1、步長為1的卷積模塊和卷積核大小為3x3、步長為1的卷積模塊進行特征融合得到feat31；

27、對特征圖feat31使用卷積核大小為1x1、步長為1的卷積模塊和卷積核大小為3x3、步長為1的卷積模塊進行特征融合得到feat32；

28、對feat31進行下采樣，將下采樣結(jié)果和feat41進行連接，隨后對得到的特征圖使用卷積核大小為1x1、步長為1的卷積模塊和卷積核大小為3x3、步長為1的卷積模塊進行特征融合得到feat42；

29、對特征圖feat5使用卷積核大小為1x1、步長為1的卷積模塊和卷積核大小為3x3、步長為1的卷積模塊進行特征處理得到feat51；

30、對feat42使用下采樣，將下采樣結(jié)果和feat51進行連接，隨后對得到的特征圖使用卷積核大小為1x1、步長為1的卷積模塊和卷積核大小為3x3、步長為1的卷積模塊進行特征融合得到feat52。

31、優(yōu)選地，所述特征圖進行上采樣的過程如下：

32、上采樣，輸入特征圖空間大小為w×h，期望的輸出特征圖空間大小為2w×2h；對于輸出特征圖中的每個位置(i,j)，首先映射坐標，根據(jù)上采樣比例，確定(i,j)在輸入特征圖中的對應(yīng)位置(i',j')，公式為：

33、

34、將它映射到最近的整數(shù)坐標，計算公式為：

35、

36、四個最近鄰像素在輸入特征圖中的對應(yīng)位置坐標分別是(i',j'),(i'+1,j'),(i',j'+1)和(i'+1,j'+1)，根據(jù)這四個像素的值和它們的權(quán)重，計算目標像素的值，公式為：

37、iout(i,j)＝w1iin(i',j')+w2iin(i'+1,j')+w3iin(i',j'+1)+w4iin(i'+1,j'+1)

38、其中，w1,w2,w3,w4分別對應(yīng)(i',j),(i'+1,j'),(i',j'+1)和(i'+1,j'+1)四個像素的權(quán)重；iout(i,j)是輸出特征圖(i,j)位置的特征值，iin(i',j')是輸入特征圖(i',j')位置的特征值，重復上述步驟，直到輸出特征圖中所有目標位置都被填充。

39、優(yōu)選地，所述四個像素的權(quán)重具體為：

40、w1＝(i'+1-i”)(j'+1-j”)

41、w2＝(i'+1-i”)(j”-j')

42、w3＝(i”-i')(j'+1-j”)

43、w4＝(i”-i')(j”-j')

44、其中，w1,w2,w3,w4分別對應(yīng)(i',j),(i'+1,j'),(i',j'+1)和(i'+1,j'+1)四個像素的權(quán)重。

45、優(yōu)選地，所述檢測器具體內(nèi)容為：檢測器中使用無錨點檢測頭，檢測器分別進行目標位置預(yù)測和目標類別預(yù)測，目標位置預(yù)測對目標左上角和右下角到特征圖上每個特征位置在原圖中中心點的距離lt和rb進行預(yù)測，目標類別預(yù)測對特征圖上每個特征位置最鄰近的目標類別進行預(yù)測。

46、優(yōu)選地，所述解碼器的具體內(nèi)容為：解碼器和主干網(wǎng)絡(luò)保持相反的結(jié)構(gòu)，包括卷積反模塊；切分層、連接層、debottleneck模塊、轉(zhuǎn)置卷積模塊，解碼器模塊的輸入為來自主干網(wǎng)絡(luò)的特征feat5，輸出為大小(h,w)的圖片。

47、優(yōu)選地，在s3中，所述后處理為對檢測結(jié)果使用置信度閾值進行過濾，該閾值為0.001；對檢測結(jié)果分類別進行非極大值抑制處理；將檢測結(jié)果根據(jù)圖像的縮放平移情況映射回原圖中。

48、本發(fā)明的第二方面提出了一種基于自編碼器的電力無人機巡檢邊側(cè)設(shè)備缺陷識別系統(tǒng)，使用本發(fā)明的第一方面所述方法，包括以下模塊：

49、圖像預(yù)處理模塊，調(diào)整圖像的大小和格式；

50、訓練模塊，使用訓練階段缺陷檢測模型對圖像數(shù)據(jù)進行訓練，將訓練后的訓練模型中的解碼器模塊移除得到推理階段模型；

51、設(shè)備缺件識別模塊，通過由訓練模塊得到的推理階段模型進行缺陷檢測，檢測缺陷的類別和位置；

52、判斷模塊，進行后處理，后處理后判斷數(shù)據(jù)是否處理完成。

53、本發(fā)明的有益效果在于，與現(xiàn)有技術(shù)相比，

54、本專利提出一種基于自編碼器的電力無人機巡檢邊側(cè)設(shè)備缺陷識別方法及系統(tǒng)，該方法采用輕量化的設(shè)計，實現(xiàn)在邊緣設(shè)備上快速推理；模型中引入了自編碼器的思想，將原來的主干網(wǎng)絡(luò)看作是編碼器，增加了解碼器，圖像自編碼器的訓練目標是最小化重構(gòu)誤差，即使得解碼器的輸出盡可能接近輸入數(shù)據(jù)。通過限制編碼器和解碼器之間的信息流動，模型能夠?qū)W習到輸入數(shù)據(jù)的緊湊表示，這些表示通常具有比原始數(shù)據(jù)更高層次的抽象特征，但又保留了豐富的原始數(shù)據(jù)信息使解碼器能夠根據(jù)這些信息恢復原始數(shù)據(jù)。根據(jù)主干網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計了一種相應(yīng)的解碼器網(wǎng)絡(luò)結(jié)構(gòu)，增加的解碼器和網(wǎng)絡(luò)的部分相對獨立，在推理成中可以移除，加快模型的推理速度，并且不影響模型精度。檢測器中使用無錨點檢測頭，能夠更準確地預(yù)測目標的邊界框，因為它不再受限于預(yù)設(shè)錨點框的約束。這有助于模型在處理各種形狀和大小的目標時表現(xiàn)出更高的精度。