本發(fā)明涉及絕緣子缺陷檢測方法，具體為基于特征提取和跨尺度融合的絕緣子缺陷檢測方法。

背景技術(shù)：

1、絕緣子缺陷檢測方法主要有基于卷積神經(jīng)網(wǎng)絡(luò)和基于變壓器兩種主要結(jié)構(gòu)。基于卷積神經(jīng)網(wǎng)絡(luò)的檢測方法由以基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)為主的兩階段方法發(fā)展到更簡潔高效的一階段方法。一階段算法的工作流程通常包括預(yù)處理、特征提取、分類與定位以及后處理四個主要步驟。首先，對輸入圖像進(jìn)行必要的預(yù)處理操作，如調(diào)整大小、歸一化等，以適應(yīng)網(wǎng)絡(luò)輸入的要求。隨后，利用深度卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力，從圖像中抽象出高層次的特征表示。在特征圖上，算法會預(yù)設(shè)一系列錨點，這些錨點作為參考框，用于覆蓋圖像中可能存在的物體。每個錨點都會經(jīng)歷兩個并行分支的處理：分類分支負(fù)責(zé)預(yù)測錨點內(nèi)是否包含特定類別的物體，而邊界框回歸分支則負(fù)責(zé)調(diào)整錨點的位置和大小，以更精確地匹配物體的實際邊界。由于一階段算法直接在整個特征圖上進(jìn)行預(yù)測，因此會產(chǎn)生大量的候選邊界框。為了去除冗余和重疊的邊界框，算法通常采用非極大值抑制等后處理技術(shù)，保留得分最高的邊界框作為最終的檢測結(jié)果。相較于一階段算法，二階段目標(biāo)檢測算法在追求檢測準(zhǔn)確性的道路上走得更遠(yuǎn)。二階段算法的工作流程包括候選區(qū)域生成、特征提取、分類與定位以及后處理四個步驟。首先，利用區(qū)域提議方法(如選擇性搜索、區(qū)域提議網(wǎng)絡(luò))從圖像中提取出可能包含物體的候選區(qū)域。這些候選區(qū)域作為后續(xù)處理的輸入，大大減少了需要處理的圖像區(qū)域范圍。接著，對每個候選區(qū)域進(jìn)行特征提取。與一階段算法類似，這里也采用卷積神經(jīng)網(wǎng)絡(luò)來提取候選區(qū)域的特征表示。然后，在提取的特征上應(yīng)用分類器和邊界框回歸器，分別確定候選區(qū)域的類別和精確位置。最后，通過非極大值抑制等后處理技術(shù)去除重疊的邊界框，得到最終的檢測結(jié)果。

2、與基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法不同的是，基于變壓器的目標(biāo)檢測方法取消了非最大值抑制處理，并進(jìn)一步發(fā)展到實時端到端的目標(biāo)檢測模型?；谧儔浩鞯哪繕?biāo)檢測方法巧妙地結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)和變壓器的優(yōu)勢，為目標(biāo)檢測任務(wù)提供了一個全新的視角。首先，卷積神經(jīng)網(wǎng)絡(luò)作為特征提取器，負(fù)責(zé)從輸入圖像中提取出高層次的特征表示。這些特征圖不僅包含了豐富的空間信息，還蘊(yùn)含了圖像的紋理、顏色等底層特征。隨后，這些特征圖被送入變壓器的編碼器部分，編碼器通過自注意力機(jī)制，進(jìn)一步挖掘特征圖中不同位置之間的全局依賴關(guān)系，增強(qiáng)模型對圖像內(nèi)容的整體理解。在解碼器階段，基于變壓器的目標(biāo)檢測器采用了與自然語言處理中變壓器相似的結(jié)構(gòu)，但目標(biāo)是為了生成目標(biāo)檢測結(jié)果。解碼器的輸入包括一系列可學(xué)習(xí)的目標(biāo)查詢，這些查詢可以理解為對圖像中潛在目標(biāo)的“提問”。解碼器通過交叉注意力機(jī)制，將編碼器輸出的特征圖與這些目標(biāo)查詢相結(jié)合，逐步細(xì)化每個目標(biāo)的類別預(yù)測和邊界框回歸。最終，通過一次前向傳播，基于變壓器的目標(biāo)檢測方法就能直接輸出圖像中所有目標(biāo)的檢測結(jié)果，無需像傳統(tǒng)方法那樣依賴復(fù)雜的后處理步驟。

3、然而，基于卷積神經(jīng)網(wǎng)絡(luò)的檢測方法在特征提取階段和在特征融合階段直接所用輕量級卷積和輕量級骨干網(wǎng)絡(luò)會降低模型對絕緣子缺陷的檢測精度?；谧儔浩鞯臋z測方法在特征提取階段直接使用輕量級的骨干網(wǎng)絡(luò)無法滿足高準(zhǔn)確率的檢測要求。同時在特征融合階段使用注意力機(jī)制會增加模型的參數(shù)，不滿足輕量化的需求。因此，基于變壓器的檢測方法需要一個輕量高效的特征提取網(wǎng)絡(luò)以及一個在性能和參數(shù)保持平衡的特征融合方案。鑒于此，本發(fā)明提出一種基于特征提取和跨尺度融合的絕緣子缺陷檢測方法以解決上述問題。

技術(shù)實現(xiàn)思路

1、1、本發(fā)明要解決的技術(shù)問題

2、本發(fā)明的目的在于提出基于特征提取和跨尺度融合的絕緣子缺陷檢測方法以解決背景技術(shù)中該所提出的問題。本發(fā)明設(shè)計了一個更高效和輕量的特征提取結(jié)構(gòu)(快速多尺度提取模塊)以解決檢測方法在特征提取階段特征提取能力不足的問題；同時還設(shè)計了更輕量的融合模塊(高效特征融合模塊)和更高效的融合網(wǎng)絡(luò)(交叉加權(quán)雙向特征金字塔網(wǎng))以解決現(xiàn)有檢測方法在特征融合階段模型參數(shù)較大的問題。

3、2、技術(shù)方案

4、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

5、基于特征提取和跨尺度融合的絕緣子缺陷檢測方法，通過訓(xùn)練獲得一個缺陷檢測模型，以尋找所檢測絕緣子圖像中存在的缺陷，所述方法包括以下步驟：

6、s1、輸入圖像數(shù)據(jù)集以及相對應(yīng)的標(biāo)簽數(shù)據(jù)集：給定絕緣子圖像數(shù)據(jù)集，所述數(shù)據(jù)集包含原始圖像和與之一一對應(yīng)的標(biāo)簽文件；對數(shù)據(jù)集中的原始圖像進(jìn)行拼接操作，然后對拼接后的圖像進(jìn)行縮放操作，將其調(diào)整為統(tǒng)一尺寸；通過有監(jiān)督學(xué)習(xí)任務(wù)的訓(xùn)練和評估，利用已有的標(biāo)簽文件中的標(biāo)注信息，訓(xùn)練出一個識別圖像缺陷類型的神經(jīng)網(wǎng)絡(luò)模型；使用一組預(yù)設(shè)定的錨框以預(yù)測不同尺寸和長寬比的目標(biāo)，在模型訓(xùn)練過程中，根據(jù)目標(biāo)的實際尺寸和長寬比，自適應(yīng)調(diào)整錨框的大??；

7、s2、特征提?。涸O(shè)計一個輕量級快速多尺度提取模塊，對輸入圖像進(jìn)行卷積和池化操作，將原始輸入圖像轉(zhuǎn)化為多層特征圖，提取具有豐富語義信息的特征表示，將最終的輸出特征圖表征絕緣子缺陷的位置和類別；

8、s3、特征融合：設(shè)計一個高效特征融合模塊，將不同層級的特征圖結(jié)合起來，生成具有多尺度信息的特征圖，以提高目標(biāo)檢測的準(zhǔn)確率，具體包括如下內(nèi)容：

9、s3.1、將特征融合過程分為自頂向下和自下向上兩個部分；

10、s3.2、通過上采樣操作和下采樣操作將不同層次的特征圖融合在一起，生成交叉加權(quán)雙向特征金字塔網(wǎng)絡(luò)；

11、s3.3、對自頂向下部分和自下向上部分的特征圖進(jìn)行融合，得到最終的特征圖，用于絕緣子缺陷檢測；

12、s4、解碼：通過交并比感知查詢選擇，從交叉加權(quán)雙向特征金字塔網(wǎng)絡(luò)的輸出中選擇圖像特征；最后，通過解碼頭獲得目標(biāo)的置信度分?jǐn)?shù)和邊界框。

13、優(yōu)選地，所述s2具體包括如下內(nèi)容：

14、s2.1、快速多尺度特征提取模塊通過部分卷積對輸入的圖像特征進(jìn)行初始的輕量卷積操作，部分卷積選擇一個通道子集進(jìn)行卷積操作，剩余通道保持不變；部分卷積的輸出的函數(shù)表示為：

15、pout＝gpconv(fx,cp,n)

16、其中，fx表示輸入特征；pout表示部分卷積之后的輸出；gpconv(·)表示部分卷積操作；cp表示實際進(jìn)行卷積操作的通道，n的值為cp/c；

17、s2.2、部分卷積完成后，使用多層感知機(jī)學(xué)習(xí)更復(fù)雜的特征表征，并通過正則化技術(shù)提高神經(jīng)網(wǎng)絡(luò)模型的泛化能力；

18、s2.3、通過輕量級注意力模塊增強(qiáng)神經(jīng)網(wǎng)絡(luò)模型復(fù)雜特征的提取能力，快速多尺度提取模塊的最終輸出的函數(shù)表示為：

19、fout＝gema(gdroppath(gmlp(pout)))

20、其中，fout表示經(jīng)過快速多尺度提取模塊增強(qiáng)后的特征；gmlp(·)表示多層感知機(jī)；gdroppath(·)表示正則化技術(shù)；gema(·)表示高效多尺度注意力模塊。

21、優(yōu)選地，所述高效特征融合模塊包括具體指高效語義和細(xì)節(jié)融合模塊，其負(fù)責(zé)兩層以上的特征融合，具體實現(xiàn)流程如下：

22、(1)假設(shè)存在k個不同尺寸的輸入特征，高效語義和細(xì)節(jié)融合模塊的強(qiáng)化融合過程的函數(shù)表示為：

23、

24、其中，表示高效語義和細(xì)節(jié)融合模塊的第k個輸入；multiply(·)

25、為逐元素乘法；gghostconv(·)為輕量級的幽靈卷積；

26、強(qiáng)化融合過程具體表示為：高效語義和細(xì)節(jié)融合模塊首先通過resize(·)操作將k個輸入的尺寸統(tǒng)一為第一個輸入的特征尺寸大??；對于處理后的每個相同尺寸的特征，高效語義和細(xì)節(jié)融合模塊通過輕量級的幽靈卷積gghostconv(·)增強(qiáng)語義信息的流通和融合；最后，通過高效的逐元素乘法multiply(·)融合所有的特征，保留重要的空間信息和細(xì)節(jié)特征；

27、(2)令高效語義和細(xì)節(jié)融合模塊的輸出為iout，卷積層完成二次特征增強(qiáng)，得到輸出結(jié)果cout，該過程的函數(shù)表示為：

28、cout＝gsilu(gbn(conv1(iout)))

29、其中，conv1(·)表示卷積核大小為1×1的卷積操作；gbn(·)和gsilu(·)分別表示歸一化層和silu激活函數(shù)；

30、(3)在訓(xùn)練階段使用多分支的卷積層完成重參化卷積操作；在推理階段進(jìn)行重參化卷積時，將分支的參數(shù)重參數(shù)化到主分支上，形成一個等價的單一卷積層，以減少內(nèi)存消耗；將步驟(2)中所得的cout經(jīng)過三次重參化卷積操作以持續(xù)增強(qiáng)關(guān)鍵特征，得到輸出rout，該過程的函數(shù)表示為：

31、eout＝gsilu(gbn(conv1(add(cout，rout))))

32、其中，eout表示高效特征融合模塊融合多層特征輸入后的強(qiáng)化特征輸出；add(fx，fx)表示兩個特征的逐元素相加。

33、優(yōu)選地，所述交叉加權(quán)雙向特征金字塔網(wǎng)絡(luò)將自頂向下和自底而上的雙向路徑擴(kuò)充為三向路徑，在自頂向下路徑之前增加一條路徑對輸入進(jìn)行預(yù)處理，增強(qiáng)輸入的有用特征，將新增路徑節(jié)點連接到同一層的自底而上路徑的節(jié)點，加強(qiáng)相鄰路徑之間的信息傳遞；在同一路徑下的兩個相鄰層之間增加了一個簡易層來降低跨層次融合產(chǎn)生的信息丟失。

34、3、有益效果

35、(1)本發(fā)明提出了一個新的快速多尺度提取模塊，其結(jié)合了部分卷積和高效多尺度注意力模塊的優(yōu)勢，削減了骨干網(wǎng)絡(luò)中冗余的卷積計算，大大提高了網(wǎng)絡(luò)的特征提取能力。

36、(2)本發(fā)明提出了一個高效特征融合模塊來有效融合不同層次的特征信息。高效特征融合模塊通過新的高效語義和細(xì)節(jié)融合模塊來增強(qiáng)每個輸入層的特征信息，有效恢復(fù)特征圖中的關(guān)鍵細(xì)節(jié)特征。同時采用模型重參化技術(shù)來減少內(nèi)存消耗，提高特征融合效率。

37、(3)本發(fā)明設(shè)計了一個新的交叉加權(quán)雙向特征金字塔網(wǎng)，通過多次加權(quán)融合了更多的特征，進(jìn)一步提高了模型的檢測精度。

38、(4)本發(fā)明設(shè)計了一個高效輕量的絕緣子缺陷檢測模型，其通過多種高效輕量的設(shè)計實現(xiàn)復(fù)雜環(huán)境下的絕緣子缺陷檢測。本發(fā)明的檢測模型在開源的合成霧絕緣子數(shù)據(jù)集和自制絕緣子數(shù)據(jù)集的大量實驗中都表現(xiàn)出良好的絕緣子缺陷檢測能力。

39、(5)為了解決現(xiàn)有絕緣子數(shù)據(jù)集質(zhì)量低、與真實環(huán)境不符的問題，本發(fā)明在野外采集了大量絕緣子缺陷圖像。經(jīng)過篩選和標(biāo)注，本發(fā)明在實施例中構(gòu)建了一個名為“自制絕緣子數(shù)據(jù)集”的數(shù)據(jù)集，其中包含2312張絕緣子圖像，并標(biāo)注了破損等缺陷類型。自制絕緣子數(shù)據(jù)集中的絕緣子圖像背景復(fù)雜，包含樹木、草地、農(nóng)田和鐵塔。此外，絕緣子缺陷的大小涵蓋了大、中、小三種，這使得自制絕緣子數(shù)據(jù)集具有很強(qiáng)的多樣性和代表性。