本發(fā)明涉及電力設(shè)備關(guān)鍵電力設(shè)備目標(biāo)檢測(cè)領(lǐng)域，更具體地，涉及一種基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)方法及裝置。

背景技術(shù)：

近幾年，保障輸電線路的可靠性及運(yùn)行情況成為建設(shè)智能電網(wǎng)的重要內(nèi)容。變電設(shè)備的安全運(yùn)行是保障電力系統(tǒng)穩(wěn)定和安全的前提。絕緣子作為電力輸電線路不可缺少的絕緣元件，它的運(yùn)行狀況直接影響電網(wǎng)的可靠性和安全性。同時(shí)絕緣子在輸電線路中起到電氣絕緣及支撐的作用；而且它表面的污穢、裂紋、破損等問(wèn)題嚴(yán)重威脅輸電線路的安全運(yùn)行。根據(jù)統(tǒng)計(jì)，目前電力系統(tǒng)故障中所占比例最高的事故是由絕緣子缺陷引起的。因此對(duì)絕緣子的狀況進(jìn)行監(jiān)測(cè)，及時(shí)完成故障診斷尤為重要。

目前，巡檢機(jī)器人和無(wú)人機(jī)已經(jīng)成為電力巡檢的重要方式，利用平臺(tái)上裝載的攝像頭獲取了大量的絕緣子圖像信息，如果對(duì)這些海量圖像采用工作人員肉眼判讀，不僅工作量大，容易發(fā)生漏判和誤判現(xiàn)象，而且難以準(zhǔn)確發(fā)現(xiàn)絕緣子存在的安全隱患。而實(shí)現(xiàn)故障自動(dòng)檢測(cè)的重要前提是識(shí)別和定位圖像中的絕緣子，因此研究絕緣子的自動(dòng)檢測(cè)方法是非常必要的。

由于巡檢機(jī)器人和無(wú)人機(jī)拍攝的絕緣子圖片背景復(fù)雜，傳統(tǒng)檢測(cè)絕緣子的方法大多需要人工逐個(gè)檢測(cè)，這樣不僅耗費(fèi)大量人力物力而且還容易引起人員傷亡，容易出現(xiàn)漏判和誤判等現(xiàn)象。

目前，雖然出現(xiàn)了一些有關(guān)絕緣子的自動(dòng)識(shí)別方法，但是這些方法要么因?yàn)樽冸娬緢D像背景復(fù)雜，圖像中存在和絕緣子形狀相似的其他電力設(shè)備，如電流互感器和避雷器等，容易產(chǎn)生誤識(shí)別的結(jié)果；要么當(dāng)數(shù)據(jù)量增大時(shí)，會(huì)大大增加計(jì)算復(fù)雜度和計(jì)算時(shí)間，達(dá)不到實(shí)時(shí)檢測(cè)的要求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)方法及裝置。

根據(jù)本發(fā)明的一個(gè)方面，提供一種基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)方法，包括：

利用巡檢機(jī)器人拍攝變電站的輸電線路圖像；

利用rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)訓(xùn)練的共享卷積神經(jīng)網(wǎng)絡(luò)獲取輸電線路圖像中絕緣子的最佳位置。

本發(fā)明提出一種基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)方法，利用共享部分卷積層和池化層的rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的共享卷積神經(jīng)網(wǎng)絡(luò)，檢測(cè)輸電線路圖像中的絕緣子；相對(duì)于現(xiàn)有技術(shù)可以減小計(jì)算復(fù)雜度，達(dá)到對(duì)復(fù)雜背景下絕緣子的實(shí)時(shí)檢測(cè)，實(shí)現(xiàn)了機(jī)器人巡檢圖像中絕緣子的精確識(shí)別和定位。

進(jìn)一步，所述共享卷積神經(jīng)網(wǎng)絡(luò)通過(guò)以下步驟得到：

s1，利用輸電線路圖像訓(xùn)練樣本集對(duì)rpn網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，采用不同比例和不同大小的映射機(jī)制，獲取第一粗候選區(qū)域及初始rpn網(wǎng)絡(luò)；

s2，利用所述第一粗候選區(qū)域?qū)astr-cnn網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，獲取初始fastr-cnn網(wǎng)絡(luò)；

s3，保持所述初始fastr-cnn網(wǎng)絡(luò)的卷積層參數(shù)不變，利用所述訓(xùn)練樣本集對(duì)所述初始rpn網(wǎng)絡(luò)進(jìn)行第一參數(shù)微調(diào)，獲得第二粗候選區(qū)域及優(yōu)化rpn網(wǎng)絡(luò)；

s4，保持所述初始fastr-cnn網(wǎng)絡(luò)的卷積層參數(shù)不變，利用所述訓(xùn)練樣本集及所述第二粗候選區(qū)域?qū)λ龀跏糵astr-cnn網(wǎng)絡(luò)進(jìn)行第二參數(shù)微調(diào)，獲得優(yōu)化fastr-cnn網(wǎng)絡(luò)；

其中，所述優(yōu)化rpn網(wǎng)絡(luò)和所述優(yōu)化fastr-cnn共享部分卷積層和池化層，從而獲得共享卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步，所述s1進(jìn)一步包括：

s1.1，構(gòu)建包含6個(gè)卷積層、2個(gè)池化層、1個(gè)分類層和1個(gè)邊框回歸層的rpn網(wǎng)絡(luò)；

s1.2，將所述訓(xùn)練樣本集輸入所述rpn網(wǎng)絡(luò)，通過(guò)卷積層提取特征，通過(guò)池化層映射特征，獲得第七層的特征圖為第一特征圖，采用不同比例和不同大小的映射機(jī)制生成不同大小不同比例的anchorboxes；

s1.3，基于所述anchorboxes，按照第一預(yù)設(shè)規(guī)則選取正樣本和負(fù)樣本，將所述正樣本和負(fù)樣本對(duì)應(yīng)的特征統(tǒng)一成相同大小后輸入分類層和邊框回歸層獲取所述第一粗候選區(qū)域，得到初始rpn網(wǎng)絡(luò)。

進(jìn)一步，所述s2進(jìn)一步包括：

s2.1，構(gòu)建包含5個(gè)卷積層、2個(gè)池化層、1個(gè)roi池化層、1個(gè)分類層和1個(gè)邊框回歸層的fastr-cnn網(wǎng)絡(luò)；

s2.2，將所述訓(xùn)練樣本集輸入所述fastr-cnn網(wǎng)絡(luò)，經(jīng)過(guò)卷積層提取特征，池化層映射特征，獲取最后一個(gè)卷積層的特征為第二特征圖；

s2.3，將所述粗候選區(qū)域映射到所述第二特征圖上，通過(guò)所述roi池化層將所述第二特征圖上的每個(gè)特征調(diào)整為固定大??；

s2.4，將所述每個(gè)特征輸入分類層和邊框回歸層，按照第二預(yù)設(shè)規(guī)則選擇正樣本和負(fù)樣本，并利用隨機(jī)梯度下降法和反向傳播算法更新所述fastr-cnn網(wǎng)絡(luò)的每層網(wǎng)絡(luò)的權(quán)值，獲得初始fastr-cnn網(wǎng)絡(luò)。

進(jìn)一步，s1中對(duì)prn網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練和s3中所述第一參數(shù)微調(diào)包括：

將訓(xùn)練樣本集輸入所述初始rpn網(wǎng)絡(luò)，利用反向傳播法和梯度下降法更新所述初始rpn網(wǎng)絡(luò)的最后一個(gè)卷積層、分類層及邊框回歸層的權(quán)值；

s2中對(duì)fastr-cnn網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練和s4中所述第二參數(shù)微調(diào)包括：

將所述粗候選區(qū)域輸入fastr-cnn網(wǎng)路，利用梯度下降法和反向傳播算法更新所述初始fastr-cnn網(wǎng)絡(luò)中roi池化層、分類層及邊框回歸層的權(quán)值。

進(jìn)一步，所述s1.2中rpn網(wǎng)絡(luò)的卷積層和所述s2.2中fastr-cnn網(wǎng)絡(luò)的卷積層，分別通過(guò)下式提取特征：

所述池化層通過(guò)下式映射特征：

其中，表示第l層的輸入特征圖；

表示每一層輸出的特征圖；，l∈{1,2,3,4,5,6}表示層數(shù)，k為卷積核，b為偏值，down()為抽樣函數(shù)，β表示池化層的權(quán)值，激活函數(shù)為

s1.2中所述生成不同大小不同比例的anchorboxes包括：

利用3*3的滑窗依次在第七層輸出的所述第一特征圖上滑動(dòng)，將滑窗中心點(diǎn)映射到原圖；

選取中心點(diǎn)四周像素面積分別為128²、256²和512²，長(zhǎng)寬比例分別為1:1、1:2和2:1的9個(gè)anchorboxes，將每個(gè)anchorbox映射為256維的向量。

進(jìn)一步，所述s1.3中rpn網(wǎng)絡(luò)的分類層的分類函數(shù)和所述s2.4中fastr-cnn網(wǎng)絡(luò)的分類層的分類函數(shù)，為下式的softmax函數(shù)：

其中，p(i)為所屬類別概率，為模型參數(shù)，x為輸入，k為分類類別數(shù)。

邊框回歸層利用下式調(diào)整每個(gè)anchorbox區(qū)域：

其中，x和y表示每個(gè)絕緣子框的中心點(diǎn)坐標(biāo)，w和h表示每個(gè)絕緣子框的長(zhǎng)和寬，t表示預(yù)測(cè)框；

其中，x、y、w和h為預(yù)測(cè)框的中心點(diǎn)坐標(biāo)、長(zhǎng)和寬，xa、ya、wa和ha表示候選區(qū)域框的中心點(diǎn)坐標(biāo)、長(zhǎng)和寬，x^*、y^*、w^*、h^*表示真實(shí)框的中心點(diǎn)坐標(biāo)、長(zhǎng)和寬。

進(jìn)一步，s1中對(duì)prn網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練和s3中所述第一參數(shù)微調(diào)過(guò)程中的損失函數(shù)為：

其中，qi為anchor預(yù)測(cè)為目標(biāo)的概率，為0或1，若是正樣本為1，若是負(fù)樣本為0；ti＝{tx,ty,tw,th}表示預(yù)測(cè)的boundingbox的4個(gè)參數(shù)化坐標(biāo)，lcls為兩個(gè)類別(目標(biāo)及非目標(biāo))的對(duì)數(shù)損失，lreg為回歸損失。

進(jìn)一步，s2中對(duì)fastr-cnn網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練和s4中所述第二參數(shù)微調(diào)過(guò)程中的損失函數(shù)為：

l(p,u,t^u,v)＝lcls(p,u)+λ[u≥1]lloc(t^u,v)

其中，lcls為分類層損失函數(shù)，lcls＝-logpu；

lloc為邊框定位的損失函數(shù)，其中，

v＝(vx,vy,vw,vh)代表預(yù)測(cè)絕緣子框的坐標(biāo)，代表真實(shí)絕緣子框的坐標(biāo)。

根據(jù)本發(fā)明的另一方面，還提供一種基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)裝置，包括：

圖像獲取模塊，用于利用巡檢機(jī)器人拍攝變電站的輸電線路圖像；以及

絕緣子檢測(cè)模塊，用于利用rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)訓(xùn)練的共享卷積神經(jīng)網(wǎng)絡(luò)獲取所述輸電線路圖像中絕緣子的最佳位置。

本發(fā)明提出一種基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)方法及裝置，首先通過(guò)巡檢機(jī)器人拍攝變電站的輸電線路，以獲取輸電線路圖像；然后利用共享部分卷積層和池化層的rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的共享卷積神經(jīng)網(wǎng)絡(luò)，檢測(cè)輸電線路圖像中的絕緣子；相對(duì)于現(xiàn)有技術(shù)可以減小計(jì)算復(fù)雜度，達(dá)到對(duì)復(fù)雜背景下絕緣子的實(shí)時(shí)檢測(cè)，實(shí)現(xiàn)了機(jī)器人巡檢圖像中絕緣子的精確識(shí)別和定位。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例一種基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)方法示意圖；

圖2為本發(fā)明實(shí)施例獲取共享卷積神經(jīng)網(wǎng)絡(luò)的步驟示意圖；

圖3為本發(fā)明實(shí)施例共享卷積神經(jīng)網(wǎng)絡(luò)示意圖；

圖4為本發(fā)明實(shí)施例檢測(cè)絕緣子結(jié)果示意圖；

圖5為本發(fā)明實(shí)施例檢測(cè)絕緣子結(jié)果召回率和正確率示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述。以下實(shí)施例用于說(shuō)明本發(fā)明，但不用來(lái)限制本發(fā)明的范圍。

近幾年，隨著人工智能的發(fā)展，深度學(xué)習(xí)越來(lái)越多的應(yīng)用于物體分類，語(yǔ)音識(shí)別，目標(biāo)檢測(cè)等領(lǐng)域，并取得了突破性的進(jìn)展。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)網(wǎng)絡(luò)的一種，被廣泛應(yīng)用于圖像處理中。它能夠自動(dòng)提取圖像的特征信息，有利于分類和目標(biāo)檢測(cè)，使得檢測(cè)結(jié)果更加準(zhǔn)確，能夠達(dá)到實(shí)時(shí)檢測(cè)的標(biāo)準(zhǔn)，為以后判斷絕緣子的故障打下基礎(chǔ)。

如圖1所示，一種基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)方法，包括：

利用巡檢機(jī)器人拍攝變電站的輸電線路圖像；

利用rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)訓(xùn)練的共享卷積神經(jīng)網(wǎng)絡(luò)獲取輸電線路圖像中絕緣子的最佳位置。

本實(shí)施例提出一種基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)方法，首先通過(guò)巡檢機(jī)器人拍攝變電站的輸電線路，以獲取輸電線路圖像；然后利用共享部分卷積層和池化層的rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的共享卷積神經(jīng)網(wǎng)絡(luò)，檢測(cè)輸電線路圖像中的絕緣子；相對(duì)于現(xiàn)有技術(shù)可以減小計(jì)算復(fù)雜度，達(dá)到對(duì)復(fù)雜背景下絕緣子的實(shí)時(shí)檢測(cè)，實(shí)現(xiàn)了機(jī)器人巡檢圖像中絕緣子的精確識(shí)別和定位。

本實(shí)施例所述rpn網(wǎng)絡(luò)和所述fastr-cnn網(wǎng)絡(luò)均為卷積神經(jīng)網(wǎng)絡(luò)，所述共享卷積神經(jīng)網(wǎng)絡(luò)為所述rpn網(wǎng)絡(luò)和所述fastr-cnn網(wǎng)絡(luò)通過(guò)共享部分網(wǎng)絡(luò)層而得到的卷積神經(jīng)網(wǎng)絡(luò)。

如圖2所示，在一個(gè)實(shí)施例中，所述共享卷積神經(jīng)網(wǎng)絡(luò)通過(guò)以下步驟得到：

s1，利用輸電線路圖像訓(xùn)練樣本集對(duì)rpn網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，采用不同比例和不同大小的映射機(jī)制，獲取第一粗候選區(qū)域及初始rpn網(wǎng)絡(luò)；

s2，利用所述第一粗候選區(qū)域?qū)astr-cnn網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，獲取初始fastr-cnn網(wǎng)絡(luò)；

s3，保持所述初始fastr-cnn網(wǎng)絡(luò)的卷積層參數(shù)不變，利用所述訓(xùn)練樣本集對(duì)所述初始rpn網(wǎng)絡(luò)進(jìn)行第一參數(shù)微調(diào)，獲得第二粗候選區(qū)域及優(yōu)化rpn網(wǎng)絡(luò)；

s4，保持所述初始fastr-cnn網(wǎng)絡(luò)的卷積層參數(shù)不變，利用所述訓(xùn)練樣本集及所述第二粗候選區(qū)域?qū)λ龀跏糵astr-cnn網(wǎng)絡(luò)進(jìn)行第二參數(shù)微調(diào)，獲得優(yōu)化fastr-cnn網(wǎng)絡(luò)；

其中，所述優(yōu)化rpn網(wǎng)絡(luò)和所述優(yōu)化fastr-cnn共享部分卷積層和池化層，從而獲得共享卷積神經(jīng)網(wǎng)絡(luò)。

本實(shí)施例中，首先利用訓(xùn)練樣本集分別對(duì)rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)進(jìn)行單獨(dú)訓(xùn)練得到初始rpn網(wǎng)絡(luò)和初始fastr-cnn網(wǎng)絡(luò)；再次利用初始fastr-cnn網(wǎng)絡(luò)和初始rpn網(wǎng)絡(luò)互相進(jìn)行參數(shù)微調(diào)，獲得最終的共享卷積神經(jīng)網(wǎng)絡(luò)。

所述訓(xùn)練樣本集為一定數(shù)量的輸電線路圖像。本實(shí)施例在對(duì)利用訓(xùn)練樣本對(duì)rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，首先用labelimg軟件標(biāo)注圖像中絕緣子的位置，記錄絕緣子在圖像中左上角和右下角的坐標(biāo)，以及給出絕緣子的標(biāo)簽‘insulator’。

本實(shí)施例的訓(xùn)練網(wǎng)絡(luò)分為兩部分：第一部分，將帶有標(biāo)注的樣本訓(xùn)練集輸入rpn網(wǎng)絡(luò)得到一系列質(zhì)量高、數(shù)量少的絕緣子候選區(qū)域；第二部分，將得到的絕緣子候選區(qū)域輸入fastr-cnn網(wǎng)絡(luò)得到最終絕緣子的最佳位置。

本實(shí)施例中，rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)通過(guò)共享卷積層的參數(shù)，使得檢測(cè)時(shí)計(jì)算量小、精確率高，并且實(shí)現(xiàn)了端到端的檢測(cè)。在變電站背景復(fù)雜的情況下，該方法檢測(cè)性能良好，解決了當(dāng)前絕緣子檢測(cè)的實(shí)時(shí)性問(wèn)題。

在一個(gè)實(shí)施例中，所述s1進(jìn)一步包括：

s1.1，構(gòu)建包含6個(gè)卷積層、2個(gè)池化層、1個(gè)分類層和1個(gè)邊框回歸層的rpn網(wǎng)絡(luò)；

s1.2，將所述訓(xùn)練樣本集輸入所述rpn網(wǎng)絡(luò)，通過(guò)卷積層提取特征，通過(guò)池化層映射特征，獲得第七層的特征圖為第一特征圖，采用不同比例和不同大小的映射機(jī)制生成不同大小不同比例的anchorboxes；

s1.3，基于所述anchorboxes，按照第一預(yù)設(shè)規(guī)則選取正樣本和負(fù)樣本，將所述正樣本和負(fù)樣本對(duì)應(yīng)的特征統(tǒng)一成相同大小后輸入分類層和邊框回歸層獲取所述第一粗候選區(qū)域，得到初始rpn網(wǎng)絡(luò)。

本實(shí)施例中，s1.1所構(gòu)建的rpn網(wǎng)絡(luò)該網(wǎng)絡(luò)由6個(gè)卷積層、2個(gè)池化層、1個(gè)分類層和1個(gè)邊框回歸層構(gòu)成。第一層為卷積層，卷積核的大小為7*7，輸出96個(gè)特征圖；第二層為池化層，核窗口的大小為3*3；第三層為卷積層，卷積核的大小為5*5，輸出256個(gè)特征圖；第四層為池化層，核窗口的大小為3*3；第五、六、七、八層都是卷積層，卷積核的大小均為3*3，輸出特征圖的個(gè)數(shù)依次為384、384、256和256；第九層和第十層并聯(lián)，分別為分類層和邊框回歸層。以上各層連接在一起，就得到用于輸出絕緣子候選區(qū)域的rpn網(wǎng)絡(luò)。

所述rpn網(wǎng)絡(luò)的分類層，用于判斷樣本圖像上的區(qū)域是否為絕緣子候選區(qū)域。

本實(shí)施例所述s1.2之前，還包括對(duì)初始構(gòu)建的rpn網(wǎng)絡(luò)的各層參數(shù)進(jìn)行初始化，包括：用均值為0，標(biāo)準(zhǔn)差為0.01的高斯分布函數(shù)隨機(jī)數(shù)初始化rpn網(wǎng)絡(luò)中的待訓(xùn)練參數(shù)。設(shè)置rpn網(wǎng)絡(luò)的學(xué)習(xí)率為0.01，每迭代5000次將學(xué)習(xí)率除以10，最大迭代次數(shù)為15000。

其中，所述高斯分布函數(shù)如下：

其中，μ為均值，σ為標(biāo)準(zhǔn)差。

本實(shí)施例通過(guò)s1.1構(gòu)建好了10層的rpn網(wǎng)絡(luò)，對(duì)所構(gòu)建的rpn網(wǎng)絡(luò)進(jìn)行初始化；然后實(shí)施s1.2，所述s1.2由卷積層和池化層完成，包括第一層到第八層；然后實(shí)施s1.3，所述s1.3由分類層和邊框回歸層完成，第八層輸出的anchorboxes經(jīng)過(guò)分類層和邊框回歸層進(jìn)行篩選，獲取絕緣子粗候選區(qū)域，同時(shí)得到初始rpn網(wǎng)絡(luò)。

s1.3中所述按照第一預(yù)設(shè)規(guī)則選取正樣本和負(fù)樣本具體為：選取與真實(shí)絕緣子框交集并集之比(iou)大于0.7的區(qū)域?yàn)檎龢颖?，小?.3的區(qū)域?yàn)樨?fù)樣本。

iou＝si/(sa+sb-si)

其中，sa表示真實(shí)絕緣子框的面積，sb表示anchorbox映射到原圖的面積，si表示二者交集的面積。

在一個(gè)實(shí)施例中，所述s2進(jìn)一步包括：

s2.1，構(gòu)建包含5個(gè)卷積層、2個(gè)池化層、1個(gè)roi池化層、1個(gè)分類層和1個(gè)邊框回歸層的fastr-cnn網(wǎng)絡(luò)；

s2.2，將所述訓(xùn)練樣本集輸入所述fastr-cnn網(wǎng)絡(luò)，經(jīng)過(guò)卷積層提取特征，池化層映射特征，獲取最后一個(gè)卷積層的特征為第二特征圖；

s2.3，將所述粗候選區(qū)域映射到所述第二特征圖上，通過(guò)所述roi池化層將所述第二特征圖上的每個(gè)特征調(diào)整為固定大?。?/p>

s2.4，將所述每個(gè)特征輸入分類層和邊框回歸層，按照第二預(yù)設(shè)規(guī)則選擇正樣本和負(fù)樣本，并利用隨機(jī)梯度下降法和反向傳播算法更新所述fastr-cnn網(wǎng)絡(luò)的每層網(wǎng)絡(luò)的權(quán)值，獲得初始fastr-cnn網(wǎng)絡(luò)。

本實(shí)施例中，s2.1所構(gòu)建的fastr-cnn網(wǎng)絡(luò)由5個(gè)卷積層、2個(gè)池化層、1個(gè)roi池化層、1個(gè)分類層和1個(gè)邊框回歸層構(gòu)成。前七層與所述s1.1中rpn網(wǎng)絡(luò)的結(jié)構(gòu)相同，第八層為roi池化層，然后將roi池化層的輸出分別送入邊框回歸層和分類層，得到最終的fastr-cnn網(wǎng)絡(luò)。

同樣的，本實(shí)施例在s2.2之前，對(duì)fastr-cnn網(wǎng)絡(luò)進(jìn)行初始化，包括：用均值為0，標(biāo)準(zhǔn)差為0.01的高斯分布函數(shù)隨機(jī)數(shù)初始網(wǎng)絡(luò)中的待訓(xùn)練參數(shù)。設(shè)置網(wǎng)絡(luò)的學(xué)習(xí)率為0.01，每迭代10000次將學(xué)習(xí)率除以10，最大迭代次數(shù)為30000。本實(shí)施例所述高斯分布函數(shù)與s1.1中rpn網(wǎng)絡(luò)初始化的高斯分布函數(shù)相同。

本實(shí)施例，通過(guò)s2.1構(gòu)建fastr-cnn網(wǎng)絡(luò)，進(jìn)行初始化后，實(shí)施s2.2、s2.3和s2.4。具體為：將訓(xùn)練樣本集輸入所述fastr-cnn網(wǎng)絡(luò)，經(jīng)過(guò)卷積層和池化層進(jìn)行逐層運(yùn)算，得到特征；然后將s1中rpn網(wǎng)絡(luò)得到的絕緣子候選區(qū)域映射到第七層卷積層得到的特征圖上，通過(guò)roi池化層將每個(gè)特征固定為統(tǒng)一大小。然后將所有特征送入fastr-cnn網(wǎng)絡(luò)的分類層和邊框回歸層。

本實(shí)施例s2.4所述按照第二預(yù)設(shè)規(guī)則選擇正樣本和負(fù)樣本具體為：選取與真實(shí)絕緣子框交集并集之比大于等于0.5的為正樣本，其余的為負(fù)樣本。

在一個(gè)實(shí)施例中，s1中對(duì)prn網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練和s3中所述第一參數(shù)微調(diào)包括：

將訓(xùn)練樣本集輸入所述初始rpn網(wǎng)絡(luò)，利用反向傳播法和梯度下降法更新所述初始rpn網(wǎng)絡(luò)的最后一個(gè)卷積層、分類層及邊框回歸層的權(quán)值；

本實(shí)施例中，將訓(xùn)練好的初始fastr-cnn網(wǎng)絡(luò)模型卷積層的參數(shù)保持不變，用于微調(diào)所述初始rpn網(wǎng)絡(luò)。將訓(xùn)練樣本集輸入所述初始rpn網(wǎng)絡(luò)，此時(shí)只需要利用反向傳播法和梯度下降法更新所述初始rpn網(wǎng)絡(luò)最后一個(gè)卷積層和分類層及邊框回歸層的權(quán)值，從而得到訓(xùn)練好的所述優(yōu)化rpn網(wǎng)絡(luò)。

s2中對(duì)fastr-cnn網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練和s4中所述第二參數(shù)微調(diào)包括：

將所述粗候選區(qū)域輸入fastr-cnn網(wǎng)路，利用梯度下降法和反向傳播算法更新所述初始fastr-cnn網(wǎng)絡(luò)中roi池化層、分類層及邊框回歸層的權(quán)值。

本實(shí)施例中，將所述初始rpn網(wǎng)絡(luò)輸出的候選區(qū)域送入所述初始fastr-cnn網(wǎng)路，保持所述初始fastr-cnn網(wǎng)絡(luò)模型的卷積層參數(shù)保持不變，利用梯度下降法和反向傳播算法更新fastr-cnn網(wǎng)絡(luò)中roi池化層和分類層及邊框回歸層的權(quán)值，此時(shí)得到訓(xùn)練好的所述優(yōu)化fasterr-cnn網(wǎng)路，用于絕緣子的精確檢測(cè)。

在一個(gè)實(shí)施例中，所述s1.2中rpn網(wǎng)絡(luò)的卷積層和所述s2.2中fastr-cnn網(wǎng)絡(luò)的卷積層，分別通過(guò)下式提取特征：

所述池化層通過(guò)下式映射特征：

其中，表示第l層的輸入特征圖；

表示每一層輸出的特征圖；l∈{1,2,3,4,5,6}表示層數(shù)，k為卷積核，b為偏值，down()為抽樣函數(shù)，β表示池化層的權(quán)值，激活函數(shù)為

s1.2中所述生成不同大小不同比例的anchorboxes包括：

利用3*3的滑窗依次在第七層輸出的所述第一特征圖上滑動(dòng)，將滑窗中心點(diǎn)映射到原圖；

選取中心點(diǎn)四周像素面積分別為128²、256²和512²，長(zhǎng)寬比例分別為1:1、1:2和2:1的9個(gè)anchorboxes，將每個(gè)anchorbox映射為256維的向量。

在一個(gè)實(shí)施例中，所述s1.3中rpn網(wǎng)絡(luò)的分類層的分類函數(shù)和所述s2.4中fastr-cnn網(wǎng)絡(luò)的分類層的分類函數(shù)，為下式的softmax函數(shù)：

其中，p(i)為所屬類別概率，為模型參數(shù)，x為輸入，k為分類類別數(shù)。

邊框回歸層利用下式調(diào)整每個(gè)anchorbox區(qū)域：

其中，x和y表示每個(gè)絕緣子框的中心點(diǎn)坐標(biāo)，w和h表示每個(gè)絕緣子框的長(zhǎng)和寬，t表示預(yù)測(cè)框；

其中，x、y、w和h為預(yù)測(cè)框的中心點(diǎn)坐標(biāo)、長(zhǎng)和寬，xa、ya、wa和ha表示候選區(qū)域框的中心點(diǎn)坐標(biāo)、長(zhǎng)和寬，x^*、y^*、w^*、h^*表示真實(shí)框的中心點(diǎn)坐標(biāo)、長(zhǎng)和寬。

本實(shí)施例，所述s1.3將第八層的特征向量送入分類層，通過(guò)分類層判斷是否為絕緣子，通過(guò)邊框回歸層調(diào)整絕緣子邊框位置。

本實(shí)施例所述s1.3還包括：利用反向傳播算法和隨機(jī)梯度下降法，更新每層的權(quán)值，更新過(guò)程中的損失函數(shù)與所述s3中所述第一參數(shù)微調(diào)的損失函數(shù)相同。

在一個(gè)實(shí)施例中，s1中對(duì)prn網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練和s3中所述第一參數(shù)微調(diào)過(guò)程中的損失函數(shù)為：

其中，qi為anchor預(yù)測(cè)為目標(biāo)的概率，為0或1，若是正樣本為1，若是負(fù)樣本為0；ti＝{tx,ty,tw,th}表示預(yù)測(cè)的boundingbox的4個(gè)參數(shù)化坐標(biāo)，lcls為兩個(gè)類別(目標(biāo)及非目標(biāo))的對(duì)數(shù)損失，lreg為回歸損失。

本實(shí)施例中的損失函數(shù)為反向傳播算法和隨機(jī)梯度下降法調(diào)整rpn網(wǎng)絡(luò)權(quán)值過(guò)程中的損失函數(shù)，與所述s1.3中利用反向傳播算法和隨機(jī)梯度下降法得到初始rpn網(wǎng)絡(luò)的損失函數(shù)相同。

在反向傳播過(guò)程中，可以通過(guò)不斷調(diào)節(jié)每層的參數(shù)減少殘差e。

殘差e對(duì)偏值b的導(dǎo)數(shù)為：

殘差對(duì)權(quán)值w的導(dǎo)數(shù)為：

然后利用如下公式更新每層的參數(shù)：

其中，η為學(xué)習(xí)率，表示梯度的下降速度。

在一個(gè)實(shí)施例中，s2中對(duì)fastr-cnn網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練和s4中所述第二參數(shù)微調(diào)過(guò)程中的損失函數(shù)為：

l(p,u,t^u,v)＝lcls(p,u)+λ[u≥1]lloc(t^u,v)

其中，lcls為分類層損失函數(shù)，lcls＝-logpu；

lloc為邊框定位的損失函數(shù)，其中，

v＝(vx,vy,vw,vh)代表預(yù)測(cè)絕緣子框的坐標(biāo)，代表真實(shí)絕緣子框的坐標(biāo)。

本實(shí)施例中的損失函數(shù)為反向傳播算法和隨機(jī)梯度下降法調(diào)整fastr-cnn網(wǎng)絡(luò)權(quán)值過(guò)程中的損失函數(shù)，與所述s2.4中利用反向傳播算法和隨機(jī)梯度下降法得到初始fastr-cnn網(wǎng)絡(luò)的損失函數(shù)相同。

本發(fā)明還提供一種基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)裝置，包括：

圖像獲取模塊，用于利用巡檢機(jī)器人拍攝變電站的輸電線路圖像；以及

絕緣子檢測(cè)模塊，用于利用rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)訓(xùn)練的共享卷積神經(jīng)網(wǎng)絡(luò)獲取所述輸電線路圖像中絕緣子的最佳位置。

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的分析。

如圖3所示，本發(fā)明主要有兩個(gè)網(wǎng)絡(luò)組成，包括rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)。分為兩部分：第一部分，將帶有標(biāo)注的樣本訓(xùn)練集輸入rpn網(wǎng)絡(luò)得到一系列質(zhì)量高、數(shù)量少的絕緣子候選區(qū)域；第二部分，將得到的絕緣子候選區(qū)域輸入fastr-cnn網(wǎng)絡(luò)得到最終絕緣子的最佳位置。

所述第一部分包括以下步驟：

步驟11：標(biāo)注訓(xùn)練樣本，搜集來(lái)自變電站巡檢機(jī)器人拍攝的圖像，用labelimg軟件標(biāo)注圖像中絕緣子的位置，記錄絕緣子在圖像中左上角和右下角的坐標(biāo)，以及給出絕緣子的標(biāo)簽‘insulator’。

步驟12：構(gòu)建rpn網(wǎng)絡(luò)。該網(wǎng)絡(luò)由五個(gè)卷積層，兩個(gè)池化層，一個(gè)分類層(判斷是否為絕緣子候選區(qū)域)，一個(gè)邊框回歸層組成。第一層為卷積層，卷積核的大小為7*7，輸出96個(gè)特征圖，第二層為池化層，核窗口的大小為3*3，第三層為卷積層，卷積核的大小為5*5，輸出256個(gè)特征圖，第四層為池化層，核窗口的大小為3*3，第五、六、七層都是卷積層，卷積核的大小都是3*3，輸出特征圖的個(gè)數(shù)依次為384、384和256。第八層為卷積層，卷積核的大小為3*3，用3*3的滑窗依次在第七層輸出的特征圖上進(jìn)行滑動(dòng)，將滑窗中心點(diǎn)映射到原圖，選取中心點(diǎn)四周像素面積為128²、256²和512²,長(zhǎng)寬比例為1:1、1:2和2:1的9個(gè)anchorboxes，將每個(gè)anchorbox映射為256維的向量，分別輸入到第八層分類層和第九層邊框回歸層。將以上各層連接在一起，就得到用于輸出絕緣子候選區(qū)域的rpn網(wǎng)絡(luò)。

步驟13：對(duì)rpn卷積神經(jīng)網(wǎng)絡(luò)的各層參數(shù)進(jìn)行初始化，用均值為0標(biāo)準(zhǔn)差為0.01的高斯分布函數(shù)隨機(jī)數(shù)初始網(wǎng)絡(luò)中的待訓(xùn)練參數(shù)。

步驟14：將訓(xùn)練樣本集輸入rpn網(wǎng)絡(luò)，利用反向傳播算法和梯度下降法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。選取與真實(shí)絕緣子框交集并集之比大于0.7的區(qū)域?yàn)檎龢颖荆∮?.3的區(qū)域?yàn)樨?fù)樣本。設(shè)置網(wǎng)絡(luò)的學(xué)習(xí)率為0.01，每迭代5000次將學(xué)習(xí)率除以10，最大迭代次數(shù)為15000。得到訓(xùn)練好的rpn網(wǎng)絡(luò)模型。

所述第二部分包括以下步驟：

步驟21：構(gòu)造fastr-cnn絡(luò)。由于rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)有一部分卷積層和池化層是共享的，所以fastr-cnn網(wǎng)絡(luò)是在rpn網(wǎng)絡(luò)第七層的后面加入roi池化層，然后將roi池化層的輸出分別送入邊框回歸層和分類層，得到最終的fastr-cnn網(wǎng)絡(luò)。

步驟22：對(duì)fastr-cnn卷積神經(jīng)網(wǎng)絡(luò)的各層參數(shù)進(jìn)行初始化，用均值為0標(biāo)準(zhǔn)差為0.01的高斯分布函數(shù)隨機(jī)數(shù)初始網(wǎng)絡(luò)中的待訓(xùn)練參數(shù)。

步驟23：將rpn網(wǎng)路得到的絕緣子候選區(qū)域送入fastr-cnn網(wǎng)絡(luò)進(jìn)行訓(xùn)練。利用利用反向傳播算法和梯度下降法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。設(shè)置網(wǎng)絡(luò)的學(xué)習(xí)率為0.01，每迭代5000次將學(xué)習(xí)率除以10，最大迭代次數(shù)為20000。選取與真實(shí)絕緣子框交集并集之比大于等于0.5的為正樣本，其余的為負(fù)樣本。通過(guò)不斷地訓(xùn)練優(yōu)化，得到訓(xùn)練好的fastr-cnn網(wǎng)絡(luò)模型。

上述rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)都是單獨(dú)訓(xùn)練的，并沒(méi)有體現(xiàn)出共享卷積層的參數(shù)。以下是為了減小檢測(cè)時(shí)間，體現(xiàn)二者共享卷積層參數(shù)的步驟。

步驟3：將訓(xùn)練好的fastr-cnn網(wǎng)絡(luò)模型卷積層的參數(shù)保持不變，用于微調(diào)rpn網(wǎng)絡(luò)。將訓(xùn)練樣本集輸入rpn網(wǎng)絡(luò)，此時(shí)只需要利用反向傳播法和梯度下降法更新rpn網(wǎng)絡(luò)最后一個(gè)卷積層和分類層及邊框回歸層的權(quán)值，得到訓(xùn)練好的rpn網(wǎng)絡(luò)。

步驟4：將樣本訓(xùn)練集和rpn網(wǎng)絡(luò)輸出的候選區(qū)域送入fastr-cnn網(wǎng)路，保持fastr-cnn網(wǎng)絡(luò)模型的卷積層參數(shù)保持不變，利用梯度下降法和反向傳播算法更新fastr-cnn網(wǎng)絡(luò)中roi池化層和分類層及邊框回歸層的權(quán)值，此時(shí)得到訓(xùn)練好的fasterr-cnn網(wǎng)路，用于絕緣子的精確檢測(cè)。

至此，本發(fā)明所提供的一種基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)方法訓(xùn)練階段完成。下面對(duì)具體的絕緣子檢測(cè)過(guò)程做進(jìn)一步描述。

本發(fā)明所述基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)方法，利用300張絕緣子圖像的測(cè)試集進(jìn)行測(cè)試，其中包含絕緣子、輸電線路、樹(shù)木等目標(biāo)，本實(shí)驗(yàn)的目的是識(shí)別和定位出圖像中絕緣子。

本發(fā)明的實(shí)驗(yàn)的計(jì)算機(jī)環(huán)境：操作系統(tǒng)為linux14.04版本，顯卡為gtx980ti，軟件平臺(tái)：matlabr2014a、caffe。

將測(cè)試集輸入訓(xùn)練好的網(wǎng)絡(luò)模型，得到測(cè)試結(jié)果；然后利用召回率和準(zhǔn)確率衡量本發(fā)明方法的檢測(cè)效果。

召回率＝正確識(shí)別絕緣子的數(shù)量/所有絕緣子數(shù)量。

準(zhǔn)確率＝正確識(shí)別絕緣子的數(shù)量/所有被檢測(cè)的目標(biāo)數(shù)量。

如圖5所示，由召回率和準(zhǔn)確率可以看出，本發(fā)明方法具有較高的召回率和準(zhǔn)確率，說(shuō)明該方法具有較好的魯棒性。

綜上所述，本發(fā)明提出一種基于共享卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測(cè)方法，利用共享部分卷積層和池化層的rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的共享卷積神經(jīng)網(wǎng)絡(luò)，檢測(cè)輸電線路圖像中的絕緣子；相對(duì)于現(xiàn)有技術(shù)減小計(jì)算復(fù)雜度，達(dá)到對(duì)復(fù)雜背景下絕緣子的實(shí)時(shí)檢測(cè)，實(shí)現(xiàn)了機(jī)器人巡檢圖像中絕緣子的精確識(shí)別和定位。rpn網(wǎng)絡(luò)和fastr-cnn網(wǎng)絡(luò)通過(guò)共享卷積層的參數(shù)，使得檢測(cè)時(shí)計(jì)算量小、精確率高，并且實(shí)現(xiàn)了端到端的檢測(cè)。在變電站背景復(fù)雜的情況下，該方法檢測(cè)性能良好，解決了當(dāng)前絕緣子檢測(cè)的實(shí)時(shí)性問(wèn)題。

最后，本發(fā)明的方法僅為較佳的實(shí)施方案，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。