本發(fā)明涉及一種基于多視覺系統(tǒng)的開關(guān)柜局部放電自動(dòng)檢測(cè)方法。
背景技術(shù):
隨著科技進(jìn)步和兩個(gè)一流建設(shè)的不斷發(fā)展,以“信息化、數(shù)字化、自動(dòng)化、互動(dòng)化”為特征的智能電網(wǎng)建設(shè)逐漸深入,變電站智能巡檢機(jī)器人列入《國家電網(wǎng)公司第一批重點(diǎn)推廣新技術(shù)目錄》,變電站智能巡檢機(jī)器人進(jìn)入了推廣應(yīng)用階段。2013年進(jìn)行例行巡視、表計(jì)抄錄并自動(dòng)存儲(chǔ)對(duì)比分析、惡劣天氣巡視、紅外精確測(cè)溫、后臺(tái)自動(dòng)存檔分析等功能,有效地提升了變電站巡檢效率和效益,減輕了基層班組一線員工的工作負(fù)擔(dān)。隨著變電站巡檢機(jī)器人持續(xù)深化應(yīng)用,對(duì)機(jī)器人的應(yīng)用又提出了一些更高的要求,主要表現(xiàn)在以下三方面:
第一,變電站智能巡檢機(jī)器人功能受到了限制,機(jī)器人只能在室外執(zhí)行巡檢任務(wù),而且功能局限于紅外測(cè)溫儀和可見光攝像機(jī)的檢測(cè),針對(duì)室內(nèi)電氣柜及開關(guān)柜設(shè)備的局放檢測(cè)只能依靠人工巡檢,還無法在機(jī)器人巡檢中實(shí)現(xiàn);
第二,現(xiàn)有變電站內(nèi)的巡檢機(jī)器人導(dǎo)航方式主要依靠磁導(dǎo)航和激光導(dǎo)航,這兩種導(dǎo)航方式成本高,靈活性不足,對(duì)檢測(cè)環(huán)境也有一定的要求;
第三,智能機(jī)器人攜帶機(jī)械臂進(jìn)行作業(yè),大多基于雙目視覺的伺服系統(tǒng)指導(dǎo)機(jī)械臂工作?;陔p目視覺伺服的機(jī)械臂系統(tǒng)由于受到設(shè)備定位精度、控制精度、機(jī)械誤差的影響,導(dǎo)致最終機(jī)械臂末端??课恢门c實(shí)際檢測(cè)位置產(chǎn)生誤差,影響機(jī)械臂進(jìn)行作業(yè)的質(zhì)量。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明為了解決上述問題,提出了一種基于多視覺系統(tǒng)的開關(guān)柜局部放電自動(dòng)檢測(cè)方法,本發(fā)明通過單目視覺設(shè)備及鋪設(shè)導(dǎo)航標(biāo)志的方法實(shí)現(xiàn)了智能機(jī)器人在開關(guān)柜站內(nèi)的自主運(yùn)動(dòng),通過??繕?biāo)識(shí)的識(shí)別令機(jī)器人??吭陂_關(guān)柜的正前方,利用雙目視覺系統(tǒng)完成檢測(cè)目標(biāo)三維信息的計(jì)算,然后通過控制系統(tǒng)控制機(jī)械臂攜帶局放檢測(cè)設(shè)備到達(dá)檢測(cè)位置,再通過機(jī)械臂末端的單目視覺系統(tǒng)完成目標(biāo)位置的精確定位,最后指導(dǎo)機(jī)械臂完成相關(guān)局放檢測(cè)工作。
為了實(shí)現(xiàn)上述目的,本發(fā)明采用如下技術(shù)方案:
一種基于多視覺系統(tǒng)的開關(guān)柜局部放電自動(dòng)檢測(cè)方法,包括以下步驟:
(1)根據(jù)開關(guān)站室內(nèi)鋪設(shè)的導(dǎo)航標(biāo)識(shí),機(jī)器人沿導(dǎo)航線自主運(yùn)動(dòng),當(dāng)檢測(cè)到??繕?biāo)識(shí)后,機(jī)器人??吭诖龣z測(cè)開關(guān)柜前;
(2)根據(jù)雙目視覺系統(tǒng)采集的目標(biāo)的形狀特征完成目標(biāo)定位,然后基于特征點(diǎn)匹配和視差原理完成圖像中相關(guān)點(diǎn)的三維坐標(biāo)計(jì)算;
(3)控制機(jī)械臂運(yùn)動(dòng),使機(jī)器人機(jī)械臂末端攜帶局放檢測(cè)設(shè)備到達(dá)目標(biāo)點(diǎn)位置,利用機(jī)械臂末端上設(shè)置的單目相機(jī)拍攝的圖像計(jì)算目標(biāo)區(qū)域的像素偏差,根據(jù)目標(biāo)的坐標(biāo)位置偏差進(jìn)行機(jī)械臂位置校正;
(4)不斷調(diào)整機(jī)器人機(jī)械臂末端位置,對(duì)開關(guān)柜進(jìn)行不同方式的局部放電檢測(cè)。
所述步驟(1)中,導(dǎo)航線鋪設(shè)在開關(guān)柜一側(cè),與開關(guān)柜柜面平行,在開關(guān)柜前設(shè)置有??繕?biāo)識(shí)。
所述步驟(1)中,機(jī)器人進(jìn)行導(dǎo)航的具體步驟包括:
(1-1)對(duì)進(jìn)行導(dǎo)航的單目攝像機(jī)進(jìn)行標(biāo)定,確定其內(nèi)參與外參,對(duì)圖像進(jìn)行校正,通過在地平面上放置的標(biāo)定板圖像,獲得地平面上棋盤格圖像上四個(gè)頂點(diǎn)的坐標(biāo),同構(gòu)坐標(biāo)轉(zhuǎn)換,獲得地平面到圖像平面間的投影變換矩陣;
(1-2)根據(jù)投影變換矩陣將視覺導(dǎo)航攝像頭拍攝的圖像進(jìn)行透視變換,得到導(dǎo)航圖像的鳥瞰圖,將鳥瞰圖由RGB顏色模型轉(zhuǎn)變?yōu)镠SV顏色模型,將HSV顏色模型下的圖像各通道分離;
(1-3)對(duì)分離得到的色調(diào)通道進(jìn)行閾值分割,對(duì)得到的純度通道進(jìn)行連通區(qū)域檢測(cè),確定導(dǎo)航線區(qū)域,根據(jù)導(dǎo)航線區(qū)域中線確定機(jī)器人的偏移距離和偏向角,對(duì)機(jī)器人進(jìn)行導(dǎo)航。
優(yōu)選的,所述步驟(1-1)中,具體方法為:
基于張正友平面標(biāo)定法利用黑白格標(biāo)定板進(jìn)行單目攝像機(jī)標(biāo)定,得到該相機(jī)的內(nèi)參和外參,根據(jù)標(biāo)定的參數(shù)對(duì)圖像進(jìn)行校正,然后通過在地平面上放置的標(biāo)定板圖像,獲得地平面上棋盤格圖像上四個(gè)頂點(diǎn)的坐標(biāo),同時(shí),在圖像平面上提取角點(diǎn),并獲得與地平面上四個(gè)點(diǎn)對(duì)應(yīng)的角點(diǎn)在圖像空間中的坐標(biāo)值,通過四個(gè)坐標(biāo)點(diǎn)間的對(duì)應(yīng)關(guān)系,獲得地平面到圖像平面間的投影變換矩陣。
所述步驟(1-2)中,具體方法為:并將HSV顏色模型下的圖像各通道分離,分別得到圖像I的色調(diào)通道、純度通道和明度通道。
所述步驟(1-2)中,將圖像色調(diào)通道進(jìn)行閾值分割,得到分割后的圖像,對(duì)其進(jìn)行連通區(qū)域檢測(cè),并計(jì)算檢測(cè)到各連通區(qū)域的面積、長(zhǎng)軸、短軸和/或連通區(qū)域偏向角θ信息,若這些參數(shù)信息滿足預(yù)設(shè)值,則判斷該連通區(qū)域?yàn)閷?dǎo)航線候選區(qū)域,在候選區(qū)域中選擇連通區(qū)域面積最大的一個(gè)作為導(dǎo)航線區(qū)域,該連通區(qū)域的中線作為導(dǎo)航線中線,計(jì)算該直線與圖像下邊緣的交點(diǎn)坐標(biāo),則導(dǎo)航線相對(duì)于機(jī)器人的偏移距離,該連通區(qū)域的偏向角θ即為導(dǎo)航線偏角。
所述步驟(1-2)中,根據(jù)得到的偏移距離和導(dǎo)航向偏角,計(jì)算機(jī)器人左右輪的差速,得到機(jī)器人左右輪的速度。
所述步驟(1-3)中,將分離后的圖像純度通道和圖像明度通道相減,得到做差后的圖像I_DIV,根據(jù)導(dǎo)航向偏角對(duì)圖像I_DIV進(jìn)行偏角角度的翻轉(zhuǎn)計(jì)算,繼而進(jìn)行閾值分割,檢測(cè)連通區(qū)域,確定??繕?biāo)識(shí)區(qū)域。
所述步驟(2)中,具體步驟包括:
(2-1)對(duì)左右兩攝像機(jī)進(jìn)行標(biāo)定,分別得到兩個(gè)攝像機(jī)的內(nèi)、外參數(shù),再通過同一世界坐標(biāo)中的一組定標(biāo)點(diǎn)建立兩個(gè)攝像機(jī)之間的位置關(guān)系,同時(shí)建立了兩個(gè)相機(jī)圖像坐標(biāo)與世界坐標(biāo)的映射關(guān)系;
(2-2)根據(jù)標(biāo)定結(jié)果對(duì)左右兩幅圖像進(jìn)行圖像校正,然后采用基于亮度的自適應(yīng)的色彩飽和度調(diào)整方法對(duì)左右兩幅圖像進(jìn)行圖像增強(qiáng)操作,得到增強(qiáng)后的左右兩幅圖像;
(2-3)將左右兩幅圖像分離成R、G、B三個(gè)通道的圖像,分別做差后進(jìn)行閾值分割,利用Hough算法進(jìn)行直線檢測(cè),保留滿足設(shè)定條件的矩形框;
(2-4)對(duì)增強(qiáng)后的左右兩幅圖像根據(jù)矩形框頂點(diǎn)坐標(biāo)信息進(jìn)行剪裁,得到數(shù)字標(biāo)識(shí)框區(qū)域,進(jìn)行匹配,得到同一物點(diǎn)在左右兩幅圖像中對(duì)應(yīng)的像點(diǎn)圖像坐標(biāo);
(2-5)確定基準(zhǔn)相機(jī),確定數(shù)字標(biāo)示矩形框中心點(diǎn)在基準(zhǔn)相機(jī)圖像坐標(biāo)系下的坐標(biāo),繼而得到世界坐標(biāo)系下的三維坐標(biāo);
(2-6)根據(jù)得到的矩形框頂點(diǎn)坐標(biāo)信息,在閾值分割后的圖像中剪裁出數(shù)字標(biāo)示框區(qū)域的二值圖,利用印刷體數(shù)字識(shí)別算法對(duì)此圖像中的數(shù)字進(jìn)行識(shí)別,得到當(dāng)前開關(guān)柜的標(biāo)號(hào)。
所述步驟(2-3)中,具體方法為:在二值圖像中利用Hough算法進(jìn)行直線檢測(cè),保留傾角近似為0°和90°的直線線段,保留有效線段,4條線段即為矩形的4條邊,該矩形即為開關(guān)柜中需要定位的數(shù)字標(biāo)識(shí)框。
其中近似為本領(lǐng)域技術(shù)人員理解的相近角度,一般在[-10°,10°]。
所述步驟(2-4)中,具體方法為:根據(jù)得到的矩形框頂點(diǎn)坐標(biāo)信息,對(duì)增強(qiáng)后的左右兩幅圖像進(jìn)行剪裁得到數(shù)字標(biāo)識(shí)框區(qū)域,并將此區(qū)域作為感興趣區(qū)域進(jìn)行Harris角點(diǎn)檢測(cè),然后對(duì)兩幅圖像提取出的角點(diǎn)采用不相似測(cè)度和相似測(cè)度來匹配角點(diǎn),然后采用隨機(jī)采樣一致方法進(jìn)行精確匹配,得到同一物點(diǎn)在左右兩幅圖像中對(duì)應(yīng)的像點(diǎn)圖像坐標(biāo)。
所述步驟(3)中,機(jī)械臂末端攜帶三種不同局放檢測(cè)設(shè)備對(duì)開關(guān)柜進(jìn)行不同方式的局部放電檢測(cè),分別為地電波檢測(cè)、特高頻檢測(cè)、超聲波檢測(cè)。
所述步驟(3)中,具體步驟包括:
(3-1)通過機(jī)械臂坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)化,確定數(shù)字標(biāo)示矩形框中心點(diǎn)在機(jī)械臂坐標(biāo)系下的坐標(biāo);
(3-2)根據(jù)開關(guān)柜柜號(hào)及柜面各目標(biāo)區(qū)域?qū)?shù)字標(biāo)示矩形框中心點(diǎn)的相對(duì)位置先驗(yàn)信息,計(jì)算地電波檢測(cè)中心位置的三維坐標(biāo),通過機(jī)械臂控制系統(tǒng)使得機(jī)械臂末端攜帶檢測(cè)儀器到達(dá)該中心位置,完成地電波局放檢測(cè)任務(wù);
(3-3)使機(jī)械臂末端攜帶檢測(cè)儀器到達(dá)特高頻檢測(cè)區(qū)域的中心位置,拍攝圖像,對(duì)拍攝的圖像進(jìn)行彩色圖像分割得到二值圖像,通過連通區(qū)域檢測(cè)算法得到二值圖像的連通區(qū)域,確定目標(biāo)區(qū)域,確定目標(biāo)區(qū)域和拍攝區(qū)域的偏差,進(jìn)行調(diào)整。
所述步驟(3)中,機(jī)械臂攜帶超聲波局放檢測(cè)儀器進(jìn)行局部放電檢測(cè)的路徑規(guī)劃方法具體為:首先令機(jī)械臂末端到達(dá)超聲波檢測(cè)起始點(diǎn)位置,打開安裝在機(jī)械臂末端的單目相機(jī),拍攝得到圖像Ic,對(duì)圖像Ic采用sobel算子進(jìn)行邊緣檢測(cè)。
進(jìn)一步的,當(dāng)機(jī)械臂末端沿x軸方向縫隙進(jìn)行檢測(cè)時(shí),檢測(cè)水平方向的邊緣,得到柜體縫隙在圖像中的豎直方向的坐標(biāo),根據(jù)其進(jìn)行機(jī)械臂末端運(yùn)動(dòng)方向的調(diào)整;當(dāng)機(jī)械臂末端沿y軸縫隙進(jìn)行檢測(cè)時(shí),檢測(cè)垂直方向的邊緣,得到柜體縫隙在圖像中水平方向的坐標(biāo),根據(jù)其進(jìn)行機(jī)械臂末端運(yùn)動(dòng)方向的調(diào)整。
一種應(yīng)用于上述方法的視覺系統(tǒng),包括安裝在機(jī)器人前端的單目視覺系統(tǒng),實(shí)現(xiàn)機(jī)器人室內(nèi)的視覺導(dǎo)航;安裝在機(jī)器人側(cè)部的雙目視覺伺服系統(tǒng),實(shí)現(xiàn)局放檢測(cè)目標(biāo)位置的三維坐標(biāo)計(jì)算;安裝在機(jī)械臂末端的單目視覺伺服系統(tǒng),視角與機(jī)械臂末端連桿方向平行,該視覺系統(tǒng)實(shí)現(xiàn)局放檢測(cè)目標(biāo)位置的三維坐標(biāo)精確計(jì)算。
本發(fā)明的有益效果為:
(1)本發(fā)明提出了一種基于多視覺系統(tǒng)的開關(guān)柜局部放電自動(dòng)檢測(cè)方法,取代人工檢測(cè)方法,減輕了電力一線員工的工作負(fù)擔(dān);
(2)在室內(nèi)鋪設(shè)導(dǎo)航標(biāo)識(shí),采用視覺導(dǎo)航算法實(shí)現(xiàn)智能機(jī)器人在開關(guān)站內(nèi)的自主運(yùn)動(dòng),降低了智能機(jī)器人的成本;
(3)采用雙目視覺系統(tǒng)與單目視覺系統(tǒng)結(jié)合的目標(biāo)定位方法,實(shí)現(xiàn)局放檢測(cè)目標(biāo)的精確定位,減少單一視覺系統(tǒng)定位造成的誤差。
附圖說明
圖1為本發(fā)明的算法流程圖;
圖2為一組待檢測(cè)的開關(guān)柜圖像;
圖3為開關(guān)柜超聲波檢測(cè)機(jī)械臂末端運(yùn)動(dòng)規(guī)劃路徑示意圖。
具體實(shí)施方式:
下面結(jié)合附圖與實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。
如圖1所示,一種多視覺系統(tǒng)的開關(guān)柜局部放電自動(dòng)檢測(cè)方法,所需視覺系統(tǒng)設(shè)備為:
安裝在機(jī)器人前端的單目視覺系統(tǒng),安裝高度40cm至50cm,俯角為40°至70°,該單目視覺系統(tǒng)實(shí)現(xiàn)機(jī)器人室內(nèi)的視覺導(dǎo)航功能;安裝在機(jī)器人側(cè)部的雙目視覺伺服系統(tǒng),安裝高度70cm至90cm,仰角為45°至60°,該視覺系統(tǒng)實(shí)現(xiàn)局放檢測(cè)目標(biāo)位置的三維坐標(biāo)計(jì)算;安裝在機(jī)械臂末端的單目視覺伺服系統(tǒng),視角與機(jī)械臂末端連桿方向平行,該視覺系統(tǒng)實(shí)現(xiàn)局放檢測(cè)目標(biāo)位置的三維坐標(biāo)精確計(jì)算。
一種多視覺系統(tǒng)的開關(guān)柜局部放電自動(dòng)檢測(cè)方法,步驟為:
步驟(1):根據(jù)開關(guān)站室內(nèi)鋪設(shè)的導(dǎo)航標(biāo)識(shí),機(jī)器人沿導(dǎo)航線自主運(yùn)動(dòng),當(dāng)檢測(cè)到停靠標(biāo)識(shí)后,機(jī)器人??吭诖龣z測(cè)開關(guān)柜前;
步驟(2):機(jī)器人??亢螅蜷_雙目相機(jī),根據(jù)圖像中檢測(cè)目標(biāo)的形狀特征完成目標(biāo)定位,然后基于特征點(diǎn)匹配和視差原理完成圖像中相關(guān)點(diǎn)的三維坐標(biāo)計(jì)算;
步驟(3):通過控制系統(tǒng)控制機(jī)械臂運(yùn)動(dòng),使機(jī)械臂末端攜帶局放檢測(cè)設(shè)備到達(dá)目標(biāo)點(diǎn)位置,利用機(jī)械臂末端單目相機(jī)拍攝的圖像計(jì)算目標(biāo)區(qū)域的像素偏差,根據(jù)目標(biāo)的坐標(biāo)位置偏差進(jìn)行機(jī)械臂末端校正;
所述步驟(1)中,導(dǎo)航線為鋪設(shè)在開關(guān)柜一側(cè)的黃色直線,導(dǎo)航線與開關(guān)柜柜面平行,寬度為10cm,導(dǎo)航線與開關(guān)柜之間的垂直距離為80cm,在開關(guān)柜前導(dǎo)航線上設(shè)置??繕?biāo)識(shí),??繕?biāo)識(shí)為紅色正方形,邊長(zhǎng)為10cm。視覺導(dǎo)航算法的具體步驟為:
步驟(1-1):基于張正友平面標(biāo)定法利用19×13的黑白格標(biāo)定板進(jìn)行單目攝像機(jī)標(biāo)定,得到該相機(jī)的內(nèi)參和外參,根據(jù)標(biāo)定的參數(shù)對(duì)圖像進(jìn)行校正。然后通過在地平面上放置的標(biāo)定板圖像,獲得地平面上棋盤格圖像上四個(gè)頂點(diǎn)的坐標(biāo)。同時(shí),在圖像平面上提取角點(diǎn),并獲得與地平面上四個(gè)點(diǎn)對(duì)應(yīng)的角點(diǎn)在圖像空間中的坐標(biāo)值,通過四個(gè)坐標(biāo)點(diǎn)間的對(duì)應(yīng)關(guān)系,獲得地平面到圖像平面間的投影變換矩陣H;
步驟(1-2):根據(jù)投影變換矩陣H將視覺導(dǎo)航攝像頭拍攝的圖像進(jìn)行透視變換,得到導(dǎo)航圖像的鳥瞰圖I,從而消除導(dǎo)航線不在視野中線時(shí)的圖像畸變誤差;
步驟(1-3):將圖像I由RGB顏色模型轉(zhuǎn)變?yōu)镠SV顏色模型,并將HSV顏色模型下的圖像各通道分離,分別得到圖像I的色調(diào)通道I_H,純度通道I_S,明度通道I_V;
步驟(1-4):將圖像I_H進(jìn)行閾值分割,圖像中像素值小于閾值60,大于閾值30的像素點(diǎn)值設(shè)為255,其余像素點(diǎn)值為0,得到分割后的圖像I_Seg。對(duì)I_Seg進(jìn)行連通區(qū)域檢測(cè),并計(jì)算檢測(cè)到各連通區(qū)域的面積area、長(zhǎng)軸major_length、短軸minjor_length、連通區(qū)域偏向角θ等信息,令長(zhǎng)軸與短軸間的比例系數(shù)為bio_1,若滿足bio_1>2,area>400,則判斷該聯(lián)通區(qū)域?yàn)閷?dǎo)航線候選區(qū)域。最后在候選區(qū)域中選擇連通區(qū)域面積最大的一個(gè)作為導(dǎo)航線區(qū)域,該連通區(qū)域的中線作為導(dǎo)航線中線,計(jì)算該直線與圖像下邊緣的交點(diǎn)坐標(biāo)為(xintersection,yintersection),則導(dǎo)航線相對(duì)于機(jī)器人的偏移距離s=width/2-yintersection,該連通區(qū)域的偏向角θ即為導(dǎo)航線偏角。
步驟(1-5):根據(jù)步驟(1-4)中得到的s和θ,計(jì)算機(jī)器人左右輪的差速△v,計(jì)算公式為
Δv=KSS+Kθθ
這里KS和Kθ為相對(duì)于偏移距離和偏向角的控制參數(shù),兩個(gè)參數(shù)通過實(shí)驗(yàn)獲得,其中KS=0.037,Kθ=0.215。根據(jù)差速△v計(jì)算得到機(jī)器人左右輪的速度,左輪速度vleft和右輪速度vright分別為:
vright=V+Δv,vleft=V-Δv
其中,V為基礎(chǔ)速度,設(shè)為20cm/s。
步驟(1-6):將步驟(1-3)中分離的圖像通道I_S與I_V相減,得到做差后的圖像I_DIV,根據(jù)步驟(1-4)的偏向角θ對(duì)圖像I_DIV進(jìn)行角度θ的翻轉(zhuǎn)計(jì)算,導(dǎo)航線在該翻轉(zhuǎn)圖像中理論上應(yīng)該是豎直方向。對(duì)該圖像進(jìn)行閾值分割,閾值設(shè)置為80,得到二值圖像。對(duì)該二值圖像進(jìn)行連通區(qū)域檢測(cè),并計(jì)算檢測(cè)出連通區(qū)域的面積area、長(zhǎng)軸major_length、短軸minjor_length、連通區(qū)域質(zhì)心(xcentroid,ycentroid)等信息。令長(zhǎng)軸與短軸的比例系數(shù)為bio_2,若滿足0.8≤bio_2≤1.2且100≤area≤500,則該區(qū)域即為??繕?biāo)識(shí)區(qū)域,機(jī)器人距離??奎c(diǎn)的像素距離為Sstop=height-ycentroid,其中height為圖像的像素高度。當(dāng)Sstop<height/2時(shí),控制系統(tǒng)發(fā)送指令使得機(jī)器人低速向前方運(yùn)動(dòng)0.3m后停止,此時(shí)機(jī)器人底盤中心位置在豎直方向正好對(duì)應(yīng)于??繕?biāo)識(shí)中心。
所述步驟(2)中,檢測(cè)機(jī)器人停靠在開關(guān)柜前,打開安裝在機(jī)器人上的雙目相機(jī),獲得左右目圖像,雙目相機(jī)定位算法的具體步驟為:
步驟(2-1):采用張正友相機(jī)標(biāo)定法分別對(duì)左右兩攝像機(jī)進(jìn)行標(biāo)定,分別得到兩個(gè)攝像機(jī)的內(nèi)、外參數(shù),再通過同一世界坐標(biāo)中的一組定標(biāo)點(diǎn)建立兩個(gè)攝像機(jī)之間的位置關(guān)系,同時(shí)建立了兩個(gè)相機(jī)圖像坐標(biāo)與世界坐標(biāo)的映射關(guān)系;
步驟(2-2):雙目圖像采集到的左右兩幅圖像均為RGB圖像,根據(jù)步驟(2-1)中相機(jī)標(biāo)定的結(jié)果對(duì)左右兩幅圖像進(jìn)行圖像校正,然后采用基于亮度的自適應(yīng)的色彩飽和度調(diào)整方法對(duì)左右兩幅圖像進(jìn)行圖像增強(qiáng)操作,得到增強(qiáng)后的左右兩幅圖像Ileft和Iright。
步驟(2-3):將RGB圖像分離成R、G、B三個(gè)通道的圖像,分別記為IR、IG、IB,取其中IR和IB進(jìn)行做差運(yùn)算,對(duì)于圖像Ileft和Iright操作分別得到做差后的圖像I_DIV_LEFT和I_DIV_RIGHT。
步驟(2-4):將圖像I_DIV_LEFT和I_DIV_RIGHT分別進(jìn)行閾值分割,得到分割后的圖像I_SEG_LEFT和I_SEG_LEFT,分割算法中閾值設(shè)定為120,像素值大于120的像素點(diǎn)像素值設(shè)定為255,小于120的設(shè)定為0。在二值圖像中利用Hough算法進(jìn)行直線檢測(cè),保留傾角近似為0°和90°的直線線段,計(jì)算每個(gè)線段的長(zhǎng)度,設(shè)定線段長(zhǎng)度閾值20,去除噪聲線段的影響。對(duì)于傾角近似為0°的線段,計(jì)算每?jī)蓷l線段間的距離dis_h,保留滿足條件10≤dis_h≤90的線段,計(jì)算兩線段之間中心點(diǎn)坐標(biāo)(xh,yh);對(duì)于傾角近似為90°的線段,計(jì)算每?jī)蓷l線段間的距離dis_v,保留滿足條件20≤dis_v≤120的線段,計(jì)算兩線段之間中心點(diǎn)坐標(biāo)(xv,yv)。找到滿足點(diǎn)(xh,yh)與(xv,yv)間歐式距離小于5的中心點(diǎn),與其對(duì)應(yīng)的4條線段即為矩形的4條邊,該矩形即為開關(guān)柜中需要定位的數(shù)字標(biāo)識(shí)框(圖2中國的R4所示),記錄矩形4個(gè)頂點(diǎn)的圖像坐標(biāo),分別為左上點(diǎn)A(x1,y1)、右上點(diǎn)B(x2,y2)、右下點(diǎn)C(x3,y3)、左下點(diǎn)D(x4,y4)。
步驟(2-5):由步驟(2-4)得到的矩形框頂點(diǎn)坐標(biāo)信息,對(duì)圖像Ileft和Iright進(jìn)行剪裁得到數(shù)字標(biāo)識(shí)框區(qū)域,并將此區(qū)域作為感興趣區(qū)域進(jìn)行Harris角點(diǎn)檢測(cè),然后對(duì)兩幅圖像提取出的角點(diǎn)采用不相似測(cè)度SSD(Sum of Square Differences)和相似測(cè)度NCC(Normalized Cross Correlation)來匹配角點(diǎn),然后采用隨機(jī)采樣一致方法RANSAC(RANdom Sample Consensus)進(jìn)行精確匹配,得到同一物點(diǎn)在左右兩幅圖像中對(duì)應(yīng)的像點(diǎn)圖像坐標(biāo)。
步驟(2-6):以左目相機(jī)為基準(zhǔn)相機(jī),利用步驟(2-5)匹配的角點(diǎn)信息和步驟(2-4)矩形框頂點(diǎn)的坐標(biāo)信息,得到四個(gè)頂點(diǎn)的三維坐標(biāo)分別為左上點(diǎn)A3(xA3,yA3,zA3)、右上點(diǎn)B3(xB3,yB3,zB3)、右下點(diǎn)C3(xC3,yC3,zC3)、左下點(diǎn)D3(xD3,yD3,zD3)。,計(jì)算數(shù)字標(biāo)示矩形框中心點(diǎn)在左目圖像坐標(biāo)系下Pcenter坐標(biāo),最終得到Pcenter在世界坐標(biāo)系下的三維坐標(biāo)(XP,YP,ZP),計(jì)算公式為:
步驟(2-7):由步驟(2-4)得到的矩形框頂點(diǎn)坐標(biāo)信息,在圖像I_SEG_LEFT中剪裁出數(shù)字標(biāo)示框區(qū)域的二值圖像IROI,利用印刷體數(shù)字識(shí)別算法對(duì)此圖像中的數(shù)字進(jìn)行識(shí)別,得到當(dāng)前開關(guān)柜的標(biāo)號(hào)。
所述步驟(3)中機(jī)械臂末端攜帶三種不同局放檢測(cè)設(shè)備對(duì)開關(guān)柜進(jìn)行不同方式的局部放電檢測(cè),分別為地電波檢測(cè)、特高頻檢測(cè)、超聲波檢測(cè),其中地電波檢測(cè)需將對(duì)應(yīng)檢測(cè)傳感器放在開關(guān)柜區(qū)域R1處,特高頻檢測(cè)需將對(duì)應(yīng)檢測(cè)傳感器放在開關(guān)柜區(qū)域R2處,超聲波檢測(cè)需機(jī)械臂末端攜帶對(duì)應(yīng)檢測(cè)傳感器沿開關(guān)柜縫隙邊緣移動(dòng)檢測(cè)R3。
根據(jù)單目視覺系統(tǒng)進(jìn)行目標(biāo)精確定位的具體步驟為:
步驟(3-1):通過機(jī)械臂坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)化,確定Pcenter在機(jī)械臂坐標(biāo)系下的坐標(biāo)。
步驟(3-2):根據(jù)步驟(2-7)識(shí)別的開關(guān)柜柜號(hào)及柜面各目標(biāo)區(qū)域相對(duì)于點(diǎn)Pcenter的相對(duì)位置先驗(yàn)信息,計(jì)算得到區(qū)域R1中心位置Pw的三維坐標(biāo),通過機(jī)械臂控制系統(tǒng)使得機(jī)械臂末端攜帶檢測(cè)儀器到達(dá)位置Pw,完成地電波局放檢測(cè)任務(wù),由于地電波檢測(cè)方式對(duì)傳感器放置位置精度要求不高,該項(xiàng)檢測(cè)不需要通過隨臂單目相機(jī)進(jìn)行位置校正;
步驟(3-3):利用Pcenter三維坐標(biāo)和柜體先驗(yàn)信息計(jì)算區(qū)域R2中心位置Pu的三維坐標(biāo),通過機(jī)械臂控制系統(tǒng)使機(jī)械臂末端攜帶檢測(cè)儀器到達(dá)位置Pu,打開安裝在機(jī)械臂末端的單目相機(jī),拍攝得到圖像Iu,對(duì)圖像Iu進(jìn)行彩色圖像分割得到二值圖像,即三通道像素值全部小于閾值25的像素點(diǎn)灰度設(shè)置為255,其余點(diǎn)設(shè)置為0。通過連通區(qū)域檢測(cè)算法得到二值圖像的連通區(qū)域,并計(jì)算檢測(cè)出每個(gè)連通區(qū)域的面積area_w、長(zhǎng)軸和短軸之比bio_3、質(zhì)心P_w的坐標(biāo)(XP_w,YP_w),當(dāng)連通區(qū)域滿足area≥200,1.2≤bio_3≤1.5時(shí),該連通區(qū)域即為特高頻局放檢測(cè)儀檢測(cè)的目標(biāo)區(qū)域。通過計(jì)算(XP_w,YP_w)與R2區(qū)域中心在圖像中理論坐標(biāo)位置(XP_p,YP_p)的偏差,進(jìn)行機(jī)械臂末端位置的精確調(diào)整。
步驟(3-4):機(jī)械臂攜帶超聲波局放檢測(cè)儀器進(jìn)行局部放電檢測(cè)的路徑規(guī)劃如圖3所示,首先令機(jī)械臂末端到達(dá)超聲波檢測(cè)起始點(diǎn)位置,打開安裝在機(jī)械臂末端的單目相機(jī),拍攝得到圖像Ic,對(duì)圖像Ic采用sobel算子進(jìn)行邊緣檢測(cè)。當(dāng)機(jī)械臂末端沿x軸方向縫隙進(jìn)行檢測(cè)時(shí),檢測(cè)水平方向的邊緣,得到柜體縫隙在圖像中的豎直方向的坐標(biāo)yedge,若滿足220≤yedge≤260,則保持機(jī)械臂末端沿當(dāng)前豎直方向進(jìn)行移動(dòng),若yedge≥260,則控制機(jī)械臂末端在豎直方向進(jìn)行向上微調(diào),根據(jù)邊緣位置實(shí)時(shí)反饋,直到滿足220≤yedge≤260。若yedge≤240,則控制機(jī)械臂末端在豎直方向進(jìn)行向下微調(diào),根據(jù)邊緣位置實(shí)時(shí)反饋,直到滿足220≤yedge≤260。當(dāng)機(jī)械臂末端沿y軸縫隙進(jìn)行檢測(cè)時(shí),檢測(cè)垂直方向的邊緣,得到柜體縫隙在圖像中水平方向的坐標(biāo)xedge,若滿足300≤xedge≤340,則保持機(jī)械臂末端沿當(dāng)前水平方向進(jìn)行移動(dòng),若xedge≥340,則控制機(jī)械臂末端在水平方向進(jìn)行向右進(jìn)行微調(diào),根據(jù)圖像中邊緣位置的實(shí)時(shí)反饋,直到滿足條件300≤xedge≤340。若xedge≤300,則控制機(jī)械臂末端在水平方向向左微調(diào),根據(jù)圖像中邊緣位置的實(shí)時(shí)反饋,直到滿足條件300≤xedge≤340。
上述雖然結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行了描述,但并非對(duì)本發(fā)明保護(hù)范圍的限制,所屬領(lǐng)域技術(shù)人員應(yīng)該明白,在本發(fā)明的技術(shù)方案的基礎(chǔ)上,本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。