一種基于視覺(jué)伺服的桿塔圖像采集系統(tǒng)及其方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)字圖像處理領(lǐng)域，尤其涉及一種基于視覺(jué)伺服的桿塔圖像采集系統(tǒng) 及其方法。
【背景技術(shù)】
[0002] 桿塔是架空輸電線路的重要組成部分，其作用是支撐架空線路導(dǎo)線和架空地線， 并使導(dǎo)線與導(dǎo)線之間，導(dǎo)線和架空地線之間，導(dǎo)線與桿塔之間，以及導(dǎo)線對(duì)大地和交叉跨越 物之間有足夠的安全距離。由于桿塔長(zhǎng)期暴露在自然環(huán)境中，受到自然或者人為因素的影 響，存在螺絲松動(dòng)、脫落，桿塔歪斜，塔基裸露等問(wèn)題。如果不對(duì)這些存在問(wèn)題的桿塔進(jìn)行定 期的巡查和檢修，將會(huì)影響到整個(gè)電網(wǎng)的正常運(yùn)行甚至有可能引發(fā)重大安全事故。
[0003] 通過(guò)無(wú)人機(jī)搭載可見光、紅外設(shè)備對(duì)桿塔進(jìn)行巡檢及圖像信息采集，可以及時(shí)的 發(fā)現(xiàn)桿塔存在的問(wèn)題而且有效地彌補(bǔ)了人工巡檢存在的不足。但是目前基于無(wú)人機(jī)的桿塔 圖像信息采集方式是，操控人員觀察地面站返回的視頻信息調(diào)整機(jī)載云臺(tái)以完成桿塔的信 息采集，這要求操控人員要實(shí)時(shí)的觀察地面站的反饋信息，勞動(dòng)強(qiáng)度較大。如何利用桿塔識(shí) 別技術(shù)與視覺(jué)伺服技術(shù)自動(dòng)完成桿塔信息采集顯得尤為重要。
[0004] 現(xiàn)有的基于視覺(jué)伺服的系統(tǒng)中，山東省電科院提出的基于視覺(jué)伺服的輸電線路無(wú) 人機(jī)巡檢云臺(tái)控制（專利號(hào):CN 1029292880 A)雖然設(shè)計(jì)利用視覺(jué)伺服技術(shù)調(diào)整云臺(tái)實(shí)現(xiàn) 輸電線路的跟蹤，但是這一專利僅僅是利用視覺(jué)伺服技術(shù)來(lái)實(shí)現(xiàn)線路的跟蹤功能，對(duì)如何 針對(duì)桿塔獲取高質(zhì)量的圖像這一關(guān)鍵技術(shù)沒(méi)有進(jìn)行描述。

【發(fā)明內(nèi)容】

[0005] 為了解決現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明提供一種基于視覺(jué)伺服的桿塔圖像采集系統(tǒng)及 其方法。本發(fā)明利用桿塔識(shí)別技術(shù)識(shí)別定位出視頻中的桿塔位置;然后通過(guò)視覺(jué)伺服技術(shù) 調(diào)整機(jī)載云臺(tái)的位置，將高清相機(jī)定位到桿塔;最后進(jìn)行拍照以完成對(duì)桿塔的信息采集，從 而提高桿塔信息采集的準(zhǔn)確性和采集圖像的質(zhì)量。
[0006] 為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：
[0007] -種基于視覺(jué)伺服的桿塔圖像采集系統(tǒng)，包括：
[0008] 無(wú)人機(jī)，所述無(wú)人機(jī)上載有云臺(tái)，云臺(tái)上安裝有相機(jī)和攝像機(jī);所述攝像機(jī)用于獲 取桿塔的視頻信息；
[0009] 圖像截取模塊，其用于從獲取桿塔的視頻信息中截取一幀實(shí)時(shí)圖像；
[0010]桿塔識(shí)別定位模塊，其用于識(shí)別并定位桿塔在截取的實(shí)時(shí)圖像中的位置；
[0011] 桿塔位置判斷模塊，其用于判斷桿塔是否位于截取的實(shí)時(shí)圖像的中央位置；
[0012] 云臺(tái)控制模塊，其用于當(dāng)桿塔不位于截取的實(shí)時(shí)圖像的中央位置時(shí)，采用基于圖 像的視覺(jué)伺服的方式來(lái)控制云臺(tái)轉(zhuǎn)動(dòng)，通過(guò)桿塔在圖像中的位置確定云臺(tái)的轉(zhuǎn)動(dòng)方向；
[0013] 圖像采集模塊，根據(jù)步驟三獲得的偏差確定云臺(tái)的轉(zhuǎn)動(dòng)量，當(dāng)桿塔位于截取的實(shí) 時(shí)圖像的中央位置時(shí)，從桿塔的某一角開始，以"S"型路徑調(diào)整云臺(tái)位置，同時(shí)采用云臺(tái)上 的相機(jī)進(jìn)行桿塔圖像采集。
[0014] 所述相機(jī)與攝像機(jī)在云臺(tái)上處于同軸的位置。
[0015] 所述相機(jī)為單目相機(jī)。
[0016] 所述桿塔識(shí)別定位模塊，包括：
[0017] 直線檢測(cè)模塊，其用于利用LSD直線檢測(cè)算法對(duì)獲取的實(shí)時(shí)圖像進(jìn)行直線檢測(cè)；
[0018] 桿塔定位模塊，其用于將實(shí)時(shí)圖像分割成若干個(gè)圖像分塊，統(tǒng)計(jì)每個(gè)圖像分塊中 的直線數(shù)量，進(jìn)而判斷是否存在桿塔以及確定桿塔的位置。
[0019] -種基于視覺(jué)伺服的桿塔圖像采集系統(tǒng)的桿塔圖像采集方法，包括：
[0020] 步驟(1):依據(jù)巡檢要求，采用云臺(tái)上的攝像機(jī)獲取桿塔的視頻信息并從視頻中截 取一幀實(shí)時(shí)圖像；
[0021] 步驟(2):識(shí)別并定位桿塔在截取的實(shí)時(shí)圖像中的位置；
[0022]步驟(3):判斷桿塔是否位于截取的實(shí)時(shí)圖像的中央位置，若是，則進(jìn)入步驟(5); 否則，確定桿塔相對(duì)于截取的實(shí)時(shí)圖像的中央位置的偏差，并進(jìn)入下一步；
[0023]步驟(4):采用基于圖像的視覺(jué)伺服的方式來(lái)控制云臺(tái)轉(zhuǎn)動(dòng)，通過(guò)桿塔在圖像中的 位置確定云臺(tái)的轉(zhuǎn)動(dòng)方向，然后根據(jù)步驟三獲得的偏差確定云臺(tái)的轉(zhuǎn)動(dòng)量;調(diào)整云臺(tái)后，再 次獲取當(dāng)前位置處的桿塔實(shí)時(shí)圖像，轉(zhuǎn)入執(zhí)行步驟(2);
[0024]步驟(5):從桿塔的某一角開始，以"S"型路徑調(diào)整云臺(tái)位置，同時(shí)采用云臺(tái)上的相 機(jī)進(jìn)行采集桿塔圖像。
[0025]所述步驟(2)的具體過(guò)程為：
[0026] 首先，利用LSD直線檢測(cè)算法進(jìn)行直線檢測(cè)獲取的實(shí)時(shí)圖像；
[0027] 然后，將實(shí)時(shí)圖像分割成若干個(gè)圖像分塊，統(tǒng)計(jì)每個(gè)圖像分塊中的直線數(shù)量，進(jìn)而 判斷是否存在桿塔以及確定桿塔的位置。
[0028] 所述步驟(4)中采用基于圖像的視覺(jué)伺服的方式來(lái)控制云臺(tái)轉(zhuǎn)動(dòng)的具體過(guò)程為：
[0029] 步驟(4.1):定位到包含桿塔部件的右上角的圖像分塊，提取該圖像分塊的SURF特 征Fi;
[0030] 步驟(4.2):根據(jù)該圖像分塊的位置決定云臺(tái)的轉(zhuǎn)動(dòng)方向，云臺(tái)的轉(zhuǎn)動(dòng)方向?yàn)槭沟?桿塔向圖像中心偏移的方向；然后將云臺(tái)轉(zhuǎn)動(dòng)最小單位，獲取當(dāng)前位置處的桿塔圖像，并提 取其SURF特征F 2;
[0031] 步驟(4.3):匹配特征^與內(nèi)，并計(jì)算^與^的匹配點(diǎn)對(duì)在像素級(jí)別上的偏移量； [0032]步驟(4.4):根據(jù)特征偏移量與云臺(tái)轉(zhuǎn)動(dòng)量之間的線性映射關(guān)系，得到云臺(tái)轉(zhuǎn)動(dòng) 量。
[0033] 所述步驟(4.3)中，利用RANSAC隨機(jī)采樣來(lái)剔除誤匹配的特征對(duì)，獲取特征的匹配 矩陣H，由對(duì)應(yīng)關(guān)系可得到兩個(gè)特征的匹配方程為:內(nèi)二冊(cè):。
[0034] 所述步驟(4.4)中，特征偏移量與云臺(tái)轉(zhuǎn)動(dòng)量之間的線性映射矩陣為當(dāng)前圖像的 雅克比矩陣。
[0035]本發(fā)明的有益效果為：
[0036] (1)本發(fā)明實(shí)現(xiàn)了在無(wú)人機(jī)巡檢過(guò)程中對(duì)桿塔圖像的自動(dòng)采集，大大的降低了巡 檢人員的勞動(dòng)強(qiáng)度，而且本發(fā)明采用基于圖像的視覺(jué)伺服控制方式實(shí)現(xiàn)對(duì)云臺(tái)控制，通過(guò) 計(jì)算雅克比矩陣來(lái)描述圖像像素信息與云臺(tái)控制量間的對(duì)應(yīng)關(guān)系；
[0037] (2)本發(fā)明還根據(jù)桿塔的特性，設(shè)定"S"型路徑拍照方式，保證了桿塔信息的完整 性；
[0038] (3)本發(fā)明的桿塔圖像的獲取是基于單目相機(jī)完成，對(duì)設(shè)備要求較低，整體系統(tǒng)簡(jiǎn) 單。
【附圖說(shuō)明】
[0039] 圖1是本發(fā)明的基于視覺(jué)伺服的桿塔圖像采集方法的流程圖；
[0040] 圖2是從獲取桿塔的視頻信息中截取一幀實(shí)時(shí)圖像；
[0041] 圖3是調(diào)整云臺(tái)后獲取的桿塔實(shí)時(shí)圖像；
[0042]圖4a)是本實(shí)施例采集的第一幅桿塔圖像；
[0043]圖4b)是本實(shí)施例采集的第二幅桿塔圖像；
[0044]圖4c)是本實(shí)施例采集的第三幅桿塔圖像；
[0045]圖4d)是本實(shí)施例采集的第四幅桿塔圖像；
[0046] 圖4e)是本實(shí)施例采集的第五幅桿塔圖像；
[0047] 圖4f)是本實(shí)施例采集的第六幅桿塔圖像；
[0048] 圖4g)是本實(shí)施例采集的第七幅桿塔圖像；
[0049] 圖4h)是本實(shí)施例采集的第八幅桿塔圖像；
[0050] 圖4i)是本實(shí)施例采集的第九幅桿塔圖像。
【具體實(shí)施方式】
[0051] 下面結(jié)合附圖與實(shí)施例對(duì)本發(fā)明做進(jìn)一步說(shuō)明：
[0052] 本發(fā)明的基于視覺(jué)伺服的桿塔圖像采集系統(tǒng)，包括：
[0053]無(wú)人機(jī)，所述無(wú)人機(jī)上載有云臺(tái)，云臺(tái)上安裝有相機(jī)和攝像機(jī);所述攝像機(jī)用于獲 取桿塔的視頻信息；
[0054]圖像截取模塊，其用于從獲取桿塔的視頻信息中截取一幀實(shí)時(shí)圖像；
[0055] 桿塔識(shí)別定位模塊，其用于識(shí)別并定位桿塔在截取的實(shí)時(shí)圖像中的位置；
[0056] 桿塔位置判斷模塊，其用于判斷桿塔是否位于截取的實(shí)時(shí)圖像的中央位置；
[0057]云臺(tái)控制模塊，其用于當(dāng)桿塔不位于截取的實(shí)時(shí)圖像的中央位置時(shí)，采用基于圖 像的視覺(jué)伺服的方式來(lái)控制云臺(tái)轉(zhuǎn)動(dòng)，通過(guò)桿塔在圖像中的位置確定云臺(tái)的轉(zhuǎn)動(dòng)方向； [0058]圖像獲取模塊:根據(jù)步驟三獲得的偏差確定云臺(tái)的轉(zhuǎn)動(dòng)量；當(dāng)桿塔位于截取的實(shí) 時(shí)圖像的中央位置時(shí)，從桿塔的某一角開始，以"S"型路徑調(diào)整云臺(tái)位置，同時(shí)采用云臺(tái)上 的相機(jī)進(jìn)行采集桿塔圖像。
[0059] 其中，相機(jī)與攝像機(jī)在云臺(tái)上處于同軸的位置。
[0060] 相機(jī)可采用單目相機(jī)。
[0061 ]進(jìn)一步地，桿塔識(shí)別定位模塊，包括：
[0062]直線檢測(cè)模塊，其用于利用LSD直線檢測(cè)算法進(jìn)行直線檢測(cè)獲取的實(shí)時(shí)圖像；
[0063]桿塔定位模塊，其用于將實(shí)時(shí)圖像分割成若干個(gè)圖像分塊，統(tǒng)計(jì)每個(gè)圖像分塊中 的直線數(shù)量，進(jìn)而判斷是否存在桿塔以及確定桿塔的位置。
[0064]在采用基于圖像的視覺(jué)伺服的方式來(lái)控制云臺(tái)轉(zhuǎn)動(dòng)時(shí)，采用eye-in-hand的方式 進(jìn)行，云臺(tái)有m個(gè)自由度，云臺(tái)轉(zhuǎn)動(dòng)的角速度為q= [qi, ···，qP]，末端的線速度為r= [ri,…， rm]，兩者具有如下關(guān)系：
[0065] r = Jr · q
[0067] 將云臺(tái)的位置變換通過(guò)相機(jī)透視投影矩陣轉(zhuǎn)換為圖像參數(shù)的變化，從而獲得圖像 特征空間與云臺(tái)末端位置空間的變換關(guān)系。
[0068] 假設(shè)當(dāng)前圖像的坐標(biāo)為(x，y)，最終變換關(guān)系為：
[0071] u=[vx，Vy，vz, ωχ, ωγ, (02]1'^^，￥2分別表示