本發(fā)明屬于輸電線路圖像分析的，更具體地，涉及一種基于點(diǎn)云圖片的相機(jī)位姿計(jì)算方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著國(guó)民經(jīng)濟(jì)的快速發(fā)展，作為電力系統(tǒng)的重要組成部分的電力輸電線路的數(shù)量也越來越多。其的可靠安全運(yùn)行直接關(guān)系著電網(wǎng)供電可靠性。但是在電力輸電線路實(shí)際運(yùn)行過程中，面臨著多種多樣的隱患威脅，其中線路走廊內(nèi)的機(jī)械隱患，樹木，導(dǎo)線變化等是輸電線路極大的安全隱患，這也嚴(yán)重影響著輸電線路安全運(yùn)行。如何及時(shí)發(fā)現(xiàn)、處理和預(yù)防樹障隱患并且保障電力輸送安全成為輸電運(yùn)維人員關(guān)注的重要問題。

2、中國(guó)發(fā)明專利cn115641373a公開了一種融合點(diǎn)云和圖像的交互式三維測(cè)距算法，包括s1、電線數(shù)據(jù)分割標(biāo)注，二維-三維點(diǎn)對(duì)數(shù)據(jù)匹配標(biāo)注，獲得帶標(biāo)注的場(chǎng)景數(shù)據(jù)；s2、初始位姿計(jì)算；s3、判斷初始位姿是否滿足要求，即步驟s1中的二維-三維點(diǎn)對(duì)是否已經(jīng)重合，是則進(jìn)行s4；否則進(jìn)行位姿手動(dòng)對(duì)齊后進(jìn)行s4；s4、點(diǎn)云像素預(yù)處理；s5、三維測(cè)距。

3、隨著現(xiàn)代科學(xué)技術(shù)發(fā)展，可視化監(jiān)拍設(shè)備被越來越多的安裝在輸電線路桿塔上，被用來替代人工進(jìn)行輸電線路巡檢，如果需要更好的發(fā)揮輸電線路可視化監(jiān)拍設(shè)備的能力，相機(jī)位姿的獲取必不可少，在獲取到相機(jī)位姿以后可以實(shí)現(xiàn)簡(jiǎn)單的相關(guān)輸電點(diǎn)位的多源數(shù)據(jù)融合，以及自動(dòng)化的防護(hù)區(qū)劃定等工作，為基于可視化監(jiān)拍設(shè)備的輸電場(chǎng)景隱患危險(xiǎn)等級(jí)劃定提供基礎(chǔ)數(shù)據(jù)支撐，保障輸電線路安全。但是目前沒有一種自動(dòng)化的方式獲取相機(jī)的位姿，目前輸電場(chǎng)景可視化設(shè)備比較難獲取相機(jī)位姿的問題

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種基于點(diǎn)云圖片的相機(jī)位姿計(jì)算方法，以通過激光雷達(dá)掃描，rgbd相機(jī)掃描，視覺重建等方法獲取到的輸電線路周圍的點(diǎn)云以及可視化監(jiān)拍設(shè)備拍攝圖片為數(shù)據(jù)源，通過桿塔目標(biāo)檢測(cè)算法獲取圖像中桿塔位置，然后獲取桿塔區(qū)域，后以桿塔區(qū)域?yàn)橹行?，獲取能夠與點(diǎn)云重合的圖像區(qū)域，同時(shí)通過相機(jī)所在桿塔位置坐標(biāo)，去除輸電線路點(diǎn)云中相機(jī)所在桿塔，獲取與圖像重疊區(qū)域點(diǎn)云，后使用corri2p等算法實(shí)現(xiàn)重合的圖像區(qū)域和與圖像重合區(qū)域點(diǎn)云中相同點(diǎn)坐標(biāo)或者編號(hào)，最后使用相機(jī)位姿估計(jì)算法進(jìn)行輸電場(chǎng)景可視化監(jiān)拍設(shè)備的相機(jī)位姿獲取。

2、本發(fā)明為了實(shí)現(xiàn)上述目的所采用的技術(shù)方案是：

3、一種基于點(diǎn)云圖片的相機(jī)位姿計(jì)算方法，其特征在于，包括以下步驟：

4、s1、獲取輸電線路周圍場(chǎng)景的點(diǎn)云數(shù)據(jù)即輸電場(chǎng)景點(diǎn)云，同時(shí)，通過可視化監(jiān)拍設(shè)備拍攝輸電場(chǎng)景圖像；

5、s2、通過檢測(cè)算法獲取輸電場(chǎng)景圖像中桿塔區(qū)域tower_box；

6、s3、以桿塔區(qū)域?yàn)橹行?，獲取輸電場(chǎng)景圖像中與輸電場(chǎng)景點(diǎn)云重合的圖像區(qū)域img_cut；

7、s4、根據(jù)相機(jī)所在桿塔位置坐標(biāo)，去除點(diǎn)云數(shù)據(jù)中相機(jī)所在的桿塔點(diǎn)云，獲取與重合的圖像區(qū)域的對(duì)應(yīng)的重疊點(diǎn)云區(qū)域；

8、s5、使用corri2p算法得到重合的圖像區(qū)域與重疊點(diǎn)云區(qū)域中相同點(diǎn)的坐標(biāo)或編號(hào)，完成圖像和點(diǎn)云之間的匹配；

9、所述重合的圖像區(qū)域與重疊點(diǎn)云區(qū)域中相同點(diǎn)的坐標(biāo)或編號(hào)，用于描述同一景物的同一位置的特征，同時(shí)相同景物的點(diǎn)云點(diǎn)與圖像的坐標(biāo)點(diǎn)通過相機(jī)成像原理相互轉(zhuǎn)換；

10、所述的corri2p算法為：輸入為點(diǎn)云重合的圖像區(qū)域和圖像重疊區(qū)域點(diǎn)云，輸出為重合的圖像區(qū)域和與圖像重合區(qū)域點(diǎn)云中相同點(diǎn)坐標(biāo)或者編號(hào)的神經(jīng)網(wǎng)絡(luò)算法模型。

11、s6、根據(jù)圖像和點(diǎn)云之間的匹配，使用相機(jī)位姿估計(jì)算法進(jìn)行輸電場(chǎng)景可視化監(jiān)拍設(shè)備的相機(jī)位姿獲取。

12、所述的相機(jī)位姿估計(jì)算法，輸入為重合的圖像區(qū)域和與圖像重合區(qū)域點(diǎn)云中相同點(diǎn)坐標(biāo)以及相機(jī)內(nèi)參矩陣，輸出為輸電場(chǎng)景可視化監(jiān)拍設(shè)備的相機(jī)位姿的算法模型。

13、進(jìn)一步地，所述s2具體包括：

14、s21、通過桿塔目標(biāo)檢測(cè)算法得到圖像中所有桿塔隱患框tower_bbox，然后通過圖像分割算法得到分割結(jié)果seg即圖像中桿塔，所述圖像中桿塔是指的相機(jī)安裝桿塔在相機(jī)鏡頭方向的第一個(gè)桿塔；

15、所述分割結(jié)果seg為1944*2592*1的矩陣，每個(gè)元素為-1或者-2的數(shù)值，-1代表非桿塔像素，-2代表?xiàng)U塔像素。

16、s22、結(jié)合分割結(jié)果計(jì)算每個(gè)隱患框中像素為桿塔的數(shù)目；

17、首先，獲取第i個(gè)桿塔隱患框的區(qū)域的分割結(jié)果信息：

18、seg_copy[i]＝seg[tower_bbox[i][0]:tower_bbox[i][2],tower_bbox[i][1]:tower_bbox[i][3]]?(1)；

19、公式(1)中，seg_copy[i]為取第i個(gè)桿塔隱患框的分割結(jié)果信息，tower_bbox[i][0]為第i個(gè)桿塔隱患框的左上角的x坐標(biāo)，tower_bbox[i][2]為第i個(gè)桿塔隱患框的右下角的x坐標(biāo)，tower_bbox[i][1]為第i個(gè)桿塔隱患框的y坐標(biāo)，tower_bbox[i][3]]為第i個(gè)桿塔隱患框的y坐標(biāo)。

20、然后分別計(jì)算檢測(cè)到的所有桿塔隱患框的分割像素為桿塔的數(shù)目：

21、tower_bbox_seg_mount[i]＝mount(seg_copy[i]＝＝-2)?(2)；

22、公式(2)中，tower_bbox_seg_mount[i]為計(jì)算第i個(gè)桿塔隱患框的像素為桿塔的數(shù)量，mount為取seg_copy[i]中元素的值等于-2的元素?cái)?shù)量的操作。

23、s23、選擇像素為桿塔的數(shù)目最多的桿塔隱患框作為桿塔區(qū)域tower_box；

24、tower_box＝tower_bbox[argmax(tower_bbox_seg_mount)]?(3)；

25、公式(3)中，argmax為取括號(hào)內(nèi)數(shù)組tower_bbox_seg_mount中元素最大的數(shù)值下標(biāo)的操作。

26、進(jìn)一步地，所述重合的圖像區(qū)域img_cut為(tower_box[3]-tower_box[1]+500)*(tower_box[2]-tower_box[4]+500)*3的矩陣；

27、img_cut＝[tower_box[0]-250,tower_box[1]-250,tower_box[2]+250,tower_box[3]+250]?(4)；

28、公式(4)中，tower_box[0]為桿塔區(qū)域左上角的x坐標(biāo)，tower_box[1]為桿塔區(qū)域左上角的y坐標(biāo)，tower_box[2]為桿塔區(qū)域右下角的x坐標(biāo)，tower_box[3]為桿塔區(qū)域右下角的y坐標(biāo)。

29、進(jìn)一步地，所述s4具體包括：

30、s41、獲取輸電場(chǎng)景圖像中桿塔位置坐標(biāo)；

31、s42、計(jì)算輸電場(chǎng)景圖像中桿塔位置坐標(biāo)與相機(jī)所在桿塔位置坐標(biāo)的xy平面歐式距離ou1；

32、s43、以相機(jī)所在桿塔位置坐標(biāo)為中心，刪除輸電通道桿塔點(diǎn)云中的所有xy平面歐式距離小于0.5倍ou1的點(diǎn)，與重合的圖像區(qū)域的對(duì)應(yīng)的重疊點(diǎn)云區(qū)域。

33、在本發(fā)明的另一個(gè)方面當(dāng)中，提供了一種實(shí)現(xiàn)基于點(diǎn)云圖片的相機(jī)位姿計(jì)算方法的裝置，所述裝置包括：

34、至少一個(gè)處理器；以及

35、存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)指令，當(dāng)所述指令被所述至少一個(gè)處理器執(zhí)行時(shí)，使得所述至少一個(gè)處理器執(zhí)行如上所述的基于點(diǎn)云圖片的相機(jī)位姿計(jì)算方法。

36、在本發(fā)明的另一個(gè)方面當(dāng)中，還提供了一種機(jī)器可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)有可執(zhí)行指令，所述指令當(dāng)被執(zhí)行時(shí)使得所述機(jī)器執(zhí)行如上所述的基于點(diǎn)云圖片的相機(jī)位姿計(jì)算方法。

37、本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)和有益效果：

38、本發(fā)明公開了一種基于點(diǎn)云圖片的相機(jī)位姿計(jì)算方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，通過對(duì)點(diǎn)云和圖像的處理，確定了點(diǎn)云圖片匹配區(qū)域，實(shí)現(xiàn)了輸電場(chǎng)景可視化監(jiān)拍設(shè)備的相機(jī)位姿獲取，為快速多源數(shù)據(jù)融合提供可靠數(shù)據(jù)支撐，有效解決了目前輸電場(chǎng)景可視化設(shè)備比較難獲取相機(jī)位姿的問題。