本發(fā)明涉及城市樹木清查，尤其涉及一種基于雙目視覺的行道樹三維建模與定位方法及系統(tǒng)。

背景技術(shù)：

1、城市行道樹在城市生態(tài)系統(tǒng)中起到至關(guān)重要的作用，涉及固碳、改善空氣質(zhì)量、溫度調(diào)節(jié)、保護(hù)生物多樣性、緩解洪澇災(zāi)害等極端氣象事件等多方面。此外，行道樹為城市街道提供了景觀價(jià)值，改善了居民的身心健康。它們是城市居民生態(tài)系統(tǒng)服務(wù)的重要提供者，是應(yīng)對(duì)氣候變化不可或缺的關(guān)鍵。在此背景下，以城市樹木清單為基礎(chǔ)的城市行道樹的規(guī)劃和管理越來越突出，為了對(duì)城市行道樹進(jìn)行充分的管理，需要更好地了解樹木輪廓以及準(zhǔn)確的地理定位。遺憾的是，構(gòu)建精確的樹木清單仍然是一個(gè)突出的挑戰(zhàn)，因?yàn)殛P(guān)于城市行道樹的空間分布、組成、結(jié)構(gòu)等信息相對(duì)匱乏。

2、目前構(gòu)建行道樹木清單的研究方法包括傳統(tǒng)野外調(diào)查技術(shù)、遙感技術(shù)和基于機(jī)器視覺相關(guān)技術(shù)。例如傳統(tǒng)的行道樹調(diào)查數(shù)據(jù)通常是由專家直接或間接地對(duì)樹木進(jìn)行原位測量獲得，其中每棵樹都必須由一名技術(shù)人員親自勘測，該技術(shù)人員使用全球?qū)Ш叫l(wèi)星系統(tǒng)(global?navigation?satellite?system,gnss)對(duì)樹木定位，同時(shí)識(shí)別樹種并測量樹木結(jié)構(gòu)，包括樹木直徑、高度、冠幅和樹高。

3、傳統(tǒng)野外調(diào)查的方法需要一定的技術(shù)專長和大量的人力資源，導(dǎo)致耗時(shí)且昂貴。同時(shí)傳統(tǒng)的技術(shù)也被證明在數(shù)據(jù)收集中含有相當(dāng)大的人為錯(cuò)誤風(fēng)險(xiǎn)。因此，城市行道樹存在很大的信息缺口，只有少數(shù)城市擁有最新的樹木清單。

4、基于遙感技術(shù)方使用的圖像分辨率并不高，存在無法準(zhǔn)確告知冠幅或識(shí)別樹種等關(guān)鍵信息。超高分辨率衛(wèi)星或航空影像(<80cm)有助于提供單個(gè)城市樹木評(píng)估所需要的細(xì)節(jié)水平，但往往受到城市陰影的影響。此外lidar或數(shù)據(jù)融合方法往往缺乏能夠在大面積、高精度范圍內(nèi)推廣或自動(dòng)化的處理方法。盡管遙感技術(shù)使我們能夠更好地了解城市樹木，但大多數(shù)遙感圖像，如vhr圖像和lidar，需要昂貴的數(shù)據(jù)集和訓(xùn)練有素的專家對(duì)其進(jìn)行分析。

5、基于機(jī)器視覺相關(guān)技術(shù)會(huì)使用相對(duì)廉價(jià)和方便獲取的街景數(shù)據(jù)，例如谷歌街景(gsv)，百度街景(bsv)。但這些數(shù)據(jù)集存在時(shí)空分布不統(tǒng)一，地面圖像信息相對(duì)滯后的問題，不能及時(shí)對(duì)城市樹木清單進(jìn)行更新。以往研究多采用全景街景圖像，在估計(jì)樹木的精確定位和輪廓中存在圖像畸變導(dǎo)致的誤差。此外，大多數(shù)方法著重于樹種檢測和精確定位，對(duì)于樹木冠幅估計(jì)的研究較少。

6、先進(jìn)的數(shù)據(jù)源，如遙感信息可以獲得更多、更準(zhǔn)確的關(guān)于城市樹木的信息。利用遙感數(shù)據(jù)進(jìn)行單木制圖，稱為單木樹冠劃定或檢測(individual?tree?crown?delineationor?detection,itcd)，自20世紀(jì)80年代以來作為傳統(tǒng)野外調(diào)查技術(shù)的替代方法而受到歡迎。一些相關(guān)的例子是通過樹冠識(shí)別從衛(wèi)星圖像中定位樹木，通過分析高光譜圖像進(jìn)行樹種識(shí)別，或通過激光雷達(dá)數(shù)據(jù)(lidar)進(jìn)行樹木的樹冠界定和定位。例如在pu?r,landry?s,yu?q.assessing?the?potential?of?multi-seasonal?high?resolution?pléiadessatellite?imagery?for?mapping?urban?tree?species.international?journal?ofapplied?earth?observation?and?geoinformation,2018,71:144～158]的研究中利用超高分辨率衛(wèi)星影像(vhr)和lidar，成功地對(duì)城市森林進(jìn)行了制圖和分類。

7、由車載相機(jī)采集的地面圖像是城市中一個(gè)巨大的數(shù)據(jù)源，目前在城市林業(yè)中還沒有得到充分的開發(fā)和利用。近幾年來，隨著深度學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)在地面圖像研究中的普及，使得可以從地面圖像中自動(dòng)定位和盤點(diǎn)城市樹木。一些研究者使用r-cnn模型在街景圖像中進(jìn)行目標(biāo)檢測，并結(jié)合攝影測量學(xué)對(duì)行道樹進(jìn)行地理定位。此外，“l(fā)umnitz?s,devisscher?t,mayaud?j?r,等.mapping?trees?along?urban?street?networks?withdeep?learning?and?street-level?imagery.isprs?journal?of?photogrammetry?andremote?sensing,2021,175:144～157”的研究在街景圖像中使用深度估計(jì)距離，并結(jié)合三角測量法確定樹木的最終坐標(biāo)，使得70％的樹木坐標(biāo)點(diǎn)的平均精度為4～6m。

8、城市行道樹對(duì)于城市生態(tài)系統(tǒng)具有重要的價(jià)值，構(gòu)建準(zhǔn)確的樹木清單是城市生態(tài)管理的一個(gè)重要方面，然而獲得準(zhǔn)確的樹木特征和位置信息仍然是一個(gè)突出的挑戰(zhàn)。針對(duì)上述問題，需要一種基于雙目視覺的行道樹三維建模與定位方法及系統(tǒng)，以更加精確和更具時(shí)效性的方式對(duì)行道樹的高度與冠幅進(jìn)行估計(jì)，進(jìn)一步得到行道樹的地理坐標(biāo)，并以此構(gòu)建精確的城市樹木清單。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)構(gòu)建精確的城市行道樹清單方法的不足，本發(fā)明提出了一種基于雙目視覺的行道樹三維建模與定位方法及系統(tǒng)。該方法利用車載雙目相機(jī)和gnss記錄儀對(duì)城市地面圖像及坐標(biāo)進(jìn)行收集，使用目標(biāo)檢測算法對(duì)采集的城市地面圖像進(jìn)行行道樹檢測，并利用雙目立體匹配算法獲得距離信息。在此基礎(chǔ)上結(jié)合雙目相機(jī)成像模型和采集坐標(biāo)點(diǎn)，估計(jì)行道樹的地理位置，同時(shí)估計(jì)行道樹的高度與冠幅。該方法能夠較高程度實(shí)現(xiàn)自動(dòng)化建立城市行道樹清單，采集完原始數(shù)據(jù)后，即可直接生成包含地理坐標(biāo)、冠幅、高度的城市行道樹列表。

2、本發(fā)明的技術(shù)方案如下：一種基于雙目視覺的行道樹三維建模與定位方法，包括步驟如下：

3、步驟1)、通過車載設(shè)備收集研究區(qū)域的基礎(chǔ)圖片、視差圖像和gnss數(shù)據(jù)；

4、步驟2)、根據(jù)目標(biāo)檢測算法對(duì)收集的基礎(chǔ)圖片數(shù)據(jù)進(jìn)行識(shí)別，并計(jì)算檢測框內(nèi)的絕對(duì)深度；

5、步驟3)、結(jié)合檢測框坐標(biāo)和絕對(duì)深度得到行道樹的地理坐標(biāo)；

6、步驟4)、依據(jù)透視投影模型的原理，得到行道樹的冠幅與樹高。

7、所述車載設(shè)備包括雙目深度相機(jī)和gnss記錄儀；雙目深度相機(jī)在收集基礎(chǔ)圖片的同時(shí)，實(shí)時(shí)計(jì)算出對(duì)應(yīng)左右深度相機(jī)視角的視差圖像數(shù)據(jù)；gnss記錄儀在車輛行駛過程中每秒采集一次車輛的坐標(biāo)與行駛航向角；當(dāng)雙目深度相機(jī)采集數(shù)據(jù)的時(shí)間與gnss記錄儀的時(shí)間相等時(shí)，兩種數(shù)據(jù)匹配，得到該坐標(biāo)點(diǎn)的基礎(chǔ)圖片、視差圖像和gnss數(shù)據(jù)。

8、所述目標(biāo)檢測算法為yolov5檢測算法，對(duì)基礎(chǔ)圖片中的行道樹進(jìn)行檢測識(shí)別，提取出檢測框的坐標(biāo)，并計(jì)算檢測框內(nèi)的絕對(duì)深度均值；將檢測行道樹訓(xùn)練得到的最佳權(quán)重載入yolov5目標(biāo)檢測程序，并將基礎(chǔ)圖片輸入目標(biāo)檢測程序，得到行道樹目標(biāo)檢測框的像素坐標(biāo)和目標(biāo)檢測框的長寬像素值，進(jìn)一步計(jì)算得到檢測框區(qū)域中點(diǎn)的像素坐標(biāo)；將步驟1的視差圖像數(shù)據(jù)通過半全局塊匹配算法sgbm得到對(duì)應(yīng)圖片的絕對(duì)深度；在已知圖像中所有檢測框中點(diǎn)像素坐標(biāo)和相同坐標(biāo)處的絕對(duì)深度情況下，分別計(jì)算其中點(diǎn)周圍像素的絕對(duì)深度均值，作為行道樹與光心的距離d。

9、所述行道樹的地理坐標(biāo)通過檢測行道樹與光心的距離和航向角確定；雙目相機(jī)的成像原理簡化為透視投影模型，在該透視投影模型中成像坐標(biāo)與空間坐標(biāo)之間的比例關(guān)系用三角函數(shù)表達(dá)，通過反三角函數(shù)從成像平面上點(diǎn)的坐標(biāo)和相機(jī)焦距中解算出該點(diǎn)相對(duì)于光心的角度；相機(jī)焦距已知，采用公式(1)計(jì)算出檢測框中點(diǎn)坐標(biāo)相對(duì)于光心的夾角α；夾角α與車輛的行駛航向角疊加，最終得到行道樹的航向角θ；

10、

11、其中，f是相機(jī)的焦距；ux是圖像上樹木的水平方向坐標(biāo)u0是圖像主點(diǎn)的水平方向坐標(biāo)；

12、已知行道樹距離d、行道樹航向角θ、車輛的緯度坐標(biāo)lat1和車輛的經(jīng)度坐標(biāo)lon1；設(shè)地球半徑為r，ad為角距，即d/r；由以下公式得到行道樹的緯度坐標(biāo)lat2，經(jīng)度坐標(biāo)lon2，以弧度為單位：

13、lat2＝arcsin(sin(lat1)cos(ad)+cos(lat1)sin(ad)cos(θ))??(2)

14、lon2＝lon1+arctan(sin(θ)sin(ad)cos(lat1),cos(ad)-sin(lat1)sin(lat2))?(3)。

15、依據(jù)透視投影模型的原理，所述行道樹的冠幅與樹高用以下公式來計(jì)算：

16、

17、其中，h為行道樹在實(shí)際中的高度，w為行道樹在實(shí)際中的冠幅，v是像距，d是物距，hsensor為物體在圖像中的高度，wsensor為物體在圖像中的寬度；像距v通過相機(jī)焦距和傳感器尺寸計(jì)算得出；對(duì)于數(shù)字相機(jī)，數(shù)字相機(jī)焦距f代替像距。

18、一種基于雙目視覺的行道樹三維建模與定位系統(tǒng)，包括：

19、數(shù)據(jù)匹配模塊，用于匹配不同類型數(shù)據(jù)；

20、所述數(shù)據(jù)匹配模塊將采集的不同類型基礎(chǔ)圖片、視差圖像和gnss數(shù)據(jù)根據(jù)統(tǒng)一的時(shí)間戳進(jìn)行對(duì)應(yīng)和整合；

21、所述數(shù)據(jù)匹配模塊的匹配數(shù)據(jù)用于后續(xù)各個(gè)模塊的數(shù)據(jù)處理；

22、目標(biāo)檢測模塊，用于檢測基礎(chǔ)圖像中的行道樹，并返回檢測框信息；

23、所述目標(biāo)檢測模塊搭載yolov5檢測模型，返回檢測框像素坐標(biāo)值，進(jìn)一步計(jì)算出檢測框的長寬像素值和檢測框像素中點(diǎn)坐標(biāo)；

24、所述目標(biāo)檢測模塊將數(shù)據(jù)發(fā)送給后續(xù)的數(shù)據(jù)處理模塊，檢測框像素中點(diǎn)坐標(biāo)用于絕對(duì)深度計(jì)算模塊，檢測框的長寬像素值用于樹木尺寸估計(jì)模塊的計(jì)算；

25、絕對(duì)深度計(jì)算模塊，用于計(jì)算目標(biāo)的絕對(duì)深度值；

26、所述絕對(duì)深度計(jì)算模塊，將視差數(shù)據(jù)通過半全局塊匹配算法sgbm得到圖像的絕對(duì)深度，進(jìn)一步計(jì)算出檢測框像素中點(diǎn)附近坐標(biāo)的絕對(duì)深度均值；

27、所述絕對(duì)深度計(jì)算模塊將絕對(duì)深度數(shù)據(jù)發(fā)送給坐標(biāo)計(jì)算模塊；

28、坐標(biāo)計(jì)算模塊，用于計(jì)算行道樹的經(jīng)緯度坐標(biāo)；

29、樹木尺寸計(jì)算模塊，用于計(jì)算行道樹的冠幅與樹高；

30、數(shù)據(jù)整合模塊，用于處理數(shù)據(jù)的整合；

31、所述數(shù)據(jù)整合模塊處理數(shù)據(jù)整合為一個(gè)列表，列表逐行記錄每一棵行道樹的緯度、經(jīng)度、冠幅、樹高信息并保存為.csv文件。

32、本發(fā)明的有益效果：本發(fā)明彌補(bǔ)了采用街景圖像導(dǎo)致的城市樹木信息的相對(duì)滯后，填補(bǔ)了在獲取樹木定位中同時(shí)采集高精度樹木冠幅與樹高信息的空白。并通過在實(shí)際案例研究中的驗(yàn)證，確定了該方法在構(gòu)建精確的城市樹木清單中的可行性，促進(jìn)了城市生態(tài)管理的科學(xué)化和精細(xì)化。

33、在精確構(gòu)建城市行道樹木清單中具有重要的實(shí)踐意義，基于雙目視覺的方法通常只需要兩個(gè)攝像頭和一些基本的數(shù)據(jù)處理單元，相比其他高成本的傳感器(如激光雷達(dá))或復(fù)雜的傳感器陣列，能夠以更低的成本實(shí)現(xiàn)相似或更優(yōu)的性能。這種低成本的特性使得該技術(shù)更加普及，適用于各種預(yù)算范圍的應(yīng)用。

34、在城市生態(tài)系統(tǒng)數(shù)據(jù)更新中，該系統(tǒng)可以定期快速捕捉環(huán)境變化，對(duì)于行道樹等城市基礎(chǔ)設(shè)施的監(jiān)控和維護(hù)來說，能夠快速響應(yīng)環(huán)境變化，并及時(shí)更新數(shù)據(jù)。此外，由于其自動(dòng)化的特性，無需人工干預(yù)即可快速完成大規(guī)模數(shù)據(jù)的采集和處理，從而大大節(jié)省了時(shí)間。

35、在數(shù)據(jù)精度方面，該系統(tǒng)能夠精確地計(jì)算出物體在三維空間中的位置和形狀，其精度可以達(dá)到毫米級(jí)別。這種高精度的數(shù)據(jù)對(duì)于城市生態(tài)系統(tǒng)的管理和規(guī)劃至關(guān)重要，可以用于精確的樹木健康評(píng)估、修剪規(guī)劃以及城市空間設(shè)計(jì)。