本發(fā)明涉及橋梁巡檢的，尤其涉及基于圖像識別的橋梁巡檢方法。

背景技術(shù)：

1、近年來，我國在交通基礎(chǔ)設(shè)施建設(shè)方面呈現(xiàn)由高速發(fā)展轉(zhuǎn)向穩(wěn)步發(fā)展狀態(tài)的趨勢，隨著現(xiàn)有大型交通建筑使用年限的增加，對于橋梁等大型交通建筑的關(guān)注重心向日常巡檢方面轉(zhuǎn)移。得益于人工智能技術(shù)、圖像處理技術(shù)和無人機技術(shù)等領(lǐng)域的創(chuàng)新突破，結(jié)合圖像識別的無人機巡檢技術(shù)已逐步投入橋梁巡檢應(yīng)用中。

2、目前，申請?zhí)枮閏n202311600725.x的中國發(fā)明專利公開了一種基于無人機的橋梁智能巡檢系統(tǒng)，包括：包括服務(wù)器、地面站以及無人機；所述地面站包括：建模模塊，所述建模模塊根據(jù)無人機環(huán)繞橋梁飛行時采集的數(shù)據(jù)建立橋梁的三維模型；路徑規(guī)劃模塊，所述路徑規(guī)劃模塊根據(jù)橋梁的三維模型規(guī)劃與生成無人機巡檢時的巡航路徑；所述無人機沿著生成的巡航路線自動對橋梁進行繞飛以及采集圖像數(shù)據(jù)，所述服務(wù)器根據(jù)圖像數(shù)據(jù)進行分析找出橋梁上的病害位置；該發(fā)明可在巡檢開始前建立橋梁模型并自動規(guī)劃巡檢路線，從而規(guī)避巡檢中可能遇到的障礙物，同時盡可能減低巡檢過程中工作人員操控能力對無人機的影響，保證巡檢的效果與效率良好。但該方案需要對橋梁進行三維建模，巡檢目標為大型橋梁時計算復(fù)雜度高。對于不同橋梁結(jié)構(gòu)的缺少針對性地分析，同時在巡檢過程中依賴于衛(wèi)星導(dǎo)航系統(tǒng)，易受外界信號干擾。

技術(shù)實現(xiàn)思路

1、本發(fā)明解決的技術(shù)問題是：傳統(tǒng)方案在制定橋梁巡檢方案時常需要對橋梁進行三維建模，易帶來計算復(fù)雜度高的問題。同時對于橋梁中的不同結(jié)構(gòu)缺少針對性地分析，在巡檢過程中依賴于衛(wèi)星導(dǎo)航系統(tǒng)，易受外界信號干擾。

2、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

3、步驟s1，獲取目標橋梁的大地坐標數(shù)據(jù)，通過坐標系轉(zhuǎn)換得到目標橋梁的空間直角坐標數(shù)據(jù)；

4、步驟s2，基于目標橋梁的空間直角坐標數(shù)據(jù)進行第一路線規(guī)劃得到初步巡檢路線，命令無人機按照初步巡檢路線對目標橋梁進行圖像采集得到第一圖像集，通過第一機器學(xué)習(xí)模型對第一圖像集進行分類得到橋梁重點部位分類結(jié)果；

5、步驟s3，基于橋梁重點部位分類結(jié)果進行第二路線規(guī)劃得到上部區(qū)域路線和下部區(qū)域路線，通過第三路線規(guī)劃進行整合串聯(lián)得到正式巡檢路線；

6、步驟s4，命令無人機按照正式巡檢路線進行飛行巡檢，通過安全勢場算法對正式巡檢路線進行實時調(diào)整得到更新巡檢路線，通過更新巡檢路線完成巡檢拍攝得到第二圖像集；

7、步驟s5，通過第二機器學(xué)習(xí)模型對第二圖像集進行缺陷檢測得到橋梁缺陷識別結(jié)果，完成橋梁巡檢。

8、作為本發(fā)明所述的基于圖像識別的橋梁巡檢方法的一種優(yōu)選方案，其中：基于地理信息系統(tǒng)數(shù)據(jù)管理平臺獲取目標橋梁的大地坐標數(shù)據(jù)，將目標橋梁的中心點作為坐標系原點、將橋梁縱向方向作為坐標系縱軸建立空間直角坐標系，基于目標橋梁的大地坐標數(shù)據(jù)進行坐標系轉(zhuǎn)換得到目標橋梁的空間直角坐標數(shù)據(jù)。

9、作為本發(fā)明所述的基于圖像識別的橋梁巡檢方法的一種優(yōu)選方案，其中：基于目標橋梁的空間直角坐標數(shù)據(jù)進行第一路線規(guī)劃得到初步巡檢路線，命令無人機按照初步巡檢路線對目標橋梁進行圖像采集得到第一圖像集；

10、所述進行第一路線規(guī)劃的邏輯包括：以空間直角坐標系原點為圓心，以倍橋梁最大高度為水平高度，以倍橋梁長度為半徑在空間直角坐標系作圓得到初步巡檢圓周，通過預(yù)設(shè)角度間隔對初步巡檢圓周進行均勻選點得到初步巡檢路線節(jié)點坐標，按照均勻選點順序?qū)Τ醪窖矙z路線節(jié)點坐標進行連接得到初步巡檢路線。

11、作為本發(fā)明所述的基于圖像識別的橋梁巡檢方法的一種優(yōu)選方案，其中：將第一圖像集輸入預(yù)先訓(xùn)練完成的第一機器學(xué)習(xí)模型，通過第一機器學(xué)習(xí)模型對第一圖像集進行分類得到橋梁重點部位分類結(jié)果；

12、所述橋梁重點部位分類結(jié)果包括：橋墩、橋臺、支座、橋面、橋底、拱圈、塔柱、鋼構(gòu)、梁體、纜索和護欄。

13、作為本發(fā)明所述的基于圖像識別的橋梁巡檢方法的一種優(yōu)選方案，其中：通過第一機器學(xué)習(xí)模型的輸入端對第一圖像集進行mosaic數(shù)據(jù)增強得到增強圖像數(shù)據(jù)集，通過focus模塊對增強圖像數(shù)據(jù)集進行切片降維和卷積處理得到切片圖像數(shù)據(jù)，將ghostnet引入骨干網(wǎng)絡(luò)進行輕量化改進，將ghostmodule模塊可代替原始卷積層，通過步長1×1的點卷積核對切片圖像數(shù)據(jù)進行通道數(shù)壓縮處理，通過深度可分離卷積層進行特征提取，同時通過bnrelu激活函數(shù)進行非線性變換得到gm特征數(shù)據(jù)集，對gm特征數(shù)據(jù)集進行一次特征拼接處理得到第一特征提取數(shù)據(jù)集；

14、引入空洞空間金字塔池代替原始spp，所述空洞空間金字塔池為五條并行計算分支結(jié)構(gòu)，包括擴張率1的3×3空洞卷積處理、擴張率3的3×3空洞卷積處理、擴張率5的3×3空洞卷積處理、1×1卷積處理和全局池化處理，通過五條并行計算分支結(jié)構(gòu)計算得到五組尺度特征數(shù)據(jù)集，對五組尺度特征數(shù)據(jù)集進行二次特征拼接和1×1卷積處理得到骨干網(wǎng)絡(luò)輸出數(shù)據(jù)；

15、通過頸部網(wǎng)絡(luò)對骨干網(wǎng)絡(luò)輸出數(shù)據(jù)進行采樣處理和特征融合得到頸部網(wǎng)絡(luò)輸出數(shù)據(jù)，將頭部網(wǎng)絡(luò)中的原始檢測頭替換為解耦檢測頭，對頸部網(wǎng)絡(luò)輸出數(shù)據(jù)進行全局平均池化計算得到各通道對應(yīng)的特征向量，通過ca注意力機制對各通道對應(yīng)的特征向量與通道權(quán)重向量進行加權(quán)求和計算得最終融合特征，通過解耦檢測頭中的分類器與回歸器對融合特征進行類別預(yù)測與邊界框預(yù)測得到橋梁重點部位分類結(jié)果。

16、作為本發(fā)明所述的基于圖像識別的橋梁巡檢方法的一種優(yōu)選方案，其中：基于橋梁重點部位分類結(jié)果進行路線規(guī)劃得到正式巡檢路線，所述得到正式巡檢路線的邏輯包括：基于橋梁重點部位分類結(jié)果對應(yīng)的空間直角坐標和改進代價函數(shù)的astar算法建立立體柵格地圖，基于立體柵格地圖與橋梁重點部位分類結(jié)果中的橋面坐標數(shù)據(jù)將目標橋梁劃分為橋體上部區(qū)域與橋體下部區(qū)域，將立體柵格地圖中的橋梁重點部位對應(yīng)柵格作為路徑節(jié)點，通過改進代價函數(shù)的astar算法分別對橋體上部區(qū)域與橋體下部區(qū)域中的路徑節(jié)點進行第二路線規(guī)劃得到上部區(qū)域路線和下部區(qū)域路線。

17、作為本發(fā)明所述的基于圖像識別的橋梁巡檢方法的一種優(yōu)選方案，其中：將上部區(qū)域路線的最終節(jié)點坐標作為串聯(lián)路線的起點，同時將下部區(qū)域路線的最初節(jié)點坐標作為串聯(lián)路線的終點，通過改進代價函數(shù)的astar算法進行第三路線規(guī)劃得到串聯(lián)路線，對上部區(qū)域路線和下部區(qū)域路線進行整合串聯(lián)得到正式巡檢路線；

18、其中，改進代價函數(shù)的計算表達式為：

19、

20、其中，n表示當前節(jié)點的索引，f(n)表示估計總代價，g(n)表示當前節(jié)點對應(yīng)的實際代價，h(n)表示當前節(jié)點對應(yīng)的啟發(fā)估計代價，表示橋梁重點部位分類結(jié)果對應(yīng)的權(quán)值，i表示橋梁重點部位分類結(jié)果對應(yīng)的索引。

21、作為本發(fā)明所述的基于圖像識別的橋梁巡檢方法的一種優(yōu)選方案，其中：命令無人機按照正式巡檢路線進行飛行巡檢，通過機載毫米波雷達進行測距得到障礙物實時距離，在進行飛行巡檢的過程中通過安全勢場算法對正式巡檢路線進行實時調(diào)整得到更新巡檢路線，通過更新巡檢路線完成巡檢拍攝得到第二圖像集；

22、通過安全勢場算法對正式巡檢路線進行實時調(diào)整的邏輯包括：基于障礙物實時距離與勢場斥力函數(shù)計算得到實時障礙物斥力，通過預(yù)設(shè)的斥力閾值對實時障礙物斥力進行閾值判斷，當實時障礙物斥力小于預(yù)設(shè)的斥力閾值時，安全勢場算法的優(yōu)先級設(shè)置為最低，無人機繼續(xù)按照正式巡檢路線飛行；

23、當實時障礙物斥力大于等于預(yù)設(shè)的斥力閾值時，安全勢場算法的優(yōu)先級設(shè)置為最高，通過安全勢場算法計算當前位置至下一個路徑節(jié)點的路徑規(guī)劃得到更新巡檢路線；

24、其中，勢場斥力函數(shù)的計算表達式為：

25、

26、其中，u表示勢場斥力函數(shù)，表示斥力場系數(shù)，表示無人機與障礙物的實時距離，表示無人機的加速度，i表示障礙物的空間直角坐標，表示無人機的空間直角坐標，表示斥力場范圍。

27、作為本發(fā)明所述的基于圖像識別的橋梁巡檢方法的一種優(yōu)選方案，其中：通過第二機器學(xué)習(xí)模型對第二圖像集進行缺陷檢測得到橋梁缺陷識別結(jié)果，所述第二機器學(xué)習(xí)模型為預(yù)先訓(xùn)練完成的fast-rcnn模型；

28、所述橋梁缺陷識別結(jié)果包括：裂縫、剝落、銹蝕、形變、支座脫空、橋面坑洼、塔柱傾斜、下?lián)?、纜索斷絲和護欄損壞。

29、作為本發(fā)明所述的基于圖像識別的橋梁巡檢方法的一種優(yōu)選方案，其中：所述橋梁缺陷識別的邏輯包括：在卷積層中引入殘差模塊，通過殘差模塊對第二圖像集進行滑動卷積計算，通過殘差連接與加權(quán)計算處理得到殘差特征圖，通過relu激活函數(shù)對殘差特征圖進行非線性處理，得到卷積層特征圖；

30、通過roi池化層對卷積層特征圖進行網(wǎng)格劃分和最大池化處理得到深層特征圖，引入并聯(lián)支路，通過并聯(lián)支路對第二圖像集進行灰度映射得到灰度圖像數(shù)據(jù)，通過高斯濾波對灰度圖像數(shù)據(jù)進行平滑處理得到平滑圖像數(shù)據(jù)，通過sobel算子對平滑圖像數(shù)據(jù)進行邊緣特征提取得到銳化特征圖，將銳化特征圖與深層特征圖進行拼接處理得到融合特征圖；

31、在全連接層中對融合特征圖進行批量歸一化處理，將深層特征圖數(shù)據(jù)進行分割得到片段數(shù)據(jù)，對各片段數(shù)據(jù)的均值和方差進行歸一化計算得到歸一化向量，通過放縮權(quán)值和偏置常數(shù)對歸一化數(shù)據(jù)進行線性變換得到泛化特征向量，通過softmax分類器與邊界框回歸對泛化特征向量進行計算得到橋梁缺陷識別結(jié)果和對應(yīng)邊界框。

32、本發(fā)明的有益效果：在路線規(guī)劃前通過第一機器學(xué)習(xí)模型對橋梁的重點結(jié)構(gòu)進行精確分類，有利于對不同種類的橋梁進行合理巡檢，提高了方案的適應(yīng)性。將橋梁的柵格地圖劃分為橋體上部區(qū)域與橋體下部區(qū)域并分別進行路徑規(guī)劃，減少了線路中垂直升降的路徑從而降低巡檢能耗，同時降低了無人機相機控制復(fù)雜度。引入安全勢場算法提高了無人機在巡檢時的避障能力，通過閾值判斷調(diào)整安全勢場算法的優(yōu)先級設(shè)置，有利于靈活地調(diào)整飛行路線并提高巡檢的安全性。通過第二機器模型對抵近拍攝得到的第二圖像集進行缺陷識別，將提取的卷積特征和邊緣特征進行融合，有利于提高對第二圖像集分類的準確性。