本發(fā)明涉及安防視覺檢測，特別涉及一種基于多模態(tài)傳感器信息融合的目標(biāo)檢測方法及系統(tǒng)。

背景技術(shù)：

1、目標(biāo)檢測技術(shù)在安防領(lǐng)域扮演著重要角色，以確保公共安全和保障重要設(shè)施的安全。然而，在復(fù)雜多變的環(huán)境中，傳統(tǒng)的單一傳感器數(shù)據(jù)可能無法滿足對目標(biāo)的準(zhǔn)確檢測要求。為了彌補單一傳感器的不足，多模態(tài)傳感器數(shù)據(jù)融合成為了一種有效的方法。深度學(xué)習(xí)技術(shù)的發(fā)展極大地推動了目標(biāo)檢測領(lǐng)域的進步；特別是在圖像處理領(lǐng)域，深度學(xué)習(xí)算法已經(jīng)取得了巨大成功。然而，在安防領(lǐng)域，由于場景復(fù)雜、光照條件變化等因素，單一模態(tài)的圖像數(shù)據(jù)往往難以滿足準(zhǔn)確性和魯棒性的要求。因此，利用多模態(tài)傳感器信息進行目標(biāo)檢測成為了當(dāng)前的研究熱點之一。

2、紅外采集圖像和可見光采集圖像利用算法融合可以提高對周圍環(huán)境的理解和感知能力，結(jié)合多種數(shù)據(jù)源的信息，從而使得模型具備更全面、更準(zhǔn)確的輸入特征，使得即使在完全黑暗的環(huán)境中，也能獲得高質(zhì)量的圖像數(shù)據(jù)。因此，多模態(tài)數(shù)據(jù)融合能夠改善模型在復(fù)雜任務(wù)上的性能。

3、目前的目標(biāo)檢測方法主要基于單一傳感器數(shù)據(jù)進行，無法充分利用多模態(tài)傳感器的信息。在不同的時間和環(huán)境下，單一傳感器采集到的圖像特征會有較大的差異，這對目標(biāo)檢測的準(zhǔn)確性和魯棒性提出了挑戰(zhàn)。因此，急需一種能夠充分利用多模態(tài)傳感器信息的目標(biāo)檢測方法，以提高檢測的精度和穩(wěn)定性。

4、具體的，目前的目標(biāo)檢測方法通常通過將紅外圖像和可見光圖像進行融合來增強目標(biāo)的可視性，這種融合方法主要是基于圖像加權(quán)平均或者特征級別的融合，以獲得更具信息量的圖像數(shù)據(jù)進行后續(xù)處理。而深度學(xué)習(xí)技術(shù)在目標(biāo)檢測領(lǐng)域取得了巨大成功，特別是一些經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)(cnn)結(jié)構(gòu)，如faster?r-cnn、yolo等，已經(jīng)成為了目標(biāo)檢測的主流方法，上述算法主要通過在圖像中尋找目標(biāo)的位置和類別來實現(xiàn)目標(biāo)檢測。

5、此外，在深度學(xué)習(xí)領(lǐng)域，已有利用多模態(tài)數(shù)據(jù)進行目標(biāo)檢測的，這些方法通常將不同傳感器采集到的數(shù)據(jù)進行融合，以獲取更全面的信息。然而，目前的方法往往忽略了對深度信息的有效利用，導(dǎo)致融合效果不佳?，F(xiàn)有的目標(biāo)檢測方法在多模態(tài)數(shù)據(jù)融合過程中往往未能充分利用深度信息，這導(dǎo)致了融合效果不佳，影響了目標(biāo)檢測的準(zhǔn)確性和魯棒性。不同場景下的數(shù)據(jù)差異未被考慮現(xiàn)有的方法也未能考慮不同場景和時間下，不同傳感器采集到的數(shù)據(jù)差異，這種差異可能會導(dǎo)致融合效果下降，進而影響目標(biāo)檢測的性能。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例的目的是提供一種基于多模態(tài)傳感器信息融合的目標(biāo)檢測方法及系統(tǒng)，通過利用可見光圖像和紅外圖像的互補特性，基于深度估計網(wǎng)絡(luò)和特征提取網(wǎng)絡(luò)增強圖像的深度信息和場景感知能力，提高了圖像中目標(biāo)的識別準(zhǔn)確性和魯棒性；通過綜合多源數(shù)據(jù)，優(yōu)化了目標(biāo)檢測的性能，尤其在復(fù)雜或惡劣的光照條件下，能夠提供更為可靠的檢測結(jié)果，增強了系統(tǒng)在實際應(yīng)用中的有效性和適應(yīng)性。

2、為解決上述技術(shù)問題，本發(fā)明實施例的第一方面提供了一種基于多模態(tài)傳感器信息融合的目標(biāo)檢測方法，包括如下步驟：

3、獲取預(yù)設(shè)區(qū)域的可見光圖像和紅外圖像；

4、基于深度估計網(wǎng)絡(luò)分別提取所述可見光圖像和所述紅外圖像的深度信息，得到所述可見光圖像和所述紅外圖像融合后的深度估計圖；

5、基于特征提取網(wǎng)絡(luò)分別提取所述可見光圖像和所述紅外圖像的特征信息，以及提取所述深度估計圖的場景感知特征；

6、利用特征融合網(wǎng)絡(luò)將所述可見光圖像和所述紅外圖像的特征信息以及所述深度估計圖的場景感知特征進行特征融合，得到所述預(yù)設(shè)區(qū)域中的深度估計融合圖像，基于目標(biāo)檢測網(wǎng)絡(luò)對所述深度估計融合圖像進行待識別目標(biāo)檢測。

7、進一步地，所述基于深度估計網(wǎng)絡(luò)分別提取所述可見光圖像和所述紅外圖像的深度信息之前，包括：

8、基于對齊尺度參數(shù)估計網(wǎng)絡(luò)對所述可見光圖像和所述紅外圖像進行對齊。

9、進一步地，所述基于目標(biāo)檢測網(wǎng)絡(luò)對所述深度估計融合圖像進行待識別目標(biāo)檢測之后，還包括：

10、獲取所述深度估計圖中的若干個待識別目標(biāo)的檢測結(jié)果置信度、長寬信息和深度距離信息；

11、獲取檢測結(jié)果置信度最大值相應(yīng)的所述待識別目標(biāo)的長寬信息與每一其它所述待識別目標(biāo)的長寬信息的第一比例值、以及檢測結(jié)果置信度最大值相應(yīng)的所述待識別目標(biāo)的深度距離信息與每一其它所述待識別目標(biāo)的長寬信息的第二比例值；

12、如一其它所述待識別目標(biāo)相應(yīng)的所述第一比例值與所述第二比例值的比值超過預(yù)設(shè)距離閾值，則判定與所述比值相應(yīng)的所述待識別目標(biāo)的檢測結(jié)果異常。

13、進一步地，所述目標(biāo)檢測網(wǎng)絡(luò)的數(shù)據(jù)訓(xùn)練集包括若干個所述深度估計圖的深度信息。

14、進一步地，所述特征提取網(wǎng)絡(luò)為卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過若干個層次的卷積和池化操作，分別提取所述可見光圖像和所述紅外圖像的淺層細節(jié)特征和深層語義特征。

15、進一步地，所述深度估計網(wǎng)絡(luò)通過編碼器-解碼器結(jié)構(gòu)提取所述可見光圖像和所述紅外圖像的深度信息，得到所述可見光圖像和所述紅外圖像融合后的深度估計圖。

16、進一步地，所述特征融合網(wǎng)絡(luò)對所述可見光圖像和所述紅外圖像的特征信息以及所述深度估計圖的場景感知特征進行逐層融合和加權(quán)求和。

17、相應(yīng)地，本發(fā)明實施例的第二方面提供了一種基于多模態(tài)傳感器信息融合的目標(biāo)檢測系統(tǒng)，包括：

18、多模態(tài)圖像獲取模塊，其用于獲取預(yù)設(shè)區(qū)域的可見光圖像和紅外圖像；

19、深度估計處理模塊，其用于基于深度估計網(wǎng)絡(luò)分別提取所述可見光圖像和所述紅外圖像的深度信息，得到所述可見光圖像和所述紅外圖像融合后的深度估計圖；

20、特征提取模塊，其用于基于特征提取網(wǎng)絡(luò)分別提取所述可見光圖像和所述紅外圖像的特征信息，以及提取所述深度估計圖的場景感知特征；

21、目標(biāo)識別檢測模塊，其用于利用特征融合網(wǎng)絡(luò)將所述可見光圖像和所述紅外圖像的特征信息以及所述深度估計圖的場景感知特征進行特征融合，得到所述預(yù)設(shè)區(qū)域中的深度估計融合圖像，基于目標(biāo)檢測網(wǎng)絡(luò)對所述深度估計融合圖像進行待識別目標(biāo)檢測。

22、相應(yīng)地，本發(fā)明實施例的第三方面提供了一種電子設(shè)備，包括：至少一個處理器；以及與所述至少一個處理器連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器執(zhí)行上述基于多模態(tài)傳感器信息融合的目標(biāo)檢測方法。

23、相應(yīng)地，本發(fā)明實施例的第四方面提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機指令，該指令被處理器執(zhí)行時實現(xiàn)上述基于多模態(tài)傳感器信息融合的目標(biāo)檢測方法。

24、本發(fā)明實施例的上述技術(shù)方案具有如下有益的技術(shù)效果：

25、1.充分利用可見光圖像和紅外圖像的互補特性，通過深度估計網(wǎng)絡(luò)和特征提取網(wǎng)絡(luò)增強圖像的深度信息和場景感知能力；

26、2.通過特征融合網(wǎng)絡(luò)進一步整合了這些信息，提高了圖像中目標(biāo)的識別準(zhǔn)確性和魯棒性；

27、3.通過綜合多源數(shù)據(jù)，優(yōu)化了目標(biāo)檢測的性能，尤其在復(fù)雜或惡劣的光照條件下，能夠提供更為可靠的檢測結(jié)果，增強了系統(tǒng)在實際應(yīng)用中的有效性和適應(yīng)性。