本技術(shù)屬于電數(shù)字?jǐn)?shù)據(jù)處理，尤其涉及基于雷達(dá)與視頻融合的目標(biāo)檢測(cè)方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、目前智慧交通使用的環(huán)境感知設(shè)備主要有攝像機(jī)和毫米波雷達(dá)。毫米波雷達(dá)具有目標(biāo)距離、速度、方位角度等檢測(cè)能力，同時(shí)對(duì)特定入射角的目標(biāo)反射能力定量測(cè)試，從毫米波雷達(dá)回波散射特性上給出目標(biāo)尺寸估計(jì)。

2、攝像機(jī)往往采用多傳感器進(jìn)行信息融合，使用多傳感器信息融合技術(shù)實(shí)現(xiàn)各傳感器優(yōu)勢(shì)互補(bǔ)，最大程度準(zhǔn)確采集目標(biāo)的顏色、尺寸、大小、投影輪廓等維度信息，提升環(huán)境感知系統(tǒng)的全面性、準(zhǔn)確性。

3、在目標(biāo)檢測(cè)技術(shù)中能夠精準(zhǔn)的檢測(cè)目標(biāo)至關(guān)重要，但傳統(tǒng)的依賴單一視頻數(shù)據(jù)的方法在惡劣天氣或低照明條件下表現(xiàn)不佳。而毫米波雷達(dá)作為補(bǔ)充傳感器，能提供穩(wěn)定的目標(biāo)信息，卻缺乏直觀圖像。雖然已經(jīng)存在雷達(dá)和視頻相結(jié)合的方式進(jìn)行目標(biāo)檢測(cè)，但是目標(biāo)檢測(cè)的精確度不高，準(zhǔn)確性較差，魯棒性也低。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了基于雷達(dá)與視頻融合的目標(biāo)檢測(cè)方法、裝置、設(shè)備及介質(zhì)，以有效融合雷達(dá)和視頻數(shù)據(jù)，提高目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性。

2、本技術(shù)是通過(guò)如下技術(shù)方案實(shí)現(xiàn)的：

3、第一方面，本技術(shù)實(shí)施例提供了一種基于雷達(dá)與視頻融合的目標(biāo)檢測(cè)方法，包括：

4、獲取待檢測(cè)目標(biāo)的雷達(dá)點(diǎn)云數(shù)據(jù)和視頻數(shù)據(jù)。

5、基于改進(jìn)的yolo模型中的雷達(dá)與視頻融合模塊對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)和視頻數(shù)據(jù)的處理結(jié)果，得到目標(biāo)檢測(cè)結(jié)果；其中，雷達(dá)與視頻融合模塊用于對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行預(yù)處理，得到雷達(dá)圖像和視頻圖像，并對(duì)雷達(dá)圖像和視頻圖像進(jìn)行特征提取、特征拼接、特征融合、殘差處理、二次拼接和卷積處理。

6、結(jié)合第一方面，在一些可能的實(shí)現(xiàn)方式中，對(duì)雷達(dá)圖像和視頻圖像進(jìn)行特征提取、特征拼接、特征融合、殘差處理、二次拼接和卷積處理，包括：

7、對(duì)雷達(dá)圖像進(jìn)行3x3卷積操作提取得到第一雷達(dá)圖像特征；對(duì)視頻圖像進(jìn)行3x3卷積操作提取得到第一視頻圖像特征。

8、將第一雷達(dá)圖像特征和第一視頻圖像特征通過(guò)concat操作進(jìn)行特征拼接，得到第一拼接特征。

9、通過(guò)transformer?encoder層對(duì)第一拼接特征進(jìn)行特征提取和融合，得到第一預(yù)輸出特征。

10、對(duì)雷達(dá)圖像和視頻圖像進(jìn)行殘差處理和3x3卷積操作，得到第二預(yù)輸出特征。

11、將第一預(yù)輸出特征和第二預(yù)輸出特征進(jìn)行concat通道拼接，得到第三預(yù)輸出特征。

12、對(duì)第三預(yù)輸出特征進(jìn)行1x1卷積操作，得到雷達(dá)與視頻融合模塊的輸出結(jié)果。

13、結(jié)合第一方面，在一些可能的實(shí)現(xiàn)方式中，改進(jìn)的yolo模型中還包括特征融合模塊；

14、基于改進(jìn)的yolo模型中的雷達(dá)與視頻融合模塊對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)和視頻數(shù)據(jù)的處理結(jié)果，得到目標(biāo)檢測(cè)結(jié)果，包括：

15、對(duì)基于改進(jìn)的yolo模型中的雷達(dá)與視頻融合模塊對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)和視頻數(shù)據(jù)的處理結(jié)果，通過(guò)至少一個(gè)特征融合模塊進(jìn)行處理，得到目標(biāo)檢測(cè)結(jié)果；其中，特征融合模塊用于對(duì)輸入圖像進(jìn)行殘差處理、卷積、深度可分離卷積處理、concat融合和add融合操作處理。

16、結(jié)合第一方面，在一些可能的實(shí)現(xiàn)方式中，對(duì)輸入圖像進(jìn)行殘差處理、卷積、深度可分離卷積處理、concat融合和add融合操作處理，包括：

17、對(duì)輸入圖像進(jìn)行殘差處理，得到第一特征。

18、對(duì)輸入圖像進(jìn)行1xk卷積操作，得到第二特征。

19、對(duì)輸入圖像進(jìn)行kx1卷積操作，得到第三特征。

20、對(duì)輸入圖像進(jìn)行g(shù)host卷積和3x3深度可分離卷積，得到第四特征。

21、將第二特征、第三特征和第四特征進(jìn)行concat融合，得到第一融合特征。

22、將第一特征和第一融合特征進(jìn)行add操作，得到第四預(yù)輸出特征。

23、對(duì)第四預(yù)輸出特征依次進(jìn)行g(shù)host卷積和1x1卷積，得到特征融合模塊的輸出結(jié)果。

24、結(jié)合第一方面，在一些可能的實(shí)現(xiàn)方式中，對(duì)輸入圖像進(jìn)行殘差處理、卷積、深度可分離卷積處理、concat融合和add融合操作處理，包括：

25、對(duì)輸入圖像進(jìn)行殘差處理，得到第一特征。

26、對(duì)輸入圖像進(jìn)行1xk卷積操作，得到第二特征

27、對(duì)輸入圖像進(jìn)行kx1卷積操作，得到第三特征；。

28、對(duì)輸入圖像進(jìn)行g(shù)host卷積和3x3深度可分離卷積，得到第四特征。

29、將第二特征、第三特征和第四特征進(jìn)行concat融合，得到第一融合特征。

30、重復(fù)上述步驟多次，得到多個(gè)第一融合特征。

31、將第一特征和多個(gè)第一融合特征進(jìn)行add操作，得到第四預(yù)輸出特征。

32、對(duì)第四預(yù)輸出特征依次進(jìn)行g(shù)host卷積和1x1卷積，得到特征融合模塊的輸出結(jié)果。

33、結(jié)合第一方面，在一些可能的實(shí)現(xiàn)方式中，改進(jìn)的yolo模型包括：backbone層、neck層和head層；特征融合模塊包括：第一特征融合模塊、第二特征融合模塊、第三特征融合模塊、第四特征融合模塊、第五特征融合模塊、第六特征融合模塊、第七特征融合模塊和第八特征融合模塊。

34、backbone層包括：依次連接的雷達(dá)與視頻融合模塊、第一cbs模塊、第一特征融合模塊、第二cbs模塊、第二特征融合模塊、第三特征融合模塊、第四特征融合模塊和sppf模塊。

35、neck層包括：依次連接的psa采樣注意力模塊、upsample模塊、第一concat模塊、第五特征融合模塊、第二concat模塊、第六特征融合模塊、第三cbs模塊、第三concat模塊、第七特征融合模塊、第四cbs模塊、第四concat模塊和第八特征融合模塊。

36、head層包括：第一head模塊、第二head模塊和第三head模塊。

37、第二cbs模塊還與第二concat模塊連接；第三特征融合模塊還與第一concat模塊連接；sppf模塊還與psa采樣注意力模塊連接；psa采樣注意力模塊還與第四concat模塊連接；第五特征融合模塊還與第三concat模塊連接；第六特征融合模塊還與第一head模塊連接；第七特征融合模塊還與第二head模塊連接；第八特征融合模塊還與第三head模塊連接。

38、結(jié)合第一方面，在一些可能的實(shí)現(xiàn)方式中，雷達(dá)與視頻融合模塊用于對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行預(yù)處理，得到雷達(dá)圖像和視頻圖像，包括：

39、雷達(dá)與視頻融合模塊將雷達(dá)點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為圖像，得到雷達(dá)圖像。

40、通過(guò)opencv法將視頻數(shù)據(jù)進(jìn)行逐幀截取，得到視頻圖像。

41、第二方面，本技術(shù)實(shí)施例提供了一種基于雷達(dá)與視頻融合的目標(biāo)檢測(cè)裝置，包括：

42、數(shù)據(jù)獲取模塊，用于獲取待檢測(cè)目標(biāo)的雷達(dá)點(diǎn)云數(shù)據(jù)和視頻數(shù)據(jù)。

43、結(jié)果輸出模塊，用于基于改進(jìn)的yolo模型中的雷達(dá)與視頻融合模塊對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)和視頻數(shù)據(jù)的處理結(jié)果，得到目標(biāo)檢測(cè)結(jié)果；其中，雷達(dá)與視頻融合模塊用于對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行預(yù)處理，得到雷達(dá)圖像和視頻圖像，并對(duì)雷達(dá)圖像和視頻圖像進(jìn)行特征提取、特征拼接、特征融合、殘差處理、二次拼接和卷積處理。

44、第三方面，本技術(shù)實(shí)施例提供了一種終端設(shè)備，包括：處理器和存儲(chǔ)器，該存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如第一方面任一項(xiàng)所述的基于雷達(dá)與視頻融合的目標(biāo)檢測(cè)方法。

45、第四方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面任一項(xiàng)所述的基于雷達(dá)與視頻融合的目標(biāo)檢測(cè)方法。

46、可以理解的是，上述第二方面至第四方面的有益效果可以參見(jiàn)上述第一方面中的相關(guān)描述，在此不再贅述。

47、本技術(shù)實(shí)施例與現(xiàn)有技術(shù)相比存在的有益效果是：

48、本技術(shù)通過(guò)雷達(dá)與視頻融合模塊對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行處理，實(shí)現(xiàn)了兩種數(shù)據(jù)的深度融合，實(shí)現(xiàn)高效、準(zhǔn)確的目標(biāo)檢測(cè)。與現(xiàn)有技術(shù)相比，本發(fā)明因?yàn)橥ㄟ^(guò)融合視頻數(shù)據(jù)的豐富紋理信息和雷達(dá)數(shù)據(jù)的精確測(cè)距能力，因此在惡劣天氣、低照明或目標(biāo)遮擋等條件下表現(xiàn)出顯著的性能優(yōu)勢(shì)，降低了對(duì)環(huán)境條件的依賴，提高了目標(biāo)檢測(cè)的準(zhǔn)確性；還通過(guò)高效的數(shù)據(jù)處理和先進(jìn)的特征提取技術(shù)，并減少了計(jì)算資源的消耗，并保持了快速的響應(yīng)能力，提升了實(shí)時(shí)處理能力。

49、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本說(shuō)明書(shū)。