本發(fā)明涉及一種長短焦雙目視覺雷達目標融合方法、設備及存儲介質。

背景技術：

1、隨著科技的發(fā)展，各種傳感器技術不斷涌現(xiàn)，例如毫米波雷達、激光雷達、攝像頭、超聲波傳感器等。每種傳感器都有其優(yōu)點和局限性，它們采集的數(shù)據(jù)類型、精度、更新頻率和噪聲特性各異。隨著需要執(zhí)行的任務復雜程度逐漸增高，單一傳感器的數(shù)據(jù)可能不足以滿足系統(tǒng)的需求，尤其是在復雜環(huán)境下。多傳感器融合技術通過結合來自不同傳感器的數(shù)據(jù)來提高系統(tǒng)的整體性能和準確性，將不同的傳感器的優(yōu)勢互相結合。多傳感器融合在許多領域都具有重要意義，包括自動駕駛、移動機器人自主導航、軍事、醫(yī)療等領域。因此，如何將多傳感器的采集信息進行融合成為了亟待解決的技術問題。

2、公開號為cn116188770a的專利公開了一種長短焦相機融合方法。采用了ssim以及灰度直方圖的特征計算長短焦圖像的相似度，來獲取長焦和短焦目標的感興趣區(qū)域，再判斷長焦目標是否位于感興趣區(qū)域內，如果在區(qū)域內，則轉換到短焦上和短焦目標進行匹配，而圖像的特征容易受到光照，天氣等影響圖像質量的因素干擾，從而影響感興趣區(qū)域的生成，如果生成不準確，可能會出現(xiàn)漏匹配和誤匹配情況情況。

3、公開號為cn114089329a的專利公開了一種基于長短焦相機與毫米波雷達融合的目標檢測方法。通過長短焦圖像事先標定，將長焦圖像轉換到短焦上進行iou匹配，進行融合。但該提案未考慮到如果同一路相機上的目標重合度比較高，即使轉換到了另一個相機上，會出現(xiàn)即使是不同的目標也具有較高的iou，出現(xiàn)誤匹配情況。且只利用了雷達的深度信息，沒有對雷達目標和視覺目標進行融合。

4、公開號為cn117523514a的專利公開一種基于交叉注意力的雷達視覺融合數(shù)據(jù)目標檢測方法及系統(tǒng)。該專利通過獲取視覺圖像和點云特征圖，組成樣本數(shù)據(jù)集，并將樣本數(shù)據(jù)集按一定比例劃分為訓練集、驗證集和測試集；構建基于交叉注意力機制的目標檢測模型；設置優(yōu)化器、學習率策略和損失函數(shù)，得到訓練好的目標檢測模型進行融合。該方法需要對不同類型的傳感器數(shù)據(jù)進行同步和整合，這增加了數(shù)據(jù)處理的復雜性，而且在融合過程中可能會發(fā)生數(shù)據(jù)丟失或信息的冗余，這會影響最終融合效果。

技術實現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種長短焦雙目視覺雷達目標融合方法、設備及存儲介質，旨在解決上述技術問題。

2、為實現(xiàn)上述目的，本發(fā)明提供一種長短焦雙目視覺雷達目標融合方法。

3、所述長短焦雙目視覺雷達目標融合方法包括以下步驟：

4、獲取長焦圖像和短焦圖像;

5、劃定長焦圖像的可靠區(qū)域；

6、檢測長焦圖像中可靠區(qū)域范圍外的特征點，與短焦圖像上檢測出的特征點進行匹配而得到匹配點集，通過匹配點集得出轉換關系；

7、根據(jù)所述轉換關系將長焦圖像可靠區(qū)域邊界處的目標轉換到短焦圖像中進行圖像融合。

8、在一實施例中，所述根據(jù)所述轉換關系將長焦圖像可靠區(qū)域邊界處的目標轉換到短焦圖像中進行圖像融合的步驟之后，所述長短焦雙目視覺雷達目標融合方法還包括：

9、將長焦圖像可靠區(qū)域內的目標直接替換對應短焦圖像區(qū)域的目標。

10、在一實施例中，所述檢測長焦圖像中可靠區(qū)域范圍外的特征點，與短焦圖像上檢測出的特征點進行匹配而得到匹配點集，通過匹配點集得出轉換關系的步驟包括：

11、通過最小二乘法估計擬合出圖像的單應變換矩陣，得到長焦圖像和短焦圖像的轉換關系。

12、在一實施例中，所述劃定長焦圖像的可靠區(qū)域的步驟之前，所述長短焦雙目視覺雷達目標融合方法包括：

13、通過判斷長焦圖像和短焦圖像上兩個目標的之間的重疊度判斷兩個目標是否發(fā)生遮擋；

14、若是，則結合雷達點云數(shù)據(jù)，將雷達點云通過轉換關系轉換到對應的圖像目標框中得到目標的深度信息。

15、在一實施例中，所述將雷達點云通過轉換關系轉換到對應的圖像目標框中得到目標的深度信息的步驟之后，所述長短焦雙目視覺雷達目標融合方法包括：

16、將雷達目標投影到短焦上，得到短焦圖像上雷達目標位置框；

17、如果投影后的雷達目標位置框與所有視覺目標的位置框沒有重疊，則將該雷達目標補充到融合目標中；

18、如果轉換后的雷達目標位置框與任意相機目標位置框發(fā)生重疊，則過濾掉該雷達目標。

19、在一實施例中，所述通過判斷長焦圖像和短焦圖像上兩個目標的之間的重疊度判斷兩個目標是否發(fā)生遮擋的步驟具體為：

20、通過計算兩個目標的重疊度進行判斷，如果兩個額目標的重疊度大于預設閾值，則判定這兩個目標為遮擋情況。

21、此外，為實現(xiàn)上述目的，本發(fā)明還提供一種長短焦雙目視覺雷達目標融合設備，所述長短焦雙目視覺雷達目標融合設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的長短焦雙目視覺雷達目標融合程序，所述長短焦雙目視覺雷達目標融合程序被所述處理器執(zhí)行時實現(xiàn)如上所述的長短焦雙目視覺雷達目標融合方法的步驟。

22、此外，為實現(xiàn)上述目的，本發(fā)明還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有長短焦雙目視覺雷達目標融合程序，所述長短焦雙目視覺雷達目標融合程序被處理器執(zhí)行時實現(xiàn)如上所述的長短焦雙目視覺雷達目標融合方法的步驟。

23、本發(fā)明所能實現(xiàn)的有益效果：本發(fā)明實施例提出的一種長短焦雙目視覺雷達目標融合方法，通過在長焦邊界區(qū)域范圍內進行特征提取，與短焦提取的特征點進行匹配，自動得到轉換關系的同時，節(jié)省了計算量，因為不需要在長焦全圖范圍內進行特征特區(qū)提取和匹配。同樣的，由于長焦中心區(qū)域內目標一定比短焦對應區(qū)域更可靠，因此只在長焦邊界區(qū)域內與短焦目標進行匹配，減少需要進行iou匹配的目標數(shù)量，提升融合效果的同時，節(jié)省了計算資源。

技術特征：

1.一種長短焦雙目視覺雷達目標融合方法，其特征在于，所述長短焦雙目視覺雷達目標融合方法包括以下步驟：

2.如權利要求1所述的長短焦雙目視覺雷達目標融合方法，其特征在于，所述根據(jù)所述轉換關系將長焦圖像可靠區(qū)域邊界處的目標轉換到短焦圖像中進行圖像融合的步驟之后，所述長短焦雙目視覺雷達目標融合方法還包括：

3.如權利要求1所述的長短焦雙目視覺雷達目標融合方法，其特征在于，所述檢測長焦圖像中可靠區(qū)域范圍外的特征點，與短焦圖像上檢測出的特征點進行匹配而得到匹配點集，通過匹配點集得出轉換關系的步驟包括：

4.根據(jù)權利要求1所述的長短焦雙目視覺雷達目標融合方法，其特征在于，所述劃定長焦圖像的可靠區(qū)域的步驟之前，所述長短焦雙目視覺雷達目標融合方法包括：

5.根據(jù)權利要求4所述的長短焦雙目視覺雷達目標融合方法，其特征在于，所述將雷達點云通過轉換關系轉換到對應的圖像目標框中得到目標的深度信息的步驟之后，所述長短焦雙目視覺雷達目標融合方法包括：

6.根據(jù)權利要求4所述的長短焦雙目視覺雷達目標融合方法，其特征在于，所述通過判斷長焦圖像和短焦圖像上兩個目標的之間的重疊度判斷兩個目標是否發(fā)生遮擋的步驟具體為：

7.一種長短焦雙目視覺雷達目標融合設備，其特征在于，所述長短焦雙目視覺雷達目標融合設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的長短焦雙目視覺雷達目標融合程序，所述長短焦雙目視覺雷達目標融合程序被所述處理器執(zhí)行時實現(xiàn)如權利要求1至6中任一項所述的長短焦雙目視覺雷達目標融合方法的步驟。

8.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有長短焦雙目視覺雷達目標融合程序，所述長短焦雙目視覺雷達目標融合程序被處理器執(zhí)行時實現(xiàn)如權利要求1至6中任一項所述的長短焦雙目視覺雷達目標融合方法的步驟。

技術總結
本發(fā)明公開了一種長短焦雙目視覺雷達目標融合方法，通過在長焦邊界區(qū)域范圍內進行特征提取，與短焦提取的特征點進行匹配，自動得到轉換關系的同時，節(jié)省了計算量，因為不需要在長焦全圖范圍內進行特征特區(qū)提取和匹配。同樣的，由于長焦中心區(qū)域內目標一定比短焦對應區(qū)域更可靠，因此只在長焦邊界區(qū)域內與短焦目標進行匹配，減少需要進行iou匹配的目標數(shù)量，提升融合效果的同時，節(jié)省了計算資源。

技術研發(fā)人員：龍琛,王芳,王磊
受保護的技術使用者：浙大城市學院濱江創(chuàng)新中心
技術研發(fā)日：
技術公布日：2025/1/9