本技術(shù)涉及自動(dòng)駕駛，特別涉及一種基于2d監(jiān)督的bev?3d目標(biāo)檢測(cè)模型微調(diào)方法。

背景技術(shù)：

1、自動(dòng)駕駛汽車技術(shù)的迅速發(fā)展為人們的生活帶來(lái)了許多便利。在自動(dòng)駕駛技術(shù)中，精準(zhǔn)而實(shí)時(shí)的環(huán)境感知是實(shí)現(xiàn)自主導(dǎo)航的一個(gè)至關(guān)重要的環(huán)節(jié)，它直接影響著車輛的行駛安全和乘客的舒適度。自動(dòng)駕駛車輛需要準(zhǔn)確地理解周圍環(huán)境中的車輛、行人和障礙物，并推測(cè)它們?cè)谌S空間中的位置和運(yùn)動(dòng)狀態(tài)，以確保自動(dòng)駕駛車輛能夠安全、準(zhǔn)確地行駛。鳥(niǎo)瞰圖(bird's-eye-view，bev)感知算法作為一種重要的環(huán)境感知手段逐漸受到關(guān)注。其將車輛周圍的環(huán)境以鳥(niǎo)瞰圖的形勢(shì)呈現(xiàn)，直觀地展示目標(biāo)在三維空間中的位置，使得車輛可以更好地感知周圍環(huán)境。

2、相關(guān)技術(shù)中，許多先進(jìn)的算法已經(jīng)被廣泛應(yīng)用于自動(dòng)駕駛目標(biāo)檢測(cè)中，如bevformer(一種純視覺(jué)的自動(dòng)駕駛感知算法)、bevdet(一種基于鳥(niǎo)瞰圖(bird's?eyeview)的3d檢測(cè)技術(shù))等。這些算法經(jīng)大量有3d標(biāo)簽的數(shù)據(jù)訓(xùn)練，對(duì)特定任務(wù)場(chǎng)景進(jìn)行針對(duì)性的學(xué)習(xí)，實(shí)現(xiàn)能夠自動(dòng)提取圖像特征，并準(zhǔn)確地識(shí)別出道路上的各種目標(biāo)的效果。同時(shí)，為了提高檢測(cè)的準(zhǔn)確率和實(shí)時(shí)性，算法優(yōu)化和硬件加速方面的研究也在持續(xù)向前。

3、然而，相關(guān)技術(shù)中的自動(dòng)駕駛目標(biāo)檢測(cè)算法在復(fù)雜場(chǎng)景下的魯棒性較低，部分目標(biāo)檢測(cè)算法提高精度的同時(shí)無(wú)法兼顧跨域泛化能力，且多數(shù)目標(biāo)檢測(cè)算法依靠大量3d標(biāo)注數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，數(shù)據(jù)獲取與標(biāo)注的耗費(fèi)時(shí)間長(zhǎng)、經(jīng)濟(jì)成本高，卻難以適應(yīng)實(shí)際生活中車型或任務(wù)場(chǎng)景的更新迭代，亟待解決。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供一種基于2d監(jiān)督的bev?3d目標(biāo)檢測(cè)模型微調(diào)方法，以解決相關(guān)技術(shù)中的自動(dòng)駕駛目標(biāo)檢測(cè)算法在復(fù)雜場(chǎng)景下的魯棒性較低，部分目標(biāo)檢測(cè)算法提高精度的同時(shí)無(wú)法兼顧跨域泛化能力，且多數(shù)目標(biāo)檢測(cè)算法依靠大量有標(biāo)簽的數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，數(shù)據(jù)獲取與標(biāo)注的耗費(fèi)時(shí)間長(zhǎng)、經(jīng)濟(jì)成本高，卻難以適應(yīng)實(shí)際生活中車型或任務(wù)場(chǎng)景的更新迭代等問(wèn)題。

2、本技術(shù)第一方面實(shí)施例提供一種基于2d監(jiān)督的bev?3d目標(biāo)檢測(cè)模型微調(diào)方法，包括以下步驟：將目標(biāo)多視角圖像輸入至預(yù)訓(xùn)練3d目標(biāo)檢測(cè)模型和預(yù)訓(xùn)練2d目標(biāo)檢測(cè)模型，分別得到3d檢測(cè)框預(yù)測(cè)輸出結(jié)果和2d檢測(cè)框預(yù)測(cè)輸出結(jié)果；基于所述3d檢測(cè)框預(yù)測(cè)輸出結(jié)果、所述2d檢測(cè)框預(yù)測(cè)輸出結(jié)果和預(yù)設(shè)檢測(cè)框投影策略，獲取所述3d檢測(cè)框預(yù)測(cè)輸出結(jié)果對(duì)應(yīng)的2d投影檢測(cè)框，并對(duì)所述2d投影檢測(cè)框和預(yù)設(shè)的2d檢測(cè)框真值進(jìn)行匹配，得到匹配結(jié)果；利用所述匹配結(jié)果和預(yù)設(shè)2d標(biāo)注數(shù)據(jù)優(yōu)化所述預(yù)訓(xùn)練3d目標(biāo)檢測(cè)模型的目標(biāo)損失函數(shù)，以生成所述2d標(biāo)注數(shù)據(jù)監(jiān)督微調(diào)的3d目標(biāo)檢測(cè)微調(diào)模型。

3、可選地，在本技術(shù)的一個(gè)實(shí)施例中，在利用所述匹配結(jié)果和所述預(yù)設(shè)2d標(biāo)注數(shù)據(jù)微調(diào)所述目標(biāo)損失函數(shù)的之后，還包括：根據(jù)所述2d標(biāo)注數(shù)據(jù)微調(diào)所述預(yù)訓(xùn)練2d目標(biāo)檢測(cè)模型，并判斷微調(diào)后的預(yù)訓(xùn)練2d目標(biāo)檢測(cè)模型是否滿足預(yù)設(shè)檢測(cè)性能要求；在所述微調(diào)后的預(yù)訓(xùn)練2d目標(biāo)檢測(cè)模型滿足所述預(yù)設(shè)檢測(cè)性能要求的情況下，將預(yù)設(shè)無(wú)標(biāo)簽多視角圖像分別輸入至所述預(yù)訓(xùn)練3d目標(biāo)檢測(cè)模型和所述預(yù)訓(xùn)練2d目標(biāo)檢測(cè)模型，以輸出第二3d檢測(cè)框預(yù)測(cè)輸出結(jié)果和第二2d檢測(cè)框預(yù)測(cè)輸出結(jié)果；獲取所述第二3d檢測(cè)框預(yù)測(cè)輸出結(jié)果對(duì)應(yīng)的第二2d投影檢測(cè)框，并匹配所述第二2d投影檢測(cè)框和所述第二2d檢測(cè)框預(yù)測(cè)輸出結(jié)果，得到無(wú)標(biāo)簽匹配結(jié)果；基于所述無(wú)標(biāo)簽匹配結(jié)果，優(yōu)化所述目標(biāo)損失函數(shù)，生成所述無(wú)標(biāo)簽多視角圖像對(duì)應(yīng)的3d目標(biāo)檢測(cè)微調(diào)模型。

4、可選地，在本技術(shù)的一個(gè)實(shí)施例中，所述基于所述3d檢測(cè)框預(yù)測(cè)輸出結(jié)果、所述2d檢測(cè)框預(yù)測(cè)輸出結(jié)果和預(yù)設(shè)檢測(cè)框投影策略，獲取所述3d檢測(cè)框預(yù)測(cè)輸出結(jié)果對(duì)應(yīng)的2d投影檢測(cè)框，并對(duì)所述2d投影檢測(cè)框和預(yù)設(shè)的2d檢測(cè)框真值進(jìn)行匹配，得到匹配結(jié)果，包括：將bev空間坐標(biāo)系下的所述3d檢測(cè)框預(yù)測(cè)輸出結(jié)果向每個(gè)相機(jī)的圖像坐標(biāo)系進(jìn)行坐標(biāo)轉(zhuǎn)換，得到圖像坐標(biāo)系下的3d檢測(cè)框；將所述圖像坐標(biāo)系下的3d檢測(cè)框轉(zhuǎn)換為2d檢測(cè)框，以獲取所述3d檢測(cè)框預(yù)測(cè)輸出結(jié)果對(duì)應(yīng)的2d投影檢測(cè)框；基于所述圖像坐標(biāo)系，將所述2d投影檢測(cè)框與預(yù)設(shè)的2d檢測(cè)框真值進(jìn)行匹配，得到所述匹配結(jié)果。

5、可選地，在本技術(shù)的一個(gè)實(shí)施例中，所述將bev空間坐標(biāo)系下的所述3d檢測(cè)框預(yù)測(cè)輸出結(jié)果向每個(gè)相機(jī)的圖像坐標(biāo)系進(jìn)行坐標(biāo)轉(zhuǎn)換，得到圖像坐標(biāo)系下的3d檢測(cè)框的表示公式為：

6、pimg＝k·t·pbev

7、其中，k為相機(jī)內(nèi)參矩陣，t相機(jī)外參矩陣，pimg和pbev分別為圖像坐標(biāo)系下和bev空間坐標(biāo)系下的3d檢測(cè)框角點(diǎn)坐標(biāo)。

8、本技術(shù)第二方面實(shí)施例提供一種基于2d監(jiān)督的bev?3d目標(biāo)檢測(cè)模型微調(diào)裝置，包括：處理模塊，用于將目標(biāo)多視角圖像輸入至預(yù)訓(xùn)練3d目標(biāo)檢測(cè)模型和預(yù)訓(xùn)練2d目標(biāo)檢測(cè)模型，分別得到3d檢測(cè)框預(yù)測(cè)輸出結(jié)果和2d檢測(cè)框預(yù)測(cè)輸出結(jié)果；投影模塊，用于基于所述3d檢測(cè)框預(yù)測(cè)輸出結(jié)果、所述2d檢測(cè)框預(yù)測(cè)輸出結(jié)果和預(yù)設(shè)檢測(cè)框投影策略，獲取所述3d檢測(cè)框預(yù)測(cè)輸出結(jié)果對(duì)應(yīng)的2d投影檢測(cè)框，并對(duì)所述2d投影檢測(cè)框和預(yù)設(shè)的2d檢測(cè)框真值進(jìn)行匹配，得到匹配結(jié)果；微調(diào)模塊，用于利用所述匹配結(jié)果和預(yù)設(shè)2d標(biāo)注數(shù)據(jù)優(yōu)化所述預(yù)訓(xùn)練3d目標(biāo)檢測(cè)模型的目標(biāo)損失函數(shù)，以生成所述2d標(biāo)注數(shù)據(jù)監(jiān)督微調(diào)的3d目標(biāo)檢測(cè)微調(diào)模型。

9、可選地，在本技術(shù)的一個(gè)實(shí)施例中，還包括：判斷模塊，用于在利用所述匹配結(jié)果和所述預(yù)設(shè)2d標(biāo)注數(shù)據(jù)微調(diào)所述目標(biāo)損失函數(shù)的之后，根據(jù)所述2d標(biāo)注數(shù)據(jù)微調(diào)所述預(yù)訓(xùn)練2d目標(biāo)檢測(cè)模型，并判斷微調(diào)后的預(yù)訓(xùn)練2d目標(biāo)檢測(cè)模型是否滿足預(yù)設(shè)檢測(cè)性能要求；輸出模塊，用于在所述微調(diào)后的預(yù)訓(xùn)練2d目標(biāo)檢測(cè)模型滿足所述預(yù)設(shè)檢測(cè)性能要求的情況下，將預(yù)設(shè)無(wú)標(biāo)簽多視角圖像分別輸入至所述預(yù)訓(xùn)練3d目標(biāo)檢測(cè)模型和所述預(yù)訓(xùn)練2d目標(biāo)檢測(cè)模型，以輸出第二3d檢測(cè)框預(yù)測(cè)輸出結(jié)果和第二2d檢測(cè)框預(yù)測(cè)輸出結(jié)果；匹配模塊，用于獲取所述第二3d檢測(cè)框預(yù)測(cè)輸出結(jié)果對(duì)應(yīng)的第二2d投影檢測(cè)框，并匹配所述第二2d投影檢測(cè)框和所述第二2d檢測(cè)框預(yù)測(cè)輸出結(jié)果，得到無(wú)標(biāo)簽匹配結(jié)果；生成模塊，用于基于所述無(wú)標(biāo)簽匹配結(jié)果，優(yōu)化所述目標(biāo)損失函數(shù)，生成所述無(wú)標(biāo)簽多視角圖像對(duì)應(yīng)的3d目標(biāo)檢測(cè)微調(diào)模型。

10、可選地，在本技術(shù)的一個(gè)實(shí)施例中，所述投影模塊，包括：第一轉(zhuǎn)換單元，用于將bev空間坐標(biāo)系下的所述3d檢測(cè)框預(yù)測(cè)輸出結(jié)果向每個(gè)相機(jī)的圖像坐標(biāo)系進(jìn)行坐標(biāo)轉(zhuǎn)換，得到圖像坐標(biāo)系下的3d檢測(cè)框；第二轉(zhuǎn)換單元，用于將所述圖像坐標(biāo)系下的3d檢測(cè)框轉(zhuǎn)換為2d檢測(cè)框，以獲取所述3d檢測(cè)框預(yù)測(cè)輸出結(jié)果對(duì)應(yīng)的2d投影檢測(cè)框；匹配單元，用于基于所述圖像坐標(biāo)系，將所述2d投影檢測(cè)框與預(yù)設(shè)的2d檢測(cè)框真值進(jìn)行匹配，得到所述匹配結(jié)果。

11、可選地，在本技術(shù)的一個(gè)實(shí)施例中，所述將bev空間坐標(biāo)系下的所述3d檢測(cè)框預(yù)測(cè)輸出結(jié)果向每個(gè)相機(jī)的圖像坐標(biāo)系進(jìn)行坐標(biāo)轉(zhuǎn)換，得到圖像坐標(biāo)系下的3d檢測(cè)框的表示公式為：

12、pimg＝k·t·pbev

13、其中，k為相機(jī)內(nèi)參矩陣，t相機(jī)外參矩陣，pimg和pbev分別為圖像坐標(biāo)系下和bev空間坐標(biāo)系下的3d檢測(cè)框角點(diǎn)坐標(biāo)。

14、本技術(shù)第三方面實(shí)施例提供一種電子設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序，以實(shí)現(xiàn)如上述實(shí)施例所述的基于2d監(jiān)督的bev?3d目標(biāo)檢測(cè)模型微調(diào)方法。

15、本技術(shù)第四方面實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上的基于2d監(jiān)督的bev?3d目標(biāo)檢測(cè)模型微調(diào)方法。

16、本技術(shù)第五方面實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被執(zhí)行時(shí)，以用于實(shí)現(xiàn)如上的基于2d監(jiān)督的bev?3d目標(biāo)檢測(cè)模型微調(diào)方法。

17、本技術(shù)實(shí)施例可以基于預(yù)訓(xùn)練3d目標(biāo)檢測(cè)模型和預(yù)訓(xùn)練2d目標(biāo)檢測(cè)模型，利用2d標(biāo)注數(shù)據(jù)實(shí)現(xiàn)對(duì)預(yù)訓(xùn)練2d目標(biāo)檢測(cè)模型和預(yù)訓(xùn)練3d目標(biāo)檢測(cè)模型的同步微調(diào)，得到2d目標(biāo)檢測(cè)微調(diào)模型和3d目標(biāo)檢測(cè)微調(diào)模型，并可以利用2d目標(biāo)檢測(cè)微調(diào)模型生成2d的偽標(biāo)簽，實(shí)現(xiàn)3d目標(biāo)檢測(cè)微調(diào)模型的自動(dòng)化微調(diào)，通過(guò)基于2d監(jiān)督的微調(diào)框架，解決了實(shí)車部署微調(diào)時(shí)，3d標(biāo)注數(shù)據(jù)獲取困難、成本高的問(wèn)題，減少對(duì)大規(guī)模標(biāo)注數(shù)據(jù)的依賴，降低微調(diào)成本，加速bev?3d目標(biāo)檢測(cè)模型的部署與后續(xù)的迭代優(yōu)化，同時(shí)通過(guò)3d檢測(cè)框投影獨(dú)立于bev?3d目標(biāo)檢測(cè)模型，利用簡(jiǎn)單的坐標(biāo)變換快速獲得2d檢測(cè)框，可插拔的特性使得本技術(shù)的微調(diào)框架可以快速應(yīng)用于多種3d檢測(cè)模型以及其他bev感知模型中。由此，解決了相關(guān)技術(shù)中的自動(dòng)駕駛目標(biāo)檢測(cè)算法在復(fù)雜場(chǎng)景下的魯棒性較低，部分目標(biāo)檢測(cè)算法提高精度的同時(shí)無(wú)法兼顧跨域泛化能力，且多數(shù)目標(biāo)檢測(cè)算法依靠大量有3d標(biāo)注數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，數(shù)據(jù)獲取與標(biāo)注的耗費(fèi)時(shí)間長(zhǎng)、經(jīng)濟(jì)成本高，卻難以適應(yīng)實(shí)際生活中車型或任務(wù)場(chǎng)景的更新迭代等問(wèn)題。

18、本技術(shù)附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本技術(shù)的實(shí)踐了解到。