所屬的技術(shù)人員能夠理解，本發(fā)明的各個(gè)方面可以實(shí)現(xiàn)為系統(tǒng)、方法或程序產(chǎn)品。因此，本發(fā)明的各個(gè)方面可以具體實(shí)現(xiàn)為以下形式，即：完全的硬件實(shí)施方式、完全的軟件實(shí)施方式(包括固件、微代碼等)，或硬件和軟件方面結(jié)合的實(shí)施方式，這里可以統(tǒng)稱為“電路”、“模塊”或“平臺(tái)”。本發(fā)明再一個(gè)實(shí)施例中，提供一種基于多源數(shù)據(jù)融合技術(shù)的道路目標(biāo)檢測(cè)系統(tǒng)，該系統(tǒng)能夠用于實(shí)現(xiàn)上述基于多源數(shù)據(jù)融合技術(shù)的道路目標(biāo)檢測(cè)方法，具體的，該基于多源數(shù)據(jù)融合技術(shù)的道路目標(biāo)檢測(cè)系統(tǒng)包括提取模塊、評(píng)估模塊、對(duì)齊模塊以及檢測(cè)模塊。其中，提取模塊，利用深度學(xué)習(xí)方法對(duì)圖像數(shù)據(jù)和毫米波雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行特征提取，得到鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖；評(píng)估模塊，對(duì)鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖進(jìn)行可信評(píng)估，根據(jù)評(píng)估結(jié)果自適應(yīng)調(diào)整不同數(shù)據(jù)源的權(quán)重，得到平衡后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖；對(duì)齊模塊，將平衡后的鳥(niǎo)瞰圖視角圖像特征圖、毫米波點(diǎn)云特征圖和傳感器元數(shù)據(jù)輸入特征匹配網(wǎng)絡(luò)中，輸出兩個(gè)與特征圖相同大小的特征偏移圖，將特征偏移圖作為可變形卷積神經(jīng)網(wǎng)絡(luò)的變形偏移量，利用可變形卷積神經(jīng)網(wǎng)絡(luò)對(duì)平衡后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖進(jìn)行特征對(duì)齊，將對(duì)齊后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖輸入融合網(wǎng)絡(luò)中，輸出一個(gè)與特征圖相同大小的融合特征圖；檢測(cè)模塊，使用基于無(wú)錨點(diǎn)的目標(biāo)檢測(cè)方法對(duì)融合特征圖進(jìn)行目標(biāo)檢測(cè)，生成目標(biāo)檢測(cè)結(jié)果。本發(fā)明再一個(gè)實(shí)施例中，提供了一種終端設(shè)備，該終端設(shè)備包括處理器以及存儲(chǔ)器，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括程序指令，所述處理器用于執(zhí)行所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)的程序指令。處理器可能是中央處理單元(central?processingunit，cpu)，還可以是其他通用處理器、數(shù)字信號(hào)處理器(digital?signal?processor、dsp)、專用集成電路(application?specific?integrated?circuit，asic)、現(xiàn)成可編程門陣列(field-programmable?gate?array，fpga)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件等，其是終端的計(jì)算核心以及控制核心，其適于實(shí)現(xiàn)一條或一條以上指令，具體適于加載并執(zhí)行一條或一條以上指令從而實(shí)現(xiàn)相應(yīng)方法流程或相應(yīng)功能；本發(fā)明實(shí)施例所述的處理器可以用于基于多源數(shù)據(jù)融合技術(shù)的道路目標(biāo)檢測(cè)方法的操作，包括：利用深度學(xué)習(xí)方法對(duì)圖像數(shù)據(jù)和毫米波雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行特征提取，得到鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖；對(duì)鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖進(jìn)行可信評(píng)估，根據(jù)評(píng)估結(jié)果自適應(yīng)調(diào)整不同數(shù)據(jù)源的權(quán)重，得到平衡后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖；將平衡后的鳥(niǎo)瞰圖視角圖像特征圖、毫米波點(diǎn)云特征圖和傳感器元數(shù)據(jù)輸入特征匹配網(wǎng)絡(luò)中，輸出兩個(gè)與特征圖相同大小的特征偏移圖，將特征偏移圖作為可變形卷積神經(jīng)網(wǎng)絡(luò)的變形偏移量，利用可變形卷積神經(jīng)網(wǎng)絡(luò)對(duì)平衡后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖進(jìn)行特征對(duì)齊，將對(duì)齊后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖輸入融合網(wǎng)絡(luò)中，輸出一個(gè)與特征圖相同大小的融合特征圖；使用基于無(wú)錨點(diǎn)的目標(biāo)檢測(cè)方法對(duì)融合特征圖進(jìn)行目標(biāo)檢測(cè)，生成目標(biāo)檢測(cè)結(jié)果。本發(fā)明再一個(gè)實(shí)施例中，本發(fā)明還提供了一種存儲(chǔ)介質(zhì)，具體為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(memory)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)是終端設(shè)備中的記憶設(shè)備，用于存放程序和數(shù)據(jù)?？梢岳斫獾氖?，此處的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)既可以包括終端設(shè)備中的內(nèi)置存儲(chǔ)介質(zhì)，當(dāng)然也可以包括終端設(shè)備所支持的擴(kuò)展存儲(chǔ)介質(zhì)，可以是任何包含或存儲(chǔ)程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)提供存儲(chǔ)空間，該存儲(chǔ)空間存儲(chǔ)了終端的操作系統(tǒng)。并且，在該存儲(chǔ)空間中還存放了適于被處理器加載并執(zhí)行的一條或一條以上的指令，這些指令可以是一個(gè)或一個(gè)以上的計(jì)算機(jī)程序(包括程序代碼)。需要說(shuō)明的是，此處的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括：具有一個(gè)或多個(gè)導(dǎo)線的電連接、便攜式盤、硬盤、隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、可擦式可編程只讀存儲(chǔ)器(eprom或閃存)、光纖、便攜式緊湊盤只讀存儲(chǔ)器(cd-rom)、光存儲(chǔ)器件、磁存儲(chǔ)器件、或者上述的任一合適的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)還包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號(hào)，其中承載了可讀程序代碼。這種傳播的數(shù)據(jù)信號(hào)可以采用多種形式，包括但不限于電磁信號(hào)、光信號(hào)或上述的任一合適的組合。可讀存儲(chǔ)介質(zhì)還可以是可讀存儲(chǔ)介質(zhì)以外的任何可讀介質(zhì)，該可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序?？勺x存儲(chǔ)介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸，包括但不限于無(wú)線、有線、光纜、rf等等，或者上述的任一合適的組合。可以以一種或多種程序設(shè)計(jì)語(yǔ)言的任一組合來(lái)編寫用于執(zhí)行本發(fā)明操作的程序代碼，程序設(shè)計(jì)語(yǔ)言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言—諸如java、c++等，還包括常規(guī)的過(guò)程式程序設(shè)計(jì)語(yǔ)言—諸如“c”語(yǔ)言或類似的程序設(shè)計(jì)語(yǔ)言。程序代碼可以完全地在用戶計(jì)算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算設(shè)備上部分在遠(yuǎn)程計(jì)算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算設(shè)備或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算設(shè)備的情形中，遠(yuǎn)程計(jì)算設(shè)備可以通過(guò)任一種類的網(wǎng)絡(luò)，包括局域網(wǎng)(lan)或廣域網(wǎng)(wan)，連接到用戶計(jì)算設(shè)備，或者，可以連接到外部計(jì)算設(shè)備(例如利用因特網(wǎng)服務(wù)提供商來(lái)通過(guò)因特網(wǎng)連接)。可由處理器加載并執(zhí)行計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存放的一條或一條以上指令，以實(shí)現(xiàn)上述實(shí)施例中有關(guān)基于多源數(shù)據(jù)融合技術(shù)的道路目標(biāo)檢測(cè)方法的相應(yīng)步驟；計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的一條或一條以上指令由處理器加載并執(zhí)行如下步驟：利用深度學(xué)習(xí)方法對(duì)圖像數(shù)據(jù)和毫米波雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行特征提取，得到鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖；對(duì)鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖進(jìn)行可信評(píng)估，根據(jù)評(píng)估結(jié)果自適應(yīng)調(diào)整不同數(shù)據(jù)源的權(quán)重，得到平衡后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖；將平衡后的鳥(niǎo)瞰圖視角圖像特征圖、毫米波點(diǎn)云特征圖和傳感器元數(shù)據(jù)輸入特征匹配網(wǎng)絡(luò)中，輸出兩個(gè)與特征圖相同大小的特征偏移圖，將特征偏移圖作為可變形卷積神經(jīng)網(wǎng)絡(luò)的變形偏移量，利用可變形卷積神經(jīng)網(wǎng)絡(luò)對(duì)平衡后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖進(jìn)行特征對(duì)齊，將對(duì)齊后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖輸入融合網(wǎng)絡(luò)中，輸出一個(gè)與特征圖相同大小的融合特征圖；使用基于無(wú)錨點(diǎn)的目標(biāo)檢測(cè)方法對(duì)融合特征圖進(jìn)行目標(biāo)檢測(cè)，生成目標(biāo)檢測(cè)結(jié)果。請(qǐng)參閱圖9，終端設(shè)備為計(jì)算機(jī)設(shè)備，該實(shí)施例的計(jì)算機(jī)設(shè)備60包括：處理器61、存儲(chǔ)器62以及存儲(chǔ)在存儲(chǔ)器62中并可在處理器61上運(yùn)行的計(jì)算機(jī)程序63，該計(jì)算機(jī)程序63被處理器61執(zhí)行時(shí)實(shí)現(xiàn)實(shí)施例中的儲(chǔ)層改造井筒中流體組成計(jì)算方法，為避免重復(fù)，此處不一一贅述。或者，該計(jì)算機(jī)程序63被處理器61執(zhí)行時(shí)實(shí)現(xiàn)實(shí)施例儲(chǔ)層改造井筒中流體組成計(jì)算系統(tǒng)中各模型/單元的功能，為避免重復(fù)，此處不一一贅述。計(jì)算機(jī)設(shè)備60可以是桌上型計(jì)算機(jī)、筆記本、掌上電腦及云端服務(wù)器等計(jì)算設(shè)備。計(jì)算機(jī)設(shè)備60可包括，但不僅限于，處理器61、存儲(chǔ)器62。本領(lǐng)域技術(shù)人員可以理解，圖9僅僅是計(jì)算機(jī)設(shè)備60的示例，并不構(gòu)成對(duì)計(jì)算機(jī)設(shè)備60的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如計(jì)算機(jī)設(shè)備還可以包括輸入輸出設(shè)備、網(wǎng)絡(luò)接入設(shè)備、總線等。所稱處理器61可以是中央處理單元(central?processing?unit，cpu)，還可以是其它通用處理器、中央處理器、圖形處理器、數(shù)字信號(hào)處理器(digital?signal?processor，dsp)、專用集成電路(application?specific?integrated?circuit，asic)、現(xiàn)場(chǎng)可編程門陣列(field-programmable?gate?array，fpga)或者其它可編程邏輯器件、分立門或者晶體管邏輯器件、基于量子計(jì)算的數(shù)據(jù)處理邏輯器、分立硬件組件等。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。存儲(chǔ)器62可以是計(jì)算機(jī)設(shè)備60的內(nèi)部存儲(chǔ)單元，例如計(jì)算機(jī)設(shè)備60的硬盤或內(nèi)存。存儲(chǔ)器62也可以是計(jì)算機(jī)設(shè)備60的外部存儲(chǔ)設(shè)備，例如計(jì)算機(jī)設(shè)備60上配備的插接式硬盤，智能存儲(chǔ)卡(smart?media?card，smc)，安全數(shù)字(secure?digital,sd)卡，閃存卡(flash?card)等。進(jìn)一步地，存儲(chǔ)器62還可以既包括計(jì)算機(jī)設(shè)備60的內(nèi)部存儲(chǔ)單元也包括外部存儲(chǔ)設(shè)備。存儲(chǔ)器62用于存儲(chǔ)計(jì)算機(jī)程序以及計(jì)算機(jī)設(shè)備所需的其它程序和數(shù)據(jù)。存儲(chǔ)器62還可以用于暫時(shí)地存儲(chǔ)已經(jīng)輸出或者將要輸出的數(shù)據(jù)。本技術(shù)所提供的各實(shí)施例中所使用的對(duì)存儲(chǔ)器、數(shù)據(jù)庫(kù)或其它介質(zhì)的任何引用，均可包括非易失性和易失性存儲(chǔ)器中的至少一種。非易失性存儲(chǔ)器可包括只讀存儲(chǔ)器(read-only?memory，rom)、磁帶、軟盤、閃存、光存儲(chǔ)器、高密度嵌入式非易失性存儲(chǔ)器、阻變存儲(chǔ)器(reram)、磁變存儲(chǔ)器(magnetoresistive?random?access?memory，mram)、鐵電存儲(chǔ)器(ferroelectric?random?access?memory，fram)、相變存儲(chǔ)器(phase?change?memory，pcm)、石墨烯存儲(chǔ)器等。易失性存儲(chǔ)器可包括隨機(jī)存取存儲(chǔ)器(random?access?memory，ram)或外部高速緩沖存儲(chǔ)器等。作為說(shuō)明而非局限，ram可以是多種形式，比如靜態(tài)隨機(jī)存取存儲(chǔ)器(static?random?access?memory，sram)或動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dynamic?randomaccess?memory，dram)等。本技術(shù)所提供的各實(shí)施例中所涉及的數(shù)據(jù)庫(kù)可包括關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)中至少一種。非關(guān)系型數(shù)據(jù)庫(kù)可包括基于區(qū)塊鏈的分布式數(shù)據(jù)庫(kù)等，不限于此。本技術(shù)所提供的各實(shí)施例中所涉及的處理器可為通用處理器、中央處理器、圖形處理器、數(shù)字信號(hào)處理器、可編程邏輯器、基于量子計(jì)算的數(shù)據(jù)處理邏輯器等，不限于此。請(qǐng)參閱圖10，終端設(shè)備600為電子設(shè)備，電子設(shè)備以通用計(jì)算設(shè)備的形式表現(xiàn)。電子設(shè)備的組件可以包括但不限于：至少一個(gè)處理單元610、至少一個(gè)存儲(chǔ)單元620、連接不同平臺(tái)組件(包括存儲(chǔ)單元620和處理單元610)的總線630、顯示單元640等。其中，存儲(chǔ)單元存儲(chǔ)有程序代碼，程序代碼可以被處理單元610執(zhí)行，使得處理單元610執(zhí)行本說(shuō)明書上述方法部分中描述的根據(jù)本發(fā)明各種示例性實(shí)施方式的步驟。例如，處理單元610可以執(zhí)行如圖1中所示的步驟。存儲(chǔ)單元620可以包括易失性存儲(chǔ)單元形式的可讀介質(zhì)，例如隨機(jī)存取存儲(chǔ)單元(ram)6201和/或高速緩存存儲(chǔ)單元6202，還可以進(jìn)一步包括只讀存儲(chǔ)單元(rom)6203。存儲(chǔ)單元620還可以包括具有一組(至少一個(gè))程序模塊6205的程序/實(shí)用工具6204，這樣的程序模塊6205包括但不限于：操作系統(tǒng)、一個(gè)或者多個(gè)應(yīng)用程序、其它程序模塊以及程序數(shù)據(jù)，這些示例中的每一個(gè)或某種組合中可能包括網(wǎng)絡(luò)環(huán)境的實(shí)現(xiàn)?？偩€630可以為表示幾類總線結(jié)構(gòu)中的一種或多種，包括存儲(chǔ)單元總線或者存儲(chǔ)單元控制器、外圍總線、圖形加速端口、處理單元或者使用多種總線結(jié)構(gòu)中的任一總線結(jié)構(gòu)的局域總線。電子設(shè)備600也可以與一個(gè)或多個(gè)外部設(shè)備700(例如鍵盤、指向設(shè)備、藍(lán)牙設(shè)備等)通信，還可與一個(gè)或者多個(gè)使得用戶能與該電子設(shè)備600交互的設(shè)備通信，和/或與使得該電子設(shè)備600能與一個(gè)或多個(gè)其它計(jì)算設(shè)備進(jìn)行通信的任何設(shè)備(例如路由器、調(diào)制解調(diào)器等等)通信。這種通信可以通過(guò)輸入/輸出(i/o)接口650進(jìn)行。并且，電子設(shè)備600還可以通過(guò)網(wǎng)絡(luò)適配器660與一個(gè)或者多個(gè)網(wǎng)絡(luò)(例如局域網(wǎng)(lan)，廣域網(wǎng)(wan)和/或公共網(wǎng)絡(luò)，例如因特網(wǎng))通信。網(wǎng)絡(luò)適配器660可以通過(guò)總線630與電子設(shè)備600的其它模塊通信。應(yīng)當(dāng)明白，盡管圖中未示出，可以結(jié)合電子設(shè)備600使用其它硬件和/或軟件模塊，包括但不限于：微代碼、設(shè)備驅(qū)動(dòng)器、冗余處理單元、外部磁盤驅(qū)動(dòng)陣列、raid系統(tǒng)、磁帶驅(qū)動(dòng)器以及數(shù)據(jù)備份存儲(chǔ)平臺(tái)等。為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。通常在此處附圖中的描述和所示的本發(fā)明實(shí)施例的組件可以通過(guò)各種不同的配置來(lái)布置和設(shè)計(jì)。因此，以下對(duì)在附圖中提供的本發(fā)明的實(shí)施例的詳細(xì)描述并非旨在限制要求保護(hù)的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。對(duì)傳感器數(shù)據(jù)可信度造成影響的因素及其處理方式：其他目標(biāo)或障礙物在圖像上遮擋了目標(biāo)，導(dǎo)致目標(biāo)在圖像上不可見(jiàn)，但在毫米波雷達(dá)數(shù)據(jù)上可見(jiàn)，此時(shí)圖像數(shù)據(jù)的可信度較低，毫米波雷達(dá)數(shù)據(jù)的可信度較高。將預(yù)測(cè)的像素深度分布概率圖沿著像素射線的方向累加，得到近似的圖像像素遮擋概率分布圖，將其作為圖像模態(tài)評(píng)估網(wǎng)絡(luò)的輸入，評(píng)估圖像數(shù)據(jù)的可信度；像素點(diǎn)云分布導(dǎo)致的毫米波雷達(dá)數(shù)據(jù)可信度不均勻。將毫米波雷達(dá)數(shù)據(jù)的分布掩碼和毫米波雷達(dá)數(shù)據(jù)特征圖作為毫米波模態(tài)評(píng)估網(wǎng)絡(luò)的輸入，評(píng)估毫米波雷達(dá)數(shù)據(jù)的可信度；不同角度下毫米波雷達(dá)的角度分辨率不同，導(dǎo)致不同角度下的毫米波雷達(dá)數(shù)據(jù)可信度不同。將位置編碼作為毫米波模態(tài)評(píng)估網(wǎng)絡(luò)的輸入，評(píng)估毫米波雷達(dá)數(shù)據(jù)的可信度；環(huán)境光照變化導(dǎo)致圖像數(shù)據(jù)的可信度不穩(wěn)定。將圖像特征作為圖像模態(tài)評(píng)估網(wǎng)絡(luò)的輸入，評(píng)估圖像數(shù)據(jù)的可信度?？赡軐?dǎo)致多源數(shù)據(jù)特征不對(duì)齊的因素：傳感器的內(nèi)外參數(shù)不準(zhǔn)確導(dǎo)致的數(shù)據(jù)特征不對(duì)齊。傳感器采樣不同步導(dǎo)致的數(shù)據(jù)特征不對(duì)齊。傳感器數(shù)據(jù)幀聚合導(dǎo)致的數(shù)據(jù)精準(zhǔn)度下降(如將毫米波雷達(dá)多個(gè)幀的數(shù)據(jù)聚合到一個(gè)幀中以增大單幀毫米波點(diǎn)云數(shù)量)。多源數(shù)據(jù)特征對(duì)齊的解決方案：生成位置編碼，將位置編碼、毫米波點(diǎn)云分布掩碼、圖像像素遮擋概率分布圖拼接起來(lái)，得到傳感器元數(shù)據(jù)，將傳感器元數(shù)據(jù)和平衡后的鳥(niǎo)瞰圖視角圖像特征圖、毫米波點(diǎn)云特征圖輸入到特征匹配網(wǎng)絡(luò)中，通過(guò)對(duì)比不同數(shù)據(jù)源的特征，估計(jì)不同數(shù)據(jù)源特征的偏移，輸出兩個(gè)與特征圖相同大小的特征偏移圖；利用可變形卷積神經(jīng)網(wǎng)絡(luò)對(duì)平衡后的鳥(niǎo)瞰圖視角圖像特征圖進(jìn)行特征對(duì)齊，其中可變形卷積神經(jīng)網(wǎng)絡(luò)使用的變形偏移量為特征偏移圖，輸出對(duì)齊后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖。綜上所述，本發(fā)明一種基于多源數(shù)據(jù)融合技術(shù)的道路目標(biāo)檢測(cè)方法及系統(tǒng)，有效適應(yīng)復(fù)雜道路環(huán)境，動(dòng)態(tài)地調(diào)整不同數(shù)據(jù)源的權(quán)重以適應(yīng)環(huán)境變化，并自適應(yīng)地消除不同型號(hào)傳感器之間的對(duì)齊誤差問(wèn)題。能有效減少因環(huán)境變化和傳感器差異導(dǎo)致的道路目標(biāo)檢測(cè)準(zhǔn)確性和魯棒性下降的問(wèn)題。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為了描述的方便和簡(jiǎn)潔，僅以上述各功能單元、模塊的劃分進(jìn)行舉例說(shuō)明，實(shí)際應(yīng)用中，可以根據(jù)需要而將上述功能分配由不同的功能單元、模塊完成，即將所述裝置的內(nèi)部結(jié)構(gòu)劃分成不同的功能單元或模塊，以完成以上描述的全部或者部分功能。實(shí)施例中的各功能單元、模塊可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中，上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。另外，各功能單元、模塊的具體名稱也只是為了便于相互區(qū)分，并不用于限制本技術(shù)的保護(hù)范圍。上述系統(tǒng)中單元、模塊的具體工作過(guò)程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程，在此不再贅述。在上述實(shí)施例中，對(duì)各個(gè)實(shí)施例的描述都各有側(cè)重，某個(gè)實(shí)施例中沒(méi)有詳述或記載的部分，可以參見(jiàn)其它實(shí)施例的相關(guān)描述。本領(lǐng)域普通技術(shù)人員可以意識(shí)到，結(jié)合本發(fā)明中所公開(kāi)的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來(lái)實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。在本發(fā)明所提供的實(shí)施例中，應(yīng)該理解到，所揭露的裝置/終端和方法，可以通過(guò)其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置/終端實(shí)施例僅僅是示意性的，例如，所述模塊或單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過(guò)一些接口，裝置或單元的間接耦合或通訊連接，可以是電性，機(jī)械或其它的形式。所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。所述集成的模塊/單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?；谶@樣的理解，本發(fā)明實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，也可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的計(jì)算機(jī)程序可存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)，可實(shí)現(xiàn)上述各個(gè)方法實(shí)施例的步驟。其中，所述計(jì)算機(jī)程序包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼可以為源代碼形式、對(duì)象代碼形式、可執(zhí)行文件或某些中間形式等。所述計(jì)算機(jī)可讀介質(zhì)可以包括：能夠攜帶所述計(jì)算機(jī)程序代碼的任何實(shí)體或裝置、記錄介質(zhì)、u盤、移動(dòng)硬盤、磁碟、光盤、計(jì)算機(jī)存儲(chǔ)器、只讀存儲(chǔ)器(read-only?memory，rom)、隨機(jī)存取存儲(chǔ)器(randomaccess?memory，ram)、電載波信號(hào)、電信信號(hào)以及軟件分發(fā)介質(zhì)等，需要說(shuō)明的是，所述計(jì)算機(jī)可讀介質(zhì)包含的內(nèi)容可以根據(jù)司法管轄區(qū)內(nèi)立法和專利實(shí)踐的要求進(jìn)行適當(dāng)?shù)脑鰷p，例如在某些司法管轄區(qū)，根據(jù)立法和專利實(shí)踐，計(jì)算機(jī)可讀介質(zhì)不包括是電載波信號(hào)和電信信號(hào)。本技術(shù)是參照根據(jù)本技術(shù)實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。以上內(nèi)容僅為說(shuō)明本發(fā)明的技術(shù)思想，不能以此限定本發(fā)明的保護(hù)范圍，凡是按照本發(fā)明提出的技術(shù)思想，在技術(shù)方案基礎(chǔ)上所做的任何改動(dòng)，均落入本發(fā)明權(quán)利要求書的保護(hù)范圍之內(nèi)。

背景技術(shù)：

1、隨著城市化進(jìn)程的加速和交通出行方式的多樣化，智慧交通領(lǐng)域受到了越來(lái)越多的關(guān)注。道路目標(biāo)檢測(cè)算法是實(shí)現(xiàn)智慧交通系統(tǒng)中自動(dòng)駕駛的關(guān)鍵技術(shù)之一。傳統(tǒng)道路目標(biāo)檢測(cè)算法主要基于單一傳感器數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)，如圖像或激光雷達(dá)傳感器。然而，單一傳感器數(shù)據(jù)存在著各自的局限性，如圖像數(shù)據(jù)對(duì)光照條件敏感，而激光雷達(dá)數(shù)據(jù)對(duì)目標(biāo)的分辨率較低。因此，如何利用多源數(shù)據(jù)融合的方法提高道路目標(biāo)檢測(cè)算法的性能，是一個(gè)值得研究的問(wèn)題。

2、當(dāng)前基于圖像與毫米波多源數(shù)據(jù)融合的工作都對(duì)數(shù)據(jù)和融合的過(guò)程進(jìn)行了較為嚴(yán)格的假設(shè)：

3、(1)同一模態(tài)的數(shù)據(jù)在不同環(huán)境下可信度相同。

4、(2)不同模態(tài)映射到同一坐標(biāo)中后嚴(yán)格對(duì)齊。

5、但是不同環(huán)境下特定模態(tài)提供的信息可信度并不相同，同一個(gè)環(huán)境中不同位置特定模態(tài)提供的信息可信度也會(huì)因模態(tài)傳感器的特性而不同。數(shù)據(jù)在坐標(biāo)系轉(zhuǎn)換中會(huì)出現(xiàn)位置畸變，不同模態(tài)傳感器采樣的時(shí)間差也會(huì)帶來(lái)模態(tài)特征間的位置偏移，這導(dǎo)致不同模態(tài)映射到同一坐標(biāo)系后存在對(duì)齊偏差。上述兩個(gè)假設(shè)的不成立導(dǎo)致這些模型的多模態(tài)融合效果在某些極端環(huán)境中表現(xiàn)得較差。例如：在雨雪天氣或者夜間光照不足的情況下，圖像數(shù)據(jù)的可信度會(huì)降低，如果過(guò)于依賴圖像數(shù)據(jù)，會(huì)導(dǎo)致目標(biāo)檢測(cè)的準(zhǔn)確性下降；在圖像的視野盲區(qū)與遮擋區(qū)域，圖像數(shù)據(jù)則完全無(wú)法提供有效信息，此時(shí)如果根據(jù)圖像數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)，會(huì)導(dǎo)致漏檢或誤檢。傳感器所在載具高速移動(dòng)時(shí)，不同模態(tài)數(shù)據(jù)采樣的時(shí)間差導(dǎo)致的數(shù)據(jù)不對(duì)齊問(wèn)題會(huì)進(jìn)一步加劇，這會(huì)導(dǎo)致不同模態(tài)的數(shù)據(jù)之間產(chǎn)生歧義甚至矛盾，從而影響融合模型的性能。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問(wèn)題在于針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種基于多源數(shù)據(jù)融合技術(shù)的道路目標(biāo)檢測(cè)方法及系統(tǒng)，用于解決因環(huán)境變化和傳感器差異導(dǎo)致的道路目標(biāo)檢測(cè)準(zhǔn)確性和魯棒性下降的技術(shù)問(wèn)題。

2、本發(fā)明采用以下技術(shù)方案：

3、一種基于多源數(shù)據(jù)融合技術(shù)的道路目標(biāo)檢測(cè)方法，包括以下步驟：

4、利用深度學(xué)習(xí)方法對(duì)圖像數(shù)據(jù)和毫米波雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行特征提取，得到鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖；

5、對(duì)鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖進(jìn)行可信評(píng)估，根據(jù)評(píng)估結(jié)果自適應(yīng)調(diào)整不同數(shù)據(jù)源的權(quán)重，得到平衡后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖；

6、將平衡后的鳥(niǎo)瞰圖視角圖像特征圖、毫米波點(diǎn)云特征圖和傳感器元數(shù)據(jù)輸入特征匹配網(wǎng)絡(luò)中，輸出兩個(gè)與特征圖相同大小的特征偏移圖，將特征偏移圖作為可變形卷積神經(jīng)網(wǎng)絡(luò)的變形偏移量，利用可變形卷積神經(jīng)網(wǎng)絡(luò)對(duì)平衡后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖進(jìn)行特征對(duì)齊，將對(duì)齊后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖輸入融合網(wǎng)絡(luò)中，輸出一個(gè)與特征圖相同大小的融合特征圖；

7、使用基于無(wú)錨點(diǎn)的目標(biāo)檢測(cè)方法對(duì)融合特征圖進(jìn)行目標(biāo)檢測(cè)，生成目標(biāo)檢測(cè)結(jié)果。

8、優(yōu)選地，圖像數(shù)據(jù)和毫米波雷達(dá)點(diǎn)云數(shù)據(jù)具體為：

9、對(duì)毫米波雷達(dá)和相機(jī)進(jìn)行標(biāo)定，獲取傳感器的內(nèi)外參數(shù)：相機(jī)的內(nèi)參矩陣、畸變系數(shù)、相對(duì)參考傳感器的外參矩陣、毫米波雷達(dá)的內(nèi)參矩陣、相對(duì)參考傳感器的外參矩陣；

10、利用多個(gè)相機(jī)和毫米波雷達(dá)同時(shí)采集圖像數(shù)據(jù)和毫米波雷達(dá)數(shù)據(jù)；

11、根據(jù)相機(jī)的畸變系數(shù)對(duì)圖像數(shù)據(jù)進(jìn)行畸變校正；

12、利用恒虛警率算法對(duì)毫米波雷達(dá)數(shù)據(jù)進(jìn)行去噪并提取點(diǎn)云；

13、標(biāo)注3d目標(biāo)數(shù)據(jù)，包括目標(biāo)的位置、大小、旋轉(zhuǎn)角度、速度信息。

14、優(yōu)選地，得到鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖具體為：

15、利用基于深度學(xué)習(xí)的方法提取圖像數(shù)據(jù)的透視視角特征，輸入為多個(gè)相機(jī)采集的圖像數(shù)據(jù)，輸出為圖像數(shù)據(jù)在透視視角下的特征；

16、利用基于深度學(xué)習(xí)的單目深度估計(jì)方法，根據(jù)提取的圖像數(shù)據(jù)特征生成像素深度分布概率圖；

17、利用圖像像素深度分布概率圖將圖像數(shù)據(jù)轉(zhuǎn)換到截錐體空間中；

18、利用gpu加速的方法，從鳥(niǎo)瞰圖視角向下投影，將空間特征累加到向下投影對(duì)應(yīng)的鳥(niǎo)瞰圖視角特征圖對(duì)應(yīng)像素位置上，將透視視角的圖像數(shù)據(jù)轉(zhuǎn)換為鳥(niǎo)瞰視角的圖像數(shù)據(jù)；

19、使用基于深度學(xué)習(xí)的方法提取毫米波點(diǎn)云數(shù)據(jù)的特征，最后將網(wǎng)格內(nèi)的點(diǎn)云特征平均后得到該網(wǎng)格對(duì)應(yīng)的鳥(niǎo)瞰圖視角特征圖對(duì)應(yīng)位置上的毫米波點(diǎn)云特征；

20、將鳥(niǎo)瞰圖視角特征圖輸入到多級(jí)二維卷積網(wǎng)絡(luò)中，得到不同尺度的特征圖，將所有尺度的特征圖上采樣到最大尺度后拼接后得到最終的毫米波點(diǎn)云特征圖。

21、優(yōu)選地，將一個(gè)像素對(duì)應(yīng)的位置的圖像特征向量和對(duì)應(yīng)位置的像素深度分布概率向量各個(gè)分量相乘，得到各個(gè)位置的空間特征。

22、優(yōu)選地，可信評(píng)估具體為：

23、生成鳥(niǎo)瞰圖視角下的位置編碼，具體為四個(gè)通道，分別為：與中心夾角的正弦、余弦值、到中心的距離、到中心距離的平方；

24、根據(jù)毫米波點(diǎn)云數(shù)據(jù)生成毫米波點(diǎn)云分布掩碼，輸出一個(gè)與數(shù)據(jù)特征圖相同大小的掩碼圖，掩碼值為0～1之間的值，表示該位置的毫米波點(diǎn)云數(shù)據(jù)的分布密度，當(dāng)位置對(duì)應(yīng)的柱體空間內(nèi)點(diǎn)云數(shù)量達(dá)到閾值時(shí)，掩碼達(dá)到最大值1，當(dāng)位置對(duì)應(yīng)的柱體空間內(nèi)點(diǎn)云數(shù)量為0時(shí)，掩碼為0；

25、將圖像像素分布概率圖沿著像素射線的方向累加，得到近似的圖像像素遮擋概率分布圖；

26、將位置編碼、毫米波點(diǎn)云分布掩碼、毫米波點(diǎn)云特征圖輸入到毫米波模態(tài)評(píng)估網(wǎng)絡(luò)中，輸出一個(gè)與特征圖相同大小的毫米波模態(tài)評(píng)估向量圖。具體為使用二維卷積網(wǎng)絡(luò)對(duì)其進(jìn)行處理；

27、將圖像像素遮擋概率分布圖、鳥(niǎo)瞰圖視角圖像特征圖輸入到圖像模態(tài)評(píng)估網(wǎng)絡(luò)中，輸出一個(gè)與特征圖相同大小的圖像模態(tài)評(píng)估向量圖；

28、將毫米波點(diǎn)云特征圖和鳥(niǎo)瞰圖視角圖像特征圖輸入到融合網(wǎng)絡(luò)中，輸出一個(gè)與特征圖相同大小的環(huán)境語(yǔ)義評(píng)估向量圖；

29、將評(píng)估向量圖輸入到跨模態(tài)評(píng)估網(wǎng)絡(luò)中，輸出一個(gè)與特征圖相同大小，通道數(shù)為2的最終評(píng)估向量圖；

30、使用softmax函數(shù)對(duì)最終評(píng)估向量圖進(jìn)行歸一化，得到最終的權(quán)重向量；

31、根據(jù)權(quán)重向量對(duì)鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖進(jìn)行特征可信度平衡，輸出平衡后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖。

32、優(yōu)選地，使用自注意力機(jī)制對(duì)其進(jìn)行處理，評(píng)估向量圖作為自注意力機(jī)制中query、key、value三個(gè)向量。

33、優(yōu)選地，特征對(duì)齊具體為：

34、將生成的位置編碼、毫米波點(diǎn)云分布掩碼、圖像像素遮擋概率分布圖拼接起來(lái)，得到傳感器元數(shù)據(jù)；

35、將平衡后的鳥(niǎo)瞰圖視角圖像特征圖、毫米波點(diǎn)云特征圖和傳感器元數(shù)據(jù)輸入到特征匹配網(wǎng)絡(luò)中，通過(guò)對(duì)比不同數(shù)據(jù)源的特征，估計(jì)不同數(shù)據(jù)源特征的偏移，輸出兩個(gè)與特征圖相同大小的特征偏移圖；

36、利用可變形卷積神經(jīng)網(wǎng)絡(luò)對(duì)平衡后的鳥(niǎo)瞰圖視角圖像特征圖進(jìn)行特征對(duì)齊，其中可變形卷積神經(jīng)網(wǎng)絡(luò)使用的變形偏移量為特征偏移圖，最后輸出對(duì)齊后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖；

37、將對(duì)齊后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖輸入到融合網(wǎng)絡(luò)中，輸出一個(gè)與特征圖相同大小的高質(zhì)量的融合特征圖。具體為使用二維卷積網(wǎng)絡(luò)對(duì)其進(jìn)行處理。

38、優(yōu)選地，將生成的平衡后的鳥(niǎo)瞰圖視角圖像特征圖、毫米波點(diǎn)云特征圖和傳感器元數(shù)據(jù)輸入到特征匹配網(wǎng)絡(luò)中，使用一個(gè)共用的卷積神經(jīng)網(wǎng)絡(luò)對(duì)拼接后的數(shù)據(jù)進(jìn)行融合和降維；然后將融合后的數(shù)據(jù)輸入到兩個(gè)分支的卷積神經(jīng)網(wǎng)絡(luò)中，分別輸出兩個(gè)與特征圖相同大小的特征偏移圖。

39、優(yōu)選地，目標(biāo)檢測(cè)具體為：

40、將生成的融合特征圖輸入到共用的降維卷積神經(jīng)網(wǎng)絡(luò)中，輸出一個(gè)與特征圖相同大小的特征圖；

41、將生成的特征圖輸入到不同類別的目標(biāo)檢測(cè)分支中，輸入包括鳥(niǎo)瞰圖視角的目標(biāo)中心位置熱力圖、目標(biāo)三維大小預(yù)測(cè)結(jié)果、目標(biāo)旋轉(zhuǎn)角度預(yù)測(cè)結(jié)果、目標(biāo)速度預(yù)測(cè)結(jié)果、目標(biāo)位置偏移預(yù)測(cè)結(jié)果。

42、第二方面，本發(fā)明實(shí)施例提供了一種基于多源數(shù)據(jù)融合技術(shù)的道路目標(biāo)檢測(cè)系統(tǒng)，包括：

43、提取模塊，利用深度學(xué)習(xí)方法對(duì)圖像數(shù)據(jù)和毫米波雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行特征提取，得到鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖；

44、評(píng)估模塊，對(duì)鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖進(jìn)行可信評(píng)估，根據(jù)評(píng)估結(jié)果自適應(yīng)調(diào)整不同數(shù)據(jù)源的權(quán)重，得到平衡后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖；

45、對(duì)齊模塊，將平衡后的鳥(niǎo)瞰圖視角圖像特征圖、毫米波點(diǎn)云特征圖和傳感器元數(shù)據(jù)輸入特征匹配網(wǎng)絡(luò)中，輸出兩個(gè)與特征圖相同大小的特征偏移圖，將特征偏移圖作為可變形卷積神經(jīng)網(wǎng)絡(luò)的變形偏移量，利用可變形卷積神經(jīng)網(wǎng)絡(luò)對(duì)平衡后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖進(jìn)行特征對(duì)齊，將對(duì)齊后的鳥(niǎo)瞰圖視角圖像特征圖和毫米波點(diǎn)云特征圖輸入融合網(wǎng)絡(luò)中，輸出一個(gè)與特征圖相同大小的融合特征圖；

46、檢測(cè)模塊，使用基于無(wú)錨點(diǎn)的目標(biāo)檢測(cè)方法對(duì)融合特征圖進(jìn)行目標(biāo)檢測(cè)，生成目標(biāo)檢測(cè)結(jié)果。

47、第三方面，一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述基于多源數(shù)據(jù)融合技術(shù)的道路目標(biāo)檢測(cè)方法的步驟。

48、第四方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述基于多源數(shù)據(jù)融合技術(shù)的道路目標(biāo)檢測(cè)方法的步驟。

49、與現(xiàn)有技術(shù)相比，本發(fā)明至少具有以下有益效果：

50、一種基于多源數(shù)據(jù)融合技術(shù)的道路目標(biāo)檢測(cè)方法，使用了多種數(shù)據(jù)傳感器，利用深度學(xué)習(xí)方法提取特征，通過(guò)注意力機(jī)制對(duì)不同數(shù)據(jù)源的可信度進(jìn)行評(píng)估，通過(guò)特征匹配對(duì)不同數(shù)據(jù)源的特征進(jìn)行對(duì)齊，最后通過(guò)目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)融合后的數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)；本發(fā)明有效提高道路目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性，具有較好的應(yīng)用前景。

51、進(jìn)一步的，本發(fā)明使用毫米波雷達(dá)和相機(jī)傳感器，這兩種傳感器價(jià)格相對(duì)低廉，且提供的環(huán)境信息互補(bǔ)。兩種傳感器數(shù)據(jù)互相補(bǔ)充配合，最終實(shí)現(xiàn)了多模態(tài)融合目標(biāo)檢測(cè)。本文使用的傳感器可以在不加重成本的情況下(購(gòu)買高精度的激光雷達(dá)傳感器)提高道路目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性，具有較好的實(shí)用性。

52、進(jìn)一步的，本發(fā)明使用專為毫米波雷達(dá)數(shù)據(jù)和圖像數(shù)據(jù)設(shè)計(jì)的特征提取網(wǎng)絡(luò)，提取了鳥(niǎo)瞰視角的圖像特征和鳥(niǎo)瞰視角毫米波雷達(dá)點(diǎn)云數(shù)據(jù)的特征。前者通過(guò)預(yù)測(cè)像素深度分布概率圖并以此為依據(jù)對(duì)圖像特征做坐標(biāo)轉(zhuǎn)換得到，后者通過(guò)對(duì)毫米波點(diǎn)云進(jìn)行空間區(qū)域采樣后提取特征并映射到鳥(niǎo)瞰視角得到。鳥(niǎo)瞰圖視角特征可以有效減少數(shù)據(jù)表示歧義和遮擋問(wèn)題，提高了道路目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性。

53、進(jìn)一步的，本發(fā)明使用了基于注意力機(jī)制的多模態(tài)可信評(píng)估與特征自適應(yīng)平衡方法，對(duì)不同數(shù)據(jù)源的可信度進(jìn)行評(píng)估，根據(jù)評(píng)估結(jié)果自適應(yīng)調(diào)整不同數(shù)據(jù)源的權(quán)重。區(qū)別于傳統(tǒng)的利用訓(xùn)練技巧的方法，本發(fā)明使用專門的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)不同數(shù)據(jù)源的可信度進(jìn)行評(píng)估，使得模型在環(huán)境變化時(shí)能動(dòng)態(tài)調(diào)整對(duì)不同模態(tài)的依賴度，進(jìn)而減少弱勢(shì)模態(tài)數(shù)據(jù)對(duì)融合數(shù)據(jù)的干擾，提高了道路目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性。多數(shù)據(jù)源可信評(píng)估與特征平衡具有復(fù)雜環(huán)境適應(yīng)能力強(qiáng)的好處。

54、進(jìn)一步的，本發(fā)明使用了基于特征匹配的多模態(tài)特征對(duì)齊與融合方法，對(duì)不同數(shù)據(jù)源的特征進(jìn)行對(duì)齊并融合生成高質(zhì)量的融合特征。區(qū)別于傳統(tǒng)的直接融合方法，本發(fā)明使用特征匹配的方法估計(jì)不同數(shù)據(jù)源特征的偏移，根據(jù)偏移量對(duì)不同數(shù)據(jù)源的特征進(jìn)行對(duì)齊，消除由數(shù)據(jù)坐標(biāo)系轉(zhuǎn)換和數(shù)據(jù)采樣時(shí)間差帶來(lái)的數(shù)據(jù)特征對(duì)齊誤差，提高了道路目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性；多模態(tài)特征對(duì)齊與融合具有受多模態(tài)傳感器對(duì)齊誤差影響小的好處。

55、進(jìn)一步的，本發(fā)明使用了基于無(wú)錨點(diǎn)的目標(biāo)檢測(cè)方法，利用融合后的數(shù)據(jù)進(jìn)行道路目標(biāo)檢測(cè)，區(qū)別于傳統(tǒng)的基于錨點(diǎn)的目標(biāo)檢測(cè)方法，本發(fā)明使用了基于無(wú)錨點(diǎn)的目標(biāo)檢測(cè)方法，不需要預(yù)先設(shè)定錨點(diǎn)，可以更好地適應(yīng)不同尺度和形狀的目標(biāo)，提高了道路目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性?；跓o(wú)錨點(diǎn)的目標(biāo)檢測(cè)模塊具有更好的適應(yīng)性和泛化能力，可以有效將模型泛化到多種不同大小和造型的目標(biāo)上。

56、可以理解的是，上述第二方面的有益效果可以參見(jiàn)上述第一方面中的相關(guān)描述，在此不再贅述。

57、綜上所述，本發(fā)明的技術(shù)方案可以有效適應(yīng)復(fù)雜道路環(huán)境，并自適應(yīng)地消除不同型號(hào)傳感器之間的對(duì)齊誤差問(wèn)題。

58、下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。