本發(fā)明總體上涉及對(duì)象檢測(cè)系統(tǒng)，更具體地，涉及一種用于使用傳感器融合的一般長(zhǎng)對(duì)象檢測(cè)的系統(tǒng)和方法。

背景技術(shù)：

許多現(xiàn)代車(chē)輛配備有先進(jìn)的安全和駕駛員輔助系統(tǒng)，其需要堅(jiān)固和精確的對(duì)象檢測(cè)和跟蹤系統(tǒng)以控制響應(yīng)的主機(jī)車(chē)輛操縱。這些系統(tǒng)利用對(duì)象和控制算法的周期性或連續(xù)檢測(cè)來(lái)估計(jì)各種對(duì)象參數(shù)，諸如相對(duì)對(duì)象范圍、范圍速率(即對(duì)象的關(guān)閉或打開(kāi)速度)、行進(jìn)方向、對(duì)象位置和對(duì)象大小。對(duì)象檢測(cè)系統(tǒng)可以使用多種檢測(cè)技術(shù)中的任何一種，例如雷達(dá)、視覺(jué)成像、激光、光檢測(cè)和測(cè)距(lidar)、超聲等。這些檢測(cè)系統(tǒng)中的每一種有助于對(duì)象檢測(cè)和以不同方式估計(jì)對(duì)象參數(shù)，并具有各種限制。由于與一些檢測(cè)系統(tǒng)相關(guān)聯(lián)的性能限制，特別地檢測(cè)通常較長(zhǎng)的對(duì)象可能是具有挑戰(zhàn)性的。

例如，雷達(dá)裝置通過(guò)發(fā)射從傳感器視野內(nèi)的對(duì)象反射的電磁信號(hào)來(lái)檢測(cè)和定位對(duì)象。反射的信號(hào)作為回波返回到雷達(dá)，在那里它被處理以確定各種信息，諸如發(fā)射/接收的能量的往返行程時(shí)間。往返行程時(shí)間與來(lái)自雷達(dá)的對(duì)象的范圍成正比。除了范圍確定之外，還存在確定檢測(cè)到的對(duì)象的方位(即交叉范圍)位置的方法。因此，根據(jù)其復(fù)雜性，雷達(dá)能夠在相對(duì)于裝置位置的范圍和方位角中定位對(duì)象。

基于在整個(gè)傳感器視場(chǎng)的采樣期間的反射信號(hào)，雷達(dá)裝置累積一組檢測(cè)點(diǎn)。由于由遠(yuǎn)程傳感器(無(wú)論是雷達(dá)、激光、超聲波還是其它有源傳感器)收集的“反射”的性質(zhì)，該組檢測(cè)點(diǎn)僅代表存在于傳感器視場(chǎng)中的對(duì)象或?qū)ο笊系哪承c(diǎn)。分析這些檢測(cè)點(diǎn)以便確定可能存在什么類(lèi)型的對(duì)象以及這樣的對(duì)象位于何處。然而，短程雷達(dá)裝置缺乏辨別對(duì)象識(shí)別細(xì)節(jié)和區(qū)分定位相近的對(duì)象所必需的角度和空間分辨率(即沒(méi)有點(diǎn)目標(biāo)假設(shè))。當(dāng)在主機(jī)和對(duì)象之間存在很小或沒(méi)有相對(duì)速度時(shí)，在雷達(dá)系統(tǒng)中也出現(xiàn)性能降級(jí)，使得難以估計(jì)速度和方向。關(guān)于特別地檢測(cè)長(zhǎng)對(duì)象，由于反射的測(cè)量信號(hào)可以在相同對(duì)象的不同位置處顯著變化，所以雷達(dá)裝置不能有效地直接對(duì)檢測(cè)點(diǎn)進(jìn)行分組或聚集。

視覺(jué)成像也被對(duì)象檢測(cè)和跟蹤系統(tǒng)廣泛地用于識(shí)別和分類(lèi)靠近主車(chē)輛的對(duì)象。一般來(lái)說(shuō)，視覺(jué)系統(tǒng)使用一個(gè)或多個(gè)相機(jī)捕獲圖像，并使用各種圖像處理技術(shù)從圖像中提取對(duì)象和特征。然后，當(dāng)對(duì)象在主車(chē)輛的視場(chǎng)內(nèi)移動(dòng)時(shí)，在圖像之間跟蹤對(duì)象。然而，通過(guò)視覺(jué)檢測(cè)長(zhǎng)對(duì)象仍然是非常具有挑戰(zhàn)性的，特別是當(dāng)對(duì)象太長(zhǎng)并且跨越整個(gè)圖像幀時(shí)，視覺(jué)算法傾向于將長(zhǎng)對(duì)象分割成多個(gè)短對(duì)象。

lidar傳感器使用飛行時(shí)間原理測(cè)量范圍。光脈沖被發(fā)射達(dá)限定的時(shí)間長(zhǎng)度，被反射離開(kāi)目標(biāo)對(duì)象，并且經(jīng)由其被發(fā)送的相同路徑(視線)被接收。因?yàn)楣庖院愣ㄋ俣刃羞M(jìn)，所以發(fā)射和檢測(cè)之間的時(shí)間間隔與傳感器到反射點(diǎn)之間的距離成比例。然而，使用lidar來(lái)估計(jì)目標(biāo)速度是困難的，因?yàn)闆](méi)有來(lái)自傳感器的直接速度測(cè)量。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明的實(shí)施例，提供了一種用于相對(duì)于主車(chē)輛檢測(cè)和識(shí)別細(xì)長(zhǎng)對(duì)象的方法。該方法包括：使用多個(gè)對(duì)象檢測(cè)裝置來(lái)檢測(cè)相對(duì)于主車(chē)輛的對(duì)象；識(shí)別與細(xì)長(zhǎng)對(duì)象相對(duì)應(yīng)的檢測(cè)數(shù)據(jù)中的模式，其中檢測(cè)數(shù)據(jù)包括從多個(gè)對(duì)象檢測(cè)裝置中的至少兩個(gè)融合的數(shù)據(jù)；使用多個(gè)對(duì)象檢測(cè)裝置中的每一個(gè)來(lái)計(jì)算所述細(xì)長(zhǎng)對(duì)象的初始對(duì)象參數(shù)估計(jì)；通過(guò)融合來(lái)自多個(gè)對(duì)象檢測(cè)裝置中的每一個(gè)的初始對(duì)象參數(shù)估計(jì)來(lái)計(jì)算細(xì)長(zhǎng)對(duì)象的對(duì)象參數(shù)估計(jì)；通過(guò)融合來(lái)自多個(gè)對(duì)象檢測(cè)裝置中的每一個(gè)的初始對(duì)象參數(shù)估計(jì)來(lái)確定細(xì)長(zhǎng)對(duì)象。

根據(jù)本發(fā)明的另一實(shí)施例，提供了一種用于相對(duì)于主車(chē)輛檢測(cè)和識(shí)別細(xì)長(zhǎng)對(duì)象的方法。該方法包括：獲得與使用多個(gè)對(duì)象檢測(cè)裝置檢測(cè)到的對(duì)象相關(guān)的檢測(cè)數(shù)據(jù)；通過(guò)參考來(lái)自多個(gè)對(duì)象檢測(cè)裝置中的每一個(gè)的補(bǔ)充檢測(cè)數(shù)據(jù)，以第一處理級(jí)別融合檢測(cè)數(shù)據(jù)；通過(guò)識(shí)別融合檢測(cè)數(shù)據(jù)中對(duì)應(yīng)于細(xì)長(zhǎng)對(duì)象的模式，將多個(gè)對(duì)象檢測(cè)裝置中的每一個(gè)檢測(cè)到的對(duì)象分類(lèi)為細(xì)長(zhǎng)對(duì)象，使用多個(gè)對(duì)象檢測(cè)裝置中的每一個(gè)計(jì)算細(xì)長(zhǎng)對(duì)象的初始對(duì)象參數(shù)估計(jì)；以及通過(guò)對(duì)多個(gè)對(duì)象檢測(cè)裝置中的每一個(gè)的初始對(duì)象參數(shù)估計(jì)進(jìn)行加權(quán)，并將加權(quán)的初始對(duì)象參數(shù)估計(jì)相加，以確定細(xì)長(zhǎng)對(duì)象的對(duì)象參數(shù)估計(jì)，并計(jì)算特定對(duì)象類(lèi)的最大概率作為函數(shù)從多個(gè)對(duì)象檢測(cè)裝置中的每一個(gè)檢測(cè)初始對(duì)象參數(shù)估計(jì)，以確定所述細(xì)長(zhǎng)對(duì)象的對(duì)象類(lèi)型分類(lèi)。

根據(jù)本發(fā)明的另一實(shí)施例，提供了一種用于相對(duì)于主車(chē)輛檢測(cè)和識(shí)別細(xì)長(zhǎng)對(duì)象的系統(tǒng)。該系統(tǒng)包括：至少兩個(gè)對(duì)象檢測(cè)裝置，其被配置為獲得與在視場(chǎng)中被檢測(cè)對(duì)象相關(guān)的檢測(cè)數(shù)據(jù)，該視場(chǎng)與至少兩個(gè)對(duì)象檢測(cè)裝置中的每一個(gè)相關(guān)，通過(guò)參考來(lái)自至少兩個(gè)對(duì)象檢測(cè)裝置中的每一個(gè)的補(bǔ)充檢測(cè)數(shù)據(jù)來(lái)融合檢測(cè)數(shù)據(jù)；通過(guò)識(shí)別對(duì)應(yīng)于細(xì)長(zhǎng)對(duì)象的融合檢測(cè)數(shù)據(jù)中的模式，將檢測(cè)對(duì)象分類(lèi)為細(xì)長(zhǎng)對(duì)象；以及使用至少兩個(gè)對(duì)象檢測(cè)裝置中的每一個(gè)來(lái)計(jì)算細(xì)長(zhǎng)對(duì)象的初始對(duì)象參數(shù)估計(jì)。該系統(tǒng)還包括至少一個(gè)車(chē)輛控制模塊，其被配置為從至少兩個(gè)對(duì)象檢測(cè)裝置中的每一個(gè)接收初始對(duì)象參數(shù)估計(jì)，并融合檢測(cè)數(shù)據(jù)以確定對(duì)象參數(shù)估計(jì)并分類(lèi)細(xì)長(zhǎng)對(duì)象的類(lèi)型。

附圖說(shuō)明

在下文中將結(jié)合附圖描述本發(fā)明的一個(gè)或多個(gè)實(shí)施例，其中相同的標(biāo)號(hào)表示相同的元件，并且其中：

圖1示出了根據(jù)本發(fā)明的示例性實(shí)施例的包括主車(chē)輛和長(zhǎng)對(duì)象的示例性環(huán)境的概觀；以及

圖2示出了根據(jù)本發(fā)明的示例性實(shí)施例的對(duì)象檢測(cè)和跟蹤系統(tǒng)的框圖；

圖3示出了描繪根據(jù)本發(fā)明的示例性實(shí)施例的用于檢測(cè)長(zhǎng)對(duì)象的示例性方法的流程圖；

圖4示出了描繪根據(jù)本發(fā)明的實(shí)施例的利用雷達(dá)裝置檢測(cè)長(zhǎng)對(duì)象的示例性方法的流程圖；

圖5示出了根據(jù)本發(fā)明的示例性實(shí)施例的與長(zhǎng)對(duì)象相關(guān)聯(lián)的雷達(dá)測(cè)量的示例性繪圖的圖；以及

圖6示出了描繪根據(jù)本發(fā)明的實(shí)施例的利用成像裝置檢測(cè)長(zhǎng)對(duì)象的示例性方法的流程圖。

具體實(shí)施方式

根據(jù)需要，本文公開(kāi)了詳細(xì)的實(shí)施例。然而，應(yīng)當(dāng)理解，所公開(kāi)的實(shí)施例僅僅是各種形式和替代形式及其組合的示例。如本文所使用的，詞語(yǔ)“示例性”廣泛地用于指代用作說(shuō)明、樣本、模型或模式的實(shí)施例。附圖不一定按比例繪制，并且一些特征可以被夸大或最小化以示出特定部件的細(xì)節(jié)。在其它情況下，沒(méi)有詳細(xì)描述本領(lǐng)域普通技術(shù)人員公知的組件、系統(tǒng)、材料或方法，以避免模糊本發(fā)明。因此，本文公開(kāi)的具體結(jié)構(gòu)和功能細(xì)節(jié)不應(yīng)被解釋為限制，而僅僅是作為權(quán)利要求的基礎(chǔ)和作為教導(dǎo)本領(lǐng)域技術(shù)人員的代表性基礎(chǔ)。此外，盡管下面相對(duì)于車(chē)輛描述了途徑和方法，但是本領(lǐng)域普通技術(shù)人員理解，汽車(chē)應(yīng)用僅僅是示例性的，并且本文公開(kāi)的概念也可以應(yīng)用于任何其它合適的對(duì)象檢測(cè)系統(tǒng)，諸如，例如空中交通管制、航海導(dǎo)航和武器引導(dǎo)系統(tǒng)，僅舉幾例。本文所描述的術(shù)語(yǔ)“車(chē)輛”還應(yīng)被寬泛地解釋為不僅包括客車(chē)，而且包括但不限于摩托車(chē)、卡車(chē)、運(yùn)動(dòng)型多用途車(chē)(suv)、休閑車(chē)(rv)、船舶和飛機(jī)。

雖然主要通過(guò)示例的方式關(guān)于視覺(jué)和雷達(dá)檢測(cè)系統(tǒng)描述了本發(fā)明和示例性實(shí)施例，但是本文公開(kāi)的一般概念可以用于融合來(lái)自各種類(lèi)型的傳感器和對(duì)象檢測(cè)裝置的輸出。換句話說(shuō)，任何數(shù)量的不同傳感器、組件、裝置、模塊、系統(tǒng)等可以向所公開(kāi)的對(duì)象檢測(cè)系統(tǒng)提供可以由本方法使用的信息或輸入。應(yīng)當(dāng)理解，對(duì)象檢測(cè)裝置以及位于所公開(kāi)的對(duì)象檢測(cè)系統(tǒng)中和/或由所公開(kāi)的對(duì)象檢測(cè)系統(tǒng)使用的任何其它傳感器可以用硬件、軟件、固件或其某種組合來(lái)實(shí)現(xiàn)。這些裝置可集成在另一車(chē)輛部件、裝置、模塊、系統(tǒng)等(例如集成在發(fā)動(dòng)機(jī)控制模塊(ecm)、牽引控制系統(tǒng)(tcs)、電子穩(wěn)定控制(esc)系統(tǒng)、防抱死制動(dòng)系統(tǒng)(abs)等中)，或者它們可以是獨(dú)立的部件(如圖1示意性所示)。以下描述的各種傳感器讀數(shù)中的任何傳感器讀數(shù)可以由主車(chē)輛中的一些其它部件、裝置、模塊、系統(tǒng)等提供，而不是由實(shí)際的傳感器元件直接提供。在一些情況下，可以采用多個(gè)裝置來(lái)感測(cè)單個(gè)參數(shù)(例如用于提供信號(hào)冗余)。應(yīng)當(dāng)理解，前述情況僅表示一些可能性，因?yàn)樗_(kāi)的對(duì)象檢測(cè)系統(tǒng)可以使用任何類(lèi)型的合適的傳感器布置。

下面描述的系統(tǒng)和方法涉及通過(guò)使用多個(gè)對(duì)象檢測(cè)裝置在多個(gè)級(jí)別上融合對(duì)象檢測(cè)數(shù)據(jù)來(lái)檢測(cè)長(zhǎng)(即，細(xì)長(zhǎng))對(duì)象。在一個(gè)實(shí)施例中，該系統(tǒng)包括雙級(jí)融合過(guò)程，其中對(duì)象檢測(cè)數(shù)據(jù)在不同的過(guò)程階段被融合。更具體地，對(duì)象檢測(cè)數(shù)據(jù)可以在單個(gè)檢測(cè)裝置級(jí)和系統(tǒng)級(jí)融合。在單個(gè)級(jí)別，每個(gè)對(duì)象檢測(cè)裝置被配置為估計(jì)與一個(gè)或多個(gè)被檢測(cè)對(duì)象相關(guān)的各種對(duì)象參數(shù)。估計(jì)過(guò)程包括識(shí)別和隔離與長(zhǎng)對(duì)象相關(guān)的特性和模式一致的檢測(cè)數(shù)據(jù)。估計(jì)過(guò)程還包括利用來(lái)自其它對(duì)象檢測(cè)裝置的補(bǔ)充數(shù)據(jù)。在系統(tǒng)級(jí)，融合模塊被配置為確定總體參數(shù)估計(jì)并且基于來(lái)自單個(gè)檢測(cè)裝置的對(duì)象參數(shù)估計(jì)的組合來(lái)對(duì)被檢測(cè)對(duì)象進(jìn)行分類(lèi)。

圖1和圖2示出了根據(jù)本發(fā)明的示例性實(shí)施例的由主車(chē)輛12實(shí)現(xiàn)的對(duì)象檢測(cè)系統(tǒng)10。圖1示出了示例性環(huán)境的概觀，其包括沿細(xì)長(zhǎng)對(duì)象14行進(jìn)的主車(chē)輛12，在該非限制性示例中，該對(duì)象14是護(hù)欄，但是可以是諸如墻壁、路緣石、長(zhǎng)車(chē)輛等的任何細(xì)長(zhǎng)對(duì)象。為了便于說(shuō)明，圖1僅示出了指向與長(zhǎng)對(duì)象14相關(guān)的主車(chē)輛12的一側(cè)的感興趣區(qū)域。然而，本領(lǐng)域普通技術(shù)人員理解，典型的對(duì)象檢測(cè)和跟蹤系統(tǒng)是以各種組合在主車(chē)輛12的所有側(cè)，使得可以圍繞車(chē)輛對(duì)對(duì)象進(jìn)行檢測(cè)和跟蹤360度。圖2示出了根據(jù)示例性實(shí)施例的對(duì)象檢測(cè)系統(tǒng)10的框圖。

參考圖1和圖2，對(duì)象檢測(cè)系統(tǒng)10包括多個(gè)對(duì)象檢測(cè)裝置16、18、融合模塊20和車(chē)輛控制模塊22。多個(gè)對(duì)象檢測(cè)裝置16、18被配置為在主車(chē)輛12周?chē)沫h(huán)境中檢測(cè)對(duì)象，并且可以包括已知的對(duì)象檢測(cè)系統(tǒng)，包括但不限于光檢測(cè)和測(cè)距(lidar)裝置、無(wú)線電檢測(cè)和測(cè)距(radar)裝置、視覺(jué)裝置(例如照相機(jī)等)、激光二極管指針、超聲波、或其組合。在本文所示的示例性實(shí)施例中，主車(chē)輛12中的對(duì)象檢測(cè)裝置指的是雷達(dá)檢測(cè)裝置16和成像系統(tǒng)18，然而，本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，多個(gè)對(duì)象檢測(cè)裝置通常包括兩個(gè)或更多的合適的對(duì)象檢測(cè)裝置的任何組合。

雷達(dá)檢測(cè)裝置16包括定位在主車(chē)輛12的周邊周?chē)亩鄠€(gè)位置處的多個(gè)雷達(dá)傳感器24。在圖1所示的示例中，雷達(dá)傳感器24位于主車(chē)輛12的前左角和后左角，每個(gè)都創(chuàng)建監(jiān)視感興趣的特定區(qū)域的傳感器視場(chǎng)26。雷達(dá)傳感器24被配置為發(fā)射由雷達(dá)傳感器的視場(chǎng)26內(nèi)遠(yuǎn)程對(duì)象反射出的電磁信號(hào)。反射信號(hào)作為回波返回，并由雷達(dá)對(duì)象檢測(cè)模塊28處理，雷達(dá)對(duì)象檢測(cè)模塊28從與被檢測(cè)對(duì)象相關(guān)的回波提取信息，諸如，例如范圍、方位角和包括多普勒測(cè)量的距離速率數(shù)據(jù)。雷達(dá)對(duì)象檢測(cè)模塊28可以是單一模塊或可以包括多個(gè)其它模塊或子模塊，其被配置為根據(jù)本文公開(kāi)的方法和算法接收和處理雷達(dá)回波信號(hào)。在一個(gè)實(shí)施例中，雷達(dá)對(duì)象檢測(cè)模塊28包括但不限于放大器、混頻器、振蕩器、組合器、濾波器和轉(zhuǎn)換器。由雷達(dá)對(duì)象檢測(cè)模塊28執(zhí)行的功能可以變化，但通常包括執(zhí)行各種濾波、放大、轉(zhuǎn)換和數(shù)字化功能，以及分析信號(hào)的各種性質(zhì)以確定信號(hào)的特性，諸如相位、頻率和振幅。如本領(lǐng)域技術(shù)人員所理解的，用于從信號(hào)中提取該信息的技術(shù)可以變化，但是可以包括但不限于同相和正交分析以及使用傅里葉變換的頻域分析。在一個(gè)實(shí)施例中，雷達(dá)對(duì)象檢測(cè)模塊28還可以包括但不限于執(zhí)行脈沖壓縮和雜波抑制(例如多普勒濾波)功能的組件。如下面詳細(xì)描述的，根據(jù)本文公開(kāi)的方法，雷達(dá)對(duì)象檢測(cè)模塊28被配置為使用來(lái)自多個(gè)對(duì)象檢測(cè)傳感器的數(shù)據(jù)來(lái)估計(jì)與被檢測(cè)對(duì)象相關(guān)的各種參數(shù)。在一個(gè)具體實(shí)施例中，雷達(dá)對(duì)象檢測(cè)模塊28被配置為通過(guò)識(shí)別通常與長(zhǎng)對(duì)象相關(guān)聯(lián)的不同的雷達(dá)信號(hào)模式來(lái)檢測(cè)雷達(dá)傳感器的視場(chǎng)26中的長(zhǎng)對(duì)象。為了識(shí)別信號(hào)模式，雷達(dá)對(duì)象檢測(cè)模塊28利用雷達(dá)檢測(cè)數(shù)據(jù)和從至少一個(gè)附加對(duì)象檢測(cè)源(諸如成像系統(tǒng)18)接收的數(shù)據(jù)。

成像系統(tǒng)18包括至少一個(gè)圖像捕獲裝置30，其包括但不限于安裝在主車(chē)輛12的周邊周?chē)母鱾€(gè)位置處的攝像機(jī)。在圖1所示的示例中，捕獲裝置30定位為沿著主車(chē)輛的左側(cè)，從而創(chuàng)建監(jiān)視感興趣的特定區(qū)域的視場(chǎng)32，在該示例中，感興趣區(qū)域是主車(chē)輛12的左側(cè)。圖像捕獲裝置30捕獲在視野32中的對(duì)象的圖像，并將圖像數(shù)據(jù)傳送到基于視覺(jué)的對(duì)象檢測(cè)模塊34。通常，每個(gè)捕獲的圖像是包括多個(gè)可識(shí)別像素的已知像素尺寸的二維圖像。可以使用陣列存儲(chǔ)和分析多個(gè)可識(shí)別像素。每個(gè)像素可以在陣列中表示為一組位或多組位，其中位對(duì)應(yīng)于預(yù)定調(diào)色板或顏色映射上的顏色。每個(gè)像素可以表示為多個(gè)顏色強(qiáng)度值的函數(shù)，諸如在紅-綠-藍(lán)(rgb)顏色模型或青-品紅-黃–黑(cmyk)顏色模型中。在一個(gè)實(shí)例中，每一像素包括多組位，其中每組位對(duì)應(yīng)于顏色強(qiáng)度和顏色強(qiáng)度值，例如，第一組位對(duì)應(yīng)于紅色強(qiáng)度值，第二組位對(duì)應(yīng)于綠色強(qiáng)度值，以及第三組位對(duì)應(yīng)于rgb顏色模型上的藍(lán)色強(qiáng)度值。

基于視覺(jué)的對(duì)象檢測(cè)模塊34可以是單一模塊或可以包括多個(gè)其它模塊或子模塊，其被配置為根據(jù)本文公開(kāi)的方法和算法接收和處理捕獲的圖像。在一個(gè)實(shí)施例中，處理捕獲的圖像包括提取與被檢測(cè)對(duì)象相關(guān)的信息，并且可以包括捕獲圖像的整流、縮放、濾波和噪聲降低。如下面詳細(xì)描述的，根據(jù)本文公開(kāi)的方法，基于視覺(jué)的對(duì)象檢測(cè)模塊34被配置為使用來(lái)自多個(gè)對(duì)象檢測(cè)傳感器的數(shù)據(jù)來(lái)估計(jì)與被檢測(cè)對(duì)象相關(guān)的各種參數(shù)。在一個(gè)具體實(shí)施例中，基于視覺(jué)的對(duì)象檢測(cè)模塊34被配置為使用圖像幀數(shù)據(jù)和從至少一個(gè)附加對(duì)象檢測(cè)源(諸如雷達(dá)檢測(cè)裝置16)接收的數(shù)據(jù)來(lái)識(shí)別在系統(tǒng)的視場(chǎng)32中檢測(cè)到的對(duì)象中的感興趣區(qū)域。

融合模塊20被配置為接收并融合來(lái)自多個(gè)對(duì)象檢測(cè)裝置的對(duì)象檢測(cè)數(shù)據(jù)，在圖1和圖2所示的示例性實(shí)施例中，對(duì)象檢測(cè)數(shù)據(jù)包括雷達(dá)檢測(cè)裝置16和成像系統(tǒng)18。本領(lǐng)域認(rèn)識(shí)到，融合模塊20可以是獨(dú)立的模塊，或者可以并入到另一車(chē)輛控制模塊內(nèi)，例如但不限于控制模塊22.融合模塊20還可以包括電子存儲(chǔ)裝置、存儲(chǔ)各種數(shù)據(jù)文件、查找表或其它數(shù)據(jù)結(jié)構(gòu)、算法等。

由融合模塊20接收的對(duì)象檢測(cè)數(shù)據(jù)包括對(duì)象參數(shù)估計(jì)，在一個(gè)實(shí)施例中，對(duì)象參數(shù)估計(jì)可以包括與每個(gè)檢測(cè)到的對(duì)象相關(guān)聯(lián)的運(yùn)動(dòng)模型。運(yùn)動(dòng)學(xué)模型可以變化，但通常包括運(yùn)動(dòng)學(xué)參數(shù)，諸如位置、速度、加速度、速度方向、加速度方向和其它運(yùn)動(dòng)參數(shù)。在一個(gè)實(shí)施例中，融合模塊20包括對(duì)象參數(shù)子模塊36和對(duì)象分類(lèi)子模塊38。本領(lǐng)域普通技術(shù)人員理解，子模塊36，38可以包括獨(dú)立的處理器或者可以利用單個(gè)處理器。

控制模塊22被配置為接收融合模塊20的輸出，特別是接收檢測(cè)的長(zhǎng)對(duì)象的類(lèi)型和相關(guān)聯(lián)的參數(shù)數(shù)據(jù)。控制模塊22可以包括任何種類(lèi)的電子處理裝置、存儲(chǔ)器裝置、輸入/輸出(i/o)裝置和/或其它已知組件，并且可以執(zhí)行各種控制和/或通信相關(guān)功能。根據(jù)具體實(shí)施例，控制模塊22可以是獨(dú)立的車(chē)輛電子模塊，其可以結(jié)合或包括在另一車(chē)輛電子模塊(例如，停車(chē)輔助控制模塊，制動(dòng)控制模塊等)內(nèi)，或者它可以(例如，碰撞控制模塊(ccm)、牽引力控制系統(tǒng)(tcs)、電子穩(wěn)定性控制(esc)系統(tǒng)、防抱死制動(dòng)系統(tǒng)(abs)、駕駛員輔助系統(tǒng)、自適應(yīng)巡航控制系統(tǒng)、車(chē)道偏離警告系統(tǒng)等)，僅舉幾個(gè)可能性?？刂颇K22不限于任何一個(gè)特定實(shí)施例或布置。

圖3示出描繪用于使用上文參考圖2描述的對(duì)象檢測(cè)系統(tǒng)10來(lái)檢測(cè)長(zhǎng)對(duì)象的示例性方法100的流程圖。應(yīng)當(dāng)理解，方法100的步驟不一定以任何特定順序呈現(xiàn)，以替換順序的一些或所有步驟的執(zhí)行是可能的并且被預(yù)期。方法100通過(guò)從多個(gè)對(duì)象檢測(cè)傳感器獲取一個(gè)或多個(gè)數(shù)據(jù)幀而開(kāi)始于步驟102，在一個(gè)實(shí)施例中，該多個(gè)對(duì)象檢測(cè)傳感器包括雷達(dá)傳感器24和圖像捕獲裝置30.在步驟104，潛在的長(zhǎng)(細(xì)長(zhǎng))對(duì)象根據(jù)從雷達(dá)傳感器24獲得的檢測(cè)數(shù)據(jù)來(lái)識(shí)別。

在步驟104的一個(gè)實(shí)施例中，雷達(dá)對(duì)象檢測(cè)模塊28被配置為根據(jù)圖4所示的方法識(shí)別潛在的細(xì)長(zhǎng)對(duì)象，其中每個(gè)pi的雷達(dá)測(cè)量(或點(diǎn))p1，p2，...，pk的幀，在步驟104a從雷達(dá)傳感器24獲取。測(cè)量可以包括但不限于范圍r，角度θ，多普勒v和信號(hào)強(qiáng)度s。在步驟104b，將聚類(lèi)過(guò)程應(yīng)用于雷達(dá)測(cè)量的每個(gè)幀，使得來(lái)自相同對(duì)象的測(cè)量被一起分組到一個(gè)聚類(lèi)中。在一個(gè)實(shí)施例中，聚類(lèi)過(guò)程包括針對(duì)一組度量評(píng)估幀中的每個(gè)點(diǎn)pi，其可以包括例如每個(gè)點(diǎn)pi的位置和信號(hào)強(qiáng)度。度量可以進(jìn)一步包括從其它對(duì)象檢測(cè)裝置獲取的信息的融合。例如，在一個(gè)實(shí)施例中，每個(gè)點(diǎn)pi的位置被映射到使用成像系統(tǒng)18同時(shí)捕獲的圖像。與捕獲的圖像中的對(duì)應(yīng)像素相關(guān)的信息，例如強(qiáng)度值，可以用作附加度量。因此，基于來(lái)自多個(gè)對(duì)象檢測(cè)裝置的對(duì)象檢測(cè)數(shù)據(jù)的融合，將幀中的每個(gè)點(diǎn)聚類(lèi)為組gi＝(pi1,pi2,…pij)。

在一個(gè)特定示例中，可以根據(jù)k均值算法對(duì)集體對(duì)象檢測(cè)數(shù)據(jù)進(jìn)行聚類(lèi)，該k均值算法基于每個(gè)點(diǎn)pi之間的距離或者點(diǎn)與潛在聚類(lèi)的中心之間的距離。例如，假設(shè)兩個(gè)點(diǎn)pi和pj之間的距離d被定義為：

d(pi,pj)＝wldl(pi,pj)+wvdv(pi,pj)

其中dl(pi，pj)是通過(guò)它們的位置測(cè)量的兩個(gè)點(diǎn)之間的距離，dv(pi，pj)是通過(guò)捕獲圖像中的相應(yīng)塊的視覺(jué)相似性測(cè)量的距離，其中兩個(gè)點(diǎn)投影到相機(jī)圖像平面，w1和wv是用于組合來(lái)自不同源的距離的權(quán)重，其中w1+wv＝1。在一個(gè)實(shí)施例中，基于已知的啟發(fā)法或從與所收集的數(shù)據(jù)相關(guān)的統(tǒng)計(jì)信息來(lái)預(yù)定義權(quán)重w1和wv?；蛘撸部梢栽诓僮髌陂g基于雷達(dá)傳感器和視覺(jué)傳感器的信號(hào)質(zhì)量來(lái)計(jì)算權(quán)重w1和wv。

在步驟104c，啟動(dòng)模式識(shí)別過(guò)程以確定一組聚集點(diǎn)是否具有與長(zhǎng)對(duì)象的雷達(dá)信號(hào)模式一致的雷達(dá)信號(hào)模式。在一個(gè)示例性實(shí)施例中，考慮兩個(gè)主要因素。第一個(gè)是組gi中的點(diǎn)是否線性分布，第二個(gè)是在每個(gè)組gi中的點(diǎn)之間是否存在漸進(jìn)速度進(jìn)展。

通過(guò)比較相鄰數(shù)據(jù)點(diǎn)之間的位置來(lái)確定每個(gè)組中的數(shù)據(jù)點(diǎn)的線性分布，以確定每個(gè)組中的點(diǎn)是否在一個(gè)維度上廣泛分布并且緊密地集中在另一個(gè)垂直維度上。例如，圖5示出從圖1中所示的護(hù)欄接收的雷達(dá)測(cè)量的示例圖。每個(gè)雷達(dá)數(shù)據(jù)點(diǎn)pi表示空間中的3-d點(diǎn)(x，y，d)，其中x是相對(duì)于主車(chē)輛12，y是相對(duì)于主車(chē)輛12的縱向坐標(biāo)，并且d是提供相對(duì)于主車(chē)輛12的徑向速度信息的多普勒數(shù)據(jù)。在該示例中，組gi中的數(shù)據(jù)點(diǎn)通常沿著y軸(即，y維度)，并且點(diǎn)的位置沿著垂直x軸(即，x維度)高度集中。換句話說(shuō)，沿著y軸存在寬范圍的數(shù)據(jù)點(diǎn)位置，以及沿著x軸每個(gè)點(diǎn)的位置之間存在非常小的差異。因此，該組點(diǎn)被標(biāo)記為長(zhǎng)對(duì)象候選。丟棄不滿足上面針對(duì)線性分布闡述的條件的一組點(diǎn)，因?yàn)樵摻M不可能表示長(zhǎng)對(duì)象。

通過(guò)根據(jù)每個(gè)點(diǎn)相對(duì)于主車(chē)輛12的方位角以升序或降序?qū)γ總€(gè)組中的點(diǎn)進(jìn)行分類(lèi)來(lái)檢查第二因素，即每個(gè)剩余組gi中的點(diǎn)之間的速度級(jí)數(shù)。如圖所示在圖5中，來(lái)自多普勒數(shù)據(jù)的徑向速度信息可以由指示每個(gè)點(diǎn)相對(duì)于主車(chē)輛12的方向和速度的速度矢量表示。對(duì)于每個(gè)分類(lèi)的點(diǎn)，根據(jù)已知技術(shù)計(jì)算距離率以確定對(duì)于大多數(shù)排序點(diǎn)的范圍速率是否存在漸進(jìn)變化，其中在一個(gè)實(shí)施例中，大多數(shù)是基于范圍速率閾值來(lái)確定的。還檢查分類(lèi)的點(diǎn)以確定與每個(gè)點(diǎn)相關(guān)聯(lián)的距離測(cè)量是否根據(jù)范圍閾值以漸進(jìn)方式改變。在一個(gè)實(shí)施例中，范圍速率和范圍測(cè)量中的“漸進(jìn)”變化基于單調(diào)函數(shù)，如本領(lǐng)域技術(shù)人員所理解的，包括考慮值是單調(diào)增加還是單調(diào)減少，值是單調(diào)增加，然后單調(diào)減少，或者數(shù)字單調(diào)減少然后單調(diào)增加。如果一組點(diǎn)能夠以升序或降序排序，并且組中的點(diǎn)的距離變化率和范圍逐漸變化，則該組被標(biāo)記為長(zhǎng)對(duì)象候選(即，潛在伸長(zhǎng)對(duì)象)。不滿足上述排序條件的一組點(diǎn)被丟棄，因?yàn)樵摻M不太可能表示長(zhǎng)對(duì)象。

在步驟104d，對(duì)于在步驟104c中識(shí)別的k個(gè)雷達(dá)點(diǎn)的每個(gè)長(zhǎng)對(duì)象候選應(yīng)用線性回歸模型。在一個(gè)非限制性示例中，以下線性模型被應(yīng)用于每個(gè)長(zhǎng)對(duì)象候選的數(shù)據(jù)點(diǎn)：

yj＝axj+b+∈j,j＝1,…,k

其中(xj，yj)是雷達(dá)坐標(biāo)系中雷達(dá)點(diǎn)pj的位置，a和b是線性模型的標(biāo)量參數(shù)，其可以使用用于在線性模型中擬合數(shù)據(jù)點(diǎn)的已知技術(shù)來(lái)估計(jì)(例如，標(biāo)準(zhǔn)線性回歸算法)，并且εj是誤差項(xiàng)(例如，εradar)，如下面詳細(xì)描述的，由融合模塊20使用以融合對(duì)象檢測(cè)數(shù)據(jù)。

使用線性模型，在步驟104e，針對(duì)每個(gè)長(zhǎng)對(duì)象候選oi估計(jì)參數(shù)(θradar)。在一個(gè)實(shí)施例中，參數(shù)估計(jì)包括但不限于細(xì)長(zhǎng)對(duì)象的質(zhì)心位置，尺寸(即長(zhǎng)度)，移動(dòng)速度和移動(dòng)方向(即，前進(jìn)方向)。

再次參考圖3，在步驟106，從從圖像捕獲裝置30獲得的檢測(cè)數(shù)據(jù)識(shí)別潛在的長(zhǎng)(細(xì)長(zhǎng))對(duì)象。在步驟106的一個(gè)實(shí)施例中，基于視覺(jué)的對(duì)象檢測(cè)模塊34被配置為識(shí)別潛在伸長(zhǎng)根據(jù)圖6所示的方法，其中在步驟106a獲得包括來(lái)自圖像捕獲裝置30在時(shí)間t的圖像幀的數(shù)據(jù)幀。在步驟106b，將在步驟104c中識(shí)別的每個(gè)長(zhǎng)對(duì)象候選oi的雷達(dá)點(diǎn)組投影到圖像幀上。在步驟106c處，對(duì)于圖像上的每組投影雷達(dá)點(diǎn)，生成覆蓋投影點(diǎn)的圖像的補(bǔ)片。然后，每個(gè)圖像塊i表示圖像中的潛在的細(xì)長(zhǎng)對(duì)象。在步驟106d，針對(duì)在時(shí)間t的當(dāng)前幀，在步驟106c中生成的每個(gè)圖像補(bǔ)片標(biāo)識(shí)興趣點(diǎn)(例如，角，護(hù)欄上的點(diǎn)等)。結(jié)構(gòu)化照明可用于沒(méi)有良好紋理的對(duì)象。在步驟106e，將當(dāng)前幀t的感興趣點(diǎn)與時(shí)間t-1處先前圖像幀中的那些相同感興趣點(diǎn)匹配。以這種方式，可以基于光流方法監(jiān)測(cè)所檢測(cè)到的對(duì)象的移動(dòng)。在步驟106f，根據(jù)已知的計(jì)算機(jī)視覺(jué)技術(shù)使用識(shí)別的感興趣區(qū)域計(jì)算對(duì)象參數(shù)估計(jì)(θvsison)和誤差值(例如，εvision)。在一個(gè)實(shí)施例中，參數(shù)估計(jì)包括但不限于細(xì)長(zhǎng)對(duì)象的位置，尺寸(即長(zhǎng)度)，移動(dòng)速度和移動(dòng)方向(即，前進(jìn)方向)。

再次參考圖3，在步驟108，融合模塊20接收并融合根據(jù)參考圖4和6描述的方法在步驟104e和106f中計(jì)算的潛在伸長(zhǎng)對(duì)象的對(duì)象參數(shù)估計(jì)。使用對(duì)象參數(shù)估計(jì)以估計(jì)整體對(duì)象參數(shù)并對(duì)檢測(cè)到的細(xì)長(zhǎng)對(duì)象進(jìn)行分類(lèi)。例如，在步驟110，融合模塊20通過(guò)根據(jù)以下等式對(duì)從雷達(dá)檢測(cè)裝置16和成像系統(tǒng)18計(jì)算的參數(shù)進(jìn)行加權(quán)來(lái)計(jì)算檢測(cè)到的細(xì)長(zhǎng)對(duì)象的參數(shù)估計(jì)，例如位置，速度，前進(jìn)方向等

θ＝αθradar+βθvsison

其中θ是被計(jì)算的對(duì)象參數(shù)(即，位置，速度，方向，大小)，θradar是來(lái)自雷達(dá)檢測(cè)裝置16的對(duì)應(yīng)的對(duì)象參數(shù)估計(jì)，θvsison是來(lái)自成像系統(tǒng)18的對(duì)應(yīng)的對(duì)象參數(shù)估計(jì)，α是用于雷達(dá)檢測(cè)裝置16的加權(quán)系數(shù)，β是成像系統(tǒng)18的加權(quán)系數(shù)，其中α+β＝1。α和β的值可以是手動(dòng)預(yù)定的或者基于已經(jīng)用細(xì)長(zhǎng)對(duì)象的雷達(dá)和基于視覺(jué)的參數(shù)估計(jì)計(jì)算的誤差項(xiàng)εradar，ε_(tái)vision學(xué)習(xí)。在一個(gè)實(shí)施例中，學(xué)習(xí)可以通過(guò)以下完成：

(α,β)＝f(∈radar,∈vision)

其中函數(shù)f是本領(lǐng)域技術(shù)人員已知的任何種類(lèi)的學(xué)習(xí)函數(shù)，εradar表示與雷達(dá)檢測(cè)數(shù)據(jù)相關(guān)的誤差，εvision表示與成像檢測(cè)數(shù)據(jù)相關(guān)的誤差。

在步驟112，根據(jù)對(duì)象類(lèi)型對(duì)檢測(cè)到的細(xì)長(zhǎng)對(duì)象進(jìn)行分類(lèi)。這是為了確定細(xì)長(zhǎng)對(duì)象的類(lèi)型，例如護(hù)欄，墻壁，長(zhǎng)卡車(chē)等。在一個(gè)實(shí)施例中，通過(guò)確定給定檢測(cè)組合的特定類(lèi)對(duì)象的最大概率來(lái)分類(lèi)細(xì)長(zhǎng)對(duì)象數(shù)據(jù)，其在該示例中是雷達(dá)檢測(cè)數(shù)據(jù)和成像檢測(cè)數(shù)據(jù)的組合。用于對(duì)細(xì)長(zhǎng)對(duì)象進(jìn)行分類(lèi)的示例性函數(shù)由下式給出：

其表示用于對(duì)象的具有n個(gè)候選類(lèi)(例如護(hù)欄，墻壁，卡車(chē)，路緣等)的觀察圖像塊i和聚類(lèi)群g的特定類(lèi)的最高概率。

應(yīng)當(dāng)理解，前面是對(duì)本發(fā)明的一個(gè)或多個(gè)實(shí)施例的描述。本發(fā)明不限于本文公開(kāi)的特定實(shí)施例，而是僅由下面的權(quán)利要求限定。此外，前述描述中包含的陳述涉及特定實(shí)施例，并且不應(yīng)被解釋為對(duì)本發(fā)明的范圍或權(quán)利要求中使用的術(shù)語(yǔ)的定義的限制，除非上面明確定義了術(shù)語(yǔ)或短語(yǔ)。各種其它實(shí)施例以及對(duì)所公開(kāi)的實(shí)施例的各種改變和修改對(duì)于本領(lǐng)域技術(shù)人員將變得顯而易見(jiàn)。所有這些其它實(shí)施例，改變和修改旨在落入所附權(quán)利要求的范圍內(nèi)。

如在本說(shuō)明書(shū)和權(quán)利要求書(shū)中所使用的，術(shù)語(yǔ)“例如”，“例如”，“例如”，“諸如”和“類(lèi)似”以及動(dòng)詞“包括”，“具有”當(dāng)與一個(gè)或多個(gè)組件或其它項(xiàng)目的列表結(jié)合使用時(shí)，它們的其它動(dòng)詞形式各自被解釋為開(kāi)放式的，意味著列表不被認(rèn)為是排除其它附加組件或項(xiàng)目。其它術(shù)語(yǔ)將使用其最廣泛的合理含義來(lái)解釋?zhuān)撬鼈冊(cè)谛枰煌忉尩纳舷挛闹惺褂谩?/p>

雖然上述描述包括計(jì)算機(jī)可執(zhí)行指令的一般上下文，但是本發(fā)明還可以與其它程序模塊組合和/或作為硬件和軟件的組合來(lái)實(shí)現(xiàn)。術(shù)語(yǔ)“算法”，“方法”，“應(yīng)用”或其變體在本文中廣泛使用以包括例程，程序模塊，程序，組件，數(shù)據(jù)結(jié)構(gòu)，算法等。應(yīng)用可以在各種系統(tǒng)配置上實(shí)現(xiàn)，包括單處理器或多處理器系統(tǒng)，基于微處理器的電子器件，其組合等。