本實(shí)用新型涉及機(jī)器人技術(shù)領(lǐng)域,特別涉及一種目標(biāo)跟蹤裝置。
背景技術(shù):
目標(biāo)跟蹤技術(shù)是一種基于圖像序列處理,從復(fù)雜背景中識(shí)別出目標(biāo),并對(duì)目標(biāo)的運(yùn)動(dòng)規(guī)律加以預(yù)測(cè),實(shí)現(xiàn)對(duì)目標(biāo)的連續(xù)準(zhǔn)確的跟蹤的技術(shù)。目標(biāo)跟蹤技術(shù)作為人機(jī)交互領(lǐng)域中的一個(gè)重要部分,常常用于實(shí)現(xiàn)多種用途。比如,該目標(biāo)跟蹤技術(shù)能夠用于實(shí)現(xiàn)物品搬運(yùn)的用途,人員(如老人及兒童)看護(hù)的用途以及追蹤兒童玩具的用途等。
現(xiàn)有技術(shù)中有一種目標(biāo)跟蹤裝置,該目標(biāo)跟蹤裝置主要包括視覺傳感器(或紅外傳感器)、處理器和移動(dòng)臺(tái),視覺傳感器和處理器設(shè)置在移動(dòng)臺(tái)上。視覺傳感器用于采集目標(biāo)對(duì)象的圖像數(shù)據(jù),并將該圖像數(shù)據(jù)發(fā)送至處理器,處理器根據(jù)該圖像數(shù)據(jù)生成包括目標(biāo)跟蹤裝置需要移動(dòng)到的目標(biāo)位置的命令,并將該命令發(fā)送至移動(dòng)臺(tái),移動(dòng)臺(tái)再根據(jù)該命令進(jìn)行移動(dòng)以跟蹤目標(biāo)對(duì)象。
但由于視覺傳感器(或紅外傳感器)可觀察的視角是有限的,導(dǎo)致視覺傳感器總會(huì)存在視覺盲區(qū),也就是說,當(dāng)目標(biāo)對(duì)象不在視覺傳感器的視線范圍內(nèi)時(shí),視覺傳感器無法采集到目標(biāo)對(duì)象的圖像,這樣一來,目標(biāo)跟蹤裝置無法跟蹤目標(biāo),因此,目標(biāo)跟蹤裝置跟蹤目標(biāo)對(duì)象的效果較差。
技術(shù)實(shí)現(xiàn)要素:
為了解決現(xiàn)有技術(shù)中目標(biāo)跟蹤裝置跟蹤目標(biāo)對(duì)象的效果較差的問題,本實(shí)用新型提供了一種目標(biāo)跟蹤裝置。所述技術(shù)方案如下:
一方面,提供了一種目標(biāo)跟蹤裝置,所述裝置包括:第一傳感器、處理器和移動(dòng)臺(tái),
所述第一傳感器設(shè)置在所述移動(dòng)臺(tái)上,且與所述處理器連接,所述第一傳感器能夠?qū)⒉杉沫h(huán)境數(shù)據(jù)發(fā)送至所述處理器,所述環(huán)境數(shù)據(jù)為反映所述第一傳感器周圍360度環(huán)境的數(shù)據(jù),所述處理器根據(jù)所述環(huán)境數(shù)據(jù)生成提示命令,再將所述提示命令發(fā)送至所述移動(dòng)臺(tái),所述提示命令用于指示所述移動(dòng)臺(tái)需要移動(dòng)到的目標(biāo)位置。
可選的,所述裝置還包括:第二傳感器,
所述第二傳感器設(shè)置在所述移動(dòng)臺(tái)上,且與所述處理器連接,所述第二傳感器將采集的目標(biāo)對(duì)象的圖像數(shù)據(jù)發(fā)送至所述處理器,所述處理器能夠根據(jù)所述圖像數(shù)據(jù)和所述環(huán)境數(shù)據(jù)生成所述提示命令。
可選的,所述移動(dòng)臺(tái)呈圓柱狀,所述第一傳感器設(shè)置在所述移動(dòng)臺(tái)的上底面中心位置,所述第一傳感器的中心點(diǎn)在所述移動(dòng)臺(tái)的上底面的投影與所述移動(dòng)臺(tái)的上底面的圓心重合。
可選的,所述裝置還包括第三傳感器,
所述第三傳感器設(shè)置在所述移動(dòng)臺(tái)的側(cè)面,所述第三傳感器能夠在檢測(cè)到所述目標(biāo)跟蹤裝置周邊的障礙物時(shí),向所述移動(dòng)臺(tái)發(fā)送告警命令,所述告警命令用于指示所述移動(dòng)臺(tái)避開所述障礙物移動(dòng)。
可選的,所述裝置還包括支撐架,
所述支撐架設(shè)置在所述移動(dòng)臺(tái)的上底面,所述支撐架的高度方向與所述移動(dòng)臺(tái)的高度方向平行,所述處理器和所述第二傳感器設(shè)置在所述支撐架上。
可選的,所述移動(dòng)臺(tái)包括:控制器和與所述控制器連接的移動(dòng)本體,所述移動(dòng)本體為輪式結(jié)構(gòu),
所述控制器與所述處理器連接,所述控制器能夠接收所述處理器發(fā)送的提示命令,并根據(jù)所述提示命令控制所述移動(dòng)本體移動(dòng)至所述目標(biāo)位置。
可選的,所述第一傳感器通過第一接口組件將所述環(huán)境數(shù)據(jù)發(fā)送至所述處理器;
所述第二傳感器通過第二接口組件將所述圖像數(shù)據(jù)發(fā)送至所述處理器。
可選的,所述第一傳感器為激光雷達(dá)傳感器;
所述第二傳感器為單目視覺傳感器。
可選的,所述第三傳感器為超聲波避障傳感器。
可選的,所述第一接口組件為串行接口、以太網(wǎng)接口或通用串行總線USB接口;
所述第二接口組件為串行接口、以太網(wǎng)接口或USB接口。
本實(shí)用新型提供的技術(shù)方案帶來的有益效果是:
由于目標(biāo)跟蹤裝置的第一傳感器能夠?qū)⒉杉沫h(huán)境數(shù)據(jù)發(fā)送至處理器,處理器能夠根據(jù)環(huán)境數(shù)據(jù)生成提示命令,再將提示命令發(fā)送至移動(dòng)臺(tái),使得移動(dòng)臺(tái)移動(dòng)到目標(biāo)位置,相較于現(xiàn)有技術(shù),能夠?qū)崟r(shí)跟蹤目標(biāo)對(duì)象,提高了目標(biāo)跟蹤裝置跟蹤目標(biāo)對(duì)象的效果。
附圖說明
為了更清楚地說明本實(shí)用新型實(shí)施例中的技術(shù)方案,下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本實(shí)用新型的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本實(shí)用新型實(shí)施例提供的一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖;
圖2是本實(shí)用新型實(shí)施例提供的另一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖;
圖3是本實(shí)用新型實(shí)施例提供的又一種目標(biāo)跟蹤裝置的結(jié)構(gòu)示意圖;
圖4是本實(shí)用新型實(shí)施例提供的一種移動(dòng)臺(tái)的結(jié)構(gòu)示意圖;
圖5是本實(shí)用新型實(shí)施例確定第一區(qū)域和第二區(qū)域的重疊率的示意圖;
圖6是本實(shí)用新型實(shí)施例提供的一種目標(biāo)位置坐標(biāo)的示意圖。
具體實(shí)施方式
為使本實(shí)用新型的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖對(duì)本實(shí)用新型實(shí)施方式作進(jìn)一步地詳細(xì)描述。
本實(shí)用新型實(shí)施例提供了一種目標(biāo)跟蹤裝置100,如圖1所示,該目標(biāo)跟蹤裝置100包括:第一傳感器110、處理器120和移動(dòng)臺(tái)130。第一傳感器110設(shè)置在移動(dòng)臺(tái)130上,且與處理器120連接。
第一傳感器110能夠?qū)⒉杉沫h(huán)境數(shù)據(jù)發(fā)送至處理器120,該環(huán)境數(shù)據(jù)為反映第一傳感器110周圍360度環(huán)境的數(shù)據(jù),處理器120根據(jù)環(huán)境數(shù)據(jù)生成提示命令,再將提示命令發(fā)送至移動(dòng)臺(tái)130,該提示命令用于指示移動(dòng)臺(tái)130需要移動(dòng)到的目標(biāo)位置。
綜上所述,本實(shí)用新型實(shí)施例提供的目標(biāo)跟蹤裝置,由于第一傳感器能夠?qū)⒉杉沫h(huán)境數(shù)據(jù)發(fā)送至處理器,處理器能夠根據(jù)環(huán)境數(shù)據(jù)生成提示命令,再將提示命令發(fā)送至移動(dòng)臺(tái),使得移動(dòng)臺(tái)移動(dòng)到目標(biāo)位置,相較于現(xiàn)有技術(shù),能夠?qū)崟r(shí)跟蹤目標(biāo)對(duì)象,提高了目標(biāo)跟蹤裝置跟蹤目標(biāo)對(duì)象的效果。
具體的,處理器能夠根據(jù)環(huán)境數(shù)據(jù)確定目標(biāo)對(duì)象在當(dāng)前幀圖像中的第一分布參數(shù),并根據(jù)第一分布參數(shù)生成提示命令。示例的,處理器可以為筆記本及工控機(jī)等具有處理能力的設(shè)備。
由于激光雷達(dá)傳感器的測(cè)距精度較高,實(shí)時(shí)性較高,且對(duì)陰影和光照變化不敏感,所以可以將激光雷達(dá)傳感器作為第一傳感器。激光雷達(dá)傳感器利用光頻波段的電磁波向目標(biāo)對(duì)象發(fā)射探測(cè)信號(hào),再將接收到的同波信號(hào)與發(fā)射信號(hào)進(jìn)行比較,以獲得目標(biāo)對(duì)象的位置等信息。
進(jìn)一步的,如圖2所示,該目標(biāo)跟蹤裝置100還包括:第二傳感器140。第二傳感器140設(shè)置在移動(dòng)臺(tái)130上,且與處理器120連接。第二傳感器140將采集的目標(biāo)對(duì)象的圖像數(shù)據(jù)發(fā)送至處理器120,處理器120能夠根據(jù)圖像數(shù)據(jù)和環(huán)境數(shù)據(jù)生成提示命令。具體的,處理器能夠根據(jù)圖像數(shù)據(jù)確定目標(biāo)對(duì)象在當(dāng)前幀圖像中的第二分布參數(shù),并根據(jù)第一分布參數(shù)和第二分布參數(shù)生成提示命令。第二傳感器將采集的目標(biāo)對(duì)象的圖像數(shù)據(jù)發(fā)送至處理器,第一傳感器將采集的環(huán)境數(shù)據(jù)發(fā)送至處理器,使得處理器能夠根據(jù)環(huán)境數(shù)據(jù)和目標(biāo)對(duì)象的圖像數(shù)據(jù)生成提示命令。示例的,第二傳感器為單目視覺傳感器。單目視覺傳感器可以通過顏色識(shí)別出目標(biāo)對(duì)象,但相較于激光雷達(dá)傳感器,單目視覺傳感器對(duì)光線較敏感。
參見圖2,移動(dòng)臺(tái)130呈圓柱狀,第一傳感器110可以設(shè)置在移動(dòng)臺(tái)130的上底面中心位置,第一傳感器110的中心點(diǎn)在移動(dòng)臺(tái)130的上底面的投影與移動(dòng)臺(tái)110的上底面的圓心重合,這樣一來,能夠簡化后續(xù)的坐標(biāo)轉(zhuǎn)換過程,即將目標(biāo)對(duì)象在當(dāng)前幀圖像(即圖像坐標(biāo)系)中的坐標(biāo)轉(zhuǎn)換為目標(biāo)對(duì)象在世界坐標(biāo)系中的坐標(biāo)。
進(jìn)一步的,如圖3所示,該目標(biāo)跟蹤裝置100還包括第三傳感器150。第三傳感器150設(shè)置在移動(dòng)臺(tái)130的側(cè)面,第三傳感器150能夠在檢測(cè)到目標(biāo)跟蹤裝置周邊的障礙物時(shí),向移動(dòng)臺(tái)130發(fā)送告警命令,該告警命令用于指示移動(dòng)臺(tái)避開障礙物移動(dòng)。第三傳感器避免了目標(biāo)跟蹤裝置因碰撞障礙物而損壞導(dǎo)致無法實(shí)時(shí)跟蹤目標(biāo)對(duì)象。示例的,第三傳感器為超聲波避障傳感器。目標(biāo)跟蹤裝置上可以設(shè)置多個(gè)第三傳感器,本實(shí)用新型實(shí)施例對(duì)第三傳感器的數(shù)量不做限定。
進(jìn)一步的,如圖3所示,該目標(biāo)跟蹤裝置100還包括支撐架160。支撐架160設(shè)置在移動(dòng)臺(tái)130的上底面,支撐架160的高度方向(如圖3中k1所指示的方向)與移動(dòng)臺(tái)130的高度方向(如圖3中k2所指示的方向)平行,處理器120和第二傳感器140設(shè)置在支撐架160上。此外,處理器120也可以設(shè)置在移動(dòng)臺(tái)130上,本實(shí)用新型實(shí)施例對(duì)此不作限定。
可選的,如圖4所示,移動(dòng)臺(tái)130包括:控制器131和與控制器131連接的移動(dòng)本體132,移動(dòng)本體132為輪式結(jié)構(gòu)。
控制器131與處理器連接,控制器131能夠接收處理器發(fā)送的提示命令,并根據(jù)提示命令控制移動(dòng)本體132移動(dòng)至目標(biāo)位置。示例的,該移動(dòng)本體可以為三輪結(jié)構(gòu),也可以為四輪結(jié)構(gòu),該移動(dòng)本體的驅(qū)動(dòng)方式可以為差動(dòng)驅(qū)動(dòng)方式,也可以為全方位驅(qū)動(dòng)方式,本實(shí)用新型實(shí)施例對(duì)移動(dòng)本體的結(jié)構(gòu)以及驅(qū)動(dòng)方式不做限定。
可選的,第一傳感器通過第一接口組件將環(huán)境數(shù)據(jù)發(fā)送至處理器。示例的,第一接口組件可以為串行接口、以太網(wǎng)接口或通用串行總線(英文:Universal Serial Bus;簡稱:USB)接口;第二傳感器通過第二接口組件將圖像數(shù)據(jù)發(fā)送至處理器。示例的,第二接口組件可以為串行接口、以太網(wǎng)接口或USB接口。
具體的,處理器120用于:
根據(jù)圖像數(shù)據(jù)采用預(yù)測(cè)跟蹤算法,確定目標(biāo)對(duì)象在當(dāng)前幀圖像中的第二分布參數(shù)。示例的,該預(yù)測(cè)跟蹤算法可以為均值偏移算法、光流算法或卡爾曼(英文:Kalman)算法等。關(guān)于預(yù)測(cè)跟蹤算法可以參考現(xiàn)有技術(shù),本實(shí)用新型實(shí)施例在此不再贅述;
根據(jù)環(huán)境數(shù)據(jù)確定目標(biāo)對(duì)象,以及目標(biāo)對(duì)象在當(dāng)前幀圖像中的第一分布參數(shù);
根據(jù)第二分布參數(shù)和第一分布參數(shù)確定目標(biāo)對(duì)象在當(dāng)前幀圖像中的目標(biāo)分布參數(shù);
根據(jù)目標(biāo)分布參數(shù)生成提示命令。處理器可以根據(jù)目標(biāo)分布參數(shù)對(duì)目標(biāo)對(duì)象在當(dāng)前幀圖像中的坐標(biāo)進(jìn)行轉(zhuǎn)換,得到目標(biāo)對(duì)象在世界坐標(biāo)系(該世界坐標(biāo)系的原點(diǎn)為移動(dòng)臺(tái)的上底面的圓心)中的坐標(biāo),再生成提示命令,并將提示命令發(fā)送至移動(dòng)臺(tái),以便于移動(dòng)臺(tái)移動(dòng)到目標(biāo)位置。
可選的,第一分布參數(shù)包括:目標(biāo)對(duì)象在當(dāng)前幀圖像中的第一位置和第一大小,第二分布參數(shù)包括:目標(biāo)對(duì)象在當(dāng)前幀圖像中的第二位置和第二大小,其中,位置指的是目標(biāo)對(duì)象的中心點(diǎn)在當(dāng)前幀圖像中的坐標(biāo),大小指的是目標(biāo)對(duì)象在當(dāng)前幀圖像中的長度和寬度。相應(yīng)的,處理器還用于:
計(jì)算第一分布參數(shù)對(duì)應(yīng)的第一區(qū)域和第二分布參數(shù)對(duì)應(yīng)的第二區(qū)域的重疊率;
判斷重疊率是否大于預(yù)設(shè)閾值;
當(dāng)重疊率大于預(yù)設(shè)閾值時(shí),將第一分布參數(shù)和第二分布參數(shù)的加權(quán)平均值作為目標(biāo)分布參數(shù);
當(dāng)重疊率不大于預(yù)設(shè)閾值時(shí),確定第一區(qū)域的第一相似度,以及第二區(qū)域的第二相似度;
將第一相似度和第二相似度中的較大值對(duì)應(yīng)的分布參數(shù)作為目標(biāo)分布參數(shù)。
進(jìn)一步的,處理器還用于:
對(duì)環(huán)境數(shù)據(jù)進(jìn)行處理,得到環(huán)境中n個(gè)對(duì)象,n大于或等于1,該n個(gè)對(duì)象包括目標(biāo)對(duì)象;
確定每個(gè)對(duì)象的相似度以及每個(gè)對(duì)象在當(dāng)前幀圖像中的分布參數(shù);
將相似度最大的對(duì)象作為目標(biāo)對(duì)象。目標(biāo)對(duì)象在當(dāng)前幀圖像中的分布參數(shù)即為目標(biāo)對(duì)象在當(dāng)前幀圖像中的第一分布參數(shù)。
進(jìn)一步的,處理器120還存儲(chǔ)有第二傳感器的內(nèi)部參數(shù),以及第二傳感器和第一傳感器的聯(lián)合外部參數(shù)。相應(yīng)的,處理器還用于:
采用預(yù)先存儲(chǔ)的內(nèi)部參數(shù)和聯(lián)合外部參數(shù)將n個(gè)對(duì)象映射到一個(gè)圖像上,得到n個(gè)區(qū)域;
對(duì)每個(gè)區(qū)域進(jìn)行粒子撒播處理,計(jì)算每個(gè)區(qū)域中的粒子的相似度,并根據(jù)粒子的相似度確定對(duì)應(yīng)粒子的權(quán)重;
根據(jù)每個(gè)區(qū)域中粒子的權(quán)重,以及粒子在當(dāng)前幀圖像中的分布參數(shù),確定對(duì)應(yīng)區(qū)域在當(dāng)前幀圖像中的分布參數(shù),并將區(qū)域在當(dāng)前幀圖像中的分布參數(shù)作為對(duì)象在當(dāng)前幀圖像中的分布參數(shù);
確定每個(gè)區(qū)域的相似度,并將區(qū)域的相似度作為對(duì)象的相似度。
其中,第二傳感器的內(nèi)部參數(shù),以及第二傳感器和第一傳感器的聯(lián)合外部參數(shù)的確定過程涉及三個(gè)坐標(biāo)系和兩個(gè)坐標(biāo)系轉(zhuǎn)換過程,三個(gè)坐標(biāo)系分別為:圖像坐標(biāo)系、第二傳感器坐標(biāo)系和第一傳感器坐標(biāo)系,兩個(gè)坐標(biāo)系轉(zhuǎn)換過程為:第一傳感器坐標(biāo)系到第二傳感器坐標(biāo)系的轉(zhuǎn)換過程,第二傳感器坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換過程。第一傳感器坐標(biāo)系的原點(diǎn)為第一傳感器的中心點(diǎn)在移動(dòng)臺(tái)的上底面的投影。
參考現(xiàn)有技術(shù),假設(shè)空間中某一點(diǎn)P在第一傳感器坐標(biāo)系中的坐標(biāo)為PL,=[XL,YL,ZL],那么第一傳感器坐標(biāo)系到第二傳感器坐標(biāo)系的轉(zhuǎn)換的關(guān)系式為:
PL=φPC+Δ;
其中,PC為點(diǎn)P在第二傳感器坐標(biāo)系中的坐標(biāo),且PC=[XC,YC,ZC],φ為第二傳感器坐標(biāo)系到第一傳感器坐標(biāo)系的旋轉(zhuǎn)矩陣,Δ為第二傳感器坐標(biāo)系到第一傳感器坐標(biāo)系的平移向量,且該平移向量是三行三列的向量。旋轉(zhuǎn)矩陣φ和平移向量Δ為聯(lián)合外部參數(shù)(即第二傳感器和第一傳感器的聯(lián)合外部參數(shù))。
再假設(shè)點(diǎn)P在圖像坐標(biāo)系中的坐標(biāo)為(u,v),那么第二傳感器坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換的關(guān)系式為:
其中,參數(shù)ax,參數(shù)ay,參數(shù)u0以及參數(shù)v0為第二傳感器的內(nèi)部參數(shù)。
可見,在得到旋轉(zhuǎn)矩陣φ,平移向量Δ,參數(shù)ax,參數(shù)ay,參數(shù)u0以及參數(shù)v0之后,就可以將第一傳感器坐標(biāo)系中的點(diǎn)投影至圖像坐標(biāo)系中,進(jìn)而達(dá)到將n個(gè)對(duì)象映射到一個(gè)圖像上,得到n個(gè)區(qū)域的。
示例的,確定第二傳感器的內(nèi)部參數(shù)時(shí),可以采用張正友標(biāo)定法來確定。確定第二傳感器和第一傳感器的聯(lián)合外部參數(shù)時(shí),可以將標(biāo)定板放置在第二傳感器和第一傳感器都能夠捕獲到圖像信息的位置,確定時(shí)可以先采用處理器同時(shí)捕獲第二傳感器和第一傳感器采集到的標(biāo)定板上的圖像信息,再采用處理器分析兩者采集的圖像信息之間的幾何約束關(guān)系,求出旋轉(zhuǎn)矩陣φ和平移向量Δ。其中,采用的標(biāo)定板可以為棋盤標(biāo)定板、三角形標(biāo)定板、V型標(biāo)定板以及正方體標(biāo)定板等,本實(shí)用新型實(shí)施例對(duì)標(biāo)定板的類型不做限定。另外,關(guān)于根據(jù)圖像信息之間的幾何約束關(guān)系,求出旋轉(zhuǎn)矩陣φ和平移向量Δ的具體過程可以參考現(xiàn)有技術(shù),本實(shí)用新型實(shí)施例在此不再贅述。
進(jìn)一步的,處理器還用于:
在未接收到環(huán)境數(shù)據(jù),且接收到圖像數(shù)據(jù)時(shí),根據(jù)圖像數(shù)據(jù)生成提示命令。處理器將該提示命令發(fā)送至移動(dòng)臺(tái),以使移動(dòng)臺(tái)移動(dòng)到目標(biāo)位置,避免處理器未接收到環(huán)境數(shù)據(jù)而導(dǎo)致目標(biāo)跟蹤裝置無法跟蹤目標(biāo)對(duì)象。
本實(shí)用新型實(shí)施例以該目標(biāo)跟蹤裝置跟蹤一個(gè)老人R為例,對(duì)該目標(biāo)跟蹤裝置的工作過程進(jìn)行說明。假設(shè)當(dāng)前時(shí)刻,老人R旁邊還有兩個(gè)人,這兩個(gè)人分別為A和B。
參見圖3,1)第一傳感器110采集環(huán)境數(shù)據(jù),該環(huán)境數(shù)據(jù)為反映第一傳感器110周圍360度環(huán)境的數(shù)據(jù),第一傳感器110再將該環(huán)境數(shù)據(jù)發(fā)送至處理器120。
2)處理器120根據(jù)接收到的環(huán)境數(shù)據(jù)確定目標(biāo)對(duì)象(如R的腰部區(qū)域),以及R的腰部區(qū)域在當(dāng)前幀圖像中的第一位置和第一大小。
具體的,處理器120先對(duì)環(huán)境數(shù)據(jù)依次進(jìn)行預(yù)處理、聚類處理、特征提取處理及特征匹配處理,得到環(huán)境中的3個(gè)對(duì)象:R的腰部區(qū)域,A的腰部區(qū)域,以及B的腰部區(qū)域。
處理器120再采用預(yù)先存儲(chǔ)的第二傳感器的內(nèi)部參數(shù),以及第二傳感器和第一傳感器的聯(lián)合外部參數(shù),將該3個(gè)對(duì)象映射到一個(gè)圖像上,得到3個(gè)區(qū)域:區(qū)域S1,區(qū)域S2和區(qū)域S3。其中,區(qū)域S1為R的腰部區(qū)域映射到圖像上的區(qū)域,區(qū)域S2為A的腰部區(qū)域映射到圖像上的區(qū)域,區(qū)域S3為B的腰部區(qū)域映射到圖像上的區(qū)域。處理器120再向3個(gè)區(qū)域中每個(gè)區(qū)域撒播M(M大于1)個(gè)粒子,并計(jì)算每個(gè)粒子的相似度,然后根據(jù)粒子的相似度確定對(duì)應(yīng)粒子的權(quán)重,粒子的相似度越大,粒子的權(quán)重就越大。在確定了每個(gè)區(qū)域中各個(gè)粒子的權(quán)重后,可以根據(jù)粒子的權(quán)重,以及粒子在當(dāng)前幀圖像中的位置和大小,確定每個(gè)區(qū)域在當(dāng)前幀圖像中的位置和大小。假設(shè)M等于2,區(qū)域S1中的2個(gè)粒子分別為:粒子11和粒子12,粒子11的權(quán)重為q1,且粒子11的大小為p1,粒子12的權(quán)重為q2,且粒子12的大小為p2,那么,區(qū)域S1的大小為:q1*p1+q2*p2。確定了區(qū)域S1在當(dāng)前幀圖像中的位置和大小,區(qū)域S2在當(dāng)前幀圖像中的位置和大小以及區(qū)域S3在當(dāng)前幀圖像中的位置和大小之后,再將區(qū)域S1在當(dāng)前幀圖像中的位置作為R的腰部區(qū)域在當(dāng)前幀圖像中的位置,將區(qū)域S1在當(dāng)前幀圖像中的大小作為R的腰部區(qū)域在當(dāng)前幀圖像中的大小,同樣的,將區(qū)域S2在當(dāng)前幀圖像中的位置作為A的腰部區(qū)域在當(dāng)前幀圖像中的位置,將區(qū)域S2在當(dāng)前幀圖像中的大小作為A的腰部區(qū)域在當(dāng)前幀圖像中的大小,將區(qū)域S3在當(dāng)前幀圖像中的位置作為B的腰部區(qū)域在當(dāng)前幀圖像中的位置,將區(qū)域S3在當(dāng)前幀圖像中的大小作為B的腰部區(qū)域在當(dāng)前幀圖像中的大小。然后處理器120確定每個(gè)區(qū)域的相似度,并將區(qū)域的相似度作為對(duì)象的相似度。其中,區(qū)域的相似度等于區(qū)域與模板區(qū)域的相似度,該模板區(qū)域?yàn)樯弦粠瑘D像區(qū)域。
假設(shè)R的腰部區(qū)域的相似度等于0.9,A的腰部區(qū)域的相似度等于0.3,B的腰部區(qū)域的相似度等于0.5,那么R的腰部區(qū)域的相似度最大,所以處理器120將R的腰部區(qū)域作為目標(biāo)對(duì)象。R的腰部區(qū)域在當(dāng)前幀圖像中的位置即為第一位置,R的腰部區(qū)域在當(dāng)前幀圖像中的大小即為第一大小,上述第一分布參數(shù)包括該第一位置和該第一大小。
3)第二傳感器140采集R的腰部區(qū)域的圖像數(shù)據(jù),并將R的腰部區(qū)域的圖像數(shù)據(jù)發(fā)送至處理器120。
4)處理器120根據(jù)R的腰部區(qū)域的圖像數(shù)據(jù),采用預(yù)測(cè)跟蹤算法,確定R的腰部區(qū)域在當(dāng)前幀圖像中的第二位置和第二大小,上述第二分布參數(shù)包括該第二位置和該第二大小。
5)處理器120根據(jù)第二分布參數(shù),以及第一分布參數(shù)確定R的腰部區(qū)域在當(dāng)前幀圖像中的目標(biāo)分布參數(shù)。
具體的,處理器120先計(jì)算第一分布參數(shù)對(duì)應(yīng)的第一區(qū)域和第二分布參數(shù)對(duì)應(yīng)的第二區(qū)域的重疊率,計(jì)算第一區(qū)域和第二區(qū)域的重疊率C可以參考圖5,采用如下公式來計(jì)算:
該公式中的Y1為第一區(qū)域601的面積,Y2為第二區(qū)域602的面積,Y1∩Y2表示Y1與Y2的交集,Y1∪Y2表示Y1與Y2的并集。圖5中的實(shí)線圍成的區(qū)域?yàn)榈谝粎^(qū)域,虛線圍成的區(qū)域?yàn)榈诙^(qū)域。
處理器120再判斷第一區(qū)域和第二區(qū)域的重疊率C是否大于預(yù)設(shè)閾值;
當(dāng)?shù)谝粎^(qū)域和第二區(qū)域的重疊率C大于預(yù)設(shè)閾值時(shí),處理器120將第一分布參數(shù)和第二分布參數(shù)的加權(quán)平均值作為目標(biāo)分布參數(shù)。該目標(biāo)分布參數(shù)包括R的腰部區(qū)域在當(dāng)前幀圖像中的目標(biāo)位置和目標(biāo)大小。
假設(shè)第一區(qū)域的中心點(diǎn)在當(dāng)前幀圖像中的坐標(biāo)為O1,第二區(qū)域的中心點(diǎn)在當(dāng)前幀圖像中的坐標(biāo)為O2,第一分布參數(shù)的第一大小中的長度為w1,寬度為h1,第二分布參數(shù)中的第二大小的長度為w2,寬度為h2,那么目標(biāo)分布參數(shù)的目標(biāo)大小的長度w=a*w1+b*w2,寬度h=a*h1+b*h2,其中,a大于0且小于1,b大于0且小于1。優(yōu)選的,a和b均等于0.5。目標(biāo)分布參數(shù)的目標(biāo)位置,即目標(biāo)對(duì)象的中心點(diǎn)在當(dāng)前幀圖像中的坐標(biāo)O=a*O1+b*O2,其中,a大于0且小于1,b大于0且小于1。優(yōu)選的,a和b均等于0.5。
當(dāng)?shù)谝粎^(qū)域和第二區(qū)域的重疊率C不大于預(yù)設(shè)閾值時(shí),處理器120確定第一區(qū)域的第一相似度,以及第二區(qū)域的第二相似度。其中,第一區(qū)域的第一相似度為第一區(qū)域與模板區(qū)域的相似度,第二區(qū)域的第二相似度為第二區(qū)域與模板區(qū)域的相似度,該模板區(qū)域?yàn)樯弦粠瑘D像區(qū)域。比如,第二區(qū)域的相似度可以采用如下公式來計(jì)算:
其中,Sim為第二區(qū)域的相似度,f1i為第二區(qū)域中第i個(gè)像素的像素值,f2i為模板區(qū)域中第i個(gè)像素的像素值,M為每一列像素的個(gè)數(shù),N為每一行像素的個(gè)數(shù)。
6)處理器120根據(jù)目標(biāo)分布參數(shù)生成提示命令,再將提示命令發(fā)送至移動(dòng)臺(tái)130的控制器,控制器根據(jù)該提示命令控制移動(dòng)本體移動(dòng)至目標(biāo)位置。示例的,如圖6所示,處理器根據(jù)目標(biāo)分布參數(shù)得到R的腰部區(qū)域在世界坐標(biāo)系中的坐標(biāo)為(x,y),處理器向控制器發(fā)送提示命令,該提示命令包括:坐標(biāo)(x,y-d),控制器根據(jù)該提示命令控制移動(dòng)本體移動(dòng)至坐標(biāo)(x,y-d)所對(duì)應(yīng)的位置。其中,d為移動(dòng)臺(tái)與R的腰部區(qū)域的跟蹤距離,d的大小可以根據(jù)實(shí)際應(yīng)用來確定,本實(shí)用新型實(shí)施例對(duì)此不作限定。圖6中的圓圈表示R的腰部區(qū)域的位置,五角星表示移動(dòng)臺(tái)需要移動(dòng)到的目標(biāo)位置。該過程需要完成圖像坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換,具體的,可以對(duì)圖像坐標(biāo)系與第一傳感器坐標(biāo)系進(jìn)行聯(lián)合標(biāo)定,完成圖像坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換。其中,第一傳感器坐標(biāo)系的原點(diǎn)與世界坐標(biāo)系的原點(diǎn)重合。
需要補(bǔ)充說明的是,參見圖3,當(dāng)處理器120未接收到R的腰部區(qū)域的圖像數(shù)據(jù),且接收到環(huán)境數(shù)據(jù)時(shí),處理器120可以將第一分布參數(shù)作為目標(biāo)分布參數(shù),再根據(jù)該目標(biāo)分布參數(shù)生成提示命令,再將提示命令發(fā)送至移動(dòng)臺(tái)130;當(dāng)處理器120接收到R的腰部區(qū)域的圖像數(shù)據(jù),且未接收到環(huán)境數(shù)據(jù)時(shí),處理器120可以將第二分布參數(shù)作為目標(biāo)分布參數(shù),再根據(jù)該目標(biāo)分布參數(shù)生成提示命令,再將提示命令發(fā)送至移動(dòng)臺(tái)130。這樣一來,提高了目標(biāo)跟蹤裝置的魯棒性,提高了跟蹤目標(biāo)對(duì)象的可靠性。
需要補(bǔ)充說明的是,本實(shí)用新型實(shí)施例提供的目標(biāo)跟蹤裝置包括用于采集環(huán)境數(shù)據(jù)的第一傳感器(如激光雷達(dá)傳感器),能夠?qū)崿F(xiàn)360度無盲點(diǎn)的檢測(cè)與跟蹤,即使目標(biāo)對(duì)象消失在目標(biāo)跟蹤裝置的視線范圍內(nèi),該目標(biāo)跟蹤裝置仍能夠基于環(huán)境數(shù)據(jù)跟蹤目標(biāo)對(duì)象。該目標(biāo)跟蹤裝置還融合了第二傳感器(如單目視覺傳感器),使得跟蹤結(jié)果更加精確,更加可靠,目標(biāo)跟蹤裝置的魯棒性更好。
綜上所述,本實(shí)用新型實(shí)施例提供的目標(biāo)跟蹤裝置,由于第一傳感器能夠?qū)⒉杉沫h(huán)境數(shù)據(jù)發(fā)送至處理器,處理器能夠根據(jù)環(huán)境數(shù)據(jù)生成提示命令,再將提示命令發(fā)送至移動(dòng)臺(tái),使得移動(dòng)臺(tái)移動(dòng)到目標(biāo)位置,相較于現(xiàn)有技術(shù),能夠?qū)崿F(xiàn)360度無盲點(diǎn)的檢測(cè)與跟蹤,實(shí)時(shí)跟蹤目標(biāo)對(duì)象,提高了目標(biāo)跟蹤裝置跟蹤目標(biāo)對(duì)象的效果。
以上所述僅為本實(shí)用新型的較佳實(shí)施例,并不用以限制本實(shí)用新型,凡在本實(shí)用新型的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本實(shí)用新型的保護(hù)范圍之內(nèi)。