一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)和控制電路的制作方法
【專利摘要】本實(shí)用新型涉及圖像處理【技術(shù)領(lǐng)域】，具體涉及的是一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)和控制電路。本實(shí)用新型提供的一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)和控制電路包括：前端采集單元、目標(biāo)識(shí)別單元和輸出單元及前端采集單元控制電路、目標(biāo)識(shí)別單元控制電路和輸出單元控制電路，能達(dá)到對(duì)目標(biāo)細(xì)節(jié)特征分析高精準(zhǔn)度的要求，提供了一種雙模態(tài)下目標(biāo)的高魯棒跟蹤方案，可同時(shí)采集并處理可見光與近紅外兩種模態(tài)的視頻，通過圖像質(zhì)量自評(píng)估控制雙模態(tài)下圖像采集參數(shù)的自適應(yīng)調(diào)整，自動(dòng)獲取目標(biāo)高質(zhì)量圖像，根據(jù)雙模態(tài)下目標(biāo)區(qū)域分割與雙模態(tài)融合識(shí)別的結(jié)果，在環(huán)境條件發(fā)生變化的前提下，仍具有較高的目標(biāo)跟蹤成功率和精準(zhǔn)度，從而提高目標(biāo)跟蹤的魯棒性。
【專利說明】一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)和控制電路

【技術(shù)領(lǐng)域】
[0001 ] 本實(shí)用新型涉及圖像處理【技術(shù)領(lǐng)域】，具體涉及的是一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)和控制電路。

【背景技術(shù)】
[0002]現(xiàn)有技術(shù)中，目標(biāo)視頻跟蹤是一種高速圖像處理技術(shù)，目前廣泛應(yīng)用于公共安全、工業(yè)檢測(cè)、智能交通、人機(jī)交互以及軍事等領(lǐng)域，并且在不同應(yīng)用領(lǐng)域中呈現(xiàn)出不同的技術(shù)特點(diǎn)。例如在公共安全領(lǐng)域，目標(biāo)視頻跟蹤大多呈現(xiàn)為針對(duì)人體目標(biāo)的可見光或近紅外視頻跟蹤，目的在于為后續(xù)對(duì)目標(biāo)體態(tài)特征或生物特征的辨識(shí)工作提供素材和線索，而獲取目標(biāo)的高質(zhì)量影像是此領(lǐng)域的一個(gè)重要的關(guān)注點(diǎn)。
[0003]在公共安全領(lǐng)域中，傳統(tǒng)的目標(biāo)跟蹤多以單相機(jī)在單一波段范圍內(nèi)包括可見光或近紅外成像的方式實(shí)現(xiàn)，此種單模態(tài)成像方式對(duì)視頻處理算法的魯棒性要求較高，目標(biāo)跟蹤的質(zhì)量不穩(wěn)定，并且成像系統(tǒng)對(duì)圖像質(zhì)量無自控能力，這使得有時(shí)獲取到的圖像因相機(jī)采集參數(shù)不適應(yīng)變化的光照環(huán)境而整體質(zhì)量不佳，或有時(shí)獲取到的目標(biāo)圖像因離焦而模糊，無法滿足后續(xù)特征辨識(shí)的要求。
實(shí)用新型內(nèi)容
[0004]為了克服現(xiàn)有技術(shù)中的缺陷，本實(shí)用新型提供一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)和控制電路，對(duì)目標(biāo)細(xì)節(jié)特征分析有高精準(zhǔn)度要求的應(yīng)用提供一種雙模態(tài)下目標(biāo)的高魯棒跟蹤方案，可同時(shí)采集并處理可見光與近紅外兩種模態(tài)下的視頻，采取雙反饋的方式進(jìn)行圖像亮度和清晰度的調(diào)整，可通過圖像質(zhì)量自評(píng)估控制雙模態(tài)下圖像采集參數(shù)的自適應(yīng)調(diào)整，以自動(dòng)獲取目標(biāo)高質(zhì)量圖像，再根據(jù)雙模態(tài)下目標(biāo)區(qū)域分割與雙模態(tài)融合識(shí)別的結(jié)果，達(dá)到在環(huán)境條件發(fā)生變化的前提下，仍具有較高的目標(biāo)跟蹤成功率和精準(zhǔn)度，從而提高目標(biāo)跟蹤的魯棒性。
[0005]本實(shí)用新型是通過如下技術(shù)方案實(shí)現(xiàn)的:本實(shí)用新型提供了一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)，包括，對(duì)攝像機(jī)進(jìn)行圖像采集處理的前端采集單元，對(duì)所述前端采集單元采集到的圖像進(jìn)行分割識(shí)別處理的目標(biāo)識(shí)別單元，對(duì)所述目標(biāo)識(shí)別單元的運(yùn)算結(jié)果進(jìn)行自校準(zhǔn)并輸出結(jié)果的輸出單元，，所述前端采集單元，包括和雙模采集協(xié)調(diào)控制模塊連接的近紅外圖像采集系統(tǒng)和可見光圖像采集系統(tǒng)；所述近紅外圖像采集系統(tǒng)，包括按照設(shè)定信號(hào)傳輸順序連接的近紅外攝像機(jī)、第一圖像實(shí)時(shí)采集模塊、第一圖像亮度評(píng)估模塊和第一圖像清晰度評(píng)估模塊，所述第一圖像亮度評(píng)估模塊和所述近紅外攝像機(jī)之間有反饋連接，所述第一圖像清晰度評(píng)估模塊和所述雙模采集協(xié)調(diào)控制模塊的第一反饋接口之間有反饋連接，所述雙模采集協(xié)調(diào)控制模塊和第一圖像自動(dòng)聚焦控制模塊連接，所述第一圖像自動(dòng)聚焦控制模塊和所述近紅外攝像機(jī)的第一鏡頭焦距驅(qū)動(dòng)裝置連接；所述可見光圖像采集系統(tǒng)，包括按照設(shè)定信號(hào)傳輸順序連接的可見光攝像機(jī)、第二圖像實(shí)時(shí)采集模塊、第二圖像亮度評(píng)估模塊和第二圖像清晰度評(píng)估模塊，所述第二圖像亮度評(píng)估模塊和所述可見光攝像機(jī)之間有反饋連接，所述第二圖像清晰度評(píng)估模塊和所述雙模采集協(xié)調(diào)控制模塊的第二反饋接口之間有反饋連接，所述雙模采集協(xié)調(diào)控制模塊和第二圖像自動(dòng)聚焦控制模塊連接，所述第二圖像自動(dòng)聚焦控制模塊和所述可見光攝像機(jī)上的第二鏡頭焦距驅(qū)動(dòng)裝置連接；所述目標(biāo)識(shí)別單元，包括和所述第一圖像清晰度評(píng)估模塊按照設(shè)定順序連接的第一圖像分割處理模塊和第一圖像識(shí)別處理模塊；還包括和所述第二圖像清晰度評(píng)估模塊順序連接的第二圖像分割處理模塊和第二圖像識(shí)別處理模塊；所述輸出單元，包括分別和目標(biāo)識(shí)別結(jié)果自校準(zhǔn)模塊進(jìn)行信號(hào)傳輸?shù)牡谝唤Y(jié)果輸出模塊和第二結(jié)果輸出模塊；所述目標(biāo)識(shí)別結(jié)果自校準(zhǔn)模塊與第一目標(biāo)識(shí)別處理模塊進(jìn)行第一校準(zhǔn)反饋和第二目標(biāo)識(shí)別處理模塊進(jìn)行第二校準(zhǔn)反饋；所述第一目標(biāo)識(shí)別處理模塊與所述目標(biāo)識(shí)別結(jié)果自校準(zhǔn)模塊連接；所述第二目標(biāo)識(shí)別處理模塊與所述識(shí)別結(jié)果自校準(zhǔn)模塊連接。
[0006]進(jìn)一步的，所述可見光攝像機(jī)上的第二鏡頭的焦距驅(qū)動(dòng)裝置和所述近紅外攝像機(jī)上的第一鏡頭的焦距驅(qū)動(dòng)裝置為電機(jī)驅(qū)動(dòng)。
[0007]進(jìn)一步的，本實(shí)用新型還提供了一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)的控制電路，包括按順序串聯(lián)的前端采集單元控制電路、目標(biāo)識(shí)別單元控制電路和輸出單元控制電路，其特征在于，所述前端采集單元控制電路，包括，和近紅外攝像機(jī)串聯(lián)連接的第一接口，所述第一接口分別和第一低壓差分信號(hào)接收器、第一攝像機(jī)控制發(fā)送器和第一串口控制收發(fā)器連接，所述第一低壓差分信號(hào)接收器、所述第一攝像機(jī)控制發(fā)送器和所述第一串口控制收發(fā)器并聯(lián)后與現(xiàn)場(chǎng)可編程程門陣列連接；和可見光攝像電路串聯(lián)連接的第二接口，所述第二接口分別和第二低壓差分信號(hào)接收器、第二攝像機(jī)控制發(fā)送器(和第二串口控制收發(fā)器連接，所述第二低壓差分信號(hào)接收器、所述第二攝像機(jī)控制發(fā)送器和所述第二串口控制收發(fā)器并聯(lián)后與所述現(xiàn)場(chǎng)可編程程門陣列連接；所述現(xiàn)場(chǎng)可編程程門陣列分別和電平轉(zhuǎn)換電路、驅(qū)動(dòng)電路、視頻數(shù)模轉(zhuǎn)換芯片、串行配置芯片、開關(guān)輸入與指示燈電路、第一數(shù)據(jù)采集存儲(chǔ)器和第二數(shù)據(jù)采集存儲(chǔ)器信號(hào)傳輸，所述電平轉(zhuǎn)換電路和串行通訊接口串聯(lián)連接，所述驅(qū)動(dòng)電路和鏡頭電機(jī)接口串聯(lián)連接后再分別與第一鏡頭電路和第二鏡頭電路連接，所述視頻數(shù)模轉(zhuǎn)換芯片和視頻接口串聯(lián)連接，所述現(xiàn)場(chǎng)可編程程門陣列和第一 JTAG接口雙向信號(hào)傳輸；所述目標(biāo)識(shí)別單元控制電路包括，和所述現(xiàn)場(chǎng)可編程程門陣列連接的第一數(shù)字信號(hào)處理器和第二數(shù)字信號(hào)處理器，所述第一數(shù)字信號(hào)處理器分別和第一 FLASH存儲(chǔ)器、第一數(shù)據(jù)處理存儲(chǔ)器和第一以太網(wǎng)物理層收發(fā)器連接，所述第二數(shù)字信號(hào)處理器分別和第二 FLASH存儲(chǔ)器、第二數(shù)據(jù)處理存儲(chǔ)器和第二以太網(wǎng)物理層收發(fā)器連接，所述第一數(shù)字信號(hào)處理器和所述第二數(shù)字信號(hào)處理器與第二 JTAG接口雙向信號(hào)傳輸；所述輸出單元控制電路，包括，和所述第一以太網(wǎng)物理層收發(fā)器串聯(lián)連接的第一以太網(wǎng)接口 ；和所述第二以太網(wǎng)物理層收發(fā)器串聯(lián)連接的第二以太網(wǎng)接口。
[0008]與現(xiàn)有技術(shù)相比，優(yōu)越效果在于:本實(shí)用新型具有雙模雙反饋態(tài)信息并行處理、自適應(yīng)采集協(xié)調(diào)控制、識(shí)別過程融合決策、跟蹤結(jié)果同步輸出的特點(diǎn)，具有更高的目標(biāo)跟蹤魯棒性。

【專利附圖】

【附圖說明】
[0009]圖1是本實(shí)用新型一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)模塊圖；
[0010]圖2是本實(shí)用新型一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)的控制電路圖。
[0011]附圖標(biāo)記如下:
[0012]100-前端采集單元，200-目標(biāo)識(shí)別單元，300-輸出單元，400- (FPGA)現(xiàn)場(chǎng)可編程門陣列，500-第一(DSP)數(shù)字信號(hào)處理器，600-第二(DSP)數(shù)字信號(hào)處理器，700-(DSP-JTAG)第二 JTAG接口 ； 111-第一鏡頭，112-近紅外攝像機(jī)，116-第一反饋接口 ；121-第二鏡頭，122-可見光攝像機(jī)，126-第二反饋接口 ；411_第一(CameraLink)接口，412-第一(LVDS)低壓差分信號(hào)接收器,413-第一攝像機(jī)控制發(fā)送器,414-第一串口控制收發(fā)器；421-第二(CameraLink)接口，422-第二(LVDS)低壓差分信號(hào)接收器，423-第二攝像機(jī)控制發(fā)送器，424-第二串口控制收發(fā)器；431-(LED & SWT)開關(guān)輸入與指示燈電路，432-第一數(shù)據(jù)采集存儲(chǔ)器，433-第二數(shù)據(jù)采集存儲(chǔ)器，434-電平轉(zhuǎn)換電路，435- (RS232)串行通訊接口，436-驅(qū)動(dòng)電路，437-鏡頭電機(jī)接口，438-(Video DA)視頻數(shù)模轉(zhuǎn)換芯片，439-(VGA)視頻接口，440-(EPCS)串行配置芯片，441_(FPGA_JTAG)第一 JTAG 接口 ；501_ 第一數(shù)據(jù)處理存儲(chǔ)器，502-第一 FLASH存儲(chǔ)器，503-第一(PHY)以太網(wǎng)物理層收發(fā)器，504-第一 (ENET)以太網(wǎng)接口 ；601_第二數(shù)據(jù)處理存儲(chǔ)器，602-第二 FLASH存儲(chǔ)器，603第二(PHY)以太網(wǎng)物理層收發(fā)器，604-第二(ENET)以太網(wǎng)接口。
[0013]圖中箭頭方向?yàn)樾盘?hào)傳輸方向。

【具體實(shí)施方式】
[0014]下面結(jié)合說明書附圖對(duì)本實(shí)用新型【具體實(shí)施方式】作進(jìn)一步詳細(xì)說明。
[0015]實(shí)施例1
[0016]如說明書附圖1和圖2，具體說明本實(shí)用新型，本實(shí)用新型提供了一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)，包括，對(duì)攝像機(jī)進(jìn)行圖像采集處理的前端采集單元100，對(duì)所述前端采集單元100采集到的圖像進(jìn)行分割識(shí)別處理的目標(biāo)識(shí)別單元200，對(duì)所述目標(biāo)識(shí)別單元200的運(yùn)算結(jié)果進(jìn)行自校準(zhǔn)并輸出結(jié)果的輸出單元300，所述前端采集單元100，包括和雙模采集協(xié)調(diào)控制模塊連接的近紅外圖像采集系統(tǒng)和可見光圖像采集系統(tǒng)；所述近紅外圖像采集系統(tǒng)，包括按照設(shè)定信號(hào)傳輸順序連接的近紅外攝像機(jī)、第一圖像實(shí)時(shí)采集模塊、第一圖像亮度評(píng)估模塊和第一圖像清晰度評(píng)估模塊，所述第一圖像亮度評(píng)估模塊和所述近紅外攝像機(jī)之間有反饋連接，所述第一圖像清晰度評(píng)估模塊和所述雙模采集協(xié)調(diào)控制模塊的第一反饋接口之間有反饋連接，所述雙模采集協(xié)調(diào)控制模塊和所述第一圖像自動(dòng)聚焦控制模塊連接，所述第一圖像自動(dòng)聚焦控制模塊和所述近紅外攝像機(jī)的第一鏡頭焦距驅(qū)動(dòng)裝置連接；所述可見光圖像采集系統(tǒng)，包括按照設(shè)定信號(hào)傳輸順序連接的可見光攝像機(jī)、第二圖像實(shí)時(shí)采集模塊、第二圖像亮度評(píng)估模塊和第二圖像清晰度評(píng)估模塊，所述第二圖像亮度評(píng)估模塊和所述可見光攝像機(jī)之間有反饋連接，所述第二圖像清晰度評(píng)估模塊和所述雙模采集協(xié)調(diào)控制模塊的第二反饋接口之間有反饋連接，所述雙模采集協(xié)調(diào)控制模塊和所述第二圖像自動(dòng)聚焦控制模塊連接，所述第二圖像自動(dòng)聚焦控制模塊和所述可見光攝像機(jī)上的第二鏡頭焦距驅(qū)動(dòng)裝置連接；所述目標(biāo)識(shí)別單元200，包括和所述第一圖像清晰度評(píng)估模塊按照設(shè)定順序連接的第一圖像分割處理模塊和第一圖像識(shí)別處理模塊；還包括和所述第二圖像清晰度評(píng)估模塊順序連接的第二圖像分割處理模塊和第二圖像識(shí)別處理模塊；所述輸出單元300，包括分別和目標(biāo)識(shí)別結(jié)果自校準(zhǔn)模塊進(jìn)行信號(hào)傳輸?shù)牡谝唤Y(jié)果輸出模塊和第二結(jié)果輸出模塊；所述目標(biāo)識(shí)別結(jié)果自校準(zhǔn)模塊與第一目標(biāo)識(shí)別處理模塊進(jìn)行第一校準(zhǔn)反饋和第二目標(biāo)識(shí)別處理模塊進(jìn)行第二校準(zhǔn)反饋；所述第一目標(biāo)識(shí)別處理模塊與所述目標(biāo)識(shí)別結(jié)果自校準(zhǔn)模塊連接；所述第二目標(biāo)識(shí)別處理模塊與所述識(shí)別結(jié)果自校準(zhǔn)模塊連接，所述可見光攝像機(jī)上的第二鏡頭的焦距驅(qū)動(dòng)裝置和所述近紅外攝像機(jī)上的第一鏡頭的焦距驅(qū)動(dòng)裝置為電機(jī)驅(qū)動(dòng)。
[0017]本實(shí)施例還提供了一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)的控制電路，包括按順序串聯(lián)的前端采集單元控制電路、目標(biāo)識(shí)別單元控制電路和輸出單元控制電路，所述前端采集單元控制電路，包括，和近紅外攝像機(jī)112串聯(lián)連接的第一(CameraLink)接口 411,所述第一(CameraLink)接口 411分別和第一(LVDS)低壓差分信號(hào)接收器412、第一攝像機(jī)控制發(fā)送器413和第一串口控制收發(fā)器414連接，第一(LVDS)低壓差分信號(hào)接收器412、第一攝像機(jī)控制發(fā)送器413和第一串口控制收發(fā)器414并聯(lián)后與(FPGA)現(xiàn)場(chǎng)可編程程門陣列400連接；和可見光攝像機(jī)122電路串聯(lián)連接的第二(CameraLink)接口 421，所述第二(CameraLink)接口 421分別和第二(LVDS)低壓差分信號(hào)接收器422、第二攝像機(jī)控制發(fā)送器423和第二串口控制收發(fā)器424連接，第二(LVDS)低壓差分信號(hào)接收器422、第二攝像機(jī)控制發(fā)送器423和第一串口控制收發(fā)器424并聯(lián)后與(FPGA)現(xiàn)場(chǎng)可編程程門陣列400連接；所述(FPGA)現(xiàn)場(chǎng)可編程程門陣列400分別和電平轉(zhuǎn)換電路434、驅(qū)動(dòng)電路436、(VideoDA)視頻數(shù)模轉(zhuǎn)換芯片438、(EPCS)串行配置芯片440、(LED & SffT)開關(guān)輸入與指示燈電路431、第一數(shù)據(jù)采集存儲(chǔ)器432和第二數(shù)據(jù)采集存儲(chǔ)器433連接，所述電平轉(zhuǎn)換電路434和(RS232)串行通訊接口 435串聯(lián)連接，所述驅(qū)動(dòng)電路436和鏡頭電機(jī)接口 437串聯(lián)連接后再分別與第一鏡頭電路和第二鏡頭電路連接，所述(Video DA)視頻數(shù)模轉(zhuǎn)換芯片438和(VGA)視頻接口 439串聯(lián)連接，所述(FPGA)現(xiàn)場(chǎng)可編程程門陣列400和第一 JTAG接口 441串聯(lián)連接；所述目標(biāo)識(shí)別單元控制電路包括，和所述(FPGA)現(xiàn)場(chǎng)可編程程門陣列400連接的第一(DSP)數(shù)字信號(hào)處理器500和第二(DSP)數(shù)字信號(hào)處理器600，所述第一(DSP)數(shù)字信號(hào)處理器500分別和第一 FLASH存儲(chǔ)器502、第一數(shù)據(jù)處理存儲(chǔ)器501和第一(PHY)以太網(wǎng)物理層收發(fā)器503連接，所述第二(DSP)數(shù)字信號(hào)處理器600分別和第二 FLASH存儲(chǔ)器602、第二數(shù)據(jù)處理存儲(chǔ)器601和第二(PHY)以太網(wǎng)物理層收發(fā)器603連接，所述第一(DSP)數(shù)字信號(hào)處理器500和第二(DSP)數(shù)字信號(hào)處理器600與第二 JTAG接口 700串聯(lián)連接；所述輸出單元控制電路，包括，和所述第一(PHY)以太網(wǎng)物理層收發(fā)器503串聯(lián)連接的第一(ENET)以太網(wǎng)接口 504 ;和所述第二(PHY)以太網(wǎng)物理層收發(fā)器603串聯(lián)連接的第二(ENET)以太網(wǎng)接口 604。本實(shí)用新型提供的一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤的方法，包括:前端采集步驟、目標(biāo)識(shí)別步驟和結(jié)果輸出步驟，所述前端采集步驟，包括同時(shí)使用可見光攝像機(jī)和近紅外攝像機(jī)分別獲取當(dāng)時(shí)場(chǎng)景的可見光模態(tài)圖像的步驟和近紅外模態(tài)圖像的步驟，并分別對(duì)兩個(gè)模態(tài)圖像的總體亮度與清晰度進(jìn)行自按照設(shè)定標(biāo)準(zhǔn)值參數(shù)評(píng)估的步驟，然后根據(jù)自評(píng)估結(jié)果分別進(jìn)行的反饋和控制調(diào)整相應(yīng)采集參數(shù)的步驟；所述目標(biāo)識(shí)別步驟，包括在亮度與清晰度指標(biāo)均合格的兩個(gè)模態(tài)的圖像上分別進(jìn)行區(qū)域分割的步驟，再根據(jù)兩個(gè)模態(tài)的視場(chǎng)差異進(jìn)行雙模態(tài)圖像內(nèi)容關(guān)聯(lián)并識(shí)別同一目標(biāo)步驟；所述結(jié)果輸出步驟，包括識(shí)別出的目標(biāo)位置坐標(biāo)或輸出目標(biāo)在雙模態(tài)下剪裁出清晰圖像的步驟，所述前端采集步驟，還包括，第一圖像實(shí)時(shí)采集步驟，還包括用于對(duì)近紅外攝像機(jī)的幀捕捉，實(shí)時(shí)獲取近紅外模態(tài)圖像，并將圖像送入第一圖像亮度按照設(shè)定標(biāo)準(zhǔn)值評(píng)估步驟；所述第一圖像亮度評(píng)估步驟，用于對(duì)近紅外模態(tài)圖像進(jìn)行整體亮度評(píng)估，如果亮度達(dá)到設(shè)定標(biāo)準(zhǔn)值，即合格，送入第一圖像清晰度評(píng)估步驟，如果亮度未達(dá)到設(shè)定標(biāo)準(zhǔn)值，即不合格，則通過第一采集反饋I調(diào)節(jié)近紅外攝像機(jī)的曝光參數(shù)，直至亮度合格；第一圖像清晰度按照設(shè)定標(biāo)準(zhǔn)值評(píng)估步驟，用于對(duì)近紅外模態(tài)圖像進(jìn)行清晰度評(píng)估，如果清晰度達(dá)到設(shè)定標(biāo)準(zhǔn)值，即合格，送入第一圖像分割處理步驟，如果清晰度過低，未達(dá)到設(shè)定標(biāo)準(zhǔn)值，即不合格，則通過第一采集反饋II經(jīng)過第一反饋接口送入雙模采集協(xié)調(diào)控制步驟，進(jìn)行清晰度調(diào)整，并通過第一圖像自動(dòng)聚焦控制模塊調(diào)整近紅外攝像機(jī)的第一鏡頭參數(shù)，直至清晰度達(dá)到設(shè)定的標(biāo)準(zhǔn)值；第二圖像實(shí)時(shí)采集步驟，用于對(duì)可見光攝像機(jī)的幀捕捉，實(shí)時(shí)獲取可見光模態(tài)圖像，并將圖像送入第二圖像亮度按照設(shè)定標(biāo)準(zhǔn)值評(píng)估評(píng)估步驟；所述第二圖像亮度評(píng)估步驟，還包括用于對(duì)可見光模態(tài)圖像進(jìn)行整體亮度評(píng)估，如果亮度達(dá)到設(shè)定標(biāo)準(zhǔn)值，即合格，送入第二圖像清晰度評(píng)估步驟，如果亮度過高或過低，未達(dá)到設(shè)定的標(biāo)準(zhǔn)值，即不合格，則通過第二采集反饋I調(diào)節(jié)可見光攝像機(jī)的曝光參數(shù)，直至亮度合格；所述第二圖像清晰度評(píng)估按照設(shè)定標(biāo)準(zhǔn)值評(píng)估步驟，用于對(duì)可見光模態(tài)圖像進(jìn)行清晰度評(píng)估，如果清晰度達(dá)到設(shè)定標(biāo)準(zhǔn)值，即合格，送入第二圖像分割處理步驟，如果清晰度過低，未達(dá)到設(shè)定標(biāo)準(zhǔn)值即不合格，則通過第二采集反饋II經(jīng)過第二反饋接口送入雙模采集協(xié)調(diào)控制步驟，進(jìn)行清晰度調(diào)整，并通過第二圖像自動(dòng)聚焦控制模塊調(diào)整可見光攝像機(jī)上第二鏡頭參數(shù)，直至達(dá)到設(shè)定標(biāo)準(zhǔn)值，清晰度合格；所述雙模采集協(xié)調(diào)控制步驟，用于根據(jù)近紅外和可見光兩個(gè)模態(tài)圖像的清晰度調(diào)節(jié)反饋輸入量，按照設(shè)定的仲裁方案對(duì)兩個(gè)模態(tài)的鏡頭進(jìn)行協(xié)調(diào)控制，分別向所述第一圖像自動(dòng)對(duì)焦控制模塊與第二圖像自動(dòng)對(duì)焦控制模塊發(fā)送控制信息，以調(diào)整所述第一鏡頭與所述第二鏡頭的參數(shù)；所述第一圖像自動(dòng)聚焦控制模塊，用于根據(jù)雙模采集協(xié)調(diào)控制步驟所給出的控制信息，控制所述近紅外鏡頭的電機(jī)調(diào)節(jié)第一鏡頭后焦距；所述第二圖像自動(dòng)聚焦控制步驟，用于根據(jù)雙模采集協(xié)調(diào)控制步驟所給出的控制信息，控制所述可見光鏡頭的電機(jī)調(diào)節(jié)第二鏡頭后焦距，所述目標(biāo)識(shí)別步驟還包括，第一圖像分割處理步驟和第一目標(biāo)識(shí)別處理步驟、第二圖像分割處理步驟和第二目標(biāo)識(shí)別處理步驟，所述第一圖像分割處理步驟中對(duì)近紅外模態(tài)圖像進(jìn)行圖像分割處理，確定出一個(gè)或多個(gè)目標(biāo)分割候選區(qū)域；所述第一目標(biāo)識(shí)別處理步驟中對(duì)經(jīng)過第一圖像分割處理后得到的近紅外模態(tài)圖像進(jìn)行目標(biāo)識(shí)別，確定備選跟蹤結(jié)果傳送至目標(biāo)識(shí)別結(jié)果自校準(zhǔn)步驟；所述第二圖像分割處理步驟中對(duì)可見光模態(tài)圖像進(jìn)行圖像分割處理，確定出一個(gè)或多個(gè)目標(biāo)分割候選區(qū)域；所述第二目標(biāo)識(shí)別處理步驟，對(duì)經(jīng)過第二圖像分割處理后得到的可見光模態(tài)圖像進(jìn)行目標(biāo)識(shí)別，確定備選跟蹤結(jié)果傳送至目標(biāo)識(shí)別結(jié)果自校準(zhǔn)步驟，所述識(shí)別結(jié)果輸出步驟，還包括:目標(biāo)識(shí)別結(jié)果自校準(zhǔn)步驟、第一結(jié)果輸出步驟和第二結(jié)果輸出步驟，所述目標(biāo)識(shí)別結(jié)果自校準(zhǔn)步驟中利用雙模態(tài)信息融合策略對(duì)所述第一目標(biāo)識(shí)別處理步驟中與第二目標(biāo)識(shí)別處理步驟傳入的備選目標(biāo)區(qū)域進(jìn)行空間匹配計(jì)算，若計(jì)算值滿足既定閾值條件即為自校準(zhǔn)成功，會(huì)將雙模態(tài)下的目標(biāo)位置信息分別傳送至所述第一結(jié)果輸出步驟與所述第二結(jié)果輸出步驟；若計(jì)算值不滿足既定閾值條件即為自校準(zhǔn)不成功，則通過第一校準(zhǔn)反饋將所述第二目標(biāo)識(shí)別處理步驟中傳入的備選目標(biāo)區(qū)域信息傳送至所述第一目標(biāo)識(shí)別處理步驟，同時(shí)通過第二校準(zhǔn)反饋步驟將所述第一目標(biāo)識(shí)別處理步驟中傳入的備選目標(biāo)區(qū)域信息傳送至所述第二目標(biāo)識(shí)別處理步驟中，使兩個(gè)目標(biāo)識(shí)別處理結(jié)果在分別參考對(duì)方信息的基礎(chǔ)上更新目標(biāo)識(shí)別結(jié)果，并進(jìn)行新一輪自校準(zhǔn)；所述第一結(jié)果輸出步驟，包括對(duì)外輸出剪裁后目標(biāo)的近紅外模態(tài)圖像或目標(biāo)的位置坐標(biāo)；所述第二結(jié)果輸出步驟，包括對(duì)外輸出剪裁后目標(biāo)的可見光模態(tài)圖像或目標(biāo)的位置坐標(biāo)。本實(shí)用新型能達(dá)到對(duì)目標(biāo)細(xì)節(jié)特征分析高精準(zhǔn)度的要求，提供了一種雙模態(tài)下目標(biāo)的高魯棒跟蹤方案，可同時(shí)采集并處理可見光與近紅外兩種模態(tài)的視頻，通過圖像質(zhì)量自評(píng)估控制雙模態(tài)下圖像采集參數(shù)的自適應(yīng)調(diào)整，自動(dòng)獲取目標(biāo)高質(zhì)量圖像，根據(jù)雙模態(tài)下目標(biāo)區(qū)域分割與雙模態(tài)融合識(shí)別的結(jié)果，在環(huán)境條件發(fā)生變化的前提下，仍具有較高的目標(biāo)跟蹤成功率和精準(zhǔn)度，從而提高目標(biāo)跟蹤的魯棒性。
[0018]本實(shí)用新型并不限于上述實(shí)施方式，在不背離本實(shí)用新型的實(shí)質(zhì)內(nèi)容的情況下，本領(lǐng)域技術(shù)人員可以想到的任何變形、改進(jìn)、替換均落入本實(shí)用新型的范圍。
【權(quán)利要求】
1.一種雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)，包括，對(duì)攝像機(jī)進(jìn)行圖像采集處理的前端采集單元(100)，對(duì)所述前端采集單元(100)采集到的圖像進(jìn)行分割識(shí)別處理的目標(biāo)識(shí)別單元(200)，對(duì)所述目標(biāo)識(shí)別單元(200)的運(yùn)算結(jié)果進(jìn)行自校準(zhǔn)并輸出結(jié)果的輸出單元(300)，其特征在于，所述前端采集單元(100)，包括和雙模采集協(xié)調(diào)控制模塊連接的近紅外圖像采集系統(tǒng)和可見光圖像采集系統(tǒng)； 所述近紅外圖像采集系統(tǒng)，包括按照設(shè)定信號(hào)傳輸順序連接的近紅外攝像機(jī)、第一圖像實(shí)時(shí)采集模塊、第一圖像亮度評(píng)估模塊和第一圖像清晰度評(píng)估模塊，所述第一圖像亮度評(píng)估模塊和所述近紅外攝像機(jī)之間有反饋連接，所述第一圖像清晰度評(píng)估模塊和所述雙模采集協(xié)調(diào)控制模塊的第一反饋接口之間有反饋連接，所述雙模采集協(xié)調(diào)控制模塊和第一圖像自動(dòng)聚焦控制模塊連接，所述第一圖像自動(dòng)聚焦控制模塊和所述近紅外攝像機(jī)的第一鏡頭焦距驅(qū)動(dòng)裝置連接； 所述可見光圖像采集系統(tǒng)，包括按照設(shè)定信號(hào)傳輸順序連接的可見光攝像機(jī)、第二圖像實(shí)時(shí)采集模塊、第二圖像亮度評(píng)估模塊和第二圖像清晰度評(píng)估模塊，所述第二圖像亮度評(píng)估模塊和所述可見光攝像機(jī)之間有反饋連接，所述第二圖像清晰度評(píng)估模塊和所述雙模采集協(xié)調(diào)控制模塊的第二反饋接口之間有反饋連接，所述雙模采集協(xié)調(diào)控制模塊和第二圖像自動(dòng)聚焦控制模塊連接，所述第二圖像自動(dòng)聚焦控制模塊和所述可見光攝像機(jī)上的第二鏡頭焦距驅(qū)動(dòng)裝置連接； 所述目標(biāo)識(shí)別單元(200)，包括和所述第一圖像清晰度評(píng)估模塊按照設(shè)定順序連接的第一圖像分割處理模塊和第一圖像識(shí)別處理模塊；還包括和所述第二圖像清晰度評(píng)估模塊順序連接的第二圖像分割處理模塊和第二圖像識(shí)別處理模塊； 所述輸出單元(300)，包括分別和目標(biāo)識(shí)別結(jié)果自校準(zhǔn)模塊進(jìn)行信號(hào)傳輸?shù)牡谝唤Y(jié)果輸出模塊和第二結(jié)果輸出模塊；所述目標(biāo)識(shí)別結(jié)果自校準(zhǔn)模塊與第一目標(biāo)識(shí)別處理模塊進(jìn)行第一校準(zhǔn)反饋和第二目標(biāo)識(shí)別處理模塊進(jìn)行第二校準(zhǔn)反饋；所述第一目標(biāo)識(shí)別處理模塊與所述目標(biāo)識(shí)別結(jié)果自校準(zhǔn)模塊連接；所述第二目標(biāo)識(shí)別處理模塊與所述識(shí)別結(jié)果自校準(zhǔn)模塊連接。
2.根據(jù)權(quán)利要求1所述雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)，其特征在于，所述可見光攝像機(jī)上的第二鏡頭的焦距驅(qū)動(dòng)裝置和所述近紅外攝像機(jī)上的第一鏡頭的焦距驅(qū)動(dòng)裝置為電機(jī)驅(qū)動(dòng)。
3.一種根據(jù)權(quán)利要求1所述雙模雙反饋?zhàn)赃m應(yīng)目標(biāo)跟蹤系統(tǒng)的控制電路，包括按順序串聯(lián)的前端采集單元控制電路、目標(biāo)識(shí)別單元控制電路和輸出單元控制電路，其特征在于，所述前端采集單元控制電路，包括， 和近紅外攝像機(jī)(112)串聯(lián)連接的第一接口(411)，所述第一接口(411)分別和第一低壓差分信號(hào)接收器(412)、第一攝像機(jī)控制發(fā)送器(413)和第一串口控制收發(fā)器(414)連接，所述第一低壓差分信號(hào)接收器(412)、所述第一攝像機(jī)控制發(fā)送器(413)和所述第一串口控制收發(fā)器(414)并聯(lián)后與現(xiàn)場(chǎng)可編程程門陣列(400)連接； 和可見光攝像機(jī)(122)電路串聯(lián)連接的第二接口(421)，所述第二接口(421)分別和第二低壓差分信號(hào)接收器(422)、第二攝像機(jī)控制發(fā)送器(423)和第二串口控制收發(fā)器(424)連接，所述第二低壓差分信號(hào)接收器(422)、所述第二攝像機(jī)控制發(fā)送器(423)和所述第二串口控制收發(fā)器(424)并聯(lián)后與所述現(xiàn)場(chǎng)可編程程門陣列(400)連接； 所述現(xiàn)場(chǎng)可編程程門陣列(400)分別和電平轉(zhuǎn)換電路(434)、驅(qū)動(dòng)電路(436)、視頻數(shù)模轉(zhuǎn)換芯片(438)、串行配置芯片(440)、開關(guān)輸入與指示燈電路(431)、第一數(shù)據(jù)采集存儲(chǔ)器(432)和第二數(shù)據(jù)采集存儲(chǔ)器(433)信號(hào)傳輸，所述電平轉(zhuǎn)換電路(434)和串行通訊接口(435)串聯(lián)連接，所述驅(qū)動(dòng)電路(436)和鏡頭電機(jī)接口(437)串聯(lián)連接后再分別與第一鏡頭電路和第二鏡頭電路連接，所述視頻數(shù)模轉(zhuǎn)換芯片(438)和視頻接口(439)串聯(lián)連接，所述現(xiàn)場(chǎng)可編程程門陣列(400)和第一 JTAG接口(441)雙向信號(hào)傳輸； 所述目標(biāo)識(shí)別單元控制電路包括， 和所述現(xiàn)場(chǎng)可編程程門陣列(400)連接的第一數(shù)字信號(hào)處理器(500)和第二數(shù)字信號(hào)處理器￠00)，所述第一數(shù)字信號(hào)處理器(500)分別和第一 FLASH存儲(chǔ)器(502)、第一數(shù)據(jù)處理存儲(chǔ)器(501)和第一以太網(wǎng)物理層收發(fā)器(503)連接，所述第二數(shù)字信號(hào)處理器(600)分別和第二 FLASH存儲(chǔ)器(602)、第二數(shù)據(jù)處理存儲(chǔ)器(601)和第二以太網(wǎng)物理層收發(fā)器(603)連接，所述第一數(shù)字信號(hào)處理器(500)和所述第二數(shù)字信號(hào)處理器(600)與第二 JTAG接口(700)雙向信號(hào)傳輸； 所述輸出單元控制電路，包括， 和所述第一以太網(wǎng)物理層收發(fā)器(503)串聯(lián)連接的第一以太網(wǎng)接口(504)； 和所述第二以太網(wǎng)物理層收發(fā)器￠03)串聯(lián)連接的第二以太網(wǎng)接口 ￠04)。
【文檔編號(hào)】H04N5/232GK204013883SQ201420379691
【公開日】2014年12月10日 申請(qǐng)日期:2014年7月10日 優(yōu)先權(quán)日:2014年7月10日
【發(fā)明者】李佩斌, 黃瑩, 趙譽(yù)婷, 茹一 申請(qǐng)人:公安部第一研究所, 北京中盾安民分析技術(shù)有限公司