專利名稱：基于仿生復(fù)眼的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種運(yùn)動(dòng)目標(biāo)檢測(cè)裝置及其方法，具體用于運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤。
背景技術(shù)：
運(yùn)動(dòng)目標(biāo)的測(cè)量和跟蹤是機(jī)器視覺研究領(lǐng)域的重要課題之一，也是近年備受研究者關(guān)注的前沿方向，在模式識(shí)別、智能監(jiān)控、導(dǎo)航制導(dǎo)等多個(gè)領(lǐng)域有科研和實(shí)際應(yīng)用價(jià)值。運(yùn)動(dòng)目標(biāo)的測(cè)量和跟蹤的主要內(nèi)容，是通過對(duì)一系列的包含運(yùn)動(dòng)目標(biāo)的圖像序列中檢測(cè)、識(shí)別、跟蹤運(yùn)動(dòng)目標(biāo)。
昆蟲復(fù)眼有兩個(gè)顯著特點(diǎn)1、昆蟲單眼小，視場(chǎng)也小，但數(shù)量眾多的單眼組成的復(fù)眼視場(chǎng)比人眼要開闊。有些昆蟲水平視野可達(dá)240°，垂直視野范圍可達(dá)360°，而人的視野范圍只有180°。2、昆蟲復(fù)眼對(duì)移動(dòng)的物體反應(yīng)十分敏感，如蜜蜂對(duì)突然出現(xiàn)的物體的反應(yīng)時(shí)間僅需要0.01s，而人眼需要0.05s。由此可見，昆蟲復(fù)眼在運(yùn)動(dòng)目標(biāo)測(cè)量跟蹤上有獨(dú)特的優(yōu)勢(shì)。
根據(jù)檢索的文獻(xiàn)，國內(nèi)外主要研究了復(fù)眼的生物學(xué)結(jié)構(gòu)，成像機(jī)理等，并利用光電傳感器、攝像機(jī)等光學(xué)器件和采集與處理信號(hào)的器件模擬實(shí)現(xiàn)復(fù)眼的視覺功能。各種仿生復(fù)眼成像系統(tǒng)為了實(shí)現(xiàn)各自的特定功能而設(shè)計(jì)。把復(fù)眼的大視場(chǎng)、高分辯率和對(duì)運(yùn)動(dòng)目標(biāo)敏感生理特點(diǎn)用于運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤方面的深入研究文獻(xiàn)還未見報(bào)道。

發(fā)明內(nèi)容
由于復(fù)眼具有視場(chǎng)大，相對(duì)于單目看到同樣視場(chǎng)情況下具有更高的分辨率，而且復(fù)眼對(duì)動(dòng)態(tài)目標(biāo)特別敏感，本發(fā)明的目的是受昆蟲復(fù)眼的這些生理特點(diǎn)啟發(fā)，研制一種基于復(fù)眼追蹤運(yùn)動(dòng)目標(biāo)的原理實(shí)現(xiàn)檢測(cè)精度高、準(zhǔn)確性強(qiáng)、視場(chǎng)寬、運(yùn)動(dòng)靈敏度高的仿生復(fù)眼運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng)。我們?yōu)榱藢?shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的三維運(yùn)動(dòng)(與成像系統(tǒng)平面成各種角度運(yùn)動(dòng))的快速測(cè)量與追蹤，根據(jù)昆蟲復(fù)眼的生理特點(diǎn)，設(shè)計(jì)研制了一個(gè)能夠?qū)崿F(xiàn)運(yùn)動(dòng)目標(biāo)的快速測(cè)量與跟蹤仿生復(fù)眼系統(tǒng)。
本發(fā)明是這樣實(shí)現(xiàn)的本發(fā)明根據(jù)蜻蜒復(fù)眼的最小結(jié)構(gòu)單元為正六邊形，所以該系統(tǒng)為七個(gè)攝像機(jī)按照復(fù)眼最小單元排列組成，用多個(gè)DSP同步處理視頻信號(hào)。它將多攝像機(jī)視頻圖像拼接成超大視場(chǎng)的高分辨率的全景圖，能夠快速檢測(cè)分割出運(yùn)動(dòng)目標(biāo)，測(cè)量出運(yùn)動(dòng)目標(biāo)的三維動(dòng)、靜態(tài)參數(shù)，控制云臺(tái)帶動(dòng)視覺系統(tǒng)轉(zhuǎn)動(dòng)跟蹤運(yùn)動(dòng)目標(biāo)。該系統(tǒng)之所以選用多個(gè)CCD攝像機(jī)代替光學(xué)復(fù)眼，是為了實(shí)現(xiàn)保證大視場(chǎng)的同時(shí)，可以實(shí)現(xiàn)高分辯論，而且各個(gè)攝像機(jī)小眼單元可以并行處理視頻，從而使該系統(tǒng)具有大視場(chǎng)、高分辯率、并行快速進(jìn)行目標(biāo)的動(dòng)、靜態(tài)參數(shù)的檢測(cè)與目標(biāo)跟蹤。
其裝置的具體組成是，外框由七個(gè)正六邊形框組成，以中間一個(gè)正六邊形框?yàn)橹行?，其余六個(gè)正六邊形框的一邊與中心框的一邊相重疊。其中，外框正面成弧面，七個(gè)CCD攝像機(jī)放置在每個(gè)正六邊形框架內(nèi)，整個(gè)外框與一根立桿相連，立桿通過支架固定在可以水平轉(zhuǎn)動(dòng)和垂直翻轉(zhuǎn)的云臺(tái)上，每個(gè)攝像機(jī)連接于DSP處理器構(gòu)成的檢測(cè)處理單元，攝像機(jī)如同昆蟲的小眼，實(shí)現(xiàn)視頻圖像的采集功能。裝置整體呈弧面，七個(gè)攝像機(jī)的圖像拼接成一個(gè)超大的全景圖，擴(kuò)大了整個(gè)裝置的視野范圍，同時(shí)保證具有很高的圖像分辨率。多個(gè)攝像機(jī)組成的大視場(chǎng)更易于發(fā)現(xiàn)目標(biāo)，既可以實(shí)現(xiàn)目標(biāo)的立體測(cè)量，也可以選擇成像效果更好的一路視頻圖像進(jìn)行處理，這樣測(cè)量結(jié)果更加精確；多個(gè)DSP處理器同步并行處理使得處理效率更高；通過控制云臺(tái)的水平、垂直方向的轉(zhuǎn)動(dòng)，可以控制整個(gè)外框的視覺系統(tǒng)部分做相應(yīng)的轉(zhuǎn)動(dòng)達(dá)到跟蹤運(yùn)動(dòng)目標(biāo)的目的。


圖1是基于仿生復(fù)眼的目標(biāo)檢測(cè)系統(tǒng)結(jié)構(gòu)示意圖。圖中標(biāo)號(hào)名稱1.攝像機(jī)，2.外框，3.立桿，4.云臺(tái)。
圖2是本發(fā)明的系統(tǒng)工作原理圖。
圖3為運(yùn)動(dòng)目標(biāo)分割算法流程圖。
具體實(shí)施例方式
圖1是基于仿生復(fù)眼的目標(biāo)檢測(cè)系統(tǒng)結(jié)構(gòu)示意圖，包括由七個(gè)正六邊形框組成，構(gòu)成弧面測(cè)量面，以中間一個(gè)正六邊形框?yàn)橹行?，其余六個(gè)正六邊形框的一邊與中心框的一邊相重疊，在每個(gè)正六邊形框架內(nèi)安置一個(gè)攝像機(jī)1，外框2與一根立桿3相連，立桿3固定在可以水平轉(zhuǎn)動(dòng)和垂直轉(zhuǎn)動(dòng)的云臺(tái)4上。本發(fā)明的檢測(cè)處理系統(tǒng)由七個(gè)DSP處理器各自連接一個(gè)攝像機(jī)1，構(gòu)成同步、并行協(xié)調(diào)處理系統(tǒng)。
本系統(tǒng)的主要功能包括目標(biāo)的檢測(cè)、動(dòng)靜態(tài)參數(shù)的測(cè)量、運(yùn)動(dòng)目標(biāo)跟蹤及全景圖的生成。整體工作原理如圖2所示。
1、運(yùn)動(dòng)目標(biāo)檢測(cè)，是利用分割算法從含有運(yùn)動(dòng)目標(biāo)的視頻圖像中，提取并識(shí)別運(yùn)動(dòng)目標(biāo)。首先，對(duì)視頻圖像進(jìn)行維納濾波預(yù)處理，計(jì)算幀差圖像的高階統(tǒng)計(jì)量(HOS)進(jìn)行閾值分割，得到幀差信息；綜合利用多幀信息得到背景信息；接著利用幀差和背景信息提取出運(yùn)動(dòng)目標(biāo)；最后對(duì)得到的運(yùn)動(dòng)目標(biāo)做形態(tài)學(xué)濾波操作去除噪聲、空洞和影子等，以得到更完整的運(yùn)動(dòng)目標(biāo)。
運(yùn)動(dòng)目標(biāo)分割算法主要分5步，流程圖見圖3第一步，幀差模板。利用閾值分割得到連續(xù)兩幀圖像的幀差模板。如果幀間灰度差為非零值，則認(rèn)為是由噪聲和運(yùn)動(dòng)對(duì)象的變化引起的，噪聲的統(tǒng)計(jì)量一般符合高斯特性，而運(yùn)動(dòng)對(duì)象變化具有很強(qiáng)的結(jié)構(gòu)性，故用幀間差的HOS假設(shè)檢驗(yàn)，來求幀差模板。將連續(xù)兩幀圖像做差，接著計(jì)算幀差圖像的局部4階矩，設(shè)定閾值進(jìn)行分割得到幀差模板。
第二步，背景注冊(cè)模板。根據(jù)過去數(shù)幀幀差模板，若其中一個(gè)像素在很長(zhǎng)時(shí)間都不動(dòng)的話，則認(rèn)為是可靠的背景。這步建立一個(gè)不斷更新的緩沖區(qū)，同時(shí)由背景注冊(cè)模板來判斷像素作為背景是否可靠。
第三步，背景差模板。通過比較當(dāng)前幀和緩沖區(qū)中的背景幀，我們可以得到背景差模板。該模板是我們獲得的運(yùn)動(dòng)目標(biāo)輪廓的最初原型。
第四步，目標(biāo)模板。從背景差模板和幀差模板中，我們建立原始的目標(biāo)模板。如果，背景注冊(cè)模板表明該像素的背景信息可靠，則其背景幀模板就用來作為原始的目標(biāo)模板，否則，其幀差模板值作為目標(biāo)模板。
第五步，后處理。因?yàn)椴灰?guī)則噪聲和相機(jī)噪聲，以及運(yùn)動(dòng)目標(biāo)邊界線不是很平滑，于是我們用形態(tài)學(xué)等后處理來消除噪聲，平滑邊界?？斩春陀白拥纫缘玫礁暾倪\(yùn)動(dòng)目標(biāo)。
2、動(dòng)靜態(tài)參數(shù)測(cè)量，是用多個(gè)攝像機(jī)對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行拍攝，計(jì)算得到其在指定世界坐標(biāo)系下的坐標(biāo)(靜態(tài)參數(shù))，同時(shí)繪制該坐標(biāo)系下的運(yùn)動(dòng)軌跡，計(jì)算運(yùn)動(dòng)速度(運(yùn)動(dòng)參數(shù))等。首先，對(duì)攝像機(jī)進(jìn)行標(biāo)定，得到攝像機(jī)的內(nèi)參數(shù)以及圖像坐標(biāo)與世界坐標(biāo)之間的轉(zhuǎn)換關(guān)系；然后根據(jù)運(yùn)動(dòng)目標(biāo)在圖像中的坐標(biāo)和標(biāo)定結(jié)果，得到其在指定世界坐標(biāo)系(中心攝像機(jī)鏡頭為原點(diǎn)，攝像機(jī)鏡頭平面是X-Y面，垂直該面向外的為Z軸正方向的坐標(biāo))下的坐標(biāo)；最后提取運(yùn)動(dòng)目標(biāo)的質(zhì)心，繪制其運(yùn)動(dòng)軌跡，計(jì)算運(yùn)動(dòng)目標(biāo)的速度，并以此來判斷目標(biāo)的運(yùn)動(dòng)趨勢(shì)，為控制云臺(tái)轉(zhuǎn)動(dòng)提供參數(shù)。
3、運(yùn)動(dòng)目標(biāo)跟蹤，是根據(jù)分割出的運(yùn)動(dòng)目標(biāo)的動(dòng)靜態(tài)參數(shù)，判斷其運(yùn)動(dòng)趨勢(shì)，通過串口控制云臺(tái)轉(zhuǎn)動(dòng)跟蹤它。
運(yùn)動(dòng)目標(biāo)的測(cè)量要求運(yùn)動(dòng)目標(biāo)始終成像于攝像機(jī)視野中，且盡量處于攝像機(jī)視野中部的效果較好的部位。因此，當(dāng)運(yùn)動(dòng)目標(biāo)離開攝像機(jī)視野或成像位置不好時(shí)，需要調(diào)整攝像機(jī)以滿足測(cè)量要求。擴(kuò)大視野和控制攝像機(jī)轉(zhuǎn)動(dòng)跟蹤目標(biāo)這兩種方法可以滿足測(cè)量環(huán)境，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)跟蹤測(cè)量。本發(fā)明綜合運(yùn)用這兩種方法。七個(gè)攝像機(jī)組成的系統(tǒng)大大擴(kuò)大了視野，同時(shí)利用上面計(jì)算得到的運(yùn)動(dòng)參數(shù)，控制云臺(tái)帶動(dòng)攝像機(jī)跟蹤運(yùn)動(dòng)目標(biāo)。
4、全景圖生成，是利用灰度相關(guān)算法，拼接七路視頻圖像成超大視場(chǎng)的全景圖像。在任一幅圖像與另一幅圖像的重疊區(qū)域中選取特征區(qū)域，利用灰度相關(guān)性，匹配尋找另一幅圖像中的特征區(qū)域，接著將圖像對(duì)準(zhǔn)，實(shí)現(xiàn)圖像無縫拼接，類似方法實(shí)現(xiàn)七路視頻圖像的拼接。全景圖生成自動(dòng)建立大型、高分辨率的圖像技術(shù)一直是攝影測(cè)量學(xué)、計(jì)算機(jī)視覺、圖像處理和計(jì)算機(jī)圖形學(xué)的活躍研究領(lǐng)域。拼接生成全景圖，主要有兩個(gè)部分內(nèi)容1、局部對(duì)齊技術(shù)，即兩幅圖像對(duì)齊。2、圖像的集成技術(shù)將圖像對(duì)齊到一個(gè)指定的參考幀，以形成一個(gè)大的圖像即全局對(duì)齊和圖像融合技術(shù)。
根據(jù)得到原始圖像的不同方式，全景圖拼接算法大致可以分為幾類1、柱面/球面全景圖。它要求相機(jī)繞一個(gè)垂直轉(zhuǎn)軸作水平轉(zhuǎn)動(dòng)；2、基于仿射變換全景圖。它用來處理相機(jī)的平移、鏡頭拉伸和繞光軸的旋轉(zhuǎn)；3、基于透視變換全景圖。它對(duì)相機(jī)運(yùn)動(dòng)沒有嚴(yán)格的限制，但要求被拍攝的景物是一近似的平面，以防止視差的出現(xiàn)。在實(shí)際的拍攝中，景物距離相機(jī)足夠遠(yuǎn)即可把景物視為平面。
本發(fā)明利用相關(guān)性方法，將七路重疊圖像拼接成一幅大型的無縫高分辨率圖像。具體步驟分為下面三個(gè)(1)確定相鄰圖像重疊區(qū)域中的特征區(qū)域；(2)圖像的對(duì)準(zhǔn)，根據(jù)圖像特征區(qū)域來定位圖像；(3)確定拼接處圖像像素點(diǎn)灰度級(jí)，消除拼接起來的圖像中的人工縫隙效應(yīng)，實(shí)現(xiàn)無縫拼接。
通過以上的檢測(cè)裝置和檢測(cè)方法可以達(dá)到運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤。
權(quán)利要求
1.一種基于仿生復(fù)眼的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置，其特征在于，包括由七個(gè)正六邊形框組成，其正面成弧面外框(2)，其中一個(gè)正六邊形框?yàn)橹行?，其余六個(gè)正六邊形框的一邊與中心框的一邊相重疊，在每個(gè)正六邊形框架內(nèi)安置一個(gè)攝像機(jī)(1)，外框(2)與一根立桿(3)相連，立桿(3)通過支架(4)固定在可以水平轉(zhuǎn)動(dòng)和垂直翻轉(zhuǎn)的云臺(tái)(5)上，七個(gè)DSP處理器各自與一個(gè)攝像機(jī)相連接，構(gòu)成同步并行處理系統(tǒng)。
2.根據(jù)權(quán)利1所述的基于仿生復(fù)眼的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置的檢測(cè)方法，其特征在于，包括運(yùn)動(dòng)目標(biāo)檢測(cè)方法、動(dòng)靜態(tài)參數(shù)的測(cè)量方法、運(yùn)動(dòng)目標(biāo)跟蹤方法和全景圖生成方法，以下通過步驟對(duì)其進(jìn)一步限定(1)運(yùn)動(dòng)目標(biāo)的檢測(cè)方法是利用運(yùn)動(dòng)目標(biāo)分割算法從含有運(yùn)動(dòng)目標(biāo)的視頻圖像中，提取并識(shí)別運(yùn)動(dòng)目標(biāo)，首先，對(duì)視頻圖像進(jìn)行維納濾波預(yù)處理，計(jì)算幀差圖像的高階統(tǒng)計(jì)量(HOS)進(jìn)行閾值分割，得到幀差信息；然后綜合利用多幀信息得到的背景信息，利用幀差信息和背景信息提取出運(yùn)動(dòng)目標(biāo)，最后對(duì)得到的運(yùn)動(dòng)目標(biāo)做形態(tài)學(xué)濾波操作，去除噪聲、空洞和影子，得到更完整的運(yùn)動(dòng)目標(biāo)；(2)動(dòng)靜態(tài)參數(shù)測(cè)量方法是用多個(gè)攝像機(jī)對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行拍攝，計(jì)算得到其在指定世界坐標(biāo)系下的坐標(biāo)，同時(shí)繪制在該坐標(biāo)系下的運(yùn)動(dòng)軌跡，計(jì)算運(yùn)動(dòng)速度，首先對(duì)攝像機(jī)進(jìn)行標(biāo)定，得到攝像機(jī)的內(nèi)參數(shù)以及圖像坐標(biāo)與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，然后根據(jù)運(yùn)動(dòng)目標(biāo)在圖像中的坐標(biāo)和標(biāo)定結(jié)果，得到其在指定世界坐標(biāo)系下的坐標(biāo)，最后提取運(yùn)動(dòng)目標(biāo)的質(zhì)心，繪制運(yùn)動(dòng)軌跡，計(jì)算運(yùn)動(dòng)目標(biāo)的速度；(3)運(yùn)動(dòng)目標(biāo)跟蹤方法通過串口控制控制云臺(tái)轉(zhuǎn)動(dòng)，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)跟蹤；(4)全景圖生成方法是利用灰度相關(guān)性方法，將七路重疊圖像拼接成一幅大型的無縫高分辨率圖像，首先確定相鄰圖像重疊區(qū)域中的特征區(qū)域，然后根據(jù)圖像特征區(qū)域來定位圖像，實(shí)現(xiàn)圖像的對(duì)準(zhǔn)，最后確定拼接處圖像像素點(diǎn)灰度值，消除拼接起來的圖像中的人工縫隙效應(yīng)，實(shí)現(xiàn)圖像的無縫拼接。
全文摘要
一種基于仿生復(fù)眼的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置及其方法，屬仿生復(fù)眼運(yùn)動(dòng)目標(biāo)測(cè)量系統(tǒng)。其系統(tǒng)包括攝像機(jī)，外框，立桿，支架，云臺(tái)及DSP處理器。檢測(cè)方法包括運(yùn)動(dòng)目標(biāo)檢測(cè)方法，是利用運(yùn)動(dòng)目標(biāo)分割算法從含有運(yùn)動(dòng)目標(biāo)的視頻圖像中，提取并識(shí)別運(yùn)動(dòng)目標(biāo)；動(dòng)靜態(tài)參數(shù)測(cè)量方法，是利用多個(gè)攝像機(jī)對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行拍攝，計(jì)算得到在指定世界坐標(biāo)系下的坐標(biāo)，同時(shí)繪制該坐標(biāo)系下的運(yùn)動(dòng)軌跡，計(jì)算運(yùn)動(dòng)速度；運(yùn)動(dòng)目標(biāo)跟蹤方法，是根據(jù)分割出的運(yùn)動(dòng)目標(biāo)的動(dòng)靜態(tài)參數(shù)，判斷運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)趨勢(shì)，通過串口控制云臺(tái)轉(zhuǎn)動(dòng)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)跟蹤；全景圖生生方法，是利用灰度相關(guān)性法，將多路重疊圖像拼接成一幅大型的無縫圖像。本發(fā)明具有大視場(chǎng)、高分辨率，靈敏度高的特點(diǎn)。
文檔編號(hào)G06K9/00GK1932841SQ20051009508
公開日2007年3月21日 申請(qǐng)日期2005年10月28日 優(yōu)先權(quán)日2005年10月28日
發(fā)明者徐貴力, 黃祝新 申請(qǐng)人:南京航空航天大學(xué)