本發(fā)明涉及空中目標(biāo)成像及探測(cè)，具體涉及一種融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法。

背景技術(shù)：

1、空中目標(biāo)的準(zhǔn)確檢測(cè)是目標(biāo)識(shí)別與威脅度分析以及態(tài)勢(shì)感知的重要基礎(chǔ)。目前現(xiàn)有技術(shù)中，空中目標(biāo)精準(zhǔn)探測(cè)主要面臨兩方面的挑戰(zhàn)：一方面，現(xiàn)有基于傳統(tǒng)相機(jī)的光學(xué)成像空中目標(biāo)探測(cè)技術(shù)手段，存在成像速率慢、動(dòng)態(tài)范圍有限、功耗較高、占用帶寬高等問題，難以實(shí)現(xiàn)高實(shí)時(shí)性目標(biāo)成像以及逆光條件下的長(zhǎng)時(shí)間工作需求。而空中目標(biāo)在逆光條件下，由于太陽(yáng)光的干擾，導(dǎo)致成像傳感器產(chǎn)生過曝現(xiàn)象，無(wú)法實(shí)現(xiàn)對(duì)空中目標(biāo)的實(shí)時(shí)成像，從而給目標(biāo)精準(zhǔn)探測(cè)帶來挑戰(zhàn)。另一方面，空中目標(biāo)往往相對(duì)尺寸小或尺度變化極大，且目標(biāo)速度快、動(dòng)態(tài)性強(qiáng)，存在背景干擾、快速移動(dòng)的目標(biāo)和目標(biāo)尺度變化從而影響空中目標(biāo)的準(zhǔn)確檢測(cè)的問題。同時(shí)，由于這些目標(biāo)通常是在遠(yuǎn)距離或高空下進(jìn)行檢測(cè)，所以還需要考慮光照、氣象等因素的影響。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為了提供一種融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法。此方法旨在解決現(xiàn)有技術(shù)中存在的成像速率慢、動(dòng)態(tài)范圍有限、功耗較高、占用帶寬高、以及存在背景干擾、快速移動(dòng)的目標(biāo)和目標(biāo)尺度變化影響空中目標(biāo)檢測(cè)的問題。

2、為達(dá)到上述目的，本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)：

3、本發(fā)明提供一種融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，包括：

4、步驟s1：利用高速成像事件相機(jī)完成目標(biāo)信息采集，得到時(shí)空事件流數(shù)據(jù)；

5、步驟s2：采用離散點(diǎn)去噪方法，對(duì)所述時(shí)空事件流數(shù)據(jù)進(jìn)行去噪處理，得到去噪后的時(shí)空事件流數(shù)據(jù)；

6、步驟s3：對(duì)所述去噪后的時(shí)空事件流數(shù)據(jù)進(jìn)行圖像重構(gòu)，并對(duì)圖像進(jìn)行標(biāo)注，劃分訓(xùn)練集和測(cè)試集；

7、步驟s4：構(gòu)建單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型；

8、步驟s5：通過所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型對(duì)重構(gòu)后的事件圖像進(jìn)行目標(biāo)識(shí)別，實(shí)現(xiàn)空中目標(biāo)的高速探測(cè)識(shí)別任務(wù)。

9、優(yōu)選的，所述高速成像事件相機(jī)的動(dòng)態(tài)范圍大于120db、空間分辨率大于2k且平均功耗小于1w。

10、優(yōu)選的，每一所述時(shí)空事件流數(shù)據(jù)中均包括：?jiǎn)晤惸繕?biāo)和多類目標(biāo)。

11、優(yōu)選的，所述步驟s2中，所述的采用離散點(diǎn)去噪方法，對(duì)所述時(shí)空事件流數(shù)據(jù)進(jìn)行去噪處理，其具體包括：

12、步驟s2.1：采用離散點(diǎn)去噪方法，對(duì)所述時(shí)空事件流數(shù)據(jù)進(jìn)行去噪處理，具體為：

13、將時(shí)空事件流數(shù)據(jù)中的每個(gè)事件視為點(diǎn)，采用歐式距離計(jì)算方法，計(jì)算點(diǎn)與點(diǎn)之間的距離，具體為：

14、

15、其中，deuc(x,y)表示x點(diǎn)和y點(diǎn)之間的歐式距離，下標(biāo)euc是euclidean的縮寫，表示歐式，xi為i維度上的x點(diǎn)坐標(biāo)值，yi為i維度上的y點(diǎn)坐標(biāo)值，k表示歐式空間維度；

16、步驟s2.2：將所述歐式距離小于半徑閾值的點(diǎn)連接起來，構(gòu)成一個(gè)簇；若所述簇中的事件點(diǎn)的個(gè)數(shù)少于噪聲識(shí)別閾值，則將所述簇中的事件點(diǎn)的點(diǎn)位視為噪聲并剔除所述簇中的事件點(diǎn)，得到去噪后的時(shí)空事件流數(shù)據(jù)。

17、優(yōu)選的，所述步驟s3具體包括：

18、步驟s3.1：事件相機(jī)的輸出形式為事件流，所述事件流由下述公式表示：

19、evj＝[xj,tj,pj]t,j∈{1,2,...,n}

20、其中，evj表示第j個(gè)事件，其坐標(biāo)為xj＝[xj,yj]t，tj表示時(shí)間戳，極性pi∈[-1,1]，標(biāo)志著事件光強(qiáng)的改變，-1表示off事件，1表示on事件；

21、步驟s3.2：將所述事件流的事件信息轉(zhuǎn)換為空間信息，將所述事件流的時(shí)間戳tk轉(zhuǎn)換為像素的灰度，從而將所述事件流轉(zhuǎn)換為圖像幀，其具體為：

22、以xk＝[xk,yk]t為中心的一個(gè)(2r+1)×(2r+1)的窗口，則時(shí)間上下文表示為：

23、tk(u,p)＝maxl＜ktl|xl＝(xk+u),pl＝p

24、其中，tk(u,p)是時(shí)間上下文，u＝[ux,uy]t是窗口中的像素，ux∈[-r,...,r]，uy∈[-r,...,r]，極性pl∈[-1,1]；

25、步驟s3.3：采用標(biāo)注軟件對(duì)重構(gòu)后的事件圖像進(jìn)行標(biāo)注，得到標(biāo)注后的數(shù)據(jù)集，所述標(biāo)注后的數(shù)據(jù)集包括(c,h,w,x,y)，其中，c表示目標(biāo)類別的索引，h表示目標(biāo)區(qū)域標(biāo)注框的高，w表示目標(biāo)區(qū)域標(biāo)注框的寬，x、y分別表示目標(biāo)區(qū)域標(biāo)注框的中心坐標(biāo)；

26、步驟s3.4：將所述標(biāo)注后的數(shù)據(jù)集按照預(yù)定比例，劃分為所述訓(xùn)練集和所述測(cè)試集。

27、優(yōu)選的，所述標(biāo)注后的數(shù)據(jù)集按照8:2的比例，劃分為所述訓(xùn)練集和所述測(cè)試集。

28、優(yōu)選的，所述步驟s4中，構(gòu)建單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型，具體包括：

29、步驟s4.1：構(gòu)建骨干網(wǎng)絡(luò)模塊，所述骨干網(wǎng)絡(luò)模塊包括：卷積層、池化層和空間金字塔池化層，每一個(gè)卷積層后跟隨非線性激活函數(shù)和正則化層；

30、步驟s4.2：構(gòu)建頸部網(wǎng)絡(luò)模塊，所述頸部網(wǎng)絡(luò)模型中采用自頂向下的方式將所述骨干網(wǎng)絡(luò)模型輸出的特征逐層融合；

31、步驟s4.3：構(gòu)建預(yù)測(cè)頭網(wǎng)絡(luò)模塊，用于輸出目標(biāo)的預(yù)測(cè)結(jié)果，在所述預(yù)測(cè)頭網(wǎng)絡(luò)模塊中，采用1×1大小的卷積核對(duì)所述預(yù)測(cè)頭網(wǎng)絡(luò)模塊每層輸出的特征通道數(shù)進(jìn)行調(diào)整；

32、步驟s4.4：所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型通過應(yīng)用錨框和非極大值抑制，對(duì)所述目標(biāo)的預(yù)測(cè)結(jié)果進(jìn)行解析和篩選；

33、步驟s4.5：設(shè)定損失函數(shù)以及優(yōu)化策略，完成對(duì)識(shí)別模型的訓(xùn)練；

34、步驟s4.6：根據(jù)所述設(shè)計(jì)損失函數(shù)，采用隨機(jī)梯度下降算法優(yōu)化所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型。

35、優(yōu)選的，所述步驟s4.5中，所述的設(shè)定損失函數(shù)以及優(yōu)化策略包括：通過計(jì)算最小化空中目標(biāo)預(yù)測(cè)邊界框和真實(shí)邊界框的左上點(diǎn)和右下點(diǎn)距離，以得到重疊或不重疊區(qū)域、中心點(diǎn)距離、寬度和高度偏差，同時(shí)簡(jiǎn)化了計(jì)算過程，具體為：

36、

37、lmpdiou＝1-mpdiou

38、其中，a和b分別表示預(yù)測(cè)邊界框和實(shí)際邊界框，mpdiou表示預(yù)測(cè)邊界框和實(shí)際邊界框的交并比，分別表示預(yù)測(cè)邊界框的左上和右下點(diǎn)坐標(biāo)，分別表示真實(shí)邊界框左上和右下點(diǎn)坐標(biāo)，w和h表示輸入圖像的寬度和高度，lmpdiou表示損失函數(shù)。

39、優(yōu)選的，所述步驟s5具體包括：

40、步驟s5.1：將待檢測(cè)的事件圖像輸入到所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型中，所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型輸出目標(biāo)的類型、檢測(cè)準(zhǔn)確率及目標(biāo)框位置；

41、步驟s5.2：對(duì)所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型進(jìn)行定性和/或定量分析。

42、優(yōu)選的，所述步驟s5.2具體包括：根據(jù)所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型輸出的目標(biāo)的類型、檢測(cè)準(zhǔn)確率及目標(biāo)框位置，采用準(zhǔn)確率p、召回率r和平均精度map來作為評(píng)估網(wǎng)絡(luò)性能的關(guān)鍵指標(biāo)，正樣本指預(yù)測(cè)為正的樣本，準(zhǔn)確率指預(yù)測(cè)為正的樣本中實(shí)際為正的比例，召回率指正樣本中被正確預(yù)測(cè)的比例，ap表示某一類別的平均準(zhǔn)確率，各參數(shù)的具體表達(dá)式分別為：

43、

44、其中，tp為正樣本被正確預(yù)測(cè)的數(shù)量，fp為正樣本被錯(cuò)誤預(yù)測(cè)的數(shù)量，fn為正樣本沒有被預(yù)測(cè)出來的數(shù)量，c表示空中目標(biāo)類別數(shù)，z表示樣本數(shù)量，map表示所有類別的平均準(zhǔn)確率均值。

45、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

46、本發(fā)明利用高速成像事件相機(jī)完成目標(biāo)信息采集，得到時(shí)空事件流數(shù)據(jù)；采用離散點(diǎn)去噪方法，對(duì)事件相機(jī)輸出時(shí)空事件流數(shù)據(jù)進(jìn)行去噪處理，獲得去噪后的時(shí)空事件流數(shù)據(jù)；將去噪后的事件流數(shù)據(jù)進(jìn)行圖像重構(gòu)，并對(duì)圖像進(jìn)行標(biāo)注，劃分訓(xùn)練集和測(cè)試集；構(gòu)建單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型，通過骨干網(wǎng)路模塊獲取多尺度上下文特征信息，通過頸部網(wǎng)絡(luò)模塊將多尺度上下文特征信息進(jìn)行自頂向下逐層級(jí)融合，通過預(yù)測(cè)頭網(wǎng)絡(luò)模塊，輸出目標(biāo)的預(yù)測(cè)結(jié)果，通過應(yīng)用錨框和非極大值抑制，對(duì)目標(biāo)的預(yù)測(cè)結(jié)果進(jìn)行解析和篩選，構(gòu)建損失函數(shù)以及優(yōu)化策略，得到魯棒性更強(qiáng)的模型，實(shí)現(xiàn)空中目標(biāo)高精度識(shí)別。