本發(fā)明屬于圖像處理，具體地，涉及一種時空域聯(lián)合的空間探測圖像暗弱目標(biāo)檢測方法及系統(tǒng)，尤其是針對密集恒星背景下，高靈敏度天基光學(xué)空間探測圖像中的運動暗弱目標(biāo)的，基于時空域聯(lián)合的空間探測圖像目標(biāo)檢測方法。

背景技術(shù)：

1、隨著人類空間活動的日益頻繁，人造衛(wèi)星及空間碎片數(shù)量逐年增加，對空間目標(biāo)的探測是保證航天器在軌任務(wù)正常運行的重要手段。相比于地基探測，天基光學(xué)觀測具有不受大氣影響的優(yōu)勢。然而空間探測圖像中，空間目標(biāo)主要存在亮度低、所占像素少、不具備紋理信息的點目標(biāo)特征，且恒星與空間目標(biāo)的特征相似，這些都增加了空間目標(biāo)的檢測的難度。

2、現(xiàn)有的空間目標(biāo)檢測方法主要有圖像差分法和基于運動信息的檢測方法。圖像差分法通過形態(tài)學(xué)處理提取星點，利用灰度等特征進行星點匹配，幀間差分后設(shè)置閾值判斷是否為空間目標(biāo)；基于運動信息的方法對目標(biāo)幀間運動進行建模，估計目標(biāo)位移，實現(xiàn)幀間補償。但這兩種方法都存在一些問題，比如：用于實驗驗證的圖像視場較小、且恒星較為稀疏，方法對密集恒星背景的情況檢測效果較差；幀間配準(zhǔn)精度直接影響檢測結(jié)果，配準(zhǔn)出現(xiàn)偏差，會導(dǎo)致恒星背景無法完全扣除，形成月牙形殘差，造成誤檢；基于深度學(xué)習(xí)的方法通常依靠目標(biāo)的形態(tài)紋理等特征進行檢測，而由于恒星與空間目標(biāo)特征相似，無法達到較好的檢測效果。

3、專利文獻《基于感興趣目標(biāo)分布的關(guān)鍵幀篩選方法》(cn113112519a)結(jié)合了傳統(tǒng)技術(shù)和深度學(xué)習(xí)技術(shù)，提取出圖像的底層特征和深度特征，并進行多特征融合，提高了所提取的關(guān)鍵幀的魯棒性，但其因為應(yīng)用背景較為簡單，并沒有解決目標(biāo)易被背景雜波和噪聲淹沒導(dǎo)致檢測困難的問題。

4、專利文獻《一種基于手勢關(guān)鍵點的動態(tài)手勢識別方法和系統(tǒng)》(cn109190461a)從圖像中提取了手勢關(guān)鍵點，并利用關(guān)鍵點獲取了動態(tài)手勢的時空域信息，但其為基于時空域結(jié)構(gòu)統(tǒng)計的特征建模策略，屬于無參學(xué)習(xí)技術(shù)，也依舊沒有解決易對背景殘差產(chǎn)生虛警和對單個目標(biāo)跟蹤出多條軌跡的問題。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種時空域聯(lián)合的空間探測圖像暗弱目標(biāo)檢測方法及系統(tǒng)。

2、根據(jù)本發(fā)明提供的一種時空域聯(lián)合的空間探測圖像暗弱目標(biāo)檢測方法，包括：

3、步驟s1：將原始空間目標(biāo)探測圖像進行等步長、含重疊區(qū)域的切片，得到裁切后待檢測的圖像切片；

4、步驟s2：對每個圖像切片提取關(guān)鍵點；

5、步驟s3：構(gòu)造關(guān)鍵點的拓撲空間描述特征，根據(jù)相鄰幀關(guān)鍵點提取結(jié)果，進行相鄰幀圖像的幀間配準(zhǔn)；

6、步驟s4：計算配準(zhǔn)后相鄰幀的幀間差分，得到幀間差分結(jié)果；

7、步驟s5：將幀間差分結(jié)果進行疊加，得到背景抑制結(jié)果；

8、步驟s6：通過yolov5深度學(xué)習(xí)網(wǎng)絡(luò)對背景抑制結(jié)果進行空間目標(biāo)訓(xùn)練和檢測，得到檢測結(jié)果；

9、步驟s7：將檢測結(jié)果進行篩選合并，輸出最終檢測結(jié)果。

10、優(yōu)選地，所述步驟s2包括：

11、步驟s2.1：對圖像切片進行二值化，得到二值化圖像；

12、步驟s2.2：計算二值化圖像中恒星的連通域，所述連通域為八鄰域；

13、步驟s2.3：對連通域通過灰度加權(quán)計算求質(zhì)心，根據(jù)將求得的質(zhì)心作為關(guān)鍵點；

14、其中，y′表示質(zhì)心行向量坐標(biāo)；

15、z′表示質(zhì)心列向量坐標(biāo)；

16、y″表示連通域內(nèi)第i個像素點行坐標(biāo)；

17、z″表示連通域內(nèi)第i個像素點列坐標(biāo)；

18、h表示連通域內(nèi)第i個像素點灰度值；

19、n表示連通域內(nèi)共n個像素點。

20、所述步驟s3包括：

21、步驟s3.1：以每一個關(guān)鍵點為中心，構(gòu)造其與周圍關(guān)鍵點的拓撲空間描述特征；

22、步驟s3.2：進行關(guān)鍵點匹配，獲得匹配的點對；

23、所述匹配為計算當(dāng)前幀與相鄰幀中關(guān)鍵點的特征相似性。

24、步驟s3.3：將相鄰幀根據(jù)計算配準(zhǔn)到以當(dāng)前幀為基準(zhǔn)的星空背景上；

25、所述計算為根據(jù)匹配的點對基于單應(yīng)變換和估計求得相鄰幀圖像到當(dāng)前幀圖像的變換矩陣；

26、所述單應(yīng)變換和估計公式為

27、其中，表示單應(yīng)矩陣；

28、hij表示單應(yīng)矩陣中對應(yīng)元素，i＝1、2、3，j＝1、2、3；

29、x表示相鄰幀圖像中的關(guān)鍵點橫坐標(biāo)；

30、y表示相鄰幀圖像中的關(guān)鍵點縱坐標(biāo)；

31、x′當(dāng)前幀中對應(yīng)的同一個關(guān)鍵點的橫坐標(biāo)；

32、y′表示當(dāng)前幀中對應(yīng)的同一個關(guān)鍵點的縱坐標(biāo)。

33、所述步驟s6包括：

34、步驟s6.1：通過仿真生成大量空間目標(biāo)探測圖像，構(gòu)建訓(xùn)練數(shù)據(jù)集，并利用空間目標(biāo)標(biāo)記，對yolov5深度學(xué)習(xí)網(wǎng)絡(luò)進行調(diào)優(yōu)訓(xùn)練，獲得網(wǎng)絡(luò)參數(shù)；

35、步驟s6.2：利用訓(xùn)練好的網(wǎng)絡(luò)參數(shù)對空間目標(biāo)探測圖像進行檢測，獲得候選檢測框；

36、所述yolov5深度學(xué)習(xí)網(wǎng)絡(luò)為yolov5s模型。

37、所述步驟s7包括：

38、步驟s7.1：將得到的多個候選檢測框根據(jù)置信度得分進行排序；

39、步驟s7.2：對得分最高的候選檢測框依次遍歷其余的候選檢測框，計算二者之間的交并比，公式為

40、其中，iou表示重疊度；

41、a、b分別表示圖像切片重疊區(qū)域得分最高的候選檢測框、遍歷的候選檢測框；

42、步驟s7.3：當(dāng)遍歷的候選檢測框與得分最高的候選檢測框交并比大于閾值時，將當(dāng)前遍歷的候選檢測框刪除；交并比小于閾值時，保留候選檢測框；

43、重復(fù)執(zhí)行步驟s7.1至步驟s7.3，直至遍歷完所有候選檢測框停止。

44、優(yōu)選地，所述步驟s3.1包括：

45、步驟s3.1.1：以任意一個關(guān)鍵點pi為圓心，在其周圍構(gòu)造設(shè)定數(shù)量組的同心圓并將其均等劃分為設(shè)定數(shù)量個區(qū)域；

46、步驟s3.1.2：對于關(guān)鍵點pi周圍的關(guān)鍵點pj，將pj笛卡爾坐標(biāo)系下的坐標(biāo)轉(zhuǎn)化為以關(guān)鍵點pi為原點的極坐標(biāo)，得到其極徑ρj和極角θj，其對應(yīng)的區(qū)域編號qj為：

47、0≤θj≤2π，0≤ρj≤r；

48、其中，r表示最大的同心圓半徑；

49、m表示對極角量化時的單位弧度；

50、n為對極徑量化時的單位距離；

51、步驟s3.1.3：統(tǒng)計關(guān)鍵點周圍落入各個區(qū)域的關(guān)鍵點的數(shù)量，按照區(qū)域編號排序得到關(guān)鍵點對應(yīng)的維向量作為關(guān)鍵點pi的位置特征fi。

52、所述步驟s3.2包括：

53、步驟s3.2.1：將當(dāng)前幀in中關(guān)鍵點pi在笛卡爾坐標(biāo)系下的位置(xi，yi)作為搜索起點，在相鄰幀in+δ中搜索起點附近的關(guān)鍵點pk并計算其位置特征fk；

54、步驟s3.2.2：計算位置特征之間的距離及關(guān)鍵點在原圖像切片中灰度的差值；

55、步驟s3.2.3：若滿足公式條件，則當(dāng)前幀in的關(guān)鍵點pi和相鄰幀in+δ的關(guān)鍵點pk匹配成功，作為一對匹配的點對；若不滿足，則繼續(xù)計算；

56、所述公式條件為

57、其中，q表示特征中的區(qū)域編號；

58、f(pi)表示關(guān)鍵點pi在原圖上的灰度值；

59、f(pk)表示關(guān)鍵點pk在原圖上的灰度值；

60、th1為特征之間距離的閾值；

61、th2為灰度差值的閾值；

62、遍歷所有關(guān)鍵點并執(zhí)行步驟s3.2.1至步驟s3.2.3，得到所有匹配的點對。

63、優(yōu)選地，所述步驟s4中計算的公式為：

64、

65、其中，sat_value表示圖像的飽和值；

66、dn(i，j)表示位置(i,j)相鄰幀的幀間上的差分結(jié)果；

67、fn(i,j)表示當(dāng)前第n幀的位置(i,j)上的灰度值；

68、fn-1(i,j)表示前一幀配準(zhǔn)后對應(yīng)的位置(i,j)上的灰度值。

69、所述步驟s5中將當(dāng)前幀與多個相鄰幀進行配準(zhǔn)差分操作，第j幀到第k幀配準(zhǔn)差分后得到的配準(zhǔn)差分結(jié)果為d(ij,ij-k)，通過n幀的幀間累加，取n幀配準(zhǔn)差分結(jié)果的平均值，公式為

70、其中，其中，ij表示第j幀中的空間目標(biāo)信號；

71、ij-1表示第j幀到第k幀中的空間目標(biāo)信號；

72、ij’表示增強后的第j幀中的空間目標(biāo)信號。

73、根據(jù)本發(fā)明提供的一種時空域聯(lián)合的空間探測圖像暗弱目標(biāo)檢測系統(tǒng)，包括：

74、模塊m1：將原始空間目標(biāo)探測圖像進行等步長、含重疊區(qū)域的切片，得到裁切后待檢測的圖像切片；

75、模塊m2：對每個圖像切片提取關(guān)鍵點；

76、模塊m3：構(gòu)造關(guān)鍵點的拓撲空間描述特征，根據(jù)相鄰幀關(guān)鍵點提取結(jié)果，進行相鄰幀圖像的幀間配準(zhǔn)；

77、模塊m4：計算配準(zhǔn)后相鄰幀的幀間差分，得到幀間差分結(jié)果；

78、模塊m5：將幀間差分結(jié)果進行疊加，得到背景抑制結(jié)果；

79、模塊m6：基于yolov5深度學(xué)習(xí)網(wǎng)絡(luò)對背景抑制結(jié)果進行空間目標(biāo)訓(xùn)練和檢測，得到檢測結(jié)果；

80、模塊m7：將檢測結(jié)果進行篩選合并，輸出最終檢測結(jié)果。

81、優(yōu)選地，所述模塊m2包括：

82、模塊m2.1：對圖像切片進行二值化，得到二值化圖像；

83、模塊m2.2：計算二值化圖像中恒星的連通域，所述連通域為八鄰域；

84、模塊m2.3：對連通域通過灰度加權(quán)計算求質(zhì)心，根據(jù)

85、將求得的質(zhì)心作為關(guān)鍵點；

86、其中，y′表示質(zhì)心行向量坐標(biāo)；

87、z′表示質(zhì)心列向量坐標(biāo)；

88、y″表示連通域內(nèi)第i個像素點行坐標(biāo)；

89、z″表示連通域內(nèi)第i個像素點列坐標(biāo)；

90、h表示連通域內(nèi)第i個像素點灰度值；

91、n表示連通域內(nèi)共n個像素點。

92、所述模塊m3包括：

93、模塊m3.1：以每一個關(guān)鍵點為中心，構(gòu)造其與周圍關(guān)鍵點的拓撲空間描述特征；

94、模塊m3.2：進行關(guān)鍵點匹配，獲得匹配的點對；

95、所述匹配為計算當(dāng)前幀與相鄰幀中關(guān)鍵點的特征相似性；

96、模塊m3.3：將相鄰幀根據(jù)計算配準(zhǔn)到以當(dāng)前幀為基準(zhǔn)的星空背景上；

97、所述計算為根據(jù)匹配的點對基于單應(yīng)變換和估計求得相鄰幀圖像到當(dāng)前幀圖像的變換矩陣；

98、所述單應(yīng)變換和估計公式為

99、其中，表示單應(yīng)矩陣；

100、hij表示單應(yīng)矩陣中對應(yīng)元素，i＝1、2、3，j＝1、2、3；

101、x表示相鄰幀圖像中的關(guān)鍵點橫坐標(biāo)；

102、y表示相鄰幀圖像中的關(guān)鍵點縱坐標(biāo)；

103、x′當(dāng)前幀中對應(yīng)的同一個關(guān)鍵點的橫坐標(biāo)；

104、y′表示當(dāng)前幀中對應(yīng)的同一個關(guān)鍵點的縱坐標(biāo)。

105、所述模塊m6包括：

106、模塊m6.1：通過仿真生成大量空間目標(biāo)探測圖像，構(gòu)建訓(xùn)練數(shù)據(jù)集，并利用空間目標(biāo)標(biāo)記，對yolov5深度學(xué)習(xí)網(wǎng)絡(luò)進行調(diào)優(yōu)訓(xùn)練，獲得網(wǎng)絡(luò)參數(shù)；

107、模塊m6.2：利用訓(xùn)練好的網(wǎng)絡(luò)參數(shù)對空間目標(biāo)探測圖像進行檢測，獲得候選檢測框；

108、所述yolov5深度學(xué)習(xí)網(wǎng)絡(luò)為yolov5s模型。

109、所述模塊m7包括：

110、模塊m7.1：將得到的多個候選檢測框根據(jù)置信度得分進行排序；

111、模塊m7.2：對得分最高的候選檢測框依次遍歷其余的候選檢測框，計算二者之間的交并比，公式為

112、其中，iou表示重疊度；

113、a、b分別表示圖像切片重疊區(qū)域得分最高的候選檢測框、遍歷的候選檢測框；

114、模塊m7.3：判斷，當(dāng)遍歷的候選檢測框與得分最高的候選檢測框交并比大于閾值時，將當(dāng)前遍歷的候選檢測框刪除；交并比小于閾值時，保留候選檢測框；

115、重復(fù)觸發(fā)模塊m7.1至模塊m7.3，直至遍歷完所有候選檢測框停止。

116、優(yōu)選地，所述模塊m3.1包括：

117、模塊m3.1.1：以任意一個關(guān)鍵點pi為圓心，在其周圍構(gòu)造設(shè)定數(shù)量組的同心圓并將其均等劃分為設(shè)定數(shù)量個區(qū)域；

118、模塊m3.1.2：對于關(guān)鍵點pi周圍的關(guān)鍵點pj，將pj笛卡爾坐標(biāo)系下的坐標(biāo)轉(zhuǎn)化為以關(guān)鍵點pi為原點的極坐標(biāo)，得到其極徑ρj和極角θj，其對應(yīng)的區(qū)域編號qj為：

119、0≤θj≤2π，0≤ρj≤r；

120、其中，r表示最大的同心圓半徑；

121、m表示對極角量化時的單位弧度；

122、n為對極徑量化時的單位距離；

123、模塊m3.1.3：統(tǒng)計關(guān)鍵點周圍落入各個區(qū)域的關(guān)鍵點的數(shù)量，按照區(qū)域編號排序得到關(guān)鍵點對應(yīng)的維向量作為關(guān)鍵點pi的位置特征fi。

124、所述模塊m3.2包括：

125、模塊m3.2.1：將當(dāng)前幀in中關(guān)鍵點pi在笛卡爾坐標(biāo)系下的位置(xi，yi)作為搜索起點，在相鄰幀in+δ中搜索起點附近的關(guān)鍵點pk并計算其位置特征fk；

126、模塊m3.2.2：計算位置特征之間的距離及關(guān)鍵點在原圖像切片中灰度的差值；

127、模塊m3.2.3：若滿足公式條件，則當(dāng)前幀in的關(guān)鍵點pi和相鄰幀in+δ的關(guān)鍵點pk匹配成功，作為一對匹配的點對；若不滿足，則繼續(xù)計算；

128、所述公式條件為

129、其中，q表示特征中的區(qū)域編號；

130、f(pi)表示關(guān)鍵點pi在原圖上的灰度值；

131、f(pk)表示關(guān)鍵點pk在原圖上的灰度值；

132、th1為特征之間距離的閾值；

133、th2為灰度差值的閾值；

134、遍歷所有關(guān)鍵點并觸發(fā)模塊m3.2.1至模塊m3.2.3，得到所有匹配的點對。

135、優(yōu)選地，所述模塊m4中計算的公式為：

136、

137、其中，sat_value表示圖像的飽和值；

138、dn(i，j)表示位置(i,j)相鄰幀的幀間上的差分結(jié)果；

139、fn(i,j)表示當(dāng)前第n幀的位置(i,j)上的灰度值；

140、fn-2(i,j)表示前一幀配準(zhǔn)后對應(yīng)的位置(i,j)上的灰度值。

141、所述模塊m5中將當(dāng)前幀與多個相鄰幀進行配準(zhǔn)差分操作，第j幀到第k幀配準(zhǔn)差分后得到的配準(zhǔn)差分結(jié)果為d(ij,ij-k)，通過n幀的幀間累加，取n幀配準(zhǔn)差分結(jié)果的平均值，公式為

142、其中，其中，ij表示第j幀中的空間目標(biāo)信號；

143、ij-1表示第j幀到第k幀中的空間目標(biāo)信號；

144、ij’表示增強后的第j幀中的空間目標(biāo)信號。

145、根據(jù)本發(fā)明提供的一種存儲有計算機程序的計算機可讀存儲介質(zhì)，所述計算機程序被處理器執(zhí)行時實現(xiàn)所述的時空域聯(lián)合的空間探測圖像暗弱目標(biāo)檢測方法的步驟。

146、根據(jù)本發(fā)明提供的一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)所述的時空域聯(lián)合的空間探測圖像暗弱目標(biāo)檢測方法的步驟。

147、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

148、1、本發(fā)明通過圖像分割后檢測，再利用非極大值抑制將檢測結(jié)果進行合并的方法，實現(xiàn)了較大探測視場條件下，探測圖像空間目標(biāo)的檢測。

149、2、本發(fā)明提供的具有尺度旋轉(zhuǎn)不變性的拓撲空間描述特征提取方法，實現(xiàn)了圖像的亞像素幀間配準(zhǔn)，有效減少幀間差分后的恒星殘差，從而提高檢測性能。

150、3、本發(fā)明將傳統(tǒng)的幀間配準(zhǔn)差分方法與深度學(xué)習(xí)智能檢測算法相結(jié)合，既解決了傳統(tǒng)閾值法易對恒星殘差產(chǎn)生虛警的難題，又解決了直接利用智能檢測算法無法區(qū)分均為點目標(biāo)的恒星和空間目標(biāo)的問題。

151、4、本發(fā)明提供的檢測方法不依賴恒星與空間目標(biāo)的點狀或線狀特征進行檢測，不需要根據(jù)不同的探測模式切換不同的方法和參數(shù)，對于空間探測“凝視目標(biāo)”及“凝視恒星”的工作模式具有普適性。