一種基于層次化增強學(xué)習(xí)的低分辨率機場目標(biāo)檢測方法
【專利摘要】一種基于層次化增強學(xué)習(xí)的低分辨率機場目標(biāo)檢測方法，其步驟為：①將輸入的遙感圖像進行超像素分割；②提取輸入圖像的邊界超像素構(gòu)造背景信息集；③通過最小距離相似性測量算子學(xué)習(xí)每個超像素與背景信息集間的特征相似度，提取出深層特征；④定義學(xué)習(xí)過程的結(jié)束條件，判斷步驟③是否滿足結(jié)束條件，若滿足執(zhí)行⑥，否則執(zhí)行⑤；⑤利用反向傳播理論，將③中所述深層特征作為增強因子作用于本層輸入圖像，將增強處理后的圖像作為下一層學(xué)習(xí)過程的輸入圖像，執(zhí)行①，繼續(xù)下一層學(xué)習(xí)；⑥停止學(xué)習(xí)，將步驟③所述本層學(xué)習(xí)到的深層特征作為超像素的顯著特征，獲得最終顯著圖；⑦生成原始圖像的直線特征圖，將其與顯著圖融合，通過顯著區(qū)域定位和區(qū)域合并，確定機場目標(biāo)區(qū)域，完成目標(biāo)檢測。
【專利說明】
一種基于層次化増強學(xué)習(xí)的低分辨率機場目標(biāo)檢測方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于計算機視覺與圖像處理的應(yīng)用領(lǐng)域，涉及一種在低分辨率遙感圖像中 利用層次化增強學(xué)習(xí)思想的機場目標(biāo)檢測方法。遙感圖像中的機場目標(biāo)結(jié)構(gòu)復(fù)雜，在遠距 離成像時分辨率較低，在大幅面遙感圖像中目標(biāo)所占比例較小，背景中存在與目標(biāo)結(jié)構(gòu)、顏 色相似的建筑群，傳統(tǒng)的機場檢測方法大部分都是基于線性幾何特征或模板匹配方法，受 分辨率和成像質(zhì)量的影響較大。近幾年，有學(xué)者將顯著性模型引入到遙感目標(biāo)檢測中，對于 高分辨率的遙感目標(biāo)例如，建筑物、油庫等目標(biāo)取得了較好的檢測結(jié)果，但對于遠距離、低 分辨率的機場目標(biāo)檢測來說，現(xiàn)有的顯著性模型受相似結(jié)構(gòu)、對比度、顏色和分辨率等限制 和影響，很難將機場目標(biāo)從復(fù)雜地物背景中準(zhǔn)確、快速地檢測出來。
[0002] 針對這一問題，我們對現(xiàn)存的自底向上的數(shù)據(jù)驅(qū)動型的顯著性檢測方法進行了實 驗和總結(jié)，重點研究如何由底層特征生成深層特征來實現(xiàn)顯著性檢測。我們提出了一種基 于層次化增強學(xué)習(xí)思想的機場目標(biāo)顯著性檢測方法，該方法采用增強學(xué)習(xí)的理論，利用多 尺度超像素分割和基于最小距離的相似性測量算子逐層提取出深層特征，并在本層與下一 層之間利用反向傳播理論，用本層的學(xué)習(xí)系數(shù)指導(dǎo)下一層的學(xué)習(xí)，逐層強化各個區(qū)域之間 的差異，可以根據(jù)終止學(xué)習(xí)條件來自主決定學(xué)習(xí)的層數(shù)，直至將場景中最顯著的目標(biāo)區(qū)域 從背景中提取出來，再結(jié)合圖像的直線特征快速實現(xiàn)機場目標(biāo)的定位。
[0003] 這種基于層次化增強學(xué)習(xí)的顯著性檢測模型采用的是無監(jiān)督的學(xué)習(xí)方式，能夠自 適應(yīng)控制學(xué)習(xí)過程，不需要大量的訓(xùn)練樣本和訓(xùn)練時間，計算過程簡單，效率較高，對于大 幅面、低分辨率遙感圖像中的機場目標(biāo)具有較好的檢測性能。
【背景技術(shù)】
[0004] 隨著對地觀測技術(shù)的發(fā)展，遙感圖像在軍事和民用領(lǐng)域的應(yīng)用范圍日趨廣泛。在 圖像處理和模式識別理論飛速發(fā)展的推動下，對遙感圖像豐富信息的深度挖掘與智能處理 成為了研究的熱點和難點。遙感圖像信息豐富，數(shù)據(jù)量較大，不僅包括復(fù)雜多變的地面環(huán)境 和形狀各異的人造目標(biāo)，而且光照不均與云層遮擋所引起的模糊和大氣折射與大氣湍流所 造成的目標(biāo)變形與失真也對圖像質(zhì)量產(chǎn)生影響。遙感圖像獲取的過程中也受成像設(shè)備與天 氣的影響，當(dāng)光照變化、雨雪、煙塵和濃霧干擾時，獲得遙感圖像清晰度下降，而積水造成的 折射會改變目標(biāo)的外貌、紋理等信息，進而改變目標(biāo)的形狀和灰度等特征，同時，當(dāng)光照發(fā) 生變化時攝像設(shè)備由于過度或者不足曝光而導(dǎo)致目標(biāo)部分重要信息丟失，也會對目標(biāo)的檢 測造成極大的干擾，甚至導(dǎo)致檢測失敗。另外，遙感圖像中的目標(biāo)形狀多樣、顏色各異、結(jié)構(gòu) 多變，也對檢測造成干擾，目標(biāo)除了橋梁與機場等在空間上呈二維分布，其他大部分目標(biāo)呈 三維狀態(tài)，表現(xiàn)為目標(biāo)的陰影，對于目標(biāo)檢測來說，難度增大。遙感圖像中目標(biāo)存在被植被 或者其他障礙物遮擋的情況，故其形狀具有不完整性，由于航拍的圖像是隨機獲取的，因此 目標(biāo)的位置具有不確定性。正是由于復(fù)雜的外在環(huán)境給遙感圖像中的目標(biāo)檢測帶來了難 度，因此采用合適的方法將遙感目標(biāo)從背景復(fù)雜、環(huán)境多樣和信息量豐富的遙感圖像中檢 測出來成為諸多學(xué)者研究的重點。
[0005] 目前典型目標(biāo)的檢測識別算法主要包括:基于聚類的方法，基于特征匹配的方法 和基于分類器的方法等。基于聚類的方法是一種無監(jiān)督的算法，雖然此類方法不需要訓(xùn)練 樣本，減少了用于人工標(biāo)注和樣本訓(xùn)練的時間，但由于遙感圖像中存在目標(biāo)失真與變形的 情況，則采用非監(jiān)督的方法會造成錯檢和漏檢，具有較大的局限性，在遙感圖像的目標(biāo)檢測 中很難被廣泛應(yīng)用?；谔卣髌ヅ涞姆椒ㄍǔ＠玫蛯犹卣鞅热缂y理特征、局部特征描述 子等與模板特征匹配來實現(xiàn)檢測，運算量較大，自適應(yīng)能力較差?；诜诸惼鞯姆椒ú捎玫?分類器主要有支持向量機(SVM)、特征袋模型、Adaboost分類器、神經(jīng)網(wǎng)絡(luò)分類器等。這些方 法首先需要足夠數(shù)量的訓(xùn)練樣本來訓(xùn)練分類器，其次需要選擇合適有效的特征來進行分 類，并且需要人工標(biāo)定大量的樣本標(biāo)簽，時間開銷較大。
[0006] 專利CN103729848A提出了一種基于光譜顯著性的高光譜遙感圖像小目標(biāo)檢測方 法，該方法選取圖像的光譜信息和空間信息構(gòu)造特征向量，應(yīng)用改進的Itti模型和改進的 進化規(guī)劃方法局部顯著圖和全局顯著圖，最終生成總的視覺顯著圖，作為最終的目標(biāo)檢測 結(jié)果。該方法只能檢測出目標(biāo)區(qū)域的大致位置，而不能得到目標(biāo)精確的邊界信息，對于復(fù)雜 背景下的目標(biāo)檢測問題，該方法的適應(yīng)性較差。一種基于選擇性視覺注意機制的遙感圖像 機場目標(biāo)快速檢測和識別的方法由專利CN102214298A提出，該方法利用改進的注意力選擇 模型(GBVS)得到遙感圖像的顯著區(qū)域，然后根據(jù)區(qū)域上的SIFT特性結(jié)合HDR樹達到機場目 標(biāo)識別的目的。專利CN104156722A提出了一種基于高分辨率遙感圖像的機場目標(biāo)檢測方 法，該方法檢測圖像中的平行直線作為機場跑道，對圖像拍攝過程中的扭曲，遮擋等不確定 因素魯棒性較差。
[0007] 本發(fā)明針對低分辨率遙感圖像的機場檢測問題，提出一種新的基于層次化增強學(xué) 習(xí)思想的機場目標(biāo)顯著性檢測方法，能夠準(zhǔn)確、高效地解決大幅面遙感圖像中的機場目標(biāo) 檢測問題。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明提出一種基于層次化增強學(xué)習(xí)的低分辨率機場目標(biāo)檢測方法，其特征在 于:包括如下步驟：
[0009] 步驟1:將輸入的遙感圖像利用簡單線性迭代聚類算法（Simple Linear Iterative Clustering，SLIC)進行超像素分割，將圖像中近鄰區(qū)域內(nèi)具有顏色相似性的像 素聚類，采用超像素來表示聚為一類的區(qū)域，得到分割后的圖像；
[0010] 步驟2:提取分割后圖像中超像素的顏色特征作為各個區(qū)域的底層特征，構(gòu)建特征 集;再提取出位于圖像邊界位置的所有超像素的底層特征構(gòu)造背景信息集，利用圖論的方 法來提取背景信息集；
[0011] 步驟3:學(xué)習(xí)每個超像素與背景信息集間的特征相似度，采用基于最小距離的相似 性測量算子（Least Distance Similarity Measure operator，LDSM)，學(xué)習(xí)每個超像素與 背景之間的特征差異，突出與背景信息集差別超過預(yù)定閾值的超像素，壓制與背景信息集 差別小于預(yù)定閾值的超像素，使越接近背景信息集的超像素的學(xué)習(xí)系數(shù)越趨近于〇，從而得 到一種能夠反映圖像子區(qū)域與背景區(qū)域差異程度的深層特征；
[0012] 步驟4:定義學(xué)習(xí)過程的結(jié)束條件，判斷步驟3中所有超像素的深層特征是否滿足 該結(jié)束條件，若滿足則停止學(xué)習(xí)，執(zhí)行步驟6,若不滿足，則繼續(xù)下一層學(xué)習(xí)，執(zhí)行步驟5;
[0013] 步驟5:利用反向傳播的理論，將步驟3中學(xué)習(xí)得到的深層特征作為增強因子，反向 傳播至本層得輸入圖像，對本層經(jīng)過超像素分割后的圖像進行增強處理，并將增強后的新 圖像作為下一層學(xué)習(xí)的輸入圖像，執(zhí)行步驟1;這樣，通過多次無監(jiān)督的學(xué)習(xí)，逐層將圖像子 區(qū)域與背景區(qū)域的差異明顯化，使深層特征能夠辨別背景與目標(biāo)差異的能力不斷增強；
[0014] 步驟6:停止學(xué)習(xí)后，將步驟3中學(xué)習(xí)得到的深層特征作為對應(yīng)超像素區(qū)域的顯著 特征，從而得到最終的顯著圖；
[0015] 步驟7:生成原始遙感圖像的直線特征圖，將其與顯著圖進行融合得到特征融合 圖，根據(jù)特征融合圖中的最顯著區(qū)域來確定機場位置，同時通過區(qū)域合并確定機場范圍；在 遙感圖像中標(biāo)注相應(yīng)區(qū)域，即可獲得機場目標(biāo)檢測的最終結(jié)果。
[0016] 本發(fā)明具有如下的優(yōu)點和有益效果：
[0017] (1)本發(fā)明是基于最小距離的相似性測量算子的特征學(xué)習(xí)方法，對應(yīng)每個超像素 提取一個深層特征，從而學(xué)習(xí)出每個超像素與背景信息間的特征差異。
[0018] (2)本發(fā)明采用層次化增強的結(jié)構(gòu)框架自適應(yīng)學(xué)習(xí)深層特征。在圖像的每層學(xué)習(xí) 更新過程中，都使得目標(biāo)區(qū)域的特征表示更加顯著，同時壓制背景區(qū)域的特征表示，使得顯 著目標(biāo)逐步突顯出來。
[0019] (3)本發(fā)明自適應(yīng)決定學(xué)習(xí)層數(shù)。該模型根據(jù)不同的輸入圖像特征，得到不同的學(xué) 習(xí)結(jié)束閾值，當(dāng)增強矩陣中的目標(biāo)區(qū)域足夠顯著時，可以自動控制結(jié)束學(xué)習(xí)過程，從而自適 應(yīng)地決定學(xué)習(xí)的層數(shù)，減少了人工干預(yù)，這使得該算法對不同的輸入圖像具有很好的適應(yīng) 性。
[0020] (4)本發(fā)明采用由精到粗的超像素分割方法。在層次化學(xué)習(xí)中進行超像素分割時 先進行精細(xì)分割再進行粗分割。首先進行精細(xì)分割，可以提高分割的準(zhǔn)確性，便于得到圖像 中目標(biāo)物體的精確邊界信息，再進行粗分割，可以在保證準(zhǔn)確度的基礎(chǔ)上提高算法的快速 性。
[0021] (5)本發(fā)明采用顯著區(qū)域合并的方法確定機場目標(biāo)區(qū)域。在對特征融合圖進行處 理的過程中，合并與最顯著區(qū)域相鄰接的顯著區(qū)域，這使得停機坪、跑道等機場的各個部分 都可以被完整的檢測出來，同時對不同尺寸的機場具有靈活的適應(yīng)性，解決了超像素尺寸 與機場尺寸不匹配的矛盾。
[0022] 本發(fā)明提出的基于層次化增強學(xué)習(xí)的機場目標(biāo)檢測方法，可以準(zhǔn)確檢測出不同尺 寸和光照條件下低分辨率遙感圖像中的機場目標(biāo)，具有較好的魯棒性。
【附圖說明】
[0023] 圖1本發(fā)明針對低分辨率遙感圖像的機場目標(biāo)檢測算法流程圖詳解；
[0024] 圖2基于圖論的邊界超像素提取仿射矩陣示例；
[0025] 圖3本發(fā)明中的機場目標(biāo)檢測算法各步驟中間結(jié)果的示意圖；
[0026] 圖4本發(fā)明中的機場目標(biāo)檢測算法在多種尺度和光照條件下的檢測效果圖，圖4 (a)小尺寸機場目標(biāo)的檢測效果圖，圖4(b)大尺寸機場目標(biāo)的檢測效果圖，圖4(c)光照不充 足時機場目標(biāo)的檢測效果圖。
【具體實施方式】
[0027] 參見圖1所示，本發(fā)明針對低分辨率遙感圖像的層次化增強學(xué)習(xí)機場檢測算法，其 具體實施步驟如下：
[0028] 步驟1:將輸入的遙感圖像利用簡單線性迭代聚類算法(SLIC)進行超像素分割，將 圖像中近鄰區(qū)域內(nèi)具有顏色相似性的像素聚類，采用超像素來表示聚為一類的區(qū)域，得到 分割后的圖像；
[0029]對輸入圖像I，大小為WXH〗，利用SLIC進行超像素分割，SLIC算法是以彩色圖像的 顏色特征以及各像素點的位置信息為約束，采用K-means聚類算法進行聚類;提取圖像LAB 空間的顏色特征，將局部具有相似顏色特征的像素點用超像素來代表，進行下一步的運算， 減少了運算復(fù)雜度和計算量。選取超像素的個數(shù)為k，則分割后的圖像I包含k個超像素區(qū) 域，其超像素的特征集為P={pi，P2，^_，Pk};
[0030] 已知分割后的圖像中含有的超像素數(shù)目為k，選取每個超像素的顏色特征構(gòu)造底 層特征，即將圖像變換到LAB彩色空間，分別求取每個超像素中所有像素的L、A、B三通道的 值，取其均值，作為該超像素的底層特征，即對于第i個超像素，l<i<k，其底層特征 Pl表示 為：
[0031] pi= (lli, lai, lbi) (1)
[0032] 其中，llnlanlh分別表示在LAB顏色空間的第i個超像素中的所有像素點L、A、B 值的均值。
[0033] 步驟2:提取分割后的圖像中超像素的顏色特征作為各個區(qū)域的底層特征，構(gòu)建特 征集;再提取出位于圖像邊界位置的所有超像素的底層特征構(gòu)造背景信息集，利用圖論的 方法來提取背景信息集；
[0034] 根據(jù)背景先驗的原理，目標(biāo)出現(xiàn)在圖像中央位置的概率較大，而圖像邊界是背景 的概率較大；因此，基于這種假設(shè)，對于分割后的圖像I，超像素特征集為P={ P1，P2,…，Pk}， 將位于邊界的n個超像素提取出來，組成背景信息集Bilb^bs，…，b n}，0〈n〈k;利用圖論的 知識提取出邊界的超像素;將超像素分割后的圖像表示為一張圖模型6,6=(￥3)，￥是所有 超像素的集合且V = P，E是邊界超像素的集合，通過一個仿射矩陣W=(u;,Jt>￡i來提取邊界，對 于邊界的超像素來說，可以組成一個連通的集合，如果第^個超像素和第i 2個超像素相連則 W;V2=1，反之則％4,因此在仿射矩陣W中大部分的元素為0,通過該仿射矩陣，提取出位 于邊界的超像素集合B，即背景信息集B表示為：
[0035] B={bi,b2,-",bn},0<n<k (2)
[0036] bj= (llj，laj，lbj)，K j<n (3)
[0037] 其中n表示背景超像素的個數(shù)，h表示邊界超像素的底層特征，llplaplh分別表 示位于LAB顏色空間的第j個超像素中的所有像素點L、A、B值的均值。
[0038]步驟3:學(xué)習(xí)每個超像素與背景信息集間的特征相似度，采用基于最小距離的相似 性測量算子(LDSM)，學(xué)習(xí)每個超像素與背景之間的特征差異，突出與背景信息集差別超過 預(yù)定閾值的超像素，壓制與背景信息集差別小于預(yù)定閾值的超像素，使越接近背景信息集 的超像素的學(xué)習(xí)系數(shù)越趨近于〇,從而得到一種能夠反映圖像子區(qū)域與背景區(qū)域差異程度 的深層特征；
[0039] LDSM算子的求解模型：
[0040]假設(shè)數(shù)據(jù)集(Xq，yq)包含Q組數(shù)據(jù)，其中q=l，2,…，Q，q表示(x q，yq)數(shù)據(jù)集中的任 意一組數(shù)據(jù)，xq與yq分別為維數(shù)相同的列向量。xq是變量，而y q是其對應(yīng)的值;在回歸模型設(shè) 置中，滿足如下假設(shè):各觀測值yq相互獨立，并且Xq滿足正則分布，即其均值滿足E qXq/Q = 0，方差滿足5]^ 4 / 0 _= h
[0041 ]令相似性測量的學(xué)習(xí)系數(shù)為aq，則LDSM算子的公式定義為：
[0042] -argmin(^ -a..v,)" (A)
[0043]式(4)是一個線性不等式約束的二次規(guī)劃問題;知與7(1越接近，cgi趨近于1，反之 則遠離1;因此用學(xué)習(xí)系數(shù)％與1的相近程度作為xq與yq相似度的測量判別準(zhǔn)則;對于超像素 分割后的圖像I中的特征集P={ Pl，p2，…，Pk}，利用背景信息集，…，bn}使用上述 LSDM算子進行學(xué)習(xí)，經(jīng)過一次學(xué)習(xí)，得到圖像每個超像素區(qū)域相對背景信息集邏輯回歸后 的系數(shù)，…為），k表示所有超像素的個數(shù)；同時，這也是基于LDSM算子學(xué)習(xí)出來的 表示k個超像素所對應(yīng)的圖像子區(qū)域的深層特征；
[0044] 具體描述為:定義超像素數(shù)據(jù)集(Pl，b」），其中Pl表示特征集中超像素的底層特征， bj表示背景信息集中超像素的底層特征，8卟1￡?，匕￡8，定義€^為口1相對匕的學(xué)習(xí)系數(shù)，將 學(xué)習(xí)系數(shù)aij作用于其對應(yīng)的超像素底層特征pi，即aijpi，當(dāng)bj與aijpi最相似時，學(xué)習(xí)出ay的 值為：
[0045] argrnin(/?,.- a"/),.): \<i<k , \< j<n (5) aif
[0046]通過求解公式(5)，得到相似性測量的學(xué)習(xí)系數(shù)叫，當(dāng)pAb痛近時，叫近似為1; 當(dāng)仍與匕完全相等時，aij等于1;當(dāng)Pi與bj相差較大時，叫遠離1。由此，可將學(xué)習(xí)系數(shù) aij按公 式(6)規(guī)范化為則
[0047] li: = A (\ar： - l[) 1 < / < k , I < / < n (6)
[0048] 其中，#表示將| aij-1 |的取值范圍規(guī)范化到區(qū)間[0，1 ]。由此可得到一組規(guī)范化 后的學(xué)習(xí)系數(shù)，如下式所示： 'fiu Pn …fk,' h Pu …Ptn
[0049] ? ; ； ； Kpk\ '** Pitt J (7)
[0050] 第i行表示用特征集中第i個超像素去學(xué)習(xí)所有背景超像素所得到的學(xué)習(xí)系數(shù)，對 每行中各元素取均值，定義深層特征&的計算公式為：
[0051] (8) i=i
[0052] 其中n為背景超像素的個數(shù)；因此，由公式（7 )得到一個k維列向量 戶=(爲(wèi),爲(wèi)，…,汊），/5表示深層特征向量，k表示所有超像素的個數(shù)。
[0053]步驟4:定義學(xué)習(xí)過程的結(jié)束條件，判斷步驟3中所有超像素的深層特征是否滿足 該結(jié)束條件，若滿足則停止學(xué)習(xí)，執(zhí)行步驟6,若不滿足，則繼續(xù)下一層學(xué)習(xí)，執(zhí)行步驟5;
[0054] 經(jīng)過上述LDSM學(xué)習(xí)過程，得到深層特征向量/》= (々p爲(wèi),…,及），利用深層特征判斷 學(xué)習(xí)過程是否結(jié)束；
[0055] 定義判斷學(xué)習(xí)過程結(jié)束的閾值Te，其大小取決于學(xué)習(xí)到的深層特征的離散程度， 閾值定義如下：
(9)
[0057]其中歹表示深層特征的均值，Tp的值表示的是深層特征的方差，定義第i個深層特 征隊與其均值的偏差A(yù)隊為=丨爲(wèi)-，i = 1，2，…，k，k表示所有超像素的個數(shù);在本層 的學(xué)習(xí)過程中，當(dāng)滿足A WTe的隊的個數(shù)小于c時，學(xué)習(xí)終止，執(zhí)行步驟6,否則，執(zhí)行步驟5; 其中，c表示人工設(shè)定的學(xué)習(xí)結(jié)束閾值，設(shè)定c = 3,即認(rèn)為一幅圖像中顯著的超像素區(qū)域個 數(shù)不會大于3。
[0058]步驟5:利用反向傳播的理論，將步驟3中學(xué)習(xí)得到的深層特征作為增強因子，反向 傳播至本層輸入圖像，對本層經(jīng)過超像素分割后的圖像進行增強處理，并將增強后的新圖 像作為下一層學(xué)習(xí)的輸入圖像，執(zhí)行步驟1;這樣，通過多次無監(jiān)督的學(xué)習(xí)，逐層將圖像子區(qū) 域與背景區(qū)域的差異明顯化，使深層特征辨別背景與目標(biāo)差異的能力不斷增強；
[0059] 當(dāng)學(xué)習(xí)到的深層特征向量# = ，…,汊)不滿足學(xué)習(xí)結(jié)束條件時，構(gòu)造增強矩陣 A :
[0060] A = (f (fo) ,f (fe), ??? ,f (&)) (10)
[0061] f(Pi)=Pi2 (11)
[0062] 即f(&)為&的正相關(guān)函數(shù)，f(&)稱為增強因子。
[0063] 反向傳播算法(Back-propagation Algorithm)最早應(yīng)用于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，是用來 訓(xùn)練多層感知器的監(jiān)督學(xué)習(xí)算法。反向傳播算法利用梯度下降原理，計算權(quán)重系數(shù)在學(xué)習(xí) 過程中對網(wǎng)絡(luò)存在的影響即學(xué)習(xí)誤差，通過前向傳導(dǎo)和反向回饋來控制網(wǎng)絡(luò)的學(xué)習(xí)程度。 假設(shè)給定一個學(xué)習(xí)集合，對其進行前向傳導(dǎo)的學(xué)習(xí)，計算其學(xué)習(xí)系數(shù)，計算學(xué)習(xí)到的誤差， 誤差表明了本次學(xué)習(xí)的有效性，將這個誤差作為參數(shù)返回到原學(xué)習(xí)網(wǎng)絡(luò)中進行調(diào)整原參數(shù) 的權(quán)重，再進行下一次的學(xué)習(xí)，如此周而復(fù)始直至得到的學(xué)習(xí)誤差小到可以接受的范圍而 停止學(xué)習(xí)。對于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)來說，算法需要大量的樣本來進行訓(xùn)練，才能使其結(jié)果更接 近真實的情況。雖然這種算法不適用于無監(jiān)督學(xué)習(xí)的情況，但是我們在分層學(xué)習(xí)的算法中 借鑒了這種反向傳播的思想，并將其延伸到無監(jiān)督學(xué)習(xí)的領(lǐng)域內(nèi)，即通過每層學(xué)習(xí)得到的 學(xué)習(xí)系數(shù)，反饋至該層的輸入圖像中，對輸入圖像進行更新，這是反向的過程;將更新之后 的圖像在層與層之間進行傳遞，這是傳播的過程，通過這一反向傳播過程，使背景特征逐步 被壓制，從而突出目標(biāo)區(qū)域；
[0064]根據(jù)反向傳播的分層學(xué)習(xí)理論，將增強矩陣反向傳播至本層輸入圖像的位置，增 強輸入圖像，如公式(12)所示：
[0065] It+i = It.* A = (pi,P2, ??? ,Pk) - *(f (Pi) ,f (fe), ??? ,f (&)) (12)
[0066] It表示本層的輸入圖像，It+1表示下一層的輸入圖像，t為本層層級數(shù)，表示兩 個矩陣中對應(yīng)元素相乘。
[0067] 在第t次的學(xué)習(xí)過程中，對于本層的輸入圖像It，利用SLIC算法對其進行超像素分 害J，將圖像分割為kt個圖像子區(qū)域，則輸入圖像包含近似kt個超像素;采用的超像素分割數(shù) 目滿足以下條件：
[0068] ki ^ k2 ^ k3 ^ ^ kt ^ ?t = 1,2,3, ? ? ? (13)
[0069] 即本算法采用由精到粗的分割模式，最初的精細(xì)分割能夠準(zhǔn)確地保留圖像的邊緣 特征，而后續(xù)的粗分割可以適當(dāng)減少運算量。
[0070] 更新后的圖像It+1將作為下一層的輸入圖像開始下一層的增強學(xué)習(xí)。執(zhí)行步驟1。
[0071] 步驟6:停止學(xué)習(xí)后，將步驟3中學(xué)習(xí)得到的深層特征作為對應(yīng)超像素區(qū)域的顯著 特征，從而得到最終的顯著圖；
[0072] 當(dāng)深層特征滿足迭代結(jié)束條件時，則結(jié)束學(xué)習(xí)過程;并將此時的增強矩陣A作為 對應(yīng)超像素的顯著特征，即顯著圖S可表示為：
[0073] S= At (14)
[0074] AT表示在第T層學(xué)習(xí)過程中得到的增強矩陣A，T為總的學(xué)習(xí)迭代次數(shù)。
[0075]步驟7:生成原始遙感圖像的直線特征圖，將其與顯著圖進行融合得到特征融合 圖，根據(jù)特征融合圖中的最顯著區(qū)域確定機場位置，同時通過區(qū)域合并確定機場范圍；在遙 感圖像中標(biāo)注相應(yīng)區(qū)域，即可獲得機場目標(biāo)檢測的最終結(jié)果。
[0076]利用LSD直線特征提取方法得到原始圖像的直線特征，對于每個像素點，用5X5的 小區(qū)域進行遍歷，統(tǒng)計每個小區(qū)域中的直線數(shù)目，作為該像素點的直線特征值，由此方法可 生成原始圖像的直線特征圖U。
[0077]將顯著圖S與直線特征圖U進行特征融合：
[0078] Sfinai = SXLi (15)
[0079] 對于特征融合圖Sfinal，設(shè)pmax為最顯著區(qū)域，則認(rèn)為p max的位置即為機場目標(biāo)所在 的位置;設(shè)Pm為與Pmax鄰接的超像素 ，Pm G P，gpm處的顯著性值大于某一閾值th，貝lj認(rèn)為Pm區(qū) 域足夠顯著，同樣將其視為機場區(qū)域，將超像素~與1^\合并；同理，合并所有與Pmax鄰接的 顯著區(qū)域，得到新的顯著區(qū)域Pall:
[0080] Pall - Pmax+. ? .+Pm+. ? ? ( 16 )
[0081] 其中，pm表示顯著性值大于th且與pmax鄰接的區(qū)域，該公式中' + '表示區(qū)域合并；
[0082] pall的顯著區(qū)域代表了遙感圖像中機場目標(biāo)的尺寸和位置信息，以Sfinal為模板，以 paii區(qū)域作為目標(biāo)區(qū)域，在遙感圖像中標(biāo)注出對應(yīng)的區(qū)域，即為檢測到的機場目標(biāo)。
[0083] 圖2是基于圖論的邊界超像素提取仿射矩陣示例圖。在邊界超像素的提取過程中， 利用圖論模型，將整幅圖像看作一張圖，其中，圖的結(jié)點為每個超像素區(qū)域，相鄰結(jié)點之間 有邊相連。利用該圖模型構(gòu)造仿射矩陣，通過仿射矩陣，可以提取出位于邊界的超像素集 合。
[0084] 圖3是本發(fā)明中機場目標(biāo)檢測算法各步驟中間結(jié)果的示意圖，圖中列舉出對圖像 利用SLIC進行超像素分割、背景信息集提取、顯著圖檢測、特征融合以及機場區(qū)域標(biāo)注等步 驟的結(jié)果示例圖。由示意圖可以看出，由深層特征學(xué)習(xí)生成的顯著圖對多種機場目標(biāo)都能 夠完整地描述出機場所在的顯著區(qū)域，經(jīng)過區(qū)域合并等處理步驟后，顯著圖更整潔，機場區(qū) 域更完整，檢測效果更精確。
[0085] 圖4是本發(fā)明中機場目標(biāo)檢測算法在多種尺度和光照條件下的檢測效果圖。圖4 (a)是對小尺寸機場的檢測效果圖。從檢測結(jié)果可以看出，本發(fā)明提出的這種機場目標(biāo)檢測 方法能夠較好地檢測出整個機場區(qū)域，并且能夠很好地壓制周圍背景區(qū)域的干擾，因此，該 顯著圖與經(jīng)處理后的顯著圖相差不大，檢測出的機場顯著區(qū)域比較完整。圖4(b)是對大尺 寸機場的檢測效果圖。從檢測結(jié)果可以看出，實際機場區(qū)域由多個顯著的超像素塊拼接而 成，經(jīng)過區(qū)域合并后，將所有顯著區(qū)域合并成一幅完整的顯著圖，得到了更準(zhǔn)確的機場目標(biāo) 區(qū)域。圖4(c)是在光照不充足的條件下機場的檢測效果圖。從檢測結(jié)果可以看出，當(dāng)光照不 足時，該機場檢測模型仍能夠準(zhǔn)確地提取出機場所在位置，雖然完整檢測出整個機場區(qū)域 的能力不如光照條件良好時，但是經(jīng)過區(qū)域合并等處理，該模型仍然能夠準(zhǔn)確地定位機場 區(qū)域。由圖4可以看出，這種基于層次化增強學(xué)習(xí)的機場檢測方法對于遙感圖像的地表環(huán) 境、目標(biāo)尺度大小以及光照變化都具有很好的自適應(yīng)能力，即該算法具有應(yīng)用范圍廣，魯棒 性好的特點。
【主權(quán)項】
1. 一種基于層次化增強學(xué)習(xí)的低分辨率機場目標(biāo)檢測方法，其特征在于包括如下步 驟： 步驟1:將輸入的遙感圖像利用簡單線性迭代聚類算法（Simple Linear Iterative Clustering，SLIC)進行超像素分割，將圖像中近鄰區(qū)域內(nèi)具有顏色相似性的像素聚類，采 用超像素來表示聚為一類的區(qū)域，得到分割后的圖像； 步驟2:提取分割后圖像中超像素的顏色特征作為各個區(qū)域的底層特征，構(gòu)建特征集； 再提取出位于圖像邊界位置的所有超像素的底層特征構(gòu)造背景信息集，利用圖論的方法來 提取背景息集； 步驟3:學(xué)習(xí)每個超像素與背景信息集間的特征相似度，采用基于最小距離的相似性測 量算子（Least Distance Similarity Measure operator，LDSM)，學(xué)習(xí)每個超像素與背景 之間的特征差異，突出與背景信息集差別超過預(yù)定閾值的超像素，壓制與背景信息集差別 小于預(yù)定閾值的超像素，使越接近背景信息集的超像素的學(xué)習(xí)系數(shù)越趨近于〇,從而得到一 種能夠反映圖像子區(qū)域與背景區(qū)域差異程度的深層特征； 步驟4:定義學(xué)習(xí)過程的結(jié)束條件，判斷步驟3中所有超像素的深層特征是否滿足該結(jié) 束條件，若滿足則停止學(xué)習(xí)，執(zhí)行步驟6,若不滿足，則繼續(xù)下一層的學(xué)習(xí)，執(zhí)行步驟5; 步驟5:利用反向傳播的理論，將步驟3中學(xué)習(xí)得到的深層特征作為增強因子，反向傳播 至本層的輸入圖像，對本層經(jīng)過超像素分割后的圖像進行增強處理，并將增強后的新圖像 作為下一層學(xué)習(xí)的輸入圖像，執(zhí)行步驟1;這樣，通過多次無監(jiān)督的學(xué)習(xí)，逐層將圖像子區(qū)域 與背景區(qū)域的差異明顯化，使深層特征能夠辨別背景與目標(biāo)差異的能力不斷增強； 步驟6:停止學(xué)習(xí)后，將步驟3中學(xué)習(xí)得到的深層特征作為對應(yīng)超像素區(qū)域的顯著特征， 從而得到最終的顯著圖； 步驟7:生成原始遙感圖像的直線特征圖，將其與顯著圖進行融合得到特征融合圖，根 據(jù)特征融合圖中的最顯著區(qū)域確定機場位置，同時通過區(qū)域合并確定機場范圍；在遙感圖 像中標(biāo)注相應(yīng)區(qū)域，即可獲得機場目標(biāo)檢測的最終結(jié)果。2. 如權(quán)利要求1所述的基于層次化增強學(xué)習(xí)的低分辨率機場目標(biāo)檢測方法，其特征在 于:利用步驟1所述對圖像進行超像素分割，具體步驟包括： 對輸入圖像I，大小為W1XH1，利用SLIC進行超像素分割，SLIC算法是以彩色圖像的顏色 特征以及各像素點的位置信息為約束，采用K-means聚類算法進行聚類;提取圖像LAB空間 的顏色特征，將局部具有相似顏色特征的像素點用超像素來代表，進行下一步的運算，減少 了運算復(fù)雜度和計算量;選取超像素的個數(shù)為k，則分割后的圖像I包含k個超像素區(qū)域，其 超像素的特征集為Ρ={ρι，Ρ2,…，pk}; 已知分割后的圖像中含有的超像素數(shù)目為k，選取每個超像素的顏色特征構(gòu)造底層特 征，即將圖像變換到LAB彩色空間，分別求取每個超像素中所有像素的L、A、B三通道的值，取 其均值，作為該超像素的底層特征，即對于第i個超像素 ，I Si Sk，其底層特征Pl表示為： Pi=(lli,lai,lbi) (1) 其中，Il1, Ia1, Ib1分別表示在LAB顏色空間的第i個超像素中的所有像素點L、A、B值的 均值。3. 如權(quán)利要求1所述的基于層次化增強學(xué)習(xí)的低分辨率機場目標(biāo)檢測方法，其特征在 于:步驟2所述提取位于圖像邊界位置的所有超像素，構(gòu)造背景信息集;具體包括： 根據(jù)背景先驗的原理，目標(biāo)出現(xiàn)在圖像中央位置的概率較大，而圖像邊界是背景的概 率較大；因此，基于這種假設(shè)，對于分割后的圖像I，超像素的特征集為P={Pl，p2，"_，Pk}d# 位于邊界的η個超像素提取出來，組成背景信息集B= Ib1J2，…，bn}，0<n<k;利用圖論的 知識來提取邊界的超像素;將超像素分割后的圖像表示為一張圖模型6,6=(￥3)，￥是所有 超像素的集合且V = P，E是邊界超像素的集合，通過一個仿射矩陣胃=(%?2)ω來提取邊界，對 于邊界的超像素來說，可以組成一個連通的集合，如果第1:個超像素和第i 2個超像素相連則 % =1，反之則％ *因此在仿射矩陣W中大部分的元素為0,通過該仿射矩陣，提取出位 于邊界的超像素集合B，即背景信息集B表示為： B= {bi,b2, ··· ,bn} ,0<n<k (2) bj = (11 j，Iaj，Ibj)，K j (3) 其中n表示背景超像素的個數(shù)，h表示邊界超像素的底層特征，IIj，Iaj，Ibj分別表示位 于LAB顏色空間的第j個超像素中的所有像素點L、A、B值的均值。4.如權(quán)利要求1所述的基于層次化增強學(xué)習(xí)的低分辨率機場目標(biāo)檢測方法，其特征在 于:步驟3所述采用基于最小距離的相似性測量(LDSM)算子的特征學(xué)習(xí)方法，學(xué)習(xí)出一種能 夠反映圖像子區(qū)域與背景區(qū)域差異程度的深層特征，具體包括： LDSM算子的求解模型： 假設(shè)數(shù)據(jù)集(xq，yq)包含Q組數(shù)據(jù)，其中q=l，2,…，Q，q表示(xq，y q)數(shù)據(jù)集中的任意一組 數(shù)據(jù)，Xq與yq分別為維數(shù)相同的列向量;Xq是變量，而yq是其對應(yīng)的值;在回歸模型設(shè)置中， 滿足如下假設(shè):各觀測值y q相互獨立，并且Xq滿足正則分布，即其均值滿足Σ qXq/Q=0，方差 滿足K W = 1; 令相似性測量的學(xué)習(xí)系數(shù)為aq，則LDSM算子的公式定義為：式(4)是一個線性不等式約束的二次規(guī)劃問題;Xtr^yq越接近，％越趨近于1，反之則遠 離1;因此用學(xué)習(xí)系數(shù)aq與1的相近程度作為Xtr^yq相似度的測量判別準(zhǔn)則;對于超像素分割 后的圖像I中的特征集P= {pi，P2，···，Pk}，利用背景信息集B= {bi，b2,…，bn}使用上述LSDM 算子進行學(xué)習(xí)，經(jīng)過一次學(xué)習(xí)，得到圖像每個超像素區(qū)域相對背景信息集邏輯回歸后的系 數(shù)? =((?,?,…k表示所有超像素的個數(shù);同時，這也是基于LDSM算子學(xué)習(xí)出來的表示 k個超像素所對應(yīng)的圖像子區(qū)域的深層特征； 具體描述為:定義超像素數(shù)據(jù)集(Pl，h)，其中？1表示特征集中的超像素的底層特征，bj 表示背景信息集中的超像素的底層特征，即P1EP, b」eB，定義<^為?1相對h的學(xué)習(xí)系數(shù)，將 學(xué)習(xí)系數(shù)aij作用于其對應(yīng)的超像素底層特征pi，即aijpi，當(dāng)bj與CXijp i最相似時，學(xué)習(xí)出Ciij的 值為：通過求解公式(5)，得到相似性測量的學(xué)習(xí)系數(shù)(?，當(dāng)pAb姻近時，(?近似為1;當(dāng)？1與 bj完全相等時，Ctij等于1;當(dāng)Pi與bj相差較大時，Ctij遠離1;由此，將學(xué)習(xí)系數(shù)Ct ij按公式(6)規(guī) 范化為，則 /?" = - ij) ]</</(> I < / < // ( 6 ) 其中，#表示將I au-1 I的取值范圍規(guī)范化到區(qū)間[0，1]，由此得到一組規(guī)范化后的學(xué) 習(xí)系數(shù)，如下式所示：第i行表示用特征集中第i個超像素去學(xué)習(xí)所有背景超像素所得到的學(xué)習(xí)系數(shù)，對每行 中各元素取均值，定義深層特征&的計算公式為：其中η為背景超像素的個數(shù)。因此，由公式(7)得到一個k維列向量# = ···,/?,/>，/) 表示深層特征向量，k表示所有超像素的個數(shù)。5. 如權(quán)利要求1所述的基于層次化增強學(xué)習(xí)的低分辨率機場目標(biāo)檢測方法，其特征在 于：按照步驟4所述定義學(xué)習(xí)過程的結(jié)束條件，判斷本層的深層特征是否滿足所述結(jié)束條 件，具體包括： 經(jīng)過上述LDSM學(xué)習(xí)過程，得到深層特征向量# = 爲(wèi),···，爲(wèi))，利用深層特征判斷學(xué)習(xí) 過程是否結(jié)束； 定義判斷學(xué)習(xí)過程結(jié)束的閾值Te,其大小取決于學(xué)習(xí)到的深層特征的離散程度，閾值定 義如下：其中歹表示深層特征的均值，Te的值表示的是深層特征的方差，定義第i個深層特征隊 與其均值的偏差八01為4/?,=^/?, -//)，1 = 1，2，~氺沽表示所有超像素的個數(shù);在本層的學(xué) 習(xí)過程中，當(dāng)滿足A 的個數(shù)小于c時，學(xué)習(xí)終止，執(zhí)行步驟6,否則，執(zhí)行步驟5;其 中，c表示人工設(shè)定的學(xué)習(xí)結(jié)束閾值，設(shè)定c = 3,即認(rèn)為一幅圖像中顯著的超像素區(qū)域個數(shù) 不會大于3。6. 如權(quán)利要求1所述的基于層次化增強學(xué)習(xí)的低分辨率機場目標(biāo)檢測方法，其特征在 于:按照步驟5所述，利用反向傳播思想更新下一層的輸入圖像，具體包括： 當(dāng)學(xué)習(xí)到的深層特征向量# = 不滿足學(xué)習(xí)結(jié)束條件時，構(gòu)造增強矩陣Λ : Λ =(f(01)，f(02)，."，f(ft〇) (10) f (β?) =β?2 (11) 即f(&)為&的正相關(guān)函數(shù)，f(&)稱為增強因子； 反向傳播算法(Back-propagation Algorithm)根據(jù)分層學(xué)習(xí)的理論，將增強矩陣反向 傳播至本層輸入圖像的位置，增強輸入圖像，如公式(12)所示： It+i = It.*A =(pi，p2，···，pk) .*(f(Pi)，f(&)，···，f(Pk)) (12) It表示本層的輸入圖像，It+1表示下一層的輸入圖像，t為本層層級數(shù)，表示兩個矩 陣中對應(yīng)元素相乘； 在第t次的學(xué)習(xí)過程中，對于本層的輸入圖像It，應(yīng)用SLIC算法對其進行超像素分割，將 圖像分割為kt個圖像子區(qū)域，則輸入圖像包含kt個超像素;采用的超像素分割數(shù)目滿足以下 條件： ki^k2^k3^ ··· ^kt^ ··· j t = 1,2,3, ··· (13) 即采用由精到粗的分割模式，最初的精細(xì)分割能夠準(zhǔn)確地保留圖像的邊緣特征，后續(xù) 的粗分割可以適當(dāng)減少運算量； 更新后的圖像1*+1將作為下一層的輸入圖像開始下一層的學(xué)習(xí)，執(zhí)行步驟1。7. 如權(quán)利要求1所述的基于層次化增強學(xué)習(xí)的低分辨率機場目標(biāo)檢測方法，其特征在 于:按照步驟6所述結(jié)束學(xué)習(xí)，獲得顯著圖，具體包括： 當(dāng)深層特征滿足迭代結(jié)束條件時，則結(jié)束學(xué)習(xí)過程;并將此時的增強矩陣Λ作為對應(yīng) 超像素的顯著特征，即顯著圖S可表示為： S= A T (14) At表示在第T層學(xué)習(xí)過程中得到的增強矩陣Λ，Τ為總的學(xué)習(xí)迭代次數(shù)。8. 如權(quán)利要求1所述的基于層次化增強學(xué)習(xí)的低分辨率機場目標(biāo)檢測方法，其特征在 于:步驟7所述利用顯著圖與直線特征圖進行融合，獲得最終的目標(biāo)檢測結(jié)果，定位機場目 標(biāo)，具體包括： 利用LSD直線特征提取方法得到原始圖像的直線特征，對于每個像素點，用5X5的小區(qū) 域進行遍歷，統(tǒng)計每個小區(qū)域中的直線數(shù)目，作為該像素點的直線特征值，由此方法可生成 原始遙感圖像的直線特征圖L1; 將顯著圖S與直線特征圖L1進行特征融合： Sfinal = SXLl (15) 對于特征融合圖Sfinal，設(shè)pmax為最顯著區(qū)域，則認(rèn)為pmax的位置即為機場目標(biāo)所在的位 置;設(shè)Pm為與PmaJ接的超像素 ，Pm e P，Spm處的顯著性值大于某一閾值th，則認(rèn)為pm區(qū)域足 夠顯著，同樣將其視為機場區(qū)域，將超像素~與~^合并；同理，合并所有與 pmax鄰接的顯著 區(qū)域，得到新的顯著區(qū)域Pall: Pali - Pmax+· · ·+Pm+· · · ( 16 ) 其中，Pm表示顯著性值大于th且與Pmax鄰接的區(qū)域，該公式中' + '表示區(qū)域合并； Pall所在的顯著區(qū)域代表了在遙感圖像中檢測到的顯著目標(biāo)的尺寸與位置信息，以 Sflnal為模板，以Pall為目標(biāo)區(qū)域，在遙感圖像中標(biāo)注出對應(yīng)區(qū)域，即為檢測到的機場目標(biāo)。
【文檔編號】G06K9/46GK105930868SQ201610247053
【公開日】2016年9月7日
【申請日】2016年4月20日
【發(fā)明人】趙丹培, 馬媛媛, 姜志國, 史振威
【申請人】北京航空航天大學(xué)