專利名稱：一種弱監(jiān)督的sar圖像分類方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像分類領(lǐng)域，更具體地涉及一種弱監(jiān)督的SAR圖像分類方法。
背景技術(shù)：
在過去的十年內(nèi)，我們目睹了大量的星載和機(jī)載SAR系統(tǒng)的誕生和發(fā)展。大量的 高分辨率SAR圖像可以被用來支持精確的地表觀測(cè)和制圖應(yīng)用。然而，如何利用計(jì)算機(jī)有 效的處理這些大量的數(shù)據(jù)仍然是一個(gè)未被解決的難題?，F(xiàn)有的很多SAR圖像分類算法都需 要精確的手動(dòng)標(biāo)注數(shù)據(jù)來進(jìn)行訓(xùn)練，這些方法往往需要大量的人力物力，并且很難擴(kuò)展到 新的數(shù)據(jù)，新的類別和新的應(yīng)用中。語義模型最初是用來描述和分析文本的產(chǎn)生過程。語義模型采用多個(gè)(K個(gè))“隱 變量”或者“主題”，來描述文本和單詞之間的關(guān)系。在很多應(yīng)用中，這些語義變量是通過一 些諸如聚類的非監(jiān)督方法獲得的。在圖像處理應(yīng)用中，文本則變成了圖像或者子圖像，單詞 則變成了“視覺單詞”，也就是局部特征的聚類量化中心。通常這些“視覺單詞”是通過一些 像K-means的聚類算法對(duì)圖像中的局部特征進(jìn)行聚類獲得的。盡管子圖像級(jí)的語義信息被 引入，單一尺度上的特征表示對(duì)高分辨率SAR圖像分類任務(wù)來說仍然是不夠的。多尺度信 息可以有效的解決一些局部的分類歧義并且可以在較大的尺度上傳播這種語義信息。雖然SAR圖像監(jiān)督分類算法可以取得不錯(cuò)的分類效果。但是在實(shí)際應(yīng)用中，人們 往往發(fā)現(xiàn)獲取真實(shí)的全標(biāo)注訓(xùn)練數(shù)據(jù)是非常困難的。因此，研究一個(gè)可以直接從關(guān)鍵詞標(biāo) 注的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的弱監(jiān)督SAR圖像分類算法是很有必要的。

發(fā)明內(nèi)容
本發(fā)明目的是針對(duì)現(xiàn)有圖像分類技術(shù)的不足和缺陷，提出了一種弱監(jiān)督的SAR圖 像分類方法。本發(fā)明提供的弱監(jiān)督SAR圖像分類方法包括以下具體步驟步驟1，分割圖像，即先將SAR圖像分割成多個(gè)子圖像，然后將各子圖像格網(wǎng)劃分 成互不重疊的矩形區(qū)域；步驟2，建樹，即將每個(gè)矩形區(qū)域采用一個(gè)建立在多尺度信息上的局部四叉樹描 述，局部四叉樹的葉子節(jié)點(diǎn)為矩形區(qū)域中的一個(gè)圖像塊；步驟3，建模，即通過建立分級(jí)的馬爾科夫主題模型，一個(gè)子圖像中的所有矩形區(qū) 域被它們共享的語義模型聯(lián)系在一起，這些語義模型將子圖像作為一個(gè)整體來描述其地物 分類概率；步驟4，訓(xùn)練與推理，即根據(jù)對(duì)步驟1中所得的子圖像中一部分的預(yù)先關(guān)鍵詞標(biāo) 注，基于步驟3構(gòu)建的分級(jí)馬爾科夫主題模型進(jìn)行學(xué)習(xí)訓(xùn)練，然后用訓(xùn)練后所得分級(jí)馬爾 科夫主題模型對(duì)剩下的子圖像進(jìn)行語義標(biāo)注。本發(fā)明技術(shù)方案能同時(shí)利用圖像的數(shù)據(jù)信息，圖像與圖像之間的相關(guān)性息和圖像 在多個(gè)尺度上的相關(guān)信息，因而很好的克服了 SAR圖像分類中的一些局部不確定性問題。 另一方面，該方法可以從少量的弱信息，即從關(guān)鍵詞標(biāo)注的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)SAR圖像的分類模型，可以大幅度的減少獲取精確訓(xùn)練數(shù)據(jù)的難度。


圖1為實(shí)施例的弱監(jiān)督SAR圖像分類流程。圖2為實(shí)施例的TerraSAR-X圖像分類精度隨訓(xùn)練數(shù)據(jù)比例變化而變化的曲線圖。
具體實(shí)施例方式下面對(duì)弱監(jiān)督的SAR圖像分類方法的基本原理和相關(guān)概念加以說明。⑴語義模型語義模型最初是用來描述和分析文本的產(chǎn)生過程。語義模型采用多個(gè)(K個(gè))“隱 變量”或者“主題”，z = {1，...，K}，來描述文本和單詞之間的關(guān)系。在很多應(yīng)用中，這些 語義變量是通過一些諸如聚類的非監(jiān)督方法獲得的。這里，我們通過將這些隱變量和地物 場(chǎng)景類別的等價(jià)使得我們可以以一種監(jiān)督的方式來訓(xùn)練語義模型。令D = {d” . . .，dN}為 文本集合，則基本的語義模型假設(shè)每一個(gè)文本屯中的每一個(gè)詞語％都擁有一個(gè)關(guān)聯(lián)的隱 語義模型Zj，而且此文本可以通過從一個(gè)文本相關(guān)的混合分布P(z I eg中采樣隱語義變量 Zj，又從這些隱語義變量~和單詞之間的概率分布P(w|z)中采樣每一個(gè)單詞來產(chǎn)生整個(gè)文 本?；诖耍總€(gè)文本都可以被看做是一組從下式中采樣而來的，詞與詞之間相互獨(dú)立的單 詞包 于是，整個(gè)文本集合產(chǎn)生的概率可以被描述為 其中，nwi是單詞w在文本屯中出現(xiàn)的頻率，V是整個(gè)詞典的大小。文本和隱語義標(biāo)號(hào)之間的產(chǎn)生概率P(z | d)對(duì)于每個(gè)輸入的文本都要進(jìn)行估計(jì)。 在最基本的概率隱語義模型中(Probabilisic Latent Semantic Aspect,PLSA)中，這些參 數(shù)的估計(jì)沒有任何約束。然而，其Bayesian擴(kuò)展Latent Di richlet Allocation (LDA)則 在被估計(jì)的參數(shù)中加入了 Dirichlet分布的先驗(yàn)知識(shí)。Dirichlet先驗(yàn)促使語義模型具有 更加稀疏的參數(shù)從而獲得更加明確的分類結(jié)果。實(shí)際應(yīng)用中，除了在訓(xùn)練數(shù)據(jù)很少的情形 下，PLSA往往獲得和LDA差不多的效果。但LDA的運(yùn)算量卻遠(yuǎn)遠(yuǎn)大于PLSA。因此，本文選 用PLSA來對(duì)SAR圖像進(jìn)行分類。PLSA可以通過期望最大化算法(Expectation Maximization，EM)來訓(xùn)練。整個(gè) 訓(xùn)練分為不斷迭代的兩步期望估計(jì)P (z | w, dj) P(w | z) P (z | dj)對(duì)P (w | z)和P (z | cQ的重新估計(jì)(M步)。給定P (z | cQ，M步的估計(jì)如下 上述三式的估計(jì)每次都須進(jìn)行歸一化。EM算法同樣用在PLSA對(duì)于新文本的推理過程中，通過不斷的迭代估計(jì)P(zk，d)和P(z|d)，而P(w|z)卻始終保持為訓(xùn)練所得的值。(2)基于四叉樹的分級(jí)馬爾科夫模型我們的四叉樹描述和Laferte等的四叉樹描述非常類似。其中樹的最底層是由一 些大小為S*S個(gè)像素的圖像塊組成的網(wǎng)格。在四叉樹的每一層中，每2*2個(gè)非重疊的“兒 子”圖像塊合并為一個(gè)“父親”圖像塊，整個(gè)過程持續(xù)到整個(gè)樹具有L+1個(gè)層?！癓”同時(shí)表 示最精細(xì)的一層，而“0”則表示最粗糙的一層。每一個(gè)層次的圖像塊都被重新下采到S*S 個(gè)像素大小的圖像塊并單獨(dú)提取圖像特征。同時(shí)，每一層的圖像特征都單獨(dú)進(jìn)行量化。總 之，一副SAR圖像分割成多個(gè)子圖像，一個(gè)子圖像分成多個(gè)矩形區(qū)域，一個(gè)矩形區(qū)域分為多 個(gè)圖像塊，具體實(shí)施時(shí)分割數(shù)目根據(jù)實(shí)際情況而定。令B表示四叉樹中的所有節(jié)點(diǎn)，給定一個(gè)特定的節(jié)點(diǎn)b e B，其父節(jié)點(diǎn)如果存在則 被表示為b_，同樣其四個(gè)子節(jié)點(diǎn)集合如果存在被表示為b+。d(b)被用來表示包括b以及b 的所有“后代”，并且孑{b)=表示所有其它的節(jié)點(diǎn)集合。同時(shí)令y表示四叉樹中的觀 察數(shù)據(jù)，也就是量化后的視覺單詞，x表示一個(gè)對(duì)應(yīng)的未知類別標(biāo)號(hào)。具備了上面的符號(hào)定義，我們定義一個(gè)具有如下形式的分級(jí)馬爾科夫模型" P(y|x) =nbGBP(yb|xb)其中，傳遞概率是一個(gè)被整個(gè)四叉樹共享的自由參數(shù)。下文中，我們將概率 約束為一個(gè)Potts模型并利用隱語義模型來幫助學(xué)習(xí)P(yb|xb)。關(guān)于標(biāo)號(hào)x的推理則采用標(biāo)準(zhǔn)的樹結(jié)構(gòu)信息傳播算法，這一算法通過連接上下的 信息通道來為每一個(gè)節(jié)點(diǎn)推理其邊緣概率P (Xb I y)。因?yàn)閅) = p{xb I Xb_ )p(xh_)，所以 有P(xh. \ y)^p(y\xy)p{xb_)P 同時(shí)因?yàn)橹懒?xb或者就可以將y分解為在xb節(jié)點(diǎn)的項(xiàng)和位于xb下的一項(xiàng)， 通過上式的分解方式，P(yd(b) |xb)可以通過一個(gè)自底向上的迭代方式來定義
P{yd(h) \xh) = P(yh | xb)Y[csb+ P{yd(c) I )這里的來自“兒子”節(jié)點(diǎn)傳向“父親”節(jié)點(diǎn)的消息定義為 在上面的節(jié)點(diǎn)中，這步允許我們?nèi)ビ?jì)算P(y | x0)，因此有P(x01 y) ocP(y | Xq)P(Xq)。 可以得到 同樣，我們可以得到
基于上文的分析，不難發(fā)現(xiàn)消息廣、7、的下傳播可以保證P (xb | y)被精確計(jì)
算。需要注意的是我們需要將向上傳播的信息戶(j^k)和向下傳播的消息丨力分
開，以免重復(fù)計(jì)算yd(b)的影響。(3)分級(jí)馬爾科夫語義模型我們將隱語義模型的框架應(yīng)用到上述的分級(jí)馬爾科夫模型中。文本變成了子圖 像，單詞w變成了 y，并且隱變量z變成了節(jié)點(diǎn)標(biāo)號(hào)x。每一個(gè)文本d關(guān)聯(lián)一個(gè)隱變量的概 率分布P(x|d)，這一分布可以被看成頂點(diǎn)xb的一個(gè)子圖像級(jí)的先驗(yàn)信息，這一信息和四叉 樹中的先驗(yàn)信息P^J、-)具有很強(qiáng)的互補(bǔ)性。具體的來講，加入這一圖像級(jí)的先驗(yàn)就是將 數(shù)據(jù)項(xiàng)P(yb|xb)轉(zhuǎn)換為？(％|^) 0^|(1)。通過如上的調(diào)整，四叉樹中的推理可以繼續(xù)使用 上節(jié)中所描述的信息傳播算法。在EM算法中，給定當(dāng)前子圖像中的概率分布模型P(x|d) 和總的特征分布h (y I x)(每一層對(duì)應(yīng)一個(gè)單獨(dú)的分布)，則局部的后驗(yàn)概率如下 同時(shí)，利用四叉樹中的推理算法來推理相應(yīng)的后驗(yàn)概率P(xb|y，d) (E步)。然后， 我們利用這些后驗(yàn)概率來重新估計(jì)概率分布P(x Id)(M步)。最終的葉子節(jié)點(diǎn)的 后驗(yàn)概率P(xb|y，d)可以被用來做地物場(chǎng)景分類。為了加快整個(gè)模型的收斂速度，在整個(gè) 四叉樹推理之前，我們首先在樹的每一層分別運(yùn)行單層的隱語義模型推理，然后以此結(jié)果 對(duì)分層馬爾科夫語義模型進(jìn)行初始化?？傊?，分層馬爾科夫語義模型中的局部標(biāo)號(hào)^受如下三方面信息的影響(1)局 部觀察數(shù)據(jù)yb ； (2)xb所在四叉樹內(nèi)部的其他觀察數(shù)據(jù)yB\b(多尺度信息，通過馬爾科夫傳 播)；(3)xb所在子圖像中所有數(shù)據(jù)的分布，通過EM算法來使得推理出來的標(biāo)號(hào)盡量和本圖 像中的內(nèi)容相一致?；谝陨显砗透拍?，本發(fā)明提供了一幅TERRASAR-X圖像的弱監(jiān)督分類方法實(shí) 例的具體流程以供實(shí)施參考。實(shí)驗(yàn)數(shù)據(jù)集合是建立在一整幅TerraSAR-X圖像(48189*25255像素)上，該圖像 是2008年05月24日對(duì)中國(guó)廣東佛山及其周邊區(qū)域成像獲得，圖像分辨率為3米*3米。圖 像的真實(shí)標(biāo)號(hào)是人工根據(jù)光學(xué)圖像信息和相關(guān)的地理信息手動(dòng)標(biāo)注獲得。圖像的像素被標(biāo) 為四個(gè)語義類別或者“其他”類別。這四個(gè)類別分別為建筑區(qū)，林地，耕地，和水域。不屬于 這四類的像素和位于類別邊界的像素被標(biāo)注為“其他”類別，這類處理主要是為了方便人工 手動(dòng)標(biāo)注。全圖大約有13%的像素被標(biāo)注為“其他”類別。這些像素不參與訓(xùn)練和測(cè)試。參見圖1，具體步驟如下(1)圖像被切割成大小為800*800沒有重疊的子圖像，子圖像再網(wǎng)格劃分，分塊成20*20，計(jì)算其特征向量，構(gòu)建詞典，然后計(jì)算其“bag of feature”即詞袋表示；詞袋表示 中，實(shí)施例利用多個(gè)特征進(jìn)行測(cè)試(包括灰度共生矩陣、GAB0R濾波器、高斯馬爾科夫場(chǎng)模 型和局部直方圖)，以便比較魯棒性。(2)挑選一部分子圖像，這些子圖像需要包含所分的所有類，用這些子圖像訓(xùn)練分 級(jí)馬爾科夫主題模型，訓(xùn)練模型時(shí)，四叉樹的層數(shù)設(shè)為3層，四叉樹的最底層選取20*20像 素的圖像塊，其它層的圖像塊也被下采樣到這一大??；(3)用剛才訓(xùn)練得到的分級(jí)馬爾科夫主題模型對(duì)剩下的子圖像進(jìn)行語義標(biāo)注。在圖像中選取不同比例的數(shù)據(jù)用來訓(xùn)練分級(jí)馬爾科夫主題模型，得到不同的分類 精度，如圖2，橫坐標(biāo)為訓(xùn)練數(shù)據(jù)占所有數(shù)據(jù)的比例，縱坐標(biāo)為分類的平均精度。然后就可以 將測(cè)試數(shù)據(jù)利用分級(jí)馬爾科夫主題模型進(jìn)行模型推理，得到分類結(jié)果。實(shí)驗(yàn)中在不同的特征下，選取了不同的分類方法與本發(fā)明中提供的弱監(jiān)督分類方 法比較性能，結(jié)果見表1。表1 不同分類器利用不同特征的SAR圖像分類結(jié)果(％ )。 表2 本發(fā)明中提供的弱監(jiān)督分類方法分別在不同類別上的分類精度(％ )。 表3 不同模型的訓(xùn)練和測(cè)試速度。
通過列表數(shù)據(jù)可知，本發(fā)明中提供的弱監(jiān)督分類方法與現(xiàn)有技術(shù)比較，分類精度更高。
權(quán)利要求
一種弱監(jiān)督的SAR圖像分類方法，其特征是包括以下步驟步驟1，分割圖像，即先將SAR圖像分割成多個(gè)子圖像，然后將各子圖像格網(wǎng)劃分成互不重疊的矩形區(qū)域；步驟2，建樹，即將每個(gè)矩形區(qū)域采用一個(gè)建立在多尺度信息上的局部四叉樹描述，局部四叉樹的葉子節(jié)點(diǎn)為矩形區(qū)域中的一個(gè)圖像塊；步驟3，建模，即通過建立分級(jí)的馬爾科夫主題模型，一個(gè)子圖像中的所有矩形區(qū)域被它們共享的語義模型聯(lián)系在一起，這些語義模型將子圖像作為一個(gè)整體來描述其地物分類概率；步驟4，訓(xùn)練與推理，即根據(jù)對(duì)步驟1中所得的子圖像中一部分的預(yù)先關(guān)鍵詞標(biāo)注，基于步驟3構(gòu)建的分級(jí)馬爾科夫主題模型進(jìn)行學(xué)習(xí)訓(xùn)練，然后用訓(xùn)練后所得分級(jí)馬爾科夫主題模型對(duì)剩下的子圖像進(jìn)行語義標(biāo)注。
全文摘要
本發(fā)明提供一種弱監(jiān)督的SAR圖像分類方法，這種技術(shù)方案能同時(shí)利用圖像的數(shù)據(jù)信息，圖像與圖像之間的相關(guān)性息和圖像在多個(gè)尺度上的相關(guān)信息，因而很好的克服了SAR圖像分類中的一些局部不確定性問題。另一封面，該方法可以從少量的弱信息，即從關(guān)鍵詞標(biāo)注的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)SAR圖像的分類模型，可以大幅度的減少獲取精確訓(xùn)練數(shù)據(jù)的難度。
文檔編號(hào)G06K9/66GK101894275SQ20101022160
公開日2010年11月24日 申請(qǐng)日期2010年6月29日 優(yōu)先權(quán)日2010年6月29日
發(fā)明者代登信, 楊文 申請(qǐng)人:武漢大學(xué)