專利名稱：基于提升稀疏約束雙線性模型的圖像分類方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理領(lǐng)域，涉及一種基于提升稀疏約束雙線性模型的圖像分類方 法。
背景技術(shù)：
隨著多媒體數(shù)據(jù)的爆炸性增漲，人工對(duì)圖像進(jìn)行分類越來(lái)越困難，基于圖像內(nèi)容 的自動(dòng)分類越來(lái)越受到重視。自動(dòng)的圖像分類技術(shù)能夠通過(guò)對(duì)圖像本身內(nèi)容進(jìn)行處理分 析，從而預(yù)測(cè)圖像的類別，避免了大量人工處理。然而由于圖像中各種物體形態(tài)各異，出現(xiàn) 位置也不固定，而且還有可能存在遮擋的現(xiàn)象，自動(dòng)的學(xué)習(xí)一個(gè)魯棒的圖像特征表示和預(yù) 測(cè)模型仍然是一個(gè)很有挑戰(zhàn)的問(wèn)題。傳統(tǒng)的圖像分類方法大都是基于詞袋模型。這種方法首先在圖像上提取局部特 征，對(duì)局部特征進(jìn)行量化，生成碼本，然后通過(guò)尋找最近鄰的方法將局部特征量化到每個(gè)視 覺(jué)詞，并將圖像表示成一個(gè)視覺(jué)詞的直方圖分布，最后通過(guò)訓(xùn)練分類器的方式來(lái)預(yù)測(cè)圖像 的類別。這種方法在一定程度上克服了全局特征的缺陷，但是，這種方法忽略了圖像局部特 征的空間位置信息和相互聯(lián)系。為了在一定程度上考慮空間信息，一般采用空間金字塔的 方式對(duì)圖像進(jìn)行劃分。但是，這種方法劃分金字塔的方式是一種經(jīng)驗(yàn)性的，事先無(wú)法取得最 有效地劃分。另一方面，每個(gè)視覺(jué)詞對(duì)于分類性能的影響是不同的，給予每個(gè)視覺(jué)詞同樣的 權(quán)重也不利于最終的分類。

發(fā)明內(nèi)容
為了解決吸納有技術(shù)的問(wèn)題，本發(fā)明的目的是對(duì)快速有效的圖像分類，提出一個(gè) 更有效的圖像特征表示和分類模型，為此本發(fā)明提供一種基于提升稀疏約束雙線性模型的 圖像分類方法。為達(dá)成所述目的，本發(fā)明提供一種基于提升稀疏約束雙線性模型的圖像分類方 法，該方法的圖像分類步驟如下步驟Sl 在圖像上提取圖像的局部特征；步驟S2 從圖像上密集的提取多個(gè)部件；步驟S3 將各個(gè)部件用視覺(jué)詞的直方圖作為部件的特征表示，并將每個(gè)部件的特 征表示按順序排列起來(lái)，用一個(gè)矩陣的形式來(lái)表示圖像；步驟S4 使用提升稀疏約束雙線性模型模擬視覺(jué)詞到部件、部件到圖像類別之間 的關(guān)系，從而達(dá)到對(duì)圖像分類的目的。優(yōu)選實(shí)施例，基于部件的圖像表示，綜合考慮局部特征的空間信息；考慮部件本身 的空間信息，用于增強(qiáng)部件表示方式的判別力。優(yōu)選實(shí)施例，設(shè)每個(gè)部件都對(duì)圖像的類別預(yù)測(cè)有貢獻(xiàn)，采用線性模型去擬合每個(gè) 部件都對(duì)圖像的類別預(yù)測(cè)的這種聯(lián)系；同時(shí)，設(shè)每個(gè)部件中的每個(gè)視覺(jué)詞對(duì)所述部件的類 別也有貢獻(xiàn)，也采用線性模型來(lái)擬合每個(gè)部件中的每個(gè)視覺(jué)詞對(duì)所述部件的類別的這種聯(lián)系，從而將圖像類別預(yù)測(cè)問(wèn)題轉(zhuǎn)化為學(xué)習(xí)一個(gè)雙線性模型的問(wèn)題。優(yōu)選實(shí)施例，為了選擇最有判別力的視覺(jué)詞和部件，從而更好的進(jìn)行圖像分類，對(duì) 雙線性模型的兩個(gè)系數(shù)向量施加稀疏性的約束，并通過(guò)組合多個(gè)雙線性模型來(lái)增強(qiáng)圖像分 類的魯棒性。優(yōu)選實(shí)施例，在學(xué)習(xí)單個(gè)稀疏約束的雙線性模型時(shí)，采用交替優(yōu)化的策略，先固定 視覺(jué)詞到部件的模型系數(shù)，去學(xué)習(xí)部件到圖像類別的模型的系數(shù)；然后固定部件到圖像類 別的模型的系數(shù)，去學(xué)習(xí)視覺(jué)詞到部件的模型系數(shù)。優(yōu)選實(shí)施例，所述優(yōu)化的策略采用加權(quán)的系數(shù)符號(hào)搜索算法實(shí)現(xiàn)。本發(fā)明的有益效果本發(fā)明提出一種基于提升稀疏約束雙線性模型對(duì)圖像進(jìn)行分 類。通過(guò)部件來(lái)融合圖像的空間信息，并通過(guò)雙線性模型來(lái)進(jìn)行圖像分類，利用稀疏約束進(jìn) 行最有判別力的部件和視覺(jué)詞的選擇，并利用提升的方法來(lái)提高算法的性能和魯棒性。本 發(fā)明在三個(gè)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)，證明了本發(fā)明的方法有更高的分類性能。


圖1提升稀疏約束雙線性模型進(jìn)行圖像分類框圖；圖2基于部件的圖像表示示意圖；圖3基于提升稀疏約束雙線性模型的混淆矩陣；圖4提升稀疏約束雙線性模型在Caltech-IOl數(shù)據(jù)庫(kù)上的分類準(zhǔn)確率；圖5提升稀疏約束雙線性模型在Caltech-256數(shù)據(jù)庫(kù)上的分類準(zhǔn)確率。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。本發(fā)明利用圖像分塊和稀疏約束，提出了一個(gè)行之有效的圖像分類方法。圖1示 出本發(fā)明的系統(tǒng)提升稀疏約束雙線性模型進(jìn)行圖像分類框架，包括圖像局部特征提取、基 于部件的圖像表示、提升稀疏約束雙線性模型，以及圖像分類。本發(fā)明主要包括兩個(gè)部分基于部件的圖像表示和提升稀疏約束雙線性模型。(一 )、基于部件的圖像表示圖像表示部分采用基于部件的表示方式，圖2示出描述了基于部件的圖像表示方 法，這種方法同時(shí)考慮了局部特征的空間信息和部件之間的空間信息，從而可以得到有判 別力的圖像特征表示，為下一步的分類器訓(xùn)練提供便利。本發(fā)明中，采用視覺(jué)詞直方圖來(lái)表示每個(gè)部件。先用k均值聚類方法獲得1000個(gè) 聚類中心，每個(gè)聚類中心對(duì)應(yīng)一個(gè)視覺(jué)詞；采用尋找最近鄰的方法對(duì)圖像局部特征的空間 信息進(jìn)行視覺(jué)詞的量化。我們密集地抽取部件，在每幅圖上抽取20X 15個(gè)部件，每個(gè)部件 是一個(gè)64X64像素的正方形區(qū)域。用部件內(nèi)的視覺(jué)詞的直方圖來(lái)表示部件，將每個(gè)部件直 方圖的定義為hj = Di1, j，Ii2, ...Ct (1)其中，N代表視覺(jué)詞的個(gè)數(shù)，、是一個(gè)NXl的向量，其中每一維的元素hM，i = 1， 2，…，N正比于第i個(gè)視覺(jué)詞在第j個(gè)部件里面出現(xiàn)的次數(shù)，j = 1，2，…，M，M代表部件的個(gè)數(shù)。并滿足Σ二 =1。在把每個(gè)部件用直方圖表示以后，將各個(gè)部件hp j = 1，2，…，M按順序排列起來(lái)， 將第k個(gè)圖像表示成一個(gè)NXM的矩陣Hk Hk = [h1 h2, ...，hM] (2)這樣，我們就得到了最終的基于部件的圖像表示，k = 1，2，…，K。K代表訓(xùn)練圖 像的個(gè)數(shù)。( 二)、提升稀疏約束雙線性模型在將圖像用部件表示后，我們用提升稀疏約束雙線性模型來(lái)進(jìn)行圖像類別的預(yù) 測(cè)。首先，我們認(rèn)為圖像的每個(gè)部件都對(duì)圖像的類別預(yù)測(cè)有貢獻(xiàn)，我們采用線性模型去模 擬；同時(shí)，對(duì)于每個(gè)部件，其中的每個(gè)視覺(jué)詞對(duì)這個(gè)部件的類別也有貢獻(xiàn)，本發(fā)明也采用線 性模型來(lái)模擬，從而將圖像類別預(yù)測(cè)問(wèn)題轉(zhuǎn)化為學(xué)習(xí)一個(gè)雙線性模型的問(wèn)題，即學(xué)習(xí)α， β，使得f(Hk) =yk= α THk^(3)其中，yk代表對(duì)第k個(gè)圖像的預(yù)測(cè)值。F(Hk) = Q1Hk^代表要學(xué)習(xí)的雙線性模型。 α是一個(gè)NXl維的系數(shù)向量，β是一個(gè)MXl維的系數(shù)向量。為了選擇最有判別力的視覺(jué)詞和部件，從而更好的進(jìn)行圖像分類，對(duì)于雙線性模 型的兩個(gè)系數(shù)向量α，β施加稀疏性的約束。同時(shí)，通過(guò)組合多個(gè)雙線性模型來(lái)增強(qiáng)本發(fā) 明方法的魯棒性。這是通過(guò)優(yōu)化以下的目標(biāo)函數(shù)實(shí)現(xiàn)Ft (H) = arg min exp[-/ xFT (Hk )] + C1 Σ: IKI1 +|Α I ( 4 )
Ft(H)其中，巧(好)=I^1 (好),(好)= Γ孖A。T代表雙線性模型的個(gè)數(shù)，K代表訓(xùn)
練圖像的個(gè)數(shù)。C1, C2是兩個(gè)控制稀疏程度的系數(shù)。H代表訓(xùn)練圖像ft (H)代表要學(xué)習(xí) 的第t個(gè)雙線性模型，α t和β t是第t個(gè)雙線性模型對(duì)應(yīng)的參數(shù)，α J代表α t的轉(zhuǎn)置。
巧(//) = 2^/,(灼代表要學(xué)習(xí)的提升稀疏約束的雙線性模型，它是由T個(gè)雙線性模型組成。我們采用提升的思想，通過(guò)T次循環(huán)，每次學(xué)習(xí)一個(gè)稀疏約束的雙線性模型。本發(fā) 明的算法如表1所示表(1)提升稀疏約束雙線性模型算法1.設(shè)定圖像初始權(quán)重Wk,。，k=l, 2，…，K，稀疏約束系數(shù)C1, c2。
2.重復(fù)t=l，2，…，T輪
Ca)通過(guò)交替優(yōu)化(Xt, I學(xué)習(xí)第t個(gè)雙線性模型((XtJt)。 (b)令 ft(H)=atTH^t。
(c )設(shè)置第t輪、第k個(gè)圖像的權(quán)重wk, t=wk, t l X exp (-ykft (Hk))， 其中，Ih代表第t_l輪、第k個(gè)圖像的權(quán)重。并歸一化， 使得Σ>,1。
3.輸出最終的分類器Ft(H) = Y^ft(H)在算法的步驟2. (a)，我們的目標(biāo)函數(shù)⑷可以簡(jiǎn)化為(oct Jt) = argmin^^kj χexp[—/ Xft(Hk)] + C1 ㈣I1 + C2( 5 )在本發(fā)明中采用交替優(yōu)化的方法，通過(guò)先固定β t來(lái)求解α t，然后固定Cit來(lái)求解 β t。當(dāng)固定β t來(lái)求解α t時(shí)，目標(biāo)函數(shù)(5)可進(jìn)一步簡(jiǎn)化為
權(quán)利要求
1.一種基于提升稀疏約束雙線性模型的圖像分類方法，其特征在于，該方法圖像分類 的步驟如下步驟Sl 在圖像上提取圖像的局部特征；步驟S2 從圖像上密集的提取多個(gè)部件；步驟S3 將各個(gè)部件用視覺(jué)詞的直方圖作為部件的特征表示，并將每個(gè)部件的特征表 示按順序排列起來(lái)，用一個(gè)矩陣的形式來(lái)表示圖像；步驟S4 使用提升稀疏約束雙線性模型模擬視覺(jué)詞到部件、部件到圖像類別之間的關(guān) 系，從而達(dá)到對(duì)圖像分類的目的。
2.根據(jù)權(quán)利要求1所述的基于提升稀疏約束雙線性模型的圖像分類方法，其特征在 于，基于部件的圖像表示，綜合考慮局部特征的空間信息；考慮部件本身的空間信息，用于 增強(qiáng)部件表示方式的判別力。
3.根據(jù)權(quán)利要求1所述的基于提升稀疏約束雙線性模型的圖像分類方法，其特征在 于，設(shè)每個(gè)部件都對(duì)圖像的類別預(yù)測(cè)有貢獻(xiàn)，采用線性模型去擬合每個(gè)部件都對(duì)圖像的類 別預(yù)測(cè)的這種聯(lián)系；同時(shí)，設(shè)每個(gè)部件中的每個(gè)視覺(jué)詞對(duì)所述部件的類別也有貢獻(xiàn)，也采用 線性模型來(lái)擬合每個(gè)部件中的每個(gè)視覺(jué)詞對(duì)所述部件的類別的這種聯(lián)系，從而將圖像類別 預(yù)測(cè)問(wèn)題轉(zhuǎn)化為學(xué)習(xí)一個(gè)雙線性模型的問(wèn)題。
4.根據(jù)權(quán)利要求1所述的基于提升稀疏約束雙線性模型的圖像分類方法，其特征在 于，為了選擇最有判別力的視覺(jué)詞和部件，從而更好的進(jìn)行圖像分類，對(duì)雙線性模型的兩個(gè) 系數(shù)向量施加稀疏性的約束，并通過(guò)組合多個(gè)雙線性模型來(lái)增強(qiáng)圖像分類的魯棒性。
5.根據(jù)權(quán)利要求1所述的基于提升稀疏約束雙線性模型的圖像分類方法，其特征在 于，在學(xué)習(xí)單個(gè)稀疏約束的雙線性模型時(shí)，采用交替優(yōu)化的策略，先固定視覺(jué)詞到部件的模 型系數(shù)，去學(xué)習(xí)部件到圖像類別的模型的系數(shù)；然后固定部件到圖像類別的模型的系數(shù)，去 學(xué)習(xí)視覺(jué)詞到部件的模型系數(shù)。
6.根據(jù)權(quán)利要求1所述的基于提升稀疏約束雙線性模型的圖像分類方法，其特征在 于，所述優(yōu)化的策略采用加權(quán)的系數(shù)符號(hào)搜索算法實(shí)現(xiàn)。
全文摘要
本發(fā)明提出一種基于提升稀疏約束雙線性模型的圖像進(jìn)行分類方法，該方法的圖像分類步驟如下步驟S1在圖像上提取圖像的局部特征；步驟S2從圖像上密集的提取多個(gè)部件；步驟S3將各個(gè)部件用視覺(jué)詞的直方圖作為部件的特征表示，并將每個(gè)部件的特征表示按順序排列起來(lái)，用一個(gè)矩陣的形式來(lái)表示圖像；步驟S4使用提升稀疏約束雙線性模型模擬視覺(jué)詞到部件、部件到圖像類別之間的關(guān)系，從而達(dá)到對(duì)圖像分類的目的。為了提高方法的判別力，我們加入了稀疏性的約束，并采用提升的策略來(lái)提高方法的魯棒性。在三個(gè)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果，證實(shí)了我們的方法的有效性。
文檔編號(hào)G06K9/62GK102122358SQ201110081240
公開日2011年7月13日 申請(qǐng)日期2011年3月31日 優(yōu)先權(quán)日2011年3月31日
發(fā)明者劉靜, 盧漢清, 張淳杰 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所