專利名稱：圖像分類方法及圖像分類裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及模式識別和多媒體技術(shù)領(lǐng)域，特別涉及一種圖像分類方法及圖 像分類裝置。
背景技術(shù)：
隨著多媒體技術(shù)的發(fā)展和因特網(wǎng)的普及，人們獲得各種多媒體信息越來越容易， 其中圖像是數(shù)量最多的一種，如何對圖像進(jìn)行分類或標(biāo)注以便有效地、快速地從大規(guī)模圖 像數(shù)據(jù)庫中檢索出所需要的圖像已成為人們?nèi)找骊P(guān)注的問題。一種傳統(tǒng)的做法是通過關(guān)鍵字對圖像進(jìn)行人工標(biāo)注。然而，該方法是極其費時的， 并且不同的人可能產(chǎn)生不同的標(biāo)注結(jié)果，例如，包含菊花的圖像可能被標(biāo)注為“菊花”或“黃 色花”。為了克服人工標(biāo)注的限制，例如，在T. Kato所著的“Databasearchitecture for content-based image retrieval，，(Image Storage and RetrievalSystems, Proc. SPIE, 1662:112-123,1992) 一文中公開了一種基于內(nèi)容的圖像檢索技術(shù)(CBIR)，其中提取圖像 的諸如顏色，紋理，形狀等低層視覺特征來推斷圖像的高層語義。然而，由于圖像的低層視 覺特征與圖像的語義表達(dá)之間存在“語義鴻溝”，因此傳統(tǒng)的CBIR技術(shù)不能滿足人們按語 義對圖像進(jìn)行分類和檢索的需求。對于圖像語義信息的提取，上下文關(guān)系信息是重要的。具體地說，以對象“老 虎”的概念為例，其通常都出現(xiàn)在具有諸如“天空”、“草地”等背景對象的自然風(fēng)景中。這 樣，為了改善圖像分類和檢索性能，一種趨勢是在從圖像中提取語義概念時既考慮圖像 的內(nèi)容信息也考慮其上下文關(guān)系信息。例如，在J.Luo等人所著的“Pictures are not taken in a vacuum—an overviewof exploiting context for semantic scene content understanding”(IEEE SignalProcessing Magazine, 23 (2) :101-114,March 2006)—文中 公開了在進(jìn)行用戶照片理解時考慮了時間上下文關(guān)系和空間上下文關(guān)系等。具體地說，基 于區(qū)域劃分結(jié)果對空間上下文關(guān)系進(jìn)行建模，并且考慮了區(qū)域之間的諸如“上”、“下”等七 種空間關(guān)系。另外，針對“天空”、“草地”、“樹葉”等六個概念的每個空間上下文關(guān)系對條件 概率矩陣進(jìn)行訓(xùn)練。實驗結(jié)果顯示了通過考慮空間上下文關(guān)系，提高了圖像分類性能。但 是，由于該空間關(guān)系是顯式定義的，因此增加了對分類器進(jìn)行訓(xùn)練所需的人工量，并且限制 了該方案的應(yīng)用范圍。

發(fā)明內(nèi)容
在下文中給出了關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本 理解。但是，應(yīng)當(dāng)理解，這個概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖用來確定 本發(fā)明的關(guān)鍵性部分或重要部分，也不是意圖用來限定本發(fā)明的范圍。其目的僅僅是以簡 化的形式給出關(guān)于本發(fā)明的某些概念，以此作為稍后給出的更詳細(xì)描述的前序。鑒于現(xiàn)有技術(shù)的上述情形，本發(fā)明的目的是提供一種新穎的圖像分類方法，其可以有效地利用圖像的上下文關(guān)系信息來進(jìn)行圖像分類而無需顯式定義圖像中對象之間的 空間關(guān)系，從而提高了圖像分類性能。為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種圖像分類方法，包括以下 步驟圖像分割步驟，將輸入的圖像分割為多個區(qū)域；特征提取步驟，提取每個區(qū)域的視覺 特征；第一分類步驟，對于每個區(qū)域，根據(jù)所提取的所述區(qū)域的視覺特征，利用第一分類器， 按照預(yù)定的多個類別對所述區(qū)域進(jìn)行多類分類；上下文關(guān)系特征生成步驟，根據(jù)每個區(qū)域 的分類結(jié)果來生成所述圖像的上下文關(guān)系特征；以及第二分類步驟，根據(jù)所生成的所述圖 像的上下文關(guān)系特征，利用第二分類器，確定所述圖像所屬的類別。根據(jù)本發(fā)明的另一個方面，還提供了一種圖像分類裝置，其包括圖像分割單元， 其被配置成將輸入的圖像分割為多個區(qū)域；特征提取單元，其被配置成提取每個區(qū)域的視 覺特征；第一分類單元，其被配置成對于每個區(qū)域，根據(jù)所提取的所述區(qū)域的視覺特征，利 用第一分類器，按照預(yù)定的多個類別對所述區(qū)域進(jìn)行多類分類；上下文關(guān)系特征生成單元， 其被配置成根據(jù)每個區(qū)域的分類結(jié)果來生成所述圖像的上下文關(guān)系特征；以及第二分類單 元，其被配置成根據(jù)所生成的所述圖像的上下文關(guān)系特征，利用第二分類器，確定所述圖像 所屬的類別。根據(jù)本發(fā)明的另一個方面，還提供了用于實現(xiàn)上述圖像分類方法的計算機(jī)程序產(chǎn)
P
m o根據(jù)本發(fā)明的另一個方面，還提供了計算機(jī)可讀介質(zhì)，其上記錄有用于實現(xiàn)上述 圖像分類方法的計算機(jī)程序代碼。根據(jù)本發(fā)明的上述技術(shù)方案，可以較為準(zhǔn)確地對圖像進(jìn)行分類，從而有效地、快速 地從大規(guī)模圖像數(shù)據(jù)庫中檢索出所需要的圖像。


本發(fā)明可以通過參考下文中結(jié)合附圖所給出的詳細(xì)描述而得到更好的理解，其中 在所有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下 面的詳細(xì)說明一起包含在本說明書中并形成說明書的一部分，用來進(jìn)一步舉例說明本發(fā)明 的優(yōu)選實施例和解釋本發(fā)明的原理和優(yōu)點。在附圖中圖1示出了根據(jù)本發(fā)明實施例的圖像分類方法的總體流程圖；圖2示出了示例性輸入圖像；圖3示出了按照5X5分割粒度對圖2的輸入圖像進(jìn)行均分的示意圖；圖4示意性地示出了利用支持向量機(jī)(SVM)多類分類器分別針對老虎、 狗........草地N個類別對圖2中的輸入圖像進(jìn)行分類；圖5示意性地示出了通過將圖2的輸入圖像中所有區(qū)域的分類結(jié)果組合為一個特 征向量來生成圖像的上下文關(guān)系特征以及利用SVM分類器對該圖像進(jìn)行最終的分類；圖6示出了根據(jù)本發(fā)明實施例的圖像分類訓(xùn)練方法的總體流程圖；圖7示出了根據(jù)本發(fā)明實施例的圖像分類裝置的框圖；圖8示出了根據(jù)本發(fā)明實施例的基于上下文關(guān)系的圖像分類技術(shù)方案與傳統(tǒng)的 基于內(nèi)容的圖像分類技術(shù)方案在圖像分類性能上的比較圖；以及圖9示出了在其中可以實現(xiàn)根據(jù)本發(fā)明實施例的圖像分類方法和/或圖像分類裝
5置的信息處理設(shè)備的示例性結(jié)構(gòu)的框圖。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，附圖中的元件僅僅是為了簡單和清楚起見而示出的， 而且不一定是按比例繪制的。例如，附圖中某些元件的尺寸可能相對于其它元件放大了，以 便有助于提高對本發(fā)明實施例的理解。
具體實施例方式在下文中將結(jié)合附圖對本發(fā)明的示范性實施例進(jìn)行描述。為了清楚和簡明起見， 在說明書中并未描述實際實施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實際實施 例的過程中必須做出很多特定于實施方式的決定，以便實現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符 合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會隨著實施方式的不同而有 所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費時的，但對得益于本公開 內(nèi)容的本領(lǐng)域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務(wù)。在此，還需要說明的一點是，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中 僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明 關(guān)系不大的其它細(xì)節(jié)。首先將參考附圖，特別是圖1至圖5，描述根據(jù)本發(fā)明實施例的圖像分類方法的一 般工作原理。圖1示出了根據(jù)本發(fā)明實施例的圖像分類方法的總體流程圖。如圖1所示，根據(jù)本發(fā)明實施例的圖像分類方法包括圖像分割步驟S110、特征提 取步驟S120、第一分類步驟S130、上下文關(guān)系特征生成步驟S140以及第二分類步驟S150。首先，在圖像分割步驟S110，將輸入的圖像分割為多個區(qū)域。優(yōu)選地，按照諸如 3X3、5X5等預(yù)定的分割粒度將輸入的圖像分割為多個區(qū)域。例如，圖2示出了示例性輸入 圖像，而圖3示出了按照5X5分割粒度對圖2的輸入圖像進(jìn)行均分的示意圖。本領(lǐng)域的技 術(shù)人員應(yīng)當(dāng)理解，根據(jù)具體設(shè)計，也可以采用其它圖像分割方式，例如，將圖像的中央?yún)^(qū)域 相對于其它區(qū)域設(shè)置得較大或較小等等。接下來，在特征提取步驟S120，提取每個區(qū)域的視覺特征。優(yōu)選地，視覺特征 可以包括顏色、紋理、形狀特征中的一個或多個，其中顏色特征可以包括顏色布局描述符 (CLD)、顏色結(jié)構(gòu)描述符(CSD)、可伸縮顏色描述符(SCD)、顏色相關(guān)矢量(CCV)、顏色自相關(guān) 圖(CAC)等中的一個或多個，紋理特征可以包括邊緣直方圖描述符(EHD)、邊緣相關(guān)矢量 (CCV)、同質(zhì)紋理(HT)、局部二值模式(LBP)、TamUra等中的一個或多個，而形狀特征包括區(qū) 域形狀描述符(RS)等中的一個或多個。這些視覺特征的含義及其計算方法對于本領(lǐng)域的 技術(shù)人員而言是公知的，為簡潔起見，在此不作詳細(xì)描述。接下來，在第一分類步驟S130，對于每個區(qū)域，根據(jù)所提取的該區(qū)域的視覺特征， 利用第一分類器，按照預(yù)定的多個類別對該區(qū)域進(jìn)行多類分類。優(yōu)選地，在第一分類步驟 S130，利用第一分類器確定該區(qū)域?qū)儆陬A(yù)定的多個類別中的每一個類別的概率值(也稱作 置信度)。在此，第一分類器可以是支持向量機(jī)(SVM)多類分類器，但不限于此，例如，它還 可以是采用神經(jīng)網(wǎng)絡(luò)、AdaBoost算法等等的多類分類器。圖4示意性地示出了利用SVM多
類分類器分別針對老虎、狗........草地N個類別對圖2的輸入圖像進(jìn)行分類。從圖4中
可以看出，針對老虎、狗........草地N個類別中的每個類別，SVM多類分類器都包括一個
相應(yīng)的SVM子分類器，其輸出了該圖像的每個區(qū)域?qū)儆谠擃惖母怕手怠?br> 6
接下來，在上下文關(guān)系特征生成步驟S140，根據(jù)每個區(qū)域的分類結(jié)果來生成圖像 的上下文關(guān)系特征。如此，可以使得該上下文關(guān)系特征隱含圖像中各對象的位置及其間的 空間關(guān)系。優(yōu)選地，可以通過將所有區(qū)域的分類結(jié)果組合為一個特征向量來生成該圖像的 上下文關(guān)系特征。圖5示意性地示出了通過將圖2的輸入圖像中所有區(qū)域的分類結(jié)果組合
為一個特征向量來生成圖像的上下文關(guān)系特征，其中按照老虎、狗........草地這N個類
別，將該圖像中的所有區(qū)域的分類結(jié)果組合成(5X5XN)維特征向量來作為該圖像的上下 文關(guān)系特征。最后，在第二分類步驟S150，根據(jù)所生成的圖像的上下文關(guān)系特征，利用第二分類 器對圖像進(jìn)行分類，也就是說，確定該圖像所屬的類別。在此，第二分類器可以是SVM分類 器，但不限于此，例如，它還可以是采用神經(jīng)網(wǎng)絡(luò)、AdaBoost算法等等的分類器。圖5還示 意性地示出了利用SVM分類器對圖2的輸入圖像進(jìn)行最終的分類，其中該SVM分類器根據(jù) 所生成的上下文關(guān)系特征將該圖像分類為例如“老虎”圖像。下面將結(jié)合附圖詳細(xì)描述根據(jù)本發(fā)明實施例的與上述圖像分類方法相對應(yīng)的圖 像分類訓(xùn)練方法。如圖6所示，根據(jù)本發(fā)明實施例的圖像分類訓(xùn)練方法包括圖像分割步驟S610、特 征提取步驟S620、第一分類訓(xùn)練步驟S630、上下文關(guān)系特征生成步驟S640以及第二分類訓(xùn) 練步驟S650。首先，在圖像分割步驟S610，按照與圖1的圖像分割步驟S110相同的方式，將訓(xùn)練 樣本圖像集中的樣本圖像分割為多個區(qū)域。接著，在特征提取步驟S620，按照與圖1的特征提取步驟S120相同的方式，提取每 個區(qū)域的視覺特征。接著，在第一分類訓(xùn)練步驟S630，針對預(yù)定的多個類別中的每個類別，人工標(biāo)注每 個區(qū)域?qū)儆谠擃悇e的概率值，并且根據(jù)每個區(qū)域的標(biāo)注結(jié)果以及所提取的每個區(qū)域的視覺 特征，對在圖1的第一分類步驟S130采用的第一分類器進(jìn)行訓(xùn)練。接著，在上下文關(guān)系特征生成步驟S640，按照與圖1的上下文關(guān)系特征生成步驟 S140相同的方式，根據(jù)每個區(qū)域的標(biāo)注結(jié)果來生成圖像的上下文關(guān)系特征。最后，在第二分類訓(xùn)練步驟S650，人工標(biāo)注樣本圖像所屬的類別，并且利用所標(biāo)注 的圖像類別以及所生成的圖像的上下文關(guān)系特征，對在圖1的第二分類步驟S150采用的第 二分類器進(jìn)行訓(xùn)練。雖然在上面描述了第一分類器和第二分類器是利用同樣的訓(xùn)練樣本圖像集進(jìn)行 訓(xùn)練的，但是本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)清楚，對第一分類器和第二分類器的訓(xùn)練可以是相互 獨立的，也就是說，可以利用不同的訓(xùn)練樣本圖像集對第一分類器和第二分類器進(jìn)行訓(xùn)練。 在這種情況下，在對第二分類器進(jìn)行訓(xùn)練時標(biāo)注每個區(qū)域?qū)儆诟黝悇e的概率值既可以人工 地完成，也可以利用訓(xùn)練好的第一分類器自動地完成，或者以兩者相結(jié)合的方式完成。下面將結(jié)合附圖描述根據(jù)本發(fā)明實施例的圖像分類裝置。圖7示出了根據(jù)本發(fā)明實施例的圖像分類裝置700的框圖，其中，為了簡明起見僅 僅示出了與本發(fā)明密切相關(guān)的部分。在圖像分類裝置700中，能夠執(zhí)行以上參考圖1所描 述的圖像分類方法。如圖7所示，圖像分類裝置700可以包括圖像分割單元710、特征提取單元720、第
7一分類單元730、上下文關(guān)系特征生成單元740以及第二分類單元750。其中，圖像分割單元710可以將輸入的圖像分割為多個區(qū)域。特征提取單元720 可以提取每個區(qū)域的視覺特征。第一分類單元730可以對于每個區(qū)域，根據(jù)所提取的該區(qū) 域的視覺特征，利用第一分類器，按照預(yù)定的多個類別對該區(qū)域進(jìn)行多類分類。上下文關(guān)系 特征生成單元740可以根據(jù)每個區(qū)域的分類結(jié)果來生成該圖像的上下文關(guān)系特征。第二分 類單元750可以根據(jù)所生成的圖像的上下文關(guān)系特征，利用第二分類器確定該圖像所屬的 類別。通過閱讀前面給出的相應(yīng)處理的描述，圖像分類裝置700的各個組成部件的功能 如何實現(xiàn)就變得很清楚了，所以在此就不再贅述了。在此需要說明的是，圖7所示的圖像分類裝置700的結(jié)構(gòu)僅僅是示例性的，本領(lǐng)域 技術(shù)人員可以根據(jù)需要對圖7所示的結(jié)構(gòu)框圖進(jìn)行修改。經(jīng)過實驗證明，與傳統(tǒng)的基于內(nèi)容的圖像分類技術(shù)方案相比，根據(jù)本發(fā)明實施例 的基于上下文關(guān)系的圖像分類技術(shù)方案顯著提高了圖像分類性能。在我們的實驗中，分別 采用根據(jù)本發(fā)明實施例的基于上下文關(guān)系的圖像分類技術(shù)方案和傳統(tǒng)的基于內(nèi)容的圖像 分類技術(shù)方案，對由近萬幅圖像構(gòu)成的圖像數(shù)據(jù)庫進(jìn)行了測試，其中將測試圖像最終分類 為“獅子”、“老虎”、“馬”、“狗”或“貓”。作為實驗結(jié)果，圖8示出了根據(jù)本發(fā)明實施例的基 于上下文關(guān)系的圖像分類技術(shù)方案與傳統(tǒng)的基于內(nèi)容的圖像分類技術(shù)方案在圖像分類性 能上的比較圖。從圖8中可以看出，在相同的召回率下，根據(jù)本發(fā)明實施例的基于上下文關(guān) 系的圖像分類技術(shù)方案的精度基本上都高于傳統(tǒng)的基于內(nèi)容的圖像分類技術(shù)方案的精度， 尤其是在召回率較低的情況下，根據(jù)本發(fā)明實施例的基于上下文關(guān)系的圖像分類技術(shù)方案 的精度遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的基于內(nèi)容的圖像分類技術(shù)方案的精度。以上結(jié)合具體實施例描述了本發(fā)明的基本原理，但是，需要指出的是，對本領(lǐng)域的 普通技術(shù)人員而言，能夠理解本發(fā)明的方法和裝置的全部或者任何步驟或者部件，可以在 任何計算裝置(包括處理器、存儲介質(zhì)等)或者計算裝置的網(wǎng)絡(luò)中，以硬件、固件、軟件或者 它們的組合加以實現(xiàn)，這是本領(lǐng)域普通技術(shù)人員在閱讀了本發(fā)明的說明的情況下運用他們 的基本編程技能就能實現(xiàn)的。因此，本發(fā)明的目的還可以通過在任何計算裝置上運行一個程序或者一組程序來 實現(xiàn)。所述計算裝置可以是公知的通用裝置。因此，本發(fā)明的目的也可以僅僅通過提供包 含實現(xiàn)所述方法或者裝置的程序代碼的程序產(chǎn)品來實現(xiàn)。也就是說，這樣的程序產(chǎn)品也構(gòu) 成本發(fā)明，并且存儲有這樣的程序產(chǎn)品的存儲介質(zhì)也構(gòu)成本發(fā)明。顯然，所述存儲介質(zhì)可以 是任何公知的存儲介質(zhì)或者將來所開發(fā)出來的任何存儲介質(zhì)。在通過軟件和/或固件實現(xiàn)本發(fā)明的實施例的情況下，從存儲介質(zhì)或網(wǎng)絡(luò)向具有 專用硬件結(jié)構(gòu)的計算機(jī)，例如圖9所示的通用個人計算機(jī)900安裝構(gòu)成該軟件的程序，該計 算機(jī)在安裝有各種程序時，能夠執(zhí)行各種功能等等。在圖9中，中央處理單元(CPU)901根據(jù)只讀存儲器(ROM)902中存儲的程序或從 存儲部分908加載到隨機(jī)存取存儲器(RAM) 903的程序執(zhí)行各種處理。在RAM 903中，也根 據(jù)需要存儲當(dāng)CPU 901執(zhí)行各種處理等等時所需的數(shù)據(jù)。CPU 901,ROM 902和RAM 903經(jīng) 由總線904彼此連接。輸入/輸出接口 905也連接到總線904。下述部件連接到輸入/輸出接口 905 輸入部分906，包括鍵盤、鼠標(biāo)等等；輸出部分907，包括顯示器，比如陰極射線管(CRT)、液晶顯示器(IXD)等等，和揚聲器等等；存儲部 分908，包括硬盤等等；和通信部分909，包括網(wǎng)絡(luò)接口卡比如LAN卡、調(diào)制解調(diào)器等等。通 信部分909經(jīng)由網(wǎng)絡(luò)比如因特網(wǎng)執(zhí)行通信處理。根據(jù)需要，驅(qū)動器910也連接到輸入/輸出接口 905?？刹鹦督橘|(zhì)911比如磁盤、 光盤、磁光盤、半導(dǎo)體存儲器等等根據(jù)需要被安裝在驅(qū)動器910上，使得從中讀出的計算機(jī) 程序根據(jù)需要被安裝到存儲部分908中。在通過軟件實現(xiàn)上述系列處理的情況下，從網(wǎng)絡(luò)比如因特網(wǎng)或存儲介質(zhì)比如可拆 卸介質(zhì)911安裝構(gòu)成軟件的程序。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這種存儲介質(zhì)不局限于圖12所示的其中存儲有程 序、與裝置相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)911。可拆卸介質(zhì)911的例子包 含磁盤(包含軟盤(注冊商標(biāo)))、光盤(包含光盤只讀存儲器(⑶-ROM)和數(shù)字通用盤 (DVD))、磁光盤(包含迷你盤(MD)(注冊商標(biāo)))和半導(dǎo)體存儲器?；蛘?，存儲介質(zhì)可以是 ROM 902、存儲部分908中包含的硬盤等等，其中存有程序，并且與包含它們的裝置一起被 分發(fā)給用戶。還需要指出的是，在本發(fā)明的裝置和方法中，顯然，各部件或各步驟是可以分解和 /或重新組合的。這些分解和/或重新組合應(yīng)視為本發(fā)明的等效方案。并且，執(zhí)行上述系列 處理的步驟可以自然地按照說明的順序按時間順序執(zhí)行，但是并不需要一定按照時間順序 執(zhí)行。某些步驟可以并行或彼此獨立地執(zhí)行。雖然已經(jīng)詳細(xì)說明了本發(fā)明及其優(yōu)點，但是應(yīng)當(dāng)理解在不脫離由所附的權(quán)利要求 所限定的本發(fā)明的精神和范圍的情況下可以進(jìn)行各種改變、替代和變換。而且，本申請的術(shù) 語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要 素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素， 或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，
由語句“包括一個......”限定的要素，并不排除在包括所述要素的過程、方法、物品或者裝
置中還存在另外的相同要素。
權(quán)利要求
一種圖像分類方法，包括以下步驟圖像分割步驟，將輸入的圖像分割為多個區(qū)域；特征提取步驟，提取每個區(qū)域的視覺特征；第一分類步驟，對于每個區(qū)域，根據(jù)所提取的所述區(qū)域的視覺特征，利用第一分類器，按照預(yù)定的多個類別對所述區(qū)域進(jìn)行多類分類；上下文關(guān)系特征生成步驟，根據(jù)每個區(qū)域的分類結(jié)果來生成所述圖像的上下文關(guān)系特征；以及第二分類步驟，根據(jù)所生成的所述圖像的上下文關(guān)系特征，利用第二分類器，確定所述圖像所屬的類別。
2.根據(jù)權(quán)利要求1所述的圖像分類方法，其中所述圖像分割步驟進(jìn)一步包括按照預(yù)定 的分割粒度將輸入的圖像分割為多個區(qū)域。
3.根據(jù)權(quán)利要求1所述的圖像分類方法，其中所述特征提取步驟進(jìn)一步包括提取每個 區(qū)域的顏色、紋理、形狀特征中的一個或多個作為其視覺特征。
4.根據(jù)權(quán)利要求1所述的圖像分類方法，其中所述第一分類步驟進(jìn)一步包括對于每 個區(qū)域，根據(jù)所提取的所述區(qū)域的視覺特征，利用所述第一分類器，確定所述區(qū)域?qū)儆谒?預(yù)定的多個類別中的每一個類別的概率值。
5.根據(jù)權(quán)利要求1或4所述的圖像分類方法，其中所述第一分類器是支持向量機(jī)多類 分類器。
6.根據(jù)權(quán)利要求1所述的圖像分類方法，其中所述上下文關(guān)系特征生成步驟進(jìn)一步包 括通過將所有區(qū)域的分類結(jié)果組合為一個特征向量來生成所述圖像的上下文關(guān)系特征。
7.根據(jù)權(quán)利要求1所述的圖像分類方法，其中所述第二分類器是支持向量機(jī)分類器。
8.一種圖像分類裝置，包括圖像分割單元，其被配置成將輸入的圖像分割為多個區(qū)域；特征提取單元，其被配置成提取每個區(qū)域的視覺特征；第一分類單元，其被配置成對于每個區(qū)域，根據(jù)所提取的所述區(qū)域的視覺特征，利用第 一分類器，按照預(yù)定的多個類別對所述區(qū)域進(jìn)行多類分類；上下文關(guān)系特征生成單元，其被配置成根據(jù)每個區(qū)域的分類結(jié)果來生成所述圖像的上 下文關(guān)系特征；以及第二分類單元，其被配置成根據(jù)所生成的所述圖像的上下文關(guān)系特征，利用第二分類 器，確定所述圖像所屬的類別。
9.根據(jù)權(quán)利要求8所述的圖像分類裝置，其中所述圖像分割單元按照預(yù)定的分割粒度 將輸入的圖像分割為多個區(qū)域。
10.根據(jù)權(quán)利要求8所述的圖像分類裝置，其中所述特征提取單元提取每個區(qū)域的顏 色、紋理、形狀特征中的一個或多個作為其視覺特征。
11.根據(jù)權(quán)利要求8所述的圖像分類裝置，其中所述第一分類單元對于每個區(qū)域，根據(jù) 所提取的所述區(qū)域的視覺特征，利用所述第一分類器，確定所述區(qū)域?qū)儆谒鲱A(yù)定的多個 類別中的每一個類別的概率值。
12.根據(jù)權(quán)利要求8或11所述的圖像分類裝置，其中所述第一分類器是支持向量機(jī)多 類分類器。
13.根據(jù)權(quán)利要求8所述的圖像分類裝置，其中所述上下文關(guān)系特征生成單元通過將 所有區(qū)域的分類結(jié)果組合為一個特征向量來生成所述圖像的上下文關(guān)系特征。
14.根據(jù)權(quán)利要求8所述的圖像分類裝置，其中所述第二分類器是支持向量機(jī)分類器。
全文摘要
本發(fā)明公開了一種圖像分類方法及圖像分類裝置，其中該圖像分類方法包括以下步驟圖像分割步驟，將輸入的圖像分割為多個區(qū)域；特征提取步驟，提取每個區(qū)域的視覺特征；第一分類步驟，對于每個區(qū)域，根據(jù)所提取的所述區(qū)域的視覺特征，利用第一分類器，按照預(yù)定的多個類別對所述區(qū)域進(jìn)行多類分類；上下文關(guān)系特征生成步驟，根據(jù)每個區(qū)域的分類結(jié)果來生成所述圖像的上下文關(guān)系特征；以及第二分類步驟，根據(jù)所生成的所述圖像的上下文關(guān)系特征，利用第二分類器，確定所述圖像所屬的類別。根據(jù)上述技術(shù)方案，可以有效地利用圖像的上下文關(guān)系信息來提高圖像分類性能，而無需顯式定義圖像中對象之間的空間關(guān)系。
文檔編號G06K9/62GK101877064SQ200910135930
公開日2010年11月3日 申請日期2009年4月30日 優(yōu)先權(quán)日2009年4月30日
發(fā)明者吳偉國, 薛向陽, 路紅 申請人:索尼株式會社;復(fù)旦大學(xué)