專利名稱：融合分類與全局索引的圖像檢索方法和圖像檢索系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于內(nèi)容的圖像垂直檢索領(lǐng)域，更具體地說(shuō)，本發(fā)明涉及一種融合分類與全局索引的圖像檢索方法和圖像檢索系統(tǒng)。
背景技術(shù)：
現(xiàn)有的基于內(nèi)容的圖像檢索，主要的檢索方式有，基于分類的檢索、基于聚類的檢索與基于全局索引的檢索?；诜诸惖臋z索是預(yù)先把數(shù)據(jù)庫(kù)中的圖片分類，檢索時(shí)首先獲取查詢圖片的類別，然后再類別中檢索出相似的圖片；基于聚類的檢索是對(duì)所有圖片特征進(jìn)行聚類，形成聚類中心，檢索時(shí)待查詢圖片首先查找距離最近的聚類中心，然后在該聚類中心對(duì)應(yīng)的圖片集合中查找相似的圖片；基于全局索引的檢索是對(duì)所有圖片特征建立索弓丨，待查詢圖片在索引上查找相似圖片的集合，然后返回集合中相似的圖片。然而，現(xiàn)有基于內(nèi)容的圖像檢索方法存在以下問(wèn)題采用聚類方式時(shí)，由于聚類與索引損失了特征向量的精度，導(dǎo)致查詢準(zhǔn)確率低；采用分類方式時(shí)，如果待查詢圖片分類錯(cuò)誤時(shí)，查準(zhǔn)率與查全率都會(huì)大大降低；采用索引方式時(shí)，在圖像的特征向量上建立的索引， 其查詢速度比較慢，會(huì)導(dǎo)致系統(tǒng)的檢索耗時(shí)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種融合分類與全局索引的圖像檢索方法，其檢索是采用了圖片的語(yǔ)義特征，從而提高了檢索系統(tǒng)的查準(zhǔn)率，并根據(jù)待查詢圖片的分類標(biāo)號(hào)融合分類與全局索引兩種檢索方式，彌補(bǔ)了分類錯(cuò)誤時(shí)的查全率低下的問(wèn)題，且分類模型保證大部分圖片采用分類方式檢索，檢索范圍大大縮小，小部分圖片采用索引的方式檢索，從而整體提高了系統(tǒng)的檢索速度。本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的一種融合分類與全局索引的圖像檢索方法，包括如下步驟a)下載圖片以建立圖片庫(kù)，b)對(duì)圖片庫(kù)中的圖片按照形狀進(jìn)行分類，對(duì)于每個(gè)分類，從圖片庫(kù)中挑選出具有代表性的樣本圖片，形成樣本庫(kù)。提取樣本庫(kù)中所有圖片的分類底層特征描述符，并在底層特征描述符上利用支持向量機(jī)進(jìn)行訓(xùn)練，以得到每個(gè)分類的判別式，并且所有分類的判別式形成分類模型，c)利用分類模型對(duì)圖片庫(kù)中所有圖片進(jìn)行分類，以得到圖片的類別標(biāo)號(hào)與語(yǔ)義特征，d)提取圖片庫(kù)中所有圖片的顏色特征和形狀特征，并將顏色特征、形狀特征以及語(yǔ)義特征結(jié)合為特征庫(kù)，e)關(guān)聯(lián)特征庫(kù)與圖片庫(kù)以及類別標(biāo)號(hào)以形成記錄表，f)利用局部敏感哈希方法建立特征庫(kù)的索引，g)接收來(lái)自用戶的圖片查詢請(qǐng)求，提取待查詢圖片的顏色特征和形狀特征，使用分類模型對(duì)待查詢圖片進(jìn)行處理，以得到待查詢圖片的類別標(biāo)號(hào)與語(yǔ)義特征，h)判斷待查詢圖片的類別標(biāo)號(hào)是大于還是等于，i)若待查詢圖片的類別標(biāo)號(hào)大于，則根據(jù)記錄表從特征庫(kù)中加載與待查詢圖片具有相同類別標(biāo)號(hào)的特征集合，然后轉(zhuǎn)入步驟k，j)若待查詢圖片的類別標(biāo)號(hào)等于，則根據(jù)待查詢圖片的顏色特征、形狀特征以及語(yǔ)義特征在索引上進(jìn)行查詢，以得到特征庫(kù)中的特征集合，k)對(duì)特征集合與待查詢圖片的顏色特征、形狀特征以及語(yǔ)義特征進(jìn)行相似度計(jì)算，并根據(jù)計(jì)算得到的相似度值進(jìn)行排序，以得到與記錄表對(duì)應(yīng)的排序結(jié)果，1)根據(jù)排序結(jié)果，從記錄表中加載圖片庫(kù)中的圖片，并把加載結(jié)果展示給用戶。上述步驟C)包括子步驟提取樣本庫(kù)的底層特征描述符，采用卡方內(nèi)核算法對(duì)底層特征描述符進(jìn)行高維映射處理，以得到高維映射向量，采用支持向量機(jī)對(duì)高維映射向量進(jìn)行訓(xùn)練，以得到樣本庫(kù)中每個(gè)類別的判別式fe+b，其中W、b為支持向量機(jī)訓(xùn)練得出的參數(shù)，X為高維映射向量。本發(fā)明的另一個(gè)目的在于提供一種融合分類與全局索引的圖像檢索系統(tǒng)，其檢索是采用了圖片的語(yǔ)義特征，從而提高了檢索系統(tǒng)的查準(zhǔn)率，并根據(jù)待查詢圖片的分類標(biāo)號(hào)融合分類與全局索引兩種檢索方式，彌補(bǔ)了分類錯(cuò)誤時(shí)的查全率低下的問(wèn)題，且分類模型保證大部分圖片采用分類方式檢索，檢索范圍大大縮小，小部分圖片采用索引的方式檢索， 從而整體提高了系統(tǒng)的檢索速度。一種融合分類與全局索引的圖像檢索系統(tǒng)，包括下載模塊、分類模型訓(xùn)練模塊、 圖像分類模塊、特征提取模塊、記錄表建立模塊、索引模塊、請(qǐng)求處理模塊、檢索模塊、相似度獲取模塊、結(jié)果返回模塊，下載模塊用于下載圖片以建立圖片庫(kù)，分類模型訓(xùn)練模塊首先對(duì)圖片庫(kù)中的圖片按照形狀進(jìn)行分類，對(duì)于每個(gè)分類，從圖片庫(kù)中挑選出具有代表性的樣本圖片，形成樣本庫(kù)。然后提取樣本庫(kù)中所有圖片的分類底層特征描述符，并在底層特征描述符上利用支持向量機(jī)進(jìn)行訓(xùn)練，以得到每個(gè)分類的判別式，并且所有分類的判別式形成分類模型，圖像分類模塊用于利用分類模型對(duì)圖片庫(kù)中所有圖片進(jìn)行分類，以得到圖片的類別標(biāo)號(hào)與語(yǔ)義特征，特征提取模塊提取圖片庫(kù)中所有圖片的顏色特征和形狀特征，并將顏色特征、形狀特征以及語(yǔ)義特征結(jié)合為特征庫(kù)，記錄表建立模塊關(guān)聯(lián)特征庫(kù)與圖片庫(kù)中所有圖片的路徑以及類別標(biāo)號(hào)以形成記錄表，索引模塊用于利用局部敏感哈希方法建立特征庫(kù)的索引，請(qǐng)求處理模塊用于接收來(lái)自用戶的圖片查詢請(qǐng)求，提取待查詢圖片的顏色特征和形狀特征，使用分類模型對(duì)待查詢圖片進(jìn)行處理，以得到待查詢圖片的類別標(biāo)號(hào)與語(yǔ)義特征，檢索模塊用于判斷待查詢圖片的類別標(biāo)號(hào)是大于還是等于，若待查詢圖片的類別標(biāo)號(hào)大于，則根據(jù)記錄表從特征庫(kù)中加載與待查詢圖片具有相同類別標(biāo)號(hào)的特征集合與記錄表中對(duì)應(yīng)的記錄項(xiàng)，若待查詢圖片的類別標(biāo)號(hào)等于，則根據(jù)待查詢圖片的顏色特征、形狀特征以及語(yǔ)義特征在索引上進(jìn)行查詢，以得到特征庫(kù)中的特征集合與記錄表中對(duì)應(yīng)的記錄項(xiàng)，相似度獲取模塊用于對(duì)特征集合與待查詢圖片的顏色特征、形狀特征以及語(yǔ)義特征進(jìn)行相似度計(jì)算，并根據(jù)計(jì)算得到的相似度值進(jìn)行排序，以得到與記錄項(xiàng)關(guān)聯(lián)的排序結(jié)果， 結(jié)果返回模塊用于根據(jù)記錄項(xiàng)中的圖片路徑加載圖片庫(kù)中的圖片，并把加載結(jié)果展示給用戶。圖像分類模塊包括分類特征描述符提取子模塊、高維映射子模塊以及訓(xùn)練子模塊，分類特征描述符提取子模塊用于提取樣本庫(kù)的底層特征描述符，高維映射子模塊用于采用卡方內(nèi)核算法對(duì)底層特征描述符進(jìn)行高維映射處理，以得到高維映射向量，訓(xùn)練子模塊用于采用支持向量機(jī)對(duì)高維映射向量進(jìn)行訓(xùn)練，以得到樣本庫(kù)中每個(gè)類別的判別式 ffx+b，其中w、b為支持向量機(jī)訓(xùn)練得出的參數(shù)，χ為高維映射向量。本發(fā)明具有以下的優(yōu)點(diǎn)和技術(shù)效果1、查詢準(zhǔn)確率高系統(tǒng)不完全依賴于圖像的檢索特征，采用分類模型對(duì)圖像庫(kù)進(jìn)行了一次預(yù)分類， 同一類中的圖片具有語(yǔ)義上的相似性。利用分類模型產(chǎn)生圖片的語(yǔ)義信息，在檢索時(shí)使機(jī)器判斷的相似性判別更接近人的感官。整個(gè)系統(tǒng)的檢索融入了分類模型的檢索效果，使系統(tǒng)的查詢率得到提高；2、響應(yīng)速度快對(duì)圖像進(jìn)行分類后，每個(gè)類別里面的圖像數(shù)量大大減少，加快了查詢速度。分類能夠保證90%以上的圖像正確分類，剩余不到10%的圖像在全局上采用索引方式進(jìn)行檢索。 從而在保證查詢效果好的情況下，全面的加快了查詢速度；3、查全率高分類模型的判別閾值控制嚴(yán)格，正確分類的圖像在類別中檢索其查準(zhǔn)率與查全率可以得到保證。對(duì)于不能正確分類的部分圖像，采用全局索引方式進(jìn)行檢索，避免了由于分類不準(zhǔn)確造成的查準(zhǔn)率與查全低下的問(wèn)題。


圖1為本發(fā)明融合分類與全局索引的圖像檢索方法的流程圖。圖2為本發(fā)明方法中步驟(C)的細(xì)化流程圖。圖3為本發(fā)明融合分類與全局索引的圖像檢索系統(tǒng)的示意框圖。圖4為本發(fā)明系統(tǒng)中圖像分類模塊的細(xì)化框圖。
具體實(shí)施例方式以下首先對(duì)本發(fā)明的技術(shù)術(shù)語(yǔ)進(jìn)行解釋和說(shuō)明具有代表性的樣本圖片能夠體現(xiàn)圖片庫(kù)中某一類別的特征。語(yǔ)義特征圖片在利用分類模型進(jìn)行分類時(shí)，每個(gè)類別得到一個(gè)分值，所有類別的分值形成的向量。類別標(biāo)號(hào)圖片在利用分類模型進(jìn)行分類時(shí)，得到的最大分值對(duì)應(yīng)的類別編號(hào)。顏色特征提取的圖片顏色直方圖特征。形狀特征圖像的金字塔化的梯度直方圖特征。局部敏感哈希方法即Local sensitivity Hashing，隨機(jī)產(chǎn)生一組向量，根據(jù)隨機(jī)產(chǎn)生的向量把特征向量分散到不同的桶中的一種哈希方法。底層特征描述符量化圖像的特征向量形成的整數(shù)向量?？ǚ絻?nèi)核算法把低維空間數(shù)據(jù)映射到高維空間的一種算法。HOG JPHistogram of Oriented Gradients，梯度方向直方圖，可以反映圖像的形狀特征。
PHOG 即 Pyramid Histogram of Oriented Gradients，金字塔化的 HOG 特征，融合了空間信息的一種形狀特征。SIFT S卩 ScaleHnvariant Feature Transform，尺度不變特征變換，一種局部特征提取方法。GRIDSIFT:_PGrid Dense Scale-Invariant Feature Transform，網(wǎng)格密集的尺度不變特征變換，采用密集采樣方法獲取的圖像SIFT特征。PGRIDSIFT 艮口 Pyramid Grid Dense Scale-Invariant Feature Transform，金字塔化的GRIDSIFT特征，融合了空間信息的一種局部特征。高維映射向量低維空間數(shù)據(jù)變換到高維空間的高維度數(shù)據(jù)。如圖1所示，本發(fā)明融合分類與全局索引的圖像檢索方法包括以下步驟a)下載圖片以建立圖片庫(kù)；b)對(duì)圖片庫(kù)中的圖片按照形狀進(jìn)行分類，對(duì)于每個(gè)分類，從圖片庫(kù)中挑選出具有代表性的樣本圖片，形成樣本庫(kù)。提取樣本庫(kù)中所有圖片的分類底層特征描述符，并在底層特征描述符上利用支持向量機(jī)進(jìn)行訓(xùn)練，以得到每個(gè)分類的判別式，并且所有分類的判別式形成分類模型；c)利用分類模型對(duì)圖片庫(kù)中所有圖片進(jìn)行分類，以得到圖片的類別標(biāo)號(hào)與語(yǔ)義特征；d)提取圖片庫(kù)中所有圖片的顏色特征和形狀特征，并將顏色特征、形狀特征以及語(yǔ)義特征結(jié)合為特征庫(kù)，具體采用以下兩種方法；(d-Ι)顏色特征提取方法把圖像在RGB空間中表示出來(lái)。把RGB的Mbit的像素點(diǎn)轉(zhuǎn)換成一個(gè)9bit的值。方法如下每個(gè)通道有8個(gè)bit位，首先取出每個(gè)通道的最高的3個(gè)bit位。對(duì)R，G，B三個(gè)通道共有9個(gè)bit，這9個(gè)bit構(gòu)成一個(gè)數(shù)字，最大值為29。 統(tǒng)計(jì)9bit值出現(xiàn)的次數(shù)，并量化形成512維的特征向量。(d-2)形狀特征提取方法(d-2-l)把輸入圖像轉(zhuǎn)換成灰度圖像Gray ；(d-2-2)使用canny算子把求取灰度圖像Gray的邊緣Edge ；(d-2-3)對(duì)灰度圖像Gray，在水平與垂直方向上求方向梯度GradientX， GradientY，求2個(gè)方向的綜合梯度GradientR ；(d-2-4)根據(jù)上一步得到的方向梯度值，求每個(gè)像素點(diǎn)的角度Angle = atan (GradientY/GradientX)，并把每個(gè)像素點(diǎn)的角度量化到8個(gè)區(qū)間。量化方法為
^x^，并對(duì)其取整，每個(gè)值在區(qū)間；
360 ο(d-2-5)獲取角度矩陣MatrixAngle，存放角度的量化值。梯度矩陣 MatrixGradient,存放像素點(diǎn)的綜合梯度。針對(duì)邊緣圖像Edge，在邊緣為0的點(diǎn)， MatrixAngle, MatrixGradient都為0 ；不為0的點(diǎn)，MatrixAngle存放其角度量化后的值， MatrixGradient存放綜合梯度值；(d-2-6)求取hog特征，在圖像范圍內(nèi)統(tǒng)計(jì)具有量化后的角度具有相同值的個(gè)數(shù)， 將這些像素點(diǎn)的綜合梯度累加起來(lái)，每個(gè)角度得到一個(gè)特征，共有8個(gè)特征；(d-2-7) Pyramid化hog特征得到PHOG特征。把圖像分成1，4，16，64個(gè)小區(qū)域，在每個(gè)區(qū)域內(nèi)分別求hog特征，形成一個(gè)大的向量。共有8X (1+4+16+64) = 680維的特征向量；e)并關(guān)聯(lián)特征庫(kù)與圖片庫(kù)以及類別標(biāo)號(hào)以形成記錄表；f)利用局部敏感哈希方法建立特征庫(kù)的索引；g)接收來(lái)自用戶的圖片查詢請(qǐng)求，提取待查詢圖片的顏色特征和形狀特征，使用分類模型對(duì)待查詢圖片進(jìn)行處理，以得到待查詢圖片的類別標(biāo)號(hào)與語(yǔ)義特征；h)判斷待查詢圖片的類別標(biāo)號(hào)是大于0還是等于0 ；i)若待查詢圖片的類別標(biāo)號(hào)大于0，則根據(jù)記錄表從特征庫(kù)中加載與待查詢圖片具有相同類別標(biāo)號(hào)的特征集合，然后轉(zhuǎn)入步驟(k)；j)若待查詢圖片的類別標(biāo)號(hào)等于0，則根據(jù)待查詢圖片的顏色特征、形狀特征以及語(yǔ)義特征在索引上進(jìn)行查詢，以得到特征庫(kù)中的特征集合；k)對(duì)特征集合與待查詢圖片的顏色特征、形狀特征以及語(yǔ)義特征進(jìn)行相似度計(jì)算，并根據(jù)計(jì)算得到的相似度值進(jìn)行排序，以得到與記錄表對(duì)應(yīng)的排序結(jié)果；(k-Ι)獲取特征距離值顏色特征采用JSD距離(Σ^奴^^ +只)
進(jìn)行比較，語(yǔ)義特征與形狀特征采用歐式距離(Σ (xk-yk)2)進(jìn)行比較，分別得到距離值集合 IdJ ；(k-2)獲取相似度值通過(guò)預(yù)先設(shè)定各個(gè)特征的權(quán)值集合{wk}與上一步得到的距離值集合{dk}，得到相似度丨)。每個(gè)相似度值在W，l]范圍內(nèi)；(k-3)獲取記錄項(xiàng)，根據(jù)上一步獲取的相似度值進(jìn)行排序，并加載記錄表中相應(yīng)的記錄項(xiàng)。1)根據(jù)排序結(jié)果，從記錄表中加載圖片庫(kù)中的圖片，并把加載結(jié)果展示給用戶。如圖2所示，本發(fā)明方法中步驟(C)包括以下子步驟(Cl)提取樣本庫(kù)的底層特征描述符；(cl-1)柵格化圖像S1,把圖像&劃分成等大小的小方塊，在小方塊內(nèi)提取圖像的 SIFT特征，這種采用柵格化處理后然后得到的圖像SIFT稱為GRIDSIFT特征。從一張圖像的所有小方塊中得到的特征集合為T= ITkIk= 1，2···Ν}，其中Tk= (Dk, Fk), |Ν|為圖像 S1中小方塊的數(shù)目，Dk為小方塊內(nèi)提取的SIFT特征的128維向量，F(xiàn)k = (Xk, Yk, Bk, Hk)是小方塊的描述信息，(Xk，Yk)是小方塊的中心位置信息，&為小方塊的邊長(zhǎng)長(zhǎng)度，Hk為小方塊區(qū)域SIFT特征的控制閾值；(cl-2)把從步驟(cl-Ι)中得到的圖像GRIDSIFT特征向量進(jìn)行金字塔化處理， 處理后的向量稱為PGRIDSIFT。金字塔化的方式是，使小方塊的邊長(zhǎng)依次取值為{4，6，8， 10}。在不同尺寸的小方塊上提取圖像的GRIDDSIFT特征，按照邊長(zhǎng)大小順序保存。經(jīng)過(guò)金字塔化化的PGRIDSIFT特征可以交叉覆蓋整個(gè)圖像，從而達(dá)到局部特征中融合圖像的全局特征，成為更加全面地描述圖像的底層特征；(cl-3)根據(jù)步驟(cl-2)中的方法提取樣本圖像的PGRIDSIFT特征。采用ELKAN KMEANS算法對(duì)所有樣本圖像的PGRIDSIFT特征進(jìn)行聚類，形成K個(gè)聚類中心，聚類中心數(shù)目 K經(jīng)手動(dòng)調(diào)節(jié)到較好的值。聚類中心集合是由樣本確定的參考基。把得到的聚類中心保存成一個(gè)矩陣，并在聚類中心矩陣上建立KDTREE索引；
(cl-4)用圖像&的PGRIDSIFT特征{Tk}在步驟(cl_3)中得到的KDTREE上進(jìn)行一次查詢得到其下標(biāo)索引{Lk}。把圖像的PGRIDSIFT特征中小方塊位置信息{FkOQ，F(xiàn)k (Yk)} 在圖像S1的寬度與高度上進(jìn)行一次量化，得到量化值^i5Mji }，按照行統(tǒng)計(jì){4,Mti Myt } 形成一維統(tǒng)計(jì)向量S。把統(tǒng)計(jì)向量S量化成直方圖，形成圖像&底層特征的直方圖描述符H。(c2)采用卡方內(nèi)核算法對(duì)底層特征描述符進(jìn)行高維映射處理，以得到高維映射向量；(c3)采用支持向量機(jī)對(duì)高維映射向量進(jìn)行訓(xùn)練，以得到樣本庫(kù)中每個(gè)類別的判別式ffx+b，其中W、b為支持向量機(jī)訓(xùn)練得出的參數(shù)，X為高維映射向量。如圖3所示，本發(fā)明融合分類與全局索引的圖像檢索系統(tǒng)包括模塊下載模塊1、分類模型訓(xùn)練模塊2、圖像分類模塊3、特征提取模塊4、記錄表建立模塊5、索引模塊6、請(qǐng)求處理模塊7、檢索模塊8、相似度獲取模塊9、結(jié)果返回模塊10。下載模塊1用于下載圖片以建立圖片庫(kù)。分類模型訓(xùn)練模塊2首先對(duì)圖片庫(kù)中的圖片按照形狀進(jìn)行分類，對(duì)于每個(gè)分類， 從圖片庫(kù)中挑選出具有代表性的樣本圖片，形成樣本庫(kù)。然后提取樣本庫(kù)中所有圖片的分類底層特征描述符，并在底層特征描述符上利用支持向量機(jī)進(jìn)行訓(xùn)練，以得到每個(gè)分類的判別式，并且所有分類的判別式形成分類模型。圖像分類模塊3用于利用分類模型對(duì)圖片庫(kù)中所有圖片進(jìn)行分類，以得到圖片的類別標(biāo)號(hào)與語(yǔ)義特征。特征提取模塊4提取圖片庫(kù)中所有圖片的顏色特征和形狀特征，并將顏色特征、 形狀特征以及語(yǔ)義特征結(jié)合為特征庫(kù)。記錄表建立模塊5關(guān)聯(lián)特征庫(kù)與圖片庫(kù)中所有圖片的路徑以及類別標(biāo)號(hào)以形成記錄表。索引模塊6用于利用局部敏感哈希方法建立特征庫(kù)的索引。請(qǐng)求處理模塊7用于接收來(lái)自用戶的圖片查詢請(qǐng)求，提取待查詢圖片的顏色特征和形狀特征，使用分類模型對(duì)待查詢圖片進(jìn)行處理，以得到待查詢圖片的類別標(biāo)號(hào)與語(yǔ)義特征。檢索模塊8用于判斷待查詢圖片的類別標(biāo)號(hào)是大于0還是等于0，若待查詢圖片的類別標(biāo)號(hào)大于0，則根據(jù)記錄表從特征庫(kù)中加載與待查詢圖片具有相同類別標(biāo)號(hào)的特征集合與記錄表中對(duì)應(yīng)的記錄項(xiàng)，若待查詢圖片的類別標(biāo)號(hào)等于0，則根據(jù)待查詢圖片的顏色特征、形狀特征以及語(yǔ)義特征在索引上進(jìn)行查詢，以得到特征庫(kù)中的特征集合與記錄表中對(duì)應(yīng)的記錄項(xiàng)。相似度獲取模塊9用于對(duì)特征集合與待查詢圖片的顏色特征、形狀特征以及語(yǔ)義特征進(jìn)行相似度計(jì)算，并根據(jù)計(jì)算得到的相似度值進(jìn)行排序，以得到與記錄項(xiàng)關(guān)聯(lián)的排序結(jié)果。結(jié)果返回模塊10用于根據(jù)記錄項(xiàng)的圖片路徑加載圖片庫(kù)中的圖片，并把加載結(jié)果展示給用戶。如圖4所示，模塊包括分類特征描述符提取子模塊31、高維映射子模塊32、高維映射子模塊32、訓(xùn)練子模塊33。
分類特征描述符提取子模塊31用于提取樣本庫(kù)的底層特征描述符；高維映射子模塊32用于采用卡方內(nèi)核算法對(duì)底層特征描述符進(jìn)行高維映射處理，以得到高維映射向量；訓(xùn)練子模塊33用于采用支持向量機(jī)對(duì)高維映射向量進(jìn)行訓(xùn)練，以得到樣本庫(kù)中每個(gè)類別的判別式，其中w、b為支持向量機(jī)訓(xùn)練得出的參數(shù)，χ為高維映射向量。實(shí)例測(cè)試數(shù)據(jù)源中國(guó)外觀設(shè)計(jì)專利中02大類，即服裝與服飾用品，共63350條記錄， 12大類，即運(yùn)輸或提升工具，共65416條記錄。系統(tǒng)總記錄數(shù)目1觀766。本發(fā)明的測(cè)試環(huán)境如表1所示
權(quán)利要求
1.一種融合分類與全局索引的圖像檢索方法，其特征在于，包括如下步驟a)下載圖片以建立圖片庫(kù)；b)對(duì)所述圖片庫(kù)中的圖片按照形狀進(jìn)行分類，對(duì)于每個(gè)分類，從所述圖片庫(kù)中挑選出具有代表性的樣本圖片，形成樣本庫(kù)。提取所述樣本庫(kù)中所有圖片的分類底層特征描述符， 并在所述底層特征描述符上利用支持向量機(jī)進(jìn)行訓(xùn)練，以得到每個(gè)分類的判別式，并且所有分類的判別式形成分類模型；c)利用所述分類模型對(duì)所述圖片庫(kù)中所有圖片進(jìn)行分類，以得到所述圖片的類別標(biāo)號(hào)與語(yǔ)義特征；d)提取所述圖片庫(kù)中所有圖片的顏色特征和形狀特征，并將所述顏色特征、所述形狀特征以及所述語(yǔ)義特征結(jié)合為特征庫(kù)；e)關(guān)聯(lián)所述特征庫(kù)與所述圖片庫(kù)以及所述類別標(biāo)號(hào)以形成記錄表；f)利用局部敏感哈希方法建立所述特征庫(kù)的索引；g)接收來(lái)自用戶的圖片查詢請(qǐng)求，提取待查詢圖片的顏色特征和形狀特征，使用所述分類模型對(duì)所述待查詢圖片進(jìn)行處理，以得到所述待查詢圖片的類別標(biāo)號(hào)與語(yǔ)義特征；h)判斷所述待查詢圖片的類別標(biāo)號(hào)是大于0還是等于0；i)若所述待查詢圖片的類別標(biāo)號(hào)大于0，則根據(jù)所述記錄表從所述特征庫(kù)中加載與所述待查詢圖片具有相同類別標(biāo)號(hào)的特征集合，然后轉(zhuǎn)入步驟(k)；j)若所述待查詢圖片的類別標(biāo)號(hào)等于0，則根據(jù)所述待查詢圖片的顏色特征、形狀特征以及語(yǔ)義特征在所述索引上進(jìn)行查詢，以得到所述特征庫(kù)中的特征集合；k)對(duì)所述特征集合與所述待查詢圖片的顏色特征、形狀特征以及語(yǔ)義特征進(jìn)行相似度計(jì)算，并根據(jù)計(jì)算得到的相似度值進(jìn)行排序，以得到與所述記錄表對(duì)應(yīng)的排序結(jié)果；1)根據(jù)所述排序結(jié)果，從所述記錄表中加載所述圖片庫(kù)中的圖片，并把加載結(jié)果展示給用戶。
2.根據(jù)權(quán)利要求1所述的圖像檢索方法，其特征在于，所述步驟(c)包括如下子步驟(cl)提取所述樣本庫(kù)的底層特征描述符；(c2)采用卡方內(nèi)核算法對(duì)所述底層特征描述符進(jìn)行高維映射處理，以得到高維映射向量；(c3)采用支持向量機(jī)對(duì)所述高維映射向量進(jìn)行訓(xùn)練，以得到所述樣本庫(kù)中每個(gè)類別的判別式fe+b，其中w、b為支持向量機(jī)訓(xùn)練得出的參數(shù)，χ為所述高維映射向量。
3.一種融合分類與全局索引的圖像檢索系統(tǒng)，包括下載模塊(1)、分類模型訓(xùn)練模塊 O)、圖像分類模塊( 、特征提取模塊(4)、記錄表建立模塊( 、索引模塊(6)、請(qǐng)求處理模塊(7)、檢索模塊(8)、相似度獲取模塊(9)、結(jié)果返回模塊(10)，其特征在于，所述下載模塊(1)用于下載圖片以建立圖片庫(kù)；所述分類模型訓(xùn)練模塊(2)首先對(duì)所述圖片庫(kù)中的圖片按照形狀進(jìn)行分類，對(duì)于每個(gè)分類，從所述圖片庫(kù)中挑選出具有代表性的樣本圖片，形成樣本庫(kù)。然后提取所述樣本庫(kù)中所有圖片的分類底層特征描述符，并在所述底層特征描述符上利用支持向量機(jī)進(jìn)行訓(xùn)練， 以得到每個(gè)分類的判別式，并且所有分類的判別式形成分類模型；所述圖像分類模塊C3)用于利用所述分類模型對(duì)所述圖片庫(kù)中所有圖片進(jìn)行分類，以得到所述圖片的類別標(biāo)號(hào)與語(yǔ)義特征；所述特征提取模塊(4)提取所述圖片庫(kù)中所有圖片的顏色特征和形狀特征，并將所述顏色特征、所述形狀特征以及所述語(yǔ)義特征結(jié)合為特征庫(kù)；所述記錄表建立模塊( 關(guān)聯(lián)所述特征庫(kù)與所述圖片庫(kù)中所有圖片的路徑以及所述類別標(biāo)號(hào)以形成記錄表；所述索引模塊(6)用于利用局部敏感哈希方法建立所述特征庫(kù)的索引； 所述請(qǐng)求處理模塊(7)用于接收來(lái)自用戶的圖片查詢請(qǐng)求，提取待查詢圖片的顏色特征和形狀特征，使用所述分類模型對(duì)所述待查詢圖片進(jìn)行處理，以得到所述待查詢圖片的類別標(biāo)號(hào)與語(yǔ)義特征；所述檢索模塊(8)用于判斷所述待查詢圖片的類別標(biāo)號(hào)是大于0還是等于0，若所述待查詢圖片的類別標(biāo)號(hào)大于0，則根據(jù)所述記錄表從所述特征庫(kù)中加載與所述待查詢圖片具有相同類別標(biāo)號(hào)的特征集合與所述記錄表中對(duì)應(yīng)的記錄項(xiàng)，若所述待查詢圖片的類別標(biāo)號(hào)等于0，則根據(jù)所述待查詢圖片的顏色特征、形狀特征以及語(yǔ)義特征在所述索引上進(jìn)行查詢，以得到所述特征庫(kù)中的特征集合與所述記錄表中對(duì)應(yīng)的記錄項(xiàng)；所述相似度獲取模塊(9)用于對(duì)所述特征集合與所述待查詢圖片的顏色特征、形狀特征以及語(yǔ)義特征進(jìn)行相似度計(jì)算，并根據(jù)計(jì)算得到的相似度值進(jìn)行排序，以得到與所述記錄項(xiàng)關(guān)聯(lián)的排序結(jié)果；所述結(jié)果返回模塊(10)用于根據(jù)所述記錄項(xiàng)中的圖片路徑加載所述圖片庫(kù)中的圖片，并把加載結(jié)果展示給用戶。
4.根據(jù)權(quán)利要求3所述的圖像檢索系統(tǒng)，其特征在于，所述圖像分類模塊(3)包括分類特征描述符提取子模塊(31)、高維映射子模塊(3 以及訓(xùn)練子模塊(33)；所述分類特征描述符提取子模塊(31)用于提取所述樣本庫(kù)的底層特征描述符； 所述高維映射子模塊(3 用于采用卡方內(nèi)核算法對(duì)所述底層特征描述符進(jìn)行高維映射處理，以得到高維映射向量；所述訓(xùn)練子模塊(3 用于采用支持向量機(jī)對(duì)所述高維映射向量進(jìn)行訓(xùn)練，以得到所述樣本庫(kù)中每個(gè)類別的判別式ffx+b，其中w、b為支持向量機(jī)訓(xùn)練得出的參數(shù)，χ為所述高維映射向量。
全文摘要
本發(fā)明公開(kāi)了一種融合分類與全局索引的圖像檢索系統(tǒng)，包括下載模塊、分類模型訓(xùn)練模塊、圖像分類模塊、特征提取模塊、記錄表建立模塊、索引模塊、請(qǐng)求處理模塊、檢索模塊、相似度獲取模塊、結(jié)果返回模塊，下載模塊用于下載圖片以建立圖片庫(kù)，分類模型訓(xùn)練模塊首先對(duì)圖片庫(kù)中的圖片按照形狀進(jìn)行分類，對(duì)于每個(gè)分類，從圖片庫(kù)中挑選出具有代表性的樣本圖片，形成樣本庫(kù)。然后提取樣本庫(kù)中所有圖片的分類底層特征描述符，并在底層特征描述符上利用支持向量機(jī)進(jìn)行訓(xùn)練，以得到每個(gè)分類的判別式，并且所有分類的判別式形成分類模型。本發(fā)明提高了檢索系統(tǒng)的查準(zhǔn)率，彌補(bǔ)了分類錯(cuò)誤時(shí)的查全率低下的問(wèn)題，整體提高了系統(tǒng)的檢索速度。
文檔編號(hào)G06F17/30GK102521366SQ20111042314
公開(kāi)日2012年6月27日 申請(qǐng)日期2011年12月16日 優(yōu)先權(quán)日2011年12月16日
發(fā)明者周挺, 朱磊, 章勤, 鄭然 , 郭明瑞, 金海 申請(qǐng)人:華中科技大學(xué)