專利名稱：基于視覺詞組的圖像檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是計算機信息處理技術(shù)領(lǐng)域的方法，具體是一種基于視覺詞組的圖像檢索方法。
背景技術(shù)：
隨著具有拍照功能的手機價格更加低廉以及互聯(lián)網(wǎng)的發(fā)展，圖像的獲取更加簡捷方便，圖像數(shù)量也呈現(xiàn)爆炸性的增長。圖像數(shù)量的快速增長對圖像數(shù)據(jù)的存儲、搜索和組織提出了巨大的挑戰(zhàn)和考驗。在現(xiàn)實生活中，如何在大規(guī)模圖像庫中根據(jù)手機拍攝圖像獲取最有用的信息，成為人們關(guān)注和研究的焦點之一。圖像檢索技術(shù)是指根據(jù)查詢圖像內(nèi)容信息或者指定查詢標準，在標準圖像庫中進行搜索并查找出符合條件的相關(guān)圖像。傳統(tǒng)的圖像檢索技術(shù)大多采用基于文本的檢索方法，它沿用了傳統(tǒng)的文本檢索技術(shù)，從圖像名稱、圖像尺寸、壓縮類型、作者、年代等方面描述圖像，通過關(guān)鍵詞的形式查詢圖像?；谖谋镜膱D像檢索技術(shù)，不能對圖像低層特征元素進行客觀分析和描述，逐漸被基于內(nèi)容的圖像檢索技術(shù)所取代。基于內(nèi)容的圖像檢索技術(shù)，早期大多采用顏色、紋理、形狀等全局特征進行相似性搜索，但是這些特征對于光照、遮擋以及幾何形變等不具有穩(wěn)健性，因此逐漸被SIFT、SURF 等局部不變性特征描述子所取代。與傳統(tǒng)的圖像全局特征相比，圖像的局部不變性特征具有更好的唯一性、不變性和魯棒性，能夠適應(yīng)圖像背景混雜、局部遮擋、光線變化等各種情況，因此適用于在各種情況下拍攝的手機圖像。將圖像的局部不變性特征進行聚類量化，并在高維索引結(jié)構(gòu)中進行相似性搜索，即可根據(jù)手機拍攝圖像在標準圖像庫中查詢出相關(guān)結(jié)^ ο經(jīng)對現(xiàn)有技術(shù)的文獻檢索發(fā)現(xiàn)，Andrew Zisserman等在專利“Object Retrieval”(美國專利號為US 2005/0225678 Al，
公開日期為2005年12月13日)中提供了用戶在圖像中自定義目標進行檢索的方法。在該方法中，首先采用形狀自適應(yīng)與最大穩(wěn)健區(qū)域進行特征提取，并采用SIFT描述子進行特征描述，然后采用K-Means聚類方法對所有 SIFT描述子進行聚類，創(chuàng)建視覺碼書，接著進行標準圖像矢量化，并根據(jù)標準圖像矢量的稀疏性創(chuàng)建倒排索引，進行相似性搜索。在創(chuàng)建視覺碼書的過程中，標準圖像中的每個SIFT 描述子通過一個聚類中心進行表示，從而降低了同一類別SIFT描述子之間的區(qū)分性，造成了量化損失。在待檢索圖像查詢過程中，必須先對待檢索圖像的SIFT描述子進行矢量化， 然后才能在倒排索引中進行相似性查詢，待檢索圖像矢量化過程以及待檢索圖像和標準圖像相似性度量過程耗費了不少時間，從而降低了檢索的實時性。進一步檢索發(fā)現(xiàn)，DavidNister等在專利“Salable Object Recognition Using Hierarchical Quantization with a Vocabulary Tree”(美國專利號為 US7725484 B2，
公開日期為2010年5月25日)中提供了一種圖像檢索方法。該方法在K-Means聚類的基礎(chǔ)上引入了分層的概念，雖然降低了傳統(tǒng)K-Means聚類的時間，但是屬于同一類別的描述子往往會被劃分到不同的類別中，以及同一類別SIFT描述子之間不存在區(qū)分性的問題，造成了更大的量化損失。在待檢索圖像查詢的過程中，由于同樣要進行矢量化以及倒排索引相似性搜索，從而也降低了檢索的實時性。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提供一種基于視覺詞組的圖像檢索方法， 通過基于視覺詞組的二維倒排索引以及對圖像進行空間幾何關(guān)系度量得以實現(xiàn)，能夠提高圖像中尺度不變描述子的區(qū)分性，并在保證檢索準確率的同時，降低檢索過程中的計算量， 提高了檢索的實時性。本發(fā)明是通過以下技術(shù)方案來實現(xiàn)的，本發(fā)明具體為
首先對標準圖像和待檢索圖像分別提取顯著性區(qū)域，并在顯著性區(qū)域中提取特征描述
子；
然后對標準圖像庫中的特征描述子采用隨機kd樹進行聚類； 接著將標準圖像和待檢索圖像的特征描述子分別通過視覺詞組進行表示，并根據(jù)標準圖像的視覺詞組創(chuàng)建二維倒排索引；
最后將由視覺詞組表示的待檢索圖像的特征描述子在二維倒排索引中進行相似性搜索以及空間幾何關(guān)系度量，給出最終檢索結(jié)果。所述的對標準圖像和待檢索圖像分別提取顯著性區(qū)域是指將圖像從空間坐標變換到頻率坐標，計算圖像的對數(shù)譜，并將其與濾波后的對數(shù)譜進行差分得到譜殘差，進而反變換得到顯著性區(qū)域。進一步的，所述的提取顯著性區(qū)域包括離線處理和實時處理兩個步驟，其中 在離線處理中，對于標準圖像庫JD (JiJ2,…，Js)中的圖像丨(iDXX…JV),提取到的
顯著性區(qū)域為馬D is^l-^y ,其中IA…，兩)是圖像Zf中的第I個顯著性區(qū)域，
是圖像各中顯著性區(qū)域的個數(shù)。在實時處理中，對于待檢索圖像Q，提取到的顯著性區(qū)域為冬！]^1，!·2，…》,)，其
中妒(ptllA-vK)是待檢索圖像Q中第P個顯著性區(qū)域，I是待檢索圖像Q中顯著性區(qū)域的個數(shù)。所述的提取特征描述子是指在提取到的顯著性區(qū)域中首先采用高斯差分算子 (Different of Gaussian, DOG)進行特征點檢測，然后將每個高斯差分算子通過尺度不變描述子(Scale Invariant Feature Transformation, SIFT)進行描述。進一步的，所述的提取特征描述子包括離線處理和實時處理兩個步驟，其中
在離線處理中，在圖像&提取到的顯著性區(qū)域馮中，提取到的SIFT描述子表示為
ti:fXk…為、是圖像乙中第r個描述子，維數(shù)為128維，^是
圖像i中SIFT描述子的個數(shù)。標準圖像庫中全部SIFT描述子表示為JTD PTtZ23…，^r)。在實時處理中，在待檢索圖像Q提取到的顯著性區(qū)域冬中，提取到的SIFT描述子表示為 □(/，/，---，/，其中Ζ&[]1Α---，Ι5是圖像Q中第g個描述子，維數(shù)為1 維，L是圖像Q中SIFT描述子的個數(shù)。所述的對標準圖像的特征描述子進行聚類是指在離線處理中，聚類過程中采用隨機kd樹進行近似最近鄰搜索，將特征描述子劃分到對應(yīng)的類別，并在多次迭代后確定聚類中心。所述采用隨機kd樹進行聚類的步驟包括
1)在全部SIFT描述子JT中隨機選擇fc個對象作為聚類中心
權(quán)利要求
1.一種基于視覺詞組的圖像檢索方法，其特征在于具體為首先對標準圖像和待檢索圖像分別提取顯著性區(qū)域，并在顯著性區(qū)域中提取特征描述子；然后對標準圖像庫中的特征描述子采用隨機kd樹進行聚類； 接著將標準圖像和待檢索圖像的特征描述子分別通過視覺詞組進行表示，并根據(jù)標準圖像的視覺詞組創(chuàng)建二維倒排索引；最后將由視覺詞組表示的待檢索圖像的特征描述子在二維倒排索引中進行相似性搜索以及空間幾何關(guān)系度量，給出最終檢索結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于視覺詞組的圖像檢索方法，其特征是，所述的對標準圖像和待檢索圖像分別提取顯著性區(qū)域是指將圖像從空間坐標變換到頻率坐標，計算圖像的對數(shù)譜，并將其與濾波后的對數(shù)譜進行差分得到譜殘差，進而反變換得到顯著性區(qū)域；所述的提取特征描述子是指在提取到的顯著性區(qū)域中首先采用高斯差分算子進行特征點檢測，然后將每個高斯差分算子通過尺度不變描述子進行描述。
3.根據(jù)權(quán)利要求1或2所述的基于視覺詞組的圖像檢索方法，其特征是，所述的提取顯著性區(qū)域包括離線處理和實時處理兩個步驟，其中所述離線處理中，在圖像“提取到的顯著性區(qū)域馮中，獲取到的SIFT描述子表示為式13(1^||，--^ ),其中 ^irU IA-^)是圖像^中第r個描述子，維數(shù)為1 維，是圖像中SIFT描述子的個數(shù)，標準圖像庫中全部SIFT描述子表示為.If」(Jf1,JT2,-- ,Xj,);所述實時處理中，在待檢索圖像Q提取到的顯著性區(qū)域&中，獲取到的SIFT描述子表示為A□ (/ /,-,/),其中□ …，￡)是圖像Q中第ff個描述子，維數(shù)為1 維，￡是圖像Q中SIFT描述子的個數(shù)。
4.根據(jù)權(quán)利要求1或2所述的基于視覺詞組的圖像檢索方法，其特征是，所述的提取特征描述子包括離線處理和實時處理兩個步驟，其中所述離線處理中，在圖像易提取到的顯著性區(qū)域S中，獲取到的SIFT描述子表示為 JTiIl (巧1，^，…，^ ,其中IX-,ι%)是圖像中第『個描述子，維數(shù)為1 維，巧是圖像矣中SIFT描述子的個數(shù)，標準圖像庫中全部SIFT描述子表示為JTD (JHf^Tjr)； 所述實時處理中，在待檢索圖像Q提取到的顯著性區(qū)域^中，獲取到的SIFT描述子表示為Λ □,其中Zfe □ IX-·,L)是圖像Q中第ff個描述子，維數(shù)為1 維，￡是圖像Q中SIFT描述子的個數(shù)。
5.根據(jù)權(quán)利要求1所述的基于視覺詞組的圖像檢索方法，其特征是，所述的對標準圖像的特征描述子進行聚類是指在離線處理中，聚類過程中采用隨機kd樹進行近似最近鄰搜索，將特征描述子劃分到對應(yīng)的類別，并在多次迭代后確定聚類中心；采用隨機kd樹確定聚類中心的步驟包括在全部SIFT描述子I中隨機選擇fc個對象作為聚類中心CD Cck^3-,1 )；根據(jù)聚類中心C創(chuàng)建隨機kd樹，隨機kd樹中的每個節(jié)點在多個較大方差值對應(yīng)的維數(shù)中隨機選擇，節(jié)點的分割閾值在對應(yīng)維數(shù)靠近中值的元素中隨機選擇；對SIFT描述子JT采用隨機kd樹進行近似最近鄰搜索，將每個SIFT描述子劃分到對應(yīng)的類別中；重新計算每個類別的均值，確定新的聚類中心；重復(fù)步驟2) —4)，設(shè)迭代的次數(shù)為ff次，直到每個類別不再發(fā)生變化為止。
6.根據(jù)權(quán)利要求1所述的基于視覺詞組的圖像檢索方法，其特征是，所述的將標準圖像和待檢索圖像的特征描述子分別通過視覺詞組進行表示是指在聚類完成后，根據(jù)隨機 kd樹確定每個SIFT描述子對應(yīng)的最近鄰的兩個聚類中心；所述確定每個SIFT描述子對應(yīng)的最近鄰的兩個聚類中心步驟包括在確定聚類中心G后，根據(jù)聚類中心創(chuàng)建的隨機kd樹對每個SIFT描述子< 進行近似最近鄰搜索；與SIFT描述子< 歐式距離最小的兩個聚類中心，即為表示SIFT描述子的視覺詞組。
7.根據(jù)權(quán)利要求1所述的基于視覺詞組的圖像檢索方法，其特征是，所述的根據(jù)標準圖像的視覺詞組創(chuàng)建二維倒排索引是指在離線處理中，分別以最近鄰和次近鄰的聚類中心作為行索引和列索引，標準圖像Jf作為索引目標；對于標準圖像心中的第；r個SIFT描述子4，通過視覺詞組( = )進行表示，從而標準圖像/^被記錄在索引值為ferf)的索引列表中；由于同一幅圖像中不同的SIFT描述子可能會通過相同的視覺詞組進行表示，因此在同一索引列表中重復(fù)出現(xiàn)多次的標準圖像只被記錄一次，從而保證查詢的實時性。
8.根據(jù)權(quán)利要求1所述的基于視覺詞組的圖像檢索方法，其特征是，所述的將由視覺詞組表示的待檢索圖像的特征描述子在二維倒排索引中進行相似性搜索，包含以下步驟根據(jù)聚類中心C創(chuàng)建的隨機kd樹對待檢索圖像Q中的SIFT描述子R進行近似最近鄰搜索，查找出每個SIFT描述子所對應(yīng)的最近鄰和次近鄰聚類中心，即將每個SIFT描述子通過視覺詞組進行表示；在二維倒排索引中進行相似性搜索時，存在累加器^4，用于記錄標準圖像/出現(xiàn)的次數(shù)巧，每個標準圖像都對應(yīng)著一個累加器約，則viD (fl,,^,-,當待檢索圖像Q中的一個SIFT描述子通過視覺詞組(I^vi)進行表示時，存儲在索引值為力的索引列表中的標準圖像被查詢一次，對應(yīng)的累加器《 加!,WllaiUaiUil ；將標準圖像A對應(yīng)的累加器A進行排序，數(shù)值較大的前U個累加器對應(yīng)的標準圖像，即為待檢索圖像Q的Λ個候選標準圖像結(jié)果。
9.根據(jù)權(quán)利要求1所述的基于視覺詞組的圖像檢索方法，其特征是，所述的空間幾何關(guān)系度量是指對于包含有同一內(nèi)容的兩幅圖像，圖像中特征點的空間幾何關(guān)系具有很大的相似性，根據(jù)待檢索圖像Q與標準圖像冬中特征點空間位置坐標的對應(yīng)關(guān)系，計算兩幅圖像的變換矩陣，進而根據(jù)變換矩陣估計待檢索圖像Q與標準圖像心中特征點空間幾何關(guān)系相似性。
10.根據(jù)權(quán)利要求1或9所述的基于視覺詞組的圖像檢索方法，其特征是，所述空間幾何關(guān)系度量步驟包括根據(jù)SIFT描述子與視覺詞組的對應(yīng)關(guān)系，確定待檢索圖像Q與標準圖像/,中特征點空間位置坐標的對應(yīng)關(guān)系，獲取· 對兩兩相互對應(yīng)的特征點，其中傳，約為標準圖像A出現(xiàn)的次數(shù)；不同的SIFT描述子可能會通過相同的視覺詞組進行表示，因此在■ 對特征點中可能會存在特征點對一對多的對應(yīng)關(guān)系，即一個特征點同時會有多個特征點與其相對應(yīng)，統(tǒng)計待檢索圖像Q與標準圖像J中早一對應(yīng)的特征點對，設(shè)單一對應(yīng)特征點對的數(shù)量為《C ；從nC對特征點對中隨機選取ζ對特征點，根據(jù)特征點空間位置坐標的對應(yīng)關(guān)系計算待檢索圖像Q與標準圖像乃的變換矩陣Ji ；根據(jù)變換矩陣Ji及特征點空間位置坐標，將待檢索圖像Q中剩余的ζ個特征點映射到標準圖像冬中，并計算映射后的特征點坐標與原特征點坐標的歐式距離，如果小于閾值/7則待檢索圖像Q與標準圖像夂中的特征點存在對應(yīng)關(guān)系，統(tǒng)計對應(yīng)的特征點對數(shù)量， 設(shè)其數(shù)量為&；重復(fù)步驟3)-4)，設(shè)迭代的次數(shù)力/次，計算待檢索圖像Q與標準圖像^對應(yīng)的特征點 1 *對的平均數(shù)量
全文摘要
本發(fā)明公開一種計算機信息處理技術(shù)領(lǐng)域的基于視覺詞組的圖像檢索方法，首先對標準圖像和待檢索圖像分別提取顯著性區(qū)域，并在顯著性區(qū)域中提取特征描述子，然后對標準圖像庫中的特征描述子采用隨機kd樹進行聚類，接著將標準圖像和待檢索圖像的特征描述子分別通過視覺詞組進行表示，并根據(jù)標準圖像的視覺詞組創(chuàng)建二維倒排索引，最后將由視覺詞組表示的待檢索圖像的特征描述子在二維倒排索引中進行相似性搜索以及空間幾何關(guān)系度量，給出最終檢索結(jié)果。本發(fā)明在保證檢索準確率的情況下，降低了檢索過程的計算量，提高了檢索的實時性。
文檔編號G06F17/30GK102254015SQ20111020541
公開日2011年11月23日 申請日期2011年7月21日 優(yōu)先權(quán)日2011年7月21日
發(fā)明者馮德瀛, 劉從新, 楊杰, 楊程 申請人:上海交通大學