專利名稱：一種圖像搜索方法及裝置的制作方法
技術領域：
本申請涉及圖像處理技術領域，特別涉及一種圖像搜索方法及裝置。
背景技術：
隨著用戶對網(wǎng)上圖像搜索的要求不斷增長，互聯(lián)網(wǎng)上圖像數(shù)據(jù)信息也日漸龐大，各種基于網(wǎng)頁(Web)的圖像搜索引擎應運而生。在電子商務網(wǎng)站上，用戶對圖像搜索，特別是基于內容的圖像搜索有著更為廣泛的需求?！盎趦热莸膱D像搜索”指的是，基于搜索條件本身就是一個圖像而進行的圖像搜索，或者是基于對圖像內容的語言描述進行的圖像搜索?，F(xiàn)有技術中，在進行基于內容的圖像搜索時，首先，通過尺度不變特征轉換(Scale-1nvariant feature transform, SIFT)技術分別提取圖像數(shù)據(jù)庫中每一幅圖像的關鍵區(qū)域的底部特征，該底部特征可以反應圖像關鍵區(qū)域中的紋理、梯度等信息，以及描述梯度分布；接著，對得到的底部特征進行量化，得到視覺詞，并建立與每個視覺詞對應的倒排表，將待查詢圖像所包含的視覺詞組成視覺詞集合，獲得該視覺詞集合中每一個視覺詞對應的倒排表，然后，統(tǒng)計倒排表中的每一個圖像出現(xiàn)的次數(shù)，最后，確定出現(xiàn)次數(shù)最多的圖像為目標圖像。上述過程中的視覺詞指的是，將圖像中關鍵區(qū)域的底部特征矢量在特征空間中聚類，每一個類被稱為一個視覺詞。倒排表即以每個視覺詞作為關鍵詞，將包含有該視覺詞的圖像建立索引而得到的索引表，圖1為視覺詞A對應的倒排表的示意圖，按照順序依次包括:視覺詞A，包含有視覺詞A的圖像1、包含有視覺詞A的圖像2，通過該倒排表，可以直觀的體現(xiàn)視覺詞A出現(xiàn)在哪些圖像中，實現(xiàn)對圖像數(shù)據(jù)庫中圖像的索引。從上述分析中可以看出，現(xiàn)有技術中的圖像搜索方法利用了圖像底部特征，以及通過底部特征對應的視覺詞進行比較的方式確定目標圖像。但是，由于底部特征只能體現(xiàn)圖像的部分信息，其所反映的圖像信息有限，只能夠涵蓋圖像的部分特征，因此，依據(jù)該底部特征進行搜索得到的目標圖像與用戶需要的圖像可能會存在較大的差別，使得搜索結果的準確度較低。而準確度的降低也會使用戶不斷修改搜索條件，多次向服務器請求搜索目標圖像，這就會使服務器重復或者反復響應同一幅目標圖像的搜索請求，增加了服務器的負擔，也會因為向用戶多次發(fā)送不滿足需求的圖像，而浪費大量的網(wǎng)絡傳輸資源。

發(fā)明內容
本申請的目的在于，提供一種圖像搜索方法，用以解決現(xiàn)有技術中的圖像搜索方法的搜索結果的準確度較低，服務器負擔重以及浪費大量的網(wǎng)絡傳輸資源的問題。一種圖像搜索方法，包括:確定待搜索圖像的所有待搜索關鍵區(qū)域對應的待搜索視覺詞及所述待搜索關鍵區(qū)域的幾何特征，所述幾何特征用于表示所述待搜索關鍵區(qū)域的幾何信息；查詢與所有待搜索關鍵區(qū)域的待搜索視覺詞對應的倒排表，所述倒排表包含各個圖像標識對應的備選圖像中與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征；按照綜合分值從大到小的順序將所有倒排表中圖像標識指示的備選圖像進行排序，所述綜合分值由備選圖像的重復次數(shù)及該備選圖像與所述待搜索圖像之間對應關鍵區(qū)域的幾何特征的匹配程度確定；依據(jù)排序的先后返回設定數(shù)量的圖像。優(yōu)選的，所述倒排表中包含的各個圖像標識對應的備選圖像中與所述視覺詞對應的備選關鍵區(qū)域的幾何特征至少包括:所述備選關鍵區(qū)域的位置信息、大小和主方向；相應的，所述待搜索圖像的待搜索關鍵區(qū)域的幾何特征至少包括:所述待搜索關鍵區(qū)域的位置信息、大小和主方向。優(yōu)選的，按照以下步驟提取所述關鍵區(qū)域幾何特征，并添加到倒排表中:確定所述倒排表包含的各個圖像標識對應的備選圖像中，與所述倒排表所包含的視覺詞對應的備選關鍵區(qū)域的中心位置橫坐標和中心位置縱坐標，根據(jù)預先設定的量化標準值量化所述中心位置橫坐標和中心位置縱坐標，分別記錄所述中心位置橫坐標和中心位置縱坐標的量化結果，所述量化結果為所述關鍵區(qū)域的位置信息；確定所述備選關鍵區(qū)域的半徑，記錄所述半徑；分析所述備選關鍵區(qū)域內的梯度分布，確定梯度最大的方向為所述關鍵區(qū)域的主方向，并記錄所述主方向；將所述備選關鍵區(qū)域的位置信息、半徑和主方向添加到所述倒排表中與所述圖像標識對應的位置。優(yōu)選的，所述按照綜合分值從大到小的順序將所有倒排表中圖像標識指示的備選圖像進行排序的過程包括:獲得所述各個備選圖像出現(xiàn)的次數(shù)；分別確定所述各個備選圖像中所包含的待搜索視覺詞，并分別獲得各個圖像中，所包含的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度；依據(jù)各個備選圖像出現(xiàn)的次數(shù)設定各個備選圖像的第一分值，所述第一分值表示匹配程度，設定規(guī)則為:次數(shù)越多，所述第一分值越大；依據(jù)各個備選圖像中所包含的待搜索關鍵區(qū)域的幾何特征與該待搜索關鍵區(qū)域的幾何特征對應的備選關鍵區(qū)域的幾何特征之間的匹配程度，按照預設規(guī)則，設置各個備選圖像的第二分值，所述第二分值表示匹配程度；分別確定各個備選圖像的第一分值和第二分值之和為所述備選圖像對應的綜合分值；按照所述綜合分值從大到小的順序將所述備選圖像進行排序。優(yōu)選的，所述按照綜合分值從大到小的順序將所有倒排表中圖像標識指示的備選圖像進行排序的過程包括:獲得各個備選圖像出現(xiàn)的次數(shù)；依據(jù)備選圖像出現(xiàn)的次數(shù)設定各個圖像的第一分值，所述第一分值表示匹配程度；按照第一分值由高到低的順序對各個備選圖像進行排序；
選擇前N個備選圖像作為初始目的圖像，所述N為預先設定的整數(shù)；分別獲得各個初始目的圖像中，所包含的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度；依據(jù)各個初始目的圖像中，所包含的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度，按照預設規(guī)則，設定所述各個待處理圖像的第二分值，所述第二分值表示匹配程度；分別確定各個初始目的圖像的第一分值和第二分值之和為所述初始目的圖像的綜合分值；按照所述綜合分值從大到小的順序將所述備選圖像進行排序。優(yōu)選的，獲得各個圖像中，所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度的過程包括:從所述備選圖像中確定當前待計算圖像，并從所述當前待計算圖像所包含的與待搜索視覺詞對應的備選關鍵區(qū)域中確定出當前待計算關鍵區(qū)域；確定與所述當前待計算關鍵區(qū)域對應的待搜索關鍵區(qū)域；依據(jù)所述當前待計算關鍵區(qū)域的幾何特征和所述待搜索關鍵區(qū)域的幾何特征，計算所述當前待計算關鍵區(qū)域的中心點與所述待搜索關鍵區(qū)域的中心點之間的映射矩陣；依據(jù)映射矩陣變換所述當前待計算關鍵區(qū)域的中心點坐標；利用變換后的坐標計算所述當前待計算關鍵區(qū)域的中心點與所述待搜索關鍵區(qū)域的中心點的距離，確定所述距離為當前待計算關鍵區(qū)域的幾何特征與所述待搜索關鍵區(qū)域的幾何特征的匹配程度，距離越小匹配程度越高，并記錄；當所述當前待計算圖像所包含的與所述待搜索關鍵詞對應的備選關鍵區(qū)域中存在未被計算備選關鍵區(qū)域時，確定下一未被計算備選關鍵區(qū)域為所述當前待計算關鍵區(qū)域，并返回執(zhí)行確定與所述當前待計算關鍵區(qū)域對應的待搜索關鍵區(qū)域的步驟；當所述當前待計算圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域中不存在未被計算關鍵區(qū)域，且備選圖像中存在未被計算圖像時，確定下一未被計算圖像為當前待計算圖像，并返回執(zhí)行從所述當前待計算圖像所包含與所述待搜索視覺詞對應的備選關鍵區(qū)域中確定出當前待計算關鍵區(qū)域的步驟；當所述當前待計算圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域不存在未被計算視覺詞，且不存在未被計算圖像時，結束。優(yōu)選的，所述依據(jù)各個圖像中，所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度，按照預設規(guī)則，設定所述各個待處理圖像的第二分值的過程包括:從備選圖像中確定當前待分析圖像，并獲取所述當前待分析圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的中心點與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域的中心點之間的距離；分別將所述各個備選關鍵區(qū)域的中心點與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域的中心點之間的距離與預設距離值進行比較，記錄小于預設距離值的個數(shù)；當備選圖像中存在未被分析圖像時，確定下一未被分析圖像為當前待分析圖像，返回執(zhí)行獲取所述當前待分析圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的中心點與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域的中心點之間的距離的步驟；當備選圖像中不存在未被分析圖像時，根據(jù)各個備選圖像中所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的中心點與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域的中心點的距離小于預設距離值的個數(shù)，設定各個備選圖像的第二分值。優(yōu)選的，獲得各個圖像中，所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度的過程包括:從備選圖像中確定當前待計算圖像，并從所述當前待計算圖像所包含的與待搜索視覺詞對應的備選關鍵區(qū)域中確定出當前待計算關鍵區(qū)域組；，所述當前待計算關鍵區(qū)域組包括:第一待計算關鍵區(qū)域和當前第二待計算關鍵區(qū)域；確定分別與所述當前第一待計算關鍵區(qū)域和當前第二待計算關鍵區(qū)域對應的當前第一待搜索關鍵區(qū)域和當前第二待搜索關鍵區(qū)域；確定所述當前第一待計算關鍵區(qū)域的中心點為第一待計算點，確定所述當前第二待計算關鍵區(qū)域的中心點為第二待計算點，確定所述當前第一關鍵區(qū)域的中心點為第一待搜索點，確定所述當前第二關鍵區(qū)域的中心點為第二待搜索點；依據(jù)所述當前第一待計算關鍵區(qū)域的幾何特征、所述當前第二待計算關鍵區(qū)域的幾何特征、當前第一待搜索關鍵區(qū)域的幾何特征和所述當前第二待搜索關鍵區(qū)域的幾何特征，計算所述第一待計算點的主方向與所述第一待計算點與所述第二待計算點連線間的第一待計算夾角、所述第二待計算點的主方向與所述第一待計算點與所述第二待計算點連線間的第二待計算夾角、所述第一待搜索點的主方向與所述第一待搜索點與所述第二待搜索點連線間的第一待搜索夾角和所述第二待搜索點的主方向與所述第一待搜索點與所述第二待搜索點連線間的第二待搜索夾角，并計算所述第一待計算夾角與所述第一待搜索夾角間的第一夾角差、計算所述第二待計算夾角與所述第二待搜索夾角間的第二夾角差，計算所述第一待計算點與所述第一待搜索點間的第一距離、第二待計算點與所述第二待搜索點間的第二距離；確定所述第一夾角差、第一距離、第二夾角差和第二距離為所述當前待計算關鍵區(qū)域的幾何特征和所述待搜索關鍵區(qū)域的幾何特征間的匹配程度參數(shù)，并記錄；當所述當前待計算圖像所包含的與待搜索視覺詞對應的備選關鍵區(qū)域存在未被計算備選關鍵區(qū)域時，從未被計算備選關鍵區(qū)域中確定下一備選關鍵區(qū)域組作為當前待計算備選關鍵區(qū)域組，并返回執(zhí)行確定所述當前第一待計算關鍵區(qū)域，確定所述當前第二待計算關鍵區(qū)域的過程；當所述當前待計算圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域中不存在未被計算備選關鍵區(qū)域，且所述備選圖像中存在未被計算圖像時，確定下一未被計算備選圖像為當前待計算圖像，并返回執(zhí)行從所述當前待計算圖像所包含的與待搜索視覺詞對應的備選關鍵區(qū)域組的步驟；當所述當前待計算圖像所包含的與待搜索視覺詞對應的備選關鍵區(qū)域中不存在未被計算備選關鍵區(qū)域，且不存在未被計算圖像時，結束。優(yōu)選的，所述依據(jù)各個圖像中，所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度，按照預設規(guī)則，設定所述各個待處理圖像的第二分值的過程包括:從備選圖像中確定當前待分析圖像，并獲取所述當前待分析圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域組的幾何特征與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域組的幾何特征之間的匹配程度參數(shù)；分別獲得所述匹配程度參數(shù)中的第一距離和第二距離；計算所述第一距離與所述待搜索關鍵區(qū)域組中的第一待搜索關鍵區(qū)域的幾何特征中的半徑值的第一比值，計算所述第二距離與所述待搜索關鍵區(qū)域組中的第二待搜索關鍵區(qū)域的幾何特征中的半徑值的第二比值，計算所述第一距離與所述第一備選區(qū)域的幾何特征中的半徑值的第三比值和計算所述第二距離與所述第二備選區(qū)域的幾何特征中的半徑值的第四比值，并將所述第一比值與第二比值相除得到第五比值，將所述第三比值與第四比值相除得到第六比值；分別將所述備選關鍵區(qū)域的幾何特征與所述待搜索關鍵區(qū)域的幾何特征之間的差值中的第一夾角差、第二夾角差與預設夾角值進行比較，將所述第五比值和第六比值與預設距離值、以及所述預設距離值的倒數(shù)進行比較；記錄符合預設約束條件的待搜索視覺詞組的個數(shù)，所述個數(shù)越多，所述匹配程度越高，所述預設約束條件為:所述第一夾角差和第二夾角差均小于所述預設夾角值，且第所述五比值和第六比值均大于所述預設距離值的倒數(shù)，小于所述預設距離值；當存在未被分析圖像時，確定下一未被分析圖像為當前待分析圖像，返回獲取所述當前待分析圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域組的幾何特征與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域組的幾何特征之間的差值；當不存在未被分析圖像時，根據(jù)各個圖像中所包含的符合預設約束條件的備選關鍵區(qū)域組的個數(shù)，設定各個圖像的第二分值，設定規(guī)則為:個數(shù)越多，所述第二分值越大。本申請還提供了一種圖像搜索裝置，用以保證上述方法在實際中的實現(xiàn)及應用。一種圖像搜索裝置，包括:確定模塊，用于確定待搜索圖像的所有待搜索關鍵區(qū)域對應的待搜索視覺詞及所述待搜索關鍵區(qū)域的幾何特征；查詢模塊，用于查詢與所有待搜索關鍵區(qū)域的待搜索視覺詞對應的倒排表，所述倒排表包含各個圖像標識對應的備選圖像中與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征；排序模塊，用于按照綜合分值從大到小的順序將所有倒排表中圖像標識指示的備選圖像進行排序，所述綜合分值由備選圖像的重復次數(shù)及該備選圖像與所述待搜索圖像之間對應關鍵區(qū)域的幾何特征的匹配程度確定；發(fā)送模塊，用于依據(jù)排序的先后返回設定數(shù)量的圖像。與現(xiàn)有技術相比，本申請包括以下優(yōu)點:通過得到的與底層特征和幾何特征對應的綜合分值對備選圖像進行排序，從而使返回的圖像在底層特征和幾何特征上都和待搜索圖像具有較高的匹配度，提高了圖像搜索結果的準確度，避免出現(xiàn)由于搜索結果準確度低而造成用戶反復或者重復向服務器請求搜索目標圖像，導致服務器重復或者反復響應同一幅目標圖像的搜索請求，而增加了服務器的負擔，以及向用戶多次發(fā)送不滿足需求的圖像，而浪費大量的網(wǎng)絡傳輸資源的現(xiàn)象，從而減輕了服務器的負擔，節(jié)約了網(wǎng)絡傳輸資源。當然，實施本申請的任一產(chǎn)品并不一定需要同時達到以上所述的所有優(yōu)點。


為了更清楚地說明本申請實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明公開的現(xiàn)有技術中的倒排表示意圖；圖2為本發(fā)明實施例1公開的圖像搜索方法的流程圖；圖3為本發(fā)明實施例1公開的將備選關鍵區(qū)域的幾何特征進行提取并添加到倒排表中的方法的流程圖；圖4為本發(fā)明實施例1公開的添加備選關鍵區(qū)域幾何特征后的倒排表的示意圖；圖5為本發(fā)明實施例2公開的圖像搜索方法的流程圖；圖6為本發(fā)明實施例2公開的獲得各個圖像中，所包含的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度的方法的流程圖；圖7為按照預設規(guī)則，設定所述各個待處理圖像的第二分值的方法的流程圖；圖8本發(fā)明實施例3公開的獲得各個圖像中，所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度方法的流程圖；圖9為本發(fā)明實施例3公開的按照預設規(guī)則，設定所述各個待處理圖像的第二分值的方法流程圖；圖10為本發(fā)明實施例4公開的圖像搜索方法的流程圖；圖11為本發(fā)明提供的一種圖像搜索裝置的結構示意圖。
具體實施例方式下面將結合本申請實施例中的附圖,對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├?，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護的范圍。本申請可用于眾多通用或專用的計算系統(tǒng)環(huán)境或配置中。例如:個人計算機、服務器計算機、手持設備或便攜式設備、平板型設備、多處理器系統(tǒng)、包括以上任何系統(tǒng)或設備的分布式計算環(huán)境等等。本申請可以在由計算機執(zhí)行的計算機可執(zhí)行指令的一般上下文中描述，例如程序模塊。一般地，程序模塊包括執(zhí)行特定任務或實現(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結構等等。也可以在分布式計算環(huán)境中實踐本申請，在這些分布式計算環(huán)境中，由通過通信網(wǎng)絡而被連接的遠程處理設備來執(zhí)行任務。在分布式計算環(huán)境中，程序模塊可以位于包括存儲設備在內的本地和遠程計算機存儲介質中。
本申請的主要思想之一可以包括，確定待搜索圖像的所有待搜索關鍵區(qū)域對應的待搜索視覺詞及所述待搜索關鍵區(qū)域的幾何特征；查詢與所有待搜索關鍵區(qū)域的待搜索視覺詞對應的倒排表，所述倒排表包含各個圖像標識對應的備選圖像中與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征；按照綜合分值從大到小的順序將所有倒排表中圖像標識指示的備選圖像進行排序，所述綜合分值由備選圖像的重復次數(shù)及該備選圖像與所述待搜索圖像之間對應關鍵區(qū)域的幾何特征的匹配程度確定；依據(jù)排序的先后發(fā)送設定數(shù)量的圖像，本申請中，最終目標圖像與待搜索圖像在底層特征和幾何特征上都和待搜索圖像具有較高的匹配度，這提高了圖像搜索結果的準確度，避免出現(xiàn)由于搜索結果準確度低而造成用戶多次向服務器請求搜索目標圖像，導致服務器重復或者反復響應同一幅目標圖像的搜索請求，而增加了服務器的負擔，以及向用戶多次發(fā)送不滿足需求的圖像，而浪費大量的網(wǎng)絡傳輸資源的現(xiàn)象，從而減輕了服務器的負擔，節(jié)約了網(wǎng)絡傳輸資源。參考圖2，其示出了本申請一種圖像搜索方法實施例1的流程圖，可以包括以下步驟:步驟S201:確定待搜索圖像的所有待搜索關鍵區(qū)域對應的待搜索視覺詞及所述待搜索關鍵區(qū)域的幾何特征，所述幾何特征用于表示所述待搜索關鍵區(qū)域的幾何信息；本實施例中，可利用角點檢測或最大穩(wěn)定極值區(qū)域檢測等方法，確定待搜索圖像的待搜索關鍵區(qū)域，然后從待搜索關鍵區(qū)域中提取底層特征，得到與待搜索關鍵區(qū)域對應的待搜索視覺詞，并且，確定表示待搜索關鍵區(qū)域的幾何信息的幾何特征。該幾何特征包括:待搜索圖像的待搜索關鍵區(qū)域的位置信息、大小和主方向。本實施例中，待搜索關鍵區(qū)域的位置信息用該關鍵區(qū)域的中心點坐標來進行表示，首先確定該關鍵區(qū)域的中心點所在位置的橫坐標和縱坐標，然后按照預先設定的量化標注值，進行量化，本實施例中的量化標準值為255，記錄量化的結果，最后將量化后的橫坐標和縱坐標作為該關鍵區(qū)域的位置信息。例如，假設某一關鍵區(qū)域的中心位置的坐標為(x，y)，量化后的坐標橫坐標為X，量化后的縱坐標為y，其中，width和height分別為圖像的寬度和高度，具體的量化過程為:
權利要求
1.一種圖像搜索方法，其特征在于，包括: 確定待搜索圖像的所有待搜索關鍵區(qū)域對應的待搜索視覺詞及所述待搜索關鍵區(qū)域的幾何特征，所述幾何特征用于表示所述待搜索關鍵區(qū)域的幾何信息； 查詢與所有待搜索關鍵區(qū)域的待搜索視覺詞對應的倒排表，所述倒排表包含各個圖像標識對應的備選圖像中與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征； 按照綜合分值從大到小的順序將所有倒排表中圖像標識指示的備選圖像進行排序，所述綜合分值由備選圖像的重復次數(shù)及該備選圖像與所述待搜索圖像之間對應關鍵區(qū)域的幾何特征的匹配程度確定； 依據(jù)排序的先后返回設定數(shù)量的圖像。
2.根據(jù)權利要求1所述的方法，其特征在于，所述倒排表中包含的各個圖像標識對應的備選圖像中與所述視覺詞對應的備選關鍵區(qū)域的幾何特征至少包括:所述備選關鍵區(qū)域的位置信息、大小和主方向； 相應的，所述待搜索圖像的待搜索關鍵區(qū)域的幾何特征至少包括:所述待搜索關鍵區(qū)域的位置信息、大小和主方向。
3.根據(jù)權利要求2所述的方法，其特征在于，按照以下步驟提取所述關鍵區(qū)域幾何特征，并添加到倒排表中: 確定所述倒排表包含的各個圖像標識對應的備選圖像中，與所述倒排表所包含的視覺詞對應的備選關鍵區(qū)域的中心位置橫坐標和中心位置縱坐標，根據(jù)預先設定的量化標準值量化所述中心位置橫坐標和中心位置縱坐標，分別記錄所述中心位置橫坐標和中心位置縱坐標的量化結果，所述量化結果為所述關鍵區(qū)域的位置信息； 確定所述備選關鍵區(qū)域 的半徑，記錄所述半徑； 分析所述備選關鍵區(qū)域內的梯度分布，確定梯度最大的方向為所述關鍵區(qū)域的主方向，并記錄所述主方向； 將所述備選關鍵區(qū)域的位置信息、半徑和主方向添加到所述倒排表中與所述圖像標識對應的位置。
4.根據(jù)權利要求3所述的方法，其特征在于，所述按照綜合分值從大到小的順序將所有倒排表中圖像標識指示的備選圖像進行排序的過程包括: 獲得所述各個備選圖像出現(xiàn)的次數(shù)； 分別確定所述各個備選圖像中所包含的待搜索視覺詞，并分別獲得各個圖像中，所包含的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度； 依據(jù)各個備選圖像出現(xiàn)的次數(shù)設定各個備選圖像的第一分值，所述第一分值表示匹配程度，設定規(guī)則為:次數(shù)越多，所述第一分值越大；依據(jù)各個備選圖像中所包含的待搜索關鍵區(qū)域的幾何特征與該待搜索關鍵區(qū)域的幾何特征對應的備選關鍵區(qū)域的幾何特征之間的匹配程度，按照預設規(guī)則，設置各個備選圖像的第二分值，所述第二分值表示匹配程度； 分別確定各個備選圖像的第一分值和第二分值之和為所述備選圖像對應的綜合分值； 按照所述綜合分值從大到小的順序將所述備選圖像進行排序。
5.根據(jù)權利要求3所述的方法，其特征在于，所述按照綜合分值從大到小的順序將所有倒排表中圖像標識指示的備選圖像進行排序的過程包括: 獲得各個備選圖像出現(xiàn)的次數(shù)； 依據(jù)備選圖像出現(xiàn)的次數(shù)設定各個圖像的第一分值，所述第一分值表示匹配程度； 按照第一分值由高到低的順序對各個備選圖像進行排序； 選擇前N個備選圖像作為初始目的圖像，所述N為預先設定的整數(shù)； 分別獲得各個初始目的圖像中，所包含的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度； 依據(jù)各個初始目的圖像中，所包含的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度，按照預設規(guī)則，設定所述各個待處理圖像的第二分值，所述第二分值表示匹配程度； 分別確定各個初始目的圖像的第一分值和第二分值之和為所述初始目的圖像的綜合分值； 按照所述綜合分值從大到小的順序將所述備選圖像進行排序。
6.根據(jù)權利要求4或5所述的方法，其特征在于，獲得各個圖像中，所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度的過程包括: 從所述備選圖像中確定當前待計算圖像，并從所述當前待計算圖像所包含的與待搜索視覺詞對應的備選關鍵區(qū)域中確定出當前待計算關鍵區(qū)域； 確定與所述當前待計算關鍵區(qū)域對應的待搜索關鍵區(qū)域； 依據(jù)所述當前待計算關鍵區(qū)域的幾何特征和所述待搜索關鍵區(qū)域的幾何特征，計算所述當前待計算關鍵區(qū)域的中心點與所述待搜索關鍵區(qū)域的中心點之間的映射矩陣； 依據(jù)映射矩陣變換所述當前待計算關鍵區(qū)域的中心點坐標； 利用變換后的坐標計算所述當前待計算關鍵區(qū)域的中心點與所述待搜索關鍵區(qū)域的中心點的距離，確定所述距離為當前待計算關鍵區(qū)域的幾何特征與所述待搜索關鍵區(qū)域的幾何特征的匹配程度，距離越小匹配程度越高，并記錄； 當所述當前待計算圖像所包含的與所述待搜索關鍵詞對應的備選關鍵區(qū)域中存在未被計算備選關鍵區(qū)域時，確定下一未被計算備選關鍵區(qū)域為所述當前待計算關鍵區(qū)域，并返回執(zhí)行確定與所述當前待計算關鍵區(qū)域對應的待搜索關鍵區(qū)域的步驟； 當所述當前待計算圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域中不存在未被計算關鍵區(qū)域，且備選圖像中存在未被計算圖像時，確定下一未被計算圖像為當前待計算圖像，并返回執(zhí)行從所述當前待計算圖像所包含與所述待搜索視覺詞對應的備選關鍵區(qū)域中確定出當前待計算關鍵區(qū)域的步驟； 當所述當前待計算圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域不存在未被計算視覺詞，且不存在未被計算圖像時，結束。
7.根據(jù)權利要求6所述的方法，其特征在于，所述依據(jù)各個圖像中，所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度，按照預設規(guī)則，設定所述各個待處理圖像的第二分值的過程包括: 從備選圖像中確定當前待分析圖像，并獲取所述當前待分析圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的中心點與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域的中心點之間的距離； 分別將所述各個備選關鍵區(qū)域的中心點與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域的中心點之間的距離與預設距離值進行比較，記錄小于預設距離值的個數(shù)； 當備選圖像中存在未被分析圖像時，確定下一未被分析圖像為當前待分析圖像，返回執(zhí)行獲取所述當前待分析圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的中心點與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域的中心點之間的距離的步驟； 當備選圖像中不存在未被分析圖像時，根據(jù)各個備選圖像中所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的中心點與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域的中心點的距離小于預設距離值的個數(shù)，設定各個備選圖像的第二分值。
8.根據(jù)權利要求4或5所述的方法，其特征在于，獲得各個圖像中，所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度的過程包括: 從備選圖像中確定當前待計算圖像，并從所述當前待計算圖像所包含的與待搜索視覺詞對應的備選關鍵區(qū)域中確定出當前待計算關鍵區(qū)域組；，所述當前待計算關鍵區(qū)域組包括:第一待計算關鍵區(qū)域和當前第二待計算關鍵區(qū)域； 確定分別與所述當前第一待計算關鍵區(qū)域和當前第二待計算關鍵區(qū)域對應的當前第一待搜索關鍵區(qū)域和當前第二待搜索關鍵區(qū)域； 確定所述當前第一待計算關鍵區(qū)域的中心點為第一待計算點，確定所述當前第二待計算關鍵區(qū)域的中心點為第二待計算點，確定所述當前第一關鍵區(qū)域的中心點為第一待搜索點，確定所述當前第二關鍵區(qū)域的中心點為第二待搜索點； 依據(jù)所述當前第一待計 算關鍵區(qū)域的幾何特征、所述當前第二待計算關鍵區(qū)域的幾何特征、當前第一待搜索關鍵區(qū)域的幾何特征和所述當前第二待搜索關鍵區(qū)域的幾何特征，計算所述第一待計算點的主方向與所述第一待計算點與所述第二待計算點連線間的第一待計算夾角、所述第二待計算點的主方向與所述第一待計算點與所述第二待計算點連線間的第二待計算夾角、所述第一待搜索點的主方向與所述第一待搜索點與所述第二待搜索點連線間的第一待搜索夾角和所述第二待搜索點的主方向與所述第一待搜索點與所述第二待搜索點連線間的第二待搜索夾角，并計算所述第一待計算夾角與所述第一待搜索夾角間的第一夾角差、計算所述第二待計算夾角與所述第二待搜索夾角間的第二夾角差，計算所述第一待計算點與所述第一待搜索點間的第一距離、第二待計算點與所述第二待搜索點間的第二距離； 確定所述第一夾角差、第一距離、第二夾角差和第二距離為所述當前待計算關鍵區(qū)域的幾何特征和所述待搜索關鍵區(qū)域的幾何特征間的匹配程度參數(shù)，并記錄； 當所述當前待計算圖像所包含的與待搜索視覺詞對應的備選關鍵區(qū)域存在未被計算備選關鍵區(qū)域時，從未被計算備選關鍵區(qū)域中確定下一備選關鍵區(qū)域組作為當前待計算備選關鍵區(qū)域組，并返回執(zhí)行確定所述當前第一待計算關鍵區(qū)域，確定所述當前第二待計算關鍵區(qū)域的過程； 當所述當前待計算圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域中不存在未被計算備選關鍵區(qū)域，且所述備選圖像中存在未被計算圖像時，確定下一未被計算備選圖像為當前待計算圖像，并返回執(zhí)行從所述當前待計算圖像所包含的與待搜索視覺詞對應的備選關鍵區(qū)域組的步驟； 當所述當前待計算圖像所包含的與待搜索視覺詞對應的備選關鍵區(qū)域中不存在未被計算備選關鍵區(qū)域，且不存在未被計算圖像時，結束。
9.根據(jù)權利要求8所述的方法，其特征在于，所述依據(jù)各個圖像中，所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征與該備選關鍵區(qū)域的對應的待搜索關鍵區(qū)域的幾何特征之間的匹配程度，按照預設規(guī)則，設定所述各個待處理圖像的第二分值的過程包括: 從備選圖像中確定當前待分析圖像，并獲取所述當前待分析圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域組的幾何特征與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域組的幾何特征之間的匹配程度參數(shù)； 分別獲得所述匹配程度參數(shù)中的第一距離和第二距離； 計算所述第一距離與所述待搜索關鍵區(qū)域組中的第一待搜索關鍵區(qū)域的幾何特征中的半徑值的第一比值，計算所述第二距離與所述待搜索關鍵區(qū)域組中的第二待搜索關鍵區(qū)域的幾何特征中的半徑值的第二比值，計算所述第一距離與所述第一備選區(qū)域的幾何特征中的半徑值的第三比值和計算所述第二距離與所述第二備選區(qū)域的幾何特征中的半徑值的第四比值，并將所述第一比值與第二比值相除得到第五比值，將所述第三比值與第四比值相除得到第六比值； 分別將所述備選關鍵區(qū)域的幾何特征與所述待搜索關鍵區(qū)域的幾何特征之間的差值中的第一夾角差、第二夾角差與預設夾角值進行比較，將所述第五比值和第六比值與預設距離值、以及所述預設距離值的倒數(shù)進行比較； 記錄符合預設約束條件的待搜索視覺詞組的個數(shù)，所述個數(shù)越多，所述匹配程度越高，所述預設約束條件為:所述第一夾角差和第二夾角差均小于所述預設夾角值，且第所述五比值和第六比值均大于所述預設距離值的倒數(shù)，小于所述預設距離值； 當存在未被分析圖像時，確定下一未被分析圖像為當前待分析圖像，返回獲取所述當前待分析圖像所包含的與所述待搜索視覺詞對應的備選關鍵區(qū)域組的幾何特征與該備選關鍵區(qū)域對應的待搜索關鍵區(qū)域組的幾何特征之間的差值； 當不存在未被分析圖像時，根據(jù)各個圖像中所包含的符合預設約束條件的備選關鍵區(qū)域組的個數(shù)，設定各個圖像的第二分值，設定規(guī)則為:個數(shù)越多，所述第二分值越大。
10.一種圖像搜索裝置，其特征在于，包括: 確定模塊，用于確定待搜索圖像的所有待搜索關鍵區(qū)域對應的待搜索視覺詞及所述待搜索關鍵區(qū)域的幾何特征； 查詢模塊，用于查詢與所有待搜索關鍵區(qū)域的待搜索視覺詞對應的倒排表，所述倒排表包含各個圖像標識對應的備選圖像中與所述待搜索視覺詞對應的備選關鍵區(qū)域的幾何特征； 排序模塊，用于按照綜合分值從大到小的順序將所有倒排表中圖像標識指示的備選圖像進行排序，所述綜合分值由備選圖像的重復次數(shù)及該備選圖像與所述待搜索圖像之間對應關鍵區(qū)域的幾何特征的匹配程度確定； 發(fā)送模塊，用于依據(jù)排序的先后返回設定數(shù)量的圖像。
全文摘要
本申請?zhí)峁┝艘环N圖像搜索方法及裝置，該方法包括確定待搜索圖像的所有待搜索關鍵區(qū)域對應的待搜索視覺詞及所述待搜索關鍵區(qū)域的幾何特征；查詢與所有待搜索關鍵區(qū)域的待搜索視覺詞對應的倒排表；按照綜合分值從大到小的順序將所有倒排表中圖像標識指示的備選圖像進行排序；依據(jù)排序的先后返回設定數(shù)量的圖像。本申請包括以下優(yōu)點通過得到的與底層特征和幾何特征對應的綜合分值對備選圖像進行排序，從而使返回的圖像在底層特征和幾何特征上都和待搜索圖像具有較高的匹配度，提高了圖像搜索結果的準確度。
文檔編號G06F17/30GK103164436SQ20111041549
公開日2013年6月19日 申請日期2011年12月13日 優(yōu)先權日2011年12月13日
發(fā)明者段曼妮, 鄭琪, 賈夢雷 申請人:阿里巴巴集團控股有限公司