專利名稱：基于局部特征的手機(jī)視覺信息搜索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到搜索技術(shù)領(lǐng)域，特別涉及到一種基于局部特征的手機(jī)視覺信息搜索方法。
背景技術(shù)：
隨著寬帶網(wǎng)絡(luò)推進(jìn)和應(yīng)用，所提供的服務(wù)和應(yīng)用越來越多，其中搜索服務(wù)是最重要的服務(wù)之一，搜索也有很多種類型和應(yīng)用，例如除了常用的關(guān)鍵字搜索以外，還有圖片搜索、音樂搜索等，圖片搜索可以通過搜索程序，向用戶提供在網(wǎng)絡(luò)或數(shù)據(jù)庫、特別是互聯(lián)網(wǎng)上相關(guān)的圖片資料，目前，在多媒體網(wǎng)絡(luò)中，有兩類圖像搜索引擎技術(shù)較為常用一是采用傳統(tǒng)的基于關(guān)鍵字的圖像檢索技術(shù)；其次就是采用基于內(nèi)容的圖像檢索技術(shù)。使用傳統(tǒng)的基于關(guān)鍵字的搜索引擎進(jìn)行圖像搜索，其原理與搜索普通信息一樣， 差別只是搜索的關(guān)鍵詞不同，或者分類類別不同而已，包含圖片、圖像、照片。傳統(tǒng)的圖像專用搜索引擎工作原理也是如此，其通用工作過程大致分為三步，首先派出搜索機(jī)器人對網(wǎng)上站點(diǎn)內(nèi)的圖片及頁面信息進(jìn)行自動搜索，并將文檔頁面與圖片信息返回搜索引擎數(shù)據(jù)庫。然后對搜索引擎返回的信息進(jìn)行加工，抽取關(guān)鍵詞、圖像低層特征或者進(jìn)行加工分類， 進(jìn)行數(shù)據(jù)庫內(nèi)圖像信息的索引。最后通過Web頁面訪問接受用戶的查詢請求，按照相關(guān)性給出用戶的需求數(shù)據(jù)。傳統(tǒng)圖像搜索引擎大致有四個部分構(gòu)成搜索機(jī)器人、搜索控制器、 圖像搜索引擎數(shù)據(jù)庫和用戶查詢服務(wù)界面。搜索機(jī)器人在網(wǎng)際漫游，具有識別分析文檔中圖像的功能，并對圖像進(jìn)行分類。搜索控制器是整個搜索引擎的核心，協(xié)調(diào)各個機(jī)器人的工作，自動分析得到的網(wǎng)頁，并將分析后的圖像數(shù)據(jù)添加到圖像搜索引擎數(shù)據(jù)庫。圖像搜索引擎數(shù)據(jù)庫用于存放采集到的網(wǎng)頁、抽取的描述信息，以及用于機(jī)器人搜索狀態(tài)記錄的臨時(shí)數(shù)據(jù)，包括網(wǎng)頁的全部內(nèi)容，或者圖像的地址、標(biāo)題、關(guān)鍵詞、摘要等。用戶查詢服務(wù)界面用來接受用戶的查詢請求，并將檢索結(jié)果圖像按相關(guān)度返回給用戶，通常包括關(guān)鍵詞主題檢索和分類目錄檢索方法。而基于內(nèi)容的圖像搜索引擎工作原理是建立在基于內(nèi)容的圖像檢索技術(shù)之上的圖像搜索工具，可以為在Web上瀏覽過的圖像建立索引信息，能夠進(jìn)行圖像分析和判別，為圖像加注釋，存儲抽取出的索引信息并建立索引庫?；趦?nèi)容的圖像檢索技術(shù)，是目前較為流行和未來發(fā)展趨勢的檢索技術(shù)之一。它在特征匹配時(shí)，幾乎不需要用戶的參與，而主要利用圖像自身的特征(如顏色、紋理、形狀等)來完成，具有較強(qiáng)的客觀性和直觀性。利用這一特點(diǎn)，可以用來抽取各類圖像庫中所有圖像文件的特征。在檢索過程中，用戶一般只需提供一個示例圖像，系統(tǒng)首先抽取該示例圖像的特征，然后根據(jù)圖像特征的相似性匹配算法， 與圖像庫中相應(yīng)的特征進(jìn)行比較，最后將與示例特征相似的圖像返回給用戶，以達(dá)到一個完整的圖像檢索過程。但是，這種方法也有不足，如運(yùn)行速度慢，容易出錯，對于局部特征搜索的結(jié)果較不理想，也就是說，在目前的視覺信息搜索當(dāng)中還存在不足，特別是是其于寬帶網(wǎng)絡(luò)的服務(wù)和應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了解決以上問題，提供一種不借助文字就可以準(zhǔn)確快速進(jìn)行視覺信息搜索的方法。本發(fā)明是通過這樣的方法來實(shí)現(xiàn)的一種基于局部特征的手機(jī)視覺信息搜索方法，要點(diǎn)在于，在手機(jī)的操作界面選擇并確定視覺信息樣本；對視覺信息樣本進(jìn)行局部信息提??；對所提取的局部信息進(jìn)行再處理；提取不變區(qū)域特征，并生成視覺信息的不變向量；建立特征模型與或索引；該特征模型或索引傳輸于網(wǎng)絡(luò)或網(wǎng)絡(luò)數(shù)據(jù)庫并進(jìn)行搜索；搜索到與該視覺信息樣本的特征模型與索引相關(guān)度最高的一個或多個結(jié)果作為視覺信息目標(biāo)結(jié)果；將上述所搜索到的目標(biāo)結(jié)果進(jìn)行排序并展示在用戶手機(jī)界面。進(jìn)一步的，所述的對局部信息的再處理，是基于尺度空間的不變量技術(shù)的特征處理和檢測方法，是對圖像進(jìn)行平衡、旋轉(zhuǎn)、縮放、仿射變換保持不變性的圖像局部特征進(jìn)行處理。進(jìn)一步的，在手機(jī)的操作界面選擇并確定視覺信息樣本，是從可視界面中獲取其中一部分或全部，作為視覺信息樣本。進(jìn)一步的，所述選取的一部份，是從視覺信息樣本中以圖片、圖像特征中顏色特征、紋理特征、形狀特征信息中的至少一種作為依據(jù)，并作為視覺信息樣本。進(jìn)一步的，所述的再處理至少包括加噪、變形、剪切、插入內(nèi)容、旋轉(zhuǎn)、縮放以及亮度增減、模糊化等的其中至少一種處理內(nèi)容。進(jìn)一步的，將所獲得的目標(biāo)視覺信息提取相關(guān)文字信息，并發(fā)送到用戶的可視界面，用戶也可以選擇不顯示。另一種方法是在前所述的對局部信息的再處理，是對圖像信息中的顏色特征、紋理特征、形狀特征等局部信息特征至少其中之一進(jìn)行調(diào)整。進(jìn)一步的，對上述的視覺信息局部特征的調(diào)整是基于現(xiàn)有模板或樣例進(jìn)行的；或進(jìn)行人工自由調(diào)整及處理，所述調(diào)整及處理是類似于組合、淡化、強(qiáng)化、拼接、鏤空、消隱、填充、增加等圖像數(shù)據(jù)操作。進(jìn)一步的，將調(diào)整處理后的信息作為視覺信息樣本，或至少一部份作為視覺信息樣本。同樣，將所獲得的目標(biāo)視覺信息中再提取視覺信息，作為再次搜索的參考視覺信息樣本，進(jìn)行再次搜索，對目標(biāo)進(jìn)行逐次逼近，直到用戶滿意。這樣，本發(fā)明具有以下的優(yōu)點(diǎn)和效果這種基于局部特征的手機(jī)視覺信息搜索方法，可以準(zhǔn)確針對圖片、圖像及視頻的具體內(nèi)容進(jìn)行搜索，并可以進(jìn)行人工調(diào)整，基于這種方式搜索出來的視覺信息內(nèi)容，無需與圖片、視頻的關(guān)鍵字的內(nèi)容相關(guān)聯(lián)，而與用戶真正想搜索的圖片視頻內(nèi)容相符合，同時(shí)可以返回多個用戶想要的結(jié)果，以及文字內(nèi)容，容易實(shí)現(xiàn)及操作。


圖1是本發(fā)明所提出的基于局部特征的手機(jī)視覺信息搜索方法的原理框圖。
具體實(shí)施例方式下面結(jié)合附圖對本發(fā)明的系統(tǒng)和方法進(jìn)行進(jìn)一步的說明。為實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明采用是這樣的方法來實(shí)現(xiàn)的本發(fā)明所涉及的這種方法在本實(shí)施例涉及到的是手機(jī)，但也可以是電腦、智能電視等具有顯示屏及操作系統(tǒng)軟件的信息設(shè)備，即可以用于多種裝置及手持設(shè)備上。下面通過實(shí)施例來說明本發(fā)明的方法。實(shí)施例一現(xiàn)在智能手機(jī)已經(jīng)非常普通，這種手機(jī)不但可以文檔進(jìn)行檢索和查詢，對圖片也可以進(jìn)行檢索和簡單的處理，例如用戶需要通過一幅人物的圖像或圖片找到更多的關(guān)于此人的信息，那么就可以在手機(jī)的操作界面選擇一幅此人的頭像，并確定作為視覺信息樣本， 這個樣本可能不規(guī)范，或者并不完全符合用戶的要求，可以對此樣本進(jìn)行局部信息提取，如從圖像或圖片中先選擇一個人物并提取五官的特征；再對所提取的局部信息進(jìn)行再處理， 也就是五官特征進(jìn)行再處理；變成了提取不變區(qū)域特征，并生成視覺信息的不變向量；并以此來建立人臉特征模型與或索引；該人臉特征模型或索引生成以后，即可傳輸于網(wǎng)絡(luò)或網(wǎng)絡(luò)數(shù)據(jù)庫并進(jìn)行搜索，這個數(shù)據(jù)庫包括本地?cái)?shù)據(jù)庫或者是網(wǎng)絡(luò)數(shù)據(jù)庫，在數(shù)據(jù)庫中搜索到與該視覺信息樣本的特征模型與索引相關(guān)度最高的一個或多個結(jié)果作為視覺信息目標(biāo)結(jié)果；最后將上述所搜索到的目標(biāo)結(jié)果進(jìn)行排序并展示在用戶手機(jī)界面，這樣就完成了一個基本的搜索圖片或圖像的過程。在這里所述的對局部信息的再處理，是基于尺度空間的不變量技術(shù)的特征處理和檢測方法，這是一種搜索結(jié)果較為客觀的方法，可以對圖像進(jìn)行平衡、旋轉(zhuǎn)、縮放、仿射變換保持不變性的圖像局部特征進(jìn)行處理，而基本可以保持原來的圖像特性不變。另外，需要強(qiáng)調(diào)的是，在手機(jī)的操作界面選擇并確定視覺信息樣本，是從可視界面中獲取其中一部分或全部，作為視覺信息樣本，特別是選擇整幅圖像、圖片的一部分來作為樣本，更具有實(shí)用性，搜索起來也更加快捷。在這里所述選取的一部份，是從視覺信息樣本中以圖片、圖像特征中顏色特征、紋理特征、形狀特征信息中的其中至少一種作為依據(jù)，并作為視覺信息樣本。對圖像的再處理也可以是至少包括加噪、變形、剪切、插入內(nèi)容、旋轉(zhuǎn)、縮放以及亮度增減、模糊化等的其中至少一種處理內(nèi)容，這是針對目標(biāo)樣本之間的差異而采取的一項(xiàng)重要措施，這樣，即使目標(biāo)圖像看起來與樣本圖像之間的差異較大，但只要關(guān)鍵特征差別不大，就可以找到目標(biāo)圖像。最后重要的一點(diǎn)，就是在所獲得的目標(biāo)視覺信息的同時(shí)，可以提取與此對應(yīng)的相關(guān)文字信息，并發(fā)送到用戶的可視界面，用戶也可以選擇不顯示或隱藏，這是就目前和不久的將來，對于圖片、圖像等視覺信息，與此相關(guān)的文字內(nèi)容一定有很多，而且與圖像、圖片都具有密切的聯(lián)系，因此，在找到目標(biāo)圖像、圖片的同時(shí)，也可將文字信息展示出來，給用戶提供更詳盡的內(nèi)容。實(shí)施例二 這個實(shí)施例與前一實(shí)施例基本相同，不同之處在于對所述的局部信息的再處理， 是對圖像信息中的顏色特征、紋理特征、形狀特征等局部信息特征至少其中之一進(jìn)行調(diào)整，對上述的視覺信息局部特征的調(diào)整是基于現(xiàn)有模板或樣例進(jìn)行的，例如有一個兩幅圖片的組合模板，以及兩個圖片中某一部分的拼接模板，以及對一個要求的過濾模板等，在這些模板里具有一些特定的新的元素，如顏色特征模板、紋理特征模板、形狀特征模板等，如經(jīng)過模板的圖片或圖像就具有了較多的新的元素，實(shí)質(zhì)上是在原來的基礎(chǔ)上生成了新的圖片； 另外一個辦法或是可以進(jìn)行人工自由調(diào)整及處理，所述調(diào)整及處理是類似于組合、淡化、強(qiáng)化、拼接、鏤空、消隱、填充、增加等圖像數(shù)據(jù)操作。也就是說，這種方式的調(diào)整力度更大一些，可能是將兩個不同的圖片或圖像進(jìn)行組合或拼接，生成了一個全新的圖像、圖片等類似的一個視覺信息。這樣，再將調(diào)整處理后的信息作為視覺信息樣本，或至少一部份作為視覺信息樣本。同時(shí)，在上述的兩個實(shí)施例中，可以將所獲得的目標(biāo)視覺信息中再提取視覺信息， 作為再次搜索的參考視覺信息樣本，進(jìn)行再次搜索，對目標(biāo)進(jìn)行逐次逼近，直到用戶滿意。通過上述的方法和步驟，即可以準(zhǔn)確針對視覺信息的具體內(nèi)容，并且基于這種方式搜索出來的視覺信息，無需與視覺信息的關(guān)鍵字的內(nèi)容相關(guān)聯(lián)，而與用戶真正想搜索的視覺信息真實(shí)內(nèi)容相符合，同時(shí)可以返回多個用戶想要的結(jié)果，容易實(shí)現(xiàn)及操作。雖然這里只說明了本發(fā)明的一個優(yōu)選實(shí)施例，但其意并非限制本發(fā)明的范圍、適用性和配置。相反，對實(shí)施例的詳細(xì)說明可使本領(lǐng)域技術(shù)人員得以實(shí)施。應(yīng)能理解，在不偏離所附權(quán)利要求書確定的本發(fā)明精神和范圍情況下，可對一些細(xì)節(jié)做適當(dāng)變更和修改。
權(quán)利要求
1.一種基于局部特征的手機(jī)視覺信息搜索方法，其特征在于在手機(jī)的操作界面選擇并確定視覺信息樣本；對視覺信息樣本進(jìn)行局部信息提?。粚λ崛〉木植啃畔⑦M(jìn)行再處理；提取不變區(qū)域特征，并生成視覺信息的不變向量；建立特征模型與或索引；該特征模型或索引傳輸于網(wǎng)絡(luò)或網(wǎng)絡(luò)數(shù)據(jù)庫并進(jìn)行搜索；搜索到與該視覺信息樣本的特征模型與索引相關(guān)度最高的一個或多個結(jié)果作為視覺信息目標(biāo)結(jié)果；將上述所搜索到的目標(biāo)結(jié)果進(jìn)行排序并展示在用戶手機(jī)界面。
2.根據(jù)權(quán)利要求1所述的基于局部特征的手機(jī)視覺信息搜索方法，其特征在于所述的對局部信息的再處理，是基于尺度空間的不變量技術(shù)的特征處理和檢測方法，是對圖像進(jìn)行平衡、旋轉(zhuǎn)、縮放、仿射變換保持不變性的圖像局部特征進(jìn)行處理。
3.根據(jù)權(quán)利要求1所述的基于局部特征的手機(jī)視覺信息搜索方法，其特征在于在手機(jī)的操作界面選擇并確定視覺信息樣本，是從可視界面中獲取其中一部分或全部，作為視覺信息樣本。
4.根據(jù)權(quán)利要求3所述的基于局部特征的手機(jī)視覺信息搜索方法，其特征在于所述選取的一部份，是從視覺信息樣本中以圖片、圖像特征中顏色特征、紋理特征、形狀特征信息中的至少一種作為依據(jù)，并作為視覺信息樣本。
5.根據(jù)權(quán)利要求1所述的基于局部特征的手機(jī)視覺信息搜索方法，其特征在于所述的再處理至少包括加噪、變形、剪切、插入內(nèi)容、旋轉(zhuǎn)、縮放以及亮度增減、模糊化等的其中至少一種處理內(nèi)容。
6.根據(jù)權(quán)利要求1所述的基于局部特征的手機(jī)視覺信息搜索方法，其特征在于將所獲得的目標(biāo)視覺信息提取相關(guān)文字信息，并發(fā)送到用戶的可視界面，用戶也可以選擇不顯7J\ ο
7.根據(jù)權(quán)利要求1所述的基于局部特征的手機(jī)視覺信息搜索方法，其特征在于所述的對局部信息的再處理，是對圖像信息中的顏色特征、紋理特征、形狀特征等局部信息特征至少其中之一進(jìn)行調(diào)整。
8.根據(jù)權(quán)利要求7所述的基于局部特征的手機(jī)視覺信息搜索方法，其特征在于對上述的視覺信息局部特征的調(diào)整是基于現(xiàn)有模板或樣例進(jìn)行的；或進(jìn)行人工自由調(diào)整及處理，所述調(diào)整及處理是類似于組合、淡化、強(qiáng)化、拼接、鏤空、消隱、填充、增加等圖像數(shù)據(jù)操作。
9.根據(jù)權(quán)利要求7所述的基于局部特征的手機(jī)視覺信息搜索方法，其特征在于將調(diào)整處理后的信息作為視覺信息樣本，或至少一部份作為視覺信息樣本。
10.根據(jù)權(quán)利要求1所述的基于局部特征的手機(jī)視覺信息搜索方法，其特征在于將所獲得的目標(biāo)視覺信息中再提取視覺信息，作為再次搜索的參考視覺信息樣本，進(jìn)行再次搜索，對目標(biāo)進(jìn)行逐次逼近，直到用戶滿意。
全文摘要
本發(fā)明是一種基于局部特征的手機(jī)視覺信息搜索方法，要點(diǎn)在于，在手機(jī)的操作界面選擇并確定視覺信息樣本，對視覺信息樣本進(jìn)行局部信息提取并再處理，提取不變區(qū)域特征和不變向量；建立特征模型與或索引并進(jìn)行搜索；搜索到與該視覺信息樣本的特征模型與索引相關(guān)度最高的一個或多個結(jié)果作為視覺信息目標(biāo)結(jié)果，這種搜索方法，可以準(zhǔn)確針對圖片、圖像及視頻的具體內(nèi)容進(jìn)行搜索，并可以進(jìn)行人工調(diào)整，與用戶真正想搜索的圖片視頻內(nèi)容相符合，同時(shí)可以返回多個用戶想要的結(jié)果，以及文字內(nèi)容，容易實(shí)現(xiàn)及操作。
文檔編號H04M1/725GK102231149SQ20101059997
公開日2011年11月2日 申請日期2010年12月22日 優(yōu)先權(quán)日2010年12月22日
發(fā)明者辜進(jìn)榮 申請人:辜進(jìn)榮