專利名稱：在草圖與照片匹配中用于手繪草圖的感知偏差水平估算的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及從視頻或照片中提取對(duì)象，其中該對(duì)象與作為參考提供的手繪草圖匹配。本發(fā)明具體涉及直接來(lái)自草圖本身而不涉及額外的數(shù)據(jù)庫(kù)的手繪草圖的提取的特征的感知偏差水平的自動(dòng)估算。
背景技術(shù)：
在一些計(jì)算機(jī)應(yīng)用中，需要在視頻片段或照片中搜索與手繪草圖提供的參考圖像匹配的對(duì)象。公知地，這些應(yīng)用中重要的一個(gè)應(yīng)用是法律實(shí)施，其中犯罪嫌疑人的圖片作為畫(huà)家根據(jù)目擊者的描述準(zhǔn)備的手繪草圖被給出。在一個(gè)通用的方法中，如下執(zhí)行與手繪草圖相匹配的對(duì)象的計(jì)算機(jī)搜索首先提取草圖的特征(亮度、顏色、梯度、邊緣、肌理等)的統(tǒng)計(jì)信息，然后識(shí)別視頻片段或照片中具有特征的類似統(tǒng)計(jì)信息的對(duì)象。對(duì)于攝像機(jī)捕獲的照片/視頻和手繪草圖，統(tǒng)計(jì)信息依賴于在圖像中編碼的視覺(jué)內(nèi)容。照片/視頻真實(shí)地展示了攝像機(jī)捕獲了什么、而草圖展示了通常畫(huà)家或作者的感知內(nèi)容。因?yàn)椴輬D某種程度上包括作者感知偏差的因素。考慮匹配對(duì)象搜索中草圖的感知偏差是期望的，從而增強(qiáng)匹配的成功率。在W02004/027692中，公開(kāi)了增強(qiáng)草圖與照片匹配的成功率的方法。在該方法中采用了如下手段將照片圖像轉(zhuǎn)換為偽草圖或者將原始手繪草圖轉(zhuǎn)換成偽照片，使得在轉(zhuǎn)換后照片和原始草圖之間的差異減小，由此有助于計(jì)算機(jī)搜索。在存在優(yōu)選的包含所有可能草圖類型的數(shù)據(jù)庫(kù)的情況下實(shí)施這樣的轉(zhuǎn)換，這個(gè)要求很難實(shí)現(xiàn)。在缺乏這樣的大的數(shù)據(jù)庫(kù)的情況下，包含足夠數(shù)量的照片-草圖對(duì)的例子的較小的數(shù)據(jù)庫(kù)可以用于幫助訓(xùn)練運(yùn)行中的轉(zhuǎn)換器。但是在W02004/027692中公開(kāi)的方法的實(shí)現(xiàn)中不可避免地需要額外的數(shù)據(jù)庫(kù)。在作者為Folco Banfi,提交給 Universit6de Fribourg (Suisse)，2000，名稱為“Content-Based Image Retrieval Using Hand-Drawn Sketches and LocalFeatures:aStudy on Visual Dissimilarity”的論文中，公開(kāi)了與估算感知偏差水平效果類似的加權(quán)機(jī)制。對(duì)于以某種類型的草圖風(fēng)格或輪廓具體繪制的草圖，加權(quán)機(jī)制給出了預(yù)先定義或預(yù)先計(jì)算的權(quán)重。除了加權(quán)機(jī)制僅用于具體類型的草圖風(fēng)格的限制之外，權(quán)重是固定的并且沒(méi)有考慮一個(gè)手繪草圖和另一個(gè)手繪草圖之間的個(gè)體差異而獲得。基于對(duì)象搜索中要使用的草圖自動(dòng)計(jì)算權(quán)重是更期望的。本領(lǐng)域中存在如下需要自動(dòng)計(jì)算為手繪草圖估算的感知偏差水平而計(jì)算中不需要額外的數(shù)據(jù)庫(kù)。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)方面允許基于草圖本身自動(dòng)估算關(guān)于手繪草圖的特征的感知偏差水平。用于給自動(dòng)估算的方法包括使用期望最大化張量投票(EMTV)方法來(lái)分析特征的統(tǒng)計(jì)分布。如下分析統(tǒng)計(jì)分布首先形成具有由感知偏差水平表征的統(tǒng)計(jì)分布的信息的目標(biāo)函數(shù)，并且然后根據(jù)一組迭代更新規(guī)則來(lái)最大化該目標(biāo)函數(shù)。目標(biāo)函數(shù)由等式(5)給出，并且該組迭代更新規(guī)則由等式(6)- (12)給出，其中等式(5)- (12)將在以下說(shuō)明書(shū)中示出。前述用于自動(dòng)地估算感知偏差水平的方法可以并入從圖像或視頻數(shù)據(jù)庫(kù)檢索一個(gè)或多個(gè)對(duì)象的方法，其中所述一個(gè)或多個(gè)對(duì)象與手繪草圖匹配。在檢索方法中，選擇一個(gè)或多個(gè)候選特征。對(duì)于所述一個(gè)或多個(gè)候選特征中選定的候選特征，根據(jù)前述用于自動(dòng)地估算感知偏差水平的方法來(lái)估算關(guān)于草圖的選定的候選特征的感知偏差水平。結(jié)果，生成所述一個(gè)或多個(gè)候選特征的每一個(gè)的感知偏差水平。從所述一個(gè)或多個(gè)候選特征中選擇一個(gè)或多個(gè)采用的特征。如下完成該選擇在所述一個(gè)或多個(gè)候選特征中消除一個(gè)或多個(gè)不重要的候選特征，其中為所述一個(gè)或多個(gè)不重要的候選特征的任一個(gè)生成的感知偏差水平小于閾值。然而，如果為所述一個(gè)或多個(gè)候選特征生成的全部感知偏差水平均小于閾值，選擇其感知偏差水平在對(duì)所述一個(gè)或多個(gè)候選特征生成的感知偏差水平中為最大的一個(gè)候選特征。注意該一個(gè)候選特征是選自所述一個(gè)或多個(gè)候選特征。在數(shù)據(jù)庫(kù)中進(jìn)行搜索以辨識(shí)與草圖匹配的該一個(gè)或多個(gè)對(duì)象。根據(jù)所述一個(gè)或多個(gè)采用的特征由相似性測(cè)量進(jìn)行搜索。在相似性測(cè)量中，選定的采用的特征的貢獻(xiàn)由為選定的采用的特征生成的感知偏差水平加權(quán)，所述選定的采用的特征是所述一個(gè)或多個(gè)采用的特征中的任一個(gè)。用于自動(dòng)地估算感知偏差水平的方法還可以被用于檢索與手繪草圖匹配的一個(gè)或多個(gè)對(duì)象的系統(tǒng)中。該系統(tǒng)包括具有從一組圖像中提取的第一組原始視覺(jué)特征的數(shù)據(jù)庫(kù)，以及一個(gè)或多個(gè)處理器，配置為執(zhí)行如下詳述的查詢處理。所述查詢處理包括從手繪草圖提取第二組原始視覺(jué)特征。對(duì)于第二組原始視覺(jué)特征中的每個(gè)特征，根據(jù)公開(kāi)的用于自動(dòng)地計(jì)算感知偏差水平的方法估算關(guān)于所述每個(gè)特征的感知偏差水平。由此獲取所述每個(gè)特征的統(tǒng)計(jì)分布模型。在查詢處理中，在數(shù)據(jù)庫(kù)中搜索以識(shí)別該組圖像中的一個(gè)或多個(gè)對(duì)象，其中所述一個(gè)或多個(gè)對(duì)象的統(tǒng)計(jì)信息基本上匹配加權(quán)的統(tǒng)計(jì)信息，所述加權(quán)的統(tǒng)計(jì)信息是通過(guò)根據(jù)對(duì)第二組原始視覺(jué)特征估算的感知偏差水平加權(quán)第二組中原始視覺(jué)特征的統(tǒng)計(jì)信息而獲得的。


圖1示出了不同類型的手繪草圖。圖2示出了自然圖像和手繪草圖在二者編碼的統(tǒng)計(jì)信息中的差異的例子。圖3示出了根據(jù)本發(fā)明的實(shí)施例通過(guò)使用感知偏差水平來(lái)檢索與手繪草圖匹配的對(duì)象的方法的流程圖。圖4示出了根據(jù)本發(fā)明的實(shí)施例從圖像或視頻數(shù)據(jù)庫(kù)檢索與手繪草圖匹配的一個(gè)或多個(gè)對(duì)象的系統(tǒng)的例子。
具體實(shí)施例方式可以如下完成匹配照片或視頻剪輯中的對(duì)象和手繪草圖提供的參考圖像首先從草圖中提取一個(gè)或多個(gè)特征，然后比較這些提取的特征和照片或視頻剪輯中不同對(duì)象的特征，從而從這些不同的對(duì)象中識(shí)別一個(gè)或多個(gè)匹配的對(duì)象。特征可以是低水平的，例如亮度、顏色、梯度等，或者可以是高水平特征，例如肌理、形狀、光流等。圖1示出了各種不同種類的手繪草圖。在一個(gè)例子中，向素描草圖110加入陰影，指示草圖的作者具有更多的感知偏差以提供關(guān)于肌理、亮度和梯度的草圖中圖像的信息。在另一個(gè)例子中，由于線條草圖120 (其為臉)是由線條形成的，草圖的作者更關(guān)注與(臉和臉部特征)形狀有關(guān)的信息。在另一個(gè)例子中，彩色圖片150的作者可以使用不同的顏色描述草圖中的圖像而進(jìn)行強(qiáng)調(diào)。在前述這些例子中，可以看到對(duì)于手繪草圖來(lái)說(shuō)存在關(guān)于被考慮的特征的感知偏差。在下面的示例中不損失一般性并且為了方便的緣故，感知偏差水平被限定為非負(fù)實(shí)數(shù)，將表示手繪草圖的視覺(jué)內(nèi)容中編碼的信息的被考慮特征的重要性或顯著性量化。具體地，這里感知偏差水平限定為零意味著被考慮的特征對(duì)于表示草圖的視覺(jué)內(nèi)容中編碼的信息是沒(méi)有用的。此外，較高正值的感知偏差水平表示被考慮的特征對(duì)于識(shí)別視頻剪輯或照片中匹配的對(duì)象是更有用的。注意可以在實(shí)數(shù)的另一個(gè)范圍內(nèi)限定感知偏差水平而不偏離本發(fā)明的精神。圖2提供了示出自然圖像和手繪草圖之間差異的例子。例如，手繪草圖是線條草圖。對(duì)于作為實(shí)際照片的自然圖像210，梯度的統(tǒng)計(jì)分布通常遵循拉普拉斯變換。然而，對(duì)于線條草圖220，梯度給出了近似為脈沖的統(tǒng)計(jì)分布。這暗示著線條草圖220的陰影不是逐漸改變的(空間地)。這使得被選作陰影的特征不是有信息含量的，并且由此其在線條草圖220的感知偏差水平中不具有高的價(jià)值?；谶@個(gè)例子，可以看到通過(guò)根據(jù)草圖的圖像數(shù)據(jù)找出特征是否有信息含量來(lái)估算被考慮的特征的感知偏差水平。較低的信息內(nèi)容表示較低值的感知偏差水平，并且由此被考慮的特征在搜索匹配的對(duì)象中用處更小。本發(fā)明采用這個(gè)方法來(lái)估算感知偏差水平。在示例實(shí)施例中，期望最大化張量投票(EMTV)技術(shù)優(yōu)選地用于測(cè)量這樣的信息內(nèi)容并且由此估算感知偏差水平。因?yàn)镋MTV技術(shù)公知的在離群值嚴(yán)重毀壞的噪聲數(shù)據(jù)對(duì)于突出結(jié)構(gòu)的干擾是有用的，所以選擇EMTV技術(shù)。EMTV技術(shù)的細(xì)節(jié)由以下給出T.-P.Wu、S.-K. Yeung、J. Jia, C.-K. Tang 和 G. Medioni 的 “A closed-form solution to tensorvoting:theoryand applications,，’IEEE Transactions on Pattern Analysis and Machinelntelligence, vol. 34，pp. 1482-1495，2012 年 8 月，其內(nèi)容通過(guò)參考合并于此。從手繪草圖中估算被考慮的特征的感知偏差水平的方法包括通過(guò)使用EMTV方法分析特征的統(tǒng)計(jì)分布，從而形成由感知偏差水平表征的統(tǒng)計(jì)分布的信息的目標(biāo)函數(shù)，并且然后根據(jù)一組迭代更新規(guī)則最大化該目標(biāo)函數(shù)，從而基于草圖本身自動(dòng)地估算感知偏差水平而估算中不涉及額外的數(shù)據(jù)庫(kù)。作為示例，如果特征的統(tǒng)計(jì)分布被假設(shè)為高斯分布，統(tǒng)計(jì)分布的信息可以包括均值和方差，或者在多元高斯分布用于建模特征的情況下，統(tǒng)計(jì)分布的信息可以包括矢量均值和協(xié)方差矩陣。統(tǒng)計(jì)分布的信息還可以包括適合度參數(shù)，從該參數(shù)可以導(dǎo)出感知偏差水平。用于分析統(tǒng)計(jì)分布的EMTV方法的具體描述如下?？紤]一組原始視覺(jué)圖像特征，這些特征由d維特征矢量表示，d>0。Ixi e Rd|i=L···N}是一組特征矢量并且h e Rd關(guān)于該組IxJ的分布的潛在模型。期望確定模型h，其最小化測(cè)量誤差
權(quán)利要求
1.一種用于自動(dòng)地估算關(guān)于手繪草圖的特征的感知偏差水平用于草圖與照片匹配的方法，該方法包括如下分析特征的統(tǒng)計(jì)分布 首先形成具有由感知偏差水平表征的統(tǒng)計(jì)分布的信息的目標(biāo)函數(shù)，并且根據(jù)一組迭代更新規(guī)則來(lái)最大化該目標(biāo)函數(shù)，從而基于草圖本身自動(dòng)地估算感知偏差水平。
2.根據(jù)權(quán)利要求1所述的方法，其中，特征的統(tǒng)計(jì)分布是使用期望最大化張量投票方法來(lái)分析的，其中目標(biāo)函數(shù)由以下等式給出
3.一種使用感知偏差水平從圖像或視頻數(shù)據(jù)庫(kù)檢索一個(gè)或多個(gè)對(duì)象的方法，其中所述一個(gè)或多個(gè)對(duì)象與手繪草圖匹配，所述方法包括 選擇一個(gè)或多個(gè)候選特征； 對(duì)于所述一個(gè)或多個(gè)候選特征中選定的候選特征，根據(jù)權(quán)利要求1所述的方法估算關(guān)于草圖的選定的候選特征的感知偏差水平，從而生成所述一個(gè)或多個(gè)候選特征的每一個(gè)的感知偏差水平； 從所述一個(gè)或多個(gè)候選特征中如下選擇一個(gè)或多個(gè)采用的特征 在所述一個(gè)或多個(gè)候選特征中消除一個(gè)或多個(gè)不重要的候選特征，其中為所述一個(gè)或多個(gè)不重要的候選特征的任一個(gè)生成的感知偏差水平小于閾值；以及如果為所述一個(gè)或多個(gè)候選特征生成的全部感知偏差水平均小于閾值，從所述一個(gè)或多個(gè)候選特征中選擇其感知偏差水平在對(duì)所述一個(gè)或多個(gè)候選特征生成的感知偏差水平中為最大的一個(gè)候選特征；以及 根據(jù)所述一個(gè)或多個(gè)采用的特征由相似性測(cè)量在數(shù)據(jù)庫(kù)中搜索，從而識(shí)別所述一個(gè)或多個(gè)對(duì)象，其中在相似性測(cè)量中選定的采用的特征的貢獻(xiàn)由為選定的采用的特征生成的感知偏差水平加權(quán)，所述選定的采用的特征是所述一個(gè)或多個(gè)采用的特征中的任一個(gè)。
4.根據(jù)權(quán)利要求3所述的方法，其中，目標(biāo)函數(shù)由以下等式給出
5.根據(jù)權(quán)利要求3所述的方法，其中，根據(jù)以下等式計(jì)算貢獻(xiàn)其中
6.一種用于自動(dòng)地估算關(guān)于手繪草圖的特征的感知偏差水平用于草圖與照片匹配的設(shè)備，該設(shè)備包括 分析特征的統(tǒng)計(jì)分布的分析模塊，包括 形成模塊，形成具有由感知偏差水平表征的統(tǒng)計(jì)分布的信息的目標(biāo)函數(shù)，以及最大化模塊，根據(jù)一組迭代更新規(guī)則來(lái)最大化該目標(biāo)函數(shù)，從而基于草圖本身自動(dòng)地估算感知偏差水平。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其中，特征的統(tǒng)計(jì)分布是使用期望最大化張量投票方法來(lái)分析的，還包括計(jì)算模塊，根據(jù)以下等式計(jì)算目標(biāo)函數(shù)
8.一種使用感知偏差水平從圖像或視頻數(shù)據(jù)庫(kù)檢索一個(gè)或多個(gè)對(duì)象的設(shè)備，其中所述一個(gè)或多個(gè)對(duì)象與手繪草圖匹配，所述設(shè)備包括 第一選擇模塊，選擇一個(gè)或多個(gè)候選特征； 估算模塊，對(duì)于所述一個(gè)或多個(gè)候選特征中選定的候選特征，根據(jù)權(quán)利要求1所述的方法估算關(guān)于草圖的選定的候選特征的感知偏差水平，從而生成所述一個(gè)或多個(gè)候選特征的每一個(gè)的感知偏差水平； 第二選擇模塊，從所述一個(gè)或多個(gè)候選特征中如下選擇一個(gè)或多個(gè)采用的特征 在所述一個(gè)或多個(gè)候選特征中消除一個(gè)或多個(gè)不重要的候選特征，其中為所述一個(gè)或多個(gè)不重要的候選特征的任一個(gè)生成的感知偏差水平小于閾值；以及 如果為所述一個(gè)或多個(gè)候選特征生成的全部感知偏差水平均小于閾值，從所述一個(gè)或多個(gè)候選特征中選擇其感知偏差水平在對(duì)所述一個(gè)或多個(gè)候選特征生成的感知偏差水平中為最大的一個(gè)候選特征；以及搜索模塊，根據(jù)所述一個(gè)或多個(gè)采用的特征由相似性測(cè)量在數(shù)據(jù)庫(kù)中搜索，從而識(shí)別所述一個(gè)或多個(gè)對(duì)象，其中在相似性測(cè)量中選定的采用的特征的貢獻(xiàn)由為選定的采用的特征生成的感知偏差水平加權(quán)，所述選定的采用的特征是所述一個(gè)或多個(gè)采用的特征中的任一個(gè)。
9.根據(jù)權(quán)利要求8所述的設(shè)備，其中，計(jì)算模塊，根據(jù)以下等式計(jì)算目標(biāo)函數(shù) 以八,八')=J>g/)(0,G |A)/)(G ICXAO ;以及 該組迭代更新規(guī)則由以下等式給出
10.根據(jù)權(quán)利要求8所述的設(shè)備，還包括計(jì)算模塊，根據(jù)以下等式計(jì)算貢獻(xiàn)
11.一種系統(tǒng)，包括具有從一組圖像中提取的第一組原始視覺(jué)特征的數(shù)據(jù)庫(kù)，以及一個(gè)或多個(gè)處理器，配置為執(zhí)行查詢處理，所述查詢處理包括 從手繪草圖提取第二組原始視覺(jué)特征； 對(duì)于第二組原始視覺(jué)特征中的每個(gè)特征，根據(jù)權(quán)利要求1所述的方法估算關(guān)于所述每個(gè)特征的感知偏差水平，并且獲取所述每個(gè)特征的統(tǒng)計(jì)分布模型；以及在數(shù)據(jù)庫(kù)中搜索以識(shí)別該組圖像中的一個(gè)或多個(gè)對(duì)象，其中所述一個(gè)或多個(gè)對(duì)象的統(tǒng)計(jì)信息基本上匹配加權(quán)的統(tǒng)計(jì)信息，所述加權(quán)的統(tǒng)計(jì)信息是通過(guò)根據(jù)對(duì)第二組原始視覺(jué)特征估算的感知偏差水平加權(quán)第二組中原始視覺(jué)特征的統(tǒng)計(jì)信息而獲得的。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述一個(gè)或多個(gè)處理器還配置為執(zhí)行數(shù)據(jù)庫(kù)創(chuàng)建處理，包括 從該組圖像中提取第一組原始視覺(jué)特征；以及 將第一組原始視覺(jué)特征存儲(chǔ)在數(shù)據(jù)庫(kù)中。
13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中查詢處理還包括 從實(shí)際的照片圖像中提取第三組原始的視覺(jué)特征，用于在數(shù)據(jù)庫(kù)中定位匹配的對(duì)象。
14.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，目標(biāo)函數(shù)由以下等式給出
全文摘要
本發(fā)明涉及從視頻或照片檢索對(duì)象，其中對(duì)象與手繪草圖匹配，公開(kāi)了一種用于自動(dòng)估算關(guān)于草圖的特征的感知偏差水平。該方法允許基于草圖本身的估算而不涉及額外的數(shù)據(jù)庫(kù)。在一個(gè)實(shí)施例中，該方法包括使用期望最大化張量投票(EMTV)方法來(lái)分析特征的統(tǒng)計(jì)分布。通過(guò)形成具有由感知偏差水平表征的統(tǒng)計(jì)分布的信息的目標(biāo)函數(shù)，并且然后根據(jù)一組迭代更新規(guī)則最大化目標(biāo)函數(shù)，從而分析統(tǒng)計(jì)分布。在另一個(gè)實(shí)施例中，用于自動(dòng)地估算感知偏差水平的方法并入從圖像或視頻數(shù)據(jù)庫(kù)檢索一個(gè)或多個(gè)對(duì)象的方法，其中該一個(gè)或多個(gè)對(duì)象與手繪草圖匹配。
文檔編號(hào)G06K9/00GK103034849SQ201210553808
公開(kāi)日2013年4月10日 申請(qǐng)日期2012年12月19日 優(yōu)先權(quán)日2012年12月19日
發(fā)明者胡大鵬, 李志前, 黃君義 申請(qǐng)人:香港應(yīng)用科技研究院有限公司