專利名稱：物體的姿勢推斷及對照系統(tǒng)和方法及其程序的制作方法
技術領域：
本發(fā)明涉及物體的姿勢推斷及對照系統(tǒng)、物體的姿勢推斷及對照方法，及其使用的程序。具體地說，本發(fā)明涉及將各種各樣的姿勢和照明條件下拍攝的物體的圖像與物體模型進行對照，進行物體的姿勢推斷及對照的系統(tǒng)及方法，及其程序。
背景技術：
傳統(tǒng)的物體姿勢推斷系統(tǒng)的一例(以下，稱為傳統(tǒng)技術)，例如特開2003-058896號公報所公開。如圖1所示，傳統(tǒng)的物體姿勢推斷系統(tǒng)由圖像輸入部10、三維物體模型存儲部45、姿勢推斷部25構(gòu)成。姿勢推斷部25包含姿勢候補確定部30、比較圖像生成部40、相異度計算部55、判定部56。
具備這樣構(gòu)成的傳統(tǒng)的物體姿勢推斷系統(tǒng)如下進行動作。三維物體模型存儲部45中，預先存儲測量多個物體并生成的多個三維物體模型。姿勢推斷部25，將圖像輸入部10輸入的輸入圖像和三維物體模型存儲部45讀出的三維物體模型進行比較，而進行姿勢推斷。
具體地說，最初姿勢候補確定部30生成多個姿勢候補，輸出到比較圖像生成部40。比較圖像生成部40，根據(jù)生成的姿勢候補，將三維物體模型投影成二維圖像，生成多個照明條件等與輸入圖像相近的比較圖像，輸出到相異度計算部55。相異度計算部55，比較圖像輸入部10的輸入圖像和比較圖像生成部40的比較圖像，對每個比較圖像計算相異度，將計算出的相異度輸出到判定部56。判定部56根據(jù)計算出的相異度，從多個比較圖像中選擇與輸入圖像最近似的比較圖像，推斷最合適的姿勢，并輸出推斷結(jié)果。
上述的傳統(tǒng)技術中，有以下的問題點。成為對象的三維物體模型的物體和輸入圖像的物體即使相同，從三維物體模型推斷的姿勢與輸入圖像的物體的姿勢不符合的場合，輸入圖像和比較圖像的相異度變得足夠小(或類似度變得足夠大)，可能產(chǎn)生錯誤的姿勢推斷結(jié)果?；蛘?，另外，成為對象的三維物體模型的物體和輸入圖像的物體即使不同的場合，輸入圖像和比較圖像的相異度變得足夠小，可能產(chǎn)生錯誤的姿勢推斷結(jié)果。
其理由是，在傳統(tǒng)技術中，從三維物體模型生成幾個與輸入圖像相近的比較圖像，通過僅將輸入圖像和幾個比較圖像進行比較來選擇與輸入圖像最相近的比較圖像，進行姿勢推斷。即，從三維物體模型推斷的姿勢與輸入圖像的物體的姿勢不同的場合，如果生成輸入圖像和相同程度的鮮明度的比較圖像，則邊緣部等的位置不同，因此相異度比較高。但是，如果生成比輸入圖像的鮮明度低的比較圖像，則比較圖像的邊緣部的誤差降低。該場合，輸入圖像和比較圖像的相異度變得比較小，輸入圖像和錯誤的姿勢的比較圖像的相異度由于微小的噪音等可能變得最小。
另一方面，進行物體的對照的場合，對照是通過選出從各三維物體模型求出的最合適的比較圖像和輸入圖像的相異度最小的物體進行。但是，如果僅通過對輸入圖像和比較圖像的比較來求出相異度，即使在錯誤的物體的場合，也可能有相異度變得足夠小，產(chǎn)生錯誤的對照結(jié)果。
本發(fā)明的目的是，提供對各種各樣的姿勢和照明條件下拍攝的物體的圖像，可高精度進行姿勢推斷及對照的物體的姿勢推斷及對照系統(tǒng)、物體的姿勢推斷及對照方法。
本發(fā)明的其他目的是，提供對各種各樣的照明的條件下拍攝的物體的圖像，可高精度進行對照的物體對照系統(tǒng)及物體對照方法。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第1實施例，提供了比較輸入圖像和三維物體模型，并進行物體的姿勢推斷的姿勢推斷系統(tǒng)。本姿勢推斷系統(tǒng)，包括姿勢候補確定部，生成至少一個姿勢候補；比較圖像生成部，根據(jù)生成的姿勢候補，對三維物體模型投影成二維圖像生成多個與輸入圖像相近的比較圖像；第1鮮明度特征提取部，從多個比較圖像分別提取反映鮮明度的第1鮮明度特征量。姿勢推斷系統(tǒng)還具備加權相異度計算部，計算對輸入圖像和比較圖像的相異度用第1鮮明度特征量加權后的多個加權相異度；判定部，從多個加權相異度中選出具有最小的加權相異度的比較圖像，根據(jù)選出的比較圖像推斷最合適的姿勢。
根據(jù)本發(fā)明的第2實施例，提供了使用上述姿勢推斷系統(tǒng)的姿勢推斷及對照系統(tǒng)。本姿勢推斷及對照系統(tǒng)中，判定部還將推斷的最合適姿勢的最小加權相異度與預定的閾值進行比較，進行物體對照。
根據(jù)本發(fā)明的第3實施例，提供比較輸入圖像和物體模型，并進行物體的對照的對照系統(tǒng)。本對照系統(tǒng)包括比較圖像生成部，從物體模型生成多個與輸入圖像相近的比較圖像；第1鮮明度特征提取部，從多個比較圖像中提取分別反映鮮明度的第1鮮明度特征量。對照系統(tǒng)還具備加權相異度計算部，計算對輸入圖像和比較圖像的相異度用第1鮮明度特征量加權后的多個加權相異度；判定部，通過比較計算出的多個加權相異度和預定的閾值，進行物體的對照。
第1～第3的任一實施例中，還可具備第2鮮明度特征提取部，從輸入圖像提取反映鮮明度的第2鮮明度特征量。該場合，加權相異度計算部，計算對輸入圖像和比較圖像的相異度，用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度加權后的多個加權相異度。
根據(jù)本發(fā)明的第4實施例，提供了比較輸入圖像和三維物體模型，并進行物體的姿勢推斷的姿勢推斷方法。本姿勢推斷方法中，生成至少一個姿勢候補，根據(jù)生成的姿勢候補，將三維物體模型投影成二維圖像，生成多個與輸入圖像相近的比較圖像。本姿勢推斷方法中，另外，從多個比較圖像分別提取反映鮮明度的第1鮮明度特征量，計算對輸入圖像和比較圖像的相異度用第1鮮明度特征量加權后的多個加權相異度。
根據(jù)本發(fā)明的第5實施例，提供了使用根據(jù)上述第4實施例的姿勢推斷方法的姿勢推斷及對照方法。本姿勢推斷及對照方法中，而且，從多個加權相異度中，選出具有最小加權相異度的比較圖像，根據(jù)選出的比較圖像推斷最合適的姿勢。
在第4、第5的任一實施例中，還可以從輸入圖像提取反映鮮明度的第2鮮明度特征量。該場合，在加權相異度計算中，計算對輸入圖像和比較圖像的相異度，用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量之間的相異度加權后的多個加權相異度。
根據(jù)本發(fā)明的第6實施例，提供了用于比較輸入圖像和物體模型的物體相異度計算方法。在本物體相異度計算方法中，從物體模型生成多個與輸入圖像相近的比較圖像，從多個比較圖像分別提取反映鮮明度的第1鮮明度特征量，計算對輸入圖像和比較圖像的相異度用第1鮮明度特征量加權后多個加權相異度。
本物體相異度計算方法中，也可從輸入圖像提取反映鮮明度的第2鮮明度特征量。該場合，加權相異度計算中，計算對輸入圖像和比較圖像的相異度，用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度加權后的多個加權相異度。
根據(jù)本發(fā)明的第7實施例，提供了使用上述物體相異度計算方法的物體對照方法。本物體對照方法中，而且，通過比較計算出的多個加權相異度，可進行物體對照。
根據(jù)本發(fā)明的第8實施例，為計算機提供了比較輸入圖像和三維物體模型，并執(zhí)行物體的姿勢推斷的姿勢推斷程序。本姿勢推斷程序中，執(zhí)行以下處理姿勢候補確定處理，生成至少一個姿勢候補；比較圖像生成處理，根據(jù)生成的姿勢候補，將三維物體模型投影成二維圖像生成多個與輸入圖像相近的比較圖像；第1鮮明度特征提取處理，從多個比較圖像分別提取反映鮮明度的第1鮮明度特征量。本姿勢推斷程序，另外還執(zhí)行加權相異度計算處理，計算對輸入圖像和比較圖像的相異度用第1鮮明度特征量加權后的多個加權相異度；姿勢推斷處理，從多個加權相異度中選出具有最小加權相異度的比較圖像，根據(jù)選出的比較圖像推斷最合適的姿勢。
根據(jù)本發(fā)明的第9實施例，提供了使用上述的姿勢推斷程序的姿勢推斷及對照程序。本姿勢推斷及對照程序中，姿勢推斷處理中還根據(jù)推斷的最合適姿勢的最小加權相異度與預定的閾值進行比較，進行物體對照。
根據(jù)本發(fā)明的第10實施例，為計算機提供了用于比較輸入圖像和物體模型，執(zhí)行物體的對照的對照程序。本對照程序中，執(zhí)行以下處理比較圖像生成處理，從物體模型生成多個與輸入圖像相近的比較圖像；第1鮮明度特征提取處理，從多個比較圖像分別提取反映鮮明度的第1鮮明度特征量；計算對加權相異度計算處理輸入圖像和比較圖像的相異度用第1鮮明度特征量加權后的多個加權相異度；對照處理，通過對計算出的多個加權相異度進行比較，進行對照。
第8～第10的任一實施例中，還可以執(zhí)行從輸入圖像提取反映鮮明度的第2鮮明度特征量的第2鮮明度特征提取處理。
該場合，加權相異度計算處理中，計算對輸入圖像和比較圖像的相異度，用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度加權后的多個加權相異度。


圖1是表示傳統(tǒng)的物體的姿勢推斷系統(tǒng)的構(gòu)成的方框圖。
圖2是表示根據(jù)本發(fā)明的第1實施例的物體的姿勢推斷及對照系統(tǒng)的構(gòu)成的方框3是表示說明第1實施例的物體的姿勢推斷的動作的流程圖。
圖4是用于說明第1實施例中一對一對照的動作的流程圖。
圖5是用于說明第1實施例中一對N對照的動作的流程圖。
圖6是用于說明第1實施例中的三維物體模型的具體例的圖。
圖7是用于說明第1實施例中的輸入圖像的具體例的圖。
圖8是用于說明第1實施例中的比較圖像的具體例的圖。
圖9是表示本發(fā)明的第2實施例的物體的姿勢推斷及對照系統(tǒng)的構(gòu)成的方框圖。
圖10是用于說明第2實施例的物體的姿勢推斷的動作的流程圖。
圖11是表示本發(fā)明的第3實施例的物體對照系統(tǒng)的構(gòu)成的方框圖。
圖12是用于說明第3實施例的一對一對照的動作的流程圖。
圖13是表示本發(fā)明的第4實施例的物體對照系統(tǒng)的構(gòu)成的方框圖。
圖14是用于說明第4實施例的一對一對照的動作的流程圖。
發(fā)明的最佳實施例針對幾個實施例，參考圖面詳細說明本發(fā)明。
圖2是表示本發(fā)明的物體的姿勢推斷及對照系統(tǒng)的第1實施例。圖2中，與圖1中說明的要素相同的要素使用同一編號。物體的姿勢推斷及對照系統(tǒng)，由攝像機等的圖像輸入部10、三維物體模型存儲部45、姿勢推斷及對照部20構(gòu)成。姿勢推斷及對照部20包括，姿勢候補確定部30、比較圖像生成部40、鮮明度特征提取部(第1鮮明度特征提取部)60、加權相異度計算部50、判定部52。
三維物體模型存儲部45預先存儲了多個物體的三維物體模型。三維物體模型，可使用例如特開2001-12925號公報公開的三維形狀計測裝置生成?；蛘?，三維物體模型也可使用特開平9-91436號公報公開的，將多個相機拍攝的多個圖像復原成三維形狀的裝置而生成。無論如何，三維物體模型的生成方法不是本發(fā)明的宗旨，省略詳細的說明。
姿勢推斷及對照部20，通過比較從圖像輸入部10獲得的輸入圖像和三維物體模型存儲部45獲得的三維物體模型，進行物體的姿勢推斷及物體對照。
具體地說，首先，姿勢候補確定部30，生成至少一個姿勢候補。姿勢候補最好生成多個，下面針對姿勢候補生成多個的場合進行說明。比較圖像生成部40，從圖像輸入部10接收輸入圖像。比較圖像生成部40，還根據(jù)生成的多個姿勢候補，將三維物體模型存儲部45獲得的三維物體模型投影成二維圖像，并生成多個照明條件等與輸入圖像相近的比較圖像。鮮明度特征提取部60，從生成的各比較圖像提取反映鮮明度的特征量作為鮮明度特征(以下，稱為第1鮮明度特征量)。加權相異度計算部50，對來自圖像輸入部10的輸入圖像和比較圖像生成部40生成的比較圖像的相異度用第1鮮明度特征量加權后的相異度(以下，稱為加權相異度)對每個比較圖像進行計算。判定部52，根據(jù)計算出的多個加權相異度，從多個比較圖像中選出與輸入圖像最相近的(即，最小相異度)比較圖像，從選出的比較圖像推斷最合適的姿勢。
如下面詳細說明的那樣，判定部52，可進行和一個物體(三維物體模型)的對照處理，即一對一對照，和從多個三維物體模型檢索與輸入圖像最相近的物體的1對N物體對照。判定部52，在進行一對一對照的場合，將最小相異度與預定的閾值進行比較，判定是否為同一物體。另一方面，判定部52，在進行1對N對照的場合，選出對多個三維物體模型獲得的多個最小相異度中最小的三維物體模型，進行物體對照。
接著，參照圖2及圖3，對第1實施例的姿勢推斷中的整體的動作進行詳細說明。這里，針對比較輸入圖像和三維物體模型Ck的場合進行說明。
圖3中，首先，從圖像輸入部10獲得輸入圖像(步驟100)。接著，姿勢候補確定部30中，確定多個姿勢候補{ej}(步驟110)。接著，比較圖像生成部40，根據(jù)確定的姿勢候補{ej}，將從三維物體模型存儲部45獲得的三維物體模型Ck投影成二維圖像，生成多個與輸入圖像相近的比較圖像(步驟120)。接著，鮮明度特征提取部60，從生成的各比較圖像提取反映鮮明度的第1鮮明度特征量(步驟130)。加權相異度計算部50，使用第1鮮明度特征量，對每個比較圖像，計算輸入圖像和生成的比較圖像的加權相異度D(1)kj(步驟140)。判定部52，根據(jù)計算出的加權相異度D(1)kj，通過從多個比較圖像中，選出具有最小相異度Dk＝minD(1)kj的比較圖像，求出最合適的姿勢ej(步驟150)。另外，在圖2中，從加權相異度計算部50向著姿勢候補確定部30的線表示下面的情況。雖然從上述動作中確定的多個姿勢候補{ej}中選擇相異度最小的姿勢，但也可以返回姿勢候補確定部30，依次變化姿勢候補，搜索相異度最小的姿勢。
接著，參照圖2及圖4，對第1實施例的一對一對照中的整體動作進行詳細說明。
圖4的步驟100到150，與圖3中的步驟100到150是相同的處理。步驟150后續(xù)的最后的步驟165中，判定部52，比較最小相異度Dk和預定的閾值，判定三維模型Ck的物體和輸入圖像的物體是否為相同。即，若最小相異度Dk比預定的閾值小，則兩者判定為同一物體。
接著，參照圖2及圖5，對第1實施例的1對N對照中的整體的動作進行詳細說明。
首先，由圖像輸入部10獲得輸入圖像(步驟100)。接著，令三維物體模型的模型編號k為1(步驟160)。步驟110到150，與圖3中的步驟110到150是相同的處理。步驟150之后，判定部52將模型編號k增1(步驟161)。接著，轉(zhuǎn)到步驟162，判定部52判斷增加的模型編號k是否達到預定的模型數(shù)M。增加的模型編號k在比模型數(shù)M少的場合，返回步驟110，執(zhí)行步驟110到150。從而，求出模型編號(k+1)的三維物體模型的最小相異度。步驟162中，增加的模型編號k如果達到模型數(shù)M，轉(zhuǎn)到步驟163，判定部52將從M個最小相異度Dk中獲得最小的最小相異度Dk的三維物體模型Ck，作為對照結(jié)果輸出。
接著，對第1實施例的效果進行說明。
第1實施例構(gòu)成為，將反映從三維物體模型生成的比較圖像的鮮明度的第1鮮明度特征量，對輸入圖像和比較圖像的相異度計算進行加權。因而，三維物體模型的姿勢和物體與輸入圖像的姿勢和物體不同的場合，容易產(chǎn)生大的相異度，可高精度進行姿勢推斷及對照。
接著，使用具體的實施例，對第1實施例的姿勢推斷中的動作進行說明。另外，本實施例中，以人物的臉作為例子進行說明，但是不用說，其他物體也適用。
如圖6所示，三維物體模型存儲部45存儲，物體k的三維物體模型。圖6是僅表示三維物體模型存儲部45中存儲的多個三維物體模型的一個例子。三維物體模型，具有物體表面的三維空間(x，y，z)內(nèi)的形狀PQ(x，y，z)和紋理TQ(R，G，B)的信息。Q是表示物體表面上的點的指標，例如與將物體表面上的點從重心投影到以物體的重心作為中心的球體的點Q(s，t)的座標對應。為了推斷的高效率化，預先從三維物體模型根據(jù)各種各樣的照明條件通過計算機圖像生成學習用CG圖像，通過對該學習用CG圖像的主成份分析，預先求出基底圖像群。
首先，通過圖像輸入部10，獲得圖7所示的輸入圖像I(r)(圖8的步驟100)。這里，r表示像素。
接著，姿勢候補確定部30中，確定多個姿勢候補{ej}(步驟110)。姿勢候補{ej}，可與輸入圖像無關預定，也可以如以下所示。例如，從輸入圖像及三維物體模型，手動或自動提取眼、鼻、口等的特征點。接著，根據(jù)提取的特征點，通過眾所周知的計算物體的位置及方向的方法推斷大概的姿勢，在推斷的姿勢的附近生成姿勢候補{ej}。計算上述的物體的位置及方向的方法，例如上述的專利文獻8所公開的。
接著，比較圖像生成部40，根據(jù)生成的姿勢候補{ej}，將三維物體模型投影成二維圖像，生成多個與輸入圖像的照明條件相近的比較圖像Gkj(r)(步驟120)。這里，與輸入圖像的照明條件相近的比較圖像的生成，如下進行。將預先求出的基底圖像群，根據(jù)各姿勢候補，進行座標變換，用對線性和的系數(shù)用最小二乘法求出，使該座標變換后的基底圖像的線性和接近該輸入圖像。針對圖7的輸入圖像生成的比較圖像的例子如圖8所示，但是濃淡信息未圖示。
接著，鮮明度特征提取部60，從比較圖像Gkj(r)提取反映鮮明度的第1鮮明度特征量Skj(步驟130)。鮮明度特征量是表示圖像的亮度(色)變化的程度的量。例如，圖像G(r)的第1鮮明度特征量S可用圖像G(r)的邊緣圖像G’(r)中的邊緣強度在閾值以上的像素數(shù)Ee對于全像素數(shù)E的比例Ee/E定義。另外，第1鮮明度特征量S，也可以用圖像的對比度(亮度值的范圍)和亮度值的分散等表示。
接著，加權相異度計算部50，使用第1鮮明度特征量Skj，求出輸入圖像I(r)和比較圖像Gkj(r)的加權相異度D(1)kj(步驟140)。加權相異度，從比較圖像提取的第1鮮明度特征量大的場合，可設定相異度變小。例如，輸入圖像I(r)和比較圖像Gkj(r)的相異度D(0)kj使用歐幾里得距離的場合，可通過以下的式子計算。
D(0)kj＝∑r{I(r)-Gkj(r)}2另外，加權相異度D(1)kj，可通過以下的式子計算。
D(1)kj＝D(0)kj/{1+aSkj}(其中，a是加權系數(shù))接著，判定部52，通過從多個比較圖像中選出具有最小相異度D(1)k＝minjD(1)kj的比較圖像，求出最合適的姿勢ej(步驟150)。
例如，圖8的場合，姿勢e1(比較圖像Gk1)是最合適姿勢。這里，各比較圖像和輸入圖像的相異度D(0)kj即使是由于噪音等變成D(0)kj＝{100，95，120}的場合，各比較圖像的第1鮮明度特征量Skj若變成Skj＝{0.5，0.3，0.2}，則加權相異度D(1)kj在權重系數(shù)a＝1的場合，D(1)kj＝{67，73，100}。結(jié)果，選出比較圖像Gk1，姿勢e1成為最合適姿勢。
另外，上述的說明，雖然是作為物體的姿勢推斷及對照系統(tǒng)適用的場合，毋庸置疑，作為不進行對照的物體姿勢推斷系統(tǒng)或者不進行姿勢推斷的物體對照系統(tǒng)當然也是可以適用的。這在后述的第2
接著，針對本發(fā)明的第2實施例進行詳細說明。
參照圖9，根據(jù)本發(fā)明的第2實施例，物體的姿勢推斷及對照系統(tǒng)由圖像輸入部10、第2鮮明度特征提取部61、三維物體模型存儲部45、姿勢推斷及對照部21構(gòu)成。姿勢推斷及對照部21包括姿勢候補確定部30、比較圖像生成部40、鮮明度特征提取部(第1鮮明度特征提取部)60、加權相異度計算部51、判定部52。
圖像輸入部10、三維物體模型存儲部45、姿勢候補確定部30、比較圖像生成部40、鮮明度特征提取部60，執(zhí)行與圖2中說明的相同處理。
第2鮮明度特征提取部61，提取反映由圖像輸入部10獲得的輸入圖像的鮮明度的第2鮮明度特征量。
姿勢推斷及對照部21，使用圖像輸入部10獲得的輸入圖像和第2鮮明度特征提取部61獲得的輸入圖像的第2鮮明度特征量，通過進行與三維物體模型存儲部45獲得的三維物體模型比較，進行姿勢推斷及對照。
具體地，姿勢候補確定部30生成多個姿勢候補。比較圖像生成部40根據(jù)生成的姿勢候補，將三維物體模型投影成二維圖像，生成多個照明條件等與輸入圖像相近的比較圖像。鮮明度特征提取部60，從生成的各比較圖像提取第1鮮明度特征量。加權相異度計算部51，對每個比較圖像計算對輸入圖像和比較圖像的相異度，用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度加權后的加權相異度。判定部52，根據(jù)計算出的加權相異度，通過從多個比較圖像中選出與輸入圖像最相近，即，具有最小相異度的比較圖像，推斷最合適的姿勢。另外，判定部52，在一對一對照的場合，比較最小相異度和預定的閾值，判定三維物體模型的物體和輸入圖像的物體是否是同一物體。另一方面，在1對N對照的場合，判定部52，如圖5說明那樣，從M個三維物體模型中選出最小相異度最小的三維物體模型。
接著，參照圖9和圖10，對第2實施例的姿勢推斷中的整體的動作進行詳細說明。另外，在一對一對照的動作的場合，在圖10的步驟151之后，執(zhí)行圖4的步驟165是很清楚的。另一方面，一對N對照的動作的場合，在圖10的步驟110之前執(zhí)行圖5的步驟160，在圖10的步驟151之后執(zhí)行圖5的步驟161到163也是清楚的。因此，圖10的步驟151以后的動作省略說明。
首先，通過圖像輸入部10獲得輸入圖像(圖10的步驟100)。接著，第2鮮明度特征提取部61，提取輸入圖像的第2鮮明度特征量(步驟101)。接著，姿勢候補確定部30中，確定多個姿勢候補{ej}(步驟110)。接著，比較圖像生成部40，根據(jù)確定的姿勢候補，將三維物體模型Ck投影成二維圖像，生成多個與輸入圖像相近的比較圖像(步驟120)。接著，鮮明度特征提取部60，從生成的比較圖像提取第1鮮明度特征量(步驟130)。加權相異度計算部51，對每個比較圖像求出，使用輸入圖像和生成的比較圖像及輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的加權相異度D(2)kj(步驟141)。
例如，令輸入圖像和比較圖像的相異度為D(0)kj，輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度D(e)kj的場合，加權相異度D(2)kj可由下式計算。
D(2)kj＝D(0)kj+bD(e)kj(其中，b是加權系數(shù))第1、第2鮮明度特征量的相異度，可根據(jù)歐幾里得距離等計算。判定部52，通過從多個比較圖像中，選出具有最小相異度的比較圖像，求出最合適的姿勢ej(步驟151)。
接著，針對第2實施例的效果進行說明。
第2實施例構(gòu)成為，用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度，對輸入圖像和比較圖像的相異度計算加權。因而，三維物體模型的姿勢和物體與輸入圖像的姿勢和物體不同的場合容易產(chǎn)生大的相異度，可高精度進行姿勢推斷及對照。
接著，參照圖面，針對本發(fā)明的第3實施例，進行詳細說明。
參照圖11，本發(fā)明第3實施例的物體對照系統(tǒng)由圖像輸入部10、物體模型存儲部46、對照部22構(gòu)成。對照部22包括比較圖像生成部41、鮮明度特征提取部60、加權相異度計算部50、判定部54。
第3實施例考慮了物體的姿勢變動小的場合的對照，省略了第1實施例中的姿勢候補確定部30。物體的姿勢變動小的場合的對照是指，例如僅對物體正面拍攝的圖像進行對照的場合。
圖像輸入部10和鮮明度特征提取部60執(zhí)行與圖2所示相同的處理。
物體模型存儲部46中預先存儲多個物體的物體模型。物體模型包含拍攝物體時的各種各樣的圖像變動的信息。例如，若預先準備各物體的在各種各樣的照明條件下的正面臉圖像，通過將該正面臉圖像作為主分量分析來預先求出基底圖像群，則在比較圖像生成部41中，通過該基底圖像群的合成可生成與輸入圖像相近的比較圖像。
對照部22，通過比較從圖像輸入部10獲得的輸入圖像和物體模型存儲部46獲得的物體模型，進行對照。
具體地，比較圖像生成部41，從物體模型存儲部46獲得的物體模型生成照明條件等與輸入圖像相近比較圖像。鮮明度特征提取部60，從生成的比較圖像提取反映鮮明度的第1鮮明度特征量。加權相異度計算部50，計算對輸入圖像和生成的比較圖像的相異度用第1鮮明度特征量加權后的加權相異度。另外，判定部54，在一對一對照的場合，比較計算出的加權相異度和預定的閾值，判定物體模型的物體和輸入圖像的物體是否是同一物體。另一方面，在1對N對照的場合，判定部54，從多個物體模型中選出具有最小的最小相異度的物體模型。
接著，參照圖11及圖12，對第3實施例的一對一對照中的整體的動作進行詳細說明。
首先，通過圖像輸入部10獲得輸入圖像(圖12的步驟100)。接著，比較圖像生成部41，從物體模型存儲部46獲得的物體模型Ck生成多個與輸入圖像相近的比較圖像(步驟121)。接著，鮮明度特征提取部60從各比較圖像提取反映鮮明度的第1鮮明度特征量(步驟130)。加權相異度計算部50，對每個比較圖像計算對輸入圖像和比較圖像的相異度用第1鮮明度特征量加權后的加權相異度Dk＝D(1)k(步驟142)。最后，判定部54比較計算出的加權相異度和預定的閾值，判定物體模型的物體和輸入圖像的物體是否是同一物體(步驟165)。即，計算出的加權相異度比預定的閾值小的場合，判定為相同。
1對N對照的場合，除了圖5中說明的1對N對照中的三維物體模型替代成物體模型外，其余基本相同，所以省略說明。
接著，針對第3實施例的效果進行說明。
第3實施例構(gòu)成為，用第1鮮明度特征量對輸入圖像和比較圖像的相異度計算加權。因而，物體模型的物體和輸入圖像的物體不同的場合容易產(chǎn)生大的相異度，所以可高精度進行對照。
接著，參照圖面，對本發(fā)明的第4實施例進行詳細說明。
參照圖13，本發(fā)明的第4實施例的物體對照系統(tǒng)，由圖像輸入部10、第2鮮明度特征提取部61、物體模型存儲部46、對照部23構(gòu)成。對照部23包括比較圖像生成部41、鮮明度特征提取部(第1鮮明度特征提取部)60、加權相異度計算部51、判定部54。
第4實施例與第3實施例相同，考慮物體的姿勢變動小的場合的對照，省略了第2實施例中的姿勢候補確定部30。物體的姿勢變動小的場合的對照是指，如前所述，例如對僅正面拍攝物體圖像，進行對照的場合。
圖像輸入部10、第2鮮明度特征提取部61、加權相異度計算部51，執(zhí)行與圖9中說明的第2實施例中的各部相同的處理。另一方面，物體模型存儲部46、比較圖像生成部41、鮮明度特征提取部60執(zhí)行與圖11說明的第3實施例中的各部相同的處理。
接著，參照圖13及圖14，對第4實施例的一對一對照的整體的動作進行詳細說明。
首先，通過圖像輸入部10獲得輸入圖像(圖14的步驟100)。接著，第2鮮明度特征提取部61，從輸入圖像提取反映鮮明度的第2鮮明度特征量(步驟101)。接著，比較圖像生成部41，從物體模型存儲部46獲得的物體模型Ck生成多個與輸入圖像相近的比較圖像(步驟121)。接著，鮮明度特征提取部60，從生成的比較圖像提取反映鮮明度的第1鮮明度特征量(步驟130)。加權相異度計算部51，對每個比較圖像，計算使用輸入圖像和生成的比較圖像及輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的加權相異度Dk＝D(1)k(步驟143)。最后，判定部54，比較計算出的加權相異度和預定的閾值，判定物體模型的物體和輸入圖像的物體是否是同一物體(步驟165)。
一對N對照的場合，除了圖5中說明的1對N對照中的三維物體模型替代成物體模型，其余基本相同，所以省略說明。
接著，對第4實施例的效果進行說明。
第4實施例構(gòu)成為，用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度，對輸入圖像和比較圖像的相異度計算加權。因而，物體模型的物體和輸入圖像的物體不同的場合，容易產(chǎn)生大的相異度，可高精度進行對照。
前述的第2及第4實施例中，雖然令鮮明度特征量為一維的特征量，也可以是多維的特征量。例如，也可令邊緣圖像為多維的鮮明度特征量，對每個像素或每個小區(qū)域求出鮮明度特征量的相異度。另外，圖像是不鮮明的場合，由于不能穩(wěn)定地提取特征點，也可將反映鮮明度的鮮明度特征量作為特征點使用。特征點是臉的場合，眼、鼻、口等的位置為一般性的，可用眾所周知的臉特征提取方法自動地提取。臉特征提取方法，例如公開在「臉特征點的自動提取和追蹤」(稻田等人)(2001年1月，電子信息通信學會信學技法，PRMU2000-151)。特征點的相異度，將特征點的座標值作為特征量，可通過歐幾里得距離等計算。
而且，任意一個實施例中，也可將提取的特征點數(shù)作為鮮明度特征量使用。
任意一個實施例中，三維物體模型或物體模型預先被存儲，圖像從圖像輸入部輸入。但是，本發(fā)明中將圖像預先存儲在存儲裝置，三維物體模型或物體模型通過其他輸入部輸入的場合也可適用。另外，本發(fā)明對圖像和三維物體模型或物體模型的雙方通過輸入部輸入的場合也可適用。
本發(fā)明的物體的姿勢推斷及對照系統(tǒng)，當然可由硬件實現(xiàn)構(gòu)成要素的各部分的功能。另一方面，也可由軟件實現(xiàn)上述各部的功能。即，將執(zhí)行上述各部的功能的姿勢推斷及對照程序(應用程序)加載到計算機處理裝置的存儲器中，根據(jù)姿勢推斷及對照程序，可實現(xiàn)控制計算機處理裝置。該姿勢推斷及對照程序存儲在磁盤、半導體存儲器等其他記錄媒體中，從該記錄媒體裝載到計算機的處理裝置，控制計算機處理裝置的動作。從而，實現(xiàn)上述各項功能。對物體的姿勢推斷程序、物體的對照程序也一樣。
根據(jù)本發(fā)明，可獲得以下的效果。
對在各種各樣的姿勢和照明的條件下拍攝的物體的圖像，可高精度進行姿勢推斷及對照。第1理由是，從物體模型生成的多個比較圖像中提取反映鮮明度的第1鮮明度特征量，通過附加到相異度計算中，物體模型的物體和輸入圖像的物體不同的場合，容易產(chǎn)生大的相異度。生成比較圖像的物體模型和輸入圖像是相同物體，且推斷姿勢符合的場合，生成的比較圖像可期望是鮮明的圖像。因而，通過將反映鮮明度的第1鮮明度特征量用于相異度計算，可提高姿勢推斷及對照精度。
第2理由是，通過從比較圖像和輸入圖像分別提取反映鮮明度的第1、第2鮮明度特征量，并附加到相異度計算，同樣地，物體模型的物體和輸入圖像的物體不同的場合，容易產(chǎn)生大的相異度。生成比較圖像的物體模型與輸入圖像是相同物體，且推斷姿勢符合的場合，生成的比較圖像的鮮明度可期望與輸入圖像的鮮明度接近。因而，通過將反映鮮明度的第1、第2鮮明度特征量用于相異度計算，可提高姿勢推斷及對照精度。
權利要求
1.一種姿勢推斷系統(tǒng)，比較輸入圖像和三維物體模型，進行物體的姿勢推斷，其特征在于具備姿勢候補確定部，生成至少一個姿勢候補；比較圖像生成部，根據(jù)生成的姿勢候補，將三維物體模型投影成二維圖像，并生成多個與輸入圖像相近的比較圖像；第1鮮明度特征提取部，從多個比較圖像分別提取反映鮮明度的第1鮮明度特征量；加權相異度計算部，計算對輸入圖像和比較圖像的相異度用上述第1鮮明度特征量加權后的多個加權相異度；判定部，從多個加權相異度中選出具有最小加權相異度的比較圖像，根據(jù)選出的比較圖像推斷最合適的姿勢。
2.權利要求1所述的姿勢推斷系統(tǒng)中，其特征在于具備從輸入圖像提取反映鮮明度的第2鮮明度特征量的第2鮮明度特征提取部，上述加權相異度計算部，計算對輸入圖像和比較圖像的相異度用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度加權后的多個加權相異度。
3.權利要求1所述的姿勢推斷系統(tǒng)中，其特征在于上述加權相異度計算中，鮮明度越高的圖像加權越重。
4.權利要求2所述的姿勢推斷系統(tǒng)中，其特征在于上述第1、第2鮮明度特征量是，邊緣強度在閾值以上的像素數(shù)的比率、亮度值的范圍、亮度值的分散或特征點數(shù)。
5.權利要求2所述的姿勢推斷系統(tǒng)中，其特征在于上述第1、第2鮮明度特征量是邊緣圖像或特征點。
6.一種使用權利要求1所述的姿勢推斷系統(tǒng)的姿勢推斷及對照系統(tǒng)，其特征在于上述判定部，還將推斷的最合適姿勢的最小加權相異度與預定的閾值進行比較，進行物體對照。
7.一種使用權利要求2所述的姿勢推斷系統(tǒng)的姿勢推斷及對照系統(tǒng)，其特征在于上述判定部，還將推斷的最合適姿勢的最小相異度與預定的閾值進行比較，進行物體對照。
8.權利要求6所述的姿勢推斷及對照系統(tǒng)中，其特征在于上述加權相異度計算中，鮮明度越高的圖像加權越重。
9.權利要求7所述的姿勢推斷及對照系統(tǒng)中，其特征在于上述第1、第2鮮明度特征量是，邊緣強度在閾值以上的像素數(shù)的比率、亮度值的范圍、亮度值的分散或特征點數(shù)。
10.權利要求7中所述的姿勢推斷及對照系統(tǒng)中，其特征在于上述第1、第2鮮明度特征量是邊緣圖像或特征點。
11.一種對照系統(tǒng)，比較輸入圖像和物體模型，進行物體的對照，其特征在于具備比較圖像生成部，從物體模型生成多個與輸入圖像相近的比較圖像；第1鮮明度特征提取部，從多個比較圖像分別提取反映鮮明度的第1鮮明度特征量；加權相異度計算部，計算對輸入圖像和比較圖像的相異度用上述第1鮮明度特征量加權后的多個加權相異度；判定部，通過將計算出的多個加權相異度與預定的閾值進行比較，進行物體的對照。
12.權利要求11所述的對照系統(tǒng)中，其特征在于還具備第2鮮明度特征提取部，從輸入圖像提取反映鮮明度的第2鮮明度特征量，上述加權相異度計算部，計算對輸入圖像和比較圖像的相異度用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度加權后的多個加權相異度。
13.權利要求11所述的對照系統(tǒng)中，其特征在于上述加權相異度計算中，鮮明度越高的圖像加權越重。
14.權利要求12所述的對照系統(tǒng)中，其特征在于上述第1、第2鮮明度特征量是，邊緣強度在閾值以上的像素數(shù)的比率、亮度值的范圍、亮度值的分散或特征點數(shù)。
15.權利要求12所述的對照系統(tǒng)中，其特征在于上述第1、第2鮮明度特征量是邊緣圖像或特征點。
16.一種姿勢推斷方法，對輸入圖像和三維物體模型進行比較，進行物體的姿勢推斷，其特征在于生成至少一個姿勢候補；根據(jù)生成的姿勢候補，將三維物體模型投影成二維圖像，并生成多個與輸入圖像相近的比較圖像；從多個比較圖像分別提取反映鮮明度的第1鮮明度特征量；計算對輸入圖像和比較圖像的相異度用第1鮮明度特征量加權后的多個加權相異度。
17.權利要求16所述的姿勢推斷方法中，其特征在于還從輸入圖像提取反映鮮明度的第2鮮明度特征量，上述加權相異度計算中，計算對輸入圖像和比較圖像的相異度用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度加權后的多個加權相異度。
18.一種使用權利要求16所述的姿勢推斷方法的姿勢推斷及對照方法，其特征在于還從多個加權相異度中選出具有最小的加權相異度的比較圖像，根據(jù)選出的比較圖像，推斷最合適的姿勢。
19.一種使用權利要求17所述的姿勢推斷方法的姿勢推斷及對照方法，其特征在于還從多個加權相異度中選出具有最小的加權相異度的比較圖像，根據(jù)選出的比較圖像，推斷最合適的姿勢。
20.一種物體相異度計算方法，用于比較輸入圖像和物體模型，其特征在于從物體模型生成多個與輸入圖像相近的比較圖像；從多個比較圖像分別提取反映鮮明度的第1鮮明度特征量；計算對輸入圖像和比較圖像的相異度用第1鮮明度特征量加權后的多個加權相異度。
21.權利要求20的物體相異度計算方法中，其特征在于還從輸入圖像提取反映鮮明度的第2鮮明度特征量，上述加權相異度計算中，計算對輸入圖像和比較圖像的相異度用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度加權后的多個加權相異度。
22.一種使用權利要求20所述的物體相異度計算方法的物體對照方法，其特征在于還通過比較計算出的多個加權相異度，進行對照。
23.一種使用權利要求21所述的物體相異度計算方法的物體對照方法，其特征在于還通過比較計算出的多個相異度，進行對照。
24.一種姿勢推斷程序，使計算機比較輸入圖像和三維物體模型，并執(zhí)行物體的姿勢推斷，其特征在于執(zhí)行姿勢候補確定處理，生成至少一個姿勢候補；比較圖像生成處理，根據(jù)生成的姿勢候補，將三維物體模型投影成二維圖像，生成多個與輸入圖像相近的比較圖像；第1鮮明度特征提取處理，從多個比較圖像分別提取反映鮮明度的第1鮮明度特征量；加權相異度計算處理，計算對輸入圖像和比較圖像的相異度用第1鮮明度特征量加權后的多個加權相異度；姿勢推斷處理，從多個加權相異度中選出具有最小的加權相異度的比較圖像，根據(jù)選出的比較圖像，推斷最合適的姿勢。
25.權利要求24所述的姿勢推斷程序，其特征在于還執(zhí)行從輸入圖像提取反映鮮明度的第2鮮明度特征量的第2鮮明度特征提取處理，上述加權相異度計算處理中，計算對輸入圖像和比較圖像的相異度用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度加權后的多個加權相異度。
26.一種使用權利要求24所述的姿勢推斷程序的姿勢推斷及對照程序，其特征在于上述姿勢推斷處理中，還通過將推斷的最合適姿勢的最小加權相異度與預定的閾值進行比較，進行物體對照。
27.一種使用權利要求25所述的姿勢推斷程序的姿勢推斷及對照程序，其特征在于上述姿勢推斷處理中，還通過推斷的最合適姿勢的最小加權相異度與預定的閾值進行比較，進行物體對照。
28.一種對照程序，使計算機比較輸入圖像和物體模型物體，執(zhí)行對照，其特征在于執(zhí)行比較圖像生成處理，從物體模型生成多個與輸入圖像相近的比較圖像；第1鮮明度特征提取處理，從多個比較圖像分別提取反映鮮明度的第1鮮明度特征量；加權相異度計算處理，計算對輸入圖像和比較圖像的相異度用第1鮮明度特征量加權后的多個加權相異度；對照處理，通過比較計算出的多個加權相異度，進行對照。
29.權利要求28所述的對照程序中，其特征還在于執(zhí)行從輸入圖像提取反映鮮明度的第2鮮明度特征量的第2鮮明度特征提取處理，上述加權相異度計算處理中，計算對輸入圖像和比較圖像的相異度用輸入圖像的第2鮮明度特征量和比較圖像的第1鮮明度特征量的相異度加權后的多個加權相異度。
全文摘要
姿勢推斷及對照系統(tǒng)具備姿勢推斷及對照部(20)。在姿勢推斷及對照部(20)中，姿勢候補確定部(30)確定姿勢候補。比較圖像生成部(40)根據(jù)確定的姿勢候補，將從三維物體模型存儲部(45)獲得的三維物體模型投影成二維圖像，生成多個與輸入圖像相近的比較圖像。鮮明度抽取部(60)從生成的比較圖像抽取反映鮮明度的第1鮮明度特征量。加權相異度計算部(50)，計算對輸入圖像和比較圖像的相異度用第1鮮明度特征量加權后的多個加權相異度。判定部(52)將具有最小加權相異度的比較圖像，作為與輸入圖像最相近的比較圖像選出，進行姿勢推斷和對照。
文檔編號G01B11/26GK1950844SQ20058001387
公開日2007年4月18日 申請日期2005年3月3日 優(yōu)先權日2004年3月3日
發(fā)明者濱中雅彥 申請人:日本電氣株式會社