專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置，具體而言涉及識(shí)別圖像中包含的人的 臉部等的圖像處理裝置和圖像處理方法。
背景技術(shù)：
諸如數(shù)字靜態(tài)相機(jī)和數(shù)字?jǐn)z像機(jī)之類的圖像拍攝裝置已得到廣泛 的使用，這種圖像拍攝裝置拍攝諸如人之類的被攝物并且記錄所拍攝 的圖像。另外，已提出了大量的圖像處理裝置，這些圖像處理裝置包 括用于從拍攝的圖像中檢測(cè)人的臉部的臉部檢測(cè)功能。
另外，近年來(lái)，已提出了多種臉部識(shí)別技術(shù)，用于從利用這種臉 部檢測(cè)功能檢測(cè)出的臉部中識(shí)別特定人的臉部。例如，已提出了一種 圖像處理裝置，該裝置尋找輸入圖像上與注冊(cè)圖像上的目標(biāo)區(qū)域相對(duì) 應(yīng)的對(duì)應(yīng)區(qū)域的位置，并且基于該對(duì)應(yīng)區(qū)域的位置來(lái)識(shí)別輸入圖像中
的臉部(例如，參見曰本未實(shí)審專利申請(qǐng)No. 2007-115109 (圖3))。 例如，在諸如安保和娛樂(lè)領(lǐng)域中，作為生物"i人證的一部分，利用 包含人的臉部的臉部圖像來(lái)識(shí)別人物的臉部識(shí)別技術(shù)已經(jīng)投入實(shí)用。

發(fā)明內(nèi)容
根據(jù)上述現(xiàn)有技術(shù)，對(duì)于正面的臉部可以實(shí)現(xiàn)更高的精度。然而， 例如，當(dāng)拍攝人的臉部時(shí)，盡管在許多情況下拍攝的是正面的臉部， 但是也可想到這樣的情形，其中拍攝的不是正面的臉部。因此，可能 出現(xiàn)包含正面臉部的拍攝圖像和包含非正面臉部的拍攝圖像被記錄的 情況。如上所述，當(dāng)拍攝圖像中包含的臉部朝向不同時(shí)，即使這些圖 像屬于同一人，拍攝圖像中包含的臉部圖像也可能非常不同，并且存 在臉部識(shí)別性能不穩(wěn)定的風(fēng)險(xiǎn)。因此，當(dāng)識(shí)別拍攝圖像中包含的臉部時(shí)，例如，可以想到利用與人的臉部相對(duì)應(yīng)的復(fù)雜的三維模型、通過(guò) 使目標(biāo)拍攝圖像中包含的臉部的朝向與注冊(cè)臉部的朝向相同來(lái)執(zhí)行識(shí) 別。
然而，在例如由小型數(shù)字靜態(tài)相機(jī)之類的圖像拍攝裝置執(zhí)行臉部 識(shí)別的情況下，圖像拍攝裝置通常只能進(jìn)行與臉部識(shí)別有關(guān)的數(shù)量相 對(duì)有限的計(jì)算。因而，可能難以利用上述復(fù)雜的三維臉部模型來(lái)執(zhí)行 臉部識(shí)別。因此，增強(qiáng)臉部識(shí)別的準(zhǔn)確性(無(wú)論臉部朝向如何)、同 時(shí)減小臉部識(shí)別處理的負(fù)荷是很重要的。
希望增強(qiáng)臉部識(shí)別的準(zhǔn)確性，同時(shí)減小臉部識(shí)別處理的負(fù)荷。 根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種圖像處理裝置、用于圖像 處理裝置的圖像處理方法和用于使計(jì)算機(jī)執(zhí)行圖像處理方法的程序， 該圖像處理裝置包括投影單元、變換單元、生成單元和識(shí)別單元，投 影單元將包含臉部的至少 一部分的注冊(cè)臉部圖像投影到三維模型的表 面上，使得注冊(cè)臉部圖像中包含的臉部的水平方向基本與圖像要被投
影到的表面上的一個(gè)方向一致，其中所述三維模型的形狀如下形成 該三維模型在所述表面上的所述一個(gè)方向上的至少一部分被向正面彎 折，變換單元基于目標(biāo)圖像中包含的臉部的朝向來(lái)變換三維模型，生 成單元通過(guò)將投影在經(jīng)變換單元變換的三維模型的表面上的注冊(cè)臉部 圖像投影到一個(gè)平面上來(lái)生成二維圖像，識(shí)別單元通過(guò)將由生成單元 生成的二維圖像與目標(biāo)圖像進(jìn)行比較來(lái)識(shí)別目標(biāo)圖像中包含的臉部。 這樣，注冊(cè)臉部圖像被投影到三維模型的表面上，該三維模型基于目 標(biāo)圖像中包含的臉部的朝向被變換，投影在變換后的三維模型的表面 上的注冊(cè)臉部圖像被投影到一個(gè)平面上以生成二維模型，并且該二維 圖像和目標(biāo)圖像進(jìn)行相互比較以識(shí)別目標(biāo)圖像中包含的臉部。
在上述實(shí)施例中，可以如下形成三維^^莫型的形狀所述表面上的 所述一個(gè)方向上的兩端都向背面彎折，且三維模型在所迷一個(gè)方向上 的 一部分被用作彎折線，并且投影單元可以將注冊(cè)臉部圖像投影到三 維模型的表面上，以使相對(duì)于注冊(cè)臉部圖像中包含的臉部的水平方向 的中心線基本與彎折線一致。這樣，注冊(cè)臉部圖像被投影到三維模型的表面上，以使相對(duì)于注冊(cè)臉部圖像中包含的臉部的水平方向的中心 線與三維模型的彎折線相互基本一致。
在上述實(shí)施例中，注冊(cè)臉部圖像可以是基于注冊(cè)臉部圖像中包含 的臉部的眼睛被正規(guī)化的正規(guī)化圖像，并且圖像處理裝置還可包括眼 睛檢測(cè)單元和正規(guī)化單元，眼睛檢測(cè)單元檢測(cè)目標(biāo)圖像中包含的臉部 的眼睛，正規(guī)化單元基于眼睛檢測(cè)單元檢測(cè)出的眼睛來(lái)正規(guī)化目標(biāo)圖 像以生成正規(guī)化目標(biāo)圖像，變換單元可以相對(duì)于連接投影在三維模型 的表面上的注冊(cè)臉部圖像中所包含的臉部的眼睛的線段的中點(diǎn)旋轉(zhuǎn)及 平移三維模型，使得由生成單元生成的二維圖像中包含的臉部的眼睛 的位置與正規(guī)化目標(biāo)圖像中包含的臉部的眼睛的位置變?yōu)橄嗤⑶?識(shí)別單元可以通過(guò)將由生成單元生成的二維圖像與正規(guī)化目標(biāo)圖像進(jìn) 行比較來(lái)識(shí)別目標(biāo)圖像中包含的臉部。這樣，三維模型相對(duì)于連接注 冊(cè)臉部圖像中包含的臉部的眼睛的線段的中點(diǎn)被旋轉(zhuǎn)和平移，使得二 維圖像中包含的臉部的眼睛的位置與正規(guī)化目標(biāo)圖像中包含的臉部的 眼睛的位置變?yōu)橄嗤?，并且該二維圖像與正規(guī)化目標(biāo)圖像被相互比較， 從而識(shí)別目標(biāo)圖像中包含的臉部。
在上述實(shí)施例中，圖像處理裝置還可包括變換參數(shù)存儲(chǔ)單元，該 變換參數(shù)存儲(chǔ)單元以與臉部的朝向相關(guān)聯(lián)的方式存儲(chǔ)變換參數(shù)，該變
換參數(shù)被用于將注冊(cè)臉部圖像投影到三維模型的表面上，使得相對(duì) 于注冊(cè)臉部圖像中包含的臉部的水平方向的中心線基本與彎折線一 致，相對(duì)于該線段的中點(diǎn)旋轉(zhuǎn)及平移三維模型，使得由生成單元生成 的二維圖像中包含的臉部的眼睛的位置與正規(guī)化目標(biāo)圖像中包含的臉 部的眼睛的位置變?yōu)橄嗤?，其中該線段是連接投影在三維模型的表面 上的注冊(cè)臉部圖像中所包含的臉部的眼睛的線段，以及將投影在旋轉(zhuǎn) 及平移后的三維模型的表面上的注冊(cè)臉部圖像投影到一個(gè)平面上以針 對(duì)每種臉部朝向生成二維圖像，并且生成單元可以利用以與目標(biāo)圖像 中包含的臉部的朝向相關(guān)聯(lián)的方式存儲(chǔ)的變換參數(shù)來(lái)由注冊(cè)臉部圖像 生成二維圖像。這樣，利用與目標(biāo)圖像中包含的臉部的朝向相關(guān)聯(lián)地
存儲(chǔ)的變換參數(shù)來(lái)由注冊(cè)臉部圖像生成二維圖像。
9在上述實(shí)施例中，圖像處理裝置還可包括器官檢測(cè)單元和正規(guī)化 單元，器官檢測(cè)單元檢測(cè)目標(biāo)圖像中包含的臉部的兩個(gè)器官，正規(guī)化 單元基于器官檢測(cè)單元檢測(cè)出的兩個(gè)器官來(lái)正規(guī)化目標(biāo)圖像以生成正 規(guī)化目標(biāo)圖像，變換單元可以旋轉(zhuǎn)及平移三維模型，使得由生成單元 生成的二維圖像中包含的臉部的兩個(gè)器官的位置與正規(guī)化目標(biāo)圖像中
包含的臉部的兩個(gè)器官的位置變?yōu)橄嗤?，并且識(shí)別單元可以通過(guò)將由
生成單元生成的二維圖像與正規(guī)化目標(biāo)圖像進(jìn)行比較來(lái)識(shí)別目標(biāo)圖像
中包含的臉部。這樣，三維模型被旋轉(zhuǎn)及平移，使得二維圖像中包含
的臉部的兩個(gè)器官的位置與正規(guī)化目標(biāo)圖像中包含的臉部的兩個(gè)器官
的位置變?yōu)橄嗤?，并且該二維圖像和正規(guī)化目標(biāo)圖像被相互比較以識(shí)
別目標(biāo)圖像中包含的臉部。
在上述實(shí)施例中，圖像處理裝置還可包括變換數(shù)據(jù)存儲(chǔ)單元，該
變換數(shù)據(jù)存儲(chǔ)單元以與臉部的朝向相關(guān)聯(lián)的方式存儲(chǔ)三維模型的旋轉(zhuǎn)
角和平移距離的值，并且變換單元可以利用以與目標(biāo)圖像中包含的臉
部的朝向相關(guān)聯(lián)的方式存儲(chǔ)的旋轉(zhuǎn)角和平移距離的值來(lái)旋轉(zhuǎn)并平移三
維模型。這樣，利用與目標(biāo)圖像中包含的臉部的朝向相關(guān)聯(lián)地存儲(chǔ)的 旋轉(zhuǎn)角和平移距離的值對(duì)三維模型進(jìn)行旋轉(zhuǎn)及平移。
在上述實(shí)施例中，識(shí)別單元可以通過(guò)將以下兩種圖像之 一 作為與 目標(biāo)圖像的比較對(duì)象來(lái)與目標(biāo)圖像進(jìn)行比較以識(shí)別目標(biāo)圖像中包含的
臉部基于目標(biāo)圖像中包含的臉部的朝向而確定的注冊(cè)臉部圖像和由 生成單元生成的二維圖像。這樣，基于目標(biāo)圖像中包含的臉部的朝向 而確定的注冊(cè)臉部圖像和由生成單元生成的二維圖像之一作為目標(biāo)圖 像的比較對(duì)象與目標(biāo)圖像進(jìn)行比較，以識(shí)別目標(biāo)圖像中包含的臉部。
在上述實(shí)施例中，圖像處理裝置還可包括注冊(cè)臉部圖像存儲(chǔ)單元 和確定單元，注冊(cè)臉部圖像存儲(chǔ)單元存儲(chǔ)包含正面臉部的至少一部分 的圖像作為注冊(cè)臉部圖像，確定單元確定目標(biāo)圖像中包含的臉部的朝 向，并且如果確定單元確定目標(biāo)圖像中包含的臉部的朝向是正面的， 則識(shí)別單元可以通過(guò)將注冊(cè)臉部圖像與目標(biāo)圖像進(jìn)行比較來(lái)識(shí)別目標(biāo) 圖像中包含的臉部。因此，如果目標(biāo)圖像中包含的臉部的朝向被確定為是正面的，則注冊(cè)臉部圖像和目標(biāo)圖像被相互比較，從而識(shí)別目標(biāo) 圖像中包含的臉部。
在上述實(shí)施例中，圖像處理裝置還可包括圖像拍攝單元、臉部檢 測(cè)單元和確定單元，圖像拍攝單元拍攝被攝物以生成拍攝圖像，臉部 檢測(cè)單元檢測(cè)拍攝圖像中包含的臉部，確定單元確定臉部檢測(cè)單元檢 測(cè)出的臉部的朝向，并且識(shí)別單元可以通過(guò)將由生成單元生成的二維 圖像與包含臉部檢測(cè)單元檢測(cè)出的臉部的臉部圖像進(jìn)行比較來(lái)識(shí)別拍 攝圖像中包含的臉部。這樣，拍攝被攝物以生成拍攝圖像，檢測(cè)該拍 攝圖像中包含的臉部，確定檢測(cè)出的臉部的朝向，并且將二維圖像和 臉部圖像相互比較，從而識(shí)別拍攝圖像中包含的臉部。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種圖像處理裝置、用于圖像 處理裝置的圖像處理方法和用于使計(jì)算機(jī)執(zhí)行圖像處理方法的程序， 該圖像處理裝置包括注冊(cè)臉部圖像存儲(chǔ)單元、確定單元、眼睛檢測(cè)單 元、正規(guī)化單元、變換參數(shù)存儲(chǔ)單元、圖像變換單元和識(shí)別單元，注 冊(cè)臉部圖像存儲(chǔ)單元存儲(chǔ)注冊(cè)臉部圖像，該注冊(cè)臉部圖像是包含臉部 的至少 一部分并且基于臉部的眼睛被正規(guī)化的正規(guī)化臉部圖像，確定 單元確定目標(biāo)圖像包含的臉部的朝向，眼睛檢測(cè)單元檢測(cè)目標(biāo)圖像中 包含的臉部的眼睛，正規(guī)化單元基于眼睛檢測(cè)單元檢測(cè)出的眼睛來(lái)正 規(guī)化目標(biāo)圖像以生成正規(guī)化目標(biāo)圖像，變換參數(shù)存儲(chǔ)單元以與所確定
的臉部朝向相關(guān)聯(lián)的方式存儲(chǔ)變換參數(shù)，該變換參數(shù)被用于將注冊(cè) 臉部圖像投影到三維模型的表面上，使得相對(duì)于注冊(cè)臉部圖像中包含 的臉部的水平方向的中心線基本與彎折線一致，該三維模型的形狀如 下形成圖像要被投影到的表面上的一個(gè)方向中的兩端被向背面彎折， 且三維模型在所述一個(gè)方向中的一部分被用作所述彎折線，相對(duì)于連 接注冊(cè)臉部圖像中包含的臉部的眼睛的線段的中點(diǎn)旋轉(zhuǎn)及平移三維模 型，使得投影在三維模型的表面上的注冊(cè)臉部圖像中包含的臉部的眼 睛的位置變?yōu)樘囟ㄎ恢?，以及將投影在旋轉(zhuǎn)及平移后的三維模型的表 面上的注冊(cè)臉部圖像投影到 一個(gè)平面上以針對(duì)所確定的每種臉部朝向 生成二維圖像，圖像變換單元利用以與確定單元所確定的 部的朝向相關(guān)聯(lián)的方式存儲(chǔ)的變換參數(shù)來(lái)由注冊(cè)臉部圖像生成二維圖像，識(shí)別 單元通過(guò)將由圖像變換單元生成的二維圖像與正規(guī)化目標(biāo)圖像進(jìn)行比 較來(lái)識(shí)別目標(biāo)圖像中包含的臉部。這樣，確定目標(biāo)圖像中包含的臉部 的朝向，檢測(cè)該臉部的眼睛，基于眼睛來(lái)正規(guī)化目標(biāo)圖像，利用與所 確定的臉部朝向相關(guān)聯(lián)地存儲(chǔ)的變換參數(shù)來(lái)由注冊(cè)臉部圖像生成二維 圖像，并且將該二維圖像與目標(biāo)圖像相互比較，從而識(shí)別目標(biāo)圖像中 包含的臉部。


圖1是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像處理裝置的功能配置例
子的框圖2A至2C是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例當(dāng)正規(guī)化單元正規(guī)化 臉部圖像時(shí)所發(fā)生的轉(zhuǎn)變的示意圖3A至3C是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例當(dāng)正規(guī)化單元正規(guī)化 臉部圖像時(shí)所發(fā)生的轉(zhuǎn)變的示意圖4A和4B是分別示意性地示出根據(jù)本發(fā)明的一個(gè)實(shí)施例經(jīng)受臉 部朝向確定單元的臉部朝向確定的臉部圖像的示意圖5A和5B是分別示出根據(jù)本發(fā)明的一個(gè)實(shí)施例臉部朝向確定參 考數(shù)據(jù)保存單元的內(nèi)容以及用于臉部朝向確定單元的臉部朝向確定的 累積結(jié)果值的范圍的示意圖6A至6E是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例臉部朝向確定單元的 臉部朝向確定結(jié)果的例子的示意圖7是示意性地示出根據(jù)本發(fā)明的一個(gè)實(shí)施例被存儲(chǔ)在注冊(cè)臉部 圖像存儲(chǔ)單元中的注冊(cè)臉部圖像的示意圖8A至8D是分別示意性地示出根據(jù)本發(fā)明的一個(gè)實(shí)施例被存儲(chǔ) 在三維模型存儲(chǔ)單元中的三維模型的示意圖9是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的變換數(shù)據(jù)存儲(chǔ)單元的內(nèi)容的 示意圖10A和10B是示意性地示出根據(jù)本發(fā)明的一個(gè)實(shí)施例當(dāng)一個(gè)注冊(cè)臉部圖像被圖像變換單元變換時(shí)所發(fā)生的轉(zhuǎn)變的示意圖11A至11C是示意性地示出根據(jù)本發(fā)明的一個(gè)實(shí)施例當(dāng)一個(gè)注 冊(cè)臉部圖像被圖像變換單元變換時(shí)所發(fā)生的轉(zhuǎn)變的示意圖12是示意性地示出根據(jù)本發(fā)明的一個(gè)實(shí)施例當(dāng)一個(gè)注冊(cè)臉部 圖像被圖像變換單元變換時(shí)所發(fā)生的轉(zhuǎn)變的示意圖13A和13B是示意性地示出根據(jù)本發(fā)明的一個(gè)實(shí)施例在一個(gè)注 冊(cè)臉部圖像被圖像變換單元變換的情況下三維模型和圖像投影平面之 間的關(guān)系的示意圖14A和14B是示出根據(jù)本發(fā)明的 一個(gè)實(shí)施例當(dāng)注冊(cè)臉部圖像被
圖像變換單元變換為核對(duì)臉部圖像時(shí)所發(fā)生的轉(zhuǎn)變的示意圖15A和15B是示出根據(jù)本發(fā)明的 一個(gè)實(shí)施例由臉部識(shí)別單元進(jìn) 行比較的核對(duì)臉部圖像和正規(guī)化臉部圖像以及注冊(cè)臉部圖像和正規(guī)化 臉部圖像的示意圖16是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例由圖像處理裝置執(zhí)行的臉 部識(shí)別處理的處理步驟的流程圖;
圖17是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例由圖像處理裝置執(zhí)行的臉 部朝向確定處理的處理步驟的流程圖18是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像處理裝置的功能配置 例子的框圖19是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的變換數(shù)據(jù)存儲(chǔ)單元的內(nèi)容 的示意圖20A至20C是示意性地示出根據(jù)本發(fā)明的 一個(gè)實(shí)施例用于計(jì)算 變換參數(shù)的計(jì)算方法的示意圖21A和21B是示意性地示出根據(jù)本發(fā)明的一個(gè)實(shí)施例用于計(jì)算 變換參數(shù)的計(jì)算方法的示意圖22A和22B是示意性地示出根據(jù)本發(fā)明的一個(gè)實(shí)施例用于計(jì)算 變換參數(shù)的計(jì)算方法的示意圖23是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例匯總從臉部識(shí)別單元輸出
的臉部識(shí)別結(jié)果的臉部識(shí)別結(jié)果曲線圖的圖形；圖24是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例由圖像處理裝置執(zhí)行的臉 部識(shí)別處理的處理步驟的流程圖；以及
圖25A至25D是分別示出根據(jù)本發(fā)明 一個(gè)實(shí)施例的三維模型的例 子的示意圖。
具體實(shí)施例方式
接下來(lái)，將參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。
圖1是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像處理裝置100的功能配. 置示例的框圖。圖像處理裝置100包括光學(xué)系統(tǒng)lll、圖像拍攝單元 112、臉部檢測(cè)單元120、眼睛檢測(cè)單元130、正規(guī)化單元140、臉部 朝向確定單元150、臉部朝向確定參考數(shù)據(jù)保存單元151、注冊(cè)臉部圖 像存儲(chǔ)單元160、三維模型存儲(chǔ)單元170、圖像變換單元180、變換數(shù) 據(jù)存儲(chǔ)單元181、臉部識(shí)別單元190以及臉部識(shí)別結(jié)果輸出單元195。 圖像處理裝置100例如可以由諸如數(shù)字靜態(tài)相機(jī)之類的圖像拍攝裝置 實(shí)現(xiàn)，該圖像拍攝裝置可以通過(guò)對(duì)被攝物的拍攝圖像進(jìn)行圖像分析而 提取特征量，并且利用所提取的特征量來(lái)施加各種圖像處理。
光學(xué)系統(tǒng)lll由收集來(lái)自被攝物的光的多個(gè)透鏡(例如變焦透鏡 和聚焦透鏡)構(gòu)成。來(lái)自祐:攝物的入射光經(jīng)由這些透鏡和光圈(未示 出)被送到圖像拍攝單元112。
圖像拍攝單元112根據(jù)預(yù)定的圖像拍攝參數(shù)變換來(lái)自被攝物的入 射光以生成拍攝圖像，并將生成的拍攝圖像輸出到臉部檢測(cè)單元120、 眼睛檢測(cè)單元130和正規(guī)化單元140。也就是說(shuō),在圖像拍攝單元112 中，經(jīng)由光學(xué)系統(tǒng)lll入射的來(lái)自被攝物的光學(xué)信號(hào)經(jīng)受圖像拍攝器 件(未示出)的光電轉(zhuǎn)換，從而轉(zhuǎn)換為模擬圖像信號(hào)。然后，信號(hào)處 理單元(未示出)對(duì)通過(guò)光電轉(zhuǎn)換獲得的模擬圖像信號(hào)施加諸如去噪、 A/D (模擬/數(shù)字)轉(zhuǎn)換等的相機(jī)信號(hào)處理，從而生成拍攝圖像。
臉部檢測(cè)單元120檢測(cè)在從圖像拍攝單元112輸出的拍攝圖像中 包含的人的臉部，并將與檢測(cè)出的臉部有關(guān)的臉部檢測(cè)信息輸出到眼 睛檢測(cè)單元130和正規(guī)化單元140。作為臉部檢測(cè)方法，例如可以采用基于實(shí)際圖像和記錄有臉部的亮度分布信息的模板之間的匹配的臉
部檢測(cè)方法(例如，參見日本未實(shí)審專利申請(qǐng)公布No. 2004-133637 )， 或者基于拍攝圖像中包含的人臉特征量、皮膚顏色部分等等的臉部檢 測(cè)方法。臉部檢測(cè)信息包括拍攝圖像上檢測(cè)出的臉部的位置和尺寸。 拍攝圖像上檢測(cè)出的臉部的位置可以被設(shè)置為例如拍攝圖像上臉部圖 像的中心位置，并且拍攝圖像上檢測(cè)出的臉部的尺寸可以被設(shè)置為例 如拍攝圖像上臉部圖像的水平和垂直長(zhǎng)度。通過(guò)該臉部檢測(cè)信息，可 以定位臉部圖像，該臉部圖像是包含拍攝圖像上的臉部的至少 一部分 的矩形拍攝圖像。
眼睛檢測(cè)單元130檢測(cè)在從圖像拍攝單元112輸出的拍攝圖像中 包含的人的臉部的眼睛，并將與檢測(cè)出的眼睛有關(guān)的眼睛信息輸出到 正規(guī)化單元140。也就是說(shuō)，眼睛檢測(cè)單元130利用從臉部檢測(cè)單元 120輸出的臉部檢測(cè)信息(位置和尺寸)、從輸出自圖像拍攝單元112 的拍攝圖像中提取與臉部檢測(cè)單元120檢測(cè)出的臉部相對(duì)應(yīng)的臉部圖 像。然后，眼睛檢測(cè)單元130檢測(cè)該提取出的臉部圖像中的眼睛。作 為眼睛檢測(cè)方法，與臉部檢測(cè)方法一樣，例如可以采用基于實(shí)際圖像 和記錄有眼睛的亮度分布信息的模板之間的匹配的眼睛檢測(cè)方法。眼 睛檢測(cè)信息包括臉部圖像中檢測(cè)出的眼睛的位置。臉部圖像中的位置 可被設(shè)置為例如臉部圖像中的眼睛的中心位置?？梢岳迷撗劬z測(cè) 信息對(duì)臉部圖像進(jìn)行正規(guī)化處理。眼睛檢測(cè)單元130代表在權(quán)利要求 書中描述的眼睛檢測(cè)單元和器官檢測(cè)單元的例子。
正規(guī)化單元140基于從眼睛檢測(cè)單元130輸出的眼睛檢測(cè)信息來(lái) 對(duì)與臉部檢測(cè)單元120檢測(cè)出的臉部相對(duì)應(yīng)的臉部圖像執(zhí)行正規(guī)化， 并將已被正規(guī)化的臉部圖像(正規(guī)化臉部圖像)輸出到臉部朝向確定 單元150和臉部識(shí)別單元190。另外，正規(guī)化單元140保存用于執(zhí)行 正規(guī)化的正規(guī)化模板，并基于該正規(guī)化模板對(duì)臉部圖像進(jìn)行正規(guī)化。 作為該正規(guī)化模板，例如可以使用以眼睛的位置為基準(zhǔn)的正規(guī)化模板 141，如圖2C和3C所示。也就是說(shuō)，正規(guī)化單元140對(duì)臉部圖像施 加縮放處理和旋轉(zhuǎn)處理以及分辨率轉(zhuǎn)換，從而使臉部圖像中 睛的位置與正規(guī)化模板141中眼睛的位置一致，從而正規(guī)化臉部圖像。臉部 圖像的正規(guī)化和正規(guī)化模板將在后面參考圖2A至3C詳細(xì)描述。
臉部朝向確定單元150利用存儲(chǔ)在臉部朝向確定參考數(shù)據(jù)保存單 元151中的臉部朝向確定參考數(shù)據(jù)來(lái)確定臉部檢測(cè)單元120檢測(cè)出的 臉部的朝向，并將該確定結(jié)果輸出到圖像變換單元180。也就是說(shuō)， 臉部朝向確定單元150計(jì)算根據(jù)存儲(chǔ)在臉部朝向確定參考數(shù)據(jù)保存單 元151中的臉部朝向確定參考數(shù)據(jù)的確定條件被滿足的程度，并獲得 與臉部朝向有關(guān)的累積結(jié)果值。然后，基于該累積結(jié)果值，臉部朝向 確定單元150確定臉部檢測(cè)單元120檢測(cè)出的臉部的朝向。由臉部朝 向確定單元150確定的臉部朝向例如是"正面(frontal)"、"向右 (right-facing)"和"向左(left-facing)"。作為確定臉部朝向的方法， 例如可以采用利用諸如眼睛、鼻子和嘴巴之類的臉部器官的幾何特征 來(lái)確定臉部朝向的確定方法，以及基于使用要確定的臉部圖像上的兩 點(diǎn)之間的亮度值差的鑒別器來(lái)執(zhí)行確定處理的確定方法。臉部朝向確 定將在后面參考圖4A至6E詳細(xì)描述。臉部朝向確定單元150代表在 權(quán)利要求書中描述的確定單元的例子。
臉部朝向確定參考數(shù)據(jù)保存單元151保存供臉部朝向確定單元 150確定時(shí)使用的臉部朝向確定參考數(shù)據(jù)。該臉部朝向確定參考數(shù)據(jù) 是已經(jīng)針對(duì)要由臉部朝向確定單元150確定的臉部朝向充分訓(xùn)練過(guò)的 參考數(shù)據(jù)。臉部朝向確定參考數(shù)據(jù)將在后面參考圖5A和5B詳細(xì)描述。
注冊(cè)臉部圖像存儲(chǔ)單元160存儲(chǔ)供臉部識(shí)別單元190臉部識(shí)別使 用的臉部圖像作為注冊(cè)臉部圖像，并將所存儲(chǔ)的注冊(cè)臉部圖像提供給 圖像變換單元180。存儲(chǔ)在注冊(cè)臉部圖像存儲(chǔ)單元160中的注冊(cè)臉部 圖4象將在后面參考圖7詳細(xì)描述。
三維模型存儲(chǔ)單元170存儲(chǔ)用于變換存儲(chǔ)在注冊(cè)臉部圖像存儲(chǔ)單 元160中的注冊(cè)臉部圖像的三維模型，并將所存儲(chǔ)的三維模型提供給 圖像變換單元180。存儲(chǔ)在三維模型存儲(chǔ)單元170中的三維模型將在 后面參考圖8A至8D詳細(xì)描述。
圖像變換單元180變換存儲(chǔ)在注冊(cè)臉部圖像存儲(chǔ)單元160中的注冊(cè)臉部圖像以生成核對(duì)臉部圖像，并將所生成的核對(duì)臉部圖像輸出到
臉部識(shí)別單元190。也就是說(shuō)，圖像變換單元180將注冊(cè)臉部圖像投 影到存儲(chǔ)在三維模型存儲(chǔ)單元170中的三維模型的表面上，從而使三 維模型的水平方向基本與注冊(cè)臉部圖像中包含的臉部的水平方向一 致。然后，圖像變換單元180基于從臉部朝向確定單元150輸出的臉 部朝向確定結(jié)果來(lái)利用貼覆的注冊(cè)臉部圖像變換三維模型。然后，圖 像變換單元180將貼覆在變換后的三維模型上的注冊(cè)臉部圖像投影到 一個(gè)平面上以生成核對(duì)臉部圖像(二維圖像)。當(dāng)從臉部朝向確定單 元150輸出指示"正面，，的確定結(jié)果時(shí)，圖像變換單元180將存儲(chǔ)在注 冊(cè)臉部圖像存儲(chǔ)單元160中的注冊(cè)臉部圖像作為核對(duì)臉部圖像輸出到 臉部識(shí)別單元l卯，而不對(duì)注冊(cè)臉部圖4象執(zhí)行變換。該注冊(cè)臉部圖像 的變換將在后面參考圖10A至13B詳細(xì)描述。圖像變換單元180代表 在權(quán)利要求書中描述的投影單元、變換單元和生成單元的例子。
變換數(shù)據(jù)存儲(chǔ)單元181與要由臉部朝向確定單元150確定的臉部 的朝向相關(guān)聯(lián)地存儲(chǔ)圖像變換單元180用來(lái)執(zhí)行變換的變換數(shù)據(jù)，并 將所存儲(chǔ)的變換數(shù)據(jù)提供給圖像變換單元180。變換數(shù)據(jù)存儲(chǔ)單元181 將在后面參考圖9詳細(xì)描述。
臉部識(shí)別單元190識(shí)別臉部檢測(cè)單元120檢測(cè)出的臉部是否為存 儲(chǔ)在注冊(cè)臉部圖像存儲(chǔ)單元160中的注冊(cè)臉部圖像中所包含的臉部 (被注冊(cè)的臉部)，并將識(shí)別結(jié)果輸出到臉部識(shí)別結(jié)果輸出單元195。 也就是說(shuō)，臉部識(shí)別單元l卯通過(guò)將從正規(guī)化單元140輸出的正規(guī)化 臉部圖像與從圖像變換單元180輸出的核對(duì)臉部圖像相比較，來(lái)識(shí)別 臉部檢測(cè)單元120檢測(cè)出的臉部是否為被注冊(cè)的臉部。作為該臉部識(shí) 別方法，例如可以采用分別從將要相互比較的注冊(cè)臉部圖像和正規(guī)化 臉部圖像中提取特征量并且基于所提取的特征量來(lái)執(zhí)行臉部識(shí)別的臉 部識(shí)別方法。也就是說(shuō)，從注冊(cè)臉部圖像提取的特征量和從正規(guī)化臉 部圖像提取的特征量被相互比較以計(jì)算這些特征量之間的相似度。然 后，如果計(jì)算出的相似度超過(guò)了一個(gè)閾值，則正規(guī)化臉部圖像中包含 的臉部被確定為被注冊(cè)的臉部。另外，作為臉部識(shí)別方法，例如還可以采用基于使用要相互比較的注冊(cè)臉部圖像和正規(guī)化臉部圖像中的每 一個(gè)上的兩點(diǎn)之間的亮度值差等的弱鑒別器來(lái)執(zhí)行識(shí)別處理的識(shí)別方 法。臉部識(shí)別單元l卯代表在權(quán)利要求書中描述的識(shí)別單元的例子。
臉部識(shí)別結(jié)果輸出單元195輸出從臉部識(shí)別單元l卯輸出的臉部 識(shí)別結(jié)果。例如，當(dāng)從臉部識(shí)別單元190輸出的識(shí)別結(jié)果指示臉部檢 測(cè)單元120檢測(cè)出的臉部是被注冊(cè)的臉部時(shí)，臉部識(shí)別結(jié)果輸出單元 195顯示該結(jié)果。例如，臉部識(shí)別結(jié)果輸出單元195可以在顯示于顯 示單元(未示出)上的拍攝圖像上將特定標(biāo)記粘貼到已確定為被注冊(cè) 臉部的臉部上。另外，臉部識(shí)別結(jié)果輸出單元195可以在已確定為被 注冊(cè)臉部的臉部的附近粘貼相應(yīng)人的姓名。另外，臉部識(shí)別結(jié)果輸出 單元195可以基于已確定為被注冊(cè)臉部的臉部來(lái)更新圖像拍攝單元 112的圖像拍攝參數(shù)。
圖2A至3C是示出根據(jù)本發(fā)明 一個(gè)實(shí)施例當(dāng)正規(guī)化單元140正規(guī) 化臉部圖像時(shí)所發(fā)生的轉(zhuǎn)變的示意圖。圖2A和3A分別是示出從圖像 拍攝單元112輸出的拍攝圖像200和201的示意圖。圖2B和3B分別 是示出與臉部檢測(cè)單元120檢測(cè)出的臉部相對(duì)應(yīng)的臉部圖像203和 213的示意圖。圖2C和3C分別是示出當(dāng)正規(guī)化臉部圖像時(shí)使用的正 規(guī)化模板141以及正規(guī)化后的臉部圖像206和216的示意圖。正規(guī)化 模板141是保存在正規(guī)化單元140中的模板并且供正規(guī)化單元140執(zhí) 行正規(guī)化時(shí)使用。在正規(guī)化模板141中定義了各自用作在執(zhí)行正規(guī)化 時(shí)的基準(zhǔn)的基準(zhǔn)位置142和143。在圖2A至3C所示的例子中，將描 述這樣一種情況，其中對(duì)臉部圖像執(zhí)行諸如縮放處理和旋轉(zhuǎn)處理之類 的處理，從而使眼睛檢測(cè)單元130檢測(cè)出的臉部圖像中的眼睛的位置 與正規(guī)化模板141中的基準(zhǔn)位置142和143 —致。圖2A至2C所示的 例子涉及臉部檢測(cè)單元120檢測(cè)出的臉部202的朝向相對(duì)正面向前的 情況，而圖3A至3C所示的例子涉及臉部檢測(cè)單元120檢測(cè)出的臉部 212的朝向向右的情況。圖2A至2C所示的拍攝圖像200中所包含的 人201以及圖3A至3C所示的拍攝圖像210中所包含的人211假定是 同一人。如圖2A所示，例如，當(dāng)從圖像拍攝單元112輸出的拍攝圖像200 被輸入到臉部檢測(cè)單元120時(shí)，臉部檢測(cè)單元120檢測(cè)包含在拍攝圖 像200中的臉部202。當(dāng)從圖像拍攝單元112輸出的拍攝圖像200以 及從臉部檢測(cè)單元120輸出的臉部檢測(cè)結(jié)果被輸入到眼睛檢測(cè)單元 130時(shí)，眼睛檢測(cè)單元130檢測(cè)包含在拍攝圖像200中的臉部202的 眼睛。在圖2B中，臉部圖像203中包含的臉部202的眼睛的中心位 置凈皮表示為眼睛位置204和205。
正規(guī)化單元140對(duì)臉部圖像203執(zhí)行縮放處理、旋轉(zhuǎn)處理等等， 從而使檢測(cè)出的眼睛位置204和205與圖2C所示的正規(guī)化模板141 中的基準(zhǔn)位置142和143—致。例如，對(duì)臉部圖像203執(zhí)行旋轉(zhuǎn)處理， 并且生成作為已被正規(guī)化的臉部圖像的正規(guī)化臉部圖像206。如圖2C 所示，在正規(guī)化臉部圖像206中，臉部202的眼睛位置204和205與 正規(guī)化模板141中的基準(zhǔn)位置142和143 —致。
同樣，在圖3A至3C所示的情況中，與圖2A至2C的情況一樣， 對(duì)臉部圖像213執(zhí)行例如縮放處理、旋轉(zhuǎn)處理等等，從而使臉部212 的眼睛位置214和215與圖3C所示的正規(guī)化模板141中的基準(zhǔn)位置 142和143 —致。例如，對(duì)臉部圖像213執(zhí)行縮放處理和旋轉(zhuǎn)處理， 并且生成正規(guī)化臉部圖像216。
如圖2C和3C所示，即使在同一人的臉部的情況下，正規(guī)化臉部 圖像也可能根據(jù)在圖像拍攝時(shí)臉部的朝向而極大地不同。因而，例如， 可想到這樣的情況，其中當(dāng)利用圖2C所示的正規(guī)化臉部圖像206執(zhí) 行臉部識(shí)別時(shí)和當(dāng)利用圖3C所示的正規(guī)化臉部圖像216執(zhí)行臉部識(shí) 別時(shí)，兩者之間的臉部識(shí)別結(jié)果不同。也就是說(shuō)，存在這樣的風(fēng)險(xiǎn) 即使在同 一人的情況下，臉部的準(zhǔn)確識(shí)別也可能因臉部的朝向而變得 困難。因此，在本發(fā)明的實(shí)施例中，基于臉部檢測(cè)單元120檢測(cè)出的 臉部的朝向，注冊(cè)臉部圖像被變換以生成核對(duì)臉部圖像，并且利用該 核對(duì)臉部圖像執(zhí)行臉部識(shí)別。
接下來(lái)，將參考附圖詳細(xì)描述臉部朝向確定。
圖4A和4B是分別示意性地示出根據(jù)本發(fā)明 一 個(gè)實(shí)施例由臉部朝 向確定單元150進(jìn)行臉部朝向確定的臉部圖像的示意圖。圖4A中所 示的正規(guī)化臉部圖像206與圖2C中所示的正規(guī)化臉部圖像206相同，并且圖4B中所示的正規(guī)化臉部圖像216與圖3C中所示的正規(guī)化臉部 圖像216相同。當(dāng)將正面臉部和向右臉部相互比較時(shí)， 一般而言，諸 如右側(cè)臉頰的面積減小之類的特征經(jīng)常出現(xiàn)在向右臉部中。因此，對(duì)
在臉部朝向確定參考數(shù)據(jù)保存單元151中，并且該臉部朝向確定參考 數(shù)據(jù)被用于臉部朝向確定。利用該臉部朝向確定參考數(shù)據(jù)的臉部朝向 確定方法將在后面參考圖5A至6E詳細(xì)描述。另外，圖4B中所示的 位置221至226將在后面參考圖5A和5B詳細(xì)描述。
圖5A和5B是根據(jù)本發(fā)明的一個(gè)實(shí)施例分別示出臉部朝向確定參 考數(shù)據(jù)保存單元151的內(nèi)容以及用于臉部朝向確定單元150的臉部朝 向確定的累積結(jié)果值的范圍的示意圖。也就是說(shuō)，圖5A示出了保存 在臉部朝向確定參考數(shù)據(jù)保存單元151中的臉部朝向確定參考數(shù)據(jù)的 結(jié)構(gòu)例子，圖5B示出了與利用臉部朝向確定參考數(shù)據(jù)計(jì)算出的臉部 朝向有關(guān)的累積結(jié)果值的范圍。在本發(fā)明的實(shí)施例中，所描述的是利 用基于像素差的相關(guān)確定方法進(jìn)行臉部朝向確定的例子。
保存在臉部朝向確定參考數(shù)據(jù)保存單元151中的臉部朝向確定參 考數(shù)據(jù)包括正規(guī)化臉部圖像的坐標(biāo)O (x，y) 152和正規(guī)化臉部圖像的 坐標(biāo)l (x，y) 153、閾值(m) 154以及參考數(shù)據(jù)的權(quán)重(r) 155。坐 標(biāo)0(x，y) 152和坐標(biāo)1 (x，y) 153是指示正規(guī)化臉部圖像中兩點(diǎn)的 位置的坐標(biāo)。閾值(m) 154是與坐標(biāo)0和坐標(biāo)1之間的電平差(亮 度差)有關(guān)的閾值。另外，參考數(shù)據(jù)的權(quán)重(r) 155是基于坐標(biāo)0和 坐標(biāo)1之間的電平差(亮度差)與閾值(m)之間的比較結(jié)果而添加 的權(quán)重系數(shù)。臉部朝向確定參考數(shù)據(jù)保存單元151存儲(chǔ)了 ii條參考數(shù) 據(jù)，每條參考數(shù)據(jù)由這些值的組合構(gòu)成。在本發(fā)明的實(shí)施例中所示的 參考數(shù)據(jù)被稱為弱鑒別器(弱假設(shè))。
在由諸如AdaBoost之類的機(jī)器學(xué)習(xí)算法學(xué)習(xí)得到的這些組合中， 構(gòu)成臉部朝向確定參考數(shù)據(jù)的值是利用例如最上面的300至1000個(gè)最 有效的組合來(lái)設(shè)置的。
接下來(lái)，參考附圖，將詳細(xì)描述這樣一個(gè)例子，其中利用臉部朝 向確定參考數(shù)據(jù)對(duì)正規(guī)化臉部圖像進(jìn)行臉部朝向確定。在該例子中， 圖4B中所示的正規(guī)化臉部圖像216的左上角被取作原點(diǎn)，水平軸被取作x軸，垂直軸被取作y軸。另外，將描述這樣一種情況，其中利 用保存在臉部朝向確定參考數(shù)據(jù)保存單元151中的臉部朝向確定參考 數(shù)據(jù)對(duì)正規(guī)化臉部圖像216執(zhí)行臉部確定處理。
例如，正規(guī)化臉部圖像216中與存儲(chǔ)在臉部朝向確定參考數(shù)據(jù)的 第一行(參考數(shù)據(jù)0)上的坐標(biāo)0 (x， y) 152的值相對(duì)應(yīng)的位置被定 義為位置221，并且正規(guī)化臉部圖像216中與坐標(biāo)1 (x， y) 153的值 相對(duì)應(yīng)的位置被定義為位置222。另外，正規(guī)化臉部圖像216中與存 儲(chǔ)在臉部朝向確定參考數(shù)據(jù)的第二行(參考數(shù)據(jù)1)上的坐標(biāo)0 ( x， y) 152的值相對(duì)應(yīng)的位置被定義為位置223，并且正規(guī)化臉部圖像216 中與坐標(biāo)l (x， y) 153的值相對(duì)應(yīng)的位置被定義為位置224。另外， 正規(guī)化臉部圖像216中與存儲(chǔ)在臉部朝向確定參考數(shù)據(jù)的第三行(參 考數(shù)據(jù)2)上的坐標(biāo)0(x，y)152的值相對(duì)應(yīng)的位置被定義為位置225, 并且正規(guī)化臉部圖像216中與坐標(biāo)1 (x，y) 153的值相對(duì)應(yīng)的位置被 定義為位置226。
首先，用于執(zhí)行確定的分?jǐn)?shù)S的值祐^殳為0，并且利用臉部朝向 確定參考數(shù)據(jù)的參考數(shù)據(jù)O中所包含的值執(zhí)行計(jì)算。具體而言，提取 在與臉部朝向確定參考數(shù)據(jù)的參考數(shù)據(jù)0中所包含的坐標(biāo)0(x，y)152 的值相對(duì)應(yīng)的位置221處的亮度值A(chǔ) (0)，以及在與坐標(biāo)l (x， y) 153的值相對(duì)應(yīng)的位置222處的亮度值B (0)。然后，利用下面的方 程計(jì)算各個(gè)所提取的亮度值之差C (o)。
C (0) = A (0) — B (0)
隨后，通過(guò)將各亮度之差的計(jì)算值c(o)與臉部朝向確定參考數(shù)
據(jù)的參考數(shù)據(jù)0中所包含的閾值(m) 154的值進(jìn)行比較，來(lái)確定計(jì) 算值C (0)是否大于閾值(m) 154。如果計(jì)算值C (0)等于或小于 閾值(m) 154的值，則臉部朝向確定參考數(shù)據(jù)的參考數(shù)據(jù)0中所包 含的權(quán)重(r)155的值被添加到分?jǐn)?shù)S。另一方面，如果計(jì)算值C(O) 大于閾值(m) 154的值，則臉部朝向確定參考數(shù)據(jù)的參考數(shù)據(jù)0中 所包含的權(quán)重(r) 155的值不被添加到分?jǐn)?shù)S。
隨后，利用臉部朝向確定參考數(shù)據(jù)的參考數(shù)據(jù)1中所包含的值來(lái)重復(fù)上述計(jì)算。具體而言，提取在與臉部朝向確定參考數(shù)據(jù)的參考數(shù)
據(jù)l中所包含的坐標(biāo)0 (x，y) 152的值相對(duì)應(yīng)的位置223處的亮度值 A (1)，以及在與坐標(biāo)l (x，y) 153的值相對(duì)應(yīng)的位置224處的亮度 值B( 1 )。然后，利用下面的方程計(jì)算各個(gè)所提取的亮度值之差C( 1 )。 C (1) - A (1) - B (1)
隨后，通過(guò)將各亮度之差的計(jì)算值C(l)與臉部朝向確定參考數(shù) 據(jù)的參考數(shù)據(jù)1中所包含的閾值(m) 154的值進(jìn)行比較，來(lái)確定計(jì) 算值C (1)是否大于閾值(m) 154。如果計(jì)算值C (1)等于或小于 閾值(m) 154的值，則臉部朝向確定參考數(shù)據(jù)的參考數(shù)據(jù)1中所包 含的權(quán)重(r) 155的值被添加到分?jǐn)?shù)S。另一方面，如果計(jì)算值C(l) 大于閾值(m) 154的值，則臉部朝向確定參考數(shù)據(jù)的參考數(shù)據(jù)1中 所包含的;K重(r) 155的值不^f皮添加到分?jǐn)?shù)S。
隨后，從臉部朝向確定參考數(shù)據(jù)的參考數(shù)據(jù)3向前，順序地利用 直到參考數(shù)據(jù)n-l為止的值來(lái)重復(fù)上述計(jì)算。
也就是說(shuō)，當(dāng)對(duì)正規(guī)化臉部圖像216利用臉部朝向確定參考數(shù)據(jù) 執(zhí)行確定處理時(shí)，通過(guò)順序地使用臉部朝向確定參考數(shù)據(jù)的參考數(shù)據(jù) 0至n-l中所包含的值，利用方程(A)來(lái)計(jì)算C(i)。然后，確定C(i) 的計(jì)算值是否滿足方程(B)。這里，變量i是整數(shù)，并且是從0至 n-l的值。
C(i)- A(i)- B(i) …(A)
C(i)>m(i) …(B)
如果C(i)的計(jì)算值滿足方程(B)，則r(i)的值不被添加到分?jǐn)?shù)S， 并且如果C(i)的計(jì)算值不滿足方程(B )，則r(i)的值被添加到分?jǐn)?shù)S。 這里，與參考數(shù)據(jù)i中包含的坐標(biāo)O(x,y) 152相對(duì)應(yīng)的亮度值由A(i) 表示，并且與參考數(shù)據(jù)i中包含的坐標(biāo)1 (x， y) 153相對(duì)應(yīng)的亮度值 由B(i)表示。另夕卜，參考數(shù)據(jù)i中包含的閾值(m)154的值由m(i)表 示，并且參考數(shù)據(jù)i中包含的權(quán)重(r) 155的值由r(i)表示。
然后，在利用臉部朝向確定參考數(shù)據(jù)的參考數(shù)據(jù)0至n-l中所包 含的值完成計(jì)算之后，基于分?jǐn)?shù)S的值來(lái)確定各個(gè)屬性作為累積結(jié)果值。
這里，在利用臉部朝向確定參考數(shù)據(jù)的參考數(shù)據(jù)0至n-l中所包 含的值完成計(jì)算之后所獲得的分?jǐn)?shù)Sn (P)可以由下面的方程(C)表 示。
n— 1
Sn(P)= H r i h(P(xi0， yi0) —P(Xil， yil)—mi)…(C) i =0
這里，Sn (P)表示參考數(shù)據(jù)O至n-l的累積結(jié)果值，ri表示參考 數(shù)據(jù)i中包含的權(quán)重(r) 155的值，并且P (xiQ，yi。)表示與參考數(shù)據(jù) i中包含的坐標(biāo)0 (x, y) 152相對(duì)應(yīng)的亮度值。另外，P(Xil， yu)表 示與參考數(shù)據(jù)i中包含的坐標(biāo)l (x，y) 153相對(duì)應(yīng)的亮度值，mi表示 參考數(shù)據(jù)i中包含的閾值(m)154的值，并且n表示參考數(shù)據(jù)的條數(shù)。 另外，h(z)表示當(dāng)z>0時(shí)變?yōu)?0"而當(dāng)z《0時(shí)變?yōu)?l，，的函數(shù)。
接下來(lái)，參考圖5B，將詳細(xì)描述基于利用臉部朝向確定參考數(shù)據(jù) 的參考數(shù)據(jù)0至n-l中所包含的值計(jì)算出的累積結(jié)果值來(lái)確定臉部屬 性的確定方法。與圖5B中所示的臉部朝向有關(guān)的累積結(jié)果值的范圍 被設(shè)置為例如-1000到+1000的范圍。本發(fā)明的實(shí)施例涉及臉部朝向確 定單元150確定包括"向右"、"正面"和"向左，，在內(nèi)的三種臉部朝向的 例子，
例如，假定基于上述機(jī)器學(xué)習(xí)算法執(zhí)行學(xué)習(xí)，其中在學(xué)習(xí)時(shí)向右 朝向的學(xué)習(xí)樣本取在正側(cè)上，而向左朝向的學(xué)習(xí)樣本取在負(fù)側(cè)上。在 以這種方式執(zhí)行學(xué)習(xí)的情況下，當(dāng)確定臉部朝向時(shí)，利用圖5B中所 示的閾值156和157來(lái)確定"向右"、"正面，，或"向左"。
例如，在與圖5B中所示的臉部朝向有關(guān)的累積結(jié)果值的范圍中， 如果作為利用臉部朝向確定參考數(shù)據(jù)的參考數(shù)據(jù)0至n-l中所包含的 值計(jì)算出的累積結(jié)果值的分?jǐn)?shù)SnP小于閾值156,則臉部朝向被確定 為"向左"。另一方面，如果分?jǐn)?shù)SnP大于閾值157，則臉部朝向被確 定為"向右"。如果SnP落在閾值156和閾值157之間，則臉部朝向被 確定為既不是"向右"也不是"向左"，而是被確定為"正面"。這些確定 結(jié)果被從臉部朝向確定單元150輸出到圖# 變換單元180。圖6A至6E是示出根據(jù)本發(fā)明一個(gè)實(shí)施例臉部朝向確定單元150 的臉部朝向確定結(jié)果的例子的示意圖。圖6A至6E中所示的臉部231 至235是輸入到臉部朝向確定單元150的正規(guī)化臉部圖像中所包含的 臉部。圖6A和6B中所示的臉部231和232是相對(duì)于前方面向右側(cè)的 臉部。因而，臉部231和232被臉部朝向確定單元150確定為向右。 另一方面，圖6D和6E中所示的臉部234和235是相對(duì)于前方面向左 側(cè)的臉部。因而，臉部234和235被臉部朝向確定單元150確定為向 左。另外，圖6C中所示的臉部233是臉朝正面的臉部。因而，臉部 233被臉部朝向確定單元150確定為"正面"。
圖7是示意性地示出根據(jù)本發(fā)明 一 個(gè)實(shí)施例存儲(chǔ)在注冊(cè)臉部圖像 存儲(chǔ)單元160中的注冊(cè)臉部圖像的示意圖。這里，存儲(chǔ)在注冊(cè)臉部圖 像存儲(chǔ)單元160中的注冊(cè)臉部圖像161至163分別表示用于對(duì)已被正 規(guī)化單元140正規(guī)化的正規(guī)化臉部圖像執(zhí)行臉部識(shí)別單元190的臉部 識(shí)別處理的確定數(shù)據(jù)。根據(jù)本發(fā)明的實(shí)施例，由圖像變換單元180基 于臉部朝向確定單元150的確定結(jié)果對(duì)注冊(cè)臉部圖像161至163進(jìn)行 變換得到的核對(duì)臉部圖像也被用作確定數(shù)據(jù)。圖7示出了與三個(gè)人的 臉部相對(duì)應(yīng)的注冊(cè)臉部圖像161至163被存儲(chǔ)在注冊(cè)臉部圖像存儲(chǔ)單 元160中的例子。這里，存儲(chǔ)在注冊(cè)臉部圖像存儲(chǔ)單元160中的注冊(cè) 臉部圖像161至163假定是已被正規(guī)化的正規(guī)化臉部圖像，從而使眼 睛的位置與圖2C和3C所示的正規(guī)化模板141中的基準(zhǔn)位置142和 143 —致。
如圖7所示，在注冊(cè)臉部圖像存儲(chǔ)單元160中，用于標(biāo)識(shí)注冊(cè)臉 部圖像的標(biāo)識(shí)號(hào)和姓名與各個(gè)注冊(cè)臉部圖像相關(guān)聯(lián)地被存儲(chǔ)。例如， "001"、 "002"和"003"被分配為注冊(cè)臉部圖像161至163的標(biāo)識(shí)號(hào)，并 且"Ichiro Koda"、 "Hanako Koda，，和"Misaki Otoyama"皮存儲(chǔ)為與注 冊(cè)臉部圖像161至163相關(guān)聯(lián)的姓名。注冊(cè)臉部圖像161中包含的臉 部(標(biāo)識(shí)號(hào)"001"、姓名"Ichiro Koda")假定是與圖2A至3C中所示 的臉部202和212同一人的臉部。
圖8A至8D是分別示意性地示出根據(jù)本發(fā)明 一個(gè)實(shí)施 存儲(chǔ)在三 維模型存儲(chǔ)單元170中的三維模型300的示意圖。圖8A示出了從前 方看的三維模型300，圖8B示出了從右側(cè)看的三維模型300，圖8C示出了從左側(cè)看的三維模型300，圖8D示出了從上方看的三維模型 300。
三維模型300是具有這樣一種形狀的三維CG (計(jì)算機(jī)圖形)模 型，該形狀是通過(guò)沿著作為連接矩形的頂部和底部的相應(yīng)中點(diǎn)之間的 直線的彎折線將矩形的一半向后彎折而獲得的。另外，如圖8D所示， 三維模型300的形狀使得左半矩形和右半矩形中的每一個(gè)相對(duì)于彎折 之前的狀態(tài)彎折了角度oc。這里，角度a可以設(shè)置為例如10到20度。
圖9是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的變換數(shù)據(jù)存儲(chǔ)單元181的內(nèi) 容的示意圖。變換數(shù)據(jù)存儲(chǔ)單元181存儲(chǔ)了偏轉(zhuǎn)旋轉(zhuǎn)角(e) 184、滾 動(dòng)旋轉(zhuǎn)角(()))185、沿x軸的平移距離(Tx) 186、沿y軸的平移距 離(Ty) 187、以及沿z軸的平移距離(Tz) 188。這些值與向左182 和向右183相關(guān)聯(lián)地被存儲(chǔ)。應(yīng)當(dāng)注意，這些值表示為了使核對(duì)臉部 圖像(該圖像是在圖像變換單元180旋轉(zhuǎn)并且平移了三維模型之后生 成的)中所包含的臉部的眼睛的位置與注冊(cè)臉部圖像中包含的臉部的
眼睛的位置一致所用的變換數(shù)據(jù)。在圖9中，對(duì)除了偏轉(zhuǎn)旋轉(zhuǎn)角(e)
184以外的值的描述凈皮省略。
偏轉(zhuǎn)旋轉(zhuǎn)角(e) 184是表示用于執(zhí)行在表面上投影有注冊(cè)臉部圖 像的三維模型300的偏轉(zhuǎn)旋轉(zhuǎn)的角度。滾動(dòng)旋轉(zhuǎn)角(c())185是表示用 于執(zhí)行在表面上投影有注冊(cè)臉部圖像的三維模型300的滾動(dòng)旋轉(zhuǎn)的角
度。盡管該例子涉及e = -30或30的情況，^f旦是也可以設(shè)定例如e = -30
至-20或者20至30。
沿x軸的平移距離(Tx) 186是表示用于執(zhí)行在表面上投影有注 冊(cè)臉部圖像的三維模型300的沿x軸方向的平行移動(dòng)的距離的值。沿 y軸的平移距離(Ty) 187是表示用于執(zhí)行在表面上投影有注冊(cè)臉部 圖像的三維模型300的沿y軸方向的平行移動(dòng)的距離的值。沿z軸的 平移距離(Tz) 188是表示用于執(zhí)行在表面上投影有注冊(cè)臉部圖像的 三維模型300的沿z軸方向的平行移動(dòng)的距離的值。
這里，當(dāng)臉部朝向被臉部朝向確定單元150確定為"向左"或"向 右，，時(shí)，圖像變換單元180利用與所確定的臉部朝向(向左182或向右 183)相關(guān)聯(lián)地存儲(chǔ)的值對(duì)三維模型300執(zhí)行旋轉(zhuǎn)和平移。這種旋轉(zhuǎn)和 平移將在后面參考圖11A至11C詳細(xì)描述。圖10A至12是示意性地示出根據(jù)本發(fā)明一個(gè)實(shí)施例當(dāng)一個(gè)注冊(cè) 臉部圖像被圖像變換單元180變換時(shí)所發(fā)生的轉(zhuǎn)變的示意圖。也就是 說(shuō)，圖IOA至12示出了在圖10A所示的注冊(cè)臉部圖像161上的坐標(biāo) gl (x，y)被變換為圖12所示的核對(duì)臉部圖像340上的坐標(biāo)g4 ( u， v ) 的情況下的轉(zhuǎn)變。圖IOA至12中所示的轉(zhuǎn)變將在后面參考圖13A和 方程(1)詳細(xì)描述。
<formula>formula see original document page 26</formula><formula>formula see original document page 27</formula>
方程(1)表示用于將圖10A所示的注冊(cè)臉部圖像161上的坐標(biāo) gl (x， y)變換為圖12所示的核對(duì)臉部圖像340上的坐標(biāo)g4 ( u， v)
的行列式。
圖13A和13B是示意性地示出根據(jù)本發(fā)明一個(gè)實(shí)施例在一個(gè)注 冊(cè)臉部圖像被圖像變換單元180變換的情況下三維模型300和圖像投 影平面350之間的關(guān)系的示意圖。
圖10A示出了存儲(chǔ)在注冊(cè)臉部圖像存儲(chǔ)單元160中的注冊(cè)臉部圖 像161。由于存儲(chǔ)在注冊(cè)臉部圖像存儲(chǔ)單元160中的注冊(cè)臉部圖像162 和163的變換與注冊(cè)臉部圖像161的變換相同，因此在這里省略其描 述。在該例子中，所描述的是這樣一種情況，其中，如圖10A所示， 注冊(cè)臉部圖像161被變換，其中注冊(cè)臉部圖像161的左上角被取作原 點(diǎn)Ol，水平軸,皮取作x軸，垂直軸^皮取作y軸。
圖10B示出了注冊(cè)臉部圖像161被投影到存儲(chǔ)在三維模型存儲(chǔ)單 元170中的三維模型300的表面上的情況。為了簡(jiǎn)化描述，圖10A至 12示出了從左邊沿對(duì)角看的三維模型300。如圖10B所示，注冊(cè)臉部 圖像161被投影到三維模型300的表面上，該投影方式使得注冊(cè)臉部 圖像161的四個(gè)角311至314的坐標(biāo)被變換為三維模型300的四個(gè)角 321至324的坐標(biāo)。另外，注冊(cè)臉部圖像161被投影到三維模型300的表面上，該投影方式使得注冊(cè)臉部圖像161的頂部的中點(diǎn)315和底 部的中點(diǎn)316被變換為三維模型300的彎折線的頂點(diǎn)325和326。通 過(guò)該投影，如圖10B所示，注冊(cè)臉部圖像161被貼覆到三維模型300 的表面上。在下面的描述中，在表面上貼覆有注冊(cè)臉部圖像161的三 維模型300將被稱為注冊(cè)臉部圖像三維模型330。
這里，在方程(l)的左側(cè)的矩陣(xy 1 1)是與注冊(cè)臉部圖像161 的坐標(biāo)gl (x， y)相對(duì)應(yīng)的矩陣，并且右側(cè)的矩陣(u v 1 1)是與核 對(duì)臉部圖像340的坐標(biāo)g4 (u， v)相對(duì)應(yīng)的矩陣。右側(cè)的矩陣F是用 于將貼覆在三維模型300上的圖像投影到一個(gè)平面上以生成二維圖像 并且改變?cè)摱S圖像中的坐標(biāo)的原點(diǎn)的矩陣。也就是說(shuō)，如圖10A所 示，利用矩陣F的逆矩陣F"，在注冊(cè)臉部圖像161的左上角處的原點(diǎn) Ol可以變?yōu)樽?cè)臉部圖像161的中心位置02。然后，如圖10B所示， 注冊(cè)臉部圖像161可以被投影到三維模型300的表面上。
圖11A示出了從左邊沿對(duì)角看的在表面上貼覆有注冊(cè)臉部圖像 161的注冊(cè)臉部圖像三維模型330。圖11B示出了從頂部看的在表面 上貼覆有注冊(cè)臉部圖像161的注冊(cè)臉部圖像三維模型330。在該例子 中，如圖11A和11B所示，在注冊(cè)臉部圖像三維模型330的彎折線上 的中點(diǎn)被取作原點(diǎn)03，沿水平方向的軸被定義為x軸，沿垂直方向的 軸被定義為y軸，并且與x軸和y軸正交的軸被定義為z軸。將描述 注冊(cè)臉部圖像三維模型330被旋轉(zhuǎn)和平移的情況。在該例子中，所描 述的是臉部朝向被臉部朝向確定單元150確定為"向右"的情況。
圖11C示出了注冊(cè)臉部圖像三維模型330被旋轉(zhuǎn)和平移的情況。 這里，方程(1)中的矩陣G是用于在三維空間中執(zhí)行三維模型300 的偏轉(zhuǎn)旋轉(zhuǎn)的矩陣。基于矩陣G的偏轉(zhuǎn)旋轉(zhuǎn)角度是e。方程(l)中的 矩陣H是用于在三維空間中執(zhí)行三維模型300的滾動(dòng)旋轉(zhuǎn)的矩陣?；?于矩陣H的滾動(dòng)旋轉(zhuǎn)角度是小。矩陣I是用于在三維空間中執(zhí)行三維 模型300的平移的矩陣?；诰仃嘔的沿x軸方向的平移距離是Tx， 沿y軸方向的平移距離是Ty，沿z軸方向的平移距離是Tz。利用矩 陣G至I的逆矩陣G"、 H"和r1，可以執(zhí)行注冊(cè)臉部圖像三維模型330的旋轉(zhuǎn)和平移。角度0和(j)以及平移距離Tx、 Ty和Tz是根據(jù)由臉 部朝向確定單元150確定的臉部朝向而確定的值，并且被存儲(chǔ)在如圖 9所示的變換數(shù)據(jù)存儲(chǔ)單元181中。存儲(chǔ)在變換數(shù)據(jù)存儲(chǔ)單元181中 的值是用于將二維圖像(圖12中所示的核對(duì)臉部圖像340)變換為正 規(guī)化圖像的值，該二維圖像是在執(zhí)行了注冊(cè)臉部圖像三維模型330的 旋轉(zhuǎn)和平移之后所獲得的。
圖13A和13B示意性地示出了這樣一種情況，其中已利用逆矩陣 G"、 H"和I"進(jìn)行變換的貼覆在注冊(cè)臉部圖像三維模型330的表面上 的注冊(cè)臉部圖像被投影到一個(gè)平面上以生成二維圖像(圖12中所示的 核對(duì)臉部圖像340)。圖13A示出了從y軸方向看的注冊(cè)臉部圖^f象三 維模型330和用于生成二維圖像的圖像投影平面350之間的關(guān)系。圖 13B示出了從x軸方向看的注冊(cè)臉部圖像三維模型330和圖像投影平 面350之間的關(guān)系。如圖13A和13B所示，貼覆在注冊(cè)臉部圖像三維 模型330的表面上的注冊(cè)臉部圖像被投影到圖像投影平面350上，該 投影方式使得貼覆在注冊(cè)臉部圖像三維模型330的表面上的注冊(cè)臉部 圖像會(huì)聚到參考點(diǎn)(光學(xué)中心)Kl。以這種方式，生成投影在圖像投 影平面350上的圖像作為核對(duì)臉部圖像340。
這里，令距離Zc是從參考點(diǎn)Kl到注冊(cè)臉部圖像三維模型330的 原點(diǎn)03的距離，令距離f是從參考點(diǎn)Kl到圖像投影平面350的距離。 距離f可以被設(shè)定為例如與在注冊(cè)臉部圖像三維模型330的左端和右 端的一側(cè)的長(zhǎng)度相同。使用距離Zc和f的矩陣J是用于利用三角相似 將圖像投影到三維模型300的表面上的矩陣。另外，如圖12所示，利 用矩陣J的逆矩陣J"，貼覆在注冊(cè)臉部圖像三維模型330的表面上的 注冊(cè)臉部圖像可以被投影到圖像投影平面350上以生成核對(duì)臉部圖像 340。矩陣K是用于改變二維圖像中坐標(biāo)的原點(diǎn)的矩陣。也就是說(shuō)， 利用矩陣K的逆矩陣K"，如圖12所示，位于核對(duì)臉部圖像340的中 心位置處的原點(diǎn)05可以凈皮改變?yōu)楹藢?duì)臉部圖<象340的左上角06。
圖14A和14B是示出根據(jù)本發(fā)明一個(gè)實(shí)施例當(dāng)注冊(cè)臉部圖像161 被圖像變換單元180變換為核對(duì)臉部圖像340時(shí)所發(fā)生的轉(zhuǎn)變的示意圖。圖14A示出了變換之前的注冊(cè)臉部圖像161，圖14B示出了變換 之后的核對(duì)臉部圖像340。如上所述，注冊(cè)臉部圖像161是包含正面 臉部241的圖像，并且是已基于正面臉部241的眼睛的位置242和243 正規(guī)化的圖像。相反地，核對(duì)臉部圖像340是包含臉部341的圖《象， 臉部341通過(guò)圖像變換單元180的圖像變換已看起來(lái)向右，并且核對(duì) 臉部圖像340是已基于臉部341的眼睛的位置342和343正規(guī)化的圖 像。也就是說(shuō)，注冊(cè)臉部圖像161中眼睛的位置242和243與核對(duì)臉 部圖像340中眼睛的位置342和343是相同的。
圖15A和15B是示出根據(jù)本發(fā)明一個(gè)實(shí)施例被臉部識(shí)別單元190 比較的核對(duì)臉部圖像和正規(guī)化臉部圖像以及注冊(cè)臉部圖像和正規(guī)化臉 部圖像的示意圖。圖15A和15B中所示的正規(guī)化臉部圖像216與圖 3C中所示的正規(guī)化臉部圖像216相同。圖15A中所示的核對(duì)臉部圖 像340與圖14B中所示的核對(duì)臉部圖像340相同，并且是圖像變換單 元180基于由臉部朝向確定單元150確定的臉部朝向而生成的圖^f象。 另一方面，圖15B中所示的注冊(cè)臉部圖像161與存儲(chǔ)在圖7所示的注 冊(cè)臉部圖像存儲(chǔ)單元160中的注冊(cè)臉部圖像161相同，并且是還未基 于由臉部朝向確定單元150確定的臉部朝向進(jìn)行變換的圖像。
如圖15A所示，當(dāng)基于由臉部朝向確定單元150確定的臉部朝向 而生成的核對(duì)臉部圖像340與正規(guī)化臉部圖像216進(jìn)行比較時(shí)，這兩 個(gè)臉部是相對(duì)類似的。因而，可以增強(qiáng)臉部識(shí)別單元190的臉部識(shí)別 的準(zhǔn)確性。另一方面，如圖15B所示，當(dāng)還未變換的注冊(cè)臉部圖像161 與正規(guī)化臉部圖像216進(jìn)行比較時(shí)，由于這些圖像分別包含正面臉部 和向右臉部，因此在各個(gè)圖像上臉部的各個(gè)部分是不相類似的，即使 這些臉部屬于同一人。因而，相比于圖15A中所示的情況，難以增強(qiáng) 臉部識(shí)別單元l卯的臉部識(shí)別的準(zhǔn)確性。
接下來(lái)，將參考附圖描述根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像處理裝置 IOO的操作。
圖16是示出根據(jù)本發(fā)明一個(gè)實(shí)施例由圖像處理裝置100執(zhí)行的臉 部識(shí)別處理的處理步驟的流程圖。
30首先，圖像拍攝單元112生成拍攝圖像(步驟S901)。隨后，臉 部檢測(cè)單元120對(duì)生成的拍攝圖像執(zhí)行臉部檢測(cè)處理(步驟S902 )。 通過(guò)該臉部檢測(cè)處理，確定是否檢測(cè)到臉部(步驟S903)，并且如果 未檢測(cè)到臉部，則臉部識(shí)別處理的操作結(jié)束。另一方面，如果檢測(cè)到 臉部(步驟S903 )，則眼睛檢測(cè)單元130對(duì)臉部檢測(cè)單元120檢測(cè)出 的臉部執(zhí)行眼睛檢測(cè)處理(步驟S904 )。
隨后，正規(guī)化單元140通過(guò)調(diào)節(jié)包含臉部檢測(cè)單元120檢測(cè)出的 臉部的臉部圖像來(lái)執(zhí)行正規(guī)化，從而使眼睛的位置與正規(guī)化模板141 的基準(zhǔn)位置142和143—致(步驟S905)。隨后，臉部朝向確定單元 150對(duì)作為已被正規(guī)化的臉部圖像的正規(guī)化臉部圖像執(zhí)行臉部朝向確 定處理(步驟S920)。該臉部朝向確定處理將在后面參考圖17詳細(xì) 描述。
隨后，圖像變換單元180確定由臉部朝向確定單元150確定的臉 部朝向是否為正面的(步驟S906)。如果由臉部朝向確定單元150確 定的臉部朝向不是正面的(步驟S906)，則圖像變換單元180將存儲(chǔ) 在注冊(cè)臉部圖像存儲(chǔ)單元160中的注冊(cè)臉部圖像投影到三維模型上 (步驟S907)。隨后，圖像變換單元180利用與臉部朝向確定單元150 所確定的臉部朝向相關(guān)聯(lián)地存儲(chǔ)在變換數(shù)據(jù)存儲(chǔ)單元181中的變換數(shù) 據(jù)來(lái)旋轉(zhuǎn)并平移其上貼覆有注冊(cè)臉部圖像的三雉模型300 (步驟 S908)。隨后，貼覆在已旋轉(zhuǎn)和平移的三維模型300上的注冊(cè)臉部圖 像被投影到一個(gè)平面上以生成二維圖像(核對(duì)臉部圖像)(步驟S909 )。
隨后，臉部識(shí)別單元190將由圖像變換單元180生成的二維圖像 與由正規(guī)化單元140生成的正規(guī)化臉部圖像進(jìn)行比較，以確定該正規(guī) 化臉部圖像中的臉部是否是與注冊(cè)臉部圖像中的臉部同 一人的臉部 (步驟S910 )。也就是說(shuō)，對(duì)臉部檢測(cè)單元120檢測(cè)出的臉部執(zhí)行臉 部識(shí)別處理。在多個(gè)注冊(cè)臉部圖像被存儲(chǔ)在注冊(cè)臉部圖像存儲(chǔ)單元 160中的情況下，針對(duì)各個(gè)注冊(cè)臉部圖像生成二維圖像，并且對(duì)每個(gè) 二維圖像執(zhí)行臉部識(shí)別處理。
如果由臉部朝向確定單元150確定的臉部朝向是正面的(步驟S906)，則臉部識(shí)別單元190將存儲(chǔ)在注冊(cè)臉部圖像存儲(chǔ)單元160中 的注冊(cè)臉部圖像與由正規(guī)化單元140生成的正規(guī)化臉部圖像進(jìn)行比 較。然后，臉部識(shí)別單元190確定該正規(guī)化臉部圖像中的臉部是否為 與注冊(cè)臉部圖像中的臉部同一人的臉部(步驟S910)。在多個(gè)注冊(cè)臉 部圖像被存儲(chǔ)在注冊(cè)臉部圖像存儲(chǔ)單元160中的情況下，針對(duì)每個(gè)注 冊(cè)臉部圖像執(zhí)行臉部識(shí)別處理。
圖17是示出根據(jù)本發(fā)明一個(gè)實(shí)施例由圖像處理裝置100執(zhí)行的臉 部朝向確定處理的處理步驟的流程圖。該臉部朝向確定處理是與圖16 的步驟S920中的臉部朝向確定處理相對(duì)應(yīng)的處理。
首先，分?jǐn)?shù)S被初始化為"O"(步驟S921),并且變量i被初始 化為"O"(步驟S922)。隨后，從提取自正規(guī)化臉部圖像的亮度值中， 獲取與臉部朝向確定參考數(shù)據(jù)保存單元151中的參考數(shù)據(jù)i的坐標(biāo)0 (x，y) 152相對(duì)應(yīng)的亮度值A(chǔ)(i)，以及與坐標(biāo)l ( x， y ) 153相對(duì)應(yīng)的 亮度值B(i)(步驟S923 )。隨后，利用下面的方程計(jì)算各個(gè)獲取的亮 度值之間的差C(i)(步驟S924 )。
C(i)- A(i)- B(i)
隨后，將各亮度之差的計(jì)算值C(i)與臉部朝向確定參考數(shù)據(jù)保存 單元151中的參考數(shù)據(jù)i中所包含的閾值(m) 154的值進(jìn)行比較，以 確定計(jì)算值C(i)是否大于閾值(m) 154的值(步驟S925)。如果計(jì) 算值C(i)等于或小于閾值(m) 154的值(步驟S925)，則臉部朝向 確定參考數(shù)據(jù)保存單元151中的參考數(shù)據(jù)i中所包含的權(quán)重(r) 155 的值被添加到分?jǐn)?shù)S (步驟S926)。另一方面，如果計(jì)算值C(i)大于 閾值(m) 154的值(步驟S925)，則臉部朝向確定參考數(shù)據(jù)保存單 元151中的參考數(shù)據(jù)i中所包含的權(quán)重(r) 155的值不被添加到分?jǐn)?shù) S，并且處理進(jìn)行到步驟S927。
隨后，變量i加"l"(步驟S927)，并且確定變量i是否大于n-l (步驟S928 )。如果變量i不大于n-l (步驟S928 )，則針對(duì)臉部朝 向確定參考數(shù)據(jù)保存單元151中的每個(gè)參考數(shù)據(jù)的確定處理還未結(jié) 束，因此處理返回到步驟S923,并且確定處理被重復(fù)(步驟S923至
32S927)。另一方面，如果變量i大于n-l (步驟S928)，則確定分?jǐn)?shù)S 的值是否落在閣值1和閱值2之間(步驟S929)。閾值l對(duì)應(yīng)于圖5B 中所示的閾值156，閾值2對(duì)應(yīng)于圖5B中所示的閾值157。
如果分?jǐn)?shù)S的值落在閾值1和闞值2之間(步驟S929 )，則確定 正規(guī)化臉部圖像中包含的臉部的朝向是"正面"(步驟S930)。
如果分?jǐn)?shù)S的值不落在閾值1和閾值2之間(步驟S929)，則確 定分?jǐn)?shù)S的值是否大于閾值2 (步驟S931)。如果分?jǐn)?shù)S的值大于閾 值2 (步驟S931),則確定正規(guī)化臉部圖像中包含的臉部是"向右"(步 驟S932)。另一方面，如果分?jǐn)?shù)S的值小于閾值2 (步驟S931)，則 確定正規(guī)化臉部圖像中包含的臉部是"向左"(步驟S933)。步驟S907 表示在權(quán)利要求書中描述的投影步驟的例子。步驟S908表示在權(quán)利要 求書中描述的變換步驟的例子。步驟S909表示在權(quán)利要求書中描述的 生成步驟的例子。步驟S910表示在權(quán)利要求書中描述的識(shí)別步驟的例 子。
前述描述涉及的是這樣一種例子，其中通過(guò)在方程(l)中利用矩 陣F至K執(zhí)行計(jì)算，注冊(cè)臉部圖像被變換為核對(duì)臉部圖像。也就是說(shuō)， 在方程(1)中利用矩陣F至K的計(jì)算中，在表面上貼覆有注冊(cè)臉部 圖像的三維模型300中的三維坐標(biāo)原點(diǎn)被設(shè)置為三維模型300的彎折 線的中點(diǎn)，并且以該三維坐標(biāo)原點(diǎn)為基準(zhǔn)來(lái)執(zhí)行旋轉(zhuǎn)和平移。在以這 種方式彎折線的中點(diǎn)被設(shè)置為三維坐標(biāo)原點(diǎn)的情況下，在執(zhí)行了三維 模型300的偏轉(zhuǎn)旋轉(zhuǎn)之后，有必要執(zhí)行沿y軸的平移和滾動(dòng)旋轉(zhuǎn)以實(shí) 現(xiàn)對(duì)眼睛位置的正規(guī)化。
這里，注冊(cè)臉部圖像是已相對(duì)于眼睛的位置被正規(guī)化的圖像。因 而，例如，當(dāng)連接貼覆在三維模型300的表面上的注冊(cè)臉部圖像中包 含的臉部的眼睛的線段的中點(diǎn)被設(shè)置為三維坐標(biāo)原點(diǎn)時(shí)，沿y軸的平 移和滾動(dòng)旋轉(zhuǎn)可以被省略。相比于在方程(1)中利用矩陣F至K執(zhí) 行計(jì)算的情況，這能夠減小計(jì)算量。在下面，將參考附圖詳細(xì)描述這 樣一個(gè)例子，其中通過(guò)將連接三維模型300中的眼睛的線段的中點(diǎn)設(shè) 置為三維坐標(biāo)原點(diǎn)來(lái)執(zhí)行圖像變換，從而省略沿y軸的平移和滾動(dòng)旋轉(zhuǎn)。
圖18是示出根據(jù)本發(fā)明 一個(gè)實(shí)施例的圖像處理裝置500的功能配 置例子的框圖。這里，圖像處理裝置500表示對(duì)圖1所示的圖像處理 裝置100的部分修改，并且具有圖像變換單元510和變換數(shù)據(jù)存儲(chǔ)單 元520來(lái)代替圖像變換單元180和變換數(shù)據(jù)存儲(chǔ)單元181。因而，將 不對(duì)與圖1所示的圖像處理裝置100類似的那些組件給出詳細(xì)的描述， 同樣，關(guān)于其他組件，下面的描述將集中于與圖1所示的圖像處理裝 置100的不同之處。
圖像變換單元510利用與由臉部朝向確定單元150確定的臉部朝 向相關(guān)聯(lián)地存儲(chǔ)在變換數(shù)據(jù)存儲(chǔ)單元520中的變換參數(shù)，來(lái)由存儲(chǔ)在 注冊(cè)臉部圖像存儲(chǔ)單元160中的注冊(cè)臉部圖像生成二維圖像。
變換數(shù)據(jù)存儲(chǔ)單元520與要由臉部朝向確定單元150確定的臉部 朝向相關(guān)聯(lián)地存儲(chǔ)被圖像變換單元510用來(lái)執(zhí)行變換的變換參數(shù)，并 將所存儲(chǔ)的變換參數(shù)提供給困像變換單元510。變換數(shù)據(jù)存儲(chǔ)單元520 將在后面參考圖19詳細(xì)描述。計(jì)算存儲(chǔ)在變換數(shù)據(jù)存儲(chǔ)單元520中的 變換參數(shù)的方法將在后面參考圖20A至22B詳細(xì)描述。變換數(shù)據(jù)存儲(chǔ) 單元520表示在權(quán)利要求書中描述的變換數(shù)據(jù)存儲(chǔ)單元的例子。.
圖19是示出根據(jù)本發(fā)明 一個(gè)實(shí)施例的變換數(shù)據(jù)存儲(chǔ)單元520的內(nèi) 容的示意圖。在變換數(shù)據(jù)存儲(chǔ)單元520中，與向左521和向右522相 關(guān)聯(lián)地存儲(chǔ)變換參數(shù)523。
變換參數(shù)523是被圖像變換單元510用來(lái)變換存儲(chǔ)在注冊(cè)臉部圖 像存儲(chǔ)單元160中的注冊(cè)臉部圖像以生成核對(duì)臉部圖像的變換參數(shù)。 具體而言，變換參數(shù)523是用于將注冊(cè)臉部圖像投影到三維模型的表 面上、基于臉部朝向確定結(jié)果變換三維模型、并將變換后的三維模型 上的注冊(cè)臉部圖像投影到 一個(gè)平面上以生成核對(duì)臉部圖像的變換參 數(shù)。當(dāng)將注冊(cè)臉部圖像投影到三維模型的表面上時(shí)，注冊(cè)臉部圖像的 投影方式使得存儲(chǔ)在三維模型存儲(chǔ)單元170中的三維模型的彎折線基 本與相對(duì)于注冊(cè)臉部圖像中包含的臉部的水平方向的中心線一致，當(dāng) 變換三維模型時(shí)，三維模型被相對(duì)于連接貼覆在三維模型的表面上的
34注冊(cè)臉部圖像中包含的臉部的眼睛的線段的中點(diǎn)進(jìn)行旋轉(zhuǎn)和平移，以 使得眼睛的位置變?yōu)樘囟ㄎ恢谩?br> 這里，當(dāng)臉部朝向凈皮臉部朝向確定單元150確定為"向左"或"向 右"時(shí)，圖像變換單元510利用與所確定的臉部朝向(左朝向521或右 朝向522)相關(guān)聯(lián)地存儲(chǔ)的變換參數(shù)來(lái)將注冊(cè)臉部圖像變換為二維圖 像。該變換以注冊(cè)臉部圖像的中心位置作為坐標(biāo)原點(diǎn)、根據(jù)"x〈0"和 "x^O"而使用變換參數(shù)。注冊(cè)臉部圖像被變換為二維圖像，其中該二 維圖像的中心位置被取作坐標(biāo)原點(diǎn)。計(jì)算變換參數(shù)A至E的方法將在 后面參考圖20A至22B詳細(xì)描述。
圖20A至22B是示意性地示出根據(jù)本發(fā)明一個(gè)實(shí)施例用于計(jì)算變 換參數(shù)A至E的計(jì)算方法的示意圖。在下面的描述中，與上述圖像相 同的元件等用相同的附圖標(biāo)記表示。
如圖20A所示，在注冊(cè)臉部圖像161的中心位置02被取作原點(diǎn) 的情況下，注冊(cè)臉部圖像161中包含的臉部241的眼睛的位置是位置 242和243。位置242和243例如是臉部241的眼睛的中心位置。令(-p， q)是位置242的坐標(biāo)，在這種情況下(p，q)是位置243的坐標(biāo)。這 里，通過(guò)在方程(1)中使用矩陣F的逆矩陣F"和矩陣G的逆矩陣 G"，如圖20B所示，注冊(cè)臉部圖像161可以被投影到三維模型300 上以進(jìn)行偏轉(zhuǎn)旋轉(zhuǎn)。然后，考慮這樣一種情況，其中令OL2 ( XL， YL， ZL)是在該偏轉(zhuǎn)旋轉(zhuǎn)之后注冊(cè)臉部圖像三維模型330中的臉部的左眼 的坐標(biāo)，OR2 (XR， YR， ZR)是右眼的坐標(biāo)，并且獲得坐標(biāo)OL2和 OR2。然而，應(yīng)當(dāng)注意，在該例子中坐標(biāo)OL2和OR2是在假定三維 空間中的坐標(biāo)原點(diǎn)被從圖20B中所示的點(diǎn)03改變?yōu)閳D21A和21B中 所示的參考點(diǎn)Kl的情況下獲得的。在以這種方式參考點(diǎn)Kl被取作坐 標(biāo)原點(diǎn)的情況下，可以利用方程(2)計(jì)算左眼的坐標(biāo)OL2 (XL，YL， ZL)?？梢岳梅匠?3)計(jì)算右眼的坐標(biāo)OR2 (XR，YR，ZR)。<formula>formula see original document page 36</formula>
在核對(duì)臉部圖像340的中心位置05 ^皮取作原點(diǎn) 的情況下，核對(duì)臉部圖像340中包含的臉部341的眼睛的位置是位置 342和343。位置342和343例如是臉部341的眼睛的中心位置。由于 核對(duì)臉部圖像340是已相對(duì)于眼睛的位置被正規(guī)化的圖像，因此在這 種情況下位置342和343的坐標(biāo)變?yōu)榕c注冊(cè)臉部圖像161中包含的眼 睛的位置242和243的坐標(biāo)相同。因此，在核對(duì)臉部圖像340中令(-p， q)為右眼的坐標(biāo)，(p，q)為左眼的坐標(biāo)。這里，假定三維空間中的 坐標(biāo)原點(diǎn);故從圖20C中所示的點(diǎn)O5改變?yōu)閳D21A和21B中所示的參 考點(diǎn)Kl的情況，將描述獲得右眼的坐標(biāo)(-p， q )和左眼的坐標(biāo)(p, q ) 的例子。在以這種方式參考點(diǎn)Kl被取作坐標(biāo)原點(diǎn)的情況下，基于圖 21A和21B中所示的位置關(guān)系，可以利用方程(4)計(jì)算右眼的坐標(biāo) (-p，q)?？梢岳梅匠?5)計(jì)算左眼的坐標(biāo)(p，q)。/ \ 一 P
\ /
/
XL+TX \
ZL + T,
XL + T
y
Z L + T
.(4)
/
q
/
XR + T
\
ZR + T,
XR + T
y
ZR + T
.(5)
這里，在連接注冊(cè)臉部圖像161和注冊(cè)臉部圖像三維模型330中 的每一個(gè)所包含的臉部的眼睛的線段的中間位置被取作原點(diǎn)的情況
下，q = 0。因此，令Ty-0。通過(guò)將方程(2)和方程(3)代入方程 (4)和方程(5)中，平移分量Tx、 Ty和Tz可以按如下方式獲得。 Tx = psine(tana國(guó)(p/f))…(6) Ty = 0 ... (7)
Tz = (f + ptana)cos9國(guó)Zc ... (8)
這里，在注冊(cè)臉部圖像三維模型330中的臉部的眼睛之間的中間 位置被取作坐標(biāo)原點(diǎn)的情況下，如上所述，Ty的平移和滾動(dòng)旋轉(zhuǎn)可以 被省略。這里，至于偏轉(zhuǎn)旋轉(zhuǎn)之前的三維坐標(biāo)(它是在注冊(cè)臉部圖像 161上的坐標(biāo)原點(diǎn)被改變?yōu)橹行狞c(diǎn)并且注冊(cè)臉部圖像161被投影到三 維模型300的表面上之后獲得的)，如果x^0，則參考圖22B， zl = -xltana。因而，在注冊(cè)臉部圖像161被投影之后、偏轉(zhuǎn)旋轉(zhuǎn)之前的三 維坐標(biāo)可以4皮表示為坐標(biāo)(Xc， yc，畫Xctana)。然而，應(yīng)當(dāng)注意，Xc和 yj皮定義如下。
xc = x + Cx
yc = y + Cy
Cx和Cy與圖IOA中所示的值相同。在這種情況下，對(duì)于三維坐 才示(xc， yc，-xctana)下面的方禾呈(9)成立。
37\一 xctan a乂
/
\
COS 0
0—sin0
\
sin 0
/
uc(Z + Zc ) f
vc(Z + Zc ) f
Z—Tz
\
—T，
.(9)
0 cos 0 /
這里，方程(9)的右邊項(xiàng)的左側(cè)矩陣是用于在三維空間中執(zhí)行三
維模型的偏轉(zhuǎn)旋轉(zhuǎn)的矩陣。與矩陣G—樣，該矩陣是用于以旋轉(zhuǎn)角e
執(zhí)行偏轉(zhuǎn)旋轉(zhuǎn)的矩陣。方程(9)的右邊項(xiàng)的右側(cè)矩陣是表示在三維空
間中執(zhí)行了三維模型的偏轉(zhuǎn)旋轉(zhuǎn)之后所獲得的三維坐標(biāo)的矩陣。然而，
應(yīng)當(dāng)注意，Ue和vj皮定義如下。Cu和Cv與圖12中所示的值相同。 ue = u — C!u ve = v — Cv
隨后，展開方程(9)中的矩陣，從而產(chǎn)生下面的方程(10)至(12)。 xc = (uc/f)Zcose + (uc/f)Zccose - Txcos9 - Zsin0 + Tzsin9 ... (10) yc = (vc/f)Z + (Vc/f)Zc ... (11)
-xctana = (uc/f)Zsin0 + (uc/f)Zcsin0 - Txsin0 + Zcos0畫Tzcos0 ...
(12)
在注冊(cè)臉部圖像三維模型330中的眼睛之間的中間位置被取作原 點(diǎn)07的情況下，Z的值可以由下面的方程(13)獲得。
Z = -(xcose國(guó)Xctanasin0)tan(a + 9) + Tz (13) 這里，將上述方程(8)中的Tz代入方程(13)，從而產(chǎn)生下面 的方程(14)。
Z =畫Xc(gos0 - tanasine)tan(a + 9) + (f + ptana)cose國(guó)Zc (14) 隨后，通過(guò)將方程(6)中的Tx、方程(8)中的Tz、以及方程 (14)中的Z代入方程(10)和方程(11)，可以獲得當(dāng)Xc》0時(shí)的 Xc和yc，作為方程(15)和方程(16)。這里，為了一般化的目的， 方程(15)至(33)中所示的xc、 yc、 iic和Vc被簡(jiǎn)單表示為x、 y、 u 和v。
38》sine(tanor -Z)
m--
— (/ + / tanor)cose
(cos- — tan a sin汐)tan(o; + 0) + /{1 + (tana sin P - cos。tan(a + P)sin《} (/ + /Jtaim)cos^ (/ + tan a) cos2 P
…(15)
一 J(tanarsin0-cos。tan(a + e) (/ + / tano:) cos" , "J ^ x+ ^ 廣 …
同樣，可以獲得當(dāng)xe<0時(shí)的Xc和yc作為方程(17)和方程(18)。
》sinP(tana-;)
M---
—__(/ + />tanoQcos0_
—(-cose-tanorsin")tan(or-e) , /^l + (tanorsin^ + cose)tan(cr-e)sin^J (/ + / tana)cos6* (/ + / tanor)cos20
"J ^ ^+ ^ 廣 …
隨后，利用下面的方程(19 )至(21)可以修改方程(15 )至(18 ) 中所示的Xe和ye。修改后的方程被表示為方程(22)至(25)。 tan(a + 0) = (tana + tanG)/(1 - tanatanG)…(19) tan(a國(guó)9) = (tana - tan6)/(1 + tanatane) ... (20) l/cos29 = 1 + tan20 " (21)<formula>formula see original document page 40</formula>這里，方程(22)和(23)表示當(dāng)xc2 0時(shí)的Xc和yc，而方程(24) 和(25)表示當(dāng)xc<0時(shí)的Xe和ye。這里，除了變量u和v以外的f、 p、 a和e可以被設(shè)為固定值。例如，a和e可以被設(shè)為a-10至20并且 e = -30至-20或者20至30。在本發(fā)明的實(shí)施例中，注冊(cè)臉部圖像是根 據(jù)臉部朝向確定單元150所確定的"向左"或"向右"來(lái)變換的。因此， 假定"向左，，或"向右，，的情況(e^)或0<0 )，可以計(jì)算下面的方程(26 ) 至(33 )。(a)向左 (0^0) u 一 A
x =
B0u + Co
y—Dp + E) v
(b)向左("0) u 一 A
x =
y-(D^ + E) v
(c)向右 (6<0) u+A
x =
—u+C:
y = (—D, + E) v
(d)向右 (0<O) u+A
x =
—B0u + Co
y
=(—Dnx + E) v
0
…(26)
…(27)
x< 0 …(28)
…(29) 0
…(30)
…(31)
x< 0 …(32)
…(33)
這里，A。、 B。、 Bp C。、 d、 D。、 Dt和E是存儲(chǔ)在圖19的變換 數(shù)據(jù)存儲(chǔ)單元520中的值，并且取下面的值。A =
(f p tana — p2)sin0 (f + p tan a) cos 0
tanas +tan 0 f + p tan a
一 tan a + tan 0 f + p tan a
C,
一 f tan ck sin 0 f + p tan a
f + f tana sin 0 f + p tan a
(—tana —tan 0 )cos 0
D廣
(tan a —tan 0 ) cos 0
E
+ p tan a
以這種方式，存儲(chǔ)在變換數(shù)據(jù)存儲(chǔ)單元520中的變換參數(shù)523被 預(yù)先計(jì)算，并且圖像變換單元510可以利用變換參數(shù)523的值由注冊(cè) 臉部圖像生成二維圖像。也就是說(shuō)，在注冊(cè)臉部圖像的中心位置被取 作原點(diǎn)并且二維圖像的中心位置被取作原點(diǎn)的情況下，注冊(cè)臉部圖像 中的坐標(biāo)(x，y)被變換為二維圖像中的坐標(biāo)(u，v)。相比于在表面 上貼覆有注冊(cè)臉部圖像的三維模型300中的三維坐標(biāo)原點(diǎn)被設(shè)置為彎 折線的中點(diǎn)的情況，這可以減小計(jì)算量。這樣可以明顯減小在臉部識(shí) 別處理時(shí)的處理負(fù)荷。因而，臉部識(shí)別功能可以很容易地包含到小型
數(shù)字靜態(tài)相機(jī)、移動(dòng)電話等之中。
圖23是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例匯總從臉部識(shí)別單元190輸出的臉部識(shí)別結(jié)果的臉部識(shí)別結(jié)果曲線圖600的圖形。臉部識(shí)別結(jié) 果曲線圖600是匯總在圖像變換單元180基于臉部朝向確定單元150 的確定結(jié)果執(zhí)行圖像變換的情況下以及在不執(zhí)行圖像變換單元180的 圖像變換的情況下的臉部識(shí)別結(jié)果的曲線圖。這里，示出了這樣一種 情況，其中當(dāng)a-15度并且0 =-30或30度時(shí)，在改變實(shí)際臉部朝向 角的同時(shí)，利用對(duì)10個(gè)男人和女人的臉部拍攝的多個(gè)拍攝圖像來(lái)執(zhí)行 臉部識(shí)別。
這里，在臉部識(shí)別結(jié)果曲線圖600中，水平軸表示拍攝圖像中包 含的臉部的實(shí)際朝向角的值，并且垂直軸表示通過(guò)求和然后求平均由 臉部識(shí)別單元190輸出的臉部識(shí)別結(jié)果的分?jǐn)?shù)而獲得的值。假定用于
基于計(jì)算出的臉部識(shí)別結(jié)果的分?jǐn)?shù)來(lái)確定臉部是否為注冊(cè)臉部的臉部 識(shí)別閾值601被設(shè)置在0至10000的范圍內(nèi)。另外，在該例子中，當(dāng) 拍攝圖像中包含的臉部是正面時(shí)的臉部朝向角被設(shè)定為90度。臉部被 臉部朝向確定單元150確定為向左的最大角度被設(shè)定為77度(等于或 低于該角度時(shí)被確定為向左)。臉部被臉部朝向確定單元150確定為 向右的最小角度被設(shè)定為113度(等于或大于該角度時(shí)被確定為向 右)。
線611表示通過(guò)求和然后求平均當(dāng)圖像變換單元180基于臉部朝 向確定單元150的確定結(jié)果執(zhí)行了圖像變換之后執(zhí)行臉部識(shí)別時(shí)計(jì)算 出的臉部識(shí)別結(jié)果的分?jǐn)?shù)而針對(duì)各個(gè)拍攝圖像獲得的值。另一方面， 線612表示通過(guò)求和然后平均當(dāng)在不執(zhí)行圖#>變換單元180的圖像變 換的情況下執(zhí)行臉部識(shí)別時(shí)計(jì)算出的臉部識(shí)別結(jié)果的分?jǐn)?shù)而針對(duì)各個(gè) 拍攝圖像獲得的值。
如臉部識(shí)別結(jié)果曲線圖600所顯示的，當(dāng)臉部的朝向接近于正面 (在垂直線603和604之間)時(shí)，在線611和612之間4艮難有任何差 異。然而，在超過(guò)了某一角度(當(dāng)超過(guò)該角度時(shí)，臉部被臉部朝向確 定單元150確定為向左或向右)時(shí)(在相對(duì)于垂直線603的左側(cè)，或 者在相對(duì)于垂直線604的右側(cè))，例如差值621至624所表示的，線 611和612之間的差值變大。也就是說(shuō)，通過(guò)應(yīng)用本發(fā)明的實(shí)施例，對(duì)于包含面向傾斜方向的臉部的拍攝圖像，也可以增強(qiáng)臉部識(shí)別的準(zhǔn) 確性。盡管該例子涉及的是利用預(yù)先記錄的拍攝圖像來(lái)執(zhí)行臉部識(shí)別 的情況，但是對(duì)于在圖像拍攝時(shí)由諸如數(shù)字靜態(tài)相機(jī)之類的圖像拍攝 裝置執(zhí)行的拍攝圖像的臉部識(shí)別，也可以類似地增強(qiáng)準(zhǔn)確性。
接下來(lái)，將參考附圖描述根據(jù)本發(fā)明 一個(gè)實(shí)施例的圖像處理裝置
500的操作。
圖24是示出根據(jù)本發(fā)明一個(gè)實(shí)施例由圖像處理裝置500執(zhí)行的臉 部識(shí)別處理的處理步驟的流程圖。處理步驟表示對(duì)圖16中所示的處理 步驟的修改，并且圖24中所示的步驟S901至S906、 S910、 S911和 S920表示與圖16中所示的步驟S卯l至S906、 S910、 S911和S920 相同的處理步驟。因而，相同處理步驟的描述將被省略。
如果臉部朝向確定單元150所確定的臉部朝向不是正面的(步驟 S906),則圖像變換單元510基于由臉部朝向確定單元150確定的臉 部朝向來(lái)生成二維圖像(核對(duì)臉部圖像)(步驟S950)。也就是說(shuō)， 圖像變換單元510利用與臉部朝向確定單元150所確定的臉部朝向相 關(guān)聯(lián)地存儲(chǔ)在變換數(shù)據(jù)存儲(chǔ)單元520中的變換參數(shù)，來(lái)變換存儲(chǔ)在注 冊(cè)臉部圖像存儲(chǔ)單元160中的注冊(cè)臉部圖像以生成二維圖像(核對(duì)臉 部圖像)。
圖25A至25D ^_分別示出根據(jù)本發(fā)明 一個(gè)實(shí)施例的三維模型的例 子的示意圖。盡管前述描述涉及的是利用三維模型300來(lái)執(zhí)行圖像變 換的示例，但是也可以利用其他三維模型來(lái)執(zhí)行圖像變換。
圖25A中所示的三維模型700是三維CG模型，該模型的形狀是 通過(guò)相對(duì)于水平方向在矩形的中部附近形成兩根彎折線并在任一端處 向背面彎折該矩形而獲得的。圖25B中所示的三維模型710是具有圓 柱形狀的三維CG模型。圖25C中所示的三維模型720是具有球形形 狀的三維CG模型。圖25D中所示的三維模型730是具有圓柱形狀(在 其表面上形成有突起731)的三維CG模型。至于三維模型730，例如， 突起731優(yōu)選地形成在圓柱形狀上，以使注冊(cè)臉部圖像中包含的臉部 的鼻子部分被投影到突起731上。除了圖25A至25D中所示的三維模型以外，例如，具有橢球形狀的三維模型也可以用于執(zhí)行圖像變換。 以這種方式，根據(jù)本發(fā)明的一個(gè)實(shí)施例，可以利用具有以下形狀的三 維模型來(lái)執(zhí)行圖像變換，該形狀是通過(guò)在圖像要被投影到的表面上的 一個(gè)方向中三維模型的至少一部分被向正面彎折而形成的。因而，當(dāng) 對(duì)于在包括鼻子等中部隆起的一個(gè)人的臉部、根據(jù)臉部朝向生成二維 圖像時(shí)，可以生成在該人的臉部附近橫向偏轉(zhuǎn)的臉部。
圖像變換也可以利用例如其中oc-O的三維模型300來(lái)執(zhí)行。也就 是說(shuō)，圖像變換可以利用具有基本平面形狀的三維模型來(lái)執(zhí)行。或者， 圖像變換可以利用具有以下形狀的三維模型來(lái)執(zhí)行，該形狀是通過(guò)使 三維模型在圖像要被投影到的表面上的水平方向上的至少一部分向背 面彎折而形成的。以這種方式，根據(jù)本發(fā)明的實(shí)施例，可以利用所謂 的三維簡(jiǎn)化模型(簡(jiǎn)化多邊形模型)來(lái)執(zhí)行注冊(cè)臉部圖像的圖像變換。
如上所述，根據(jù)本發(fā)明的實(shí)施例，利用三維模型，可以由注冊(cè)臉 部圖像生成與拍攝圖像中包含的臉部圖像相同朝向的二維圖像(核對(duì) 臉部圖像)，并且該生成的二維圖像和正規(guī)化臉部圖像可以相互比較 及核對(duì)。因而，在臉部識(shí)別單元190的識(shí)別處理時(shí)，要相互比較的兩 個(gè)圖像中包含的臉部的朝向變?yōu)橄嗤?，從而可以增?qiáng)臉部識(shí)別的準(zhǔn)確 性。另外，在識(shí)別處理時(shí)，可以由注冊(cè)臉部圖像生成與拍攝圖像中包 含的臉部圖像相同朝向的二維圖像。因此，對(duì)于每個(gè)人僅登記一個(gè)正 面的注冊(cè)臉部圖像就足夠了。這能夠減小注冊(cè)臉部圖像的存儲(chǔ)量大小。
當(dāng)對(duì)注冊(cè)臉部圖像執(zhí)行圖像變換時(shí)，使用了簡(jiǎn)化幾何模型，從而 相比于根據(jù)現(xiàn)有技術(shù)利用標(biāo)準(zhǔn)三維臉部模型來(lái)執(zhí)行圖像變換的情況， 可以實(shí)現(xiàn)必需的計(jì)算量的明顯減小。這使得其可被實(shí)現(xiàn)在計(jì)算量相對(duì) 有限的移動(dòng)設(shè)備等上，例如移動(dòng)電話和數(shù)字靜態(tài)相機(jī)。
這里，考慮這樣一種情況，其中并不是基于所確定的臉部朝向來(lái) 變換注冊(cè)臉部圖像，而是將拍攝圖像中包含的臉部圖像變換為正面的 圖像以執(zhí)行臉部識(shí)別。例如，如果臉部圖^f象中包含的臉部是向右的臉 部，則臉部的右側(cè)部分不被包含在臉部圖像中。因而，如果臉部圖像 被變換為正面臉部，則存在極大的可能性無(wú)法對(duì)變換后的正面臉部中包含的右側(cè)部分執(zhí)行準(zhǔn)確的圖像變換。具體而言，諸如臉部的眼睛、 嘴巴等的器官對(duì)于臉部識(shí)別是很重要的。如果這些器官未包含在臉部
圖像中，則存在極大的可能性無(wú)法對(duì)變換后的正面臉部中包含的這些
器官執(zhí)行準(zhǔn)確的圖像變換，從而導(dǎo)致臉部識(shí)別的準(zhǔn)確性的降低。相反 地，根據(jù)本發(fā)明的實(shí)施例，由包含正面臉部的注冊(cè)臉部圖像生成核對(duì) 臉部圖像，從而允許對(duì)諸如臉部的眼睛和嘴巴之類的器官執(zhí)行準(zhǔn)確的
圖像變換。這能夠增強(qiáng)臉部識(shí)別的準(zhǔn)確性。
盡管本發(fā)明的實(shí)施例涉及的是臉部朝向確定單元150通過(guò)將臉部 朝向分類為"正面"、"向右"和"向左"來(lái)確定臉部朝向的例子，但是本 發(fā)明的實(shí)施例也可以應(yīng)用于臉部朝向確定單元150通過(guò)將臉部朝向分 類為四種或更多種朝向來(lái)確定臉部朝向的情況。另外，盡管本發(fā)明的 實(shí)施例涉及的是臉部朝向確定單元150相對(duì)于4黃向方向確定臉部朝向 的例子，但是本發(fā)明的實(shí)施例也可以應(yīng)用于臉部朝向確定單元150相 對(duì)于垂直方向確定臉部朝向的情況。在這種情況下，圖像變換可以利 用例如具有以下形狀的三維模型來(lái)執(zhí)行，該形狀是通過(guò)使三維模型在 圖像要被投影到的表面上的垂直方向中的至少一部分向前面彎折而形 成的。
本發(fā)明的實(shí)施例還可以應(yīng)用于諸如具有相機(jī)功能的設(shè)備之類的圖 像處理裝置，例如包括可攜式攝像機(jī)(相機(jī)和記錄器)或圖像拍攝單 元的移動(dòng)電話或者PC(個(gè)人計(jì)算機(jī))。
盡管在本發(fā)明的實(shí)施例中人的臉部被例示為接受臉部識(shí)別的臉 部，但是本發(fā)明的實(shí)施例也可以應(yīng)用于識(shí)別另一種動(dòng)物(例如哺乳動(dòng) 物)的臉部的情況。
盡管在本發(fā)明的實(shí)施例中靜態(tài)拍攝圖像被例示為接受臉部識(shí)別的 目標(biāo)圖像，但是本發(fā)明的實(shí)施例也可以應(yīng)用于運(yùn)動(dòng)圖像的情況。例如， 在運(yùn)動(dòng)圖像的情況下，對(duì)于每個(gè)圖像流來(lái)檢測(cè)臉部，并且可以對(duì)包含 該臉部的臉部圖像執(zhí)行臉部識(shí)別。另夕卜，可以對(duì)于每個(gè)GOP(圖片組) 來(lái)檢測(cè)臉部，或者可以在流內(nèi)每隔固定的時(shí)間間隔來(lái)檢測(cè)臉部。
應(yīng)當(dāng)注意，本發(fā)明的實(shí)施例僅僅用來(lái)說(shuō)明本發(fā)明的實(shí)現(xiàn)方式的例子，并且與權(quán)利要求書中的每個(gè)發(fā)明記載的主題具有對(duì)應(yīng)關(guān)系，如上 所述。然而，應(yīng)當(dāng)注意，本發(fā)明并不限于這些實(shí)施例，而是可以在不 脫離本發(fā)明的范圍的前提下進(jìn)行各種修改。
參考本發(fā)明的實(shí)施例所描述的處理步驟可以被當(dāng)作具有 一 系列這 些步驟的方法，或者可以被當(dāng)作一種用于使計(jì)算機(jī)執(zhí)行一 系列這些步
驟的程序和存儲(chǔ)該程序的記錄介質(zhì)。至于記錄介質(zhì)，例如可以使用CD (壓縮盤)、MD (迷你盤)、DVD (數(shù)字多功能盤)、存儲(chǔ)卡、藍(lán) 光光盤(R)等等。
本申請(qǐng)包含與2008年6月11日向日本專利局提交的日本在先專 利申請(qǐng)JP 2008-152643有關(guān)的主題，上述申請(qǐng)的全部?jī)?nèi)容通過(guò)引用而 合并到本文中。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)需求和其他因素可以發(fā)生 各種修改、組合、子組合和變更，只要這些修改、組合、子組合和變 更在權(quán)利要求或其等同物的范圍內(nèi)。
權(quán)利要求
1.一種圖像處理裝置，包括投影單元，該投影單元將包含臉部的至少一部分的注冊(cè)臉部圖像投影到三維模型的表面上，使得所述注冊(cè)臉部圖像中包含的臉部的水平方向基本與圖像要被投影到的表面上的一個(gè)方向一致，其中所述三維模型的形狀如下形成所述三維模型在所述表面上的所述一個(gè)方向上的至少一部分被向正面彎折；變換單元，該變換單元基于目標(biāo)圖像中包含的臉部的朝向來(lái)變換所述三維模型；生成單元，該生成單元通過(guò)將投影在經(jīng)所述變換單元變換的三維模型的表面上的注冊(cè)臉部圖像投影到一個(gè)平面上來(lái)生成二維圖像；以及識(shí)別單元，該識(shí)別單元通過(guò)將由所述生成單元生成的二維圖像與所述目標(biāo)圖像進(jìn)行比較來(lái)識(shí)別所述目標(biāo)圖像中包含的臉部。
2. 如權(quán)利要求l所述的圖像處理裝置，其中， 所述三維模型的形狀如下形成所述一個(gè)方向上的兩端都向背面彎折，且所述三維模型在所述表面上的所述一個(gè)方向上的一部分被用 作彎折線；并且所述投影單元將所述注冊(cè)臉部圖像投影到所述三維模型的表面 上，以使相對(duì)于所述注冊(cè)臉部圖像中包含的臉部的水平方向的中心線 基本與所述彎折線一致。
3. 如權(quán)利要求2所述的圖像處理裝置，其中 所述注冊(cè)臉部圖像是基于所述注冊(cè)臉部圖像中包含的臉部的眼睛被正規(guī)化的正規(guī)化圖像；所述圖像處理裝置還包括眼睛檢測(cè)單元，該眼睛檢測(cè)單元檢測(cè)所述目標(biāo)圖像中包含的 臉部的眼睛；以及正規(guī)化單元，該正規(guī)化單元基于所述眼睛檢測(cè)單元檢測(cè)出的眼睛來(lái)正規(guī)化所述目標(biāo)圖像以生成正規(guī)化目標(biāo)圖像； 所述變換單元相對(duì)于一線段的中點(diǎn)旋轉(zhuǎn)及平移所述三維模型，使 得由所述生成單元生成的二維圖像中包含的臉部的眼睛的位置與所述 正規(guī)化目標(biāo)圖像中包含的臉部的眼睛的位置變?yōu)橄嗤?，其中所述線段 是連接投影在所述三維模型的表面上的注冊(cè)臉部圖像中所包含的臉部 的眼睛的線段；并且所述識(shí)別單元通過(guò)將由所述生成單元生成的二維圖像與所述正規(guī) 化目標(biāo)圖像進(jìn)行比較來(lái)識(shí)別所述目標(biāo)圖像中包含的臉部。
4. 如權(quán)利要求3所述的圖像處理裝置，還包括 變換參數(shù)存儲(chǔ)單元，該變換參數(shù)存儲(chǔ)單元以與臉部的朝向相關(guān)聯(lián)的方式存儲(chǔ)變換參數(shù)，所述變換參數(shù)被用于將所述注冊(cè)臉部圖像投影到所述三維模型的表面上，使得相 對(duì)于所述注冊(cè)臉部圖像中包含的臉部的水平方向的中心線基本與 所述彎折線一致，相對(duì)于所述線段的中點(diǎn):旋轉(zhuǎn)及平移所述三維模型，使得由所 述生成單元生成的二維圖像中包含的臉部的眼睛的位置與所述正 規(guī)化目標(biāo)圖像中包含的臉部的眼睛的位置變?yōu)橄嗤?，其中所述線 段是連接投影在所述三維模型的表面上的注冊(cè)臉部圖像中所包含 的臉部的眼睛的線段，以及將投影在旋轉(zhuǎn)及平移后的三維模型的表面上的注冊(cè)臉部圖像 投影到一個(gè)平面上以針對(duì)每種臉部朝向生成二維圖像， 其中所迷生成單元利用以與所述目標(biāo)圖<象中包含的臉部的朝向相 關(guān)聯(lián)的方式存儲(chǔ)的變換參數(shù)來(lái)由所述注冊(cè)臉部圖像生成所述二維圖 像。
5. 如權(quán)利要求l所述的圖像處理裝置，還包括 器官檢測(cè)單元，該器官檢測(cè)單元檢測(cè)所述目標(biāo)圖像中包含的臉部的兩個(gè)器官；以及正規(guī)化單元，該正規(guī)化單元基于所述器官檢測(cè)單元檢測(cè)出的兩個(gè) 器官來(lái)正規(guī)化所述目標(biāo)圖像以生成正規(guī)化目標(biāo)圖像，其中所述變換單元旋轉(zhuǎn)及平移所述三維模型，使得由所述生成單元生 成的二維圖像中包含的臉部的兩個(gè)器官的位置與所述正規(guī)化目標(biāo)圖像 中包含的臉部的兩個(gè)器官的位置變?yōu)橄嗤?，并且所述識(shí)別單元通過(guò)將由所述生成單元生成的二維圖像與所述正規(guī) 化目標(biāo)圖像進(jìn)行比較來(lái)識(shí)別所述目標(biāo)圖像中包含的臉部。
6. 如權(quán)利要求5所述的圖像處理裝置，還包括變換數(shù)據(jù)存儲(chǔ)單元， 該變換數(shù)據(jù)存儲(chǔ)單元以與臉部的朝向相關(guān)聯(lián)的方式存儲(chǔ)所述三維模型 的旋轉(zhuǎn)角和平移距離的值，其中所述變換單元利用以與所述目標(biāo)圖像中包含的臉部的朝向相 關(guān)聯(lián)的方式存儲(chǔ)的旋轉(zhuǎn)角和平移距離的值來(lái)旋轉(zhuǎn)及平移所述三維模 型。
7. 如權(quán)利要求l所述的圖像處理裝置，其中所述識(shí)別單元通過(guò)將 以下兩種圖像之一作為所述目標(biāo)圖像的比較對(duì)象來(lái)與所述目標(biāo)圖像進(jìn) 行比較以識(shí)別所述目標(biāo)圖像中包含的臉部基于所述目標(biāo)圖像中包含 的臉部的朝向而確定的注冊(cè)臉部圖像和由所述生成單元生成的二維圖 像。
8. 如權(quán)利要求7所述的圖像處理裝置，還包括 注冊(cè)臉部圖像存儲(chǔ)單元，該注冊(cè)臉部圖像存儲(chǔ)單元存儲(chǔ)包含正面臉部的至少一部分的圖像作為所述注冊(cè)臉部圖像；以及確定單元，該確定單元確定所述目標(biāo)圖像中包含的臉部的朝向， 其中如果所述確定單元確定所述目標(biāo)圖像中包含的臉部的朝向是正面的，則所述識(shí)別單元通過(guò)將所述注冊(cè)臉部圖像與所述目標(biāo)圖像進(jìn)行比較來(lái)識(shí)別所述目標(biāo)圖像中包含的臉部。
9. 如權(quán)利要求l所述的圖像處理裝置，還包括圖像拍攝單元，該圖像拍攝單元拍攝被攝物以生成拍攝圖像； 臉部檢測(cè)單元，該臉部檢測(cè)單元檢測(cè)所迷拍攝圖像中包含的臉部；以及確定單元，該確定單元確定所述臉部檢測(cè)單元檢測(cè)出的臉部的朝向，其中所述識(shí)別單元通過(guò)將由所述生成單元生成的二維圖像與包含 所述臉部檢測(cè)單元檢測(cè)出的臉部的臉部圖像進(jìn)行比較來(lái)識(shí)別所述拍攝 圖像中包含的臉部。
10. —種圖像處理裝置，包括注冊(cè)臉部圖像存儲(chǔ)單元，該注冊(cè)臉部圖像存儲(chǔ)單元存儲(chǔ)注冊(cè)臉部 圖像，該注冊(cè)臉部圖像是包含臉部的至少一部分并且基于臉部的眼睛 被正規(guī)化的正規(guī)化臉部圖像；確定單元，該確定單元確定目標(biāo)圖像中包含的臉部的朝向； 眼睛檢測(cè)單元，該眼睛檢測(cè)單元檢測(cè)所述目標(biāo)圖像中包含的臉部 的眼睛；正規(guī)化單元，該正規(guī)化單元基于所述眼睛檢測(cè)單元檢測(cè)出的眼睛 來(lái)正規(guī)化所述目標(biāo)圖像以生成正規(guī)化目標(biāo)圖像；變換參數(shù)存儲(chǔ)單元，該變換參數(shù)存儲(chǔ)單元以與所確定的臉部朝向 相關(guān)聯(lián)的方式存儲(chǔ)變換參數(shù)，所迷變換參數(shù)被用于將所述注冊(cè)臉部圖像投影到三維模型的表面上，使得相對(duì)于 所述注冊(cè)臉部圖像中包含的臉部的水平方向的中心線基本與三維 模型的表面上的彎折線一致，其中所述三維模型的形狀如下形成 在圖像要被投影到的表面上的一個(gè)方向中的兩端被向背面彎折， 且所述三維模型在所述一個(gè)方向上的一部分被用作所述彎折線，相對(duì)于連接所述注冊(cè)臉部圖像中包含的臉部的眼睛的線段的 中點(diǎn)旋轉(zhuǎn)及平移所述三維模型，使得投影在所述三維模型的表面 上的注冊(cè)臉部圖像中包含的臉部的眼睛的位置變?yōu)樘囟ㄎ恢茫?及將投影在經(jīng)旋轉(zhuǎn)及平移后的三維模型的表面上的注冊(cè)臉部圖 像投影到 一個(gè)平面上以針對(duì)所確定的每種臉部朝向生成二維圖像；圖像變換單元，該圖像變換單元利用以與所述確定單元所確定的 臉部的朝向相關(guān)聯(lián)的方式存儲(chǔ)的變換參數(shù)來(lái)由所述注冊(cè)臉部圖像生成所述二維圖像；以及識(shí)別單元，該識(shí)別單元通過(guò)將由所述圖像變換單元生成的二維圖 像與所述正規(guī)化目標(biāo)圖像進(jìn)行比較來(lái)識(shí)別所述目標(biāo)圖像中包含的臉 部。
11. 一種圖像處理方法，包括以下步驟將包含臉部的至少一部分的注冊(cè)臉部圖像投影到三維模型的表面 上，使得所述注冊(cè)臉部圖像中包含的臉部的水平方向基本與圖像要被 投影到的表面上的一個(gè)方向一致，其中所述三維模型的形狀如下形成 所述三維模型在所述表面上的所述一個(gè)方向上的至少一部分被向正面彎折；基于目標(biāo)圖像中包含的臉部的朝向來(lái)變換所述三維模型；通過(guò)將投影在變換后的三維模型的表面上的注冊(cè)臉部圖像投影到一個(gè)平面上來(lái)生成二維圖像；以及通過(guò)將所生成的二維圖像與所述目標(biāo)圖像進(jìn)行比較來(lái)識(shí)別所述目標(biāo)圖像中包含的臉部。
全文摘要
本發(fā)明公開了一種圖像處理裝置和圖像處理方法。該圖像處理裝置包括投影單元、變換單元、生成單元和識(shí)別單元，投影單元將包含臉部的至少一部分的注冊(cè)臉部圖像投影到三維模型的表面上，使得注冊(cè)臉部圖像中包含的臉部的水平方向基本與圖像要被投影到的表面上的一個(gè)方向一致，其中該三維模型的形狀如下形成該三維模型在所述表面上的所述一個(gè)方向上的至少一部分被向正面彎折；變換單元基于目標(biāo)圖像中包含的臉部的朝向來(lái)變換三維模型；生成單元通過(guò)將投影在變換后的三維模型的表面上的注冊(cè)臉部圖像投影到一個(gè)平面上來(lái)生成二維圖像；識(shí)別單元通過(guò)將所生成的二維圖像與目標(biāo)圖像進(jìn)行比較來(lái)識(shí)別目標(biāo)圖像中包含的臉部。
文檔編號(hào)G06T1/00GK101604387SQ20091014579
公開日2009年12月16日 申請(qǐng)日期2009年6月11日 優(yōu)先權(quán)日2008年6月11日
發(fā)明者大谷孝英, 小坂井良太 申請(qǐng)人:索尼株式會(huì)社