專利名稱:一種用于采集人臉圖像的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域,更具體地涉及一種用于采集人臉圖像的方法和系 統(tǒng)。
背景技術(shù):
計(jì)算機(jī)視覺(jué)是計(jì)算機(jī)科學(xué)中的一個(gè)重要研究領(lǐng)域,其目的是采用計(jì)算機(jī)來(lái)模擬人 類的視覺(jué)系統(tǒng)。人臉檢測(cè)技術(shù)和人臉識(shí)別技術(shù)是計(jì)算機(jī)視覺(jué)領(lǐng)域中兩個(gè)重要的分支。人臉 檢測(cè)技術(shù)主要目的是從一幅圖像中定位出面孔,即確定該圖像中是否存在人臉的成像區(qū)域 并從該圖像中定位出的人臉區(qū)域或人臉圖像。而人臉識(shí)別技術(shù)的主要目的則在于識(shí)別出這 些面孔是誰(shuí),即,將這些已定位出來(lái)的人臉圖像同人的標(biāo)識(shí)(ID)聯(lián)系起來(lái),以確定與人臉 圖像對(duì)應(yīng)的人的身份。人臉檢測(cè)技術(shù)有著廣泛的應(yīng)用,其中最重要一種應(yīng)用是為人臉識(shí)別技術(shù)提供人臉 圖像的輸入。隨著技術(shù)的進(jìn)步,人臉檢測(cè)技術(shù)日臻成熟。特別是對(duì)水平、垂直以及深度轉(zhuǎn)角 低于例如15度的準(zhǔn)正面人臉的檢測(cè)技術(shù),其穩(wěn)定性和效率目前已經(jīng)非常高,并在工業(yè)領(lǐng)域 得到了廣泛的應(yīng)用。在現(xiàn)有技術(shù)中,人臉檢測(cè)研發(fā)出了的多種技術(shù)。其中,準(zhǔn)正面人臉檢測(cè)的經(jīng)典算法 是P. Viola和M. Jones于2001年7月在加拿大溫哥華舉行的第八屆國(guó)際計(jì)算機(jī)視覺(jué)大會(huì)上 發(fā)表的“魯棒實(shí)時(shí)對(duì)象檢測(cè)(Robust Real Time Object Detection) ”一文中提出的。該算 法基于Harr-Iike特征來(lái)描述人臉,并利用Adboost算法選擇最能代表人臉的矩形特征,從 而形成弱分類器。然后,利用加權(quán)投票的方式將這些弱分類器串聯(lián)成一個(gè)級(jí)聯(lián)分類器。之 后,使用這個(gè)級(jí)聯(lián)分類器,遍歷圖像中的每個(gè)位置,以在多種尺度上判斷每個(gè)位置上的矩形 區(qū)域是否是人臉區(qū)域。最后將重疊的人臉候選區(qū)域合并。此外,微軟亞洲研究院的李子清研究員在2004年9月的IEEE模式分析與機(jī)器智 能匯刊中的"FloatBoost 學(xué)習(xí)和統(tǒng)計(jì)人臉檢測(cè)(FloatBoost Learning and Statistical Face Detection)” 一文中提出了一種基于FloatBoost的人臉檢測(cè)算法。該算法通過(guò)利用 FloatBoost方法將通過(guò)學(xué)習(xí)得到的弱分類器構(gòu)造成一個(gè)強(qiáng)分類器。從而由該強(qiáng)分類器構(gòu)成 一個(gè)從粗到精、從簡(jiǎn)單到復(fù)雜的金字塔型的人臉檢測(cè)系統(tǒng)。具體地,在該多視角的人臉檢測(cè) 技術(shù)方案中,人臉圖像檢測(cè)被分為3個(gè)級(jí)別。在第一級(jí)別,分類器檢測(cè)-90度到90度之間 的人臉;在第二級(jí)別,分類器在第一級(jí)別的基礎(chǔ)上將人臉細(xì)化為3個(gè)視角組,每組人臉角度 區(qū)間為60度,分別在每個(gè)視角組進(jìn)行人臉檢測(cè);在第三級(jí)別,每組人間角度區(qū)間被進(jìn)一步 細(xì)化為9個(gè)人臉組,每個(gè)人臉組角度區(qū)間為20度。該方法試圖通過(guò)這樣的3級(jí)檢測(cè)來(lái)有效 地檢測(cè)不同視角的人臉。此外,還出現(xiàn)了多相機(jī)的人臉檢測(cè)技術(shù)。美國(guó)伊力諾依大學(xué)的張震球等人利用多 個(gè)相機(jī)采集智能(Smart)房間中的人物圖像,并利用時(shí)空關(guān)系來(lái)檢測(cè)人臉。根據(jù)該人臉檢 測(cè)技術(shù),首先利用分布在房間中相機(jī)來(lái)分別采集一個(gè)場(chǎng)景中的圖像。采集到的圖像被送到 一個(gè)單相機(jī)多視角人臉檢測(cè)算法模塊中,以便檢測(cè)人臉區(qū)域。然后,根據(jù)檢測(cè)到的人臉區(qū)
5域在多個(gè)相機(jī)中的時(shí)間信息,通過(guò)人臉跟蹤的方法確定最終檢測(cè)到的人臉。具體地,根據(jù) 不同相機(jī)之間的投影關(guān)系,確定人臉圖像在不同相機(jī)中的候選位置。由于人臉的深度不 同,所以同一人的不同人臉圖像可能對(duì)應(yīng)多個(gè)位置的假設(shè)。同時(shí),該方法將圖像的區(qū)域顏 色相似性與對(duì)多幅圖像中人臉的跟蹤相結(jié)合,以試圖能夠有效地找到跟蹤的人臉,從而將 在多個(gè)相機(jī)中的軌跡和顏色均能夠保持一致的人臉確認(rèn)出來(lái)。關(guān)于該多相機(jī)的人臉檢測(cè) 技術(shù),請(qǐng)參考張震球等人于2006年的第7屆國(guó)際自動(dòng)人臉、姿態(tài)識(shí)別國(guó)際大會(huì)上發(fā)表的 “使用空時(shí)動(dòng)態(tài)編程在智能房間內(nèi)的多視角、多相機(jī)的魯棒人臉檢測(cè)(Robust Multi-View Multi-Camera Face Detectioninside Smart Rooms Using Spatio-Temporal Dynamic Programming),,一文。需要說(shuō)明的是,上述現(xiàn)有技術(shù)中的方法在一定程度上能夠較為有效的檢測(cè)出人 臉,但是這些算法過(guò)于繁瑣和復(fù)雜,而且計(jì)算量很大。另外,盡管在工業(yè)領(lǐng)域人臉識(shí)別技術(shù) 得到了較為廣泛的應(yīng)用,但在實(shí)際應(yīng)用中,對(duì)于人臉檢測(cè)存在著一些限制,尤其是對(duì)于人臉 的姿態(tài)有一定的要求。例如,在用相機(jī)獲取人臉圖像的過(guò)程要求被檢測(cè)的用戶配合,并且人 臉的轉(zhuǎn)角不能太大等。出現(xiàn)上述限制的主要原因?qū)⒕o接著在下文中進(jìn)行描述。眾所周知,人臉是一個(gè)3維物體,而圖像上的人臉圖像則是一個(gè)2維物體。因此, 人臉圖像是從3維物體到2維平面成像的結(jié)果。當(dāng)人臉相對(duì)于相機(jī)呈現(xiàn)不同的朝向時(shí),形 成的2維人臉圖像就會(huì)發(fā)生變化。這就造成了即使是同一個(gè)人的人臉圖像也會(huì)因?yàn)樽藨B(tài) 的不同而顯著不同。換句話講,人臉圖像通常按照同一個(gè)人來(lái)聚類(即同一人的所有人臉 圖像具有相似性,因此可以形成對(duì)應(yīng)于每個(gè)人臉的人臉圖像類),而在姿態(tài)差別過(guò)大的情況 下,其聚類性不是很好。因此,人臉姿態(tài)在一定范圍內(nèi)的準(zhǔn)正面人臉圖像可以具有較好的聚 類性,而且其檢測(cè)精度也高于其他視角的人臉檢測(cè)精度。人臉采集技術(shù)是人臉檢測(cè)的一項(xiàng)應(yīng)用技術(shù),其用相機(jī)實(shí)時(shí)采集并檢測(cè)人臉圖像, 并將檢測(cè)到的人臉圖像輸出。人臉采集的核心技術(shù)就是人臉檢測(cè),因其目的就是要將姿態(tài) 各異的人臉圖像從紛繁復(fù)雜的背景圖像中區(qū)分出來(lái)。因此在人臉采集中,與人臉的姿態(tài)相 關(guān)的問(wèn)題不可避免。在一些場(chǎng)合中,諸如門禁應(yīng)用等,可以要求用戶的面孔朝向相機(jī),或者將系統(tǒng)設(shè)計(jì) 成使用戶的面孔朝向相機(jī),從而比較容易地采集到準(zhǔn)正面人臉圖像。然而,在另一些場(chǎng)合 中,諸如公共場(chǎng)所,要求人臉面對(duì)相機(jī)就很不現(xiàn)實(shí),因而,這種情況下人臉就會(huì)擁有各種各 樣的姿態(tài)。這樣,人臉檢測(cè)的精度必然會(huì)下降,造成了人臉采集的困難。因此,在現(xiàn)有技術(shù)中需要一種針對(duì)各種姿態(tài)來(lái)方便且高效地采集人臉圖像的技 術(shù)。
發(fā)明內(nèi)容
有鑒于此,本發(fā)明提供了一種用于采集人臉圖像的改進(jìn)技術(shù),用于針對(duì)各種姿態(tài) 方便而且高效地采集人臉圖像。根據(jù)本發(fā)明的一個(gè)方面,提供了一種用于采集人臉圖像的方法。該方法可以包括 以下步驟同時(shí)以不同視角獲取同一目標(biāo)區(qū)域的多幅目標(biāo)區(qū)域圖像;從所述多幅目標(biāo)區(qū)域 圖像中檢測(cè)多個(gè)人臉區(qū)域,以得到多幅人臉圖像;根據(jù)所述多幅人臉圖像之間的多個(gè)靜態(tài) 線索,對(duì)所述多幅人臉圖像執(zhí)行人臉匹配,以形成每個(gè)人臉的人臉圖像類。
在根據(jù)本發(fā)明的一個(gè)實(shí)施方式中,所述多個(gè)靜態(tài)線索可以包括度量性線索,該度 量性線索包括多個(gè)相似性度量,以及所述執(zhí)行人臉匹配可以進(jìn)一步包括針對(duì)屬于不同目 標(biāo)區(qū)域圖像的兩幅人臉圖像,計(jì)算其間的所述多個(gè)相似性度量;基于所述多個(gè)相似性度量, 計(jì)算綜合相似性度量;以及基于所述綜合相似性度量,確定所述兩幅人臉圖像是否匹配。在根據(jù)本發(fā)明的另一實(shí)施方式中,所述確定所述兩幅人臉圖像是否匹配可以包括 通過(guò)比較所述綜合相似性度量和預(yù)定的度量閾值來(lái)確定所述兩幅人臉圖像是否匹配。在根據(jù)本發(fā)明的又一實(shí)施方式中,所述執(zhí)行人臉匹配可以進(jìn)一步包括計(jì)算一幅目 標(biāo)區(qū)域圖像的一幅人臉圖像和另一目標(biāo)區(qū)域圖像的每幅人臉圖像之間的各個(gè)綜合相似性 度量;確定所述各個(gè)綜合相似性度量中的最大綜合相似性度量;以及將與該最大綜合相似 性度量相關(guān)的兩幅人臉圖像確定為匹配。在根據(jù)本發(fā)明的再一實(shí)施方式中,所述綜合相似性度量可以是所述多個(gè)相似性度 量的加權(quán)和。在根據(jù)本發(fā)明的另一實(shí)施方式中,所述多個(gè)相似性度量包括以下之中的兩個(gè)或更 多位置相似性度量;顏色相似性度量;以及人臉相似性度量。在根據(jù)本發(fā)明的又一實(shí)施方式中,所述多個(gè)靜態(tài)線索可以包括度量性線索和非度 量性線索,其中該度量性線索包括人臉圖像之間的相似性度量,該非度量性線索包括空間 關(guān)系線索,所述執(zhí)行人臉匹配可以包括利用動(dòng)態(tài)規(guī)劃方法,確定同時(shí)以不同視角獲取的兩 幅目標(biāo)區(qū)域圖像中多幅人臉圖像之間關(guān)于所述相似性度量的最大整體度量,以考慮所述空 間關(guān)系線索,其中所述空間關(guān)系線索表現(xiàn)為與所述最大整體度量對(duì)應(yīng)的路徑;基于所述路 徑,確定所述兩幅目標(biāo)區(qū)域圖像中多幅人臉圖像之間的匹配關(guān)系。在根據(jù)本發(fā)明的再一實(shí)施方式中,所述相似性度量可以包括以下其中至少一個(gè) 位置相似性度量;顏色相似性度量;人臉相似性度量;以及綜合相似性度量,其是基于位置 相似性度量、顏色相似性度量和人臉相似性度量其中至少兩個(gè)的綜合度量。在根據(jù)本發(fā)明的又一實(shí)施方式中,所述方法還包括根據(jù)應(yīng)用需求,從所述人臉圖 像類中選取人臉圖像作為輸出。此外,本發(fā)明還提供了一種用于采集人臉圖像的系統(tǒng)。根據(jù)本發(fā)明的系統(tǒng)可以包 括圖像獲取裝置,用于同時(shí)以不同視角獲取同一目標(biāo)區(qū)域的多幅目標(biāo)區(qū)域圖像;人臉檢測(cè) 裝置,用于從該多幅目標(biāo)區(qū)域圖像中檢測(cè)多個(gè)人臉區(qū)域,以得到多幅人臉圖像;人臉匹配裝 置,用于根據(jù)所述多幅人臉圖像之間的多個(gè)靜態(tài)線索,對(duì)所述多幅人臉圖像執(zhí)行人臉匹配, 以形成每個(gè)人臉的人臉圖像類。根據(jù)本發(fā)明,可以獲取相同時(shí)刻的多幅目標(biāo)區(qū)域圖像,并可以采用簡(jiǎn)單而高效的 方法對(duì)該多幅目標(biāo)區(qū)域圖像中的人臉圖像進(jìn)行匹配,從而形成對(duì)應(yīng)于每個(gè)人臉的人臉圖像 類,因此,即使在沒(méi)有用戶配合的情況下,也可以為諸如人臉識(shí)別等后續(xù)應(yīng)用提供更加有效 的人臉圖像輸入。
通過(guò)對(duì)結(jié)合附圖所示出的實(shí)施方式進(jìn)行詳細(xì)說(shuō)明,本發(fā)明的上述以及其他特征將 更加明顯,本發(fā)明附圖中相同的標(biāo)號(hào)表示相同或相似的部件。在附圖中,圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于采集人臉圖像的方法的流程圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于對(duì)人臉圖像執(zhí)行匹配的方法的流 程圖;圖3示出了根據(jù)本發(fā)明的另一實(shí)施方式的用于對(duì)人臉圖像執(zhí)行匹配的方法的流 程圖;圖4示出了根據(jù)本發(fā)明的再一實(shí)施方式的用于對(duì)人臉圖像執(zhí)行匹配的方法的流 程圖;圖如和圖恥示出了用于說(shuō)明基于對(duì)應(yīng)于最大整體相似性度量的路徑進(jìn)行匹配的 示意圖;圖6示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于采集人臉圖像的系統(tǒng)的方框圖;圖7示出了根據(jù)本發(fā)明的另一實(shí)施方式的用于采集人臉圖像的系統(tǒng)的方框圖;以 及圖8示出了根據(jù)本發(fā)明的再一實(shí)施方式的用于采集人臉圖像的系統(tǒng)的方框圖。
具體實(shí)施例方式在下文中,將參考附圖通過(guò)實(shí)施方式對(duì)本發(fā)明提供用于采集人臉圖像的方法和系 統(tǒng)進(jìn)行詳細(xì)的描述。首先參考圖1,圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于采集人臉圖像的方 法的流程圖。如圖1所示,在步驟101,同時(shí)以不同視角獲取同一目標(biāo)區(qū)域的多幅目標(biāo)區(qū)域圖像。根據(jù)本發(fā)明的實(shí)施方式,在目標(biāo)區(qū)域周圍的多個(gè)適當(dāng)位置布置多個(gè)相機(jī),這多個(gè) 相機(jī)相互配合同時(shí)從不同視角拍攝與該目標(biāo)區(qū)域相關(guān)的多幅目標(biāo)區(qū)域圖像。接著,在步驟102,從多幅目標(biāo)區(qū)域圖像中檢測(cè)多個(gè)人臉區(qū)域,以得到多幅人臉圖像。在拍攝了與目標(biāo)區(qū)域相關(guān)的多幅目標(biāo)區(qū)域圖像后,可以依據(jù)現(xiàn)有技術(shù)中的人臉檢 測(cè)算法,來(lái)得到圖像中的人臉區(qū)域。從而,可以得到這多幅目標(biāo)區(qū)域圖像中每一幅圖像所包 含的人臉圖像,形成與每幅圖像對(duì)應(yīng)的人臉圖像集合。隨后,在步驟103,根據(jù)所述多幅人臉圖像之間的多個(gè)靜態(tài)線索,對(duì)所述多幅人臉 圖像執(zhí)行人臉匹配,以形成每個(gè)人臉的人臉圖像類。根據(jù)本發(fā)明的一個(gè)實(shí)施方式,可以首先從不同視角的兩幅目標(biāo)區(qū)域圖像的兩個(gè)人 臉圖像集合中分別選取人臉圖像進(jìn)行匹配。下面將參考圖2來(lái)描述根據(jù)該實(shí)施方式執(zhí)行人 臉匹配的方法。圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式對(duì)人臉圖像進(jìn)行匹配的方法。在該 實(shí)施方式中,靜態(tài)線索可以包括度量性線索。度量性線索是指可以度量的線索,例如可以包 括多個(gè)相似性度量。參考圖2,首先在步驟201,針對(duì)屬于不同目標(biāo)區(qū)域圖像的兩幅人臉圖像,計(jì)算其 間的所述多個(gè)相似性度量。多個(gè)相似性度量可以包括例如位置相似性度量、顏色相似性度量以及人臉相似性度量。其中位置相似性度量是基于以下考慮。在某一幅圖像中的某一位置出現(xiàn)的圖像將會(huì)在另一視角不同的圖像中的相應(yīng)位置出現(xiàn)。換句話講,人臉圖像在第一圖像中的位置與 其在視角不同的第二圖像中的位置之間存在規(guī)律性。因此,位置相似性可以用來(lái)確定兩幅 人臉圖像是否是同一個(gè)人臉的圖像。位置相似性度量的計(jì)算可以利用計(jì)算機(jī)視覺(jué)領(lǐng)域公知的對(duì)極幾何來(lái)推導(dǎo)。對(duì)極幾 何是用于在兩幅目標(biāo)區(qū)域圖像上建立對(duì)應(yīng)點(diǎn)的幾何模型,根據(jù)對(duì)極幾何,如果分別由兩個(gè) 相機(jī)拍攝的兩幅人臉圖像中的任意一對(duì)點(diǎn)X和X’是對(duì)應(yīng)點(diǎn),則基本矩陣F滿足χ,tFx = 0(1)其中,χ’ τ為X’的轉(zhuǎn)置;基本矩陣F為拍攝上述兩幅人臉圖像的兩個(gè)相機(jī)之間的 基本矩陣。該基本矩陣的計(jì)算是本領(lǐng)域公知的,因此為了清楚起見(jiàn),此處不再贅述。因而,如果兩幅人臉圖像對(duì)應(yīng)于同一個(gè)人,則人臉圖像上的對(duì)應(yīng)的像素點(diǎn)也滿足 公式(1)。通過(guò)人臉檢測(cè)得到的人臉圖像通常大致是矩形區(qū)域,而要確定這兩幅人臉圖像中 點(diǎn)與點(diǎn)之間的對(duì)應(yīng)并不容易。因此,需要從人臉矩形導(dǎo)出人臉的位置點(diǎn),例如選取鼻子位置 的點(diǎn),兩個(gè)眼睛中心點(diǎn),人臉區(qū)域中心點(diǎn)。為了簡(jiǎn)單起見(jiàn),例如可以選取人臉區(qū)域中的中心 位置處的點(diǎn),利用上述公式(1)來(lái)得到位置相似性度量。在下面給出了位置相似度計(jì)算的 一個(gè)示例性公式。
Pos(i, j) = f; if X'2!J<Tp⑵
0其他其中,Pos(i, j)為人臉圖像i和人臉圖像j的位置相似性度量;Tp是預(yù)定義的接 近于零的閾值;以及F為兩個(gè)相機(jī)之間的基本矩陣;i,j是人臉圖像的索引。顏色相似性是指人的身體部位的顏色的相似性。在確定的人體區(qū)域中,除了人臉 以外通常會(huì)包括人的身體部位,而身體部位的顏色,例如服裝的顏色,對(duì)于同一個(gè)人通常是 一樣的,換句話講,兩幅圖像中的衣著顏色不同的人通常不是同一個(gè)人?;谶@個(gè)考慮,可 以將對(duì)顏色相似性作為確定兩幅人臉圖像是否匹配的因素。顏色相似性度量可以基于圖像中人體區(qū)域的顏色來(lái)計(jì)算,例如衣服的顏色。人體 區(qū)域的定位可以采用多種方式來(lái)實(shí)現(xiàn)。例如,可以利用背景建模技術(shù)獲得前景圖像,然后根 據(jù)人臉位置直接得到身體區(qū)域。此外,也可以基于簡(jiǎn)單的算法來(lái)估算身體區(qū)域。例如可以采 用預(yù)定義的人體模板來(lái)估算人臉圖像中的身體區(qū)域。得到身體區(qū)域后,抽取該區(qū)域的顏色 直方圖,根據(jù)顏色直方圖的相似性就可以得到顏色的相似性度量。例如,可以采用HSV(色 度、飽和度和亮度)空間的顏色直方圖的交來(lái)計(jì)算顏色相似性。艮口,Col(i, j) = Σ ^inCHi (k), Hj (k))( 3 )
k其中,Col(i,j)為人臉圖像i和人臉圖像j的顏色相似性度量;Hi(k)和H」(k)是 與人臉圖像i和人臉圖像j對(duì)應(yīng)的歸一化的直方圖;i,j是人臉圖像的索引;k是直方圖塊 的索引。人臉相似性是人臉識(shí)別領(lǐng)域常用的度量。已知的是,相同人的不同人臉圖像必定 存在一定的相似性,例如在準(zhǔn)正面人臉檢測(cè)中,僅憑人臉相似性這一個(gè)度量就可以取得較 好的匹配效果。因此毫無(wú)疑問(wèn)可以將人臉相似性作為確定兩幅人臉圖像是否匹配的因素。人臉相似性度量可以采用現(xiàn)有技術(shù)中的人臉識(shí)別相關(guān)技術(shù)利用特征矢量的距離來(lái)實(shí)現(xiàn)。人臉的特征例如可以采用PCA(主成分分析)特征或LDA(線性判別分析)特征。 人臉相似性度量可以定義為該特征矢量之差的范數(shù)Fa (i, j) = Il V(i)-V(j) ||(4)其中h(i,j)為人臉圖像i和人臉圖像j的人臉相似性度量;V⑴和V(j)是人 臉圖像的特征矢量;以及i,j是人臉圖像的索引。這樣,就得到了兩幅人臉圖像之間的多個(gè)相似性度量。繼續(xù)參考圖2,接著,在步驟202,基于所述多個(gè)相似性度量,計(jì)算綜合相似性度量。根據(jù)本發(fā)明,綜合相似性度量是對(duì)包括例如位置相似性度量、顏色相似性度量和 人臉相似性度量的上述多個(gè)相似性度量的綜合度量。例如,該綜合相似性度量可以是所述 多個(gè)相似性度量的加權(quán)和。然而需要說(shuō)明的是,這僅僅是示例性的;本領(lǐng)域技術(shù)人員應(yīng)該明 白的是,也可以采用本領(lǐng)域技術(shù)人員能夠想到的其他綜合上述多個(gè)相似性因素的方式來(lái)得 到該綜合相似性度量。在采用加權(quán)和的實(shí)施方式中,人臉圖像i和人臉圖像j的綜合相似性量S(i,j)可 以根據(jù)下式得出S(i, j) = W1Posd j)+W2Col (i,j)+w3Fa(i, j)(5)其中i和j為人臉圖像的索引;S(i,j)為人臉圖像i和人臉圖像j之間的綜合相似性度量;Pos(i, j)為人臉圖像i和人臉圖像j之間的位置相似性度量;Col (i,j)為人臉圖像i和人臉圖像j之間的顏色相似性度量;以及Fa(i, j)為人臉圖像i和人臉圖像j之間的人臉相似性度量;以及wl、w2和w3分別為位置相似性度量Pos(i,j)、顏色相似性度量Col (i,j)和人臉相似性度量i^(i,j)的權(quán)重因子。需要說(shuō)明的是,不同的應(yīng)用場(chǎng)景下每種相似性的重要性可能不同,因此可以根據(jù) 應(yīng)用場(chǎng)景來(lái)設(shè)置每種相似性的權(quán)重,以便得到較好的匹配結(jié)果。顏色相似性度量、位置相似性度量和人臉相似性度量例如可以根據(jù)上面示出的公 式(2)至(4)分別計(jì)算得到,然后就可以例如按照公式(5)計(jì)算出兩幅人臉圖像的綜合相 似性度量。接著,在步驟203,可以根據(jù)該綜合相似度量來(lái)確定這兩幅人臉圖像是否匹配。在根據(jù)本發(fā)明的一個(gè)實(shí)施方式中,如果綜合相似性度量高于預(yù)定度量閾值,則認(rèn) 為兩幅人臉圖像匹配,例如,可以為其打上匹配的標(biāo)記。上述匹配的步驟可以針對(duì)所有目標(biāo)區(qū)域圖像中的所有人臉圖像執(zhí)行。在對(duì)所有的 目標(biāo)區(qū)域圖像中的所有人臉圖像執(zhí)行了匹配后,可以根據(jù)匹配標(biāo)記將對(duì)應(yīng)于相同人臉的人 臉圖像合并,以形成針對(duì)每個(gè)人臉的人臉圖像類。需要說(shuō)明的是,在有些情況下,有些相似性度量可能是無(wú)法獲得。例如,當(dāng)?shù)玫絻?幅人臉圖像其中一幅或者兩幅除人臉以外不存其他身體區(qū)域時(shí),這時(shí)色彩相似度可能為0。
10在這種情況下,得到的綜合度量值可能較小,如果仍基于該綜合相似性度量和預(yù)定度量閾 值來(lái)確定是否匹配,就可能存在錯(cuò)誤地將匹配的人臉圖像確定不匹配的情況。在上述情況下,可以根據(jù)哪些相似性度量可用來(lái)對(duì)綜合相似性度值進(jìn)行歸一化。 或者可以針對(duì)所采用的相似度的不同設(shè)定不同的閾值。另外,發(fā)明人在實(shí)際研究中也注意到,對(duì)于由兩個(gè)相機(jī)拍攝的兩幅人臉圖像,如果 這兩幅人臉圖像匹配,則其綜合相似性度量應(yīng)與將其中任一個(gè)與其他人臉圖像的綜合相似
性度量高。因此,在本發(fā)明的又一實(shí)施方式中,采用了通過(guò)確定最大相似性度量來(lái)執(zhí)行匹配 的方式。接下來(lái),將參考圖3來(lái)描述該方法,其中圖3示出了根據(jù)該實(shí)施方式中的用于對(duì)人 臉圖像執(zhí)行匹配的方法。如圖3所示,首先在步驟301計(jì)算一幅目標(biāo)區(qū)域圖像的一幅人臉圖像和另一目標(biāo) 區(qū)域圖像的每幅人臉圖像之間的各個(gè)綜合相似性度量。可以選取任意兩個(gè)相機(jī)拍攝的兩個(gè)目標(biāo)區(qū)域圖像。假設(shè)其中一個(gè)目標(biāo)區(qū)域圖像包 括的人臉圖像形成人臉圖像集合Sm,其中Sm包括M幅人臉圖像;而另一目標(biāo)區(qū)域圖像包括 的人臉圖像形成人臉圖像集合Sn,其中Sn包括N幅人臉圖像。具體地,針對(duì)人臉圖像集合Sm中的任一幅人臉圖像i(i = 1至Μ)和人臉圖像集 合Sn中的每幅人臉圖像j(j = 1至N),例如按照公式(5)來(lái)計(jì)算綜合相似性度量。特別 地,可以首先針對(duì)一幅目標(biāo)區(qū)域圖像的一幅人臉圖像和另一目標(biāo)區(qū)域圖像的每個(gè)幅人臉圖 像,按照公式( 至(4)中任何一項(xiàng)計(jì)算得到相應(yīng)的顏色相似性度量、位置相似性度量和人 臉相似性度量;然后例如按照公式( 計(jì)算得到各個(gè)綜合相似性度量。接著,如圖3所示,在步驟302確定所述各個(gè)綜合相似性度量中的最大綜合相似性 度量。得到了一幅目標(biāo)區(qū)域圖像的一幅人臉圖像和另一目標(biāo)區(qū)域圖像的每幅人臉圖像 之間的各個(gè)綜合相似性度量后,可以通過(guò)比較或通過(guò)現(xiàn)有技術(shù)中公知的尋找最大值的各種 算法來(lái)找到最大綜合相似性度量。然后,在步驟303,將與該最大綜合相似性度量相關(guān)的兩幅人臉圖像確定為匹配。需要說(shuō)明的是,如果該最大綜合相似性度量中的一幅人臉圖像已經(jīng)被標(biāo)記為匹 配,則可以將次最大綜合相似性度量相關(guān)的兩幅人臉圖像確定為匹配。另外,為了節(jié)省計(jì)算 資源,也可以僅計(jì)算人臉圖像i與人臉圖像集合Sn中未經(jīng)過(guò)匹配標(biāo)記的人臉圖像的綜合相 似性度量。這樣就可以直接將與找到的最大綜合相似性度量相關(guān)的人臉圖像標(biāo)記為匹配??梢葬槍?duì)每幅目標(biāo)區(qū)域圖像中的每幅人臉圖像執(zhí)行上述匹配的步驟。在完成對(duì)所 有人臉圖像的上述匹配操作之后,可以根據(jù)匹配標(biāo)記將與同一人臉對(duì)應(yīng)的人臉圖像合并, 以形成針對(duì)每個(gè)人臉的人臉圖像類。在進(jìn)一步的實(shí)施方式中,根據(jù)圖1所述的用于采集人臉圖像的方法還可以包括根 據(jù)應(yīng)用需求,從所述人臉圖像類中選取人臉圖像作為輸出的步驟。人臉采集是用于為例如 人臉識(shí)別的應(yīng)用提供輸入的一種技術(shù),因此,人臉選擇是一個(gè)根據(jù)應(yīng)用來(lái)確定的步驟,不同 的應(yīng)用對(duì)人臉采集輸出的人臉圖像有不同的要求。輸出的人臉圖像可能是一個(gè)人臉輸出一 幅人臉圖像,也可能是若干幅人臉圖像。另外,也可以基于不同的規(guī)則來(lái)選擇人臉圖像,比 如可以根據(jù)圖像的清晰度,人臉的眼睛檢測(cè)的結(jié)果,人臉的姿態(tài)等。
11
關(guān)于圖像清晰度的確定例如可以參考R.Liu,Z.Li以及J. Jia等人在2008年6月 的IEEE計(jì)算機(jī)視覺(jué)和模式識(shí)別匯刊中發(fā)表的“圖像局部模糊檢測(cè)和分類(Image Partial Blur Detection and Classification) ” 一文中公開的技術(shù)方案。人臉的眼睛檢測(cè)例如 可以參考C. Kim, M. Turk, C. H. Choi在2008年9月的第8屆國(guó)際自動(dòng)人臉、姿態(tài)識(shí)別國(guó)際 大會(huì)匯刊中發(fā)表的“用于人眼檢測(cè)的使用復(fù)合矢量的偏鑒別分析(Biased Discriminant Analysis Using Composite Vectors for Eye Detection) ” 巾白勺@^力胃。入Ii白勺 姿態(tài)檢測(cè)例如可以參考V. Pathangay, S. Das, T. Greiner等人在2008年9月的第8屆國(guó)際 自動(dòng)人臉、姿態(tài)識(shí)別國(guó)際大會(huì)匯刊中發(fā)表的“基于對(duì)稱性的單個(gè)未校準(zhǔn)視角的人臉姿態(tài)評(píng) 估(Symmetry-based face pose estimation from a single uncalibrated view),,中公 開的技術(shù)方案。需要說(shuō)明的是,在上面給出的實(shí)施方式中,以位置相似性度量、顏色相似性度量和 人臉相似性度量為例對(duì)本發(fā)明的用于采集人臉圖像的方法進(jìn)行了描述,實(shí)際上,其他可以 獲得的靜態(tài)線索同樣可以應(yīng)用于本發(fā)明。此外,本發(fā)明也可以基于上述給出的三個(gè)示例性 的相似性度量中的兩個(gè)來(lái)計(jì)算綜合相似性度量。這都屬于本發(fā)明的范圍。另外,需要說(shuō)明的是,在上面的實(shí)施方式中,描述了在形成人臉圖像類后根據(jù)應(yīng)用 需求選取人臉圖像作為輸出的實(shí)施方式。然而,需要說(shuō)明的是,這并非是必須的。在根據(jù)本 發(fā)明的其他實(shí)施方式中,形成的人臉圖像類可以存儲(chǔ)在存儲(chǔ)器中。而由后續(xù)的人臉識(shí)別模 塊或者應(yīng)用根據(jù)其自身需要從該存儲(chǔ)器中選取其所需的人臉圖像。在上述描述中,描述了基于度量性線索執(zhí)行人臉匹配的實(shí)施方式。但本發(fā)明并不 局限于此,在本發(fā)明的另一實(shí)施方式中,還可以基于非度量性線索來(lái)執(zhí)行人臉匹配,其中非 度量性線索是相對(duì)于度量性線索而言,是指不能直接度量的線索。例如,還可以在確定兩幅 目標(biāo)區(qū)域圖像的匹配關(guān)系時(shí),考慮兩幅目標(biāo)區(qū)域圖像之間的空間關(guān)系。本發(fā)明人注意到,在不同相機(jī)采集的圖像中,檢測(cè)到的人臉圖像存在一個(gè)固有的 空間關(guān)系,也可稱為左右關(guān)系。例如,在被觀測(cè)物體同一側(cè)的相機(jī)所采集的圖像中,與各個(gè) 物體對(duì)應(yīng)的圖像均保持相同的左右關(guān)系。相反,在被觀測(cè)物體不同側(cè)的相機(jī)所在采集的圖 像中,與各個(gè)物體對(duì)應(yīng)的圖像的左右關(guān)系是相反的。如果在匹配人臉圖像時(shí)可以考慮到這 種固有的左右關(guān)系,則人臉匹配的精度可以得到進(jìn)一步提高?;诖嬖谏鲜鋈四槇D像之間的空間關(guān)系的事實(shí),可以確定的是,對(duì)任意兩個(gè)相機(jī) 的拍攝到的目標(biāo)區(qū)域圖像中的人臉圖像而言,如果對(duì)應(yīng)的人臉都被正確匹配,則所有被確 定為匹配的人臉圖像的相似度量之和(即整體的相似性度量)會(huì)達(dá)到最大。換句話講,空 間關(guān)系可以表現(xiàn)為與最大整體相似性度量對(duì)應(yīng)的路徑(即最優(yōu)路徑)。因此,可以通過(guò)找出 最大的整體相似性度量來(lái)以隱含的方式在執(zhí)行人臉圖像匹配是考慮空間關(guān)系因素。接下參考圖4,圖4示出了根據(jù)本發(fā)明的該實(shí)施方式用于對(duì)人臉圖像執(zhí)行所述匹 配的方法。在該實(shí)施方式中,多個(gè)靜態(tài)線索可以包括度量性線索和非度量性線索。度量性線 索可以包括例如人臉圖像之間的相似性度量。非度量性線索可以包括例如空間關(guān)系線索。參考圖4,首先在步驟401,利用動(dòng)態(tài)規(guī)劃方法,確定同時(shí)以不同視角獲取的兩幅 目標(biāo)區(qū)域圖像中多幅人臉圖像之間關(guān)于所述相似性度量的最大整體度量,以考慮所述空間 關(guān)系線索,其中所述空間關(guān)系線索表現(xiàn)為與所述最大整體度量對(duì)應(yīng)的路徑。兩幅目標(biāo)區(qū)域圖像中多幅人臉圖像之間關(guān)于所述相似性度量的最大整體度量,即最大整體相似性度量,可以通過(guò)現(xiàn)有技術(shù)中已知的動(dòng)態(tài)規(guī)劃方法來(lái)確定。關(guān)于這一點(diǎn),本 領(lǐng)域技術(shù)人員例如可以參考2002年4月至6月的國(guó)際計(jì)算機(jī)視覺(jué)雜志中由D. Scharstein and R. Szeliski.發(fā)表的“對(duì)密集的兩幀立體照片對(duì)應(yīng)性算法的分類和評(píng)估(A taxonomy and evaluation of dense two-frame stereo correspondence algorithms)”一文。為了 清楚起見(jiàn),關(guān)于利用現(xiàn)有技術(shù)的動(dòng)態(tài)規(guī)劃方法執(zhí)行最大整體相似性度量確定的步驟,此處 不再贅述。接著,在步驟402,基于與所述最大整體相似性度量對(duì)應(yīng)的路徑,確定所述兩幅目 標(biāo)區(qū)域圖像中多幅人臉圖像之間的匹配關(guān)系。圖fe示例性地示出了與利用動(dòng)態(tài)規(guī)劃方法確定的最大整體相似性度量對(duì)應(yīng)的路 徑。如圖fe所示,X軸的坐標(biāo)例如表示一幅目標(biāo)區(qū)域圖像的人臉集合Sm的人臉圖像的索 引,Y軸例如表示另一幅目標(biāo)區(qū)域圖像的人臉集合Sn的人臉圖像的索引。其中從原點(diǎn)(0,0)曲折延伸至點(diǎn)(x,y)的線路即為與該最大整體相似性度量對(duì)應(yīng) 的路徑。圖恥示出了圖所示坐標(biāo)系統(tǒng)中的一個(gè)單元格。如圖恥所示,其中,如果對(duì)應(yīng) 的路徑沿著由正方形表示的單元格的水平實(shí)線邊行進(jìn),則表示人臉圖像集合Sm中的人臉 圖像i在人臉圖像集合Sn中沒(méi)有匹配的人臉圖像,即人臉圖像i無(wú)匹配的人臉圖像。如果 對(duì)應(yīng)的路徑沿著由正方形表示的單元格的垂直實(shí)線邊行進(jìn),則表示人臉圖像集合Sn中的 人臉圖像j在人臉圖像集合Sm中沒(méi)有匹配的人臉圖像,即人臉圖像j無(wú)匹配的人臉圖像。 而如果對(duì)應(yīng)的路徑沿著由正方形表示的單元格的對(duì)角線行進(jìn),則表示Sm中的人臉圖像i與 Sn中的人臉圖像j匹配。例如圖fe中示出的對(duì)應(yīng)路徑中,人臉圖像集合Sm中的人臉圖像1、3、4、5、7、8、10 和11分別與人臉圖像集合Sn中的人臉圖像1、2、4、5、7、8、9和10匹配,而Sm中的人臉圖 像2、6和9在人臉集合Sn中沒(méi)有與之相匹配的人臉圖像,Sn中的人臉圖像3和6在人臉 圖像集合Sm中也沒(méi)有與之匹配的人臉圖像。計(jì)算最大整體相似性度量所基于的相似性度量可以是由下式給出的相似性度 量
權(quán)利要求
1.一種用于采集人臉圖像的方法,包括同時(shí)以不同視角獲取同一目標(biāo)區(qū)域的多幅目標(biāo)區(qū)域圖像; 從所述多幅目標(biāo)區(qū)域圖像中檢測(cè)多個(gè)人臉區(qū)域,以得到多幅人臉圖像;以及 根據(jù)所述多幅人臉圖像之間的多個(gè)靜態(tài)線索,對(duì)所述多幅人臉圖像執(zhí)行人臉匹配,以 形成每個(gè)人臉的人臉圖像類。
2.根據(jù)權(quán)利要求1所述的方法,其中,所述多個(gè)靜態(tài)線索包括度量性線索,該度量性線 索包括多個(gè)相似性度量,以及所述執(zhí)行人臉匹配進(jìn)一步包括針對(duì)屬于不同目標(biāo)區(qū)域圖像的兩幅人臉圖像,計(jì)算其間的所述多個(gè)相似性度量; 基于所述多個(gè)相似性度量,計(jì)算綜合相似性度量;以及 基于所述綜合相似性度量,確定所述兩幅人臉圖像是否匹配。
3.根據(jù)權(quán)利要求2所述的方法,其中,所述確定所述兩幅人臉圖像是否匹配進(jìn)一步包 括通過(guò)比較所述綜合相似性度量和預(yù)定的度量閾值來(lái)確定所述兩幅人臉圖像是否匹配。
4.根據(jù)權(quán)利要求2所述的方法,其中,所述執(zhí)行人臉匹配進(jìn)一步包括計(jì)算一幅目標(biāo)區(qū)域圖像的一幅人臉圖像和另一目標(biāo)區(qū)域圖像的每幅人臉圖像之間的 各個(gè)綜合相似性度量;確定所述各個(gè)綜合相似性度量中的最大綜合相似性度量;以及 將與該最大綜合相似性度量相關(guān)的兩幅人臉圖像確定為匹配。
5.根據(jù)權(quán)利要求2所述的方法,其中,所述綜合相似性度量是所述多個(gè)相似性度量的 加權(quán)和。
6.根據(jù)權(quán)利要求2-5任一項(xiàng)所述的方法,其中,所述多個(gè)相似性度量包括以下之中的 兩個(gè)或更多位置相似性度量; 顏色相似性度量;以及 人臉相似性度量。
7.根據(jù)權(quán)利要求1所述的方法,其中,所述多個(gè)靜態(tài)線索包括度量性線索和非度量性 線索,其中該度量性線索包括人臉圖像之間的相似性度量,該非度量性線索包括空間關(guān)系 線索,所述執(zhí)行人臉匹配進(jìn)一步包括利用動(dòng)態(tài)規(guī)劃方法,確定同時(shí)以不同視角獲取的兩幅目標(biāo)區(qū)域圖像中多幅人臉圖像之 間關(guān)于所述相似性度量的最大整體度量,以考慮所述空間關(guān)系線索,其中所述空間關(guān)系線 索表現(xiàn)為與所述最大整體度量對(duì)應(yīng)的路徑;以及基于所述路徑,確定所述兩幅目標(biāo)區(qū)域圖像中所述多幅人臉圖像之間的匹配關(guān)系。
8.根據(jù)權(quán)利要求7所述的方法,其中,所述相似性度量包括以下其中至少一個(gè) 位置相似性度量;顏色相似性度量; 人臉相似性度量;以及綜合相似性度量,其是基于位置相似性度量、顏色相似性度量和人臉相似性度量其中 至少兩個(gè)的綜合度量。
9.根據(jù)權(quán)利要求1所述的方法,還包括根據(jù)應(yīng)用需求,從所述人臉圖像類中選取人臉圖像作為輸出。
10.一種用于采集人臉圖像的系統(tǒng),包括圖像獲取裝置,用于同時(shí)以不同視角獲取同一目標(biāo)區(qū)域的多幅目標(biāo)區(qū)域圖像; 人臉檢測(cè)裝置,用于從所述多幅目標(biāo)區(qū)域圖像中檢測(cè)多個(gè)人臉區(qū)域,以得到多幅人臉 圖像;以及人臉匹配裝置,用于根據(jù)所述多幅人臉圖像之間的多個(gè)靜態(tài)線索,對(duì)所述多幅人臉圖 像執(zhí)行人臉匹配,以形成每個(gè)人臉的人臉圖像類。
11.根據(jù)權(quán)利要求10所述的系統(tǒng),其中,所述多個(gè)靜態(tài)線索包括度量性線索,該度量性 線索包括多個(gè)相似性度量,以及所述人臉匹配裝置進(jìn)一步包括相似性度量計(jì)算裝置,用于針對(duì)屬于不同目標(biāo)區(qū)域圖像的兩幅人臉圖像,計(jì)算其間的 所述多個(gè)相似性度量;綜合度量計(jì)算裝置,用于基于所述多個(gè)相似性度量,計(jì)算綜合相似性度量;以及 匹配確定裝置,用于基于所述綜合相似性度量,確定所述兩幅人臉圖像是否匹配。
12.根據(jù)權(quán)利要求11所述的系統(tǒng),其中,所述匹配確定裝置進(jìn)一步用于通過(guò)比較所述 綜合相似性度量和預(yù)定的度量閾值來(lái)確定所述兩幅人臉圖像是否匹配。
13.根據(jù)權(quán)利要求11所述的系統(tǒng),其中,所述人臉匹配裝置進(jìn)一步用于計(jì)算一幅目標(biāo)區(qū)域圖像的一幅人臉圖像和另一目標(biāo)區(qū)域圖像的每幅人臉圖像之間的 各個(gè)綜合相似性度量;確定所述各個(gè)綜合相似性度量中的最大綜合相似性度量;以及 將與該最大綜合相似性度量相關(guān)的兩幅人臉圖像確定為匹配。
14.根據(jù)權(quán)利要求11所述的系統(tǒng),其中,所述綜合相似性度量是所述多個(gè)相似性度量 的加權(quán)和。
15.根據(jù)權(quán)利要求11至14任一項(xiàng)所述的系統(tǒng),其中,所述多個(gè)相似性度量包括以下之 中的兩個(gè)或更多位置相似性度量; 顏色相似性度量;以及 人臉相似性度量。
16.根據(jù)權(quán)利要求10所述的系統(tǒng),其中,所述多個(gè)靜態(tài)線索包括度量性線索和非度量 性線索,其中該度量性線索包括人臉圖像之間的相似性度量,該非度量性線索包括空間關(guān) 系線索,所述人臉匹配裝置進(jìn)一步包括最大整體度量確定裝置,用于利用動(dòng)態(tài)規(guī)劃方法,確定同時(shí)以不同視角獲取的兩幅目 標(biāo)區(qū)域圖像中多幅人臉圖像之間關(guān)于所述相似性度量的最大整體度量,以考慮所述空間關(guān) 系線索,其中所述空間關(guān)系線索表現(xiàn)為與所述最大整體度量對(duì)應(yīng)的路徑;以及匹配關(guān)系確定裝置,用于基于所述路徑,確定所述兩幅目標(biāo)區(qū)域圖像中所述多幅人臉 圖像之間的匹配關(guān)系。
17.根據(jù)權(quán)利要求16所述的系統(tǒng),其中,所述相似性度量包括以下其中至少一個(gè) 位置相似性度量;顏色相似性度量; 人臉相似性度量;以及綜合相似性度量,其是基于位置相似性度量、顏色相似性度量和人臉相似性度量其中至少兩個(gè)的綜合度量。
18.根據(jù)權(quán)利要求10所述的系統(tǒng),還包括人臉圖像輸出裝置,用于根據(jù)應(yīng)用需求,從所述人臉圖像類中選取人臉圖像作為輸出。
全文摘要
本發(fā)明提供了一種用于采集人臉圖像的方法。所述方法包括同時(shí)以不同視角獲取同一目標(biāo)區(qū)域的多幅目標(biāo)區(qū)域圖像;從所述多幅目標(biāo)區(qū)域圖像中檢測(cè)多個(gè)人臉區(qū)域,以得到多幅人臉圖像;根據(jù)所述多幅人臉圖像之間的多個(gè)靜態(tài)線索,對(duì)所述多幅人臉圖像執(zhí)行人臉匹配,以形成每個(gè)人臉的人臉圖像類。此外,本發(fā)明還提供一種用于采集人臉系統(tǒng)的相應(yīng)系統(tǒng)。根據(jù)本發(fā)明,可以獲取相同時(shí)刻的多幅目標(biāo)區(qū)域圖像,并可以采用簡(jiǎn)單而高效的方法對(duì)該多幅目標(biāo)區(qū)域圖像中的人臉圖像進(jìn)行匹配,從而形成對(duì)應(yīng)于每個(gè)人臉的人臉圖像類。因此,即使在沒(méi)有用戶配合的情況下,也可以為諸如人臉識(shí)別等后續(xù)應(yīng)用提供更加有效的人臉圖像輸入。
文檔編號(hào)G06K9/62GK102063607SQ200910220899
公開日2011年5月18日 申請(qǐng)日期2009年11月16日 優(yōu)先權(quán)日2009年11月16日
發(fā)明者張洪明, 曾煒 申請(qǐng)人:日電(中國(guó))有限公司