專利名稱：特征點定位裝置、其處理方法及圖像識別裝置的制作方法
技術(shù)領域：
本發(fā)明涉及特征點定位裝置、其處理方法以及圖像識別裝置。
背景技術(shù)：
已知一種用于從圖像數(shù)據(jù)中識別預定圖案(pattern)(例如，面部識別)的技術(shù)。 在這樣的識別處理中，面部器官或者與之相關(guān)的特征部位(以下稱之為特征點)的位置決 定是重要的工作，并且經(jīng)常限制識別性能。特征點的高精度位置決定需要高處理負荷，并且經(jīng)常限制總體識別處理所需的時 間。日本專利特開2009-75999號公報(以下稱為參考文獻1)公開了一種在要從運動圖像 數(shù)據(jù)中識別個體時，利用之前幀的識別結(jié)果來減少要從待處理的幀中提取的特征點的數(shù)量 的方法。即，一旦識別了目標人(追蹤狀態(tài))，就減少下一幀中要提取的特征點的數(shù)量，以此 來力口速處理。另一方面，[Beumer，G.M. ；Tao，Q. ；Bazen，A.M. ；Veldhuis，R. N. J. “A landmark paper in face recognition)面部識別方向的里程碑式的論文)"Automatic Face and Gesture Recognition,2006. FGR 2006. 7th InternationalConference,pp. 73-78(以下禾爾 為參考文獻2)]公開了一種根據(jù)幾何約束決定多個面部器官特征位置的方法。由于參考文獻1中公開的方法減少了特征點的數(shù)量，因此識別性能的降低相當嚴 重。當減少特征點時，在要使用所減少后的特征點來執(zhí)行的識別處理上增加了負荷。例如， 在識別處理中，必須要準備多個識別處理方法和參數(shù)(用于識別的各種處理參數(shù)、登記數(shù) 據(jù)等)，并且必須要從中選擇任意方法和參數(shù)。因此，作為替換和選擇參數(shù)的結(jié)果，處理時間 和處理所需的存儲資源增加。利用參考文獻2中公開的方法，使用子空間校正特征點的位置。但是，當目標特征 點的數(shù)量改變時，必須要準備與特征點的數(shù)量相應的子空間。

發(fā)明內(nèi)容
本發(fā)明提供一種即使以高速執(zhí)行特征點定位時、也能夠抑制精度降低的技術(shù)。根據(jù)本發(fā)明的第一方面，提供了一種特征點定位裝置，其針對圖像數(shù)據(jù)中的預定 圖案定位多個特征點，該特征點定位裝置包括第一候選決定單元，其被配置為執(zhí)行第一候 選決定處理，以決定所述特征點的候選位置；第二候選決定單元，其被配置為執(zhí)行處理速度 高于所述第一候選決定處理的第二候選決定處理，以決定所述特征點的候選位置；控制單 元，其被配置為控制所述第一候選決定單元和所述第二候選決定單元，以根據(jù)操作模式而 針對各個特征點選擇性地執(zhí)行所述第一候選決定處理和所述第二候選決定處理；以及校正 單元，其被配置為基于所述多個特征點之間的布局關(guān)系，來校正通過所述第一候選決定處 理和所述第二候選決定處理獲得的所述多個特征點的所述候選位置，其中，當所述操作模 式是以高于通常模式的速度執(zhí)行操作的高速模式時，所述控制單元進行控制以針對比所述 通常模式中多的特征點執(zhí)行所述第二候選決定處理。根據(jù)本發(fā)明的第二方面，提供了一種圖像識別裝置，其基于由上述特征點定位裝4置決定的所述多個特征點的位置，來識別所述圖像數(shù)據(jù)中的所述預定圖案。根據(jù)本發(fā)明的第三方面，提供了一種特征點定位裝置的處理方法，所述特征點定 位裝置針對圖像數(shù)據(jù)中的預定圖案定位多個特征點，所述處理方法包括以下步驟根據(jù)操 作模式選擇性地執(zhí)行第一候選決定處理和第二候選決定處理，其中，所述第一候選決定處 理決定所述特征點的候選位置，所述第二候選決定處理以高于所述第一候選決定處理的處 理速度決定所述特征點的候選位置，并且當所述操作模式是以高于通常模式的速度執(zhí)行操 作的高速模式時，針對比所述通常模式中多的特征點執(zhí)行所述第二候選決定處理；以及基 于所述多個特征點之間的布局關(guān)系，來校正通過所述第一候選決定處理和所述第二候選決 定處理獲得的所述多個特征點的所述候選位置。通過下面參照附圖對示例性實施例的說明，本發(fā)明的其他特征將變得清楚。


圖1是示出根據(jù)本發(fā)明的實施例的圖像識別裝置的結(jié)構(gòu)的示例的框圖；圖2是示出用于提取面部圖像的處理的示例的圖；圖3是示出通過圖1所示的CPU 17實現(xiàn)的功能結(jié)構(gòu)的示例的框圖；圖4是示出特征點的校正處理的示例的圖；圖5是示出圖1和圖2所示的圖像識別裝置10的操作的示例的流程圖；圖6是示出特征點的示例的圖；圖7示出了操作信息表的示例；圖8是示出圖5所示的步驟S108中的第一候選決定處理的概要的圖；圖9是示出圖5所示的步驟S112中的校正處理的概要的圖；圖IOA至圖IOC是示出根據(jù)第二實施例的特征點的示例的圖；圖11示出了根據(jù)第二實施例的操作信息表的示例；圖12A至圖12C是示出根據(jù)第三實施例的特征點的示例的圖；圖13示出了根據(jù)第三實施例的操作信息表的示例；以及圖14是示出根據(jù)第三實施例的圖像識別裝置10的操作的示例的流程圖。
具體實施例方式現(xiàn)在，參照附圖詳細說明本發(fā)明的示例性實施例。應當注意，除非另外特殊說明， 否則，這些實施例中描述的部件的相對設置、數(shù)字表達和數(shù)值并不限制本發(fā)明的范圍。(第一實施例)圖1是示出應用了根據(jù)本發(fā)明的實施例的特征點定位裝置的圖像識別裝置10的 結(jié)構(gòu)的示例的框圖。圖像識別裝置10包含一個或者多個計算機。圖像識別裝置10從圖像數(shù)據(jù)中提取 預定圖案(在本實施例中是面部圖像數(shù)據(jù))。然后，圖像識別裝置10從提取的面部圖像數(shù) 據(jù)中決定多個特征點的位置，并基于決定的特征點的位置執(zhí)行面部識別。在這種情況下，圖像識別裝置10包括圖像輸入單元11、預處理單元12、提取處理 單元 13、橋 14、DMA 控制器 15、CPU 17、ROM 18 以及 RAM 19。圖像輸入單元11將圖像數(shù)據(jù)輸入到該裝置。圖像輸入單元11例如通過用于控制光學系統(tǒng)設備、光電轉(zhuǎn)換設備以及傳感器的驅(qū)動電路、AD轉(zhuǎn)換器、用于控制各種圖像校正的 信號處理電路、以及幀緩存器等實現(xiàn)。預處理單元12對圖像輸入單元11輸入的圖像數(shù)據(jù)實施預處理。預處理包括，例 如，顏色轉(zhuǎn)換處理和對比校正處理。注意，實施預處理是為了有效地實現(xiàn)各種后續(xù)處理。預 處理單元12可以通過硬件或者軟件實現(xiàn)。提取處理單元13對預處理單元12處理(校正)過的圖像數(shù)據(jù)實施面部檢測處理， 并針對各檢測出的面部通過將其正規(guī)化至預定尺寸來提取面部圖像數(shù)據(jù)。注意，可以使用 常規(guī)提出的各種面部檢測方法。更具體地說，如圖2所示，提取處理單元13從預處理單元 12處理過的圖像31中檢測面部區(qū)域32，并通過將面部區(qū)域32正規(guī)化至預定尺寸來提取面 部圖像33。即，面部圖像33具有獨立于面部的恒定尺寸。在下面的描述中，特征點的位置 將以其在面部33中的坐標來說明。這種情況下的坐標通過以面部圖像33的左上端為原點 的坐標系(χ和y坐標)來表現(xiàn)。注意，經(jīng)由DMA (Direct Memory Access，直接存儲訪問) 控制器15將提取的圖像存儲在RAM (Random Access Memory,隨機存取存儲器)19中。CPU(中央處理單元)17系統(tǒng)地控制圖像識別裝置10中的操作。CPU17例如針對 存儲在RAM 19中的面部圖像33執(zhí)行識別處理。橋14設置在圖像總線20和CPU總線16之間，并提供總線橋功能。ROM (Read Only Memory，只讀存儲器)18存儲由CPU 17執(zhí)行的控制程序。RAM 19用作CPU 17的工作區(qū)域。 RAM 19還存儲指示作為識別目標登記的人的面部的信息(例如，指示特征的特征矢量)。注 意，RAM19由例如，諸如DRAM(動態(tài)RAM)的相對大容量的存儲器構(gòu)成，并經(jīng)由存儲器控制器 (未示出)連接到CPU總線16。圖像總線20和CPU總線16上的設備同步操作。圖3是示出圖1所示的CPU 17實現(xiàn)的功能結(jié)構(gòu)的示例的框圖。CPU17實現(xiàn)的各種 處理功能主要在CPU 17執(zhí)行存儲在ROM 18中的控制程序時實現(xiàn)。注意，CPU 17包括模式確定單元41、控制單元42、校正單元45和識別單元46作 為功能部件。模式確定單元41確定操作模式。根據(jù)第一實施例的操作模式包括通常模式和追 蹤模式(高速模式)。在通常模式中，通過與處理速度相比更強調(diào)識別精度來執(zhí)行面部識 別。在追蹤模式中，盡管允許一定程度的精度降低，但是執(zhí)行高速處理?；谠谥皫惺?否識別了要識別的人(作為識別目標登記的人)來進行模式確定。更具體地說，模式確定 單元41參照存儲在RAM 19中的之前幀的識別結(jié)果確定操作模式?？刂茊卧?2控制特征點的候選位置的決定處理的執(zhí)行?？刂茊卧?2包括第一候 選決定單元43和第二候選決定單元44。第一候選決定單元43執(zhí)行第一候選決定處理以決定特征點的候選位置。該處理 使用，例如CNN(Convolutional Neural Networks，卷積神經(jīng)網(wǎng)絡)計算來以高精度決定特 征點的候選位置。也就是說，第一候選決定單元43使用雖然需要長的處理時間但能夠保證 高精度的方法，來決定特征點的候選位置。第二候選決定單元44執(zhí)行第二候選決定處理以決定特征點的候選位置。該處理 采用具有輕處理負荷的方法高速決定特征點的候選位置。該實施例將對預先計算特征點的 平均位置、并將其用作特征點的候選位置的情況進行說明。特征點的平均位置可以使用例 如幾何校正處理(下面描述)中使用的平均矢量值。即，第二候選決定單元44根據(jù)通過學習(learning)預先計算的平均矢量，決定對應的特征點的坐標值的候選。校正單元45對第一候選決定單元43和第二候選決定單元44決定的特征點的候 選位置實施校正處理。例如，如圖4所示，假設決定了特征點的候選位置。在這種情況下， 特征點40 指示眼角，但是它布置在眉毛一端的位置。校正單元45將特征點40 校正到 特征點402b的位置。注意，下文將說明該校正處理的細節(jié)，且校正單元45基于人的面部特 征的布置關(guān)系，通過統(tǒng)計處理校正位置。識別單元46基于校正過的特征點的位置執(zhí)行識別處理(在該實施例中是面部識 別)。注意，識別處理的方法并不特別限定，因為各種常規(guī)提出的方法可以用作識別處理。 例如，參照決定的特征點的位置提取多個局部區(qū)域，并且通過例如正交變換執(zhí)行局部區(qū)域 的維度縮減。然后，將經(jīng)過尺寸縮減的數(shù)據(jù)用作特征矢量。同樣，通過與計算出的登記的人 的特征矢量的相關(guān)計算來計算與登記的人的相似度。注意，登記的人的特征矢量在識別之 前存儲在例如RAM 19中。參照特征矢量的位置計算多個特征矢量。例如，基于包括眼睛、 鼻子和嘴的多個局部區(qū)域計算特征矢量。然后，結(jié)合多個計算出的特征矢量的校正值來計 算最終相似度。在計算出最終相似度后，進行閾值處理，并且基于處理結(jié)果確定是否要識別 該登記的人。以此方式，可以實現(xiàn)識別處理。上面說明了 CPU 17實現(xiàn)的功能結(jié)構(gòu)的示例。注意，上述結(jié)構(gòu)并不總是由CPU 17 實現(xiàn)。例如，可以在硬件中實現(xiàn)部分或者全部部件。以下將參照圖5說明圖1和圖2中示出的圖像識別裝置10的操作的示例。在該 示例中，將說明當執(zhí)行特征點位置決定處理和面部識別處理時的操作。注意，該處理主要由 CPU 17執(zhí)行。當該處理開始時，圖像識別裝置10使用模式確定單元41確定操作模式(SlOl)。 如上所述，確定操作模式是通常模式還是追蹤模式。在模式確定之后，圖像識別裝置10基于模式確定結(jié)果使用控制單元42獲取操作 信息。更具體地說，如果操作模式是通常模式(S102:是)，則控制單元42獲取通常模式中 的操作信息(通常模式表)(S103)。另一方面，如果操作模式是追蹤模式(S102 否)，則控 制單元42獲取追蹤模式中的操作信息(追蹤模式表)(S104)。也就是說，控制單元42根 據(jù)操作模式獲取不同的操作信息。圖6示出了面部器官和與這些面部器官相關(guān)的特征點的 位置的示例。執(zhí)行特征點位置決定處理以確定圖6所示的特征點401至415(在該示例中 有15個特征點)的位置。圖7所示的操作信息表(包括通常模式表和追蹤模式表)針對 各特征點，規(guī)定使用第一候選決定處理和第二候選決定處理中的哪個來決定特征點的候選 位置。圖7所示的操作信息表中規(guī)定的“1”表示將要執(zhí)行由第一候選決定單元43進行的 第一候選決定處理，“2”表示將要執(zhí)行由第二候選決定單元44進行的第二候選決定處理。在獲取操作信息之后，圖像識別裝置10使用控制單元42指定作為位置決定目標 的特征點(S105)。也就是說，控制單元42指定特征點401至415中至少一個作為位置決定 目標?；诶珙A先設置的信息進行該指定。接下來，圖像識別裝置10決定各個特征點的候選位置。注意，該處理以步驟S105 中的處理中決定的特征點為目標。如上所述，使用第一候選決定單元43和第二候選決定單 元44中的一者決定各個特征點的候選位置。使用第一候選決定單元43和第二候選決定單 元44中的哪個，遵循操作信息表中規(guī)定的操作信息。當決定了各個特征點的候選位置時，基于步驟S103或S104中獲取的操作信息決定當決定第η個特征點的候選位置時要執(zhí)行的 處理(S106)。然后，根據(jù)該決定結(jié)果，執(zhí)行第一候選決定處理(S107中的“是”之后的S108) 或者第二候選決定處理(S107中的“否”之后的S109)。也就是說，根據(jù)操作模式使用不同 的方法針對各個特征點決定候選位置。例如，參照圖7所示的表，在通常模式中，針對所有 的特征點執(zhí)行由第一候選決定單元43進行的第一候選決定處理。在追蹤模式中，針對各個 特征點執(zhí)行不同的處理。例如，針對特征點401和402執(zhí)行第一候選決定處理，針對特征點 403和404執(zhí)行第二候選決定處理。以此方式，在通常模式中，以高精度決定所有特征點的 候選位置。另一方面，在追蹤模式中，通過第一候選決定處理(例如使用CNN計算)以高精 度決定特征點401，402，405，406，412和415的候選位置，通過第二候選決定處理(例如使 用平均矢量)以高速決定剩余的特征點的候選位置。也就是說，在追蹤模式中，僅僅后續(xù)處 理中的一些具有高度重要性的特征點的候選位置以高精度計算。注意，考慮到處理速度和 性能，預先決定圖7所示的操作信息表中規(guī)定的信息。之后，圖像識別裝置10使用控制單元42確定是否針對作為位置決定目標的所有 特征點執(zhí)行了上述步驟S106至S109中的處理。如果仍然存在要決定候選位置的特征點 (步驟SllO 否)，則控制單元42針對下一個特征點(η = η+1)執(zhí)行同樣的處理(Slll)。 另一方面，如果處理了作為目標的所有特征點(S110:是)，則圖像識別裝置10使用控制單 元42將所決定的特征點的候選位置存儲在RAM 19中。接下來，圖像識別裝置10使用校正單元45對由前述處理獲得的特征點的候選位 置(在本實施例中有15個候選位置)實施幾何校正處理。這樣，決定特征點的最終位置 (S112)。在決定了特征點的最終位置之后，圖像識別裝置10使用識別單元46，基于特征點 的最終位置(特征點的校正位置)實施面部識別處理(Si 13)，并將結(jié)果存儲在例如RAM 19 中(S114)。之后，圖像識別裝置10針對下一幀執(zhí)行前述處理。注意，不論操作模式如何，在 步驟S113中的識別處理中使用的局部區(qū)域的數(shù)量和類型都相同。即，在本實施例中，不論 操作模式如何都執(zhí)行相同的識別處理。下面，將參照圖8說明圖5所示的步驟S108中的第一候選決定處理。根據(jù)本實施 例的第一候選決定處理使用CNN計算。為了便于理解，下面將舉例說明要決定兩個特征點 的候選位置的情況。CNN計算包括分級特征提取處理。圖8示出了兩層CNN計算的示例，第一層506的 特征的數(shù)量是3，第二層510的特征的數(shù)量是2。附圖標記501表示面部圖像數(shù)據(jù)，其與使 用圖2描述的面部圖像33對應。附圖標記503a至503c表示第一層506的特征面。特征面是存儲通過特征提取濾 波器(卷積計算的累積和處理和非線性處理)對前一層數(shù)據(jù)進行掃描和計算而獲得的結(jié)果 的圖像數(shù)據(jù)面。特征面是對光柵掃描的圖像數(shù)據(jù)的檢測結(jié)果。因此，該檢測結(jié)果用面表示。參照面部圖像數(shù)據(jù)501使用不同的特征提取濾波器來計算特征面503a至503c。 分別通過二維卷積濾波器50 至5(Mc的計算以及該計算結(jié)果的非線性轉(zhuǎn)換而生成特征面 503a至503c。注意，附圖標記502表示卷積計算所需的參照圖像區(qū)域。例如，具有濾波尺 寸=11X11(水平長度X垂直高度)的卷積濾波器計算使用以下給出的積和計算
權(quán)利要求
1.一種特征點定位裝置，其針對圖像數(shù)據(jù)中的預定圖案定位多個特征點，該特征點定 位裝置包括第一候選決定單元，其被配置為執(zhí)行第一候選決定處理，以決定所述特征點的候選位置；第二候選決定單元，其被配置為執(zhí)行處理速度高于所述第一候選決定處理的第二候選 決定處理，以決定所述特征點的候選位置；控制單元，其被配置為控制所述第一候選決定單元和所述第二候選決定單元，以根據(jù) 操作模式而針對各個所述特征點選擇性地執(zhí)行所述第一候選決定處理和所述第二候選決 定處理；以及校正單元，其被配置為基于所述多個特征點之間的布局關(guān)系，來校正通過所述第一候 選決定處理和所述第二候選決定處理獲得的所述多個特征點的所述候選位置，其中，當所述操作模式是以高于通常模式的速度執(zhí)行操作的高速模式時，所述控制單 元進行控制以針對比所述通常模式中多的特征點執(zhí)行所述第二候選決定處理。
2.根據(jù)權(quán)利要求1所述的特征點定位裝置，其中，所述第二候選決定處理需要比所述 第一候選決定處理小的計算量。
3.根據(jù)權(quán)利要求1所述的特征點定位裝置，其中，在所述第一候選決定處理和所述第 二候選決定處理中，通過搜索所述圖像數(shù)據(jù)中的范圍來決定所述特征點的所述候選位置， 并且所述第二候選決定處理進行搜索的范圍窄于所述第一候選位置決定處理進行搜索的 范圍。
4.根據(jù)權(quán)利要求1所述的特征點定位裝置，其中，所述校正單元包括生成單元，其被配置為通過聯(lián)結(jié)所述多個特征點的所述候選位置的坐標數(shù)據(jù)來生成矢量數(shù)據(jù)；減法器，其被配置為從所述生成單元生成的所述矢量數(shù)據(jù)中減去預先計算出的平均矢量；投影單元，其被配置為使用預先計算出的本征矢量，將所述減法器減過的所述矢量數(shù) 據(jù)投影到具有與所述本征矢量相同維度的子空間上；逆投影單元，其被配置為使用所述本征矢量，對所述投影單元投影了的所述矢量數(shù)據(jù) 進行逆投影；以及加法器，其被配置為將所述平均矢量加到由所述逆投影單元進行了逆投影的所述矢量 數(shù)據(jù)中，并將結(jié)果作為所述特征點的校正位置輸出。
5.根據(jù)權(quán)利要求4所述的特征點定位裝置，其中，通過使用根據(jù)所述操作模式所需的 所有特征點的位置坐標數(shù)據(jù)進行學習，來生成所述平均矢量和所述本征矢量。
6.根據(jù)權(quán)利要求4所述的特征點定位裝置，其中，所述第二候選決定單元將與所述平 均矢量對應的元素決定為所述特征點的所述候選位置。
7.根據(jù)權(quán)利要求1所述的特征點定位裝置，其中，所述控制單元包括狀態(tài)確定單元，所 述狀態(tài)確定單元被配置為確定所述圖像數(shù)據(jù)中的所述預定圖案的狀態(tài)，并且，所述控制單元控制所述第一候選決定單元和所述第二候選決定單元，以根據(jù)所述狀態(tài) 確定單元的確定結(jié)果和所述操作模式而針對所述各個特征點選擇性地執(zhí)行所述第一候選 決定處理和所述第二候選決定處理。
8.一種圖像識別裝置，其基于根據(jù)權(quán)利要求1所述的特征點定位裝置決定的所述多個 特征點的位置，來識別所述圖像數(shù)據(jù)中的所述預定圖案。
9.一種特征點定位裝置的處理方法，所述特征點定位裝置針對圖像數(shù)據(jù)中的預定圖案 定位多個特征點，所述處理方法包括以下步驟根據(jù)操作模式選擇性地執(zhí)行第一候選決定處理和第二候選決定處理，其中，所述第一 候選決定處理決定所述特征點的候選位置，所述第二候選決定處理以高于所述第一候選決 定處理的處理速度決定所述特征點的候選位置，并且當所述操作模式是以高于通常模式的 速度執(zhí)行操作的高速模式時，針對比所述通常模式中多的特征點執(zhí)行所述第二候選決定處 理；以及基于所述多個特征點之間的布局關(guān)系，來校正通過所述第一候選決定處理和所述第二 候選決定處理獲得的所述多個特征點的所述候選位置。
全文摘要
本發(fā)明提供一種特征點定位裝置、其處理方法及圖像識別裝置。所述特征點定位裝置針對圖像數(shù)據(jù)中的預定圖案定位多個特征點。所述裝置根據(jù)操作模式選擇性地執(zhí)行決定所述特征點的候選位置的第一候選決定處理和以高于所述第一候選決定處理的處理速度決定所述特征點的候選位置的第二候選決定處理，并且當所述操作模式是以高于通常模式的速度執(zhí)行操作的高速模式時，針對比所述通常模式中多的特征點執(zhí)行所述第二候選決定處理；并且基于所述多個特征點之間的布局關(guān)系，來校正通過所述第一候選決定處理和所述第二候選決定處理獲得的所述多個特征點的所述候選位置。
文檔編號G06K9/32GK102043956SQ201010511498
公開日2011年5月4日 申請日期2010年10月19日 優(yōu)先權(quán)日2009年10月19日
發(fā)明者加藤政美, 森克彥 申請人:佳能株式會社