本申請涉及用于估計人臉圖像的人臉關鍵點的方法，以及用于估計人臉圖像的人臉關鍵點的系統(tǒng)。

背景技術(shù)：

人臉對齊是各種人臉分析的關鍵部分，諸如，人臉驗證和表情分類。已經(jīng)公布了各種基準數(shù)據(jù)集，每個數(shù)據(jù)集含有大量加了標簽的圖像。盡管在收集數(shù)據(jù)集時盡可能使得數(shù)據(jù)集豐富且多樣化，但實際上，數(shù)據(jù)集固有的偏差是不可避免的。

偏差的呈現(xiàn)形式是：數(shù)據(jù)集上存在的不同特征和分布。例如，一個集主要含有多數(shù)是正臉的白種高加索男性，而另一集由帶有各種姿勢或嚴重遮擋的頗具挑戰(zhàn)性的樣本組成。此外，在數(shù)據(jù)集上，輪廓視圖(profileviews)之間的分布差異可相差幾乎10％以上。顯然，在一個數(shù)據(jù)集上強制訓練模型將容易導致過度擬合，并且導致在未知領域中表現(xiàn)會較差。為了改善一般化(generalization)，具有實際意義的是將不同數(shù)據(jù)集組合，以便利用多個來源的特征和分布。然而，由于需要在數(shù)據(jù)庫融合成為可能之前付出大量努力對標注差距(annotationgap)進行標準化，因此該想法被阻礙。

技術(shù)實現(xiàn)要素：

在本申請的一方面，公開用于估計人臉圖像的人臉關鍵點的方法，該方法包括：

獲取具有第一類型關鍵點標注的第一人臉圖像數(shù)據(jù)集和具有第二類型關鍵點標注的第二人臉圖像數(shù)據(jù)集；

將第一類型關鍵點標注從第一人臉圖像數(shù)據(jù)集轉(zhuǎn)移到第二人臉圖像數(shù)據(jù)集，以獲取第二人臉圖像數(shù)據(jù)集的偽第一類型標注；以及

將具有偽第二類型關鍵點標注的第二人臉圖像數(shù)據(jù)集和第一人臉圖像數(shù)據(jù)集進行組合，以使第二人臉圖像數(shù)據(jù)集具有第一類型關鍵點標注。

在本申請的另一方面，公開用于估計人臉圖像的人臉關鍵點的系統(tǒng)，該系統(tǒng)包括：

轉(zhuǎn)移對齊裝置，其被配置成獲取具有第一類型關鍵點標注的第一人臉圖像數(shù)據(jù)集和具有第二類型關鍵點標注的第二人臉圖像數(shù)據(jù)集，并且將第一類型關鍵點標注從第一人臉圖像數(shù)據(jù)集轉(zhuǎn)移到第二人臉圖像數(shù)據(jù)集，以獲取第二人臉圖像數(shù)據(jù)集的偽第一類型標注；以及

數(shù)據(jù)增補裝置，其被配置成將具有偽第二類型關鍵點標注的第二人臉圖像數(shù)據(jù)集和第一人臉圖像數(shù)據(jù)集進行組合，以使第二人臉圖像數(shù)據(jù)集具有第一類型關鍵點標注。

附圖說明

下文參考附圖描述本發(fā)明的示例性非限制實施例。附圖是說明性的，并且一般不按確切比例。不同圖上的相同或類似元件引用相同的附圖標號。

圖1是示出根據(jù)本申請的一個實施例的用于轉(zhuǎn)移人臉關鍵點標注的示例性系統(tǒng)100的示意圖。

圖2是示出根據(jù)本申請的一個實施例的用于轉(zhuǎn)移對齊裝置10的示例性框圖的示意圖。

圖3示出用來展示單元101到106如何協(xié)作以獲取新訓練集的偽s型標注的過程200的流程圖。

圖4是示出符合本申請的一些公開實施例的用于轉(zhuǎn)移模型訓練單元的詳細過程的示意流程圖。

圖5示出符合本申請的另一公開實施例的數(shù)據(jù)增補裝置的過程的流程圖。

圖6是示出根據(jù)本申請的一個實施例的用于確定人臉關鍵點的示例性系統(tǒng)的示意圖。

圖7示出根據(jù)本申請的一個實施例的訓練裝置訓練預測裝置的過程的流程圖。

圖8示出根據(jù)本申請的一個實施例的用于預測裝置的詳細過程的流程圖。

具體實施方式

現(xiàn)在將詳細參考示例性實施例，這些實施例的示例將在附圖中說明。在適當?shù)臅r候，附圖中相同的附圖標號始終指代相同或相似部分。

圖1是示出根據(jù)本申請的一個實施例的用于轉(zhuǎn)移人臉關鍵點標注的示例性系統(tǒng)100的示意圖。如圖1所示，用于轉(zhuǎn)移人臉關鍵點標注的系統(tǒng)100可包括轉(zhuǎn)移對齊裝置10和數(shù)據(jù)增補裝置20。

轉(zhuǎn)移對齊裝置10被配置成獲取具有s型關鍵點標注的第一人臉圖像的第一(原始)訓練集(下文也稱為“集1”)和具有t型關鍵點標注的第二(新)訓練集(下文也稱為“集2”)，并且將s型關鍵點標注從原始人臉圖像數(shù)據(jù)集(訓練數(shù)據(jù)集)轉(zhuǎn)移到新訓練集，以便獲取新訓練集的偽s型標注。在本申請的實施例中，關鍵點標注可包括給定人臉圖像上的人臉關鍵點，諸如，眼睛、鼻子和嘴角。數(shù)據(jù)增補裝置20便被配置成將具有偽s型關鍵點標注的新訓練集和原始訓練集組合成經(jīng)增補的數(shù)據(jù)訓練集，即，使新訓練集具有s型關鍵點標注。根據(jù)本申請的一些實施例，s型可更密集，具有多個(例如，194個或更多)關鍵點，甚至人臉外輪廓都被標注，而t型可更稀疏，只具有僅在眼睛和嘴角上的少許(例如，5個)關鍵點。

只有在提供新訓練集上的t型標注時，這個轉(zhuǎn)移對齊裝置10才可預測新訓練數(shù)據(jù)集上的s型標注。但本申請的目標是預測任意輸入人臉圖像的s型標注，使得不需要t型標注來預測關鍵點標注。由于包括比新訓練數(shù)據(jù)集更多樣的訓練樣本，因此，可得到用于預測人臉圖像的s型關鍵點的更穩(wěn)健模型。

在本申請的一個實施例中，轉(zhuǎn)移對齊裝置還被配置成從第一類型關鍵點與第二類型關鍵點標注之間的公用關鍵點索引、初始第一類型標注和第一人臉圖像數(shù)據(jù)集中確定轉(zhuǎn)移模型{mpca,k,mreg,k}；并且基于轉(zhuǎn)移模型，將第一關鍵點標注從第一人臉圖像數(shù)據(jù)集轉(zhuǎn)移到第二人臉圖像數(shù)據(jù)集，以獲取第二人臉圖像數(shù)據(jù)集的偽第一類型標注。圖2是示出根據(jù)本申請的一個實施例的用于轉(zhuǎn)移對齊裝置10的示例性框圖的示意圖。如圖2所示，轉(zhuǎn)移對齊裝置10可包括公用關鍵點確定單元101、映射單元102、第一標注估計單元103、轉(zhuǎn)移模型單元104、第二標注估計單元105和偽標注確定單元106。

圖3示出用來展示單元101到106如何協(xié)作以獲取新訓練集的偽s型標注的過程300的流程圖。

在步驟s301處，公用關鍵點確定單元101操作以獲取具有s型關鍵點標注的第一人臉圖像的第一訓練集{i1,xs,b1}(集1)和具有t型關鍵點標注的第二訓練集{i2,xt,b2}(集2)，其中第一和第二訓練集分別包括圖像i1和圖像i2中的每個人臉的邊界框b1和b2，其中ii表示來自具有索引i的訓練圖像集的人臉圖像，xk表示關鍵點位置(在x-y坐標中)，并且b1和b2分別表示圖像i1和圖像i2的邊界框。然后，公用關鍵點確定單元101確定兩個類型的標注(即，數(shù)據(jù)集1中的s型關鍵點標注和數(shù)據(jù)集2中的t型關鍵點標注)的多個公用關鍵點索引(xs)common。在實施例中，公用關鍵點(xs)common存在于數(shù)據(jù)集1和數(shù)據(jù)集2上。公用關鍵點標注被定義為以不同數(shù)據(jù)集上的決定性語義定義良好地標識的人臉關鍵點，諸如，左眼角和右眼角、嘴角和瞳孔中心。

在步驟s302處，映射單元102操作以獲得從公用關鍵點標注索引(xs)common到原始訓練集(即，集1)中的s型關鍵點xs的映射矩陣t。為了獲得映射，可使用簡單線性回歸，并且一般學習方案是其中xsc是(xs)common的縮寫，并且‘(xs)common*t’中的‘*’是指矩陣相乘，而不是卷積。

在步驟s303處，第一標注估計單元103操作以根據(jù)下列規(guī)則，基于從步驟s201中獲取的公用關鍵點(xs)common和從步驟s202中獲取的映射t來計算數(shù)據(jù)集1上的初始或估計的s型標注x：

x＝(xs)common*t。1)

在步驟s304處，轉(zhuǎn)移模型訓練單元104操作以從來自步驟s301的公用關鍵點索引(xs)common、初始s型標注x和具有s型關鍵點標注的第一訓練數(shù)據(jù)集{i1,xs,b1}(即，數(shù)據(jù)集1)中確定轉(zhuǎn)移模型m，這將在之后參考圖4論述。

在步驟s305處，第二標注估計單元105接收新訓練數(shù)據(jù)集(即，集2)(具有t型標注{i2,xt,b2})并且根據(jù)下列規(guī)則，使用從s302獲取的映射t和從s301獲取的公用關鍵點索引(xt)common來得到新訓練數(shù)據(jù)集(數(shù)據(jù)集2)的初始化/估計的標注x：

x＝(xt)common*t。2)

在步驟s306處，針對迭代k中的每個，偽標注確定單元106操作以提取數(shù)據(jù)集1的局部外貌信息φ(x)和只針對公用關鍵點(xs)common的特征雅可比行列式φ(x^*)-φ(x)，然后根據(jù)下列規(guī)則，將局部外貌信息φ(x)和特征雅可比行列式連接，作為特征f：

f(x)＝[(φ(x^*)-φ(x))common,φ(x)private]3)

其中[]是指矩陣連接，

φ(x)是根據(jù)坐標x來提取局部sift(尺度不變特征變換)特征，并且sift將被作為未知框。

然后，偽標注確定單元106操作以根據(jù)下列規(guī)則，基于轉(zhuǎn)移模型m來計算估計的標注誤差δx：

δx＝mreg(mpca(f))4)

其中mpca將原始特征變換成pca(主成分分析)特征，mreg將pca特征變換成回歸位移目標。

偽標注確定單元106然后根據(jù)公式5)的規(guī)則來更新當前估計的標注x，并且從最后的迭代中輸出x，即，偽標注

x＝x+δx5)

在下文中，將參考圖4進一步論述轉(zhuǎn)移模型訓練單元104的詳細過程。

在步驟s3041處，將由轉(zhuǎn)移模型訓練單元104來準備訓練數(shù)據(jù)集。具體地說，轉(zhuǎn)移模型訓練單元104接收具有s型關鍵點標注的第一人臉圖像的第一訓練數(shù)據(jù)集{i1,xs}(數(shù)據(jù)集1)并且準備下列數(shù)據(jù)，然后開始針對k個迭代進行訓練：

1)公用關鍵點索引(xs)common，

2)人臉圖像i＝i1，

3)初始化/估計的標注x

4)基本真實標注x^*＝xs

在步驟s3042處，轉(zhuǎn)移模型訓練單元104操作以提?。?1)數(shù)據(jù)集1的局部外貌信息φ(x)，和(2)只針對公用關鍵點(xs)common的特征雅可比行列式φ(x^*)-φ(x)，然后根據(jù)公式3)的規(guī)則將這兩部分(1)和(2)連接，作為特征f，如上文所述。

在s3043處，轉(zhuǎn)移模型訓練單元104根據(jù)δx＝x^*-x的規(guī)則來計算估計的當前形狀x與基本真實形狀x^*之間的相異度。

在s3044處，轉(zhuǎn)移模型訓練單元104經(jīng)由對特征f執(zhí)行pca分析來得到pca投影模型mpca；并且經(jīng)由嶺回歸得到從pca投影特征到相異度的映射mreg。在本申請的一個實施例中，出于訓練的目的，使用奇異值分解來執(zhí)行主成分分析(pca)，從而輸出含有均值向量和投影系數(shù)的pca投影模型mpca。在測試階段，通過首先減去具有均值向量的原始特征，然后執(zhí)行與投影系數(shù)的矩陣相乘來獲取pca投影特征。嶺回歸(ridgeregression)是含有系數(shù)和偏差的映射函數(shù)，它將用來獲取δx，如等式4所示。

在步驟s3045處，轉(zhuǎn)移模型訓練單元104操作以確定估計的形狀是否收斂到基本真實形狀。如果是的話，那么在步驟s2046處，轉(zhuǎn)移模型訓練單元104將根據(jù)下列規(guī)則來確定轉(zhuǎn)移模型m(含有用于每個迭代的pca(主成分分析)投影模型和映射函數(shù))：

否則，在步驟s3047處，將估計的標注更新為x＝x+mreg(mpca(f))，然后將它輸入到步驟s3041。

在下文中，將詳細論述數(shù)據(jù)增補裝置20。如上文所述，數(shù)據(jù)增補裝置20被配置成將具有偽s型關鍵點標注的新訓練集和原始訓練集組合成經(jīng)增補的數(shù)據(jù)訓練集。用于新訓練集的s型關鍵點標注可不準確，所以它被稱為“偽s型標注”，因此需要然后的數(shù)據(jù)增補過程，以從偽s型標注中移除誤差。

圖5示出數(shù)據(jù)增補裝置20的過程的流程圖500。具體而言，在步驟s501處，數(shù)據(jù)增補裝置20操作以通過將估計的公用關鍵點和基本真實公用關鍵點進行比較來從新訓練數(shù)據(jù)集的偽s型關鍵點標注中過濾錯誤轉(zhuǎn)移的標注，以便得到清理后的訓練集在步驟502處，數(shù)據(jù)增補裝置20接收原始訓練集(數(shù)據(jù)集1)(具有s型關鍵點標注{i1,xs,b1})，然后將清理后的新訓練集與原始訓練集進行組合，以獲取{ia,xs,b}。

圖6是示出根據(jù)本申請的一個實施例的用于確定人臉關鍵點的示例性系統(tǒng)1000的示意圖。如圖6所示，除了轉(zhuǎn)移對齊裝置10和數(shù)據(jù)增補裝置20之外，系統(tǒng)1000還可包括訓練裝置30和預測裝置40。系統(tǒng)1000中的轉(zhuǎn)移對齊裝置10和數(shù)據(jù)增補裝置20的操作與系統(tǒng)100的那些裝置相同，因此，下文將省略它們的詳細描述。

由數(shù)據(jù)增補裝置20生成的組合數(shù)據(jù)集可被作為訓練裝置30用來訓練預測裝置40的預定訓練集。

圖7示出訓練裝置30訓練預測裝置40的過程的流程圖700。在步驟s701處，訓練裝置30接收來自數(shù)據(jù)增補裝置20的具有圖像的邊界框的經(jīng)增補訓練集{ia,xs,b}，然后學習初始化函數(shù)init(b)，以估計初始關鍵點與邊界框b之間的關系，以便根據(jù)邊界框b和學習的init(b)來得到初始化的關鍵點x?？芍庇^地確定函數(shù)intit。例如，它可相對于邊界框來生成初始關鍵點，例如，以定位初始左眼中心，來自所有訓練樣本的相對位置都將被平均地學習，然后它找到左眼位置(向上高度0.25且向左0.3)。如果存在具有上：100、下：200、左：500、右：600的測試樣本的邊界框，那么左眼中心的初始坐標將是x＝530，y＝125。相對于左眼中心而言，本申請始終將0.25和0.3用于所有樣本，并且其他關鍵點相同。

在步驟s702處，將準備訓練數(shù)據(jù)集。具體地說，訓練裝置30接收具有s型關鍵點標注的第一人臉圖像的第一訓練集{i1,xs}(數(shù)據(jù)集1)并且準備下列數(shù)據(jù)，然后開始針對k個迭代進行訓練：

人臉圖像i＝ia，

初始化/估計的標注x

基本真實標注x^*＝xs，

在步驟s703處，訓練裝置30操作以提取經(jīng)增補訓練集{ia,xs,b}的局部外貌信息φ(x)，并且將提取的局部外貌信息表示為特征f。

在步驟s704處，訓練裝置30操作以根據(jù)δx＝x^*-x的規(guī)則來計算估計的當前形狀x與基本真實形狀x^*之間的相異度δx。

在步驟s705處，訓練裝置30經(jīng)由對特征f執(zhí)行pca(主成分分析)分析來得到pca投影模型mpca,k；并且經(jīng)由嶺回歸得到從pca投影特征到相異度的映射mreg,k。

在步驟s706處，訓練裝置30操作以確定估計的形狀是否收斂到基本真實形狀。如果是的話，那么在步驟s707處，訓練裝置30將確定模型m＝{mpca,k,mreg,k}，(含有用于每個迭代的pca投影模型和映射函數(shù))。

否則，在步驟s708處，將估計的標準更新為x＝x+mreg(mpca(f))，然后將它輸入到步驟s702，以重復步驟s703到s708，以便獲取穩(wěn)健模型訓練模型m和初始化函數(shù)init(b)。

再次參考圖6，預測裝置40被配置成接收具有預先檢測的邊界框b的人臉圖像，并且預測人臉關鍵點位置，即，所接收的人臉圖像的人臉關鍵點的估計2d坐標(x和y)。將參考圖8進一步論述預測裝置40的詳細過程。

在步驟s801處，預測裝置40得到來自訓練裝置30的初始化函數(shù)init(b)，并且根據(jù)所接收的人臉圖像的邊界框b和init(b)來得到初始化的關鍵點x。在步驟s802處，預測裝置40得到來自訓練裝置30的穩(wěn)健模型訓練模型m，然后針對每個迭代，預測裝置40計算局部外貌信息φ(x)，作為特征f，并且根據(jù)δx＝mreg(mpca(f))的規(guī)則來計算估計的δx。然后，預測裝置40操作以根據(jù)x＝x+δx的規(guī)則來更新關鍵點x。最后，單元40從迭代k的最后迭代中輸出x。

在上文中，已經(jīng)在使用某一硬件或者硬件和軟件的組合來實施系統(tǒng)10和100的情況下論述了系統(tǒng)。應了解，也可使用軟件來實施系統(tǒng)10和100。此外，本發(fā)明的實施例可適于計算機程序產(chǎn)品，所述計算機程序產(chǎn)品體現(xiàn)在含有計算機程序代碼的一個或多個計算機可讀存儲介質(zhì)上(包括但不限于，磁盤存儲器、cd-rom、光學存儲器等)。

在用軟件實施系統(tǒng)10和100的情況下，這些系統(tǒng)100可在下列中運行：通用計算機、計算機集群、主流計算機、專用于提供在線內(nèi)容的計算裝置，或者計算機網(wǎng)絡，所述計算機網(wǎng)絡包括一組以集中或分布方式操作的計算機。

盡管已描述了本發(fā)明的優(yōu)選示例，但在了解本發(fā)明基本概念后，本領域的技術(shù)人員可對這些示例進行變化或更改。所附權(quán)利要求書意圖包括落入本發(fā)明的范圍內(nèi)的優(yōu)選實例和所有變化或更改。

顯然，在不脫離本發(fā)明的精神和范圍的情況下，本領域的技術(shù)人員可對本發(fā)明進行變化或更改。因此，如果這些變化或更改屬于權(quán)利要求書和等效技術(shù)的范圍，那么它們也可落入本發(fā)明的范圍內(nèi)。