本發(fā)明涉及圖像處理技術領域,具體涉及一種人臉對齊模型的訓練方法、人臉檢測方法和裝置。
背景技術:
智能人機交互是未來手機多媒體應用的發(fā)展方向,而人臉分析是智能人機交互的主要研究內容,其中人臉對齊(face alignment)是進行人臉分析的重要環(huán)節(jié)。
人臉形狀是指由人臉的特征點(facial landmark)的位置,即人臉的特征點的橫、縱坐標所連接起來的一維向量。人臉對齊是指在一幅圖像中,先由人臉檢測得出人臉矩形框(bounding box),然后根據(jù)所述矩形框,通過人臉對齊算法自動定位諸如眼睛、眉毛、鼻子、嘴、臉頰等人臉特征點(facial landmark)。
目前,級聯(lián)姿態(tài)回歸(cascade pose regression)是目前眾多的人臉對齊方法中,最為流行的一種人臉對齊模型的訓練方法。該方法首先通過訓練集中的人臉形狀來計算平均臉形狀(mean shape),將計算得到的平均臉形狀作為初始的人臉形狀(face shape),然后通過不同的階段(stage)訓練的回歸模型使人初始的臉形狀不斷靠近真實的形狀(groundtruth shape),最后得到符合要求的回歸模型。上述回歸模型的訓練方法主要有以下幾點優(yōu)勢:
1、適合于強迫形狀約束(shape constrain);
2、在處理大量訓練數(shù)據(jù)時可以有效的收斂。
目前效果優(yōu)異的人臉對齊方法有詳細形狀回歸(Explicit Shape Regression,ESR)和監(jiān)督下降方法(Supervised Descent Method,SDM)。上述兩種方法都是在級聯(lián)姿態(tài)回歸的框架下訓練回歸模型(regressor)。其中,ESR通過利用形狀索引特征(shaped indexed feature)進行特征提取,然后在整個人臉區(qū)域學習得到特征映射函數(shù),再采用隨機蕨(random fern)訓練回歸模型。而SDM則是對人臉區(qū)域中的每個特征點提取尺度不變特征變換(SIFT)特征并且學習特征映射函數(shù),然后利用線性回歸訓練回歸模型。
然而,在利用上述方法訓練回歸模型時,得到的人臉對齊模型精度均較低。
技術實現(xiàn)要素:
本發(fā)明實施例解決如何提高人臉對齊模型的精度的問題。
為解決上述問題,本發(fā)明實施例提供了一種人臉對齊模型的訓練方法,所述方法包括:
采集人臉圖像作為訓練樣本集,其中,每一人臉圖像為所述訓練樣本集的一訓練樣本;
利用已標定面部特征點的第i個訓練樣本的各面部特征點訓練回歸模型對應于第i個訓練樣本的參數(shù),經(jīng)P輪的訓練,得到所述第i個訓練樣本的回歸模型,包括:根據(jù)第p輪訓練得到的回歸模型,調整第p+1輪訓練過程,并將第P輪訓練得到的回歸模型作為與所述第i個訓練樣本對應的回歸模型,其中:按照如下步驟執(zhí)行第p輪的訓練過程:獲取與所述已標定面部特征點一一對應的特征映射函數(shù),利用所述特征映射函數(shù),采用對應的線性回歸的方法訓練回歸模型的參數(shù),得到第p輪的回歸模型;且當1≤p≤K時,所述對應的線性回歸的方法為全局回歸方法,當K+1≤p≤P時,所述對應的線性回歸的方法為部分回歸方法;1≤p≤K<P,p、K及P均為整數(shù);
根據(jù)所述第i個訓練樣本對應的回歸模型標定第j個訓練樣本的面部特征點,重復訓練過程,直至分別獲得N個訓練樣本對應的回歸模型,其中i及j均為正整數(shù),且j≤N,i≤N,i≠j,N為所述訓練樣本集中訓練樣本的數(shù)目,所述第i個訓練樣本及第j個訓練樣本均為所述訓練樣本集中未進行訓練的訓練樣本;將所獲得的最后一個訓練樣本對應的回歸模型作為所述人臉對齊模型。
可選地,所述獲取與所述已標定面部特征點一一對應的特征映射函數(shù),包括以下其中一種:
采用隨機森林算法學習得到與所述已標定面部特征點一一對應的特征映射函數(shù);
采用卷積神經(jīng)網(wǎng)絡算法學習得到與所述已標定面部特征點一一對應的特征映射函數(shù)。
可選地,所述采用隨機森林算法學習并得到與各所述面部特征點一一對應的特征映射函數(shù),包括:
分別在以各所述面部特征點為中心的第一區(qū)域內,隨機選擇形狀索引特征;
利用所述形狀索引特征訓練所述隨機森林中各決策樹的分裂節(jié)點,直至終止分裂,對應獲得各決策樹的葉子節(jié)點;
根據(jù)所述各決策樹的葉子節(jié)點獲得與所述面部特征點一一對應的特征映射函數(shù)。
可選地,所述訓練所述隨機森林中各決策樹的分裂節(jié)點包括:采用最大方差下降準則,訓練所述隨機森林中各決策樹的分裂節(jié)點。
可選地,所述根據(jù)所述第p輪訓練得到的回歸模型,調整第p+1輪訓練過程包括:
根據(jù)所述第p輪訓練得到的回歸模型,進行人臉對齊測試;
根據(jù)測試結果,縮小第p+1輪中以各所述面部特征點為中心的第一區(qū)域面積,以按照縮小后的所述第一區(qū)域的面積執(zhí)行第p+1輪訓練。
可選地,當所述對應的線性回歸的方法為部分回歸方法時,所述利用所述特征映射函數(shù),采用對應的線性回歸的方法訓練回歸模型的參數(shù),得到與訓練輪數(shù)對應的回歸模型,包括:
將所述i個訓練樣本的面部特征點分為以下五個區(qū)域,并分別獲取各個區(qū)域的面部特征點的特征映射函數(shù):左眼睛和左眉毛區(qū)域、右眼睛和右眉毛區(qū)域、鼻子區(qū)域、嘴巴區(qū)域、臉頰區(qū)域;
利用所述各個區(qū)域的面部特征點的特征映射函數(shù),訓練回歸模型的參數(shù),分別得到與訓練輪數(shù)對應的各個區(qū)域的回歸模型。
可選地,所述回歸模型中設置有用于正則化的懲罰系數(shù),所述正則化的懲罰系數(shù)與回歸模型訓練中所提取的特征點的數(shù)量相關。
本發(fā)明實施例還提供了一種人臉對齊方法,所述方法包括:
獲取待對齊圖像;
將所述待對齊圖像輸入至采用上述任一項所述的人臉對齊模型的訓練方法訓練得到的人臉對齊模型,得到所述待對齊圖像的人臉特征點并輸出。
本發(fā)明實施例還提供了一種人臉對齊模型的訓練裝置,所述裝置包括:采集單元、訓練單元、標定單元和模型確定單元,其中:
所述采集單元,適于采集人臉圖像作為訓練樣本集,其中,每一人臉圖像為所述訓練樣本集的一訓練樣本;
所述訓練單元,適于利用已標定面部特征點的第i個訓練樣本的各面部特征點訓練回歸模型對應于第i個訓練樣本的參數(shù),經(jīng)P輪的訓練,得到所述第i個訓練樣本的回歸模型;以及適于在所述標定單元根據(jù)所述第i個訓練樣本對應的回歸模型標定第j個訓練樣本的面部特征點后,重復訓練過程,直至分別獲得N個訓練樣本對應的回歸模型;其中i及j均為正整數(shù),且j≤N,i≤N,i≠j,N為所述訓練樣本集中訓練樣本的數(shù)目,所述第i個訓練樣本及第j個訓練樣本均為所述訓練樣本集中未進行訓練的訓練樣本;
所述標定單元,適于根據(jù)所述第i個訓練樣本對應的回歸模型標定第j個訓練樣本的面部特征點;
模型確定單元,適于將所獲得的最后一個訓練樣本對應的回歸模型作為所述人臉對齊模型;
所述訓練單元包括:
訓練子單元,適于執(zhí)行第p輪的訓練過程,包括:獲取模塊和訓練模塊,其中,所述獲取模塊,適于獲取與所述已標定面部特征點一一對應的特征映射函數(shù);所述訓練模塊,適于利用所述特征映射函數(shù),采用對應的線性回歸的方法訓練回歸模型的參數(shù),得到第p輪的回歸模型;且當1≤p≤K時,所述對應的線性回歸的方法為全局回歸方法,當K+1≤p≤P時,所述對應的線性回歸的方法為部分回歸方法;1≤p≤K<P,p、K及P均為整數(shù);
調整子單元,適于根據(jù)第p輪訓練得到的回歸模型,調整第p+1輪訓練 過程;
確定子單元,適于將第P輪訓練得到的回歸模型作為與所述第i個訓練樣本對應的回歸模型。
可選地,所述獲取模塊適于采用隨機森林算法或者卷積神經(jīng)網(wǎng)絡算法學習得到與所述已標定面部特征點一一對應的特征映射函數(shù)。
可選地,所述獲取模塊包括:
特征提取子模塊,適于在采用隨機森林算法學習并得到與各所述面部特征點一一對應的特征映射函數(shù)時,分別在以各所述面部特征點為中心的第一區(qū)域內,隨機選擇形狀索引特征;
訓練子模塊,適于利用所述形狀索引特征訓練所述隨機森林中各決策樹的分裂節(jié)點,直至終止分裂,對應獲得各決策樹的葉子節(jié)點;
函數(shù)生成子模塊,適于根據(jù)所述各決策樹的葉子節(jié)點獲得與所述面部特征點一一對應的特征映射函數(shù)。
可選地,所述訓練子模塊適于采用最大方差下降準則,訓練所述隨機森林中各決策樹的分裂節(jié)點。
可選地,所述調整子單元適于根據(jù)所述第p輪訓練得到的回歸模型,進行人臉對齊測試;根據(jù)測試結果,縮小第p+1輪中以各所述面部特征點為中心的第一區(qū)域面積,以按照縮小后的所述第一區(qū)域的面積執(zhí)行第p+1輪訓練。
可選地,所述訓練模塊包括:
區(qū)域劃分子模塊,適于當所述對應的線性回歸的方法為部分回歸方法時,將所述i個訓練樣本的面部特征點分為以下五個區(qū)域,并分別獲取各個區(qū)域的面部特征點的特征映射函數(shù):左眼睛和左眉毛區(qū)域、右眼睛和右眉毛區(qū)域、鼻子區(qū)域、嘴巴區(qū)域、臉頰區(qū)域;
第二訓練子模塊,適于利用所述各個區(qū)域的面部特征點的特征映射函數(shù),采用對應的線性回歸的方法訓練回歸模型的參數(shù),分別得到與訓練輪數(shù)對應的各個區(qū)域的回歸模型。
可選地,所述回歸模型中設置有用于正則化的懲罰系數(shù),所述正則化的 懲罰系數(shù)與回歸模型訓練中所提取的特征點的數(shù)量相關。
本發(fā)明實施例還提供了一種人臉對齊裝置,所述裝置包括:
獲取單元,適于獲取待對齊圖像;
采用上述任一項人臉對齊模型的訓練裝置訓練得到的人臉對齊模型,適于對所述待對齊圖像進行人臉對齊處理,得到所述待對齊圖像的人臉特征點并輸出。
與現(xiàn)有技術相比,本發(fā)明的技術方案至少具有以下優(yōu)點:
通過利用已標定面部特征點的第i個訓練樣本的各面部特征點訓練回歸模型對應于第i個訓練樣本的參數(shù),經(jīng)P輪的訓練,得到所述第i個訓練樣本的回歸模型,再根據(jù)所述第i個訓練樣本對應的回歸模型標定第j個訓練樣本的面部特征點,重復訓練過程,直至分別獲得N個訓練樣本對應的回歸模型,并將所獲得的最后一個訓練樣本對應的回歸模型作為所述人臉對齊模型。其中,在獲得所述第i個訓練樣本的回歸模型過程中,當1≤p≤K時,所述對應的線性回歸的方法為全局回歸方法,當K+1≤p≤P時,所述對應的線性回歸的方法為部分回歸方法。在前K輪訓練過程中采用全局回歸方法進行訓練,可以強制約束人臉形狀,保證所提取的大部分特征點位于或靠近真實的人臉形狀的真實位置,后(P-K-1)輪訓練過程采用部分回歸方法進行訓練,可以分別對所提取的不同區(qū)域的特征點進行收斂,改善整個人臉對齊模型的泛化能力,由此可以提高所獲得的人臉對齊模型的精度。
附圖說明
圖1是本發(fā)明實施例中一種人臉對齊模型的訓練方法流程圖;
圖2是本發(fā)明實施例中另一種人臉對齊模型的訓練方法圖;
圖3是應用本發(fā)明實施例中人臉對齊模型的訓練方法進行人臉對齊的效果示意圖;
圖4是本發(fā)明實施例中一種人臉對齊模型的訓練裝置的結構示意圖;
圖5是本發(fā)明實施例中一種訓練子單元的結構示意圖。
具體實施方式
目前,無論是利用ESR方法訓練人臉對齊模型,還是利用SDM方法訓練人臉對齊模型,在獲得每個訓練樣本訓練對應的回歸模型的各個階段,均是采用全局回歸的方法進行訓練,即利用所有提取的特征點一起訓練回歸模型。
然而,采用全局回歸方法訓練對應的回歸模型,雖然可以保證所提取的大部分特征點位于或靠近真實的人臉形狀的真實位置,但仍有少數(shù)區(qū)域的特征點相對離真實的人臉形狀對應位置較遠,所導致所獲取的人臉對齊模型的泛化能力較差,影響人臉對齊模型的精度。
針對上述問題,本發(fā)明的實施例提供了一種人臉對齊模型的訓練方法,應用所述方法在獲得所述第i個訓練樣本的回歸模型過程中,當1≤p≤K時,所述對應的線性回歸的方法為全局回歸方法,當K+1≤p≤P時,所述對應的線性回歸的方法為部分回歸方法。在前K輪訓練過程中采用全局回歸方法進行訓練,可以強制約束人臉形狀,保證所提取的大部分特征點位于或靠近真實的人臉形狀的真實位置,后(P-K-1)輪訓練過程采用部分回歸方法進行訓練,可以對分別對所提取的不同區(qū)域的特征點進行收斂,改善整個人臉對齊模型的泛化能力,由此可以提高所獲得的人臉對齊模型的精度。
為使本發(fā)明的上述目的、特征和優(yōu)點能夠更為明顯易懂,下面結合附圖對本發(fā)明的具體實施例作詳細地說明。
如圖1所示,在本發(fā)明一實施例中,提供了一種人臉對齊模型的訓練方法。所述方法如下步驟:
步驟11,采集人臉圖像作為訓練樣本集,其中,每一人臉圖像為所述訓練樣本集的一訓練樣本。
在具體實施中,可以通過多種方式采集訓練樣本,其中,每一訓練樣本為一人臉圖像。比如,可以直接從公開的人臉數(shù)據(jù)集中獲取N個人臉圖像,也可以通過照相機等圖像采集設備實時采集N個人臉圖像,具體采集方式不作限定??梢岳斫獾氖牵杉娜四槇D像應盡可能具有多種不同的姿態(tài)、表情,以提高根據(jù)所述訓練樣本獲得的回歸模型泛化能力。
步驟12,分別利用所述訓練樣本進行訓練,得到與各所述訓練樣本對應 的回歸模型。
在具體實施中,以所述訓練樣本集中的訓練樣本總數(shù)為N個為例,分別利用每個訓練樣本進行P輪的訓練,得到與該訓練樣本對應的回歸模型,共得到N個回歸模型。其中,第一個進行訓練的訓練樣本可以是所述訓練樣本集中的第一個訓練樣本,也可以是所述訓練樣本集中除第一個訓練樣本外的其它任一訓練樣本,并且已標定面部特征點。對各訓練樣本進行訓練時,可以按照各訓練樣本在所述訓練樣本集中的排列順序依次進行訓練,也可以從所述訓練樣本集中隨機選取一訓練樣本進行訓練,只要完成對所述訓練樣本的訓練即可。
需要說明的是,在本發(fā)明的實施例中,為了描述方便,P用于表示對各訓練樣本進行訓練得到對應回歸模型的總輪數(shù),N用于表示訓練樣本集中訓練樣本的總數(shù)??梢岳斫獾氖?,在具體實施中,所述P及N的值可以由本領域人員根據(jù)實際需要進行設置,例如,P可以在[5,7]內取值,N的取值可以為所述公開的數(shù)據(jù)集總樣本數(shù)的60%。
步驟13,將所獲得的最后一個訓練樣本對應的回歸模型作為所述人臉對齊模型。
在具體實施中,所述最后一個訓練樣本對應的回歸模型,可以是利用所述訓練樣本集中第1個訓練樣本進行訓練得到的回歸模型,也可以是利用所述訓練樣本集中第N個訓練樣本進行訓練得到的回歸模型,還可以是利用所述訓練樣本集中其它訓練樣本進行訓練得到的回歸模型。
在具體實施中,利用所述訓練樣本,可以采用圖2中所示的方法進行訓練,以得到所述人臉對齊模型。下面對圖2中所示的人臉對齊模型訓練方法進行詳細說明:
如圖2所示,利用所述訓練樣本進行訓練得到所述人臉對齊模型,可以包括如下步驟:
步驟201,采集人臉圖像作為訓練樣本集,其中,每一人臉圖像為所述訓練樣本集的一訓練樣本。
在具體實施中,可以參照上述對步驟11的描述實施步驟21,此處不再贅 述。
步驟202,從所述訓練樣本集中選取已標定面部特征點且未進行訓練的訓練樣本,作為第i個訓練樣本。
在具體實施中,所述第i個訓練樣本可以為所述訓練樣本集中的任一未進行訓練的訓練樣本,只要所述第i個訓練樣本已標定面部特征點即可。
選取所述第i個訓練樣本后,利用已標定面部特征點的第i個訓練樣本的各面部特征點,訓練回歸模型對應于第i個訓練樣本的參數(shù),經(jīng)P輪的訓練,得到所述第i個訓練樣本的回歸模型。具體地,通過步驟203~208,得到所述第i個訓練樣本的回歸模型。下面對步驟203~208進行說明是如下:
步驟203,獲取與所述已標定面部特征點一一對應的特征映射函數(shù)。
在具體實施中,可以通過多種方法獲取與所述已標定面部特征點一一對應的特征映射函數(shù),例如,可以采用隨機森林算法學習得到與所述已標定面部特征點一一對應的特征映射函數(shù),也可以采用卷積神經(jīng)網(wǎng)絡算法學習得到與所述已標定面部特征點一一對應的特征映射函數(shù)。本發(fā)明的實施例中,以采用隨機森林算法學習得到與所述已標定面部特征點一一對應的特征映射函數(shù)為例進行說明。
具體地,在采用隨機森林算法學習得到與所述已標定面部特征點一一對應的特征映射函數(shù)時,先分別在以各所述面部特征點為中心的第一區(qū)域內,隨機選擇形狀索引特征,即計算所述第一區(qū)域內任意兩像素點的像素值的差,再利用所述形狀索引特征訓練所述隨機森林中各決策樹的分裂節(jié)點,直至終止分裂,對應獲得各決策樹的葉子節(jié)點,最后根據(jù)所述各決策樹的葉子節(jié)點獲得與所述面部特征點一一對應的特征映射函數(shù)。其中,首次利用訓練樣本進行訓練時,所述第一區(qū)域的面積可以根據(jù)由本領域人員根據(jù)實際經(jīng)驗進行設定。其中,各個面部特征點對應的第一區(qū)域面積相同。
通常情況下,人臉區(qū)域可以包括68個面部特征點,由于每個面部特征點對應一特征映射函數(shù),因此可以獲得68個特征映射函數(shù)。
其中,在利用所述形狀索引特征訓練所述隨機森林中各決策樹的分裂節(jié)點時,可以采用最大方差下降準則,訓練所述隨機森林中各決策樹的分裂節(jié) 點,即:將其中一個第一區(qū)域的形狀索引特征均分為左子樹和右子樹,再分別計算左子樹和右子樹中,任意兩形狀索引特征的方差,選擇最大方差值作為各決策樹分裂的閾值。當所選擇最大方差值滿足終止分裂的條件時,將各決策樹的葉子節(jié)點的值代入特征映射函數(shù)模型中,獲得對應的特征映射函數(shù)。
步驟204,利用所述特征映射函數(shù),采用對應的線性回歸的方法訓練回歸模型的參數(shù),得到第p輪的回歸模型。
在具體實施中,線性回歸方法可以包括:全局回歸方法及部分回歸方法。其中,所述全局回歸方法即利用所有提取到的特征一起訓練回歸模型的參數(shù),訓練結束后可以得到與整個人臉形狀對應的回歸模型。所述部分回歸方法即將整個人臉形狀分為不同的區(qū)域,利用不同區(qū)域的特征點訓練回歸模型的參數(shù),訓練結束后可以得到與該區(qū)域對應的回歸模型。
在本發(fā)明的實施例中,當1≤p≤K時,所述對應的線性回歸的方法為全局回歸方法,當K+1≤p≤P時,所述對應的線性回歸的方法為部分回歸方法;1≤p≤K<P,i、p、K及P均為整數(shù)。在前K輪訓練過程中采用全局回歸方法進行訓練,可以強制約束人臉形狀,保證所提取的大部分特征點位于或靠近真實的人臉形狀的真實位置,防止個別特征點落入局部最小值而無法優(yōu)化。由于K輪訓練結束后,仍然會有部分區(qū)域的特征點離真實的人臉形狀對應的位置較遠,例如嘴巴周圍的特征點,因此在后(P-K-1)輪訓練過程采用部分回歸方法進行訓練,可以對分別對所提取的不同區(qū)域的特征點進行收斂,改善整個人臉對齊模型的泛化能力,由此可以提高所獲得的人臉對齊模型的精度。
在本發(fā)明的一實施例中,當K+1≤p≤P時,可以將所述i個訓練樣本的面部特征點分為以下五個區(qū)域,并分別獲取各個區(qū)域的面部特征點的特征映射函數(shù):左眼睛和左眉毛區(qū)域、右眼睛和右眉毛區(qū)域、鼻子區(qū)域、嘴巴區(qū)域、臉頰區(qū)域,再利用所述各個區(qū)域的面部特征點的特征映射函數(shù),訓練回歸模型的參數(shù),分別得到與訓練輪數(shù)對應的各個區(qū)域的回歸模型。在第p輪訓練結束后,可以得到左眼睛和左眉毛區(qū)域的回歸模型,右眼睛和右眉毛區(qū)域的回歸模型,鼻子區(qū)域的回歸模型,嘴巴區(qū)域的回歸模型以及臉頰區(qū)域的回歸模型。
需要說明的是,在具體實施中,所述K的值可以由本領域人員根據(jù)實際情況進行設定,只要滿足在P輪的訓練中,有至少1輪的訓練采用部分回歸方法得到對應的回歸模型即可。
步驟205,判斷p是否等于P。
也就是說,判斷是否為對所述第i個訓練樣本的最后一輪訓練,若是,則執(zhí)行步驟208,否則執(zhí)行步驟206。
步驟206,根據(jù)所述第p輪訓練得到的回歸模型,調整第p+1輪訓練過程。
目前,在利用ESR方法或SDM方法進行人臉特征提取時,在任一輪的訓練過程中,均是基于整個人臉區(qū)域進行特征提取,不僅所提取的特征較多,導致整個訓練過程速度降低,而且由于整個人臉區(qū)域較大,所提取的特征中包含較多的噪聲信息,導致最終獲得的人臉對齊模型的魯棒性較差。
在本發(fā)明的實施例中,第p輪訓練結束后,可以根據(jù)第p輪訓練得到的回歸模型進行人臉對齊測試。將測試結果與真實人臉形狀進行比對,根據(jù)比對結果確定縮小第一區(qū)域面積的幅度,并以縮小后的第一區(qū)域的面積執(zhí)行第p+1輪訓練。由于利用當前輪對應的回歸模型進行人臉對齊時,所獲得的人臉形狀與真實的人臉形狀相差較遠,而在隨后幾輪的訓練中,所獲得的人臉形狀逐漸會靠近真實的人臉形狀,因此,無須在整個人臉區(qū)域提取特征,可以通過逐漸縮小第一區(qū)域的面積,減少所提取的特征的數(shù)量,不僅可以提高整個訓練過程速度,而且可以減少噪聲信息的加入,提高最終獲得的人臉對齊模型的魯棒性。
步驟207,p++。
即執(zhí)行下一輪訓練,直至p=P。
步驟208,將第P輪訓練得到的回歸模型作為與所述第i個訓練樣本對應的回歸模型。
對每個訓練樣本,按照步驟23~28,執(zhí)行P輪訓練得到對應的回歸模型。
步驟209,判斷是否獲得N個訓練樣本對應的回歸模型。
即是否每個訓練樣本均進行訓練并獲得對應的回歸模型,若是,則執(zhí)行 步驟213,否則執(zhí)行步驟210。
步驟210,從所述訓練樣本集中選取一未進行訓練的訓練樣本,作為第j個訓練樣本。
即從剩余為進行訓練的訓練樣本中,選擇一訓練樣本,作為第j個訓練樣本。
步驟211,根據(jù)所述第i個訓練樣本對應的回歸模型標定第j個訓練樣本的面部特征點。
根據(jù)所述第i個訓練樣本對應的回歸模型標定第j個訓練樣本的面部特征點,進而再利用第第j個訓練樣本進行訓練,可以對所述第i個訓練樣本對應的回歸模型進行校正,以得到更準確的人臉對齊模型。
步驟212,j=i。
即對第j個訓練樣本重復上述對所述第i個訓練樣本的訓練過程。
步驟213,將所獲得的最后一個訓練樣本對應的回歸模型作為所述人臉對齊模型。
對于步驟213,可以參照上述對步驟13的描述進行實施,此處不再贅述。
在具體實施中,為了進一步提高人臉對齊模型的泛化能力,防止過擬合,可以在所述回歸模型中設置有用于正則化的懲罰系數(shù)。在不同的訓練輪數(shù)中,采用不同數(shù)量的特征點訓練回歸模型時,正則化的程度也隨之不同。比如,可以按照由粗到細的搜索策略進行設置,即在前幾輪訓練中采用較大的正則化懲罰系數(shù)來獲得魯棒性較好的回歸模型,以強制約束人臉形狀。而在之后幾輪的訓練中采用較小的正則化懲罰系數(shù)來獲得更好的回歸模型,以擬合真實人臉形狀。
由上述內容可知,本發(fā)明實施例中所述人臉對齊模型的訓練方法,在獲得所述第i個訓練樣本的回歸模型過程中,當1≤p≤K時,所述對應的線性回歸的方法為全局回歸方法,當K+1≤p≤P時,所述對應的線性回歸的方法為部分回歸方法。在前K輪訓練過程中采用全局回歸方法進行訓練,后(P-K-1)輪訓練過程采用部分回歸方法進行訓練,可以提高所獲得的人臉對 齊模型的精度。
本發(fā)明實施例還提供了一種人臉對齊方法,所述方法(未示出)可以包括如下步驟:
步驟31,獲取待對齊圖像。
步驟32,將所述待對齊圖像輸入至上述任一項的人臉對齊模型的訓練方法訓練得到的人臉對齊模型,得到所述待對齊圖像的人臉特征點并輸出。
圖3為應用所述人臉對齊方法得到的定位效果圖。從圖3(a)~(f)可以看出,本發(fā)明實施例中的人臉對齊模型可以準確地定位人臉圖像的各個特征點。
為了使本領域技術人員更好地理解和實現(xiàn)本發(fā)明,以下分別對方法對應的裝置進行詳細描述。
如圖4所示,本發(fā)明實施例提供了一種人臉對齊模型的訓練裝置,所述裝置包括:采集單元41,訓練單元42,標定單元43以及模型確定單元44。其中:
所述采集單元41,適于采集人臉圖像作為訓練樣本集,其中,每一人臉圖像為所述訓練樣本集的一訓練樣本。所述訓練單元42,適于利用已標定面部特征點的第i個訓練樣本的各面部特征點訓練回歸模型對應于第i個訓練樣本的參數(shù),經(jīng)P輪的訓練,得到所述第i個訓練樣本的回歸模型;以及適于在標定單元43根據(jù)所述第i個訓練樣本對應的回歸模型標定第j個訓練樣本的面部特征點后,重復訓練過程,直至分別獲得N個訓練樣本對應的回歸模型;其中i及j均為正整數(shù),且j≤N,i≤N,i≠j,N為所述訓練樣本集中訓練樣本的數(shù)目,所述第i個訓練樣本及第j個訓練樣本均為所述訓練樣本集中未進行訓練的訓練樣本。所述標定單元43,適于根據(jù)所述第i個訓練樣本對應的回歸模型標定第j個訓練樣本的面部特征點。所述模型確定單元44,適于將所獲得的最后一個訓練樣本對應的回歸模型作為所述人臉對齊模型。
進一步地,所述訓練單元42包括:訓練子單元421,調整子單元422以及確定子單元423。其中:
所述訓練子單元421,適于執(zhí)行第p輪的訓練過程,包括:獲取模塊4211,適于獲取與所述已標定面部特征點一一對應的特征映射函數(shù);訓練模塊4212,適于利用所述特征映射函數(shù),采用對應的線性回歸的方法訓練回歸模型的參數(shù),得到第p輪的回歸模型;且當1≤p≤K時,所述對應的線性回歸的方法為全局回歸方法,當K+1≤p≤P時,所述對應的線性回歸的方法為部分回歸方法;1≤p≤K<P,p、K及P均為整數(shù)。所述調整子單元422,適于根據(jù)第p輪訓練得到的回歸模型,調整第p+1輪訓練過程。所述確定子單元423,適于將第P輪訓練得到的回歸模型作為與所述第i個訓練樣本對應的回歸模型。
在具體實施中,所述獲取模塊4211適于采用隨機森林算法或者卷積神經(jīng)網(wǎng)絡算法學習得到與所述已標定面部特征點一一對應的特征映射函數(shù)。
在具體實施中,當所述獲取模塊4211采用隨機森林算法學習并得到與各所述面部特征點一一對應的特征映射函數(shù)時,如圖5所示,所述獲取模塊4211可以包括:特征提取子模塊51,訓練子模塊52以及函數(shù)生成子模塊53。其中,所述特征提取子模塊51適于分別在以各所述面部特征點為中心的第一區(qū)域內,隨機選擇形狀索引特征。所述訓練子模塊52,適于利用所述形狀索引特征訓練所述隨機森林中各決策樹的分裂節(jié)點,直至終止分裂,對應獲得各決策樹的葉子節(jié)點。所述函數(shù)生成子模塊53,適于根據(jù)所述各決策樹的葉子節(jié)點獲得與所述面部特征點一一對應的特征映射函數(shù)。
在具體實施中,所述訓練模塊4212適于采用最大方差下降準則,訓練所述隨機森林中各決策樹的分裂節(jié)點。
在具體實施中,所述調整子單元422適于根據(jù)所述第p輪訓練得到的回歸模型,進行人臉對齊測試以及根據(jù)測試結果,縮小第p+1輪中以各所述面部特征點為中心的第一區(qū)域面積,以按照縮小后的所述第一區(qū)域的面積執(zhí)行第p+1輪訓練。
當所述對應的線性回歸的方法為部分回歸方法時,所述訓練模塊4212可以包括:區(qū)域劃分子模塊(未示出),以及第二訓練子模塊(未示出)。其中,所述區(qū)域劃分子模塊適于將所述i個訓練樣本的面部特征點分為以下五個區(qū)域,并分別獲取各個區(qū)域的面部特征點的特征映射函數(shù):左眼睛和左眉毛區(qū) 域、右眼睛和右眉毛區(qū)域、鼻子區(qū)域、嘴巴區(qū)域、臉頰區(qū)域。所述第二訓練子模塊,適于利用所述各個區(qū)域的面部特征點的特征映射函數(shù),采用對應的線性回歸的方法訓練回歸模型的參數(shù),分別得到與訓練輪數(shù)對應的各個區(qū)域的回歸模型。
在具體實施中,所述回歸模型中設置有用于正則化的懲罰系數(shù),所述正則化的懲罰系數(shù)與回歸模型訓練中所提取的特征點的數(shù)量相關。
本發(fā)明實施例還提供了一種人臉對齊裝置(未示出),所述裝置可以包括:獲取單元,適于獲取待對齊圖像;以及上述任一項的人臉對齊模型,適于對所述待對齊圖像進行人臉對齊處理,得到所述輸入圖像的人臉特征點并輸出。
本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關的硬件來完成,該程序可以存儲于一計算機可讀存儲介質中,存儲介質可以包括:ROM、RAM、磁盤或光盤等。
雖然本發(fā)明披露如上,但本發(fā)明并非限定于此。任何本領域技術人員,在不脫離本發(fā)明的精神和范圍內,均可作各種更動與修改,因此本發(fā)明的保護范圍應當以權利要求所限定的范圍為準。