專利名稱：一種人臉合成系統(tǒng)及實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人臉識(shí)別技術(shù)領(lǐng)域，特別是一種多幅非正面人臉的合成系統(tǒng)及實(shí)現(xiàn)方法。
背景技術(shù)：
人臉識(shí)別具有自然、友好、對(duì)用戶干擾少、易被用戶接受等優(yōu)勢(shì)，因而有著廣闊的應(yīng)用前景。目前人臉識(shí)別包括二維人臉識(shí)別和三維人臉識(shí)別，其中基于二維圖像的人臉識(shí)別方法，主要是通過(guò)線性或非線性的降維方法，提取人臉外觀特征以識(shí)別人臉。無(wú)論是二維還是三維人臉識(shí)別，進(jìn)行人臉識(shí)別的前提是需要獲得人臉的正面圖才能進(jìn)行有效、準(zhǔn)確的識(shí)別。但是，在一些進(jìn)行實(shí)時(shí)視頻監(jiān)控和人員識(shí)別的應(yīng)用環(huán)境下，被監(jiān)控對(duì)象不可能直接站好讓系統(tǒng)照相以獲取正臉圖像，隨著被監(jiān)控對(duì)象移動(dòng)，監(jiān)控系統(tǒng)拍到正臉的幾率是非常小的，往往只能排到人臉其它角度的圖。所以，為了進(jìn)行人臉識(shí)別，必須解決多幅非正面人臉如何準(zhǔn)確合成為正臉圖像的問(wèn)題。中國(guó)專利申請(qǐng)《基于正臉圖像合成的人臉識(shí)別方法》專利申請(qǐng)?zhí)?01110054493. 3， 公開(kāi)了一種基于正臉圖像合成的人臉識(shí)別方法，該方法主要包括步驟a)讀取多個(gè)側(cè)臉圖像，獲得每個(gè)側(cè)臉圖像的控制點(diǎn)圖；b)從正面人臉庫(kù)讀取一個(gè)正臉圖像，獲得該正臉圖像的控制點(diǎn)圖等手段解決多幅非正面人臉合成。但是該方法的待合成圖像定位復(fù)雜、進(jìn)行合成過(guò)程中只采用了一種合成算法，而沒(méi)有考慮不同角度、不同姿勢(shì)的人臉圖在轉(zhuǎn)換成正面人臉時(shí)候應(yīng)該根據(jù)兩者之間的轉(zhuǎn)換關(guān)系采用不同的算法。同時(shí)也沒(méi)有結(jié)合人工輔助識(shí)別， 無(wú)法發(fā)揮網(wǎng)絡(luò)、人識(shí)別的優(yōu)勢(shì)。

發(fā)明內(nèi)容
本發(fā)明的目的針對(duì)上述的現(xiàn)有問(wèn)題，提出人臉合成系統(tǒng)及實(shí)現(xiàn)方法，它采用新的流程和系統(tǒng)結(jié)構(gòu)，能提高多幅非正面人臉的合成速率，同時(shí)發(fā)揮網(wǎng)絡(luò)、人工識(shí)別等優(yōu)勢(shì)，實(shí)現(xiàn)它們優(yōu)勢(shì)融合。本發(fā)明通過(guò)如下方案實(shí)現(xiàn)一種人臉合成系統(tǒng)，其特征在于，系統(tǒng)內(nèi)部設(shè)有訓(xùn)練圖像庫(kù)、合成算法庫(kù)、提取模型、基準(zhǔn)點(diǎn)標(biāo)識(shí)器、過(guò)濾器和正臉圖像合成器，其中訓(xùn)練圖像庫(kù)，用于存儲(chǔ)正臉模板和不同姿勢(shì)人臉樣圖、每個(gè)正臉模板分別對(duì)應(yīng)兩個(gè)或以上的不同姿勢(shì)人臉樣圖；合成算法庫(kù)，用于存儲(chǔ)將不同姿勢(shì)人臉樣圖融合于與其對(duì)應(yīng)的正臉模板所使用的算法；提取模型，為基于貝葉斯正切輪廓的提取模型，用于將訓(xùn)練圖像庫(kù)內(nèi)每個(gè)姿勢(shì)人臉樣圖提取輪廓和控制點(diǎn)的工具；基準(zhǔn)點(diǎn)標(biāo)識(shí)器，用于為用戶提供待合成人臉圖像的瀏覽界面、提供直接在待合成人臉圖像的兩眼中心點(diǎn)、鼻尖點(diǎn)進(jìn)行直接標(biāo)識(shí)的手段；
過(guò)濾器，用于調(diào)用各提取模型對(duì)待合成人臉圖像進(jìn)行依次提取輪廓與控制點(diǎn)，并分別與訓(xùn)練圖像庫(kù)人臉樣圖進(jìn)行比對(duì)，選出相互間控制點(diǎn)特征最相近的一個(gè)輪廓提取結(jié)果進(jìn)而確定控制點(diǎn)，并把該人臉樣圖作為參考姿勢(shì)圖；正臉圖像合成器，用于確定正臉模板，并選擇合成算法，將待合成人臉圖像合成為正臉圖像輸出。系統(tǒng)的實(shí)現(xiàn)方法一種多幅非正面人臉的合成方法，其特征在于，包括如下步驟步驟一，建立訓(xùn)練圖像庫(kù)，使其存儲(chǔ)一個(gè)或一個(gè)以上的正臉模板，以及與每個(gè)正臉模板對(duì)應(yīng)的不同姿勢(shì)人臉樣圖；步驟二，系統(tǒng)為訓(xùn)練圖像庫(kù)內(nèi)每個(gè)姿勢(shì)人臉樣圖分別訓(xùn)練一個(gè)基于貝葉斯正切輪廓的提取模型；步驟三，系統(tǒng)讀入所有待合成人臉圖像；步驟四，基準(zhǔn)點(diǎn)標(biāo)識(shí)器形成待合成人臉圖像的顯示界面供用戶瀏覽、用戶直接在待合成人臉圖像的兩眼中心點(diǎn)、鼻尖點(diǎn)進(jìn)行直接標(biāo)識(shí)作為基準(zhǔn)點(diǎn)；步驟五，各提取模型依次從基準(zhǔn)點(diǎn)標(biāo)識(shí)器獲取基準(zhǔn)點(diǎn)，并根據(jù)基準(zhǔn)點(diǎn)和圖像中心點(diǎn)計(jì)算提取模型的搜索初始控制點(diǎn)；步驟六，過(guò)濾器將各提取模型提取輪廓、控制點(diǎn)，分別與訓(xùn)練圖像庫(kù)人臉樣圖的進(jìn)行比對(duì)，選出相互間控制點(diǎn)特征最相近的一個(gè)輪廓提取結(jié)果作為依據(jù)確定最終控制點(diǎn)，并把該人臉樣圖作為參考姿勢(shì)圖；步驟七，正臉圖像合成器選定正臉模板，并利用參考姿勢(shì)圖對(duì)應(yīng)合成算法，將待合成人臉圖像合成為正臉圖像并輸出。


圖1是多幅非正面人臉示意圖；圖2是合成系統(tǒng)的結(jié)構(gòu)框圖；圖3是發(fā)明方法的核心流程圖。
具體實(shí)施例方式參考圖2，本發(fā)明人臉合成系統(tǒng)由訓(xùn)練圖像庫(kù)、合成算法庫(kù)、提取模型、基準(zhǔn)點(diǎn)標(biāo)識(shí)器、過(guò)濾器和正臉圖像合成器等組成。它們?cè)谙到y(tǒng)的作用和互相聯(lián)系為訓(xùn)練圖像庫(kù)，用于存儲(chǔ)正臉模板和不同姿勢(shì)人臉樣圖、每個(gè)正臉模板分別對(duì)應(yīng)兩個(gè)或以上的不同姿勢(shì)人臉樣圖；合成算法庫(kù)，用于存儲(chǔ)將不同姿勢(shì)人臉樣圖融合于與其對(duì)應(yīng)的正臉模板所使用的算法；提取模型，為基于貝葉斯正切輪廓的提取模型，用于將訓(xùn)練圖像庫(kù)內(nèi)每個(gè)姿勢(shì)人臉樣圖提取輪廓和控制點(diǎn)的工具；基準(zhǔn)點(diǎn)標(biāo)識(shí)器，用于為用戶提供待合成人臉圖像的瀏覽界面、提供直接在待合成人臉圖像的兩眼中心點(diǎn)、鼻尖點(diǎn)進(jìn)行直接標(biāo)識(shí)的手段；過(guò)濾器，用于調(diào)用各提取模型對(duì)待合成人臉圖像進(jìn)行依次提取輪廓與控制點(diǎn)，并分別與訓(xùn)練圖像庫(kù)人臉樣圖進(jìn)行比對(duì)，選出相互間控制點(diǎn)特征最相近的一個(gè)輪廓提取結(jié)果進(jìn)而確定控制點(diǎn)，并把該人臉樣圖作為參考姿勢(shì)圖；正臉圖像合成器，用于確定正臉模板，并選擇合成算法，將待合成人臉圖像合成為正臉圖像輸出。正臉圖像合成器還用于計(jì)算正臉圖像每個(gè)像素點(diǎn)的灰度值，從訓(xùn)練圖像庫(kù)內(nèi)選擇一正臉模板作為正臉圖像基板或隨機(jī)分配一幅正臉模板作為正臉圖像基板。如1和2所示，系統(tǒng)的輸入為多幅非正面人臉，經(jīng)過(guò)系統(tǒng)合成后，輸入為正面的人臉圖。基準(zhǔn)點(diǎn)標(biāo)識(shí)器為用戶提供進(jìn)行待合成圖片的定位操作界面。用戶可以通過(guò)本地或網(wǎng)絡(luò)終端，進(jìn)行點(diǎn)擊多幅非正面人臉的兩眼睛中心點(diǎn)、鼻尖點(diǎn)進(jìn)行直接標(biāo)識(shí)。標(biāo)識(shí)完成后，將反饋至基準(zhǔn)點(diǎn)標(biāo)識(shí)器為系統(tǒng)內(nèi)部的下一步處理提供基礎(chǔ)信息。其中，多幅非正面人臉可以發(fā)送給一個(gè)用戶進(jìn)行標(biāo)識(shí)，也可以發(fā)送到多個(gè)終端用戶進(jìn)行，充分利用云計(jì)算、分布式協(xié)作處理技術(shù)等的優(yōu)勢(shì)。在訓(xùn)練圖像庫(kù)里面，每個(gè)正臉模板應(yīng)該預(yù)先存有多個(gè)不同姿勢(shì)的人臉樣圖與其對(duì)應(yīng)，同時(shí)沒(méi)個(gè)姿勢(shì)的人臉樣圖進(jìn)行轉(zhuǎn)化為正臉圖時(shí)分別對(duì)應(yīng)一種不同的轉(zhuǎn)換算法。每個(gè)姿勢(shì)的人臉樣圖應(yīng)該訓(xùn)練一個(gè)提取模型。其它沒(méi)提及的地方，可以根據(jù)現(xiàn)有技術(shù)和實(shí)際需要進(jìn)行實(shí)施。下面，有必要對(duì)該系統(tǒng)實(shí)現(xiàn)方法進(jìn)一步描述如圖3，整體上主要包括建立訓(xùn)練圖像庫(kù)、訓(xùn)練提取模型、通過(guò)基準(zhǔn)點(diǎn)標(biāo)識(shí)器進(jìn)行基準(zhǔn)標(biāo)識(shí)、確定最終控制點(diǎn)和參考姿勢(shì)圖和合成正臉圖像等步驟。更具體如下首先建立訓(xùn)練圖像庫(kù)，使其存儲(chǔ)一個(gè)或一個(gè)以上的正臉模板，以及與每個(gè)正臉模板對(duì)應(yīng)的不同姿勢(shì)人臉樣圖；不同姿勢(shì)人臉樣圖分別對(duì)應(yīng)一種轉(zhuǎn)換并合成于正臉圖像的算法。系統(tǒng)為訓(xùn)練圖像庫(kù)內(nèi)每個(gè)姿勢(shì)人臉樣圖分別訓(xùn)練一個(gè)基于貝葉斯正切輪廓的提取模型；系統(tǒng)讀入所有待合成人臉圖像；基準(zhǔn)點(diǎn)標(biāo)識(shí)器形成待合成人臉圖像的顯示界面供用戶瀏覽、用戶直接在待合成人臉圖像的兩眼中心點(diǎn)、鼻尖點(diǎn)進(jìn)行直接標(biāo)識(shí)作為基準(zhǔn)點(diǎn)；各提取模型依次從基準(zhǔn)點(diǎn)標(biāo)識(shí)器獲取基準(zhǔn)點(diǎn)，并根據(jù)基準(zhǔn)點(diǎn)和圖像中心點(diǎn)計(jì)算提取模型的搜索初始控制點(diǎn)；過(guò)濾器將各提取模型提取輪廓、控制點(diǎn)，分別與訓(xùn)練圖像庫(kù)人臉樣圖的進(jìn)行比對(duì)， 選出相互間控制點(diǎn)特征最相近的一個(gè)輪廓提取結(jié)果作為依據(jù)確定最終控制點(diǎn)，并把該人臉樣圖作為參考姿勢(shì)圖；正臉圖像合成器判斷是否存在正臉模板控制點(diǎn)特征與待合成人臉圖像的控制點(diǎn)相近似，如果存在，則以該正臉模板作為正臉圖像基板；否則從訓(xùn)練圖像集中隨機(jī)分配一幅正臉模板作為正臉圖像基板；正臉圖像合成器根據(jù)每幅待合成人臉圖像對(duì)應(yīng)的參考姿勢(shì)圖的算法計(jì)算合成在正臉圖像基板每個(gè)像素點(diǎn)的灰度值，然后計(jì)算所有待合成圖像在正臉圖像上每個(gè)像素點(diǎn)灰度值加權(quán)總和，最后才形成合成正臉圖像輸出。
權(quán)利要求
1.一種人臉合成系統(tǒng)，其特征在于，系統(tǒng)內(nèi)部設(shè)有訓(xùn)練圖像庫(kù)、合成算法庫(kù)、提取模型、 基準(zhǔn)點(diǎn)標(biāo)識(shí)器、過(guò)濾器和正臉圖像合成器，其中訓(xùn)練圖像庫(kù)，用于存儲(chǔ)正臉模板和不同姿勢(shì)人臉樣圖、每個(gè)正臉模板分別對(duì)應(yīng)兩個(gè)或以上的不同姿勢(shì)人臉樣圖；合成算法庫(kù)，用于存儲(chǔ)將不同姿勢(shì)人臉樣圖融合于與其對(duì)應(yīng)的正臉模板所使用的算法；提取模型，為基于貝葉斯正切輪廓的提取模型，用于將訓(xùn)練圖像庫(kù)內(nèi)每個(gè)姿勢(shì)人臉樣圖提取輪廓和控制點(diǎn)的工具；基準(zhǔn)點(diǎn)標(biāo)識(shí)器，用于為用戶提供待合成人臉圖像的瀏覽界面、提供直接在待合成人臉圖像的兩眼中心點(diǎn)、鼻尖點(diǎn)進(jìn)行直接標(biāo)識(shí)的手段；過(guò)濾器，用于調(diào)用各提取模型對(duì)待合成人臉圖像進(jìn)行依次提取輪廓與控制點(diǎn)，并分別與訓(xùn)練圖像庫(kù)人臉樣圖進(jìn)行比對(duì)，選出相互間控制點(diǎn)特征最相近的一個(gè)輪廓提取結(jié)果進(jìn)而確定控制點(diǎn)，并把該人臉樣圖作為參考姿勢(shì)圖；正臉圖像合成器，用于確定正臉模板，并選擇合成算法，將待合成人臉圖像合成為正臉圖像輸出。
2.如權(quán)利要求1所述的人臉合成系統(tǒng)，其特征在于，正臉圖像合成器還用于計(jì)算正臉圖像每個(gè)像素點(diǎn)的灰度值。
3.如權(quán)利要求2所述的人臉合成系統(tǒng)，其特征在于，正臉圖像合成器還用于從訓(xùn)練圖像庫(kù)內(nèi)選擇一正臉模板作為正臉圖像基板或隨機(jī)分配一幅正臉模板作為正臉圖像基板。
4.一種多幅非正面人臉的合成方法，其特征在于，包括如下步驟步驟一，建立訓(xùn)練圖像庫(kù)，使其存儲(chǔ)一個(gè)或一個(gè)以上的正臉模板，以及與每個(gè)正臉模板對(duì)應(yīng)的不同姿勢(shì)人臉樣圖；步驟二，系統(tǒng)為訓(xùn)練圖像庫(kù)內(nèi)每個(gè)姿勢(shì)人臉樣圖分別訓(xùn)練一個(gè)基于貝葉斯正切輪廓的提取模型；步驟三，系統(tǒng)讀入所有待合成人臉圖像；步驟四，基準(zhǔn)點(diǎn)標(biāo)識(shí)器形成待合成人臉圖像的顯示界面供用戶瀏覽、用戶直接在待合成人臉圖像的兩眼中心點(diǎn)、鼻尖點(diǎn)進(jìn)行直接標(biāo)識(shí)作為基準(zhǔn)點(diǎn)；步驟五，各提取模型依次從基準(zhǔn)點(diǎn)標(biāo)識(shí)器獲取基準(zhǔn)點(diǎn)，并根據(jù)基準(zhǔn)點(diǎn)和圖像中心點(diǎn)計(jì)算提取模型的搜索初始控制點(diǎn)；步驟六，過(guò)濾器將各提取模型提取輪廓、控制點(diǎn)，分別與訓(xùn)練圖像庫(kù)人臉樣圖的進(jìn)行比對(duì)，選出相互間控制點(diǎn)特征最相近的一個(gè)輪廓提取結(jié)果作為依據(jù)確定最終控制點(diǎn)，并把該人臉樣圖作為參考姿勢(shì)圖；步驟七，正臉圖像合成器選定正臉模板，并利用參考姿勢(shì)圖對(duì)應(yīng)合成算法，將待合成人臉圖像合成為正臉圖像并輸出。
5.如權(quán)利要求4所述多幅非正面人臉的合成方法，其特征在于，所述步驟七中，正臉圖像合成器判斷是否存在正臉模板控制點(diǎn)特征與待合成人臉圖像的控制點(diǎn)相近似，如果存在，則以該正臉模板作為正臉圖像基板；否則從訓(xùn)練圖像集中隨機(jī)分配一幅正臉模板作為正臉圖像基板。
6.如權(quán)利要求5所述多幅非正面人臉的合成方法，其特征在于，所述步驟七中，正臉圖像合成器根據(jù)每幅待合成人臉圖像對(duì)應(yīng)的參考姿勢(shì)圖的算法計(jì)算合成在正臉圖像基板每個(gè)像素點(diǎn)的灰度值，然后計(jì)算所有待合成圖像在正臉圖像上每個(gè)像素點(diǎn)灰度值加權(quán)總和， 最后才形成合成正臉圖像輸出。
7.如權(quán)利要求4、5、6任一所述多幅非正面人臉的合成方法，其特征在于，不同姿勢(shì)人臉樣圖分別對(duì)應(yīng)一種轉(zhuǎn)換并合成于正臉圖像的算法。
全文摘要
本發(fā)明公開(kāi)一種人臉合成系統(tǒng)及實(shí)現(xiàn)方法，其特征在于，系統(tǒng)內(nèi)部設(shè)有訓(xùn)練圖像庫(kù)、合成算法庫(kù)、提取模型、基準(zhǔn)點(diǎn)標(biāo)識(shí)器、過(guò)濾器和正臉圖像合成器，其中訓(xùn)練圖像庫(kù)，用于存儲(chǔ)正臉模板和不同姿勢(shì)人臉樣圖、每個(gè)正臉模板分別對(duì)應(yīng)兩個(gè)或以上的不同姿勢(shì)人臉樣圖；合成算法庫(kù)，用于存儲(chǔ)將不同姿勢(shì)人臉樣圖融合于與其對(duì)應(yīng)的正臉模板所使用的算法；提取模型，為基于貝葉斯正切輪廓的提取模型，用于將訓(xùn)練圖像庫(kù)內(nèi)每個(gè)姿勢(shì)人臉樣圖提取輪廓和控制點(diǎn)的工具；基準(zhǔn)點(diǎn)標(biāo)識(shí)器，用于為用戶提供待合成人臉圖像的瀏覽界面、提供直接在待合成人臉圖像的兩眼中心點(diǎn)、鼻尖點(diǎn)進(jìn)行直接標(biāo)識(shí)的手段；正臉圖像合成器，用于確定正臉模板，并選擇合成算法，將待合成人臉圖像合成為正臉圖像輸出。
文檔編號(hào)G06K9/64GK102567716SQ20111042766
公開(kāi)日2012年7月11日 申請(qǐng)日期2011年12月19日 優(yōu)先權(quán)日2011年12月19日
發(fā)明者盧林發(fā), 葉燦才, 黃家祺 申請(qǐng)人:中山愛(ài)科數(shù)字科技股份有限公司