雙眼定位方法及雙眼定位裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種雙眼定位方法、一種雙眼定位裝置。
【背景技術(shù)】
[0002]雙眼定位是數(shù)字圖像處理和模式識(shí)別領(lǐng)域的一項(xiàng)非常重要的基礎(chǔ)技術(shù)，很多人臉對(duì)齊算法、五官定位算法、視線跟蹤算法等都依賴于雙眼定位的結(jié)果?，F(xiàn)有的雙眼定位技術(shù)都直接定位雙眼，在人臉圖模糊、人臉具有表情或者姿態(tài)、墨鏡遮擋等情況下容易出現(xiàn)漏檢和誤檢的情況。
[0003]現(xiàn)有技術(shù)提供了另外一種基于類哈爾(Haar)特征和自適應(yīng)增強(qiáng)(Adaboost)算法的人眼定位方法。該方法基于類哈爾特征對(duì)大量的人眼樣本與非人眼樣本進(jìn)行訓(xùn)練，利用自適應(yīng)增強(qiáng)算法提取出性能較好的一些弱分類器，并將提取出的弱分類器進(jìn)行級(jí)聯(lián)，組成最終的強(qiáng)分類器，并利用該強(qiáng)分類器對(duì)待識(shí)別圖像中的人眼進(jìn)行檢測(cè)和定位。這種方法相對(duì)于基于灰度投影法的人眼定位方法來說，檢測(cè)效果好、定位速度快，但仍未解決攝像機(jī)與人臉之間的距離限制，當(dāng)攝像機(jī)與人臉之間距離較遠(yuǎn)時(shí)，由于檢測(cè)到的人眼特征較模糊，容易出現(xiàn)漏檢、誤檢的情況。

【發(fā)明內(nèi)容】

[0004]基于此，針對(duì)上述現(xiàn)有技術(shù)中存在的問題，本發(fā)明的目的在于提供一種雙眼定位方法以及一種雙眼定位裝置，其可以在人臉圖模糊或者雙眼被遮擋的情況下仍然能準(zhǔn)確地定位出雙眼位置，提高雙眼定位的準(zhǔn)確性和穩(wěn)定性。
[0005]為達(dá)到上述目的，本發(fā)明實(shí)施例采用以下技術(shù)方案:
[0006]一種雙眼定位方法，包括步驟:
[0007]對(duì)待檢測(cè)圖像進(jìn)行人臉檢測(cè)，獲得人臉位置，確定包含該人臉位置的待檢測(cè)人臉包圍框；
[0008]根據(jù)預(yù)存五點(diǎn)包圍框與人臉包圍框的對(duì)應(yīng)關(guān)系，確定與所述待檢測(cè)人臉包圍框?qū)?yīng)的估算待檢測(cè)五點(diǎn)包圍框，根據(jù)所述待檢測(cè)五點(diǎn)包圍框內(nèi)包括所述待檢測(cè)圖像的五個(gè)關(guān)鍵點(diǎn)的初始位置，所述五個(gè)關(guān)鍵點(diǎn)包括:左瞳孔點(diǎn)、右瞳孔點(diǎn)、鼻尖點(diǎn)、左嘴角點(diǎn)、右嘴角點(diǎn)，五點(diǎn)包圍框?yàn)槿四槇D像中包含五個(gè)關(guān)鍵點(diǎn)的包圍框，人臉包圍框?yàn)槿四槇D像中包含人臉位置的包圍框；
[0009]根據(jù)預(yù)設(shè)顯示形狀回歸模型對(duì)所述五個(gè)關(guān)鍵點(diǎn)的初始位置進(jìn)行校正處理，獲得包含五個(gè)關(guān)鍵點(diǎn)的最終位置；
[0010]從所述五個(gè)關(guān)鍵點(diǎn)的最終位置中提取左瞳孔點(diǎn)、右瞳孔點(diǎn)的位置坐標(biāo)。
[0011]—種雙眼定位裝置，包括:
[0012]人臉檢測(cè)模塊，用于對(duì)待檢測(cè)圖像進(jìn)行人臉檢測(cè)，獲得人臉位置，確定包含該人臉位置的待檢測(cè)人臉包圍框；
[0013]初始定位模塊，用于根據(jù)預(yù)存五點(diǎn)包圍框與人臉包圍框的對(duì)應(yīng)關(guān)系，確定與所述待檢測(cè)人臉包圍框?qū)?yīng)的估算待檢測(cè)五點(diǎn)包圍框，根據(jù)所述待檢測(cè)五點(diǎn)包圍框內(nèi)包括所述待檢測(cè)圖像的五個(gè)關(guān)鍵點(diǎn)的初始位置，所述五個(gè)關(guān)鍵點(diǎn)包括:左瞳孔點(diǎn)、右瞳孔點(diǎn)、鼻尖點(diǎn)、左嘴角點(diǎn)、右嘴角點(diǎn)，五點(diǎn)包圍框?yàn)槿四槇D像中包含五個(gè)關(guān)鍵點(diǎn)的包圍框，人臉包圍框?yàn)槿四槇D像中包含人臉位置的包圍框；
[0014]定位校正模塊，用于根據(jù)預(yù)設(shè)顯示形狀回歸模型對(duì)所述五個(gè)關(guān)鍵點(diǎn)的初始位置進(jìn)行校正處理，獲得包含五個(gè)關(guān)鍵點(diǎn)的最終位置；
[0015]雙眼位置提取模塊，用于從所述五個(gè)關(guān)鍵點(diǎn)的最終位置中提取左瞳孔點(diǎn)、右瞳孔點(diǎn)的位置坐標(biāo)。
[0016]根據(jù)如上所述的本發(fā)明實(shí)施例的方案，基于鼻尖、兩個(gè)嘴角位置對(duì)雙眼位置的幾何約束關(guān)系，利用人臉中左瞳孔點(diǎn)、右瞳孔點(diǎn)、鼻尖點(diǎn)、左嘴角點(diǎn)、右嘴角點(diǎn)這五個(gè)關(guān)鍵點(diǎn)對(duì)雙眼進(jìn)行定位，這種幾何約束關(guān)系與眼睛是否被遮擋無關(guān)，從而，即使在人臉圖模糊或者雙眼被遮擋的情況下仍然能準(zhǔn)確地定位出雙眼位置，提高了雙眼定位的準(zhǔn)確性和穩(wěn)定性。
【附圖說明】
[0017]圖1是本發(fā)明的雙眼定位方法實(shí)施例的流程示意圖；
[0018]圖2是一個(gè)具體例中確定對(duì)應(yīng)關(guān)系的流程意圖；
[0019]圖3是一個(gè)具體示例中確定顯示形狀回歸模型的流程示意圖；
[0020]圖4是一個(gè)具體示例基于圖3中顯示形狀回歸模型確定方式對(duì)雙眼進(jìn)行定位時(shí)的流程示意圖；
[0021]圖5是本發(fā)明的雙眼定位裝置實(shí)施例的模塊結(jié)構(gòu)示意圖；
[0022]圖6是一個(gè)示例中圖5中的對(duì)應(yīng)關(guān)系確定模塊的結(jié)構(gòu)示意圖；
[0023]圖7是一個(gè)示例中圖5中的模型確定模塊的結(jié)構(gòu)示意圖；
[0024]圖8是一個(gè)示例中圖5中的定位校正模塊的結(jié)構(gòu)示意圖；
[0025]圖9是能實(shí)現(xiàn)本發(fā)明方案的一個(gè)計(jì)算機(jī)系統(tǒng)的模塊結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0026]為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的【具體實(shí)施方式】?jī)H僅用以解釋本發(fā)明，并不限定本發(fā)明的保護(hù)范圍。
[0027]圖1中示出了本發(fā)明的雙眼定位方法實(shí)施例的流程示意圖，如圖1所示，本實(shí)施例中的雙眼定位方法包括步驟:
[0028]步驟S101:對(duì)待檢測(cè)圖像進(jìn)行人臉檢測(cè)，獲得人臉位置，確定包含該人臉位置的待檢測(cè)人臉包圍框；
[0029]步驟S102:根據(jù)預(yù)存五點(diǎn)包圍框與人臉包圍框的對(duì)應(yīng)關(guān)系，確定與所述待檢測(cè)人臉包圍框?qū)?yīng)的估算待檢測(cè)五點(diǎn)包圍框，根據(jù)所述待檢測(cè)五點(diǎn)包圍框內(nèi)包括所述待檢測(cè)圖像的五個(gè)關(guān)鍵點(diǎn)的初始位置，所述五個(gè)關(guān)鍵點(diǎn)包括:左瞳孔點(diǎn)、右瞳孔點(diǎn)、鼻尖點(diǎn)、左嘴角點(diǎn)、右嘴角點(diǎn)，五點(diǎn)包圍框?yàn)槿四槇D像中包含五個(gè)關(guān)鍵點(diǎn)的包圍框，人臉包圍框?yàn)槿四槇D像中包含人臉位置的包圍框；
[0030]步驟S103:根據(jù)預(yù)設(shè)顯示形狀回歸模型對(duì)所述五個(gè)關(guān)鍵點(diǎn)的初始位置進(jìn)行校正處理，獲得包含五個(gè)關(guān)鍵點(diǎn)的最終位置；
[0031]步驟S104:從所述五個(gè)關(guān)鍵點(diǎn)的最終位置中提取左瞳孔點(diǎn)、右瞳孔點(diǎn)的位置坐標(biāo)。
[0032]根據(jù)如上所述的本發(fā)明實(shí)施例的方案，基于鼻尖、兩個(gè)嘴角位置對(duì)雙眼位置的幾何約束關(guān)系，利用人臉中左瞳孔點(diǎn)、右瞳孔點(diǎn)、鼻尖點(diǎn)、左嘴角點(diǎn)、右嘴角點(diǎn)這五個(gè)關(guān)鍵點(diǎn)對(duì)雙眼進(jìn)行定位，這種幾何約束關(guān)系與眼睛是否被遮擋無關(guān)，從而，即使在人臉圖模糊或者雙眼被遮擋的情況下仍然能準(zhǔn)確地定位出雙眼位置，提高了雙眼定位的準(zhǔn)確性和穩(wěn)定性。
[0033]其中，考慮到目前的人臉檢測(cè)器對(duì)人臉進(jìn)行檢測(cè)時(shí)，輸出的人臉檢測(cè)圖像一般為正方形或者矩形，因此，上述本發(fā)明實(shí)施例方案中的待檢測(cè)人臉包圍框、五點(diǎn)包圍框、人臉包圍框、估算待檢測(cè)人臉包圍框可以為正方形或者矩形，在下述示例的說明中，也是結(jié)合包圍框?yàn)檎叫位蛘呔匦螢槔M(jìn)行說明。當(dāng)然，本領(lǐng)域技術(shù)人員知曉的時(shí)，在檢測(cè)得到的人臉圖像為其他形狀的情況下，例如圓形，也可以基于本發(fā)明實(shí)施例的方案對(duì)雙眼進(jìn)行定位。
[0034]其中，上述五點(diǎn)包圍框與人臉包圍框的對(duì)應(yīng)關(guān)系、上述預(yù)設(shè)顯示形狀回歸模型可以是在具體對(duì)雙眼進(jìn)行定位之前進(jìn)行確定。以下結(jié)合一個(gè)具體示例中的確定五點(diǎn)包圍框與人臉包圍框的對(duì)應(yīng)關(guān)系、顯示形狀回歸模型的過程進(jìn)行舉例說明。
[0035]結(jié)合圖2所示，一個(gè)具體示例中確定五點(diǎn)包圍框與人臉包圍框的對(duì)應(yīng)關(guān)系的過程可以是如下所述:
[0036]收集M(第一預(yù)設(shè)數(shù)目)張人臉圖，該Μ的具體值可以根據(jù)實(shí)際需要進(jìn)行設(shè)定，例如 2000 ；
[0037]標(biāo)注這Μ張人臉圖中的五個(gè)關(guān)鍵點(diǎn)，分別確定包含該人臉圖中的五個(gè)關(guān)鍵點(diǎn)的五點(diǎn)包圍框，即針對(duì)每一張人臉圖，都得到一個(gè)對(duì)應(yīng)的五點(diǎn)包圍框，其中，標(biāo)注這Μ張人臉圖中的五個(gè)關(guān)鍵點(diǎn)的過程可以通過手工標(biāo)注的方式進(jìn)行；
[0038]檢測(cè)這Μ張人臉圖中的人臉位置，分別確定包含該人臉圖的人臉位置的人臉包圍框，即針對(duì)每一張人臉圖，都得到一個(gè)對(duì)應(yīng)的人臉包圍框；
[0039]根據(jù)Μ張人臉圖的五點(diǎn)包圍框和人臉包圍框，統(tǒng)計(jì)確定五點(diǎn)包圍框和人臉包圍框的對(duì)應(yīng)關(guān)系。
[0040]其中，在一個(gè)具體示例中，上述五點(diǎn)包圍框和人臉包圍框的對(duì)應(yīng)關(guān)系可以