專利名稱：眼睛視線判斷的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種眼睛視線判斷的方法，特別是一種眼睛視線是否注視前 方的判斷方法。
背景技術(shù)：
目前數(shù)碼相機(jī)愈來(lái)愈普及，幾乎人手一臺(tái)。而各大數(shù)碼相機(jī)廠商分別推 出不同造型及功能需求的相機(jī)，讓消費(fèi)者能夠依據(jù)個(gè)人的需求去選購(gòu)。
現(xiàn)在的數(shù)碼相機(jī)，具有的基本功能極為類似，從光圈大小、光學(xué)變焦、 數(shù)碼變焦、開(kāi)機(jī)速率、存儲(chǔ)卡容量支援度，以及防手振等功能。每一家廠商 無(wú)不積極的開(kāi)發(fā)新功能來(lái)滿足消費(fèi)者的需求，而一般消費(fèi)者最常用的攝影模 式，不外乎是人像拍攝。因此，有廠商推出了具有人臉辨識(shí)功能的相機(jī)，是 自動(dòng)將屏幕中所有的人臉辨識(shí)出來(lái)，并取得最佳的拍攝焦距，再搭配最合適 的光圈及快門，使拍攝者能夠輕輕松松拍到清晰的照片。
然而，在拍攝人物相片時(shí)，被拍攝者的眼神對(duì)照片拍攝的好壞占有很大 的比重。因此，拍攝者需要額外注意每位被拍攝者的眼睛是否注視著前方的 鏡頭，如此拍攝出來(lái)的照片才會(huì)較有美感。當(dāng)被拍攝者之?dāng)?shù)量較少時(shí)，拍攝 者可通過(guò)相機(jī)的液晶屏幕或直接以目視的方式注意被拍攝者的視線。若被拍 攝者的視線不是注視著前方的鏡頭時(shí)，拍攝者再以口頭喊話告知被拍攝者。 但若是拍團(tuán)體照時(shí)，拍攝者就無(wú)法兼顧每位被拍攝者的視線，若有少數(shù)人的 視線沒(méi)有注視前方的鏡頭，即會(huì)破壞美感。另一方面，如果相機(jī)的液晶屏幕 較小，拍攝者也不容易從相機(jī)的液晶屏幕發(fā)現(xiàn)是否有少部分人的視線是在注 視著別的地方。

發(fā)明內(nèi)容
鑒于上述公知技術(shù)的問(wèn)題，本發(fā)明提供一種眼睛視線判斷的方法。用以 改良公知技術(shù)中，若是拍攝者無(wú)法直接以目視的方法或從相機(jī)的液晶屏幕找出被拍攝者的視線未注意前方的鏡頭，并予以告知的話，將造成拍攝出來(lái)的 照片較不美觀的問(wèn)題。
根據(jù)本發(fā)明所公開(kāi)的眼睛視線判斷的方法，應(yīng)用于攝像裝置拍攝人像 時(shí)，自動(dòng)進(jìn)行檢測(cè)人像的眼睛視線是否注視前方的攝像裝置。攝像裝置包括
攝像單元。
首先，由攝像單元取得欲拍攝的人像影像。接著，由人像影像中，利用 輪廓比對(duì)的方式分析出被拍攝者的眼睛區(qū)域。再通過(guò)眼睛區(qū)域的信息，得到 包括瞳孔及眼眶的眼部特征。經(jīng)過(guò)眼部特征的比對(duì)，可以得到有關(guān)于眼部特 征的特征比例。根據(jù)特征比例即可以判斷眼睛視線注視的方向。
其中，用以判斷眼睛視線注視的方向是利用眼部特征中的特征比例。特
征比例的計(jì)算方法包括下列步驟從畫(huà)面中的每一個(gè)臉部區(qū)域中，擷取出包 括瞳孔和眼眶的眼睛特征。再分析同一個(gè)臉部區(qū)域中，瞳孔和眼眶之間的相 對(duì)距離，再根據(jù)瞳孔半徑特定百分比所得到的差異值，計(jì)算出特征比例。
而瞳孔和眼眶之間的相對(duì)距離的分析包括下列步驟分別分析出瞳孔中 心點(diǎn)和眼眶中心點(diǎn)的位置，再計(jì)算瞳孔中心點(diǎn)的位置和眼眶中心點(diǎn)的位置之 間的距離。計(jì)算出的距離即代表瞳孔和眼眶之間的相對(duì)距離。
根據(jù)特征比例來(lái)判斷瞳孔位于眼眶的位置的判定包括下列步驟相對(duì)距 離與差異值相減的值小于零，特征比例即為負(fù)數(shù)。相對(duì)距離與差異值相減的
值大于零，特征比例即為正數(shù)。如果特征比例為負(fù)數(shù)，則判定瞳孔是位于眼 眶的中心位置，即代表眼睛視線注視著前方。如果相對(duì)距離大于差異值，則 判定瞳孔不是位于眼眶的中心位置，即代表眼睛不是注視著前方。
經(jīng)過(guò)特征比例判定后，瞳孔位于眼眶的中心位置時(shí)，攝像裝置會(huì)產(chǎn)生提 示信號(hào)。使拍攝者發(fā)覺(jué)提示信號(hào)后，了解被拍攝者的眼睛視線皆注視著攝像 裝置后，即可進(jìn)行拍照。反之，經(jīng)過(guò)判定后，瞳孔不是位于眼眶的中心位置 時(shí)，攝像裝置也會(huì)產(chǎn)生警示信號(hào)。使拍攝者發(fā)覺(jué)警示信號(hào)后，了解被拍攝者 的眼睛視線并非全部注視著攝像裝置。拍攝者即可以告知被拍攝者請(qǐng)注視著 攝像裝置，待攝像裝置產(chǎn)生提示信號(hào)后，即可以進(jìn)行拍照。
本發(fā)明所公開(kāi)的眼睛視線判斷的方法，是通過(guò)畫(huà)面擷取被拍攝者的臉部 區(qū)域后，分析出臉部區(qū)域中的眼部特征，再利用眼部特征換算出特征比例， 即可以判斷眼睛視線所注視的方向。而攝像裝置根據(jù)判斷結(jié)果，發(fā)出提示信號(hào)或警示信號(hào)。因此，拍攝者不用一一目視被拍攝者的視線，或從相機(jī)的液 晶屏幕找出注視著別方的被拍攝者，能夠直接輕輕松松地拍攝出一張被拍攝 者皆注視著攝像裝置的照片。
以上關(guān)于本發(fā)明內(nèi)容的說(shuō)明及以下的實(shí)施方式的說(shuō)明是用以示范與解 釋本發(fā)明的精神與原理，并且提供本發(fā)明的權(quán)利要求更進(jìn)一步的解釋。


圖l是根據(jù)本發(fā)明的流程圖2是根據(jù)本發(fā)明的通過(guò)攝像裝置所得到的影像示意圖3A是根據(jù)本發(fā)明的眼睛區(qū)域示意圖3B是根據(jù)本發(fā)明的特征比例示意圖4A是根據(jù)本發(fā)明的顏色標(biāo)記框示意圖4B是根據(jù)本發(fā)明的黑白影像示意圖；以及
圖4C是根據(jù)本發(fā)明的文字信號(hào)示意圖。
并且，上述附圖中的附圖標(biāo)記說(shuō)明如下
20影像
200被拍攝者
30眼睛區(qū)域
31 眼眶
311眼眶中心點(diǎn)
32瞳孔
321瞳孔中心點(diǎn)
41 顏色標(biāo)記框
42黑白影像
43文字信號(hào)
D相對(duì)距離
R半徑
X差異值
S10通過(guò)攝像單元取得影像
Sll利用輪廓比對(duì)的方式從影像中分析出眼睛區(qū)域S12分析出眼睛區(qū)域中的眼部特征
S13從眼部特征計(jì)算瞳孔和眼眶的相對(duì)距離并依據(jù)瞳孔半徑算出差異值 S14根據(jù)相對(duì)距離與差異值的值，計(jì)算出特征比例 S15根據(jù)特征比例判斷瞳孔位于眼眶的位置
S16依據(jù)瞳孔所在眼眶的位置，以判定視線是否注視前方，若判定注視 前方，產(chǎn)生提示信號(hào)，若判定不是注視前方，產(chǎn)生警示信號(hào)。
具體實(shí)施例方式
以下在實(shí)施方式中詳細(xì)敘述本發(fā)明的詳細(xì)特征以及優(yōu)點(diǎn)，其內(nèi)容足以使 任何本領(lǐng)普通技術(shù)人員了解本發(fā)明的技術(shù)內(nèi)容并據(jù)以實(shí)施，且根據(jù)本說(shuō)明書(shū) 所公開(kāi)的內(nèi)容、權(quán)利要求及附圖，任何本領(lǐng)普通技術(shù)人員可輕易地理解本發(fā) 明相關(guān)的目的及優(yōu)點(diǎn)。以下的實(shí)施例是進(jìn)一步詳細(xì)說(shuō)明本發(fā)明的觀點(diǎn)，但非 以任何觀點(diǎn)限制本發(fā)明的范疇。
根據(jù)本發(fā)明所公開(kāi)的眼睛視線判斷的方法，是可應(yīng)用于攝像裝置。此攝 像裝置可為數(shù)碼相機(jī)(Digital Camera)、行動(dòng)電話(Mobile Phone)、個(gè)人 數(shù)字助理(Personal Digital Assistant, PDA)、智能型《亍動(dòng)電話(PDAphone、 Smartphone)、袖珍型電腦(PocketPC)或掌上型電腦(Hand-heldPC)等 電子數(shù)據(jù)處理裝置上的攝像元件。此攝像裝置用以進(jìn)行影像的擷取及儲(chǔ)存。
請(qǐng)參閱圖1，其是為根據(jù)本發(fā)明一實(shí)施例的眼睛視線判斷方法的流程圖。 如圖1所示，根據(jù)本發(fā)明的眼睛視線判斷方法是通過(guò)攝像裝置的攝像單元所 擷取的畫(huà)面，進(jìn)行影像分析判斷，以取得視線注視的方向判定。
首先，通過(guò)攝像單元取得影像，如步驟IO。攝像單元是鏡頭，通常由一 塊或是多塊光學(xué)玻璃組成，用來(lái)接收欲拍攝物的光線。攝像單元所接收到的 光線再由攝像裝置將其轉(zhuǎn)換為影像顯示于攝像裝置的液晶屏幕上。接下來(lái)， 利用輪廓比對(duì)的方式從影像中分析出眼睛區(qū)域，如步驟11。在所得到影像中， 通常是包含各式各樣的畫(huà)面。因此，需要利用輪廓比對(duì)的方式，從畫(huà)面影像 中找出人臉區(qū)域，再由人臉區(qū)域中比對(duì)出眼睛區(qū)域，以利于之后的視線判斷。 分析出眼睛區(qū)域中的眼部特征，如步驟12。比對(duì)出眼睛區(qū)域后，再通過(guò)眼睛 區(qū)域的畫(huà)面再分析出眼部特征。眼部特征包括瞳孔和眼眶。
接著，從眼部特征計(jì)算瞳孔和眼眶的相對(duì)距離并依據(jù)瞳孔半徑算出差異
7值，如步驟13。舉例來(lái)說(shuō)，可分別分析瞳孔的中心點(diǎn)及眼眶中心點(diǎn)的位置。 眼眶的中心點(diǎn)是利用眼眶兩角的距離來(lái)決定其中心點(diǎn)位置。瞳孔的中心點(diǎn)則 可通過(guò)檢測(cè)瞳孔輪廓后，通過(guò)分析瞳孔輪廓而得到。得到瞳孔中心點(diǎn)及眼眶 中心點(diǎn)的位置之后，即可計(jì)算出瞳孔中心點(diǎn)及眼眶中心點(diǎn)之間的相對(duì)距離。 再利用瞳孔輪廓計(jì)算出瞳孔的半徑后，根據(jù)瞳孔半徑的特定百分比可以算出 差異值。
之后，根據(jù)相對(duì)距離與差異值的值，計(jì)算出特征比例，如步驟14。若是 相對(duì)距離與差異值相減的值小于零，特征比例即為負(fù)數(shù)。若是相對(duì)距離與差 異值相減的值大于零，特征比例即為正數(shù)。根據(jù)特征比例判斷瞳孔位于眼眶 的位置，如步驟15。如果特征比例為負(fù)數(shù)，判定瞳孔位于眼眶的中央位置。 如果特征比例為正數(shù)，判定瞳孔不位于眼眶的中央位置，即在中央位置外。
最后，依據(jù)瞳孔所在眼眶的位置，以判定視線是否注視前方，若判定注 視前方，產(chǎn)生提示信號(hào)，若判定不是注視前方，產(chǎn)生警示信號(hào)，如步驟16。 若是經(jīng)過(guò)特征比例的判定，瞳孔所在位置位于眼眶的中央位置，即判定視線 注視著前方的攝像裝置。隨即產(chǎn)生提示信號(hào)，提示信號(hào)是文字信號(hào)或聲音信 號(hào)。若是經(jīng)過(guò)特征比例的判定，瞳孔所在位置不是位于眼眶的中央位置，即 判定視線不注視著前方，而是朝其他方向注視。隨即產(chǎn)生警示信號(hào)于影像上， 警示信號(hào)是聲音信號(hào)或畫(huà)面信號(hào)。
以下為本發(fā)明的實(shí)施例，請(qǐng)參閱圖2。利用攝像裝置拍攝團(tuán)體照時(shí)，通 過(guò)攝像單元得到影像20，影像20中包含數(shù)碼被拍攝者200。接著從被拍攝 者200中，采用輪廓比對(duì)的方式分析出被拍攝者200的人臉后，再由人臉比 對(duì)出眼睛區(qū)域30 (如圖3A所示)。接著，從眼睛區(qū)域30中，同樣利用輪 廓比對(duì)的方式比對(duì)出眼眶31及瞳孔32。
請(qǐng)參閱圖3B,從眼睛區(qū)域30中，比對(duì)出眼眶31及瞳孔32后，計(jì)算出 眼眶中心點(diǎn)311及瞳孔中心點(diǎn)321的位置。從眼眶中心點(diǎn)311及瞳孔中心點(diǎn) 321的位置可以得到兩者的相對(duì)距離D，接著計(jì)算出瞳孔32的半徑R。
根據(jù)半徑R，可以依照半徑R的特定百分比來(lái)計(jì)算差異值X。在本實(shí)施 例的特定百分比采用30%，也可以為其他特定百分比。30%是根據(jù)數(shù)據(jù)庫(kù)處 理后所得到的較佳比例而設(shè)定，拍攝者也可以依照自己能接受的程度更改其 特定百分比。將相對(duì)距離D與差異值X做比較，可得到特征比例。若是相對(duì)距離D與差異值X相減的值小于零，即代表特征比例為負(fù)數(shù)。若是相對(duì) 距離D與差異值X相減的值大于零，即代表特征比例為正數(shù)。
而依照特征比例的值為正數(shù)或負(fù)數(shù)，可以判定瞳孔32位于眼眶31的位 置。當(dāng)特征比例的值為負(fù)數(shù)，則瞳孔32位于眼眶31的中央位置，即可判定 眼睛視線注視著前方。同時(shí)，產(chǎn)生提示信號(hào)使拍攝者知道此狀況。當(dāng)特征比 例的值為正數(shù)，則瞳孔32不是位于眼眶31的中央位置，即可判定眼睛視線 不是注視著前方。同時(shí)，產(chǎn)生警示信號(hào)，使拍攝者發(fā)現(xiàn)異常并即時(shí)告知被拍 攝者視線的方向。
請(qǐng)參閱圖4A、圖4B、圖4C，是判定視線方向后，產(chǎn)生的提示信號(hào)或警 示信號(hào)的示意圖。提示信號(hào)可為聲音信號(hào)或文字信號(hào)，警示信號(hào)可為聲音信 號(hào)、文字信號(hào)，以及畫(huà)面信號(hào)。當(dāng)產(chǎn)生的信號(hào)為聲音信號(hào)時(shí)，是由攝像裝置 產(chǎn)生聲音(例如，提示信號(hào)的聲音為連續(xù)三短聲，而警示信號(hào)的聲音為一長(zhǎng) 聲)(未圖示)。當(dāng)產(chǎn)生的信號(hào)為畫(huà)面信號(hào)時(shí)，畫(huà)面信號(hào)可為顏色標(biāo)記框41 (如圖4A)或黑白影像42 (如「第4B圖」)。顏色標(biāo)記框41出現(xiàn)于影像 20中，眼睛視線未注視攝像裝置的被拍攝者200的眼睛區(qū)域30 (未圖示) 周圍，以提醒拍攝者影像20中哪一位被拍攝者200未注視攝像裝置。黑白 影像42是將眼睛視線未注視攝像裝置的被拍攝者200的眼睛區(qū)域30 (未圖 示)的顏色，由原本的彩色轉(zhuǎn)為黑白畫(huà)面，以方便拍攝者清楚地發(fā)現(xiàn)被拍攝 者200的視線異常。當(dāng)產(chǎn)生的信號(hào)為文字信號(hào)43 (如圖4C)時(shí)，在影像20 右下角即會(huì)產(chǎn)生文字串告知拍攝者狀況(例如，提示信號(hào)出現(xiàn)的文字信號(hào)43 為"可以拍攝"，警示信號(hào)出現(xiàn)的文字信號(hào)43為"有人未注視鏡頭")。
以上所述的提示信號(hào)及警示信號(hào)的產(chǎn)生方式，也可提供選項(xiàng)由拍攝者自 行設(shè)定。設(shè)定選項(xiàng)包括顏色標(biāo)記框41的顏色及所框眼睛區(qū)域30的范圍、黑 白影像42所包含的范圍、攝像裝置產(chǎn)生的聲音信號(hào)長(zhǎng)短，以及文字信號(hào)43 所標(biāo)示的文字及于影像20中的位置。
通過(guò)本發(fā)明所公開(kāi)的眼睛視線判斷的方法，拍攝者不用一一目視被拍攝 者的視線，或從攝像裝置的液晶屏幕找出注視著別方的被拍攝者。而能夠直 接從攝像裝置產(chǎn)生的聲音或從影像中的提示信號(hào)或警示信號(hào)得知被拍攝者 的視線，輕松地拍攝出一張被拍攝者皆注視著攝像裝置的照片。
權(quán)利要求
1.一種眼睛視線判斷的方法，應(yīng)用于一攝像裝置，該攝像裝置包括一攝像單元，該方法包括通過(guò)該攝像單元取得一影像；分析該影像以得到該影像中的至少一眼睛區(qū)域；分析該眼睛區(qū)域以得到一眼部特征；利用該眼部特征計(jì)算出一特征比例；根據(jù)該特征比例選擇性產(chǎn)生至少一警示信號(hào)；以及選擇性顯示該影像和結(jié)合該警示信號(hào)的該影像。
2. 如權(quán)利要求1所述的眼睛視線判斷的方法，其中分析該影像以得到該 影像中的該眼睛區(qū)域的步驟包括進(jìn)行該影像的特征輪廓比對(duì)以得到該眼睛 區(qū)域。
3. 如權(quán)利要求1所述的眼睛視線判斷的方法，其中利用該眼部特征計(jì)算 出該特征比例的步驟包括擷取該眼部特征中的該瞳孔及該眼眶； 計(jì)算該瞳孔及該眼眶的一相對(duì)距離；以及 根據(jù)該相對(duì)距離判定該瞳孔位于該眼眶的位置。
4. 如權(quán)利要求3所述的眼睛視線判斷的方法，還包括 檢測(cè)該瞳孔的輪廓； 估算該瞳孔的輪廓的半徑；以及 計(jì)算該半徑的一特定百分比以得到一差異值；其中根據(jù)該相對(duì)距離判定該瞳孔位于該眼眶的位置的步驟包括通過(guò)比 較該相對(duì)距離與該差異值判定該瞳孔位于該眼眶的位置。
5. 如權(quán)利要求4所述的眼睛視線判斷的方法，其中該特定百分比是30%。
6. 如權(quán)利要求3所述的眼睛視線判斷的方法，其中計(jì)算該瞳孔及該眼眶 的該相對(duì)距離的步驟包括分析該瞳孔的中心點(diǎn)； 分析該眼眶的中心點(diǎn)；以及計(jì)算由該瞳孔的中心點(diǎn)及該眼眶的中心點(diǎn)之間的該相對(duì)距離。
7. 如權(quán)利要求3所述的眼睛視線判斷的方法，其中根據(jù)該相對(duì)距離判定該瞳孔位于該眼眶的位置的步驟包括當(dāng)該相對(duì)距離小于該差異值，判定該瞳孔位于該眼眶的中心位置；以及 當(dāng)該相對(duì)距離大于該差異值，判定該瞳孔位于該眼眶的中心位置外。
8. 如權(quán)利要求1所述的眼睛視線判斷的方法，其中根據(jù)該特征比例選擇 性產(chǎn)生該警示信號(hào)的步驟包括當(dāng)該特征比例表示出該瞳孔位于該眼眶的中央位置，不產(chǎn)生該警示信號(hào)；以及當(dāng)該特征比例表示出該瞳孔位于該眼眶的中央位置外，產(chǎn)生該警示信號(hào)。
9. 如權(quán)利要求8所述的眼睛視線判斷的方法，其中該警示信號(hào)出現(xiàn)于該 影像中經(jīng)判定該瞳孔位于該眼眶的中央位置外的該眼睛區(qū)域。
10. 如權(quán)利要求1所述的眼睛視線判斷的方法，其中根據(jù)該特征比例選 擇性產(chǎn)生該警示信號(hào)的步驟包括根據(jù)該特征比例選擇性產(chǎn)生該警示信號(hào)和一提示信號(hào)；其中選擇性顯示該影像和結(jié)合該警示信號(hào)的該影像的步驟包括選擇性顯示結(jié)合該提示信號(hào)的該影像和結(jié)合該警示信號(hào)的該影像。
全文摘要
一種眼睛視線判斷的方法，是應(yīng)用于攝像裝置。攝像裝置具有攝像單元，是用以擷取影像。其中眼睛視線判斷的方法是通過(guò)分析影像中人臉的眼睛特征，并根據(jù)眼睛特征來(lái)判定眼睛視線是否注視著前方。本發(fā)明用以改良公知技術(shù)中的缺陷即，若是拍攝者無(wú)法直接以目視的方法或從相機(jī)的液晶屏幕找出被拍攝者的視線未注意前方的鏡頭，并予以告知的話，將造成拍攝出來(lái)的照片較不美觀的問(wèn)題。
文檔編號(hào)G03B13/18GK101620359SQ20081012824
公開(kāi)日2010年1月6日 申請(qǐng)日期2008年7月4日 優(yōu)先權(quán)日2008年7月4日
發(fā)明者黃毓承 申請(qǐng)人:華晶科技股份有限公司