凝視檢測(cè)設(shè)備及方法
【專利說明】凝視檢測(cè)設(shè)備及方法
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)基于并且要求于2013年11月15日在韓國(guó)知識(shí)產(chǎn)權(quán)局提交的韓國(guó)專利申請(qǐng)第10-2013-0138977號(hào)的優(yōu)先權(quán)，通過引用將其全部?jī)?nèi)容結(jié)合在此。
技術(shù)領(lǐng)域
[0003]本公開內(nèi)容涉及一種從圖像檢測(cè)用戶凝視的凝視檢測(cè)設(shè)備及方法。
【背景技術(shù)】
[0004]隨著電子技術(shù)的發(fā)展，各種電子器件的應(yīng)用逐漸增加并且已經(jīng)積極進(jìn)行有關(guān)人機(jī)交互(HCI)的研究。具體地，最近開始使用諸如語(yǔ)音識(shí)別和運(yùn)動(dòng)識(shí)別的各種HCI技術(shù)。除這些技術(shù)之外，因?yàn)槭褂糜脩敉滓苿?dòng)的HCI提供便利性和高輸入速率，所以也開發(fā)了分析心理狀態(tài)或者跟蹤用戶凝視以操作電子設(shè)備的操作電子設(shè)備技術(shù)。

【發(fā)明內(nèi)容】

[0005]本公開內(nèi)容提供一種即使在凝視檢測(cè)過程中沒有檢測(cè)到所需特征點(diǎn)，也可靠性改進(jìn)地檢測(cè)用戶的凝視的凝視檢測(cè)設(shè)備和方法。
[0006]就本公開內(nèi)容的一方面而言，凝視檢測(cè)設(shè)備可包括:存儲(chǔ)單元(例如，內(nèi)存)，存儲(chǔ)單元被配置為存儲(chǔ)參考凝視、第一參考矢量以及第二參考矢量；成像裝置(例如，照相機(jī)、攝影機(jī)等)，被配置為捕獲用戶的眼睛的圖像；中心點(diǎn)檢測(cè)單元，被配置為從捕獲圖像檢測(cè)瞳孔和眼球的大致中心點(diǎn)；矢量生成單元，被配置為當(dāng)檢測(cè)到三個(gè)中心點(diǎn)時(shí)，產(chǎn)生針對(duì)一個(gè)眼球的凝視矢量和三個(gè)大致中心點(diǎn)在其中形成的平面的法向矢量；計(jì)算單元，被配置為通過將凝視矢量和法向矢量與第一參考矢量和第二參考矢量進(jìn)行分別比較來計(jì)算第一旋轉(zhuǎn)角和第二旋轉(zhuǎn)角，并且計(jì)算第一旋轉(zhuǎn)角和第二旋轉(zhuǎn)角的平均值；以及凝視檢測(cè)單元，被配置為通過將參考凝視旋轉(zhuǎn)了平均值一樣多，檢測(cè)用戶的凝視。多個(gè)單元和成像裝置可由控制器操作。
[0007]存儲(chǔ)單元可被配置為存儲(chǔ)分別用于左眼和右眼的第一參考矢量，并且計(jì)算單元可被配置為通過將用于一個(gè)眼球的凝視矢量與左眼和右眼中任一個(gè)的第一參考矢量進(jìn)行比較來計(jì)算第一旋轉(zhuǎn)角。計(jì)算單元可被配置為使用基于歐拉角的算法計(jì)算第一旋轉(zhuǎn)角和第二旋轉(zhuǎn)角。
[0008]就本公開內(nèi)容的另一方面而言，凝視檢測(cè)方法可包括:通過執(zhí)行凝視校準(zhǔn)來檢測(cè)參考凝視、第一參考矢量以及第二參考矢量；從包括用戶的眼睛的圖像檢測(cè)瞳孔和眼球的大致中心點(diǎn)；當(dāng)檢測(cè)到三個(gè)中心點(diǎn)時(shí)，使用這三個(gè)中心點(diǎn)產(chǎn)生三個(gè)大致中心點(diǎn)形成在其中的平面的法向矢量和用于一個(gè)眼球的凝視矢量；通過將凝視矢量和法向矢量分別與第一參考矢量和第二參考矢量進(jìn)行比較來計(jì)算第一旋轉(zhuǎn)角和第二旋轉(zhuǎn)角；計(jì)算第一旋轉(zhuǎn)角和第二旋轉(zhuǎn)角的平均值；以及通過將用戶的凝視旋轉(zhuǎn)平均值一樣多來檢測(cè)用戶的凝視。
[0009]在檢測(cè)第一參考矢量時(shí)，可以檢測(cè)用于左眼和右眼的第一參考矢量，并且在計(jì)算第一旋轉(zhuǎn)角時(shí)，可通過將用于一個(gè)眼球的凝視矢量與左眼和右眼中任一個(gè)的第一參考矢量進(jìn)行比較來計(jì)算第一旋轉(zhuǎn)角。在計(jì)算第一旋轉(zhuǎn)角和第二旋轉(zhuǎn)角時(shí)，可以使用基于歐拉角的算法。
【附圖說明】
[0010]從下面結(jié)合附圖進(jìn)行的細(xì)節(jié)描述中，本公開內(nèi)容的上述和其他目標(biāo)、特征以及優(yōu)點(diǎn)將變得更為顯而易見，其中:
[0011]圖1是示出了根據(jù)本公開內(nèi)容的示例性實(shí)施方式的凝視檢測(cè)設(shè)備的配置的示例圖；
[0012]圖2是描述根據(jù)本公開內(nèi)容的示例性實(shí)施方式的凝視矢量生成過程的示例圖；
[0013]圖3A至圖3B是描述根據(jù)本公開內(nèi)容的示例性實(shí)施方式的凝視矢量和法向矢量生成過程的示例圖；
[0014]圖4A至圖4B是描述根據(jù)本公開內(nèi)容的示例性實(shí)施方式的參考矢量的示例圖；
[0015]圖5是描述根據(jù)本公開內(nèi)容的示例性實(shí)施方式的旋轉(zhuǎn)角計(jì)算過程的示例圖；以及
[0016]圖6是描述根據(jù)本公開內(nèi)容的示例性實(shí)施方式的凝視檢測(cè)方法的示例流程圖。
【具體實(shí)施方式】
[0017]應(yīng)當(dāng)理解的是，在此使用的術(shù)語(yǔ)“車輛”或者“車輛的”或者其他類似術(shù)語(yǔ)通常包括機(jī)動(dòng)車輛，諸如包括運(yùn)動(dòng)型多用途車(SUV)的客車、公共汽車、卡車、各種商用車輛、包括各種船舶的船只、飛機(jī)等等，并且包括混合動(dòng)力車輛、電動(dòng)車輛、內(nèi)燃機(jī)式車輛、插電式混合動(dòng)力車輛、氫動(dòng)力車輛以及其他可替代燃料車輛(例如，源自不同于石油的資源的燃料)。
[0018]盡管示例性實(shí)施方式被描述為使用多個(gè)單元執(zhí)行示例性過程，然而，應(yīng)當(dāng)理解的是，示例性過程還可由一個(gè)或者多個(gè)模塊執(zhí)行。此外，應(yīng)當(dāng)理解的是，術(shù)語(yǔ)“控制器/控制單元”指包括內(nèi)存和處理器的硬件設(shè)備。內(nèi)存被配置為存儲(chǔ)模塊并且處理器被具體配置為執(zhí)行所述模塊以執(zhí)行下面進(jìn)一步所描述的一個(gè)或者多個(gè)過程。
[0019]而且，本發(fā)明的控制邏輯可包括非易失性計(jì)算機(jī)可讀介質(zhì)，在計(jì)算機(jī)可讀介質(zhì)上包含由處理器、控制器/控制單元執(zhí)行的可執(zhí)行程序指令。計(jì)算機(jī)可讀介質(zhì)的實(shí)施例包括但并不限于:R0M、RAM、光盤(CD)-ROM、磁帶、軟盤、閃存驅(qū)動(dòng)、智能卡和光學(xué)數(shù)據(jù)存儲(chǔ)設(shè)備。計(jì)算機(jī)可讀記錄介質(zhì)也可分布在網(wǎng)絡(luò)耦合的計(jì)算機(jī)系統(tǒng)中，從而以分布式方式存儲(chǔ)并且例如由車載通信服務(wù)器(telematics server)或控制器局域網(wǎng)絡(luò)(CAN)執(zhí)行該計(jì)算機(jī)可讀介質(zhì)。
[0020]本文中所使用的術(shù)語(yǔ)僅是為了描述【具體實(shí)施方式】而并不旨在限制對(duì)本發(fā)明。除非上下文另有明確指示，否則，如本文中所使用的，單數(shù)形式“一(a)”、“一(an)”及“該”也旨在包括復(fù)數(shù)形式。應(yīng)當(dāng)進(jìn)一步理解的是，當(dāng)本說明書中使用術(shù)語(yǔ)“包括(comprises)”和/或“包括(comprising) ”時(shí),指定存在所述特征、整數(shù)、步驟、操作、元件及/或組件,但并不排除存在或添加一個(gè)或多個(gè)其它特征、整數(shù)、步驟、操作、元件、組件及/或其組合。如本文中使用的，術(shù)語(yǔ)“和/或”包括一個(gè)或多個(gè)關(guān)聯(lián)列出項(xiàng)的任何及所有組合。
[0021]在下文中，將參考附圖詳細(xì)描述本公開內(nèi)容的示例性實(shí)施方式。圖1是示出了根據(jù)本公開內(nèi)容的示例性實(shí)施方式的凝視檢測(cè)設(shè)備的配置的示例圖。參考圖1，凝視檢測(cè)設(shè)備100可包括由具有處理器和內(nèi)存的控制器所執(zhí)行的多個(gè)單元。多個(gè)單元可包括成像裝置110 (例如，照相機(jī)、攝影機(jī)等)、中心點(diǎn)檢測(cè)單元120、矢量生成單元130、存儲(chǔ)單元140 (例如，內(nèi)存)、計(jì)算單元150、以及凝視檢測(cè)單元160。
[0022]成像裝置110可被配置為捕獲用戶的眼睛的圖像。換言之，成像裝置110可被配置為通過捕獲用戶的面部區(qū)域而獲得包括用戶的眼睛的圖像。因此，成像裝置110可被實(shí)施為紅外照相機(jī)。
[0023]中心點(diǎn)檢測(cè)單元120可被配置為從成像裝置110捕獲的圖像檢測(cè)瞳孔和眼球的大致中心點(diǎn)。中心點(diǎn)檢測(cè)單元120可被配置為通過處理捕獲圖像來檢測(cè)瞳孔和眼球的大致中心點(diǎn)。由中心點(diǎn)檢測(cè)單元120捕獲的圖像可用于檢測(cè)眼睛區(qū)域并且檢測(cè)眼睛區(qū)域內(nèi)瞳孔的大致中心點(diǎn)。此外，中心點(diǎn)檢測(cè)單元120可被配置為通過檢測(cè)光從眼球反射的部分而檢測(cè)眼球的大致中心點(diǎn)。
[0024]此外，可檢測(cè)到的瞳孔和眼球的大致中心點(diǎn)高達(dá)四個(gè)。即，當(dāng)檢測(cè)左眼和右眼的瞳孔和眼球的中心點(diǎn)時(shí),可檢測(cè)到四個(gè)中心點(diǎn)。在四個(gè)中心點(diǎn)之一沒有被檢測(cè)到的情況下,檢測(cè)全部四個(gè)中心點(diǎn)以檢測(cè)凝視的現(xiàn)有凝視檢測(cè)方法可能未檢測(cè)到凝視。然而，在檢測(cè)到四個(gè)中心點(diǎn)時(shí)以及即使在檢測(cè)到三個(gè)中心點(diǎn)時(shí)，根據(jù)本公開內(nèi)容的示例性實(shí)施方式的凝視檢測(cè)設(shè)備100也可檢測(cè)到用戶的凝視。當(dāng)凝視檢測(cè)設(shè)備100檢測(cè)到全部四個(gè)中心點(diǎn)時(shí)，通過現(xiàn)有凝視方法可檢測(cè)到用戶的凝視，并且當(dāng)檢測(cè)到三個(gè)中心點(diǎn)時(shí)，通過下面所描述的方法可檢測(cè)到用戶的凝視。
[0025]矢量生成單元130可被配置為在檢測(cè)到三個(gè)中心點(diǎn)時(shí)，使用這三個(gè)中心點(diǎn)產(chǎn)生兩個(gè)矢量。矢量生成單元130可被配置為針對(duì)檢測(cè)到其中瞳孔和眼球的中心點(diǎn)的眼球，使用瞳孔的中心點(diǎn)和眼球的中心點(diǎn)產(chǎn)生凝視矢量。此外,矢量生成單元130可被配置為產(chǎn)生三個(gè)中心點(diǎn)形成在其中的平面的法向矢量。將參考圖2和圖3A至圖3B詳細(xì)描述凝視矢量和法向矢量生成方法。
[0026]圖2是用于描述根據(jù)本發(fā)明的示例性實(shí)施方式的凝視矢量生成過程的示例圖。參考圖2，示出了中心點(diǎn)檢測(cè)單元120檢測(cè)到的瞳孔的中心點(diǎn)和眼球的中心點(diǎn)。當(dāng)中心點(diǎn)檢測(cè)單元120檢測(cè)到三個(gè)中心點(diǎn)時(shí)，可以檢測(cè)針對(duì)左眼和右眼中任一個(gè)的瞳孔的中心點(diǎn)和眼球的中心點(diǎn)。矢量生成單元130可被配置為針對(duì)檢測(cè)到其中瞳孔的中心點(diǎn)和眼球的中心點(diǎn)的眼球,產(chǎn)生從眼球的中心點(diǎn)朝向瞳孔的中心點(diǎn)的凝視矢量,如圖2中所示。
[0027]圖3A至圖3B是描述根據(jù)本公開內(nèi)容的示例性實(shí)施方式的凝視矢量和法向矢量生成過程的示例圖。圖3A是示意性地示出了通過俯視圖表示的用戶的左眼(L)和右眼(R)的示例圖。圖3A示出了這樣一種實(shí)施例，S卩，在三個(gè)中心點(diǎn)之中，可以檢測(cè)到針對(duì)用戶右眼的瞳孔的中心點(diǎn)和眼球的中心點(diǎn)，并且可以檢測(cè)到針對(duì)用戶左眼的瞳孔的中心點(diǎn)。
[0028]對(duì)于檢測(cè)到其中的瞳孔的中心點(diǎn)和眼球的中心點(diǎn)的右眼，矢量生成單元130可被配置為通過參考圖2所描述的方法產(chǎn)生凝視矢量G。此外，矢量生成單元130可被配置為使用檢測(cè)到的三個(gè)中心點(diǎn)形成一個(gè)平面P并且使用形成平面P生成法向矢量。圖3B示出了對(duì)應(yīng)于由三個(gè)中心點(diǎn)形成的平面的示例性法向矢量N。
[0029]存儲(chǔ)單元140可被配置為存儲(chǔ)參考凝視、第一參考矢量以及第二參考矢量。凝視檢測(cè)設(shè)備100可被配置為在使用三個(gè)中心點(diǎn)檢測(cè)凝視之前執(zhí)行凝視校準(zhǔn)。此外，在凝視校準(zhǔn)過程中可以檢測(cè)參考凝視和第一參考矢量并將其存儲(chǔ)在存儲(chǔ)單元140中。參考凝視可以是在凝視校準(zhǔn)過程中使用四個(gè)中心點(diǎn)檢測(cè)到的用戶的凝視。第一參考矢量可以是在凝視校準(zhǔn)過程中產(chǎn)生的凝視矢量。換言之，矢量生成單元130可被配置為使用在凝視校準(zhǔn)過程中檢測(cè)到的中心點(diǎn)產(chǎn)生第一參考矢量。具體地，矢量生成單元130可被配置為針對(duì)左眼和右眼中的每一個(gè)產(chǎn)生第一參考矢量。此外，第二參考矢量可以是向下方向的矢量，即，地面方向。將參考圖4A至圖4B詳細(xì)描述第一參考矢量和第二參考矢量。
[0030]圖4A至圖4B是描述根據(jù)本發(fā)明的示例性實(shí)施方式的參考矢量的示例圖。圖4A是示意性地示出了可由俯視圖表示的第一參考矢量和第二參考矢量的示例圖，并且圖4B是示意性地示出了可由側(cè)視圖表示的第一參考矢量和第二參考矢量的示例圖。