用于改變設(shè)備行為的眼睛凝視的制作方法
【專利摘要】本發(fā)明提供用于控制電子設(shè)備的行為的方法、設(shè)備和計(jì)算機(jī)程序。方法包括用于在第一操作模式中操作電子設(shè)備的操作，以及用于跟蹤與電子設(shè)備相連接的用戶的凝視的操作。只要凝視指向預(yù)定目標(biāo)，就將電子設(shè)備保持在第一操作模式中。在另一操作中，在沒有檢測到凝視指向預(yù)定目標(biāo)時(shí)，在不同于第一操作模式的第二操作模式中操作電子設(shè)備。
【專利說明】用于改變設(shè)備行為的眼睛凝視
[0001]相關(guān)申請案【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及用于控制電子設(shè)備的行為的方法，更具體來說，涉及用于基于一個(gè)或多個(gè)用戶的凝視控制設(shè)備行為的方法和系統(tǒng)。
[0003]發(fā)明背景
[0004]電子設(shè)備在日常生活中變得越來越普遍。特征集保持增長，從而為用戶提供更多種類的功能和選項(xiàng)。隨著選項(xiàng)的數(shù)量的增長，易用性變得越來越重要，因?yàn)橛脩粼O(shè)法通過由電子設(shè)備提供的所有選項(xiàng)進(jìn)行選擇和導(dǎo)航。有時(shí)，由于設(shè)備的當(dāng)前的環(huán)境變量，一些選項(xiàng)甚至不可用，但用戶仍然可以使用菜單選項(xiàng)的復(fù)雜的樹進(jìn)行呈現(xiàn)。例如，全球定位系統(tǒng)(GPS)設(shè)備中的選項(xiàng)允許用戶在語音導(dǎo)航援助(汽車司機(jī)的口頭指示)或在位于靠近司機(jī)的顯示器中顯示的地圖上的方向之間選擇。然而，夜間在彎曲的道路上駕駛的用戶在跟隨地圖時(shí)可能遇到困難，因?yàn)橛脩舯仨毎炎⒁饬性谇胺降缆飞稀?br> [0005]凝視檢測的科學(xué)進(jìn)展允許設(shè)備確定一個(gè)或多個(gè)用戶是否目前在查看特定的目標(biāo)。為了提高電子設(shè)備的可用性和可配置性，需要更好的用戶界面來考慮設(shè)備的狀態(tài)以及用戶情況，以便產(chǎn)生直觀的、易于使用的界面，從而提高人與機(jī)器之間的互動。
[0006]本發(fā)明的實(shí)施方案正是在這種情況下產(chǎn)生的。
發(fā)明概要
[0007]本發(fā)明的實(shí)施方案提供用于基于用戶凝視方向控制電子設(shè)備的行為的方法和系統(tǒng)。應(yīng)了解，本發(fā)明可以用多種方式來實(shí)施，例如，在計(jì)算機(jī)可讀介質(zhì)上的過程、裝置、系統(tǒng)、設(shè)備或方法。下文描述本發(fā)明的幾個(gè)發(fā)明實(shí)施方案。
[0008]在一個(gè)實(shí)施方案中，一種方法包括用于在第一操作模式中操作電子設(shè)備的操作，以及用于跟蹤與電子設(shè)備相連接的用戶的凝視的操作。只要凝視指向預(yù)定目標(biāo)，就將電子設(shè)備保持在第一操作模式中。在另一操作中，系統(tǒng)檢測到凝視不指向預(yù)定目標(biāo)。在檢測到凝視不指向預(yù)定目標(biāo)之后，在不同于第一操作模式的第二操作模式中操作電子設(shè)備。
[0009]在另一實(shí)施方案中，一種電子設(shè)備包括凝視檢測模塊和處理器。凝視檢測模塊確定與電子設(shè)備相連接的用戶的凝視是否指向預(yù)定目標(biāo)。處理器支持電子設(shè)備的不同的操作模式，操作模式包括第一操作模式和第二操作模式。當(dāng)用戶的凝視指向預(yù)定目標(biāo)時(shí)，處理器在第一操作模式中操作，并且在凝視檢測模塊檢測到用戶的凝視不指向預(yù)定目標(biāo)之后，處理器在第二操作模式中操作。
[0010]在又一實(shí)施方案中，一種嵌入非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)中的計(jì)算機(jī)程序包括程序指令，所述計(jì)算機(jī)程序在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)用于控制電子設(shè)備的行為。包括在介質(zhì)中的是用于在第一操作模式中操作電子設(shè)備的程序指令，以及用于跟蹤與電子設(shè)備相連接的用戶的凝視的程序指令。此外，介質(zhì)也包括用于只要凝視指向預(yù)定目標(biāo)，就將電子設(shè)備保持在第一操作模式中的程序指令，以及用于檢測到凝視不指向預(yù)定目標(biāo)的程序指令。額外的程序指令在檢測到凝視不指向預(yù)定目標(biāo)之后，使電子設(shè)備能夠在不同于第一操作模式的第二操作模式中操作。
[0011]通過結(jié)合附圖的以下詳細(xì)描述，本發(fā)明的其他方面將變得顯而易見，這些附圖通過實(shí)例說明本發(fā)明的原理。
[0012]附圖簡述
[0013]通過參考結(jié)合附圖的以下描述，可以最好地理解本發(fā)明，其中:
[0014]圖1A至圖1C圖示根據(jù)一個(gè)實(shí)施方案的基于用戶的凝視改變操作模式的導(dǎo)航系統(tǒng)。
[0015]圖2A和圖2B圖示根據(jù)一個(gè)實(shí)施方案的使用凝視檢測的防撞系統(tǒng)。
[0016]圖3圖示具有多個(gè)凝視檢測單元的凝視檢測系統(tǒng)的實(shí)施方案。
[0017]圖4A和圖4B示出根據(jù)一個(gè)實(shí)施方案的在用戶從顯示器往別處看時(shí)激活的錄像機(jī)。
[0018]圖5A和圖5B描繪根據(jù)一個(gè)實(shí)施方案的根據(jù)孩子的凝視改變行為的玩具。
[0019]圖6A和圖6B圖示根據(jù)用戶在電話上的凝視改變行為的移動電話的實(shí)施方案。
[0020]圖7A和圖7B圖示根據(jù)一個(gè)實(shí)施方案的根據(jù)用戶凝視改變的畫中畫顯示器的行為。
[0021]圖8描繪根據(jù)一個(gè)實(shí)施方案的在手表檢測到用戶的凝視時(shí)發(fā)出亮光的手表。
[0022]圖9圖示根據(jù)一個(gè)實(shí)施方案的基于用戶的凝視而增強(qiáng)顯示區(qū)域的可見度的設(shè)備。
[0023]圖1OA和圖1OB圖示根據(jù)一個(gè)實(shí)施方案的基于用戶凝視的屏幕保護(hù)程序的操作。
[0024]圖1lA和圖1lB圖示根據(jù)一個(gè)實(shí)施方案的響應(yīng)于幾個(gè)用戶的凝視方向的系統(tǒng)。
[0025]圖12描繪根據(jù)一個(gè)實(shí)施方案的凝視檢測系統(tǒng)的體系結(jié)構(gòu)。
[0026]圖13描繪在凝視目標(biāo)位于電子設(shè)備外部時(shí)的凝視檢測系統(tǒng)的另一實(shí)施方案。
[0027]圖14A示出根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于控制電子設(shè)備的行為和用于生成報(bào)警的算法的流程。
[0028]圖14B示出根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于控制電子設(shè)備的行為和用于生成報(bào)警的替代算法的流程。
[0029]圖15A至圖15C圖示本發(fā)明的實(shí)施方案的不同的狀態(tài)圖。
[0030]圖16為根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于控制電子設(shè)備的行為的過程流程圖。
[0031]圖17為用于實(shí)施本發(fā)明的實(shí)施方案的計(jì)算機(jī)系統(tǒng)的簡化示意圖。
【具體實(shí)施方式】
[0032]以下實(shí)施方案描述用于利用用戶凝視信息控制電子設(shè)備的行為的方法、計(jì)算機(jī)程序和裝置。然而，本領(lǐng)域技術(shù)人員將顯而易見，可以在沒有一些或所有的這些具體細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在其他情況下，沒有詳細(xì)描述眾所周知的過程操作，以避免不必要地使本發(fā)明模糊不清。
[0033]圖1A至圖1C圖示根據(jù)一個(gè)實(shí)施方案的基于用戶的凝視改變操作模式的導(dǎo)航系統(tǒng)。用戶的凝視為用戶的注意力或意圖的良好的指示。使用眼睛凝視信息作為輸入會使計(jì)算機(jī)系統(tǒng)能夠獲得關(guān)于用戶的任務(wù)的上下文信息，又可以利用上下文信息來設(shè)計(jì)更直觀和智能的界面。隨著眼睛凝視跟蹤系統(tǒng)準(zhǔn)確性的提高和成本的降低，眼睛凝視跟蹤可以用于大范圍的應(yīng)用中。
[0034]眼睛跟蹤或眼睛凝視跟蹤為測量凝視點(diǎn)(“用戶看的地方”)或眼球相對于頭的運(yùn)動的過程。眼球跟蹤器為用于測量眼睛位置和眼球運(yùn)動的設(shè)備。存在用于測量眼球運(yùn)動和凝視方向的許多方法。一些方法使用提取眼睛位置的視頻圖像，并且其他方法使用搜索線圈或基于眼電圖。在另一方法中，使用具有紅外攝像機(jī)或檢測器或與紅外攝像機(jī)或檢測器通信的設(shè)備發(fā)射紅外光。紅外光從用戶的視網(wǎng)膜被反射回到紅外攝像機(jī)或檢測器上。反射回來的紅外光的量是基于人朝向發(fā)射器的凝視。一旦在攝像機(jī)或檢測器上接收的紅外光在一段時(shí)間內(nèi)達(dá)到特定閾值，就確定用戶在設(shè)備上的凝視。凝視的小失誤被認(rèn)為是眨眼并且被忽視。
[0035]通過使用眼睛凝視檢測，設(shè)備(例如，便攜式娛樂設(shè)備、車載導(dǎo)航系統(tǒng)、孩子的玩具、TV等)可以基于從用戶接收多少注意力而改變其行為。在一些實(shí)施方案中，設(shè)備只需要知道用戶是否在查看設(shè)備，但是設(shè)備不需要知道用戶凝視的精確方向。在其他實(shí)施方案中，用戶凝視的精確方向被認(rèn)為控制設(shè)備的行為。本發(fā)明的實(shí)施方案使消費(fèi)電子設(shè)備能夠利用凝視檢測，并且基于被電子設(shè)備接收的注意力而定制功能性。通過利用凝視檢測，設(shè)備可以提供更直觀的互動和改進(jìn)的用戶體驗(yàn)。
[0036]在圖1A中所示的實(shí)施方案中，凝視檢測系統(tǒng)用于確定司機(jī)102是否在看顯示器108，顯示器108包括汽車導(dǎo)航系統(tǒng)。凝視檢測系統(tǒng)包括俘獲司機(jī)102的眼睛104的視頻的攝像機(jī)106。包括攝像機(jī)106和顯示器108的凝視檢測系統(tǒng)確定司機(jī)102的凝視是否指向顯示器。系統(tǒng)根據(jù)凝視改變行為，即，在凝視指向顯示器時(shí)，汽車導(dǎo)航系統(tǒng)顯示地圖以幫助司機(jī)到達(dá)目的地，并且在凝視不指向顯示器時(shí)，汽車導(dǎo)航系統(tǒng)向用戶提供聽覺方向。
[0037]圖1B圖示包括在用戶看顯示器時(shí)顯示地圖120的操作模式。圖1B的實(shí)例示出汽車在地圖中的位置以及司機(jī)進(jìn)行下一個(gè)轉(zhuǎn)彎的指示箭頭。顯示器上的額外的信息可以包括到下一個(gè)路口的距離、到目的地的距離、街名等。
[0038]圖1C圖示在司機(jī)不看地圖(例如，司機(jī)在看前方道路)時(shí)的操作模式。揚(yáng)聲器132將口頭提示傳遞到司機(jī)，例如，“在50米左轉(zhuǎn)”、“在下一個(gè)路口右轉(zhuǎn)”、“在接下來的10英里的17號公路上開車”等。顯示器130可以變暗或被關(guān)閉，或可以將口頭提示表現(xiàn)為視覺提示。視覺提示不是必需的(顯示器上的視覺提示可以供汽車中的其他人使用)。在另一實(shí)施方案中，在顯示器上總是顯示地圖，并且只在用戶的凝視不在顯示器上時(shí)提供口頭提示。
[0039]行為的改變可以用于各種設(shè)備和情況中。例如，在凝視消失時(shí)，電視可以暫停正在顯示的節(jié)目(電視系統(tǒng)連接到數(shù)字錄像機(jī))。下文參照圖2A至圖1lB給出基于用戶凝視改變行為的設(shè)備的其他實(shí)例。
[0040]圖2A和圖2B圖示根據(jù)一個(gè)實(shí)施方案的使用凝視檢測的防撞系統(tǒng)。根據(jù)用戶是否注意設(shè)備或情況，用戶界面改變形態(tài)。例如，在圖2A中所示的情況下，當(dāng)汽車近程檢測器檢測到汽車204在汽車202前面突然減速時(shí)發(fā)生潛在的報(bào)警情況。如果用戶206正在向前看(如凝視檢測器所檢測，例如，在圖1A中所示的凝視檢測器)，那么不生成報(bào)警，這是因?yàn)橛脩粢呀?jīng)在看前面的汽車。然而，如果用戶206不在向前看(如圖2B中所示)，那么汽車近程檢測器將生成報(bào)警，報(bào)警可以為聲音報(bào)警、可視報(bào)警或兩者。在另一實(shí)施方案中，定義危險(xiǎn)的閾值以確定何時(shí)即將發(fā)生碰撞，并且在即將發(fā)生碰撞時(shí)，不管用戶206是否在向前看都生成報(bào)警?；谝粋€(gè)或多個(gè)因素，例如，汽車間的距離、汽車的速度、汽車的相對速度、用戶的平均響應(yīng)時(shí)間、指示用戶希望何時(shí)接收報(bào)警的配置參數(shù)等，計(jì)算閾值條件。
[0041]在另一實(shí)施方案中，當(dāng)用戶在變換車道并且用戶不在看接近進(jìn)行車道變換的目的地車道中的汽車時(shí)，生成報(bào)警條件。如果用戶在看可以看到另一汽車的反光鏡，或如果用戶已經(jīng)在第二汽車的方向上掉頭，那么避免報(bào)警。可能需要一個(gè)以上的凝視檢測器來檢測用戶是否在看反光鏡或汽車的旁邊。
[0042]圖3圖示具有多個(gè)凝視檢測單元的凝視檢測系統(tǒng)的實(shí)施方案。圖3的汽車包括幾個(gè)凝視檢測單元302a-302f。每個(gè)凝視檢測單元檢測用戶是否在看那個(gè)凝視檢測單元的對應(yīng)的目標(biāo)。來自所有凝視檢測單元的信息被組合以定義網(wǎng)格304?；趤碜阅暀z測單元302a-302f的信息，計(jì)算用戶在看的近似點(diǎn)或區(qū)域的網(wǎng)格坐標(biāo)。
[0043]此外，定義不同的目標(biāo)區(qū)域Al-A6(306a_306f)以便確定何時(shí)生成報(bào)警。根據(jù)情況利用一個(gè)或多個(gè)特定目標(biāo)區(qū)域。例如，如果用戶變換到右邊的車道并且汽車在右邊的車道中，那么碰撞檢測系統(tǒng)將在用戶不在看目標(biāo)區(qū)域A4306e時(shí)生成報(bào)警，并且將在用戶在看目標(biāo)區(qū)域A4306e時(shí)不生成報(bào)警。在與圖2A和圖2B中所示的情況相同的情況下，當(dāng)存在與前面的汽車的潛在碰撞時(shí)，如果用戶在看目標(biāo)A3306d，那么將生成報(bào)警。圖2A的單個(gè)凝視檢測器可能已經(jīng)檢測到用戶在向前看，但是單個(gè)凝視檢測器可能尚未檢測到用戶在朝旁邊(A3)看去，因?yàn)橛脩艨赡茉诳绰窐?biāo)、下一個(gè)車道上的汽車、商業(yè)標(biāo)語、行人等。因此，通過具有多個(gè)凝視檢測器增加的額外的解決方式會提高確定危險(xiǎn)情況的能力。此外，增加的解決方式可能會限制生成的報(bào)警的數(shù)量，因?yàn)閷τ脩糁笇?dǎo)其視線的地方有更好的理解。
[0044]圖4A和圖4B示出根據(jù)一個(gè)實(shí)施方案的在用戶從顯示器往別處看時(shí)激活的錄像機(jī)。如圖4A中所示，用戶402在顯示器404上觀看電視節(jié)目。凝視檢測系統(tǒng)使用針對用戶的攝像機(jī)406來檢測用戶何時(shí)朝顯示器看或從顯示器往別處看。當(dāng)凝視檢測系統(tǒng)確定用戶402在看顯示器404時(shí)，數(shù)字錄像機(jī)(DVR) 408不記錄電視節(jié)目。然而，當(dāng)用戶402從顯示器402往別處看時(shí)，如圖4B中所示，凝視檢測系統(tǒng)采取行動。
[0045]在一個(gè)實(shí)施方案中，DVR408開始記錄節(jié)目(打開的燈410指示DVR在記錄)，因此用戶可以在后來的時(shí)間觀看節(jié)目。在另一實(shí)施方案中，DVR記錄節(jié)目并且節(jié)目被暫停直到用戶向顯示器404扭轉(zhuǎn)其凝視。當(dāng)DVR的記錄容量被限制時(shí)，只在用戶看別處時(shí)記錄的能力是有用的。
[0046]相同的原理可以用于使用顯示器的其他應(yīng)用，例如，在用戶看別處時(shí)暫停視頻游戲、暫停串流互聯(lián)網(wǎng)視頻、暫停在播放電影的DVR、暫停計(jì)算機(jī)游戲或某一其他軟件應(yīng)用程序等。
[0047]在又一實(shí)施方案中，電視機(jī)在電視上沒有檢測到凝視時(shí)減小音量，并且在檢測到凝視時(shí)增加音量。在另一實(shí)施方案中，凝視檢測確定記錄的質(zhì)量。例如，當(dāng)用戶在看顯示器時(shí)，以低質(zhì)量進(jìn)行記錄，因?yàn)榧俣ㄓ脩魧⒉粫俅斡^看節(jié)目。然而，如果用戶看別處，那么記錄切換到高分辨率模式，因?yàn)橄到y(tǒng)假定用戶將在未來的時(shí)間觀看其錯(cuò)過的這個(gè)節(jié)目的一部分。
[0048]如果在房間里有幾個(gè)觀看者，那么一個(gè)實(shí)施方案確定任何用戶是否在采取行動(例如，開始記錄或暫停節(jié)目)之前看顯示器。在另一實(shí)施方案中，測試應(yīng)用程序或基于網(wǎng)絡(luò)的課堂使用凝視檢測來確定用戶何時(shí)注意。如果用戶不注意，那么可以向教師顯示標(biāo)志，或軟件應(yīng)用程序?qū)⒉惶峁┯枰宰⒁獾挠脩粜庞谩0049]圖5A和圖5B描繪根據(jù)一個(gè)實(shí)施方案的根據(jù)孩子的凝視改變行為的玩具。圖5A示出同玩具504 —起玩的孩子502，玩具504包括凝視檢測系統(tǒng)。當(dāng)玩具504檢測到孩子的凝視被設(shè)置在玩具上時(shí)，玩具504通過發(fā)出聲音、產(chǎn)生口頭消息、走來走去、使燈閃爍等與孩子502互動。
[0050]當(dāng)孩子502不在看玩具504時(shí),如圖5B中所示,玩具504通過設(shè)法引誘孩子同玩具一起玩，最終在預(yù)定時(shí)段后通過關(guān)閉而作出響應(yīng)。例如，玩具可以發(fā)出口頭消息(“同我一起玩”)，或使一些燈閃爍、鳴汽笛、更接近孩子等。因此，玩具的行為根據(jù)孩子的凝視改變。
[0051]圖6A和圖6B圖示根據(jù)用戶在電話上的凝視改變行為的移動電話的實(shí)施方案。如圖6A中所示，移動電話604包括用于獲得語音郵件、視覺模式和聽覺模式的至少兩種行為模式。移動電話604具有包括面向用戶的攝像機(jī)的凝視檢測系統(tǒng)，并且語音郵件應(yīng)用程序的行為根據(jù)用戶602的凝視改變。當(dāng)用戶602在看移動電話604 (圖6A)時(shí)，移動電話使用視覺語音郵件界面操作，視覺語音郵件界面包括語音郵件、命令按鈕(播放、倒帶、重播、保存、下一項(xiàng)等)、接收的數(shù)據(jù)語音郵件等的一個(gè)或多個(gè)列表。
[0052]當(dāng)用戶602從移動電話604往別處看時(shí)，語音郵件應(yīng)用程序切換到聽覺語音郵件模式，如圖6B中所示。聽覺語音郵件模式向用戶602提供提示以通過不同的選項(xiàng)指導(dǎo)用戶602。用戶反過來向移動電話604提供語音命令以選擇所需的選項(xiàng)。在一個(gè)實(shí)施方案中,用戶可以提供其他類型的輸入，例如，按下按鈕、觸摸觸摸屏等。例如，用戶602可以被提供選擇列表以說對應(yīng)于選項(xiàng)的數(shù)字，并且用戶通過說對應(yīng)的數(shù)字來選擇一個(gè)選項(xiàng)。
[0053]在另一實(shí)施方案中，用戶的凝視改變電子設(shè)備的功率消耗模式。例如，當(dāng)用戶從設(shè)備往別處看時(shí)，設(shè)備可以進(jìn)入省電模式以減少供應(yīng)到輸入設(shè)備(例如，按鈕、觸控面板、攝像機(jī)等)的功率量。
[0054]圖7A和圖7B圖示根據(jù)一個(gè)實(shí)施方案的根據(jù)用戶凝視改變的畫中畫(PIP)顯示器的行為。顯示器702包括凝視檢測系統(tǒng)，其不僅能夠檢測到用戶是否在看顯示器702，而且能夠檢測到用戶是否在看顯示器702的特定部分。圖7A示出顯示器702，其在顯示器的主要部分中呈現(xiàn)第一視頻704a，并且在顯示器內(nèi)的畫中畫中呈現(xiàn)第二視頻704b，其被稱為畫中畫窗口。
[0055]當(dāng)凝視檢測系統(tǒng)確定用戶在超過閾值的時(shí)間量內(nèi)在畫中畫窗口中看視頻704b時(shí),凝視檢測系統(tǒng)切換第一視頻和第二視頻的放映。如圖7B中所示，在畫中畫窗口中顯示第一視頻704a并且在顯示器702的主要區(qū)域中顯示第二視頻704b。
[0056]圖7A和圖7B圖示在不需要用戶輸入并且不向用戶產(chǎn)生操作模式正在改變的通知(例如，報(bào)警)的情況下，顯示器的操作模式如何改變。在不需要超出改變凝視方向的用戶的行動或輸入的情況下，凝視系統(tǒng)觸發(fā)電子設(shè)備的操作模式的改變。因此，操作模式的改變獨(dú)立于用戶行動。在另一實(shí)例中，計(jì)算機(jī)程序檢測用戶的凝視是否在網(wǎng)頁上顯示的幾個(gè)廣告中的一個(gè)上保持一段時(shí)間(例如，2秒)。當(dāng)用戶的凝視保持在廣告上時(shí)，那么計(jì)算機(jī)程序執(zhí)行與廣告有關(guān)的行動，例如，打開相關(guān)網(wǎng)頁、運(yùn)行動畫、增加廣告的大小以向用戶提供額外的信息等。
[0057]在一個(gè)實(shí)施方案，將指示操作模式被改變的通知提供給用戶，但是不需要用戶允許改變操作模式。例如，在顯示器上顯示指示視頻被切換(例如，“將節(jié)目切換為畫中畫節(jié)目”)的簡短消息。然而，用戶仍然不產(chǎn)生有源輸入(當(dāng)然，超出改變凝視)以命令電視切換節(jié)目。
[0058]在又一實(shí)施方案中，凝視檢測與用戶輸入相結(jié)合。一旦凝視檢測系統(tǒng)確定用戶的凝視已經(jīng)改變，用戶就被提示輸入以確定電子設(shè)備是否將改變操作模式。例如，當(dāng)凝視檢測系統(tǒng)檢測到用戶的凝視在畫中畫顯示器上時(shí)，電視詢問用戶是否允許切換節(jié)目(例如，“你想用PIP切換嗎？按I切換，按2取消”)。在上文關(guān)于網(wǎng)頁廣告所述的實(shí)例中，計(jì)算機(jī)程序詢問用戶其是否想要廣告產(chǎn)品或服務(wù)的額外的信息，而不是自動地提供額外的信息。如果用戶接受建議，那么提供額外的信息。
[0059]圖8描繪根據(jù)一個(gè)實(shí)施方案的在手表檢測到用戶的凝視時(shí)發(fā)出亮光的手表。手表802具有凝視檢測系統(tǒng)，并且在凝視檢測系統(tǒng)檢測到用戶在看手表時(shí)，那么手表提高手表的可見度。例如，手表可以打開使手表發(fā)亮的燈，或增加顯示器的功率量以使顯示器更亮、打開發(fā)光機(jī)構(gòu)、打開顯示器等。
[0060]因?yàn)橹辉谟脩艨词直頃r(shí)增強(qiáng)可見度，所以手表節(jié)省電力。圖8中的實(shí)施方案為示例性的而不意味著限制性。相同的原理可以用于其他設(shè)備，例如，電視機(jī)、電視遙控器、游戲機(jī)、游戲控制器、鍵盤、報(bào)警控制面板、電子圖書閱讀器、汽車儀表板的儀表等。設(shè)備可以改變功率模式消耗，例如，在檢測到凝視在設(shè)備上時(shí)，從待命模式喚醒電視或電話。
[0061]在另一實(shí)施方案中，功率消耗也考慮與凝視檢測的狀態(tài)結(jié)合的其他參數(shù)。例如，如果系統(tǒng)檢測到這是白天并且自然光可以充分照明儀表板，那么當(dāng)用戶在看儀表時(shí)，汽車儀表板上的儀表可能不會增加發(fā)射的光。
[0062]圖9圖示根據(jù)一個(gè)實(shí)施方案的基于用戶的凝視而增強(qiáng)顯示區(qū)域的可見度的設(shè)備。大的顯示器被分為單獨(dú)的區(qū)域，每個(gè)區(qū)域顯示不同的視頻。在圖9的實(shí)例中，顯示器被分為四個(gè)區(qū)域902a-902d。當(dāng)凝視檢測系統(tǒng)確定用戶在看一個(gè)區(qū)域(例如，區(qū)域902a)時(shí)，系統(tǒng)改變被觀看的視頻的屬性。在其他實(shí)施方案中，具有被顯示視頻的不被觀看的區(qū)域也可以改變屬性。例如，當(dāng)系統(tǒng)檢測到用戶在看區(qū)域902a時(shí)，系統(tǒng)通過提高分辨率(例如，減少視頻壓縮)、向區(qū)域902a提供更高資源帶寬，或向觀看的區(qū)域添加資源來提高區(qū)域902a中顯示的視頻的質(zhì)量?？梢韵騾^(qū)域902a的視頻添加更多中央處理單元(CPU)資源以提高視頻渲染，或?qū)⒏叩墓β侍峁┙o區(qū)域902a的顯示元件(例如，LED)?？梢栽谳^低的分辨率但足夠好的分辨率下顯示其余的區(qū)域，因此用戶可以改變對另一區(qū)域的關(guān)注并且觀看顯示的內(nèi)容。
[0063]例如，在一個(gè)分辨率下顯示被觀看的區(qū)域并且在不同的分辨率下顯示不被觀看的區(qū)域。在一個(gè)實(shí)施方案中，例如，在第二用戶觀看與第一用戶觀看的區(qū)域不同的區(qū)域時(shí)，系統(tǒng)可以跟蹤一個(gè)以上的用戶。在這種情況下，也用較高分辨率顯示第二用戶觀看的區(qū)域。在另一實(shí)施方案中，在凝視檢測系統(tǒng)確定用戶在看一個(gè)區(qū)域(例如，區(qū)域902a)時(shí)，系統(tǒng)播放與在用戶觀察的區(qū)域中播放的視頻相關(guān)聯(lián)的音頻。因此，來自沒有被觀察到的區(qū)域(902b、902d和902c)的音頻將為靜音。如果用戶將凝視變成另一區(qū)域(例如，區(qū)域902b)，那么來自先前的區(qū)域(例如，902a)的音頻將為靜音，并且將播放與新的區(qū)域(例如，902b)相關(guān)聯(lián)的音頻。
[0064]在又一實(shí)施方案中，將指示使用凝視選擇哪個(gè)區(qū)域的視覺提示提供給用戶。例如，可以在選定區(qū)域上顯示圖標(biāo)，用具有預(yù)定義的圖案或顏色的邊框給選定區(qū)域加框，在緊鄰選定區(qū)域的顯示器的框架中打開燈(例如，LED)等。[0065]圖1OA和圖1OB圖示根據(jù)一個(gè)實(shí)施方案的基于用戶凝視的屏幕保護(hù)程序的操作。屏幕保護(hù)程序?yàn)橐环N類型的計(jì)算機(jī)程序，其最初被設(shè)計(jì)成在計(jì)算機(jī)不在使用時(shí)防止計(jì)算機(jī)監(jiān)視器上的老化，這老化會產(chǎn)生黑屏或用活動圖像填充屏幕。通常，在輸入設(shè)備(例如，鍵盤和鼠標(biāo))不活動的時(shí)段后啟動屏幕保護(hù)程序。在從操作系統(tǒng)接收指示已移動鼠標(biāo)或按下鍵的消息后，屏幕保護(hù)程序結(jié)束。
[0066]在用戶152讀取顯示器156上的文件時(shí)，用戶可能需要很長的時(shí)間讀取相同的頁面。如果用戶超過屏幕保護(hù)程序非活動時(shí)間觸發(fā)，那么屏幕保護(hù)程序158將開始執(zhí)行(如圖1OB中所示)并且用戶不能夠繼續(xù)讀取。然而，并入計(jì)算機(jī)的凝視檢測154系統(tǒng)增強(qiáng)屏幕保護(hù)程序的行為。
[0067]當(dāng)用戶的凝視在顯示器上時(shí)，計(jì)算機(jī)中的凝視檢測系統(tǒng)阻止計(jì)算機(jī)系統(tǒng)啟動屏幕保護(hù)程序。如果用戶的凝視不在顯示器上，那么一旦沒有檢測到計(jì)算機(jī)上的凝視，計(jì)算機(jī)就啟動屏幕保護(hù)程序。在另一實(shí)施方案中，一在顯示器上沒有檢測到凝視，計(jì)算機(jī)就啟動非活動計(jì)時(shí)器，并且在計(jì)時(shí)器期滿時(shí)啟動屏幕保護(hù)程序。如果在屏幕保護(hù)程序正執(zhí)行時(shí)用戶使其凝視返回到顯示器，那么屏幕保護(hù)程序結(jié)束。如果屏幕保護(hù)程序不在執(zhí)行，那么重置非活動計(jì)時(shí)器。
[0068]用于控制屏幕保護(hù)程序的凝視檢測也可以用于包括顯示器的其他設(shè)備，例如，圖書閱讀器、平板計(jì)算機(jī)、移動電話、視頻游戲播放器等。
[0069]圖1lA和圖1lB圖示根據(jù)一個(gè)實(shí)施方案的響應(yīng)于幾個(gè)用戶的凝視方向的系統(tǒng)。圖1lA和圖1lB的實(shí)施方案包括跟蹤一個(gè)以上的觀看者的凝視的凝視檢測系統(tǒng)。在酒吧的多個(gè)觀看者162觀看顯示不同的視頻或節(jié)目164a-164e的屏幕，其中每個(gè)視頻和節(jié)目可以被切換以顯示在不同的屏幕中。存在比其他屏幕更大的放映節(jié)目164c的中央屏幕，并且系統(tǒng)意圖在中央屏幕上顯示最受歡迎的節(jié)目。為了確定最受歡迎的節(jié)目，凝視檢測系統(tǒng)確定觀看者162在觀看哪些節(jié)目。具有大多數(shù)觀看者的節(jié)目被確定為最受歡迎的節(jié)目。
[0070]在圖1lA的實(shí)施方案中，節(jié)目164b在觀看者中最受歡迎，因?yàn)橛腥齻€(gè)觀看者在觀看節(jié)目164b，并且所有其他節(jié)目具有少于三個(gè)的觀看者。由于屏幕164b上的節(jié)目最受歡迎，故系統(tǒng)切換節(jié)目164c和164b，以使得在中央屏幕上顯示節(jié)目164b，如圖1lB中所示。例如，在酒吧正在觀看一些體育賽事。在某個(gè)時(shí)刻，在小屏幕中呈現(xiàn)的一個(gè)比賽中射門得分，這導(dǎo)致許多顧客將注意力轉(zhuǎn)向射門得分的比賽。凝視檢測系統(tǒng)檢測到射門得分的這個(gè)節(jié)目為最受歡迎的節(jié)目，然后系統(tǒng)將受歡迎的節(jié)目切換到中央屏眷。
[0071]在一個(gè)實(shí)施方案中，在特定時(shí)間量內(nèi)不被任何觀看者觀看的屏幕并非通過用其他屏幕切換，而是通過改變饋送電視節(jié)目(例如，通過改變電視頻道)來改變放映的視頻或節(jié)目。
[0072]在另一實(shí)施方案中，在觀看者正在觀看的節(jié)目上收集的數(shù)據(jù)與來自其他位置的數(shù)據(jù)相結(jié)合，以獲得一大群人的數(shù)據(jù)。結(jié)合的數(shù)據(jù)用于幾個(gè)目的，例如，評估一大群人的觀看模式、確定廣告的受歡迎度、計(jì)算節(jié)目收視率等。這個(gè)聚合數(shù)據(jù)也可以用于營銷的目的，例如，通過實(shí)時(shí)列出節(jié)目的受歡迎度、列出最受歡迎的節(jié)目、調(diào)整廣告價(jià)格以使得公司在受歡迎的節(jié)目中支付更多的廣告等。
[0073]在一個(gè)實(shí)施方案中，系統(tǒng)建立動態(tài)頻道，其在給定時(shí)間顯示最受歡迎的節(jié)目，或從用戶配置的頻道列表中顯示最受歡迎的節(jié)目。例如，用戶可能選擇兩種不同的體育賽事，并且放映的節(jié)目將根據(jù)體育賽事的動態(tài)計(jì)算的受歡迎度而變化。在體育賽事中發(fā)生精彩賽事(例如，得分、罰球等)時(shí)，受歡迎度改變。
[0074]在另一實(shí)施方案中，使用關(guān)于基于凝視的觀看者的視頻選擇的收集的數(shù)據(jù)，以確定節(jié)目片段的受歡迎度。因此，未來的觀看者可以獲取指示哪些節(jié)目片段獲得較高收視率的收視率信息，其中每個(gè)片段被提供個(gè)別收視率，而不受節(jié)目的其他片段的收視率影響。建立串流內(nèi)容的收視率，由此并非只是通過唯一的節(jié)目收視率評定節(jié)目，而是基于凝視投票在每個(gè)片段(例如，小時(shí)、分鐘、秒、章、局、半場、四分之一場、集、比賽等)評定節(jié)目。
[0075]在另一實(shí)施方案中，當(dāng)在顯示器上沒有檢測到凝視時(shí)，電子設(shè)備重定向CPU資源離開圖形用戶界面(GUI)任務(wù)的處理到其他任務(wù)。當(dāng)凝視返回到顯示器時(shí)，GUI處理接收額外的CPU資源以確保GUI響應(yīng)于用戶。在又一實(shí)施方案中，當(dāng)報(bào)警時(shí)鐘在持續(xù)一段時(shí)間內(nèi)檢測到凝視時(shí)，報(bào)警時(shí)鐘被關(guān)閉或設(shè)置為貪睡。
[0076]圖12描繪根據(jù)一個(gè)實(shí)施方案的凝視檢測系統(tǒng)的體系結(jié)構(gòu)。設(shè)備254包括凝視檢測系統(tǒng)，其包括至少凝視引擎262、行動引擎268和報(bào)警引擎276。在任何時(shí)刻，凝視檢測系統(tǒng)確定用戶252是否具有其在凝視目標(biāo)256上的凝視286。凝視目標(biāo)可以為完整的設(shè)備或設(shè)備的一部分，例如，視頻顯示器。在下文參照圖13描述的另一實(shí)施方案中，凝視目標(biāo)不位于設(shè)備上。
[0077]凝視引擎262包括凝視檢測模塊264和凝視歷史數(shù)據(jù)庫266。凝視檢測模塊264確定用戶252的凝視是否在凝視目標(biāo)256上。在一個(gè)實(shí)施方案中，凝視檢測模塊264包括面向用戶252的攝像機(jī)以及分析用戶252的眼睛的凝視檢測軟件。然而，其他凝視檢測系統(tǒng)也是可能的。本領(lǐng)域技術(shù)人員將了解，圖12的實(shí)施方案為示例性的而不意味著限制性。在一個(gè)實(shí)施方案中，將凝視狀態(tài)(停留或離開)的歷史保持在數(shù)據(jù)庫266中。凝視歷史可以用于考慮凝視歷史的實(shí)施方案中，例如，上文參照圖1OA和圖1OB所述的屏幕保護(hù)程序。
[0078]行動引擎268包括行動處理器272、歷史數(shù)據(jù)庫270和規(guī)則引擎274。行動處理器272獲得與凝視信息有關(guān)的輸入，并且響應(yīng)于用戶的凝視狀態(tài)而確定采取哪個(gè)行動。行動處理器272的輸入包括來自凝視檢測264的凝視狀態(tài)、設(shè)備狀態(tài)260、用戶界面258等。行動處理器272也與報(bào)警引擎276相連接以命令報(bào)警引擎276生成報(bào)警，或啟動設(shè)備將執(zhí)行的某一其他行動。歷史數(shù)據(jù)庫270包括行動處理器272所采取的不同行動的歷史，例如，報(bào)警事件的日志。
[0079]行動處理器272使用邏輯規(guī)則來確定要生成的行動。規(guī)則被存儲在規(guī)則引擎數(shù)據(jù)庫274中并且由用戶或在設(shè)備內(nèi)部和外部的其他程序可配置。在一個(gè)實(shí)施方案中，服務(wù)器284通過網(wǎng)絡(luò)282與設(shè)備254相連接以配置行動引擎268。例如，一個(gè)規(guī)則可以為“在用戶的汽車相距與前面的汽車碰撞小于I秒，并且用戶的凝視不指向汽車的前面時(shí)，生成兩秒響亮的嘟嘟聲”。另一規(guī)則可以為“在導(dǎo)航系統(tǒng)中，在用戶不看顯示器時(shí)使用口頭指示，并且在用戶看顯示器時(shí)使用地圖導(dǎo)航”。
[0080]報(bào)警引擎276包括報(bào)警處理器278和報(bào)警界面280。報(bào)警處理器從行動處理器272接收命令并且將命令轉(zhuǎn)化成設(shè)備中的特定行動，通過報(bào)警界面280傳達(dá)這些行動。設(shè)備254的設(shè)備狀態(tài)260包括與設(shè)備的狀態(tài)相關(guān)聯(lián)的參數(shù)值，更具體來說，與凝視檢測和與其相關(guān)聯(lián)的行動有關(guān)的參數(shù)值。報(bào)警界面280可以改變設(shè)備狀態(tài)260 (例如，使顯示器變暗)并且設(shè)備狀態(tài)參數(shù)也可用于行動處理器272。用戶界面258將一個(gè)或多個(gè)界面提供給設(shè)備254中的不同元件，例如，顯示器、鍵盤、鼠標(biāo)、汽車儀表、攝像機(jī)、揚(yáng)聲器等。
[0081]圖13描繪在凝視目標(biāo)位于電子設(shè)備外部時(shí)的凝視檢測系統(tǒng)的另一實(shí)施方案。凝視目標(biāo)352不是與用戶相連接的設(shè)備的部分。在一個(gè)實(shí)施方案中，汽車碰撞檢測系統(tǒng)不檢查用戶是否在看碰撞檢測系統(tǒng)，而是在用戶危險(xiǎn)地接近前面的汽車時(shí)檢查用戶是否在看前面的汽車。因此，凝視目標(biāo)不在凝視檢測系統(tǒng)中或包括凝視檢測系統(tǒng)的設(shè)備中。
[0082]一般來說，跟蹤第一環(huán)境參數(shù)(例如，前面的汽車、可用帶寬)的狀態(tài)，分析以了解是否發(fā)生需要響應(yīng)的情況(例如，水溢出來、前面的汽車壞掉了)，并且基于一個(gè)或多個(gè)用戶的凝視狀態(tài)進(jìn)行確定。
[0083]在又一實(shí)施方案中，凝視引擎位于設(shè)備外部并且與設(shè)備相連接。凝視目標(biāo)在凝視引擎和設(shè)備外部。三個(gè)組件(凝視引擎、凝視目標(biāo)和設(shè)備)相互連接以檢測凝視并且具有對用戶凝視的設(shè)備反應(yīng)。
[0084]應(yīng)注意，圖12和圖13中所示的實(shí)施方案為示例性的。其他實(shí)施方案可以利用不同的模塊，或一些模塊可能不存在。因此，本文中所示的實(shí)施方案不應(yīng)該被解釋為排他性或限制性的，而是示例性或說明性的。
[0085]圖14A示出根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于控制電子設(shè)備的行為和用于生成報(bào)警的算法的流程。在操作1402中，開始凝視檢查，并且在操作1404中，確定狀態(tài)參數(shù)的值。狀態(tài)參數(shù)定義設(shè)備的狀態(tài)或與設(shè)備有關(guān)的環(huán)境中的一些條件的狀態(tài)。在操作1404之后，方法進(jìn)入操作1406以基于狀態(tài)變量的值檢查可操作條件的存在。在操作1408中，檢查的結(jié)果確定在存在可操作條件時(shí)方法是否進(jìn)入操作1410，或在不存在可操作條件時(shí)方法是否進(jìn)入操作1420。在操作1420中，在必要時(shí)，方法等待一段時(shí)間。在一個(gè)實(shí)施方案中，等待時(shí)段是零，而在另一實(shí)施方案中，方法在返回到操作1404并且如上所述重復(fù)之前等待一段時(shí)間(例如，100ms、I秒、I分鐘等)。
[0086]在操作1410中，檢查凝視狀態(tài)，并且在操作1412中，方法操作基于狀態(tài)變量的值和凝視狀態(tài)確定采取行動是否是必需的。例如，如果凝視狀態(tài)為“司機(jī)不向前看”并且狀態(tài)變量指示將在2秒內(nèi)發(fā)生與前面汽車的碰撞，那么進(jìn)行確定以警告用戶。
[0087]在操作1414中，檢查以確定行動是否是必需的，并且如果行動是必需的，那么方法流向操作1416，其中激活報(bào)警。如果行動不是必需的，那么方法回到操作1420。在操作1416之后，方法進(jìn)入操作1418以等待直到清除報(bào)警條件。例如，在檢測到司機(jī)向前看時(shí)或在清除潛在的碰撞條件時(shí)，可以清除報(bào)警條件。
[0088]圖14B示出根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于控制電子設(shè)備的行為和用于生成報(bào)警的替代算法的流程。在圖14B的實(shí)施方案中，不連續(xù)檢查凝視，并且只在檢測到可操作條件時(shí)檢查凝視。
[0089]因此，在操作中，在操作1404中，確定狀態(tài)參數(shù)的值，并且方法進(jìn)入操作1406以基于狀態(tài)變量的值檢查可操作條件的存在。在操作1408中，檢查的結(jié)果確定在存在可操作條件時(shí)方法是否進(jìn)入操作1402，或在不存在可操作條件時(shí)方法是否進(jìn)入操作1420。在操作1420中，在必要時(shí)，方法等待一段時(shí)間。在一個(gè)實(shí)施方案中，等待時(shí)段是零，而在另一實(shí)施方案中，方法在返回到操作1404并且如上所述重復(fù)之前等待一段時(shí)間(例如，IOOmsU秒、I分鐘等)。
[0090]在操作1402中，開始凝視檢查，并且方法進(jìn)入操作1410，其中檢查凝視狀態(tài)。在操作1412中，方法操作基于狀態(tài)變量的值和凝視狀態(tài)確定采取行動是否是必需的。
[0091]在操作1414中，檢查以確定行動是否是必需的，并且如果行動是必需的，那么方法流向操作1416，其中激活報(bào)警。如果行動不是必需的，那么方法回到操作1420。在操作1416之后，方法進(jìn)入操作1418以等待直到清除報(bào)警條件。例如，在檢測到司機(jī)向前看時(shí)或在清除潛在的碰撞條件時(shí)，可以清除報(bào)警條件。
[0092]圖15A至圖15C圖示本發(fā)明的實(shí)施方案的不同的狀態(tài)圖。圖15A示出基于用戶凝視的狀態(tài)改變行為的凝視檢測應(yīng)用的狀態(tài)圖。在狀態(tài)552中，用戶的凝視離開儀表板顯示器。汽車的儀表板上的顯示器變暗，并且導(dǎo)航系統(tǒng)向用戶提供口頭的每個(gè)路口指引。
[0093]在狀態(tài)554中，用戶的凝視在顯示器上。因此，儀表板顯示器以高強(qiáng)度打開，并且將駕駛方向提供在儀表板顯示器中的地圖上?！澳曂Ａ簟痹诒疚闹斜环Q為將用戶的凝視設(shè)置在凝視檢測系統(tǒng)的目標(biāo)上的條件，并且“凝視離開”為不將用戶的凝視設(shè)置在凝視檢測系統(tǒng)的目標(biāo)上的條件。
[0094]凝視狀態(tài)的改變可以觸發(fā)狀態(tài)552與狀態(tài)554之間的轉(zhuǎn)變。當(dāng)狀態(tài)機(jī)處于狀態(tài)552并且凝視狀態(tài)改變成停留狀態(tài)時(shí)，狀態(tài)機(jī)從狀態(tài)552轉(zhuǎn)變到狀態(tài)554，并且當(dāng)狀態(tài)機(jī)處于狀態(tài)554并且凝視狀態(tài)改變成離開狀態(tài)時(shí)，狀態(tài)機(jī)從狀態(tài)554轉(zhuǎn)變到狀態(tài)552。
[0095]圖15B提供與凝視檢測互動的玩具的狀態(tài)機(jī)。狀態(tài)機(jī)包括三種狀態(tài):玩具打開的狀態(tài)556、玩具關(guān)閉的狀態(tài)560，以及玩具向用戶提供口頭提示并且吸引其注意力(參見上文針對互動玩具所述的實(shí)例)的狀態(tài)558。
[0096]在處于狀態(tài)556時(shí)，如果凝視狀態(tài)切換到離開狀態(tài)，那么狀態(tài)機(jī)轉(zhuǎn)變到狀態(tài)558。在處于狀態(tài)558時(shí)，如果凝視狀態(tài)變回到“停留”，那么狀態(tài)機(jī)返回到狀態(tài)556。然而，在處于狀態(tài)558時(shí)，如果在閾值時(shí)段內(nèi)沒有檢測到孩子的凝視，那么狀態(tài)機(jī)轉(zhuǎn)變到狀態(tài)560，其中玩具是關(guān)閉的。最后，在玩具打開時(shí)，將發(fā)生從狀態(tài)560轉(zhuǎn)變到狀態(tài)556。
[0097]應(yīng)注意，圖15A至圖15C中所示的實(shí)施方案為示例性的。狀態(tài)圖為可能包括更多狀態(tài)以執(zhí)行各種功能的狀態(tài)圖的簡化形式，其中至少一個(gè)功能是基于凝視檢測狀態(tài)。其他實(shí)施方案可以將凝視與其他參數(shù)結(jié)合以確定設(shè)備的狀態(tài)，或確定狀態(tài)轉(zhuǎn)變。因此，本文中所示的實(shí)施方案不應(yīng)該被解釋為排他性或限制性的，而是示例性或說明性的。
[0098]圖15C提供使用凝視檢測的碰撞檢測應(yīng)用的狀態(tài)圖。在狀態(tài)578中，司機(jī)在駕駛并且不存在報(bào)警條件。狀態(tài)580和狀態(tài)572為報(bào)警狀態(tài)，即，事件引起系統(tǒng)估計(jì)可能的報(bào)警條件以將其提供給司機(jī)的狀態(tài)。狀態(tài)582和狀態(tài)574為將報(bào)警提供給用戶的狀態(tài)，并且狀態(tài)576為系統(tǒng)檢測到司機(jī)左轉(zhuǎn)的狀態(tài)。如前面所述，狀態(tài)圖為簡化圖。狀態(tài)機(jī)的另一實(shí)施方案可以包括其他狀態(tài)，例如，右轉(zhuǎn)、后退等。
[0099]在處于狀態(tài)578時(shí)，如果檢測到可能的碰撞，那么狀態(tài)機(jī)轉(zhuǎn)變到狀態(tài)580。在汽車接近前面的汽車，但司機(jī)仍然有足夠的時(shí)間來對碰撞作出反應(yīng)和避免碰撞時(shí)，檢測到可能的碰撞。然而，在處于狀態(tài)578時(shí)，如果即將發(fā)生碰撞，那么狀態(tài)機(jī)轉(zhuǎn)變到狀態(tài)582，其中向用戶報(bào)警。由于向司機(jī)報(bào)警的危急程度，故即使司機(jī)向前看也進(jìn)行轉(zhuǎn)變，而不受凝視狀態(tài)影響，這是因?yàn)樗緳C(jī)可能注意力分散、看路標(biāo)等
[0100]存在從狀態(tài)580的兩種可能的轉(zhuǎn)變:如果凝視狀態(tài)為“離開”，那么狀態(tài)機(jī)轉(zhuǎn)變到狀態(tài)582，并且如果凝視狀態(tài)為“停留”，那么狀態(tài)機(jī)轉(zhuǎn)變到狀態(tài)578，因?yàn)橄到y(tǒng)假定司機(jī)知道條件并且不需要報(bào)警。以此方式，當(dāng)用戶已經(jīng)在可以避免碰撞的情況下時(shí)，系統(tǒng)避免產(chǎn)生過多的報(bào)警。
[0101]當(dāng)檢測到前方可能碰撞狀態(tài)結(jié)束時(shí)，狀態(tài)機(jī)從狀態(tài)582變回到狀態(tài)578。當(dāng)與前面的汽車的距離增加時(shí)，或當(dāng)檢測到碰撞以使報(bào)警變得多余時(shí)，發(fā)生這種情況。
[0102]在圖15C的左側(cè)，狀態(tài)機(jī)包括在左轉(zhuǎn)時(shí)與碰撞檢測有關(guān)的狀態(tài)。因此，在系統(tǒng)檢測到汽車左轉(zhuǎn)時(shí)，發(fā)生從狀態(tài)578到狀態(tài)576的狀態(tài)轉(zhuǎn)變。因?yàn)樗緳C(jī)向另一街道左轉(zhuǎn)，或因?yàn)樗緳C(jī)將車道變換到左邊的車道，所以可能發(fā)生左轉(zhuǎn)。在處于狀態(tài)576時(shí)，如果系統(tǒng)檢測到汽車向前行進(jìn)，那么狀態(tài)機(jī)變回到駕駛狀態(tài)578。在處于狀態(tài)576時(shí)，狀態(tài)機(jī)也可以轉(zhuǎn)變到狀態(tài)572或狀態(tài)574。當(dāng)在左邊檢測到可能的碰撞時(shí)，轉(zhuǎn)變到狀態(tài)572。例如，這可能在左車道上有汽車時(shí)，或在將引起碰撞的相反方向上有前進(jìn)的交通時(shí)。在系統(tǒng)檢測到即將發(fā)生左邊的碰撞時(shí)，從狀態(tài)576轉(zhuǎn)變到狀態(tài)574。
[0103]在系統(tǒng)檢測到司機(jī)的凝視停留在左邊的車輛上時(shí)，狀態(tài)機(jī)從狀態(tài)572轉(zhuǎn)變到狀態(tài)576，并且在司機(jī)的盲點(diǎn)上檢測到車輛時(shí)或在司機(jī)的凝視不指向左邊時(shí)，轉(zhuǎn)變到狀態(tài)574。在確定左邊的碰撞的可能性結(jié)束時(shí)，狀態(tài)機(jī)從狀態(tài)574轉(zhuǎn)變到狀態(tài)576。
[0104]圖16為根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于控制電子設(shè)備的行為的過程流程圖。在操作1602中，在第一操作模式中操作電子設(shè)備。此外，在操作1604中，跟蹤與電子設(shè)備相連接的用戶的凝視。方法從操作1604進(jìn)入操作1606，其中只要用戶的凝視指向預(yù)定目標(biāo)，電子設(shè)備就保持第一操作模式。
[0105]在操作1608中，檢查以確定用戶的凝視是否指向預(yù)定目標(biāo)。如果凝視朝向預(yù)定目標(biāo)，那么方法回到操作1606，并且如果凝視不指向預(yù)定目標(biāo)，那么方法進(jìn)入操作1610。在操作1610中，在不同于第一操作模式的第二操作模式中操作電子設(shè)備。因此，在用戶的凝視從預(yù)定目標(biāo)離開時(shí)，電子設(shè)備變成不同的操作模式。
[0106]圖17為用于實(shí)施本發(fā)明的實(shí)施方案的示例性計(jì)算機(jī)系統(tǒng)的簡化示意圖。應(yīng)了解，本文所述的方法可以用數(shù)字處理系統(tǒng)(例如，常規(guī)的通用計(jì)算機(jī)系統(tǒng))來執(zhí)行?？梢蕴娲厥褂帽辉O(shè)計(jì)或編程成只執(zhí)行一個(gè)功能的專用計(jì)算機(jī)。計(jì)算機(jī)系統(tǒng)包括中央處理單元(CPU) 1704，其通過總線1710耦合到隨機(jī)存取存儲器(RAM) 1728、只讀存儲器(ROM) 1712和大容量存儲設(shè)備1714。凝視計(jì)算機(jī)程序1708駐留在隨機(jī)存取存儲器(RAM) 1728中，但是也可以駐留在大容量存儲器1714或R0M1712中。
[0107]大容量存儲設(shè)備1714代表可以為本地或遠(yuǎn)程的永久數(shù)據(jù)存儲設(shè)備(例如，軟盤驅(qū)動器或固定磁盤驅(qū)動器)。網(wǎng)絡(luò)接口 1730通過網(wǎng)絡(luò)1732提供連接，從而允許與其他設(shè)備通信。應(yīng)了解，CPU1704可以實(shí)施在通用處理器、專用處理器或特定編程邏輯設(shè)備中。輸入/輸出(I/O)接口提供與不同的外圍設(shè)備的通信并且通過總線1710與CPU1704、RAM1728、R0M1712和大容量存儲設(shè)備1714連接。示例性外圍設(shè)備包括顯示器1718、鍵盤1722、光標(biāo)控制器1724、可移動介質(zhì)設(shè)備1734、攝像機(jī)1740、凝視檢測器1742等。
[0108]顯示器1718被配置成顯示本文所述的用戶界面。鍵盤1722、光標(biāo)控制器1724、可移動介質(zhì)設(shè)備1734和其他外圍設(shè)備耦合到I/O接口 1720以便將命令選擇中的信息傳達(dá)到CPU1704。應(yīng)了解，可以通過I/O接口 1720傳達(dá)送至和來自外部設(shè)備的數(shù)據(jù)。也可以在分布式計(jì)算環(huán)境中實(shí)踐本發(fā)明，其中任務(wù)由通過基于有線或無線網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備來執(zhí)行。
[0109]可以用各種計(jì)算機(jī)系統(tǒng)配置實(shí)踐本發(fā)明的實(shí)施方案，這些配置包括手持設(shè)備、微處理器系統(tǒng)、基于微處理器或可編程消費(fèi)電子產(chǎn)品、小型計(jì)算機(jī)、大型計(jì)算機(jī)等。也可以在分布式計(jì)算環(huán)境中實(shí)踐本發(fā)明，其中任務(wù)由通過網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備來執(zhí)行。
[0110]考慮到上述實(shí)施方案，應(yīng)理解，本發(fā)明可以使用各種計(jì)算機(jī)實(shí)施的操作，包括存儲在計(jì)算機(jī)系統(tǒng)中的數(shù)據(jù)。這些操作為需要物理量的物理操縱的操作。本文中所述的形成本發(fā)明的部分的任何操作為有用的機(jī)器操作。本發(fā)明也涉及用于執(zhí)行這些操作的設(shè)備或裝置。出于所需的目的，可以特別地建構(gòu)裝置，例如，專用計(jì)算機(jī)。在被定義為專用計(jì)算機(jī)時(shí)，計(jì)算機(jī)也可以執(zhí)行其他處理、程序執(zhí)行或例行程序，其不是特殊目的的一部分，但是仍然能夠?yàn)榱颂厥饽康牟僮鳌；蛘?，操作可以由通用?jì)算機(jī)處理，通用計(jì)算機(jī)由存儲在計(jì)算機(jī)存儲器、高速緩沖存儲器中，或通過網(wǎng)絡(luò)獲得的一個(gè)或多個(gè)計(jì)算機(jī)程序選擇性地激活或配置。在通過網(wǎng)絡(luò)獲得數(shù)據(jù)時(shí)，數(shù)據(jù)可能由網(wǎng)絡(luò)(例如，云計(jì)算資源)上的其他計(jì)算機(jī)處理。
[0111]本發(fā)明的一個(gè)或多個(gè)實(shí)施方案也可以被制造為計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀介質(zhì)為可以存儲數(shù)據(jù)的任何數(shù)據(jù)存儲設(shè)備，數(shù)據(jù)隨后可以由計(jì)算機(jī)系統(tǒng)讀取。計(jì)算機(jī)可讀介質(zhì)的實(shí)例包括硬盤驅(qū)動器、網(wǎng)絡(luò)連接存儲器(NAS)、只讀存儲器、隨機(jī)存取存儲器、CD-ROM、CD-R、CD-RW、磁帶以及其他光學(xué)和非光學(xué)數(shù)據(jù)存儲設(shè)備。計(jì)算機(jī)可讀介質(zhì)可以包括分布在網(wǎng)絡(luò)耦合的計(jì)算機(jī)系統(tǒng)上的計(jì)算機(jī)可讀有形介質(zhì)，以使得以分布式方式存儲和執(zhí)行計(jì)算機(jī)可讀代碼。
[0112]盡管以特定的順序描述方法操作，但是應(yīng)理解，可以在各操作之間執(zhí)行其他內(nèi)務(wù)操作，或可以調(diào)整操作以使得在稍微不同的時(shí)間發(fā)生操作，或可以將操作分布在系統(tǒng)中，這個(gè)系統(tǒng)允許在與處理相關(guān)聯(lián)的不同的時(shí)間間隔下發(fā)生處理操作，只要以所需的方式執(zhí)行重疊操作的處理。
[0113]盡管為了清楚地理解而相當(dāng)詳細(xì)地描述上述發(fā)明，但是很明顯可以在所附權(quán)利要求書的范圍內(nèi)實(shí)踐某些變化和修改。因此，本發(fā)明的實(shí)施方案被認(rèn)為是說明性的而非限制性，并且本發(fā)明不限于本文給出的細(xì)節(jié)，而是可以在所附權(quán)利要求書的范圍和等效物內(nèi)被修改。
【權(quán)利要求】
1.一種用于控制電子設(shè)備的行為的方法，所述方法包括: 在第一操作模式中操作所述電子設(shè)備； 跟蹤與所述電子設(shè)備相連接的用戶的凝視； 只要所述凝視指向預(yù)定目標(biāo)，就將所述電子設(shè)備保持在所述第一操作模式中； 檢測到所述凝視不指向所述預(yù)定目標(biāo)；以及 在檢測到所述凝視不指向所述預(yù)定目標(biāo)之后，在不同于所述第一操作模式的第二操作模式中操作所述電子設(shè)備。
2.如權(quán)利要求1所述的方法， 其中所述電子設(shè)備為汽車導(dǎo)航系統(tǒng)； 其中所述預(yù)定目標(biāo)為所述汽車導(dǎo)航系統(tǒng)的顯示器； 其中所述第一操作模式包括呈現(xiàn)所述顯示器中的地圖上的方向；以及 其中所述第二操作模式包括在所述用戶不看所述顯示器時(shí)提供口頭駕駛方向。
3.如權(quán)利要求1所述的方法， 其中所述電子設(shè)備為電子玩具； 其中所述預(yù)定目標(biāo)為所述電子玩具； 其中所述第一操作模式包括互動游戲；以及 其中所述第二操作模式包括發(fā)出口頭提示以引起對所述電子玩具的注意。
4.如權(quán)利要求1所述的方法， 其中所述電子設(shè)備為具有畫中畫顯示器的電視屏幕； 其中當(dāng)所述用戶的所述凝視在預(yù)定時(shí)間量內(nèi)在所述畫中畫顯示器上時(shí)，所述電視屏幕用所述畫中畫顯示器中顯示的視頻切換所述電視屏幕中顯示的視頻。
5.如權(quán)利要求1所述的方法， 其中所述電子設(shè)備為電視屏幕； 其中所述預(yù)定目標(biāo)為所述電視屏幕； 其中所述第一操作模式包括顯示所述電視屏幕上的視頻；以及其中所述第二操作模式包括下列操作中的一個(gè)或多個(gè):暫停所述視頻、記錄所述視頻、提高或降低所述電視屏幕的音量，以及關(guān)閉所述電視屏幕。
6.如權(quán)利要求1所述的方法， 其中所述電子設(shè)備包括顯示器； 其中所述預(yù)定目標(biāo)為所述顯示器； 其中所述第一操作模式包括所述顯示器的第一亮度級；以及 其中所述第二操作模式包括所述顯示器的不同于所述第一亮度級的第二亮度級。
7.如權(quán)利要求1所述的方法，其中跟蹤所述用戶的所述凝視進(jìn)一步包括: 周期性地檢查所述用戶的所述凝視的方向。
8.如權(quán)利要求7所述的方法，其中檢測到所述凝視進(jìn)一步包括: 當(dāng)所述凝視在檢查所述凝視的所述方向的多個(gè)連續(xù)時(shí)段內(nèi)離開所述預(yù)定目標(biāo)時(shí)，確定所述凝視離開所述預(yù)定目標(biāo)。
9.如權(quán)利要求8所述的方法，其進(jìn)一步包括: 當(dāng)在所述第二操作模式中操作所述設(shè)備期間所述凝視再次指向所述預(yù)定目標(biāo)時(shí)，將所述電子設(shè)備切換到在所述第一操作模式中操作。
10.如權(quán)利要求1所述的方法，其進(jìn)一步包括: 在所述凝視保持離開所述預(yù)定目標(biāo)被定向期間，在所述第二操作模式中操作的預(yù)定時(shí)間量后，在第三操作模式中操作所述電子設(shè)備。
11.如權(quán)利要求10所述的方法，其中所述第三操作模式包括斷電或暫停所述電子設(shè)備。
12.—種電子設(shè)備,其包括:凝視檢測模塊，其確定與所述電子設(shè)備相連接的用戶的凝視是否指向預(yù)定目標(biāo)；以及處理器，其具有不同的操作模式，所述操作模式包括第一操作模式和第二操作模式，其中在所述用戶的所述凝視指向所述預(yù)定目標(biāo)時(shí)，所述處理器在所述第一操作模式中操作，其中在所述凝視檢測模塊檢測到所述用戶的所述凝視不指向所述預(yù)定目標(biāo)之后，所述處理器在所述第二操作模式中操作。
13.如權(quán)利要求12所述的電子設(shè)備，其中所述電子設(shè)備在所述第二操作模式中操作時(shí)由所述用戶控制，而不需要所述電子設(shè)備對所述用戶的視覺提示。
14.如權(quán)利要求12所述的電子設(shè)備，其進(jìn)一步包括: 與所述處理器通信的電視 屏幕，其中所述預(yù)定目標(biāo)為所述電視屏幕， 其中所述第一操作模式包括被通電的所述電視屏幕， 其中所述第二操作模式包括被斷電的所述電視屏幕。
15.如權(quán)利要求12所述的電子設(shè)備，其進(jìn)一步包括: 與所述處理器通信的輸入設(shè)備；以及 顯示器，其中所述預(yù)定目標(biāo)為所述顯示器， 其中所述第二操作模式包括在所述用戶從所述顯示器往別處看時(shí)，降低被傳遞到所述輸入設(shè)備的功率。
16.如權(quán)利要求12所述的電子設(shè)備，其進(jìn)一步包括: 與所述處理器通信的移動電話，其中所述預(yù)定目標(biāo)為所述移動電話。
17.如權(quán)利要求12所述的電子設(shè)備，其進(jìn)一步包括: 汽車，其包括所述處理器，其中所述預(yù)定目標(biāo)為在所述汽車前面的區(qū)域， 其中所述第一操作模式不生成報(bào)警， 其中在所述汽車進(jìn)入與所述汽車前面的所述區(qū)域中的障礙物可能的碰撞情況時(shí)，所述第二操作模式生成報(bào)警。
18.如權(quán)利要求12所述的電子設(shè)備，其進(jìn)一步包括: 多個(gè)視頻屏幕，每個(gè)視頻屏幕顯示多個(gè)視頻中的一個(gè)，所述視頻屏幕中的一個(gè)為主要視頻屏幕， 其中所述凝視檢測模塊確定觀看所述多個(gè)視頻屏幕的所有用戶的所述凝視并且確定所述視頻屏幕中的哪個(gè)具有大多數(shù)所述用戶的所述凝視， 其中在大多數(shù)所述用戶的所述凝視不與所述主屏幕相關(guān)聯(lián)時(shí)，所述處理器將與具有大多數(shù)所述用戶的所述凝視的所述視頻屏幕相關(guān)聯(lián)的所述視頻切換到所述主屏幕。
19.如權(quán)利要求12所述的電子設(shè)備，其進(jìn)一步包括: 被分成多個(gè)顯示區(qū)域的顯示器，每個(gè)顯示區(qū)域顯示多個(gè)視頻中的一個(gè)，其中所述凝視檢測模塊確定觀看所述多個(gè)顯示區(qū)域的所有用戶的所述凝視并且確定所述顯示區(qū)域中的哪個(gè)具有少數(shù)所述用戶的所述凝視， 其中所述處理器改變具有少數(shù)所述用戶的所述凝視的所述顯示區(qū)域的視頻傳輸，并且其中再現(xiàn)與所述視頻傳輸相關(guān)聯(lián)的音頻。
20.如權(quán)利要求12所述的電子設(shè)備，其進(jìn)一步包括: 多個(gè)視頻屏幕，每個(gè)視頻屏幕顯示多個(gè)視頻中的一個(gè)， 其中所述凝視檢測模塊確定所述視頻屏幕中的哪個(gè)具有所述用戶的所述凝視， 其中所述處理器提供的用于處理在具有所述用戶的所述凝視的所述視頻屏幕上顯示的所述視頻的計(jì)算資源比被提供到不具有所述用戶的所述凝視的所述視頻屏幕的計(jì)算資源更多。
21.如權(quán)利要求12所述的電子設(shè)備，其進(jìn)一步包括: 被分成多個(gè)顯示區(qū)域的顯示器，其中所述凝視檢測模塊確定哪個(gè)顯示區(qū)域?qū)?yīng)于所述用戶的所述凝視， 其中所述處理器將較高質(zhì)量的服務(wù)傳遞到對應(yīng)于所述用戶的所述凝視的所述顯示區(qū)域。
22.如權(quán)利要求21所述的電子設(shè)備，其中所述較高質(zhì)量的服務(wù)包括再現(xiàn)對應(yīng)于所述用戶的所述凝視的所述顯示區(qū)域的所述音頻。
23.如權(quán)利要求12所述的電子設(shè)備，其進(jìn)一步包括: 報(bào)警時(shí)鐘，其中所述預(yù)定目標(biāo)為所述報(bào)警時(shí)鐘， 其中所述第一操作模式包括報(bào)警鈴聲， 其中所述第二操作模式包括在檢測到所述報(bào)警時(shí)鐘上的所述凝視之后，關(guān)閉所述報(bào)警鈴聲。
24.如權(quán)利要求12所述的電子設(shè)備，其進(jìn)一步包括: 顯示器，其中所述預(yù)定目標(biāo)為所述顯示器， 其中所述第一操作模式包括在所述用戶的所述凝視在所述顯示器上時(shí)，禁用屏幕保護(hù)程序， 其中所述第二操作模式包括在所述用戶的所述凝視不在所述顯示器上時(shí)，啟用計(jì)時(shí)器以啟動所述屏幕保護(hù)程序。
25.一種嵌入非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)中的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)用于控制電子設(shè)備的行為，所述計(jì)算機(jī)程序包括: 用于在第一操作模式中操作所述電子設(shè)備的程序指令； 用于跟蹤與所述電子設(shè)備相連接的用戶的凝視的程序指令； 用于只要所述凝視指向預(yù)定目標(biāo)，就將所述電子設(shè)備保持在第一操作模式中的程序指令； 用于檢測到所述凝視不指向所述預(yù)定目標(biāo)的程序指令；以及 用于在檢測到所述凝視不指向所述預(yù)定目標(biāo)之后，在不同于所述第一操作模式的第二操作模式中操作所述電子設(shè)備的程序指令。
26.如權(quán)利要求25所述的計(jì)算機(jī)程序，其中跟蹤所述用戶的所述凝視包括操作多個(gè)凝視檢測單元。
27.如權(quán)利要求26所述的計(jì)算機(jī)程序，其進(jìn)一步包括: 用于在所述凝視指向第二目標(biāo)時(shí)，在第三操作模式中操作所述電子設(shè)備的程序指令。
28.—種電子設(shè)備,其包括: 多個(gè)凝視檢測模塊，其中組合來自所述多個(gè)凝視檢測模塊的信息以確定與所述電子設(shè)備相連接的用戶的凝視的方向；以及 處理器，其中所述電子設(shè)備具有多個(gè)操作模式，每個(gè)操作模式與所述凝視的所述方向的對應(yīng)的目標(biāo)區(qū)域相關(guān)聯(lián)，其中所述處理器檢測所述凝視的所述方向是否指向所述目標(biāo)區(qū)域中的一個(gè)，并且其中在所述處理器檢測到所述凝視的所述方向朝向與所述操作模式相關(guān)聯(lián)的所述對應(yīng)的目標(biāo)區(qū)域時(shí)，所述電子設(shè)備在來自所述多個(gè)操作模式的所述操作模式中的一個(gè) 中操作。
【文檔編號】G06F3/01GK103718134SQ201280036945
【公開日】2014年4月9日 申請日期:2012年5月16日 優(yōu)先權(quán)日:2011年5月25日
【發(fā)明者】S.奧斯曼, J.R.斯塔福德 申請人:索尼電腦娛樂公司