本發(fā)明的實(shí)施例涉及監(jiān)視場(chǎng)景。具體地說(shuō)，它們涉及場(chǎng)景的自動(dòng)監(jiān)視。

背景技術(shù)：

當(dāng)前監(jiān)視系統(tǒng)(例如監(jiān)控系統(tǒng))可以包括一個(gè)或多個(gè)攝像機(jī)以便進(jìn)行具有或沒(méi)有音頻記錄的視頻記錄，這些攝像機(jī)經(jīng)由導(dǎo)線或無(wú)線地連接到集線器，該集線器存儲(chǔ)從場(chǎng)景記錄的數(shù)據(jù)或者實(shí)現(xiàn)該數(shù)據(jù)的存儲(chǔ)。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明的各種實(shí)施例但不一定所有實(shí)施例，提供一種根據(jù)權(quán)利要求1至14中的任一項(xiàng)所述的方法。

根據(jù)本發(fā)明的各種實(shí)施例但不一定所有實(shí)施例，提供一種根據(jù)權(quán)利要求15所述的裝置。

根據(jù)本發(fā)明的各種實(shí)施例但不一定所有實(shí)施例，提供一種裝置，包括：至少一個(gè)處理器；以及

至少一個(gè)存儲(chǔ)器，其包括計(jì)算機(jī)程序代碼

所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配置為與所述至少一個(gè)處理器一起，導(dǎo)致所述裝置至少執(zhí)行根據(jù)權(quán)利要求1至14中的任一項(xiàng)所述的方法。

根據(jù)本發(fā)明的各種實(shí)施例但不一定所有實(shí)施例，提供一種計(jì)算機(jī)程序，當(dāng)在計(jì)算機(jī)上運(yùn)行時(shí)，所述計(jì)算機(jī)程序執(zhí)行：根據(jù)權(quán)利要求1至14中的任一項(xiàng)所述的方法。

附圖說(shuō)明

為了更好地理解用于理解簡(jiǎn)要描述的各種實(shí)例，現(xiàn)在將僅通過(guò)實(shí)例的方式參考附圖，這些附圖是：

圖1示意性地示出系統(tǒng)的一個(gè)實(shí)例；

圖2示出狀態(tài)機(jī)的一個(gè)實(shí)例；

圖3示出處理模塊的一個(gè)實(shí)例；

圖4示出用于計(jì)算機(jī)程序的傳送機(jī)制的一個(gè)實(shí)例；

圖5a示出產(chǎn)生狀態(tài)機(jī)的新呈現(xiàn)狀態(tài)的過(guò)程的一個(gè)實(shí)例；以及

圖5b示出從監(jiān)視狀態(tài)轉(zhuǎn)變?yōu)樾鲁尸F(xiàn)狀態(tài)以及執(zhí)行關(guān)聯(lián)的呈現(xiàn)動(dòng)作的過(guò)程的一個(gè)實(shí)例。

具體實(shí)施方式

所描述的系統(tǒng)100是監(jiān)視至少一個(gè)場(chǎng)景的系統(tǒng)。場(chǎng)景內(nèi)的用戶可以通過(guò)在場(chǎng)景內(nèi)執(zhí)行動(dòng)作來(lái)控制系統(tǒng)的操作。例如，用戶能夠控制系統(tǒng)以使得當(dāng)來(lái)自場(chǎng)景的傳感器數(shù)據(jù)滿足一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則時(shí)，在場(chǎng)景中有條件地呈現(xiàn)消息。

圖1示意性地示出系統(tǒng)100，包括：一個(gè)或多個(gè)傳感器110，其被配置為記錄來(lái)自場(chǎng)景140的傳感器數(shù)據(jù)112；處理模塊120，其被配置為處理從場(chǎng)景140記錄的傳感器數(shù)據(jù)112，以便自動(dòng)識(shí)別在場(chǎng)景140中發(fā)生的事件，并且作為識(shí)別的結(jié)果而自動(dòng)做出決定；以及通信模塊130，其被配置為當(dāng)由處理模塊120做出通信決定時(shí)進(jìn)行通信。

被識(shí)別的某些事件但不一定所有事件可能涉及場(chǎng)景140中的物體152或特定物體152。物體可以是場(chǎng)景140中的無(wú)生命物體、動(dòng)物、人或特定人150。在系統(tǒng)100的某些實(shí)例但不一定所有實(shí)例中，系統(tǒng)100是實(shí)時(shí)識(shí)別系統(tǒng)，并且自動(dòng)識(shí)別和決定(如果有)基本上與記錄傳感器數(shù)據(jù)112同時(shí)發(fā)生。

系統(tǒng)100可以用于監(jiān)控、監(jiān)視或其它應(yīng)用。系統(tǒng)100可以用于企業(yè)、公共區(qū)域或家中。一種預(yù)期使用是作為家庭監(jiān)控系統(tǒng)。

例如當(dāng)用戶是場(chǎng)景140中的人150時(shí)，系統(tǒng)100可以使用戶能夠控制監(jiān)視。例如當(dāng)用戶是場(chǎng)景140中的人150時(shí)，系統(tǒng)100可以使用戶能夠控制識(shí)別和/或識(shí)別的結(jié)果。

在某些實(shí)例但不一定所有實(shí)例中，系統(tǒng)100可以包括多個(gè)分離裝置。例如，傳感器110可以被容納在一個(gè)或多個(gè)單獨(dú)裝置中，處理模塊120可以被容納在一個(gè)或多個(gè)裝置中，并且通信模塊130可以被容納在一個(gè)或多個(gè)裝置中。如果系統(tǒng)100的一個(gè)或多個(gè)組件被容納在分離裝置中，則這些裝置可以彼此在本地或遠(yuǎn)離，并且如果它們遠(yuǎn)離，則它們可以例如通過(guò)網(wǎng)絡(luò)通信。

在某些實(shí)例但不一定所有實(shí)例中，系統(tǒng)100可以被容納在單個(gè)裝置中。

傳感器110被配置為記錄來(lái)自場(chǎng)景140的傳感器數(shù)據(jù)112或者實(shí)現(xiàn)來(lái)自場(chǎng)景140的傳感器數(shù)據(jù)112的記錄。

場(chǎng)景140可以包括例如具有固定相對(duì)位置的靜態(tài)組件，例如靜態(tài)物體。這些靜態(tài)物體在場(chǎng)景的三維空間(場(chǎng)景空間)中具有不同的靜態(tài)位置。場(chǎng)景140可以包括移動(dòng)組件，例如移動(dòng)物體。隨著時(shí)間的推移，移動(dòng)物體在場(chǎng)景空間中具有不同的位置。相對(duì)于不同傳感器數(shù)據(jù)112或不同時(shí)間對(duì)“場(chǎng)景”的引用暗示被感測(cè)的場(chǎng)景140的這些靜態(tài)組件的連續(xù)性，它不一定暗示部分或全部動(dòng)態(tài)組件的連續(xù)性，盡管可能發(fā)生這種情況。

傳感器數(shù)據(jù)112的記錄可以僅包括臨時(shí)記錄，或者它可以包括永久記錄，或者它可以包括臨時(shí)記錄和永久記錄。臨時(shí)記錄暗示臨時(shí)地記錄數(shù)據(jù)。這可以例如在感測(cè)期間發(fā)生，在動(dòng)態(tài)存儲(chǔ)器處發(fā)生，在緩沖區(qū)(例如循環(huán)緩沖區(qū))、寄存器、高速緩存等處發(fā)生。永久記錄暗示數(shù)據(jù)采取可尋址數(shù)據(jù)結(jié)構(gòu)(其可以從可尋址存儲(chǔ)空間取回)的形式，并且因此能夠被存儲(chǔ)和取回直到被刪除或覆蓋，然而可能發(fā)生也可能不發(fā)生長(zhǎng)期存儲(chǔ)。

傳感器110可以被配置為將傳播波(例如聲波和/或光波)轉(zhuǎn)換為電信號(hào)，這些電信號(hào)將來(lái)自場(chǎng)景140的傳播波數(shù)據(jù)編碼為傳感器數(shù)據(jù)112。

在某些實(shí)例但不一定所有實(shí)例中，傳感器110相對(duì)于場(chǎng)景空間被固定在空間中。在其它實(shí)例中，傳感器110相對(duì)于場(chǎng)景空間可移動(dòng)或移動(dòng)。

在某些實(shí)施例但不一定所有實(shí)施例中，傳感器是圖像傳感器114或者包括圖像傳感器114。圖像傳感器114的一個(gè)實(shí)例是數(shù)字圖像傳感器，其被配置為作為攝像機(jī)操作?？梢圆僮鬟@種攝像機(jī)以便記錄靜態(tài)圖像和/或視頻圖像。

在某些實(shí)施例但不一定所有實(shí)施例中，可以以立體或其它空間分布式布置配置攝像機(jī)，以使得從不同角度查看場(chǎng)景140。這可以能夠產(chǎn)生三維圖像和/或處理，以便例如經(jīng)由視差效應(yīng)建立深度。

在某些實(shí)施例但不一定所有實(shí)施例中，傳感器110是音頻傳感器116或者包括音頻傳感器116。音頻傳感器116的一個(gè)實(shí)例是一個(gè)或多個(gè)麥克風(fēng)?？梢砸粤Ⅲw或其它空間分布式布置(例如麥克風(fēng)陣列)配置麥克風(fēng)，以使得從不同角度對(duì)場(chǎng)景140進(jìn)行采樣。這可以實(shí)現(xiàn)三維空間音頻處理，其允許音頻在場(chǎng)景140內(nèi)的定位。

在某些實(shí)施例但不一定所有實(shí)施例中，傳感器是深度傳感器118或者包括深度傳感器118。深度傳感器118可以包括發(fā)送器和接收器。發(fā)送器發(fā)送信號(hào)(例如，人不能感測(cè)的信號(hào)，如超聲或紅外光)，并且接收器接收反射信號(hào)。使用單個(gè)發(fā)送器和單個(gè)接收器，可以經(jīng)由測(cè)量從發(fā)送到接收的飛行時(shí)間獲得某些深度信息?？梢酝ㄟ^(guò)使用更多發(fā)送器和/或更多接收器(空間多樣性)獲得更好的分辨率。在一個(gè)實(shí)例中，發(fā)送器被配置為使用空間相關(guān)模式，以光(優(yōu)選地為不可見(jiàn)光，例如紅外光)“繪制”場(chǎng)景。由接收器檢測(cè)某種模式允許對(duì)場(chǎng)景140進(jìn)行空間解析?？梢酝ㄟ^(guò)飛行時(shí)間和/或立體視法(如果接收器相對(duì)于發(fā)送器處于立體位置中)確定到場(chǎng)景140的空間解析部分的距離。

在這些“被動(dòng)”或“非主動(dòng)”深度感測(cè)實(shí)例中，要感測(cè)的人150或物體152是被動(dòng)的并且僅反射由發(fā)送器發(fā)出的入射光或聲波。但是，此外或備選地可以使用“主動(dòng)”實(shí)例，它們需要被感測(cè)物體處的活動(dòng)。作為一個(gè)實(shí)例，人可以攜帶定位裝置，其被配置為將定位裝置放置在場(chǎng)景空間內(nèi)。定位裝置可以例如使用加速度計(jì)測(cè)量定位裝置從參考位置的運(yùn)動(dòng)。可以可選地使用陀螺儀確定方位。此外或備選地，定位裝置可以通過(guò)向多個(gè)接收器發(fā)送和/或從多個(gè)發(fā)送器接收，經(jīng)由三角測(cè)量(三邊測(cè)量)實(shí)現(xiàn)定位。

在所示實(shí)例但不一定所有實(shí)例中，處理模塊120包括存儲(chǔ)器子模塊122、處理子模塊124、識(shí)別子模塊126、以及控制子模塊128。盡管“模塊”被分別描述和示出，但它們可以(盡管它們不需要)分離或者以不同組合被組合。例如，處理子模塊124、識(shí)別子模塊126、以及控制子模塊128可以由同一電路執(zhí)行，或者在同一計(jì)算機(jī)程序的控制下執(zhí)行。備選地，處理子模塊124、識(shí)別子模塊126、以及控制子模塊128中的一個(gè)或多個(gè)可以由專用電路或?qū)Ｓ糜?jì)算機(jī)程序執(zhí)行?？梢允褂密浖?、專用硬件或者編程硬件和軟件的混合執(zhí)行子模塊。

存儲(chǔ)器子模塊122可以用于存儲(chǔ)未處理的傳感器數(shù)據(jù)110和/或已處理的傳感器數(shù)據(jù)110(場(chǎng)景數(shù)據(jù))、計(jì)算機(jī)程序、場(chǎng)景空間模型以及由處理模塊120使用的其它數(shù)據(jù)，然而其它子模塊可以具有它們自己的存儲(chǔ)器。

處理子模塊124可以被配置為處理傳感器數(shù)據(jù)112，以便確定對(duì)于場(chǎng)景140有意義的場(chǎng)景數(shù)據(jù)。

處理子模塊124可以被配置為執(zhí)行圖像處理，其中傳感器數(shù)據(jù)110包括來(lái)自一個(gè)或多個(gè)攝像機(jī)114的圖像數(shù)據(jù)。處理子模塊124可以被配置為執(zhí)行音頻處理，其中傳感器數(shù)據(jù)110包括來(lái)自一個(gè)或多個(gè)麥克風(fēng)116的音頻數(shù)據(jù)。

處理子模塊124可以被配置為使用傳感器數(shù)據(jù)112自動(dòng)執(zhí)行以下一個(gè)或多個(gè)任務(wù)，以便產(chǎn)生對(duì)于場(chǎng)景140具有潛在意義的場(chǎng)景數(shù)據(jù)：

使用機(jī)器(計(jì)算機(jī))視覺(jué)執(zhí)行以下一者或多者：

檢測(cè)(移動(dòng)或靜止)物體或人，

對(duì)(移動(dòng)或靜止)物體或人進(jìn)行分類，和/或

跟蹤(移動(dòng)或靜止)物體或人；

使用空間分析執(zhí)行以下一者或多者：

使用深度確定在場(chǎng)景空間中定位(移動(dòng)或靜止)物體，和/或

產(chǎn)生場(chǎng)景空間圖；和/或

使用行為分析將場(chǎng)景140中發(fā)生的事件描述為可能有意義的符號(hào)。

圖像處理的一個(gè)實(shí)例是“梯度特征直方圖”分析，其針對(duì)圖像產(chǎn)生強(qiáng)度梯度或邊緣方向的分布。圖像可以被分為小的連接區(qū)域(單元)，并且對(duì)于每個(gè)單元，針對(duì)該單元內(nèi)的像素產(chǎn)生梯度方向或邊緣方向的直方圖。這些直方圖的組合然后表示描述符。

音頻處理的一個(gè)實(shí)例是“梅爾頻率倒譜系數(shù)”確定、例如使用音頻波束成形技術(shù)的空間音頻處理、音頻事件識(shí)別或分類、說(shuō)話者識(shí)別或驗(yàn)證或語(yǔ)音識(shí)別。

可以例如使用相對(duì)于背景模型的差(背景減除)或者相對(duì)于前一個(gè)圖像的差(時(shí)間差)實(shí)現(xiàn)運(yùn)動(dòng)檢測(cè)，或者使用某種其它方法(例如使用基于向量的方法的光流分析)實(shí)現(xiàn)運(yùn)動(dòng)檢測(cè)。

可以例如使用基于形狀的分析和/或基于運(yùn)動(dòng)的分析實(shí)現(xiàn)物體分類。

人的分類可以是物體是人的分類或者物體是特定人(標(biāo)識(shí))的分類。可以使用屬性或?qū)傩越M合實(shí)現(xiàn)標(biāo)識(shí)，這些屬性唯一地標(biāo)識(shí)一組可能人內(nèi)的某人。屬性的實(shí)例包括：特定于某人或者可能特定于某人的生物特征，例如其面部或其語(yǔ)音；其身材和尺寸；其行為。

可以通過(guò)標(biāo)記物體并且記錄被標(biāo)記物體在場(chǎng)景140中的位置實(shí)現(xiàn)物體跟蹤。可能需要算法處理以下一個(gè)或多個(gè)事件：物體進(jìn)入場(chǎng)景140；物體從場(chǎng)景140退出；物體再次進(jìn)入場(chǎng)景140；物體遮擋；物體合并。如何處理這些事件在本領(lǐng)域中是公知的。

物體跟蹤可以用于確定物體或人何時(shí)改變。例如，在大的宏觀規(guī)模上跟蹤物體允許產(chǎn)生與物體一起移動(dòng)的參考幀。該參考幀然后可以用于通過(guò)使用相對(duì)于物體的時(shí)間差，跟蹤物體的隨時(shí)間演化的形狀變化。這可以用于檢測(cè)小規(guī)模的人運(yùn)動(dòng)，例如手勢(shì)、手部運(yùn)動(dòng)、面部運(yùn)動(dòng)。這些是相對(duì)于用戶的場(chǎng)景無(wú)關(guān)的(僅)用戶運(yùn)動(dòng)。

系統(tǒng)100可以相對(duì)于人體跟蹤多個(gè)物體和/或點(diǎn)，例如人體的一個(gè)或多個(gè)關(guān)節(jié)。在某些實(shí)例中，系統(tǒng)100可以執(zhí)行人體的全身骨骼跟蹤。

系統(tǒng)100可以在手勢(shì)識(shí)別等中使用相對(duì)于人體的一個(gè)或多個(gè)物體和/或點(diǎn)的跟蹤。

行為分析需要使用有意義的符號(hào)描述在場(chǎng)景140中發(fā)生的事件。事件可以是在空間-時(shí)間實(shí)例處發(fā)生的某事，或者它可以是空間-時(shí)間序列(隨著時(shí)間推移的空間-時(shí)間實(shí)例模式)。事件可以涉及物體(或人)的運(yùn)動(dòng)或者人與物體的交互。

在某些實(shí)施方式但不一定所有實(shí)施方式中，事件可以由推定符號(hào)(putativesymbol)表示，該推定符號(hào)根據(jù)從機(jī)器(計(jì)算機(jī))視覺(jué)分析和/或空間分析確定的參數(shù)來(lái)定義。這些參數(shù)對(duì)以下某些項(xiàng)或更多項(xiàng)進(jìn)行編碼：發(fā)生什么、在何處發(fā)生、何時(shí)發(fā)生以及何人執(zhí)行。

識(shí)別子模塊126被配置為將對(duì)場(chǎng)景140中的事件進(jìn)行編碼的推定符號(hào)識(shí)別為與特定意義相關(guān)聯(lián)的有意義符號(hào)。

識(shí)別子模塊126可以被配置為將推定符號(hào)(其根據(jù)從機(jī)器(計(jì)算機(jī))視覺(jué)分析和/或空間分析確定的參數(shù)來(lái)定義，并由處理子模塊124產(chǎn)生)識(shí)別為具有意義。識(shí)別子模塊126可以例如存儲(chǔ)或訪問(wèn)有意義的參考符號(hào)數(shù)據(jù)庫(kù)，并且可以使用相似性測(cè)試判定推定符號(hào)是否與有意義的符號(hào)“相似”。

識(shí)別子模塊126可以被配置為機(jī)器(計(jì)算機(jī))推理引擎或其它識(shí)別引擎，例如人工神經(jīng)網(wǎng)絡(luò)或參數(shù)空間中的群集。在某些實(shí)例中，可以經(jīng)由監(jiān)管式消息傳送訓(xùn)練識(shí)別子模塊126，以便將有意義的符號(hào)識(shí)別為與參考符號(hào)相似。

控制子模塊128根據(jù)已在場(chǎng)景140中發(fā)生的有意義事件來(lái)響應(yīng)已在場(chǎng)景140中發(fā)生該有意義事件的確定：

a)如果推定符號(hào)與響應(yīng)符號(hào)相似，則有意義的事件是“響應(yīng)”事件，并且控制子模塊128執(zhí)行響應(yīng)動(dòng)作。

在某些實(shí)例但不一定所有實(shí)例中，可以由用戶對(duì)執(zhí)行的動(dòng)作進(jìn)行編程。在某些實(shí)例但不一定所有實(shí)例中，可以經(jīng)由用戶在場(chǎng)景內(nèi)的運(yùn)動(dòng)發(fā)生編程。下面參考圖5a和5b提供實(shí)例。執(zhí)行的動(dòng)作的實(shí)例可以是生成警報(bào)或通知。

可以經(jīng)由通信模塊130提供警報(bào)或通知。通信模塊130可以無(wú)線地、經(jīng)由無(wú)線電波或者經(jīng)由到本地或遠(yuǎn)程裝置的連接進(jìn)行通信。這種裝置的實(shí)例包括但不限于顯示器、電視、音頻輸出裝置、諸如移動(dòng)電話或個(gè)人計(jì)算機(jī)之類的個(gè)人設(shè)備、投影儀或其它用戶輸出裝置。

在某些實(shí)例但不一定所有實(shí)例中，可以由用戶對(duì)響應(yīng)符號(hào)進(jìn)行編程。例如，如在下面參考圖5a和5b進(jìn)一步詳細(xì)描述的，用戶可以能夠?qū)τ捎幸饬x的響應(yīng)符號(hào)表示的有意義的事件進(jìn)行編程或教導(dǎo)。由用戶產(chǎn)生的響應(yīng)符號(hào)可以被添加到參考符號(hào)數(shù)據(jù)庫(kù)，或者以其他方式用于將推定符號(hào)識(shí)別為有意義的符號(hào)。在某些實(shí)例但不一定所有實(shí)例中，可以經(jīng)由用戶在場(chǎng)景140內(nèi)的運(yùn)動(dòng)發(fā)生編程。由有意義的符號(hào)表示的有意義的事件的實(shí)例包括執(zhí)行的特定動(dòng)作或運(yùn)動(dòng)，例如用戶輸入手勢(shì)。

b)如果推定符號(hào)與用戶控制符號(hào)相似，則有意義的事件是“用戶控制”事件，并且控制子模塊128實(shí)現(xiàn)監(jiān)視的用戶控制和/或響應(yīng)的用戶控制。

如在下面參考圖5a和5b進(jìn)一步詳細(xì)描述的，“用戶控制”事件的一個(gè)實(shí)例是由消息傳送符號(hào)表示的消息傳送事件。推定符號(hào)與學(xué)習(xí)符號(hào)相匹配的這一識(shí)別使用戶能夠?qū)τ幸饬x的響應(yīng)事件和/或該響應(yīng)事件的響應(yīng)動(dòng)作進(jìn)行編程或教導(dǎo)。執(zhí)行的動(dòng)作的實(shí)例可以是生成警報(bào)或通知。

可以從圖2進(jìn)一步理解處理模塊120的操作，圖2示出處理模塊120的狀態(tài)機(jī)200。狀態(tài)機(jī)200具有監(jiān)視狀態(tài)210、用戶控制狀態(tài)220和自動(dòng)響應(yīng)狀態(tài)230。

在監(jiān)視狀態(tài)210下，傳感器110提供傳感器數(shù)據(jù)112，并且處理子模塊124自動(dòng)處理傳感器數(shù)據(jù)112(視頻和/或音頻和/或深度)以便產(chǎn)生具有潛在意義的場(chǎng)景數(shù)據(jù)。識(shí)別子模塊126自動(dòng)處理場(chǎng)景數(shù)據(jù)，以便在場(chǎng)景數(shù)據(jù)內(nèi)標(biāo)識(shí)實(shí)際意義，即，有意義的符號(hào)。

有意義的符號(hào)是預(yù)定的，即，已發(fā)生的在識(shí)別之前確定符號(hào)的動(dòng)作。但是，“預(yù)定”不應(yīng)該被視為表示確切的或固定的。用于相似性匹配的符號(hào)僅具有預(yù)先確定，它可以動(dòng)態(tài)演化或者可以是固定的。

如果識(shí)別子模塊126確定已在場(chǎng)景140中發(fā)生有意義的事件，則控制子模塊128根據(jù)該事件自動(dòng)地響應(yīng)。如果有意義的事件是“響應(yīng)”事件，則狀態(tài)機(jī)200轉(zhuǎn)變?yōu)轫憫?yīng)狀態(tài)230，并且控制子模塊128執(zhí)行與該響應(yīng)事件關(guān)聯(lián)的響應(yīng)動(dòng)作。如果事件是“用戶控制”事件，則狀態(tài)機(jī)200轉(zhuǎn)變?yōu)橛脩艨刂茽顟B(tài)220，并且以與該用戶控制狀態(tài)220關(guān)聯(lián)的方式實(shí)現(xiàn)監(jiān)視和/或響應(yīng)的用戶控制。

特定手勢(shì)用戶輸入可以用作“用戶控制”事件。手勢(shì)用戶輸入是作為用戶輸入對(duì)于系統(tǒng)100具有意義的手勢(shì)。手勢(shì)可以是靜態(tài)的或移動(dòng)的。移動(dòng)手勢(shì)可以包括運(yùn)動(dòng)或者包含一系列運(yùn)動(dòng)的運(yùn)動(dòng)模式。例如，它可以是進(jìn)行圓周運(yùn)動(dòng)或側(cè)向運(yùn)動(dòng)或上下運(yùn)動(dòng)或空間中的符號(hào)跟蹤。移動(dòng)手勢(shì)可以例如是裝置無(wú)關(guān)的手勢(shì)或裝置相關(guān)的手勢(shì)。移動(dòng)手勢(shì)可以涉及用戶輸入物體(例如，用戶的一個(gè)或多個(gè)身體部位、或者其它裝置)相對(duì)于傳感器110的運(yùn)動(dòng)。身體部位可以包括用戶的手部或用戶的手部的一部分，例如一個(gè)或多個(gè)手指和拇指。在其它實(shí)例中，用戶輸入物體可以包括用戶身體的不同部位，例如其頭部或手臂。三維運(yùn)動(dòng)可以包括用戶輸入物體沿著任何三個(gè)正交方向的運(yùn)動(dòng)。運(yùn)動(dòng)可以包括用戶輸入物體朝著或遠(yuǎn)離傳感器110移動(dòng)以及沿著平行于傳感器的平面移動(dòng)或者此類運(yùn)動(dòng)的任意組合。手勢(shì)可以是非接觸式手勢(shì)。非接觸式手勢(shì)在手勢(shì)期間的任何時(shí)間都不與裝置傳感器接觸。手勢(shì)可以是絕對(duì)手勢(shì)，其根據(jù)與傳感器110的絕對(duì)位移來(lái)定義。這種手勢(shì)可能被束縛，因?yàn)樗趫?chǎng)景空間中的精確位置處執(zhí)行。備選地，手勢(shì)可以是相對(duì)手勢(shì)，其根據(jù)手勢(shì)期間的相對(duì)位移來(lái)定義。這種手勢(shì)可能未被束縛，因?yàn)樗恍枰趫?chǎng)景空間中的相對(duì)精確位置處執(zhí)行，并且可以在大量任意位置處執(zhí)行。手勢(shì)可以被定義為位移的演化、隨時(shí)間相對(duì)于原點(diǎn)的被跟蹤點(diǎn)?？梢岳缡褂脮r(shí)間變量參數(shù)(例如位移、速度)或者使用其它運(yùn)動(dòng)學(xué)參數(shù)，根據(jù)運(yùn)動(dòng)來(lái)定義手勢(shì)。未被束縛的手勢(shì)可以被定義為相對(duì)位移δd隨相對(duì)時(shí)間δt的演化?？梢匝刂粋€(gè)空間維度(1d手勢(shì))、兩個(gè)空間維度(2d手勢(shì))或三個(gè)空間維度(3d)執(zhí)行手勢(shì)。

在某些實(shí)例中，系統(tǒng)100可以在手勢(shì)識(shí)別中相對(duì)于人體跟蹤一個(gè)或多個(gè)物體和/或點(diǎn)。例如，系統(tǒng)100可以在手勢(shì)識(shí)別中執(zhí)行人體的全身骨骼跟蹤。

處理器模塊120或處理器模塊120的一部分可以作為控制器電路實(shí)現(xiàn)?？刂破麟娐?20可以單獨(dú)以硬件實(shí)現(xiàn)，單獨(dú)具有包括固件的軟件中的某些方面，或者可以是硬件和軟件(包括固件)的組合。

如圖3中所示，控制器120可以使用指令實(shí)現(xiàn)，這些指令例如通過(guò)在通用或?qū)Ｓ锰幚砥?10中使用可執(zhí)行計(jì)算機(jī)程序指令322實(shí)現(xiàn)硬件功能，可執(zhí)行計(jì)算機(jī)程序指令322可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(磁盤、存儲(chǔ)器等)上以便由此類處理器310執(zhí)行。

處理器310被配置為從存儲(chǔ)器320讀取并且向存儲(chǔ)器320寫(xiě)入。處理器310還可以包括輸出接口和輸入接口，處理器310經(jīng)由輸出接口輸出數(shù)據(jù)和/或命令，經(jīng)由輸入接口將數(shù)據(jù)和/或命令輸入到處理器310。

存儲(chǔ)器320存儲(chǔ)包括計(jì)算機(jī)程序指令(計(jì)算機(jī)程序代碼)的計(jì)算機(jī)程序322，當(dāng)被加載到處理器310中時(shí)，計(jì)算機(jī)程序322控制處理模塊120的操作。計(jì)算機(jī)程序322的計(jì)算機(jī)程序指令提供邏輯和例程，這些邏輯和例程使處理模塊能夠執(zhí)行參考圖1和2討論的方法。處理器310通過(guò)讀取存儲(chǔ)器320能夠加載和執(zhí)行計(jì)算機(jī)程序322。

系統(tǒng)100因此可以包括裝置120，其包括：

至少一個(gè)處理器310；以及至少一個(gè)存儲(chǔ)器320，其包括計(jì)算機(jī)程序代碼322，至少一個(gè)存儲(chǔ)器320和計(jì)算機(jī)程序代碼322被配置為與至少一個(gè)處理器310一起，導(dǎo)致裝置120至少執(zhí)行圖1的方框124、126、128中的一者或多者。

如圖4中所示，計(jì)算機(jī)程序322可以經(jīng)由任何合適的傳送機(jī)制324到達(dá)此類裝置。傳送機(jī)制324可以例如是非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、計(jì)算機(jī)程序產(chǎn)品、存儲(chǔ)設(shè)備、諸如壓縮盤只讀存儲(chǔ)器(cd-rom)或數(shù)字通用光盤(dvd)之類的記錄介質(zhì)、有形地包含計(jì)算機(jī)程序322的制造品。傳送機(jī)制可以是被配置為可靠地傳輸計(jì)算機(jī)程序322的信號(hào)。裝置120可以將計(jì)算機(jī)程序322作為計(jì)算機(jī)數(shù)據(jù)信號(hào)來(lái)傳播或傳輸。

盡管存儲(chǔ)器320被示為單個(gè)組件/電路，但它可以被實(shí)現(xiàn)為一個(gè)或多個(gè)單獨(dú)組件/電路，它們中的部分或全部可以是集成的/可移動(dòng)的，和/或可以提供永久/半永久/動(dòng)態(tài)/緩存存儲(chǔ)裝置。

盡管處理器310被示出為單個(gè)組件/電路，但它可以被實(shí)現(xiàn)為一個(gè)或多個(gè)單獨(dú)組件/電路，它們的部分或全部可以是集成的/可移動(dòng)的。處理器310可以是單核或多核處理器。

對(duì)“計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”、“計(jì)算機(jī)程序產(chǎn)品”、“有形地包含的計(jì)算機(jī)程序”等或“控制器”、“計(jì)算機(jī)”、“處理器”等的引用應(yīng)該被理解為不僅包含具有不同架構(gòu)(例如單/多處理器架構(gòu)和順序(馮·諾依曼)/平行架構(gòu))的計(jì)算機(jī)，而且還包含專用電路，例如現(xiàn)場(chǎng)可編程門陣列(fpga)、專用電路(asic)、信號(hào)處理設(shè)備和其它處理電路。對(duì)計(jì)算機(jī)程序、指令、代碼等的引用應(yīng)該被理解為包含用于可編程處理器或固件的軟件，例如硬件設(shè)備的可編程內(nèi)容，無(wú)論是用于處理器的指令，還是用于固定功能設(shè)備、門陣列或可編程邏輯設(shè)備等的配置設(shè)置。

如在本申請(qǐng)中使用的，術(shù)語(yǔ)“電路”指以下所有各項(xiàng)：

(a)僅硬件電路實(shí)施方式(例如僅模擬和/或數(shù)字電路中的實(shí)施方式)；以及

(b)指電路和軟件(和/或固件)的組合，例如(如適用)：(i)指處理器(多個(gè))的組合或(ii)指處理器(多個(gè))/軟件的各部分(包括共同工作以便導(dǎo)致諸如移動(dòng)電話或服務(wù)器之類的裝置執(zhí)行各種功能的數(shù)字信號(hào)處理器(多個(gè))、軟件和存儲(chǔ)器(多個(gè)))；以及

(c)指電路，例如需要軟件或固件以便操作(即使軟件或固件未實(shí)際存在)的微處理器(多個(gè))或微處理器(多個(gè))的一部分。

該“電路”定義適用于本申請(qǐng)中(包括在任何權(quán)利要求中)對(duì)該術(shù)語(yǔ)的所有使用。作為進(jìn)一步實(shí)例，如在本申請(qǐng)中使用的，術(shù)語(yǔ)“電路”還包含只有一個(gè)處理器(或多個(gè)處理器)或一個(gè)處理器的一部分以及它的(或它們的)附帶軟件和/或固件的實(shí)施方式。術(shù)語(yǔ)“電路”還包含(例如并且如果適用于特定權(quán)利要求元素)用于移動(dòng)電話的基帶集成電路或應(yīng)用處理器集成電路或服務(wù)器、蜂窩網(wǎng)絡(luò)設(shè)備或其它網(wǎng)絡(luò)設(shè)備中的相似集成電路。

圖1中所示的方框124、126、128可以表示方法中的步驟和/或計(jì)算機(jī)程序322中的代碼部分。方框的特定順序的例示不一定暗示方框具有必需或優(yōu)選的順序，并且可以改變方框的順序和布置。此外，省略某些方框可以是可能的。

控制消息的呈現(xiàn)

圖5a和5b示出如何可以由用戶，并且具體地說(shuō)由場(chǎng)景140內(nèi)的用戶動(dòng)作對(duì)如前所述的狀態(tài)機(jī)200進(jìn)行編程。圖5a示出使用新用戶控制狀態(tài)220(消息傳送狀態(tài)222)產(chǎn)生狀態(tài)機(jī)200的新響應(yīng)狀態(tài)230(呈現(xiàn)狀態(tài)232)的過(guò)程。圖5b示出從監(jiān)視狀態(tài)210轉(zhuǎn)變213為新呈現(xiàn)狀態(tài)232以及執(zhí)行關(guān)聯(lián)的呈現(xiàn)動(dòng)作的過(guò)程。

如前所述，在監(jiān)視狀態(tài)210下，傳感器110提供傳感器數(shù)據(jù)112，并且處理子模塊124自動(dòng)處理傳感器數(shù)據(jù)112(視頻和/或音頻和/或深度數(shù)據(jù))以便產(chǎn)生具有潛在意義的場(chǎng)景數(shù)據(jù)。識(shí)別子模塊126自動(dòng)處理場(chǎng)景數(shù)據(jù)，以便在場(chǎng)景數(shù)據(jù)內(nèi)標(biāo)識(shí)實(shí)際意義。

例如，再次參考圖1，消息170可以與一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則和場(chǎng)景中的物理位置180相關(guān)聯(lián)。識(shí)別子模塊126可以自動(dòng)處理場(chǎng)景數(shù)據(jù)，以便自動(dòng)識(shí)別一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則的滿足。響應(yīng)于識(shí)別一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則的滿足，狀態(tài)機(jī)200進(jìn)入呈現(xiàn)狀態(tài)232，這使能由呈現(xiàn)引擎160將消息170自動(dòng)呈現(xiàn)到場(chǎng)景140中的物理位置180處。

呈現(xiàn)引擎160的實(shí)例可以包括以可視方式呈現(xiàn)消息的可視呈現(xiàn)引擎、以可視方式呈現(xiàn)消息的可聽(tīng)呈現(xiàn)引擎、以及經(jīng)由觸摸呈現(xiàn)消息的觸覺(jué)呈現(xiàn)引擎。

呈現(xiàn)引擎可以僅用于呈現(xiàn)消息的目的或者用于某個(gè)或某些其它目的。

可視呈現(xiàn)引擎的實(shí)例包括但不限于：場(chǎng)景140內(nèi)的可視顯示屏，其顯示場(chǎng)景140內(nèi)的消息170；以及一個(gè)或多個(gè)可視投影儀，其將場(chǎng)景140內(nèi)的消息170例如投影到場(chǎng)景140內(nèi)的表面(例如，墻壁或地板)上。

消息傳送狀態(tài)

再次參考圖5a，在監(jiān)視狀態(tài)210下，傳感器110提供傳感器數(shù)據(jù)112，并且處理子模塊124自動(dòng)處理傳感器數(shù)據(jù)112(視頻和/或音頻和/或深度數(shù)據(jù))以便產(chǎn)生具有潛在意義的場(chǎng)景數(shù)據(jù)。識(shí)別子模塊126自動(dòng)處理場(chǎng)景數(shù)據(jù)。

識(shí)別子模塊126通過(guò)將場(chǎng)景數(shù)據(jù)112內(nèi)由用戶產(chǎn)生的消息傳送符號(hào)識(shí)別為用于將狀態(tài)改變?yōu)橄魉蜖顟B(tài)222的用戶輸入命令，確定何時(shí)已在場(chǎng)景140中發(fā)生消息傳送事件?？刂谱幽K128通過(guò)轉(zhuǎn)變211為消息傳送狀態(tài)222，自動(dòng)地響應(yīng)該確定。可以向用戶提供反饋指示，例如已進(jìn)入消息傳送狀態(tài)222的可聽(tīng)或可視確認(rèn)。

可以例如使用從傳感器數(shù)據(jù)112獲得的視頻數(shù)據(jù)、音頻數(shù)據(jù)和深度數(shù)據(jù)中的任何一者或多者來(lái)定義消息傳送符號(hào)。

在某些實(shí)例但不一定所有實(shí)例中，僅視頻數(shù)據(jù)用于識(shí)別消息傳送符號(hào)。在該實(shí)例中，消息傳送符號(hào)如前所述可以是隨時(shí)間演化的、場(chǎng)景無(wú)關(guān)的符號(hào)序列，其由被跟蹤用戶相對(duì)于被跟蹤用戶處的參考幀的運(yùn)動(dòng)來(lái)定義。消息傳送符號(hào)的一個(gè)實(shí)例是手勢(shì)用戶輸入。

在某些實(shí)例但不一定所有實(shí)例中，音頻數(shù)據(jù)和/或深度數(shù)據(jù)用于識(shí)別消息傳送符號(hào)。在該實(shí)例中，消息傳送符號(hào)可以是隨時(shí)間演化的、場(chǎng)景無(wú)關(guān)的符號(hào)序列，其由被跟蹤用戶的動(dòng)作來(lái)定義。例如，可以確定深度圖，并且然后使用機(jī)器學(xué)習(xí)推斷用戶的變化的身體位置。這可以例如在大約每秒30幀的速率下完成。用戶的關(guān)節(jié)位置作為輸出被產(chǎn)生，并且手勢(shì)可以被定義為包括用戶的關(guān)節(jié)位置的符號(hào)。在音頻輸入的情況下，可檢測(cè)的手勢(shì)的一個(gè)實(shí)例可以是拍手。

在某些實(shí)例但不一定所有實(shí)例中，識(shí)別子模塊126可以在其檢測(cè)到異常情況(例如異常行為或被識(shí)別人的異常行為)或者檢測(cè)到未被識(shí)別的人時(shí)，確定已在場(chǎng)景140中發(fā)生消息傳送事件并且轉(zhuǎn)變211為消息傳送狀態(tài)222。異常的確定可以基于場(chǎng)景140的歷史監(jiān)視。

程序觸發(fā)

在消息傳送狀態(tài)222下，通過(guò)在場(chǎng)景140內(nèi)執(zhí)行動(dòng)作，用戶能夠定義新“響應(yīng)事件”(呈現(xiàn)事件)和對(duì)應(yīng)的新響應(yīng)符號(hào)(呈現(xiàn)符號(hào))，并且在狀態(tài)機(jī)200中產(chǎn)生新響應(yīng)狀態(tài)(呈現(xiàn)狀態(tài)232)，如圖5b中所示。

在消息傳送狀態(tài)222下，系統(tǒng)100自動(dòng)處理來(lái)自場(chǎng)景140并與場(chǎng)景140中的用戶動(dòng)作相關(guān)的所記錄的傳感器數(shù)據(jù)，以便使用戶能夠?qū)σ韵乱徽呋蚨嗾哌M(jìn)行編程：一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則；物理位置180；以及消息170的組成(內(nèi)容)。

在用戶編程期間，系統(tǒng)100可以提供用于使用呈現(xiàn)引擎160進(jìn)行編程的用戶接口。呈現(xiàn)引擎160可以例如呈現(xiàn)可選擇的選項(xiàng)，例如作為菜單或鍵盤。用戶可以通過(guò)相對(duì)于相應(yīng)選項(xiàng)執(zhí)行諸如指點(diǎn)之類的手勢(shì)，選擇不同的選項(xiàng)。

在某些實(shí)例但不一定所有實(shí)例中，用戶動(dòng)作可以包括語(yǔ)音，并且所記錄的傳感器數(shù)據(jù)的處理包括語(yǔ)音識(shí)別處理。用戶編程可以例如通過(guò)說(shuō)話實(shí)現(xiàn)。

在某些實(shí)例但不一定所有實(shí)例中，用戶動(dòng)作可以包括隨時(shí)間演化的、場(chǎng)景無(wú)關(guān)的符號(hào)序列，其由被跟蹤用戶相對(duì)于被跟蹤用戶處的參考幀的運(yùn)動(dòng)來(lái)定義。用戶編程可以例如通過(guò)在空間中繪制字符實(shí)現(xiàn)。

可以通過(guò)場(chǎng)景140內(nèi)的用戶動(dòng)作確定一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則。

在某些實(shí)例但不一定所有實(shí)例中，一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則可以包括以下一者或多者：

場(chǎng)景140中的物體或人的存在，

場(chǎng)景140中的物體或人的特定分類或標(biāo)識(shí)，

場(chǎng)景140中的物體或人的特定跟蹤；

場(chǎng)景140中的物體或人的特定定位；

場(chǎng)景空間的特定深度圖；和/或

描述場(chǎng)景140中發(fā)生的事件的特定確定的符號(hào)。

如果使用多個(gè)準(zhǔn)則，則可以使用布爾邏輯將它們相組合。例如，僅需要滿足一個(gè)準(zhǔn)則的備選準(zhǔn)則可以被定義為使用“或”的組合。例如，需要滿足多個(gè)準(zhǔn)則的必要準(zhǔn)則可以被定義為使用“與”的組合。將認(rèn)識(shí)到，可以通過(guò)在其它組合內(nèi)嵌套組合產(chǎn)生復(fù)雜的邏輯表達(dá)，如本領(lǐng)域公知的那樣。

在某些實(shí)例但不一定所有實(shí)例中，由用戶定義的一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則可以是呈現(xiàn)消息170的必要條件。

在某些實(shí)例但不一定所有實(shí)例中，由用戶定義的一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則可以是呈現(xiàn)消息170的必要和充分條件。

作為一個(gè)實(shí)例，一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則可以包括至少一個(gè)人特定的呈現(xiàn)準(zhǔn)則。系統(tǒng)100通過(guò)處理來(lái)自場(chǎng)景140的所記錄的傳感器數(shù)據(jù)112以便自動(dòng)識(shí)別場(chǎng)景140中的特定人，處理來(lái)自場(chǎng)景140的所記錄的傳感器數(shù)據(jù)112以便自動(dòng)識(shí)別一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則的滿足。這可以例如通過(guò)執(zhí)行面部識(shí)別處理和/或語(yǔ)音識(shí)別處理實(shí)現(xiàn)。

作為一個(gè)實(shí)例，一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則可以包括至少一個(gè)行為特定的呈現(xiàn)準(zhǔn)則。系統(tǒng)100通過(guò)處理來(lái)自場(chǎng)景140的所記錄的傳感器數(shù)據(jù)112以自動(dòng)識(shí)別場(chǎng)景140中的特定行為，處理來(lái)自場(chǎng)景140的所記錄的傳感器數(shù)據(jù)112以便自動(dòng)識(shí)別一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則的滿足。這可以例如通過(guò)執(zhí)行以下各項(xiàng)實(shí)現(xiàn)：機(jī)器視覺(jué)處理；空間分析處理；行為分析處理；語(yǔ)音識(shí)別處理；和/或面部識(shí)別處理。以這種方式，可以表征場(chǎng)景140內(nèi)的行為或活動(dòng)，并且如果適當(dāng)，可以表征參與活動(dòng)的人。

一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則可以包括需要在消息170被呈現(xiàn)在場(chǎng)景140中之前滿足的其它條件。例如，一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則可以包括一個(gè)或多個(gè)時(shí)間準(zhǔn)則，其指定日期或時(shí)間或延遲或持續(xù)時(shí)間。消息170可以例如僅在該日期和/或該時(shí)間在場(chǎng)景中被呈現(xiàn)。備選地，消息170可以例如僅在延遲之后在場(chǎng)景中被呈現(xiàn)。消息170可以例如僅在持續(xù)時(shí)間內(nèi)呈現(xiàn)。

系統(tǒng)100可以被配置為向用戶建議一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則，以供選擇作為用于控制消息170在場(chǎng)景140中的呈現(xiàn)的一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則中的一部分或全部呈現(xiàn)準(zhǔn)則。

可以例如根據(jù)以下一者或多者自動(dòng)確定所建議的呈現(xiàn)準(zhǔn)則：用戶的物理位置；一般地在場(chǎng)景140中或在場(chǎng)景140中的用戶位置處的一個(gè)或多個(gè)人；消息的內(nèi)容。

可以例如確定物理位置180是用戶位置。物理位置180可以用作一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則之一。

對(duì)呈現(xiàn)編程

在消息傳送狀態(tài)222下，通過(guò)在場(chǎng)景140內(nèi)執(zhí)行其它動(dòng)作，用戶可以能夠定義與新呈現(xiàn)狀態(tài)232關(guān)聯(lián)的響應(yīng)動(dòng)作(呈現(xiàn)動(dòng)作)。

呈現(xiàn)動(dòng)作可以例如是在物理位置180處呈現(xiàn)具有用戶確定的內(nèi)容的消息。

可以根據(jù)以下一者或多者自動(dòng)確定場(chǎng)景140中的物理位置180：用戶動(dòng)作期間用戶的位置和消息170的內(nèi)容。

可以通過(guò)以下操作在消息傳送狀態(tài)222下發(fā)生呈現(xiàn)動(dòng)作的編程：在處理器子模塊124處自動(dòng)處理場(chǎng)景140的傳感器數(shù)據(jù)112(視頻和/或音頻和/或深度數(shù)據(jù))，以便能夠由識(shí)別子模塊126自動(dòng)識(shí)別與特定呈現(xiàn)動(dòng)作關(guān)聯(lián)的預(yù)定動(dòng)作符號(hào)。響應(yīng)于所述識(shí)別，控制子模塊128對(duì)狀態(tài)機(jī)200進(jìn)行編程，以使得當(dāng)進(jìn)入呈現(xiàn)狀態(tài)232時(shí)執(zhí)行呈現(xiàn)動(dòng)作。

預(yù)定的動(dòng)作符號(hào)可以是隨時(shí)間演化的、場(chǎng)景無(wú)關(guān)的符號(hào)序列，其由被跟蹤用戶相對(duì)于被跟蹤用戶處的參考幀的運(yùn)動(dòng)來(lái)定義。預(yù)定的動(dòng)作符號(hào)可以是用戶輸入手勢(shì)。例如，可以確定深度圖，并且然后使用機(jī)器學(xué)習(xí)推斷用戶的變化的身體位置。這可以例如在大約每秒30幀的速率下完成。用戶關(guān)節(jié)的位置被產(chǎn)生為輸出，并且手勢(shì)可以被定義為包括用戶關(guān)節(jié)的位置的符號(hào)。

因此，用戶可以能夠通過(guò)在空間中繪制字符和/或通過(guò)說(shuō)話和/或通過(guò)使用經(jīng)由呈現(xiàn)引擎160提供的用戶接口，在場(chǎng)景140內(nèi)組成消息。來(lái)自場(chǎng)景140的所記錄的傳感器數(shù)據(jù)112被處理以便產(chǎn)生消息170。

在某些實(shí)例但不一定所有實(shí)例中，消息170可以是文本消息。

返回到監(jiān)視狀態(tài)

再次參考圖5a，從消息傳送狀態(tài)222轉(zhuǎn)變212回到監(jiān)視狀態(tài)210可以以多種方式發(fā)生。在某些實(shí)例中，它可以在用戶已控制新呈現(xiàn)狀態(tài)232的產(chǎn)生以及用于轉(zhuǎn)變213為該新?tīng)顟B(tài)232的呈現(xiàn)事件之后自動(dòng)發(fā)生，或者可以響應(yīng)于諸如可聽(tīng)事件之類的用戶動(dòng)作而發(fā)生。在其它實(shí)例中，它可以在用戶已另外對(duì)與呈現(xiàn)狀態(tài)232關(guān)聯(lián)的呈現(xiàn)動(dòng)作(消息170和/或物理位置180)進(jìn)行編程之后自動(dòng)發(fā)生。

呈現(xiàn)狀態(tài)

參考圖5b，如前所述，在監(jiān)視狀態(tài)210下，傳感器110提供傳感器數(shù)據(jù)112，并且處理子模塊124自動(dòng)處理傳感器數(shù)據(jù)112(視頻和/或音頻和/或深度數(shù)據(jù))以便產(chǎn)生具有潛在意義的場(chǎng)景數(shù)據(jù)。識(shí)別子模塊126自動(dòng)處理場(chǎng)景數(shù)據(jù)，以便在場(chǎng)景數(shù)據(jù)內(nèi)標(biāo)識(shí)實(shí)際有意義的事件。如果有意義的事件例如是“呈現(xiàn)”事件，則狀態(tài)機(jī)200轉(zhuǎn)變213為呈現(xiàn)狀態(tài)232，并且控制子模塊128執(zhí)行與該呈現(xiàn)狀態(tài)232關(guān)聯(lián)的呈現(xiàn)動(dòng)作。

系統(tǒng)100將消息170與一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則和場(chǎng)景140中的物理位置180相關(guān)聯(lián)。系統(tǒng)100自動(dòng)處理來(lái)自場(chǎng)景的所記錄的傳感器數(shù)據(jù)112，以便自動(dòng)識(shí)別一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則的滿足；以及響應(yīng)于識(shí)別一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則的滿足，進(jìn)入呈現(xiàn)狀態(tài)232。呈現(xiàn)狀態(tài)232使能將消息170自動(dòng)呈現(xiàn)到場(chǎng)景140中的物理位置180處。

一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則可以包括至少一個(gè)人特定的呈現(xiàn)準(zhǔn)則。處理來(lái)自場(chǎng)景140的所記錄的傳感器數(shù)據(jù)112以便自動(dòng)識(shí)別一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則的滿足然后包括處理來(lái)自場(chǎng)景140的所記錄的傳感器數(shù)據(jù)112，以便自動(dòng)識(shí)別場(chǎng)景140中的特定人。

可以已在消息傳送狀態(tài)222下預(yù)先確定所述一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則，如前所述。

可以已在消息傳送狀態(tài)222下預(yù)先確定物理位置180，如前所述。

可以已在消息傳送狀態(tài)222下預(yù)先確定消息170，如前所述。

可以臨時(shí)進(jìn)入呈現(xiàn)狀態(tài)232，以使得在有限持續(xù)時(shí)間內(nèi)臨時(shí)在場(chǎng)景140中呈現(xiàn)消息170。

如前所述，在場(chǎng)景140內(nèi)的物理位置180處呈現(xiàn)消息170可以包括從物理位置180處的顯示器顯示消息170和/或?qū)⑾⑼队暗轿锢砦恢?80處的表面上。

在呈現(xiàn)狀態(tài)232下，通過(guò)在場(chǎng)景140內(nèi)執(zhí)行其它動(dòng)作，用戶可以能夠?qū)σ韵乱徽呋蚨嗾哌M(jìn)行重新編程：一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則；物理位置180；以及消息組成。

在呈現(xiàn)狀態(tài)232下，通過(guò)在場(chǎng)景140內(nèi)執(zhí)行其它動(dòng)作，用戶可以能夠?qū)顟B(tài)機(jī)200進(jìn)行重新編程。

例如，用戶可以確認(rèn)消息170已被讀取，這可以具有防止將來(lái)向該用戶或任何用戶呈現(xiàn)該消息170的結(jié)果。用戶可以確認(rèn)消息170已被讀取(對(duì)于她自己)，這可以具有防止將來(lái)向她呈現(xiàn)該消息170的結(jié)果。用戶可以確認(rèn)消息170已被讀取(對(duì)于所有人)，這可以具有防止將來(lái)向任何其他人呈現(xiàn)該消息170的結(jié)果。

例如，用戶可以拒絕消息170。這可以具有防止將來(lái)向該用戶呈現(xiàn)該消息170的結(jié)果。它可以導(dǎo)致對(duì)一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則和/或物理位置和/或消息組成的改變。這可以例如導(dǎo)致隨后在相同/不同的物理位置180處向不同的用戶呈現(xiàn)相同/不同的消息170。

例如，用戶可以將消息170委托給特定的人。用戶可以標(biāo)識(shí)該特定的人，或者系統(tǒng)100可以自動(dòng)標(biāo)識(shí)該特定的人。這可以具有防止將來(lái)向用戶呈現(xiàn)該消息170的結(jié)果。它可以導(dǎo)致對(duì)一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則和/或物理位置和/或消息組成的改變。這可以例如導(dǎo)致隨后在相同/不同的物理位置180處向該特定的人呈現(xiàn)相同/不同的消息170。

在呈現(xiàn)狀態(tài)232下，當(dāng)用戶在場(chǎng)景140內(nèi)執(zhí)行其它動(dòng)作并且對(duì)以下一者或多者進(jìn)行重新編程時(shí)：一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則；物理位置180；以及消息組成，這些動(dòng)作可以是專用重新編程動(dòng)作，它們可以用于所有情況以便對(duì)以下一者或多者進(jìn)行重新編程：一個(gè)或多個(gè)呈現(xiàn)準(zhǔn)則；物理位置180；以及消息組成。即，針對(duì)所有呈現(xiàn)狀態(tài)使用相同的重新編程動(dòng)作。例如，可以具有用于確認(rèn)被呈現(xiàn)消息170的常用手勢(shì)、用于拒絕被呈現(xiàn)消息170的不同常用手勢(shì)以及用于委托被呈現(xiàn)消息170的不同常用手勢(shì)。

備選地，在其它實(shí)例中，這些其它動(dòng)作可以是僅針對(duì)該特定呈現(xiàn)狀態(tài)232定義的重新編程動(dòng)作。例如，被呈現(xiàn)消息170可以請(qǐng)求用戶執(zhí)行特定行為。如果該行為的執(zhí)行被識(shí)別，則它可以自動(dòng)用作用戶確認(rèn)。如上所述，這可以具有防止將來(lái)向該用戶或任何用戶呈現(xiàn)該消息170的結(jié)果。

實(shí)例

為了更好地理解本發(fā)明，下面提供可如何在家庭、辦公室、工廠或公共環(huán)境中使用本發(fā)明的一些實(shí)例。但是，本發(fā)明并不限于這些實(shí)例。

在一個(gè)實(shí)例中，監(jiān)控?cái)z像機(jī)114被安裝在公寓內(nèi)。監(jiān)控?cái)z像機(jī)114被連接到計(jì)算機(jī)系統(tǒng)，計(jì)算機(jī)系統(tǒng)針對(duì)視頻數(shù)據(jù)以及可選深度數(shù)據(jù)和可選音頻數(shù)據(jù)運(yùn)行分析算法。該分析包括使用以下各項(xiàng)的人識(shí)別：應(yīng)用于視頻數(shù)據(jù)的面部識(shí)別、以及可選地應(yīng)用于音頻數(shù)據(jù)的說(shuō)話者識(shí)別方法。

所述系統(tǒng)還監(jiān)視人活動(dòng)。典型的被識(shí)別活動(dòng)可以包括步行、站立、澆花、倒垃圾、洗盤子、洗衣服、清潔窗戶、清潔地板、將紙張裝入打印機(jī)等。被識(shí)別活動(dòng)可以取決于系統(tǒng)100被部署到的環(huán)境，例如是工廠車間還是某人家中。

系統(tǒng)100還監(jiān)視人手勢(shì)。典型的手勢(shì)包括將手放在墻壁上、與墻壁顯示器交互，例如按下投影按鈕圖標(biāo)或書(shū)寫(xiě)字符。

用戶(丈夫)走近花盆并且被視頻監(jiān)控系統(tǒng)100識(shí)別。用戶通過(guò)將手放在墻壁上并且保持幾秒鐘做出手勢(shì)。這被視頻監(jiān)控系統(tǒng)100識(shí)別，并且系統(tǒng)提示用戶他是否希望向其妻子留下消息170。

在一個(gè)實(shí)施例中，使用一個(gè)或多個(gè)投影儀160完成消息170的呈現(xiàn)，這些投影儀能夠?qū)⑿畔⑼队暗綁Ρ诨虻匕迳?。在某些其它?shí)施例中，可能在計(jì)算機(jī)顯示器或電視顯示器等上顯示消息。

系統(tǒng)100自動(dòng)建議向妻子留下消息170，因?yàn)橄到y(tǒng)已基于活動(dòng)監(jiān)視數(shù)據(jù)，觀察到他的妻子已在花盆的位置附近交互多次、澆花。

在這種情況下，用戶(丈夫)決定向其妻子留下消息170，請(qǐng)求她澆花。

用戶通過(guò)使用手勢(shì)(通過(guò)手勢(shì)識(shí)別方法識(shí)別)在墻壁上產(chǎn)生字符，或者通過(guò)向系統(tǒng)100提供可以使用語(yǔ)音識(shí)別技術(shù)識(shí)別的語(yǔ)音提示，留下消息170。消息170被投影到墻壁上。

在某些實(shí)施例中，系統(tǒng)100可以基于消息內(nèi)容和/或留下消息170的物理位置180，自動(dòng)建議消息170的接收者。如果消息170被留在花盆附近，則系統(tǒng)100可以確定最常與花交互的用戶。系統(tǒng)100可以顯示投影在墻壁上的建議的接收者，并且用戶可以通過(guò)應(yīng)用于接收者姓名之上的滑動(dòng)手勢(shì)，在接收者之間進(jìn)行選擇或改變。

可選地，系統(tǒng)100使用文本內(nèi)容分析來(lái)分析消息內(nèi)容。具體地說(shuō)，系統(tǒng)100可以分析消息中的文本內(nèi)容，以便判定是否存在消息中提到的動(dòng)作。在這種情況下，存在被包括在消息中的動(dòng)作“澆花”。

用戶(丈夫)離開(kāi)并且消息170消失。系統(tǒng)100識(shí)別用戶離開(kāi)并且使消息170消失，或者在用戶停止與消息170交互達(dá)預(yù)定時(shí)間之后自動(dòng)消失。

當(dāng)妻子到達(dá)公寓并且走到花盆附近時(shí)，使用人識(shí)別方法來(lái)識(shí)別妻子，并且使用活動(dòng)識(shí)別來(lái)識(shí)別妻子在花盆附近。

在系統(tǒng)100識(shí)別人之后，它可以檢查是否具有該人的消息170。

可選地，系統(tǒng)100可以檢查是否具有與用戶的特定位置關(guān)聯(lián)的消息170。

如果具有要提供的消息170，則系統(tǒng)100使用投影儀160在信息涉及的物品附近的墻壁或天花板上顯示消息。

在呈現(xiàn)消息170之后，系統(tǒng)100繼續(xù)監(jiān)視用戶活動(dòng)。具體地說(shuō)，系統(tǒng)100繼續(xù)監(jiān)視剛剛接收消息170的用戶的活動(dòng)。在一個(gè)實(shí)施例中，消息的接收者可以通過(guò)提供手勢(shì)確認(rèn)消息，例如使用手在消息170上或消息170附近繪制勾號(hào)。在這種情況下，消息消失并且將不會(huì)再顯示，它已被確認(rèn)為已完成。用戶還可能使用手勢(shì)拒絕消息170，例如通過(guò)使用手勢(shì)在消息170之上繪制叉號(hào)。在這種情況下，消息170可以再次顯示給另一個(gè)用戶或者在不同的時(shí)間顯示給同一用戶，直到某人將其標(biāo)記為已確認(rèn)。如果用戶認(rèn)為消息170涉及另一個(gè)用戶，則他可以進(jìn)一步委托消息170。例如，用戶可以做出手勢(shì)，如同抓住消息170，然后稍微側(cè)向拉動(dòng)。因此，系統(tǒng)100可以提供委托給另一個(gè)用戶的選項(xiàng)，并且顯示可能的其它接收者的列表。其它接收者可以被確定為頻繁地執(zhí)行消息170中涉及的活動(dòng)和/或與消息170中涉及的物體交互的其他人。

在另一個(gè)實(shí)施例中，系統(tǒng)100針對(duì)傳感器數(shù)據(jù)112執(zhí)行活動(dòng)識(shí)別，并且確定妻子已執(zhí)行消息170中涉及的動(dòng)作。系統(tǒng)100先前使用文本內(nèi)容分析來(lái)確定消息170涉及澆花。在這種情況下，系統(tǒng)100分析用戶活動(dòng)以便判定她是否繼續(xù)執(zhí)行消息170涉及的活動(dòng)。當(dāng)妻子現(xiàn)在澆花時(shí)，系統(tǒng)100檢測(cè)到這一點(diǎn)并且使消息170消失。

在某些實(shí)施例中，系統(tǒng)100可以自動(dòng)建議留下消息170。具體地說(shuō)，如果用戶在預(yù)定時(shí)間內(nèi)持續(xù)觀看物品(衛(wèi)生紙架、花盆)，則系統(tǒng)100自動(dòng)建議/詢問(wèn)是否留下考慮該物品的消息170。使用監(jiān)控系統(tǒng)100中的活動(dòng)識(shí)別來(lái)檢測(cè)觀看物品。

在某些實(shí)施例中，系統(tǒng)100可以基于不同人與這種情況(何人最近已澆花)的過(guò)去交互，建議消息的接收者。

可以在現(xiàn)場(chǎng)或遠(yuǎn)程地使用系統(tǒng)100。

在某些實(shí)施例中，系統(tǒng)100用于檢測(cè)異常情況，然后向用戶突出顯示這些情況。突出顯示可以意味著在異常情況涉及的物體附近投影消息170。例如，如果花朵下垂，則可能使用監(jiān)控系統(tǒng)100的投影儀160突出顯示花盆。如果用戶經(jīng)由用戶接口遠(yuǎn)程地訪問(wèn)系統(tǒng)100，則可能突出顯示用戶接口上的與花盆匹配的部分。

系統(tǒng)100可以自動(dòng)選擇消息170的合適位置(在需要執(zhí)行的動(dòng)作的附近)。系統(tǒng)100分析消息170的文本內(nèi)容，并且確定消息170涉及的物體或活動(dòng)?；谠摯_定，它決定消息170的合適物理位置180，例如在物體的位置附近或者通常執(zhí)行活動(dòng)的位置。

每個(gè)消息170可以具有一定的使用期限，在該使用期限之后它不再被呈現(xiàn)。使用期限可以在系統(tǒng)偏好中定義，或者用戶可以自己進(jìn)行設(shè)置。備選地，系統(tǒng)100可以自動(dòng)確定消息不再相關(guān)。例如，如果具有關(guān)于購(gòu)買更多食物的消息170，并且然后某人自帶雜貨并將其放在冰箱上，則消息170可以被自動(dòng)刪除。

還可以隨定時(shí)信息一起留下消息170。在澆花實(shí)例中，丈夫可能要去旅行，并且希望在旅行期間(從現(xiàn)在起的一周)澆花一次。定時(shí)信息可以作為文本被輸入消息“請(qǐng)澆花。(下星期三)”中。這將導(dǎo)致僅在消息170中指示的時(shí)間期間顯示消息。參考上面的實(shí)例消息“請(qǐng)澆花。(下星期三)”，僅在指定的日期(下星期三)向妻子顯示該消息。

系統(tǒng)100可以用于向家庭的其他成員留下臨時(shí)消息170，例如“澆花”、“衛(wèi)生紙已用完”，或者在辦公室、工廠、商店或其它工作場(chǎng)所針對(duì)其它工作人員留下臨時(shí)消息170，例如“在打印機(jī)中插入更多紙”、“咖啡已喝完”、“這臺(tái)機(jī)器需要潤(rùn)滑”、“此組件缺貨”。

在上述實(shí)例中，應(yīng)該認(rèn)識(shí)到，在消息傳送狀態(tài)220下發(fā)生的視頻捕獲可以涉及與在監(jiān)視狀態(tài)210下發(fā)生的視頻監(jiān)視相同的場(chǎng)景140。實(shí)際上，在消息傳送狀態(tài)220下發(fā)生的視頻捕獲可以使用與在監(jiān)視狀態(tài)210下發(fā)生的視頻監(jiān)視相同的攝像機(jī)。

在本文中使用的術(shù)語(yǔ)“包括”具有包含意義而非排他意義。即，對(duì)包括y的x的任何引用指示x可以包括僅一個(gè)y或者可以包括多于一個(gè)y。如果旨在使用具有排他意義的“包括”，則將通過(guò)引用“包括僅一個(gè)”或者通過(guò)使用“由…組成”在上下文中解釋清楚。

在該簡(jiǎn)要描述中，已參考各種實(shí)例。相對(duì)于實(shí)例對(duì)特征或功能的描述指示這些特征或功能存在于該實(shí)例中。本文中術(shù)語(yǔ)“實(shí)例”或“例如”或“可能”的使用(無(wú)論是否明確說(shuō)明)都表示這種特征或功能至少存在于所述實(shí)例(無(wú)論是否作為實(shí)例描述)中，并且它們可以但不一定存在于部分或全部其它實(shí)例中。因此，“實(shí)例”、“例如”或“可能”指一類實(shí)例中的特定示例。示例的屬性可以是僅該示例的屬性或者該類的屬性或者該類的子類(其包括該類中的某些但并非所有示例)的屬性。因此隱含地公開(kāi)了參考一個(gè)實(shí)例而不參考另一個(gè)實(shí)例描述的特征可以(如果可能)用于該另一個(gè)實(shí)例中，但不一定必須用于該另一個(gè)實(shí)例中。

盡管已參考各種實(shí)例在前面各段中描述了本發(fā)明的實(shí)施例，但應(yīng)該認(rèn)識(shí)到，可以對(duì)給出的實(shí)例進(jìn)行修改而不偏離如要求保護(hù)的本發(fā)明的范圍。

在前面說(shuō)明中描述的特征可以用于顯式描述的組合之外的組合。

盡管已參考某些特征描述了功能，但可以由其它特征(無(wú)論是否描述)執(zhí)行這些功能。

盡管已參考某些實(shí)施例描述了特征，但這些特征還可以存在于其它實(shí)施例(無(wú)論是否描述)中。

當(dāng)在上述說(shuō)明書(shū)中致力于關(guān)注被認(rèn)為具有特定重要性的本發(fā)明的那些特征時(shí)，應(yīng)該理解，本申請(qǐng)要求對(duì)任何可專利的特征或在上文中引用和/或在附圖中示出的特征(無(wú)論是否已特別強(qiáng)調(diào))的組合的保護(hù)。