專利名稱：用于提供媒體數(shù)據(jù)和元數(shù)據(jù)組合的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種提供媒體數(shù)據(jù)和元數(shù)據(jù)組合的方法、一種用于提供媒體數(shù)據(jù)和元數(shù)據(jù)組合的系統(tǒng)。本發(fā)明還涉及包括壓縮視頻和元數(shù)據(jù)組合的信號(hào)，其中壓縮視頻是可通過(guò)對(duì)來(lái)自圖像序列的圖像的圖像數(shù)據(jù)應(yīng)用至少一個(gè)視頻壓縮技術(shù)獲取的。本發(fā)明還涉及一種處理此信號(hào)的方法、用于處理此信號(hào)的系統(tǒng)和計(jì)算機(jī)程序。
背景技術(shù)：
US 2009/0192961 Al描述了一種用于基于用戶興趣適配媒體流的比特率的系統(tǒng)。 收集的生物信息數(shù)據(jù)可以用來(lái)確定用戶的情感興趣并且可選地調(diào)節(jié)媒體的比特率和/或?qū)?dǎo)航選項(xiàng)呈現(xiàn)給存儲(chǔ)的媒體的一個(gè)或多個(gè)選擇的部分。生物信息數(shù)據(jù)可以包括心率、呼吸率、皮膚電反應(yīng)、瞳孔擴(kuò)張、血壓、體溫等?？梢詮膫鞲衅魇占镄畔?，該傳感器可以包括皮膚電傳感器、麥克風(fēng)、溫度計(jì)、加速計(jì)等。在實(shí)施例中，用戶興趣的變化可以觸發(fā)可變比特率編碼器基于配置選項(xiàng)來(lái)調(diào)節(jié)所捕獲的音頻/視頻的比特率處理。例如，數(shù)碼攝影機(jī)可以在圖片捕獲期間獲取生物信息數(shù)據(jù)。當(dāng)用戶興趣被檢測(cè)為高時(shí)，圖像分辨率和百萬(wàn)像素計(jì)數(shù)會(huì)增加，將該圖片存儲(chǔ)為高保真度圖像。收集的生物信息數(shù)據(jù)可以作為元數(shù)據(jù)存儲(chǔ)在圖像中以用在重放和導(dǎo)航。已知系統(tǒng)的問(wèn)題在于其限于在捕獲時(shí)可以獲取的生物信息數(shù)據(jù)。僅獲取了特征化附連到傳感器的人的生物信息數(shù)據(jù)。每個(gè)另外的人都需要所描述類型的附加生物信息傳感器，并且每個(gè)人必須合作。

發(fā)明內(nèi)容
期望的是提供一種上面所提及類型的方法、系統(tǒng)、信號(hào)和計(jì)算機(jī)程序，其允許利用特征化在視頻中表示的主題中的過(guò)程的元數(shù)據(jù)來(lái)高效提供視頻數(shù)據(jù)。為此，根據(jù)第一方面，提供了一種提供視頻數(shù)據(jù)和元數(shù)據(jù)組合的方法，包括 -獲取由視頻攝影機(jī)捕獲的圖像序列；
-從圖像序列中提取至少一個(gè)信號(hào)，
其中每個(gè)提取的信號(hào)特征化光強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化； -對(duì)來(lái)自該序列的圖像的圖像數(shù)據(jù)應(yīng)用至少一個(gè)視頻壓縮技術(shù)以獲取壓縮的視頻數(shù)
據(jù)；
其中所述至少一個(gè)信號(hào)從在將所述至少一個(gè)壓縮技術(shù)應(yīng)用到來(lái)自那些圖像的圖像數(shù)據(jù)之前的狀態(tài)的圖像中提?。灰约?br> -提供具有用于特征化在所述圖像的至少部分中表示的主體(subject)中的至少一個(gè)過(guò)程的元數(shù)據(jù)的壓縮的視頻數(shù)據(jù)，
這個(gè)過(guò)程引起從該主體捕獲的光的強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化， 其中所述元數(shù)據(jù)至少基于所提取的信號(hào)的至少一個(gè)。圖像序列中表示的主體通常將是有生命的主體，但是可以是無(wú)生命的物體。引起光的強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化的過(guò)程一般將是獨(dú)立于主體的任何外部可見(jiàn)部分的任何移動(dòng)的內(nèi)部過(guò)程。然而，在一些應(yīng)用中它可以是主體的可見(jiàn)部分的內(nèi)部移動(dòng)(例如，主體的部分相對(duì)于針對(duì)該主體固定的參考幀的旋轉(zhuǎn)或相互移動(dòng))的過(guò)程。在有生命的主體和內(nèi)部過(guò)程的情況下，提取的信號(hào)攜帶與至少一個(gè)生物信息信號(hào)相對(duì)應(yīng)的信息。通過(guò)提供壓縮的視頻數(shù)據(jù)，該方法是相對(duì)高效的。因?yàn)閴嚎s的視頻數(shù)據(jù)，尤其是使用預(yù)測(cè)編碼獲取的壓縮視頻數(shù)據(jù)，通常不再適合于提取表示光強(qiáng)度和顏色的至少一個(gè)中的局部時(shí)間變化的信號(hào)，該信號(hào)可以用來(lái)獲取特征化在圖像中表示的主體中的至少一個(gè)生物現(xiàn)象的數(shù)據(jù)，所以本方法提供了這樣的元數(shù)據(jù)，其對(duì)應(yīng)于特征化生物現(xiàn)象的這些數(shù)據(jù)，或者適合用于獲取這些數(shù)據(jù)。該方法基于從壓縮前的圖像序列中提取至少一個(gè)信號(hào)，以使得由圖像的至少部分中表示的主體中的過(guò)程引起的強(qiáng)度和/或顏色的小規(guī)模變化仍舊表示在所提取的信號(hào)中。通過(guò)基于這樣提取的信號(hào)，也即通過(guò)提取多個(gè)信號(hào)，該方法能夠用來(lái)獲取特征化圖像序列中表示的多個(gè)人的數(shù)據(jù)而無(wú)需提供附加的傳感器。該方法主要還獨(dú)立于有生命的主體的合作意愿，因?yàn)椴恍枰谏眢w上放置傳感器。該方法例如在監(jiān)督應(yīng)用中適合于結(jié)合壓縮的視頻來(lái)提供生物信息數(shù)據(jù)。該生物信息數(shù)據(jù)可以用來(lái)標(biāo)識(shí)需要更嚴(yán)密監(jiān)視的壓縮視頻部分。因?yàn)橐曨l被壓縮，具有相對(duì)低容量的數(shù)據(jù)傳輸網(wǎng)絡(luò)可以用于從攝影機(jī)系統(tǒng)收集視頻和元數(shù)據(jù)。該系統(tǒng)可以容易地被布置為使得通過(guò)能夠獲得壓縮的視頻的人確定事件的性質(zhì)來(lái)實(shí)現(xiàn)對(duì)由元數(shù)據(jù)信號(hào)傳遞的事件的短期響應(yīng)。該方法的實(shí)施例包括取決于至少基于提取的信號(hào)的至少一個(gè)的獲取部分的數(shù)據(jù)的分析結(jié)果來(lái)適配至少一個(gè)壓縮技術(shù)的應(yīng)用。這個(gè)實(shí)施例可以用來(lái)提供對(duì)于以下問(wèn)題的解決方案，S卩如果存在在圖像序列中表示的更多的人并且與他們的每一個(gè)單獨(dú)相關(guān)的生物信息數(shù)據(jù)將可從元數(shù)據(jù)恢復(fù)，則可能需要更多的元數(shù)據(jù)。包括的元數(shù)據(jù)的數(shù)量可以根據(jù)需要(信息的數(shù)量)而變化，同時(shí)保持?jǐn)?shù)據(jù) (壓縮的視頻和元數(shù)據(jù))的總量在界限內(nèi)。可替換地或另外，該實(shí)施例可以用來(lái)，根據(jù)圖像序列的特定空間部分是否表示感興趣的主體，將或多或少的壓縮應(yīng)用在那些特定空間部分上。例如，提取的信號(hào)可以用來(lái)確定在圖像中表示的有生命的人的面部位于何處?？梢詫?duì)圖像的這些空間部分進(jìn)行編碼以便保留更多的細(xì)節(jié)。在預(yù)測(cè)編碼用作壓縮技術(shù)的一部分的情況下同樣如此。如果確定特征化該過(guò)程的參數(shù)在對(duì)應(yīng)于圖像序列的特定段的間隔期間的時(shí)間上快速地變化，則可以應(yīng)用更少的插值來(lái)對(duì)作為壓縮的部分的這些段進(jìn)行編碼。方法的實(shí)施例包括，在獲取圖像序列時(shí)，引起取決于至少基于所提取的信號(hào)的至少一個(gè)的獲取部分的數(shù)據(jù)的分析結(jié)果來(lái)調(diào)節(jié)使用至少一個(gè)攝影機(jī)捕獲圖像的過(guò)程的參數(shù)。該實(shí)施例使得可以使用相對(duì)廉價(jià)的攝影機(jī)而不會(huì)生成不可靠的特征化圖像序列中表示的主體中的過(guò)程的數(shù)據(jù)。代替必須使用高清攝影機(jī)，可以調(diào)節(jié)參數(shù)以使得攜帶與主體中的過(guò)程有關(guān)的信息的一個(gè)或多個(gè)提取信號(hào)的分量更清晰地存在于提取的信號(hào)中。在該實(shí)施例的一個(gè)變形中，影響用來(lái)將光聚焦到傳感器陣列上的光學(xué)系統(tǒng)設(shè)置的參數(shù)被適配。 因此，可以放大以捕獲與圖像序列中表示的情景中的特定部分有關(guān)的更多信息。因此可以增加用來(lái)創(chuàng)建一個(gè)或多個(gè)提取信號(hào)的像素?cái)?shù)目?？商鎿Q地，可以生成攜帶與同一過(guò)程有關(guān)的信息的更多的提取信號(hào)，其將隨后導(dǎo)致更加可靠的、特征化主體中的過(guò)程的合意信號(hào) (consensus signal)或值。在另一變形中，取決于至少基于所提取的信號(hào)的至少一個(gè)的獲取部分的數(shù)據(jù)的分析結(jié)果來(lái)調(diào)節(jié)用于將光強(qiáng)度轉(zhuǎn)換成離散的像素值的系統(tǒng)的至少一個(gè)參數(shù)。這些參數(shù)的示例包括圖像傳感器陣列的增益和離散化(discretisation)閾值。在此實(shí)施例中，典型地由于內(nèi)部(尤其是生物)過(guò)程，像素值攜帶更加可靠的表示顏色或強(qiáng)度中小規(guī)模變化的信息?？梢哉{(diào)節(jié)的其他參數(shù)包括曝光時(shí)間和幀速率(典型地用于將光強(qiáng)度轉(zhuǎn)換成離散像素值的系統(tǒng)的參數(shù)，因?yàn)閿?shù)碼攝影機(jī)將通常不具有機(jī)械快門(mén))。在實(shí)施例中，該方法通過(guò)包括在攝影機(jī)中的處理系統(tǒng)來(lái)執(zhí)行。這意味著處理系統(tǒng)被包括在與圖像傳感器陣列相同的外殼內(nèi)。該實(shí)施例極大地避免了未壓縮視頻數(shù)據(jù)的傳送，并且因而相對(duì)廉價(jià)地來(lái)實(shí)施。在特定變形中，攝影機(jī)提供有至少一個(gè)網(wǎng)絡(luò)接口，以使得由攝影機(jī)自身通過(guò)網(wǎng)絡(luò)可發(fā)送視頻數(shù)據(jù)和元數(shù)據(jù)的組合。在一個(gè)實(shí)施例中，該組合是壓縮的視頻和與壓縮的視頻流同步的元數(shù)據(jù)流的多路復(fù)用。合適的攝影機(jī)(所謂的IP攝影機(jī))已經(jīng)存在。該方法的這個(gè)變形僅要求它們被合適地配置來(lái)執(zhí)行該方法。在實(shí)施例中，元數(shù)據(jù)包括特征化圖像序列中的光強(qiáng)度和顏色的至少一個(gè)中的局部時(shí)間變化的至少一個(gè)信號(hào)。因此，元數(shù)據(jù)包括基本上與提取的信號(hào)類似的信號(hào)。然而，它們可以是組合所提取的信號(hào)的兩個(gè)或更多個(gè)的操作的結(jié)果，例如取平均或聚類操作。在此實(shí)施例中，提供元數(shù)據(jù)和壓縮視頻的組合的系統(tǒng)無(wú)需以簡(jiǎn)潔方式執(zhí)行得出特征化主體中的過(guò)程的可獲得的信息所必需的處理。該類型的處理由被布置為處理壓縮的視頻數(shù)據(jù)和元數(shù)據(jù)的組合的外部系統(tǒng)來(lái)執(zhí)行。相應(yīng)地，可以變化處理類型。此外，提供元數(shù)據(jù)和壓縮視頻的組合的系統(tǒng)可以更簡(jiǎn)單。例如，一個(gè)昂貴的系統(tǒng)可以處理由若干攝影機(jī)提供的壓縮視頻數(shù)據(jù)和元數(shù)據(jù)。根據(jù)本發(fā)明的另一方面，提供了一種用于提供視頻數(shù)據(jù)和元數(shù)據(jù)組合的系統(tǒng)，包括
-用于捕獲圖像序列的攝影機(jī)的至少一個(gè)接口； -視頻數(shù)據(jù)處理系統(tǒng)，被配置為
-對(duì)來(lái)自該序列的圖像的圖像數(shù)據(jù)應(yīng)用至少一個(gè)視頻壓縮技術(shù)以獲取壓縮的視頻數(shù)
據(jù)，
-從圖像序列中提取至少一個(gè)信號(hào)，每個(gè)提取的信號(hào)特征化光強(qiáng)度和顏色的至少一個(gè)中的局部時(shí)間變化以及
-生成用于特征化在圖像的至少部分中表示的至少一個(gè)主體中的至少一個(gè)過(guò)程的元數(shù)據(jù)，
其中提取的信號(hào)從在將所述至少一個(gè)壓縮技術(shù)應(yīng)用到來(lái)自那些圖像的圖像數(shù)據(jù)之前的狀態(tài)的圖像中提取，并且其中元數(shù)據(jù)特征化引起從主體捕獲的光的強(qiáng)度和顏色的至少一個(gè)中的局部時(shí)間變化的過(guò)程并且元數(shù)據(jù)至少基于所提取的信號(hào)中的至少一個(gè)；以及輸出接口，用于提供具有元數(shù)據(jù)的壓縮視頻數(shù)據(jù)在實(shí)施例中，系統(tǒng)被配置為執(zhí)行根據(jù)本發(fā)明的方法。根據(jù)本發(fā)明的另一方面，提供了一種包括壓縮的視頻和元數(shù)據(jù)組合的信號(hào)，其中可通過(guò)對(duì)來(lái)自圖像序列的圖像的圖像數(shù)據(jù)應(yīng)用至少一個(gè)視頻壓縮技術(shù)獲取壓縮視頻，并且元數(shù)據(jù)包括特征化圖像序列中的光強(qiáng)度和顏色的至少一個(gè)中的局部時(shí)間變化的至少一個(gè)信號(hào)。一種被布置為接收和處理信號(hào)的系統(tǒng)可以獲取特征化圖像中表示的主體中的過(guò)程的信息。因?yàn)樵獢?shù)據(jù)包括至少一個(gè)特征化圖像序列中光強(qiáng)度和顏色的至少一個(gè)中的局部時(shí)間變化的信號(hào)，所以可以獲取各種類型這樣的信息。例如，提取的信號(hào)可以用來(lái)確定在圖像中表示的有生命的主體的心率或呼吸率。為此僅需要一種類型的元數(shù)據(jù)，也即提取的信號(hào)。一個(gè)效果是信號(hào)可以由相對(duì)不復(fù)雜的攝影機(jī)系統(tǒng)來(lái)生成。另一效果是不必實(shí)現(xiàn)大量不同類型的元數(shù)據(jù)的標(biāo)準(zhǔn)化(即關(guān)于指示元數(shù)據(jù)中的特定數(shù)值表示的變量的代碼的一致性)。 一種類型的元數(shù)據(jù)是足夠的。在變形中，元數(shù)據(jù)將指示表示光強(qiáng)度和顏色的至少一個(gè)中的局部變化的特定信號(hào)所屬的空間位置。在實(shí)施例中，可通過(guò)執(zhí)行根據(jù)本發(fā)明的方法獲取信號(hào)。根據(jù)本發(fā)明的另一方面，提供了一種處理根據(jù)本發(fā)明的信號(hào)的方法，其包括計(jì)算特征化圖像序列的至少部分中表示的主體中的至少一個(gè)過(guò)程的參數(shù)的至少一個(gè)值，這個(gè)過(guò)程引起從主體捕獲的光的強(qiáng)度和顏色的至少一個(gè)中的局部時(shí)間變化，將特征化圖像序列中的光強(qiáng)度和顏色的至少一個(gè)中的局部時(shí)間變化的信號(hào)的至少一個(gè)用作輸入。根據(jù)本發(fā)明的又一方面，提供了一種用于處理包括壓縮視頻和元數(shù)據(jù)的組合的信號(hào)的系統(tǒng)，包括
-接口，用于獲取根據(jù)根據(jù)本發(fā)明的信號(hào)，以及
-數(shù)據(jù)處理系統(tǒng)，用于計(jì)算特征化圖像序列的至少部分中表示的主體中的至少一個(gè)過(guò)程的參數(shù)的至少一個(gè)值，這個(gè)過(guò)程引起從主體捕獲的光的強(qiáng)度和顏色的至少一個(gè)中的局部時(shí)間變化，將特征化圖像序列中的光強(qiáng)度和顏色的至少一個(gè)中的局部時(shí)間變化的信號(hào)的至少一個(gè)用作輸入。根據(jù)本發(fā)明的再一方面，提供了一種包括指令集合的計(jì)算機(jī)程序，該指令集合當(dāng)包含在機(jī)器可讀介質(zhì)中時(shí)能夠引起具有信息處理能力的系統(tǒng)執(zhí)行根據(jù)本發(fā)明的方法。


將參考附圖進(jìn)一步詳細(xì)地描述本發(fā)明，其中
圖1是系統(tǒng)的示意框圖，該系統(tǒng)包括用于生成將壓縮視頻流與元數(shù)據(jù)組合的信號(hào)的攝影機(jī)系統(tǒng)和用于處理該組合的信號(hào)的系統(tǒng)；
圖2是示出通過(guò)用于生成信號(hào)的系統(tǒng)執(zhí)行的方法中的一些步驟的流程圖； 圖3是詳細(xì)示出作為圖2中示出的方法的實(shí)施例部分的生成表示圖像序列中強(qiáng)度和顏色的至少一個(gè)中的局部時(shí)間變化的信號(hào)的步驟的流程圖4是給出處理經(jīng)組合的信號(hào)的第一方法的概要的流程圖；和圖5是給出處理經(jīng)組合的信號(hào)的第二方法的概要的流程圖。
具體實(shí)施例包括第一和第二攝影機(jī)系統(tǒng)1、2、網(wǎng)絡(luò)3和視頻信號(hào)處理系統(tǒng)4的系統(tǒng)在此用來(lái)解釋提供和處理壓縮視頻數(shù)據(jù)和元數(shù)據(jù)組合的方法。在示出的實(shí)施例中，第一攝影機(jī)系統(tǒng) 1包括具有網(wǎng)絡(luò)接口 6的單個(gè)攝影機(jī)5。在另一實(shí)施例中，第一攝影機(jī)系統(tǒng)1包括計(jì)算設(shè)備和例如經(jīng)由直接鏈路與之連接且在該計(jì)算設(shè)備的控制下操作的攝影機(jī)的組合，該計(jì)算設(shè)備還處理原始未壓縮的視頻數(shù)據(jù)以生成壓縮視頻數(shù)據(jù)和元數(shù)據(jù)的組合。第二攝影機(jī)系統(tǒng)2可以具有與第一攝影機(jī)系統(tǒng)1相同的組成(build-up)，并且因此沒(méi)有被更詳細(xì)地示出。攝影機(jī)5包括圖像傳感器陣列7，例如已知類型的CXD或CMOS傳感器陣列。它還包括光學(xué)系統(tǒng)8以用于將來(lái)自情景的光聚焦到圖像傳感器陣列7上。該光學(xué)系統(tǒng)8將通常包括一個(gè)或多個(gè)透鏡、濾鏡、光圈等，其每一個(gè)可以在攝影機(jī)處理器9的控制下來(lái)調(diào)節(jié)。類似地，攝影機(jī)處理器9可以設(shè)置圖像傳感器陣列7的參數(shù)，包括積分時(shí)間、增益、離散化閾值等。注意的是，在在此參考圖像序列的情況下，其可以包括在不同顏色通道中的圖像序列的組合。因此，圖像可以意指兩個(gè)或更多個(gè)(例如3個(gè))圖像幀的組合，每個(gè)像素值陣列表示所捕獲的在電磁頻譜的特定范圍內(nèi)的光強(qiáng)度。還要注意的是，攝影機(jī)5可以被布置為在電磁頻譜的可見(jiàn)部分或不可見(jiàn)部分中或者在兩者中操作。因此，圖像可以由表示在頻譜的紅外部分中的捕獲強(qiáng)度的像素值陣列組成，或者包括該像素值陣列。在示出的實(shí)施例中，提供了視頻編碼器10來(lái)壓縮原始圖像數(shù)據(jù)，并且從而生成壓縮的視頻。然而，處理器9也能夠處理原始未壓縮的圖像數(shù)據(jù)，為此提供了易失性存儲(chǔ)器單元Ilo在其他實(shí)施例中，與圖1示出的相比，攝影機(jī)5的組件的功能結(jié)合到更少的分離設(shè)備中或者分布在更多的設(shè)備上。示出的攝影機(jī)5被提供有用戶控制12和顯示器13。攝影機(jī)5和第二攝影機(jī)系統(tǒng)2每個(gè)被配置為提供包括壓縮的視頻數(shù)據(jù)流和元數(shù)據(jù)數(shù)據(jù)流的數(shù)據(jù)流。壓縮的視頻數(shù)據(jù)流和元數(shù)據(jù)數(shù)據(jù)流被提供有共同的時(shí)基(time base),以使得同步元數(shù)據(jù)和壓縮的視頻。在特定的實(shí)施例中，元數(shù)據(jù)數(shù)據(jù)流和壓縮的視頻數(shù)據(jù)流被提供在多路復(fù)用中(in a multiplex)。這里以示例的方式使用特定的應(yīng)用，其中攝影機(jī)5用來(lái)結(jié)合攜帶信息的元數(shù)據(jù)數(shù)據(jù)流提供壓縮的表示一個(gè)或多個(gè)人的視頻數(shù)據(jù)流，該信息或者直接特征化所表示的人中的一個(gè)或多個(gè)生物過(guò)程或者允許視頻信號(hào)處理系統(tǒng)4來(lái)導(dǎo)出該信息。攝影機(jī)5通過(guò)首先從未經(jīng)壓縮的圖像序列中提取一個(gè)或多個(gè)第一信號(hào)來(lái)生成元數(shù)據(jù)，每一個(gè)第一信號(hào)表示光強(qiáng)度或顏色或兩者的局部時(shí)間變化。因此，在此要描述的過(guò)程適合于獲取有關(guān)生物過(guò)程的元數(shù)據(jù)，所述生物過(guò)程引起通過(guò)有生命的人反射或傳遞的光的顏色或強(qiáng)度的變化。該過(guò)程尤其用來(lái)獲取有關(guān)(準(zhǔn))周期生物過(guò)程的元數(shù)據(jù)，諸如心跳和呼吸。然而，也可以尤其通過(guò)專注于電磁頻譜內(nèi)的適當(dāng)范圍來(lái)特征化其他現(xiàn)象，諸如排汗。在一個(gè)在此將被更完全地描述的實(shí)施例中，攝影機(jī)5和第二攝影機(jī)系統(tǒng)2僅提供直接表示代表光和顏色的至少一個(gè)中的局部變化的信號(hào)的元數(shù)據(jù)，意指這些信號(hào)可以根據(jù)元數(shù)據(jù)被完全地重構(gòu)，或者至少只是針對(duì)相位差來(lái)被重構(gòu)。在另一實(shí)施例中，元數(shù)據(jù)表示直接特征化生物現(xiàn)象的參數(shù)值。在此實(shí)施例中，元數(shù)據(jù)所基于的、表示光和顏色的至少一個(gè)中的局部變化的信號(hào)不再能夠根據(jù)元數(shù)據(jù)被重構(gòu)。假設(shè)表示直接特征化生物現(xiàn)象的參數(shù)值的元數(shù)據(jù)要求攝影機(jī)5的更多智能，但是這意味著元數(shù)據(jù)的尺寸更小。在另一方面，視頻信號(hào)處理系統(tǒng)4僅獲得攝影機(jī)5被編程提供的生物信息(例如，在壓縮的視頻流中表示的人的心率值，但是沒(méi)有呼吸率值)。此外，必須存在使得視頻信號(hào)處理系統(tǒng)4能夠確定元數(shù)據(jù)中的數(shù)字值所相關(guān)的變量的性質(zhì)的協(xié)議。視頻信號(hào)處理系統(tǒng)4可以以通用計(jì)算機(jī)的形式來(lái)實(shí)現(xiàn)。因此，在圖1中，該系統(tǒng)示出為包括網(wǎng)絡(luò)接口 6、中央處理器15 (CPU)和主存儲(chǔ)器16、用戶輸入設(shè)備17、大容量存儲(chǔ)設(shè)備18和圖形單元19。該系統(tǒng)以示例的方式連接到兩個(gè)顯示設(shè)備20、21。在可替換實(shí)施例中，可以提供用于解壓縮所接收的壓縮視頻流的單獨(dú)解碼器設(shè)備，但是在示出的實(shí)施例中， 這通過(guò)CPU 15或者圖形單元19來(lái)完成。在示出的實(shí)施例中，經(jīng)解壓縮的視頻可以示出在顯示設(shè)備20、21之一上，而有關(guān)視頻中表示的有生命的主體中的生物過(guò)程的信息可以示出在另一個(gè)顯示設(shè)備上。該顯示可以是以圖形顯示的形式，包括與視頻中示出的情景相對(duì)應(yīng)的圖形表示，其中生物信息在與該生物信息與之相關(guān)的主體在視頻中表示的屏幕位置基本上相對(duì)應(yīng)的屏幕位置處示出。在可替換實(shí)施例中，生物信息疊加在視頻上。在一個(gè)實(shí)施例中，響應(yīng)于經(jīng)由用戶輸入設(shè)備17提供的輸入來(lái)疊加該生物信息。在又一實(shí)施例中，來(lái)自攝影機(jī)5的視頻和來(lái)自第二攝影機(jī)系統(tǒng)2的視頻可以例如示出在兩個(gè)顯示設(shè)備20、21的分離設(shè)備上以實(shí)現(xiàn)用于安全目的的監(jiān)督系統(tǒng)。生物信息可以用來(lái)突出(highlight)潛在有興趣的情景，例如那些表示具有升高的心率或排汗的人的情景。轉(zhuǎn)至圖2，現(xiàn)將描述可能在攝影機(jī)5中通過(guò)處理器9執(zhí)行的提供壓縮的視頻數(shù)據(jù)和元數(shù)據(jù)組合的方法示例。隨著每個(gè)獲取的下一個(gè)圖像(步驟22)，已經(jīng)獲取的圖像的子序列23被更新。在示出的實(shí)施例中，隨后使用遠(yuǎn)程光體積描記術(shù)方法獲取第一信號(hào)集合Ma-n的每一個(gè)中的下一個(gè)點(diǎn)(步驟25)。在圖3中概要地示出一種可以獲取第一信號(hào)的方式。獲取圖像序列步驟27)， 該圖像序列可以是不同顏色通道中的兩個(gè)或三個(gè)圖像序列的組合。隨后，在可選但是有用的步驟中，向圖像沈應(yīng)用校正。這可以包括從圖像中的像素值中減去整個(gè)光強(qiáng)度等級(jí)(例如通過(guò)對(duì)圖像中的所有像素，實(shí)際上是不同顏色通道中的所有相應(yīng)的圖像幀的所有像素，取平均來(lái)確定)中的變化。目的是盡可能多地去除由于背景光照或者攝影機(jī)移動(dòng)而導(dǎo)致的變化，以便隔離由于圖像中表示的主體中的過(guò)程而導(dǎo)致的圖像的空間區(qū)域中的局部變化。隨后(步驟四)，將定義多個(gè)測(cè)量地區(qū)的網(wǎng)格(每個(gè)包括多個(gè)像素點(diǎn))疊加在圖像沈上。接下來(lái)(步驟30)，建立提取信號(hào)31a-n的第一集合，提取信號(hào)31a-n的每個(gè)值基于來(lái)自測(cè)量地區(qū)之一的像素值組合。這可以例如是平均數(shù)(average)。它也可以是均值(mean value)。它還可以是利用用于來(lái)自不同顏色通道的像素值的不同權(quán)重的加權(quán)平均數(shù)。因此， 例如，綠色可以是偏重的，因?yàn)樗绕鋵?duì)皮膚組織中的氧合血紅蛋白水平的變化敏感。類似地，可以給予藍(lán)色額外的權(quán)重，因?yàn)樗鼘?duì)皮膚組織的含水量的變化和對(duì)皮膚表面的水分含量的變化敏感，并且因此表示脈動(dòng)的血漿流動(dòng)和排汗的變化等級(jí)。要注意的是，可以執(zhí)行聚類而不是執(zhí)行空間平均。也即，為測(cè)量地區(qū)中的多個(gè)像素位置的每一個(gè)生成表示強(qiáng)度變化的信號(hào)或信號(hào)段，并且這些信號(hào)或新號(hào)段隨后被聚類以針對(duì)每個(gè)測(cè)量地區(qū)生成單個(gè)提取信號(hào)31。在示出的實(shí)施例中，生成信號(hào)3 -!!的第二集合(步驟33)，每個(gè)信號(hào)32a-n表示信號(hào)31的第一集合中的相應(yīng)的一個(gè)中的變化?？梢酝ㄟ^(guò)使信號(hào)31以它們的均值(mean value)或者平均值(average value)為中心來(lái)生成信號(hào)32的第二集合。在可替換實(shí)施例中，執(zhí)行用于獲取小的信號(hào)變化的不同或者又一技術(shù)，例如高通或帶通濾波。如圖所示，第二集合的信號(hào)32a-n對(duì)應(yīng)于第一信號(hào)Ma-n。在其他實(shí)施例中，可以
9進(jìn)行選擇。例如，可以丟棄那些具有很少或者沒(méi)有信息內(nèi)容的第二集合的信號(hào)3h-n。要注意的是，其中不使用網(wǎng)格的可替換實(shí)施例(未詳細(xì)示出)是可能的。作為代替， 圖像分割用來(lái)標(biāo)識(shí)與有生命的人相對(duì)應(yīng)的那些圖像部分。隨后，在每個(gè)興趣區(qū)域內(nèi)選擇至少一個(gè)測(cè)量地區(qū)。貫通圖像序列沈跟蹤興趣區(qū)域或測(cè)量地區(qū)，并且以針對(duì)圖2的實(shí)施例解釋的方式從每個(gè)測(cè)量地區(qū)中提取信號(hào)。這個(gè)實(shí)施例稍微更加復(fù)雜，因?yàn)閿z影機(jī)5中的處理器9必須能夠執(zhí)行圖像分割，以及用于識(shí)別特定類型的興趣區(qū)域的算法(例如面部識(shí)別算法)和用于貫通圖像序列跟蹤測(cè)量地區(qū)和/或興趣區(qū)域的算法。然而，例如在第二攝影機(jī)系統(tǒng)2包括攝影機(jī)和計(jì)算設(shè)備的情況下，該實(shí)施例可以是可行的并且會(huì)具有生成更少的第一信號(hào)Ma-n的效果，這些信號(hào)而且都有可能與對(duì)引起光強(qiáng)度和/或顏色中的局部變化的現(xiàn)象進(jìn)行特征化相關(guān)。用于面部識(shí)別的算法在Violii，P.和Jones，Μ. J.于2001年7月13日在視覺(jué)統(tǒng)計(jì)和計(jì)算理論IEEE工作組學(xué)報(bào)上發(fā)表的“Robust real-time object detection” 中描述。跟蹤算法在De Haan等人于1993年10月在有關(guān)視頻技術(shù)的電路和系統(tǒng)的IEEE會(huì)報(bào)的第 3 卷，第 5 期，368-379 頁(yè)中發(fā)表的"True-motion estimation with 3-D recursive search block matching，，中描述。在獲取第一信號(hào)Ma-n的進(jìn)一步的點(diǎn)的步驟25 (圖2)之后，可以創(chuàng)建元數(shù)據(jù)的流 34中的新值(步驟35)。元數(shù)據(jù)可以是預(yù)定的格式，它可以是私有的或者標(biāo)準(zhǔn)化的。如所提及，在一個(gè)實(shí)施例中，該步驟35使得必需進(jìn)一步處理第一信號(hào)Ma-n，或者迄今獲取的其部分，以便于獲取直接對(duì)興趣現(xiàn)象進(jìn)行特征化的參數(shù)的值。例如，可以使用滑動(dòng)窗口將第一信號(hào)Ma-n變換成頻域，以便獲取在時(shí)間的連續(xù)點(diǎn)處的每個(gè)第一信號(hào)的頻譜。確定頻譜的至少有限范圍內(nèi)的優(yōu)勢(shì)頻率的值以便獲取例如表示心率或呼吸率的時(shí)變信號(hào)。這些值隨后可以被編碼成元數(shù)據(jù)。在實(shí)施例中，這些值與圖像中標(biāo)識(shí)空間區(qū)域的數(shù)據(jù)相關(guān)聯(lián)，以使得心率或呼吸率值可以與在圖像序列中表示的若干生物中的相應(yīng)生物相關(guān)聯(lián)。在本文更詳細(xì)描述的實(shí)施例中，直接表示第一信號(hào)Ma-n的數(shù)據(jù)，與標(biāo)識(shí)所關(guān)注的第一信號(hào)Ma-n從其提取的測(cè)量地區(qū)的位置的關(guān)聯(lián)數(shù)據(jù)一起，被編碼成元數(shù)據(jù)。標(biāo)識(shí)測(cè)量地區(qū)的位置的數(shù)據(jù)可以是暗含的，例如按照其中值在包括在元數(shù)據(jù)中的表中被記錄的順序。迄今獲取的子序列23中的圖像的圖像數(shù)據(jù)被壓縮(步驟36)以獲取壓縮的視頻幀 37。在示出的該方法的實(shí)施例中，至少一個(gè)幀間壓縮技術(shù)被應(yīng)用于迄今獲取的子序列23中的圖像。此外，使用至少一個(gè)有損壓縮技術(shù)。通常，這些壓縮技術(shù)將去除小規(guī)模的強(qiáng)度和顏色變化。因此，提取表示由經(jīng)壓縮的視頻幀37中所表示的主體中的內(nèi)部過(guò)程引起的強(qiáng)度和顏色中的至少一個(gè)的時(shí)間變化的信號(hào)通常將是不可能的。為此，對(duì)獲取的未壓縮圖像23并行執(zhí)行提取步驟25和壓縮步驟36，或者首先執(zhí)行提取步驟25。元數(shù)據(jù)的流34和壓縮的視頻幀37被多路復(fù)用成單個(gè)數(shù)據(jù)流(步驟38)。每個(gè)都參考共同的時(shí)基，以使得第一信號(hào)Ma-n或者特征化內(nèi)部過(guò)程的參數(shù)的時(shí)變值與壓縮的視頻流同步，該內(nèi)部過(guò)程引起由第一信號(hào)24a-n特征化的時(shí)間變化。例如，通過(guò)MPEG-4系統(tǒng)標(biāo)準(zhǔn)(IS0/IEC 14496-1)提供組合數(shù)據(jù)流的合適格式。圖2中示出并在以上描述的方法的步驟構(gòu)成了提供壓縮視頻數(shù)據(jù)和元數(shù)據(jù)的組合的方法的獨(dú)立和完整的第一實(shí)施例。圖2中還示出了提供進(jìn)一步效果的第二實(shí)施例的特定附加特征。
在該實(shí)施例中，執(zhí)行進(jìn)一步的步驟39，其涉及迄今獲取的第一信號(hào)Ma-n的部分的分析。在示出的實(shí)施例中，在壓縮(步驟36)正在進(jìn)行的同時(shí)并且也在圖像獲取(步驟22) 正在進(jìn)行的同時(shí)執(zhí)行該步驟39。這樣做是因?yàn)榉治鼋Y(jié)果用來(lái)并行引起捕獲圖像過(guò)程的至少一個(gè)參數(shù)的調(diào)節(jié)(步驟 40)以及引起被應(yīng)用的至少一個(gè)壓縮技術(shù)(步驟36)的適配(步驟41)?？梢允褂酶鞣N類型的分析和適配。在一個(gè)實(shí)施例中，分析是直接針對(duì)第一信號(hào) 24a-n的。在另一實(shí)施例中，執(zhí)行從表征引起強(qiáng)度和/或顏色的局部時(shí)間變化的內(nèi)部過(guò)程的第一信號(hào)Ma-n導(dǎo)出信息的過(guò)程的部分或全部，并且分析是針對(duì)以這種方式導(dǎo)出的信息的。例如，分析可以是針對(duì)第一信號(hào)Ma-n的光譜。在一個(gè)實(shí)施例中，第一信號(hào)2 -!!或者特征化相應(yīng)的第一信號(hào)2 -!!的值比較進(jìn)行比較。因此，可以確定第一信號(hào)Ma-n是否具有在一定精度內(nèi)的共同的優(yōu)勢(shì)頻率。在某種意義上，這確定了圖像中表示了多少不同的人。如果存在若干人，則存在較少的范圍用于減少元數(shù)據(jù)的數(shù)量，以使得視頻壓縮率將增加。這確保了跨網(wǎng)絡(luò)3發(fā)送的數(shù)據(jù)的整體數(shù)量可以處于特定的限制內(nèi)。如果優(yōu)勢(shì)頻率僅存在于與圖像的特定空間區(qū)域相關(guān)聯(lián)的第一信號(hào) Ma-n中，則那些區(qū)域中的壓縮可以比其他區(qū)域中的壓縮低。這是因?yàn)樗鼈兛赡苁侨祟愑^察者最感興趣的區(qū)域。倘若是人類主體，則這些區(qū)域很可能對(duì)應(yīng)于人的身體。如果優(yōu)勢(shì)頻率在時(shí)間上快速改變，則幀間壓縮技術(shù)可以適于使用更少的預(yù)測(cè)，因?yàn)榭赡艽嬖谟蓤D像23所表示的情景中的許多變化，例如人來(lái)來(lái)往往。就結(jié)合捕獲圖像23的過(guò)程的參數(shù)調(diào)節(jié)的分析而言，這些包括對(duì)應(yīng)于圖像傳感器陣列7和用來(lái)將光聚焦到圖像傳感器陣列7上的光學(xué)系統(tǒng)8的至少一個(gè)的設(shè)置的參數(shù)。這尤其意味著情景的特定部分可以用更高的分辨率來(lái)捕獲，即使圖像傳感器陣列7的像素計(jì)數(shù)可能非常低。相關(guān)的分析可以是例如確定第一信號(hào)Ma-n的動(dòng)態(tài)范圍和/或信噪比。如果信噪比為低，則攝影機(jī)5可以放大。如果動(dòng)態(tài)范圍為低，則可以例如使得圖像傳感器陣列7 中的模數(shù)轉(zhuǎn)換器的量化步驟更小。進(jìn)一步可能的分析包括確定與感興趣的生物現(xiàn)象(心率、 呼吸率)的頻率相對(duì)應(yīng)的第一信號(hào)Ma-n的一致的優(yōu)勢(shì)頻率，或者確定針對(duì)第一信號(hào)Ma-n 的頻域變換的頻率分布。通過(guò)以這樣的方式適配圖像捕獲過(guò)程和/或壓縮，在用來(lái)捕獲圖像的攝影機(jī)5硬件與生物信息信號(hào)的檢測(cè)器之間實(shí)現(xiàn)了閉合反饋回路。攝影機(jī)5的控制參數(shù)被連續(xù)自動(dòng)地調(diào)節(jié)以便將檢測(cè)的生物信息信號(hào)的可靠性保持在恒定高的水平。在其中第一信號(hào)Ma-n的至少一些被直接編碼為元數(shù)據(jù)的示例中，視頻信號(hào)處理系統(tǒng)4可以執(zhí)行如圖4所示的方法或者如圖5所示的方法。在圖4所示的方法中，視頻信號(hào)處理系統(tǒng)4接收多路復(fù)用(步驟42)，并且將該元數(shù)據(jù)與經(jīng)壓縮的視頻流分離(步驟43)。該經(jīng)壓縮的視頻流被解壓(步驟44)。根據(jù)元數(shù)據(jù)，視頻信號(hào)處理系統(tǒng)4和標(biāo)識(shí)該第一信號(hào)Ma-n與之關(guān)聯(lián)的圖像中的空間位置的關(guān)聯(lián)信息一起，確定第一信號(hào)Ma-n (步驟45)。應(yīng)用頻率變換以確定每個(gè)第一信號(hào)Ma-n的頻譜的至少有限范圍內(nèi)的優(yōu)勢(shì)頻率(步驟46)。這使用滑動(dòng)窗口來(lái)重復(fù)完成， 以使得可以跟蹤優(yōu)勢(shì)頻率隨時(shí)間的發(fā)展。具體地，優(yōu)勢(shì)頻率的值可以和在時(shí)間上與在并行步驟44中獲取的解壓縮視頻序列中的點(diǎn)相對(duì)應(yīng)的點(diǎn)相關(guān)聯(lián)。因此，頻率信息和經(jīng)解壓縮的視頻可以一起顯示在顯示設(shè)備20、21之一上(步驟47)。在一個(gè)實(shí)施例中，確定顯示區(qū)域內(nèi)經(jīng)解壓縮的視頻中表示的有生命的主體的位置?；趶脑獢?shù)據(jù)中提取的信息為每個(gè)這樣的人確定特征化生物現(xiàn)象的至少一個(gè)參數(shù)的值，并且利用到表示人的位置處的可見(jiàn)鏈路來(lái)疊加顯示在解壓縮的視頻上。在另一實(shí)施例中，無(wú)論何時(shí)特征化在解壓縮的視頻中表示的主體的內(nèi)部過(guò)程的參數(shù)值滿足特定標(biāo)準(zhǔn)時(shí)，都會(huì)提供警告。因此，例如，無(wú)論何時(shí)視頻示出其心率值滿足特定標(biāo)準(zhǔn)(例如，指示醫(yī)學(xué)問(wèn)題或安全風(fēng)險(xiǎn)的標(biāo)準(zhǔn))的人時(shí)，都可以提供可聽(tīng)或可見(jiàn)的警告。圖5示出了處理包括壓縮視頻數(shù)據(jù)和元數(shù)據(jù)(尤其是直接表示多個(gè)表示強(qiáng)度和顏色的至少一個(gè)的局部變化的第一信號(hào)Ma-n的元數(shù)據(jù))的組合的信號(hào)的類似方法。該元數(shù)據(jù)使得能夠針對(duì)每個(gè)第一信號(hào)Ma-n確定關(guān)聯(lián)的圖像位置。因此，視頻信號(hào)處理系統(tǒng)4能夠處理每個(gè)第一信號(hào)Ma-n以確定特征化信號(hào)的參數(shù)的至少一個(gè)關(guān)聯(lián)值，并隨后生成這些參數(shù)值的圖。在示出的示例中，獲取包括以元數(shù)據(jù)流34形式的第一信號(hào)Ma-n和壓縮視頻流的多路復(fù)用(步驟48)。將元數(shù)據(jù)流34與壓縮視頻流分離(步驟49)。隨后，獲取50第一信號(hào) 24a-n和將其每一個(gè)鏈接到圖像區(qū)域中的位置的關(guān)聯(lián)信息。第一信號(hào)Ma-n每一個(gè)都被分析以確定在它們的頻譜的至少有限范圍內(nèi)的優(yōu)勢(shì)頻率(步驟51)。隨后，在示出的實(shí)施例中， 為每個(gè)第一信號(hào)Ma-n確定優(yōu)勢(shì)頻率處的相位(步驟52)。在示出的實(shí)施例中，該信息用來(lái)生成相位圖(步驟53)。并行地，解壓縮該壓縮視頻流(步驟M)，并且還顯示該解壓縮的視頻(步驟55)。例如，相位圖可以顯示在第一和第二顯示設(shè)備20、21之一上，并且壓縮視頻可以顯示在另一個(gè)上。在可替換實(shí)施例中，解壓縮的視頻和相位圖之一用來(lái)增強(qiáng)另一個(gè)的顯示。因此，例如，在定義圖3的方法中的測(cè)量地區(qū)的網(wǎng)格相對(duì)粗糙的情況下，在解壓縮的視頻上執(zhí)行的圖像分割可以用來(lái)增強(qiáng)由相位圖提供的圖像。要注意的是，在其中提供給視頻信號(hào)處理系統(tǒng)4的元數(shù)據(jù)與第一信號(hào)Ma-n不再直接對(duì)應(yīng)的備選方案中，第一和第二攝影機(jī)系統(tǒng)1、2的一個(gè)或兩者可以執(zhí)行圖3的方法隨后的根據(jù)圖4或5的方法，以使得元數(shù)據(jù)流34將攜帶表示每個(gè)第一信號(hào)Ma-n的頻譜的至少有限范圍內(nèi)的優(yōu)勢(shì)頻率的數(shù)據(jù)，或者將攜帶表示相位圖的信息。在任一情況下，提供了使得能夠特征化攝影機(jī)捕獲的圖像中表示的多個(gè)主體中的每個(gè)主體的內(nèi)部過(guò)程的附加信息。應(yīng)當(dāng)注意的是，上述實(shí)施例說(shuō)明而不是限制本發(fā)明，并且本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)許多可替換的實(shí)施例而不脫離所附權(quán)利要求的范圍。在權(quán)利要求中，放置在括號(hào)之間的任何附圖標(biāo)記不應(yīng)被理解為限制權(quán)利要求。詞語(yǔ)“包括”不排除存在除了權(quán)利要求中列出的那些之外的元素或步驟。在元素之前的詞語(yǔ)“一”或“一個(gè)”不排除存在多個(gè)這樣的元素。彼此不同的從屬權(quán)利要求中敘述特定措施的純粹事實(shí)并非指示這些措施的組合不能有利地使用。在實(shí)施例中，代替提供時(shí)域中的第一信號(hào)Ma-n，在元數(shù)據(jù)流34中提供了表示第一信號(hào)Ma-n變換成時(shí)頻域的信息。
1權(quán)利要求
1.一種提供視頻數(shù)據(jù)(37)和元數(shù)據(jù)(34)的組合的方法，包括 -獲取由視頻攝影機(jī)(5)捕獲的圖像序列(23);-從所述圖像序列(23)中提取至少一個(gè)信號(hào)(24)，其中每個(gè)提取的信號(hào)(24)特征化光強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化； -對(duì)來(lái)自該序列(23)的圖像的圖像數(shù)據(jù)應(yīng)用至少一個(gè)視頻壓縮技術(shù)以獲取壓縮的視頻數(shù)據(jù)(37);其中所述至少一個(gè)提取的信號(hào)(24)從在將所述至少一個(gè)壓縮技術(shù)應(yīng)用到來(lái)自那些圖像的圖像數(shù)據(jù)之前的狀態(tài)的圖像中提取；以及-提供具有用于特征化在所述圖像的至少部分中表示的主體中的至少一個(gè)過(guò)程的元數(shù)據(jù)(34)的所述壓縮的視頻數(shù)據(jù)(37)，這個(gè)過(guò)程引起從該主體捕獲的光的強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化， 其中所述元數(shù)據(jù)(34)至少基于所提取的信號(hào)(24)的至少一個(gè)。
2.如權(quán)利要求1所述的方法，包括取決于至少基于所述至少一個(gè)提取的信號(hào)(24)的至少一個(gè)的獲取部分的數(shù)據(jù)的分析結(jié)果來(lái)適配所述至少一個(gè)壓縮技術(shù)的應(yīng)用。
3.如權(quán)利要求1所述的方法，包括，當(dāng)獲取所述圖像序列(23)時(shí)，引起取決于至少基于所提取的信號(hào)(24)的至少一個(gè)的獲取部分的數(shù)據(jù)的分析結(jié)果來(lái)調(diào)節(jié)使用至少一個(gè)攝影機(jī)(5)捕獲所述圖像的過(guò)程的參數(shù)。
4.如權(quán)利要求1所述的方法，其中該方法通過(guò)包括在攝影機(jī)(5)中的處理系統(tǒng)(9、11) 來(lái)執(zhí)行。
5.如權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)(34)包括特征化所述圖像序列(23)的光強(qiáng)度和顏色的至少一個(gè)中的局部時(shí)間變化的至少一個(gè)信號(hào)(24)。
6.用于提供視頻數(shù)據(jù)和元數(shù)據(jù)(34)的組合的系統(tǒng)，包括 -用于捕獲圖像序列(23)的攝影機(jī)的至少一個(gè)接口 ；-視頻數(shù)據(jù)處理系統(tǒng)(9、11)，被配置為-對(duì)來(lái)自該序列(23)的圖像的圖像數(shù)據(jù)應(yīng)用至少一個(gè)視頻壓縮技術(shù)以獲取壓縮的視頻數(shù)據(jù)(37)，-從圖像序列(23)中提取至少一個(gè)信號(hào)(24)，每個(gè)提取的信號(hào)(24)特征化光的強(qiáng)度和顏色中的至少一個(gè)的局部時(shí)間變化以及-生成用于特征化在圖像的至少部分中表示的至少一個(gè)主體中的至少一個(gè)過(guò)程的元數(shù)據(jù)(34)，其中所述至少一個(gè)提取的信號(hào)(24)從在將所述至少一個(gè)壓縮技術(shù)應(yīng)用到來(lái)自那些圖像的圖像數(shù)據(jù)之前的狀態(tài)的圖像中提取，并且其中所述元數(shù)據(jù)(34)特征化引起從主體捕獲的光的強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化的過(guò)程并且所述元數(shù)據(jù)(34)至少基于所提取的信號(hào)(24)中的至少一個(gè)；以及-輸出接口(6)，用于提供具有元數(shù)據(jù)(34)的所述壓縮的視頻數(shù)據(jù)(37)。
7.如權(quán)利要求6所述的系統(tǒng)，被配置為執(zhí)行根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法。
8.包括壓縮的視頻和元數(shù)據(jù)(34)的組合的信號(hào)，其中通過(guò)對(duì)來(lái)自圖像序列(23)的圖像的圖像數(shù)據(jù)應(yīng)用至少一個(gè)視頻壓縮技術(shù)可獲取所述壓縮的視頻(37)，并且所述元數(shù)據(jù) (34)包括特征化圖像序列(23)中的光強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化的至少一個(gè)信號(hào)U4)。
9.如權(quán)利要求8所述的信號(hào)，可通過(guò)執(zhí)行根據(jù)權(quán)利要求1-5中任一項(xiàng)的方法來(lái)獲取。
10.處理根據(jù)權(quán)利要求8所述的信號(hào)的方法，包括計(jì)算特征化圖像序列(23)的至少部分中表示的主體中的至少一個(gè)過(guò)程的參數(shù)的至少一個(gè)值，這個(gè)過(guò)程引起從所述主體捕獲的光的強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化；將特征化圖像序列(23)中的光強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化的信號(hào)04)的至少一個(gè)用作輸入。
11.用于處理包括壓縮的視頻(37)和元數(shù)據(jù)(34)的組合的信號(hào)的系統(tǒng)，包括-接口 14，用于獲取根據(jù)權(quán)利要求8所述的信號(hào)，以及-數(shù)據(jù)處理系統(tǒng)(15、16)，用于計(jì)算特征化圖像序列(23)的至少部分中表示的主體中的至少一個(gè)過(guò)程的參數(shù)的至少一個(gè)值，這個(gè)過(guò)程引起從所述主體捕獲的光的強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化；將特征化圖像序列(23)中的光強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化的信號(hào)04)的至少一個(gè)用作輸入。
12.包括指令集合的計(jì)算機(jī)程序，該指令集合當(dāng)包含在機(jī)器可讀介質(zhì)中時(shí)能夠引起具有信息處理能力的系統(tǒng)執(zhí)行根據(jù)權(quán)利要求1-5或權(quán)利要求10所述的方法。 全文摘要
一種提供視頻數(shù)據(jù)(37)和元數(shù)據(jù)(34)的組合的方法包括獲取由視頻攝影機(jī)(5)捕獲的圖像序列(23)。從圖像序列(23)中提取至少一個(gè)信號(hào)(24)，其中每個(gè)提取的信號(hào)(24)特征化光強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化。對(duì)來(lái)自該序列(23)的圖像的圖像數(shù)據(jù)應(yīng)用至少一個(gè)視頻壓縮技術(shù)以獲取壓縮的視頻數(shù)據(jù)(37)。所提取的信號(hào)(24)從在將所述至少一個(gè)壓縮技術(shù)應(yīng)用到來(lái)自那些圖像的圖像數(shù)據(jù)之前的狀態(tài)的圖像中提取。提供具有用于特征化在圖像的至少部分中表示的主體中的至少一個(gè)過(guò)程的元數(shù)據(jù)(34)的壓縮的視頻數(shù)據(jù)(37)，這個(gè)過(guò)程引起從該主體捕獲的光的強(qiáng)度和顏色的至少一個(gè)的局部時(shí)間變化。元數(shù)據(jù)(34)至少基于所提取的信號(hào)(24)的至少一個(gè)。
文檔編號(hào)G06K9/00GK102598666SQ201080050073
公開(kāi)日2012年7月18日 申請(qǐng)日期2010年11月1日 優(yōu)先權(quán)日2009年11月4日
發(fā)明者I.O.基倫科, M.P.博德拉恩德 申請(qǐng)人:皇家飛利浦電子股份有限公司