專利名稱：估計公用支持空間中光源及產(chǎn)生互光度效應的方法和設備的制作方法
技術領域：
本發(fā)明涉及一種估計公用支持空間中的光源的方法和設備以及一種使用光源產(chǎn)生互光度效應(mutual photometric effects)的方法和設備。
背景技術：
應用特殊效應的方法長期以來一直是工業(yè)中的一個工作領域。越來越多的應用，如交互式電視，或者任何多媒體應用都需要有效的數(shù)據(jù)處理。
本發(fā)明尤其涉及用于顯示的不同數(shù)據(jù)集的合并以及這些不同數(shù)據(jù)集的交互作用。換言之，為了增強可視數(shù)據(jù)集或視聽數(shù)據(jù)集之間的交互作用，重要的是，不同數(shù)據(jù)集的一些參數(shù)修改其它數(shù)據(jù)集以及這些參數(shù)當中的照度(illumination)。
為了產(chǎn)生真實或好看的最終圖像，不同可視數(shù)據(jù)集之間的互光度效應必須要考慮。例如，這在把三維目標輸入到一個視頻序列之前時尤為真實。
現(xiàn)在有各種各樣的方法來把互光度效應應用于可視數(shù)據(jù)中，如明暗處理、鏡面反射、投射陰影、互照度。
因此，美國專利US-5,488,428“視頻特殊效應產(chǎn)生設備”以及US-5,295,199“圖像變換方法和設備”提出把視頻圖像變換為三維面并在隨后把照度應用于它。但是，這些光度特殊效應是應用于來自單個視頻的圖像，因而沒有互光度特殊效應。
日本專利11,355,654“特殊效應視頻信號處理方法和特殊效應視頻信號處理器”進一步提出了一種用于幾個視頻圖像的互特殊效應法。但是，該特殊效應并不產(chǎn)生照度或反射，但產(chǎn)生移動物體的合成運動軌跡。
由Pentland在1982年在“美國光學學會雜志”448-455頁中提出的方法把可視數(shù)據(jù)限制為已知位置和形狀的單色球狀物體的單個圖像。由Sato、Sato和Ikeuchi在ICCV’99會刊875-882頁的題為“通過亮度的照度分布是陰影在陰影區(qū)中具有未知反射特性的照度分布的自適應估計”的文章中提出的其他方法把可視數(shù)據(jù)擴展為任何內容的單個圖像，但它們要求表示景物上半個球形的魚眼圖。
Mukawa在“日本系統(tǒng)與計算機”23卷92-99頁的題為“通過圖像序列的光源信息的估計”以及Stauder在“關于多媒體的IEEE會刊，第一卷”136-143頁的題為“利用結合橢圓體模型的自動照度控制的提高的真實性”的文章中提出了額外需要知道景物形狀和物體運動的光源估計方法。
Zhukov，Iones和Kronin在“提供(rendering)技術’98，歐洲圖形專題組會刊”45-55頁的題為“環(huán)境光照度模型”的文章提出了一種用于作為三維物體的可視數(shù)據(jù)集的方法。但是，為了估計表示特定可視數(shù)據(jù)集的光源，它們需要其它可視數(shù)據(jù)集作為另外的輸入以建立總體照度方程式。

發(fā)明內容
本發(fā)明可應用于任意類型任何內容的可視數(shù)據(jù)，而上述Pentland的文獻被限制為球狀物體的單個圖像。本發(fā)明允許確定一個可視數(shù)據(jù)集的光源，而不需要諸如上述Sato、Sato和Ikeuchi的文獻所要求的魚眼圖像，上述Mukawa和Stauder的文獻所要求的景物形狀和物體運動，或者諸如Zhukov，Iones和Kronin提出的其它任何可視數(shù)據(jù)集這樣的任何其它要求的輸入數(shù)據(jù)。本發(fā)明簡單并能夠確定任意類型任何內容的可視數(shù)據(jù)集的光源數(shù)。
本發(fā)明的一個目的是一種用以估計公用支持空間中的光源的方法，該公用支持空間包括分別與在該公用支持空間中具有一個位置、一個維度(dimension)和尺寸的至少一個專用支持空間相關的至少一個可視數(shù)據(jù)集。
根據(jù)本發(fā)明，光源的位置根據(jù)與所述至少一個可視數(shù)據(jù)集相關的專用支持空間的位置、維度和尺寸來確定，并且所述光源具有根據(jù)所述至少一個可視數(shù)據(jù)集確定的彩色分布。
與已知的方法相比，根據(jù)專用支持空間的特性來確定光源位置以及通過可視數(shù)據(jù)估計亮度(彩色分布)是非常簡單的。
可視數(shù)據(jù)集可以是視頻圖像、全景圖像、三維圖像、三維物體、視聽信息或任意格式的其它可視信息。它可以是靜止或動態(tài)的，它可以是單色或彩色的，或者它可具有其它性質。這里使用的術語彩色用于彩色、亮度、色度或其它強度值。可視數(shù)據(jù)集可被壓縮或解壓縮。
在一個優(yōu)選實施例中，對于每一所述可視數(shù)據(jù)集來說
-確定光源數(shù)N，-確定N個光源的位置，以及-確定每個光源的強度。
利用一種優(yōu)選的方式，光源數(shù)N可通過與所考慮的可視數(shù)據(jù)集相關的專用支持空間的尺寸自動得出。
這是一種用以估計光源數(shù)的簡單方法，因為它不需要專門的輸入。
有利的是，當所至少一個述可視數(shù)據(jù)集為動態(tài)時，光源的位置根據(jù)光源的先前位置而定。
這可在可視數(shù)據(jù)集為例如視頻時避免了不必要的計算。在這種情況下，以前幀的光源位置至少可在下一幀中保持。
至少一個光源的空間彩色分布通過該光源位置的空間和/或時間鄰域(neighborhood)中的所述光源的可視數(shù)據(jù)集的濾波函數(shù)來確定。
本發(fā)明還涉及一種在與專用支持空間分別相關的多個可視數(shù)據(jù)集之間在公用支持空間中產(chǎn)生互光度效應的方法，其中在公用支持空間中確定可視數(shù)據(jù)集的位置，其特征在于-估計每個所述可視數(shù)據(jù)集的光源，以及-把對于至少第一所述可視數(shù)據(jù)集的所述估計光源產(chǎn)生的估計光源信息應用到至少第二所述可視數(shù)據(jù)集，這樣，第一可視數(shù)據(jù)集照亮第二可視數(shù)據(jù)集。
與已知方法相反，本方法并不是基于具有高計算成本的總體照度。所提出的方法可通過表示可視數(shù)據(jù)集的光的少量光源來產(chǎn)生光度效應。
這種方法與已經(jīng)的估計法相反，它能夠通過表示可視數(shù)據(jù)集的光的少量光源產(chǎn)生互光度效應，這與已知的總體亮度算法不同。
在一個優(yōu)選實施例中，在把對于所述第一可視數(shù)據(jù)集的所述估計光源得到的所述估計光源信息應用于所述第二可視數(shù)據(jù)集之前，要從與所述第一可視數(shù)據(jù)集相關的專用支持空間中移走至少一個所述光源。
這對于獲得幾個可視數(shù)據(jù)集的三維真實照度來說是特別有意義的。
根據(jù)一個優(yōu)選實施例，多個數(shù)據(jù)集的不同光源的估計根據(jù)權利要求1-5任意之一的方法來進行。
因此，該快速光源估計法的所有優(yōu)點均被結合到該光度效應產(chǎn)生方法中并且簡化了該方法。
本發(fā)明還涉及一種用以估計公用支持空間中的光源的設備，該公用支持空間包括分別與在該公用支持空間中具有一位置、一維度和尺寸的至少一個專用支持空間相關的至少一個可視數(shù)據(jù)集。
根據(jù)本發(fā)明，該設備用于根據(jù)與所述可視數(shù)據(jù)集相關的專用支持空間的位置、維度和尺寸來確定每個所述可視數(shù)據(jù)集的光源位置，并提供根據(jù)所述可視數(shù)據(jù)集確定的所述光源的彩色分布。
本發(fā)明還涉及一種在與專用支持空間分別相關的多個可視數(shù)據(jù)集之間在公用支持空間中產(chǎn)生互光度效應的設備，包括用于在公用支持空間中確定可視數(shù)據(jù)集的位置的裝置。根據(jù)本發(fā)明，所述設備包括-用于估計每個所述可視數(shù)據(jù)集的光源的裝置，以及-用于把對于至少第一所述可視數(shù)據(jù)集的所述估計光源產(chǎn)生的估計光源信息應用到至少第二所述可視數(shù)據(jù)集中，以使第一可視數(shù)據(jù)集照亮第二可視數(shù)據(jù)集的裝置。
本發(fā)明還涉及一種視聽終端，包括-用于接收第一可視數(shù)據(jù)集的裝置，-用于請求顯示與第一數(shù)據(jù)集合作的至少第二數(shù)據(jù)集的裝置，-用于在顯示器上指示出至少第二數(shù)據(jù)集的位置的裝置，-用于產(chǎn)生光度效應的裝置，以及-用于根據(jù)產(chǎn)生的光度效應顯示所述可視數(shù)據(jù)集并修改它們的裝置，根據(jù)本發(fā)明，所述產(chǎn)生光度效應的裝置包括-用于估計每個所述可視數(shù)據(jù)集的光源的裝置，以及-用于把對于至少第一所述可視數(shù)據(jù)集的所述估計光源產(chǎn)生的估計光源信息應用到至少第二所述可視數(shù)據(jù)集，以使第一可視數(shù)據(jù)集照亮第二可視數(shù)據(jù)集的裝置。
本發(fā)明還涉及一種電視接收機或機頂盒、具有用以產(chǎn)生上述互光度效應的裝置的特性的任何移動終端，電視接收機、移動終端的優(yōu)點與光度效應產(chǎn)生法中的相同。


借助于附圖，通過本發(fā)明的非限制性實施例的描述，本發(fā)明的其它特征和優(yōu)點將會顯而易見。
圖1表示包括根據(jù)本發(fā)明的光源估計模塊5和6的電視解碼器1。
具體實施例方式
該電視解碼器包括交互式引擎2。應用3與該交互式引擎相連，包括用戶接口并允許用戶在該電視解碼器上選擇任意節(jié)目以在顯示器(未示出)上顯示。該顯示器可以是電視屏幕、計算機屏幕和自動立體顯示器或在計算機存儲器中用于存儲或轉發(fā)的顯示器。該交互式引擎允許用戶在觀看另一個節(jié)目時選擇他希望顯示的一個新節(jié)目或新可視數(shù)據(jù)集。這樣將會使請求的不同可視數(shù)據(jù)集的顯示合并?？梢晹?shù)據(jù)集可以是視頻、三維圖像、三維物體、背景圖像、視聽數(shù)據(jù)集。交互式引擎2裝載可視數(shù)據(jù)集。驅動和操作系統(tǒng)8可包括一個網(wǎng)絡接口(圖中未示出)，以便于從例如萬維網(wǎng)或本地可視數(shù)據(jù)集數(shù)據(jù)庫下載可視數(shù)據(jù)集。
該電視解碼器還包括數(shù)據(jù)合成模塊4。不同的可視數(shù)據(jù)集通過合成控制信號控制的數(shù)據(jù)合成模塊4而確定在一個公用支持空間中的位置，該公用支持空間可以是一個三維空間。合成控制信號可由用戶交互產(chǎn)生或者通過其它任何裝置傳送。其結果可以是由幾個可視數(shù)據(jù)集構成的三維景物?？梢晹?shù)據(jù)集通過定位控制信號定義為部分或完全透明。例子可以是幾個3D目標、在一個圖像或全景圖前的3D目標。其它組合也是可能的。
光源估計模塊5和6估計在它們自己的支持空間中的不同可視數(shù)據(jù)集的光源，這將在本文件中進一步描述。
一旦光源估計模塊估計了光源數(shù)、位置和空間彩色分布，可視數(shù)據(jù)集將被發(fā)送到提供(rendering)裝置7，該裝置使用光源估計模塊信息把可視數(shù)據(jù)集投影到例如二維顯示器上。提供裝置7可以是個人計算機圖形卡上的OpenGL圖形棧(OpenGL是Silicon Graphics Incorporated的商標)、或者其它任何圖像合成系統(tǒng)或方法。
OpenGL棧把二維或三維可視數(shù)據(jù)幾何或光度投影到二維顯示平面上。
幾何投影確定可視數(shù)據(jù)的位置和幾何變換。光度投影確定包括光度效應的可視數(shù)據(jù)的外觀。通過使用光源，OpenGL?？僧a(chǎn)生光度互效應為如明暗對比、鏡面反射和投射陰影。也可以考慮其它光度效應。
我們現(xiàn)在將描述光源估計模塊的行為。下面的描述將用于描述一個簡單的例子，在該例子中，可視數(shù)據(jù)集只包括單色頻道，并且支持空間是二維空間。為了進一步簡化，在下面的描述中，可視數(shù)據(jù)集只在一個時刻考慮。
設s(u，v)是可視數(shù)據(jù)集的單頻道彩色信號，其中u，v是大小為U×V的二維支持空間的坐標。
光源估計模塊接收其自己的支持空間中的可視數(shù)據(jù)集作為輸入。
首先，該支持空間的光源數(shù)N被確定。確定該光源數(shù)會有幾個方式。一種簡單的方法是從圖像尺寸輸出N。例如，可如下計算NN＝UV/100000U和V是該支持空間的維度。
根據(jù)上面公式，一個704列且576行的圖像的N值等于4。N可通過其它自適應公式得到，它可以是固定的，它也可通過其它任意方式得到。
其次，光源估計模塊確定光源的位置。光源初始定位在可視數(shù)據(jù)集的支持空間中，隨后，光源也可任選地從該支持空間中去除。
根據(jù)下面的公式un=2n+12NU]]>和vn=2n+12NV]]>利用一種常規(guī)的方式，光源Ln，其中0≤n＜N，被定位在尺寸為U×V的支持空間中的位置un，vn上。
它也能夠以一種任意的方式或者通過其它任意的算法來定位。在三維空間中的第n個光源的三維位置pn=xnynzn]]>通過三維空間中的數(shù)據(jù)集的位置(由合成控制模塊4確定)和2D位置un，vn給出。隨后，該光源可從該支持空間中移出到一個三維位置上。根據(jù)pn′=pn+αRn,]]>光源可被垂直移走，其中Rn是在Pn的該可視數(shù)據(jù)集的二維支持空間的3D表面法線，α是一個常數(shù)，O是該可視數(shù)據(jù)集的重心。根據(jù)Pn′′=O+α(Pn-O+Rn|Pn-O|),]]>光源也可移動至無窮遠，其中O是該可視數(shù)據(jù)集的重心，α→∝。把光源移出該支持空間的其它操作也是可以的。
第三，確定每個光源的空間彩色分布。在此考慮單色點光源的情況，在此情況下，特定彩色分布簡化為一種彩色。光源也可以是地下室窗采光光源或其它類型的光源。在單色頻道信號s(u，v)的情況下，第n個光源的彩色是單標量In。強度In通過在該可視數(shù)據(jù)集的支持空間中的初始光源位置un，vn的局部鄰域中的濾波操作的結果μn來計算。根據(jù)基于 的加權函數(shù)β(u，v)，該過濾操作加權并組合相鄰彩色值，其中Δu、Δv是鄰域的尺寸并且可以是Δu=U2N,Δv=V2N,]]>或者可以是其它任意的尺寸，如整個可視數(shù)據(jù)集。該加權函數(shù)在該鄰域歸一化。根據(jù)β(u,v)=14ΔuΔv,]]>它可以是常數(shù)，也可以是其它任意形式。該加權函數(shù)可根據(jù)該光源的位置而定。如果可視數(shù)據(jù)為動態(tài)，則光源的強度可及時濾波，以保持時間穩(wěn)定性，該濾波鄰域是時空的。其它加權函數(shù)也是可以的。
光源強度In被歸一化，而且，根據(jù) 其中In′=1N+η(μnΣi=0...N-1μi-1N)]]>并且η≥0是放大因數(shù)，它可由濾波結果μn，其中0≤n＜N-1，得到。光源強度也可以是非歸一化的。根據(jù) 這可通過例如加權光源來實現(xiàn)，其中λ是強度控制參數(shù)。其它加權也是可能的。
具有不止一個彩色頻道的可視數(shù)據(jù)集是逐頻道處理的，這與針對頻道s描述的情況相同。非二維支持空間的可視數(shù)據(jù)集按照通過考慮或多或少的維度的情況來對待。光源也可通過不同時刻的可視數(shù)據(jù)來估計。在這種情況下，濾波操作的鄰域是時間的和空間的。
權利要求
1.用以估計公用支持空間中的光源的方法，該公用支持空間包括分別與在該公用支持空間中具有一個位置、一個維度和尺寸的至少一個專用支持空間相關的至少一個可視數(shù)據(jù)集，其特征在于光源的位置根據(jù)與所述至少一個可視數(shù)據(jù)集相關的專用支持空間的位置、維度和尺寸來確定，并且所述光源具有根據(jù)所述至少一個可視數(shù)據(jù)集確定的彩色分布。
2.根據(jù)權利要求1的方法，其中對于每一所述可視數(shù)據(jù)集來說-確定光源數(shù)N，-確定N個光源的位置，以及-確定每個光源的強度。
3.根據(jù)權利要求1或2的方法，其中光源數(shù)N可通過與所考慮的可視數(shù)據(jù)集相關的專用支持空間的尺寸自動得出。
4.根據(jù)權利要求1-3任意之一的方法，其中當至少一個所述可視數(shù)據(jù)集是動態(tài)的時候，光源的位置根據(jù)光源的先前位置而定。
5.根據(jù)權利要求1-4任意之一的方法，其中至少一個光源的空間彩色分布通過該光源位置的空間和/或時間鄰域中的所述光源的可視數(shù)據(jù)集的濾波函數(shù)來確定。
6.在與專用支持空間分別相關的多個可視數(shù)據(jù)集之間在公用支持空間中產(chǎn)生互光度效應的方法，其中可視數(shù)據(jù)集的位置在公用支持空間中，其特征在于-估計每個所述可視數(shù)據(jù)集的光源，以及-把對于至少第一所述可視數(shù)據(jù)集的所述估計光源產(chǎn)生的估計光源信息應用到至少第二所述可視數(shù)據(jù)集，這樣，第一可視數(shù)據(jù)集照亮第二可視數(shù)據(jù)集。
7.根據(jù)權利要求6的方法，其中在把對于所述第一可視數(shù)據(jù)集的所述估計光源得到的所述估計光源信息應用于所述第二可視數(shù)據(jù)集之前，要從與所述第一可視數(shù)據(jù)集相關的專用支持空間中移走所述光源中的至少一個光源。
8.根據(jù)權利要求6或7的方法，其中多個數(shù)據(jù)集的不同光源的估計根據(jù)權利要求1-5任意之一的方法來進行。
9.用以估計公用支持空間中的光源的設備，該公用支持空間包括分別與在該公用支持空間中具有位置、一個維度和尺寸的至少一個專用支持空間相關的至少一個可視數(shù)據(jù)集，其特征在于所述設備用于根據(jù)與所述可視數(shù)據(jù)集相關的專用支持空間的位置、維度和尺寸來確定每個所述可視數(shù)據(jù)集的光源位置，并提供根據(jù)所述可視數(shù)據(jù)集確定的所述光源的彩色分布，所述設備優(yōu)選用于把根據(jù)權利要求1-5任意之一的方法付諸實施。
10.根據(jù)權利要求9的設備，其特征在于它包括-用于確定每個所述可視數(shù)據(jù)集的光源數(shù)N的裝置，-用于確定N個光源的位置的裝置，以及-用于確定每個所述光源的空間強度和彩色分布的裝置。
11.在與專用支持空間分別相關的多個可視數(shù)據(jù)集之間在公用支持空間中產(chǎn)生互光度效應的設備(1)，包括用于在公用支持空間中確定可視數(shù)據(jù)集的位置的裝置，并且其特征在于所述設備包括-用于估計每個所述可視數(shù)據(jù)集的光源的裝置(5，6)，以及-用于把對于至少第一所述可視數(shù)據(jù)集的所述估計光源產(chǎn)生的估計光源信息應用到至少第二組所述可視數(shù)據(jù)集，以使第一可視數(shù)據(jù)集照亮第二可視數(shù)據(jù)集的裝置(7)，所述設備優(yōu)選用于把根據(jù)權利要求6-8任意之一的方法付諸實施。
12.根據(jù)權利要求11的設備，其中用于估計由多個數(shù)據(jù)集發(fā)射的不同光源(5，6)的裝置能夠根據(jù)與所述可視數(shù)據(jù)集相關的專用支持空間的位置、維度和尺寸確定每個所述可視數(shù)據(jù)集的光源位置，并根據(jù)所述可視數(shù)據(jù)集確定所述光源的彩色分布。
13.視聽終端包括-用于接收第一可視數(shù)據(jù)集的裝置，-用于請求顯示與第一數(shù)據(jù)集合作的至少第二數(shù)據(jù)集的裝置，-用于在顯示器上指示出至少第二數(shù)據(jù)集的位置的裝置(2)，-用于產(chǎn)生光度效應的裝置，以及-用于根據(jù)產(chǎn)生的光度效應顯示所述可視數(shù)據(jù)集并修改它們的裝置，其特征在于所述用于產(chǎn)生光度效應的裝置包括根據(jù)權利要求11或12的產(chǎn)生裝置，優(yōu)選地，還包括根據(jù)權利要求9或10的估計裝置。
全文摘要
一種用以估計公用支持空間中的光源的方法,該公用支持空間包括與具有一個位置、維度和尺寸的至少一個支持空間相關的至少一個可視數(shù)據(jù)集。光源的位置根據(jù)專用支持空間的位置、維度和尺寸來確定,并且彩色分布根據(jù)該可視數(shù)據(jù)集確定。一種在多個可視數(shù)據(jù)集之間在公用支持空間中產(chǎn)生互光度效應的方法,其中,確定公用支持空間中的可視數(shù)據(jù)集的位置。估計光源并且應用估計的光源信息,這樣,至少第一可視數(shù)據(jù)集照亮至少第二可視數(shù)據(jù)集。
文檔編號G06T15/50GK1379367SQ0212008
公開日2002年11月13日 申請日期2002年2月28日 優(yōu)先權日2001年2月28日
發(fā)明者于爾根·斯托德, 菲利普·羅伯特, 揚尼克·尼古拉斯 申請人:湯姆森特許公司