專利名稱：用于立體影院的以觀看者為中心的用戶界面的制作方法
用于立體影院的以觀看者為中心的用戶界面背景立體電影，也被稱為3D電影，再次變得相對(duì)流行起來，給觀看者提供了傳統(tǒng)電影所不能提供的觀看體驗(yàn)。觀看者從立體電影獲得的觀看體驗(yàn)是由多種因素的組合所產(chǎn)生的，包括攝像機(jī)參數(shù)、觀看位置、放映機(jī)屏幕配置，及其他(例如，心理)因素。取決于這些因素，給定觀看者的觀看體驗(yàn)可能是愉快，注意力分散或者甚至不舒服(例如，由于由某些立體效果所產(chǎn)生的眼睛疲勞)。
立體電影制作者和攝影師已經(jīng)學(xué)會(huì)用于避免或故意增強(qiáng)已知的立體效果的各種啟發(fā)式法，如“加紙板”、“夾緊”、“巨大化”以及“小型化”效果。然而，直到一個(gè)場(chǎng)景被拍攝之前，導(dǎo)演實(shí)際上不能夠可視化該場(chǎng)景如何被展現(xiàn)在觀看者面前。如此，相對(duì)于拍攝3D場(chǎng)景獲得所希望的結(jié)果和/或效果通常要求大量的規(guī)劃、重新拍攝、重新規(guī)劃、重新拍攝等等。

發(fā)明內(nèi)容
提供本發(fā)明內(nèi)容是為了以簡(jiǎn)化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些代表性的概念。本發(fā)明內(nèi)容并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵因素或必要特征，也不旨在以將限定所要求保護(hù)的主題的范圍的任何方式被使用。簡(jiǎn)單來說，此處所描述的主題的各個(gè)方面涉及這樣一種技術(shù)，通過它用戶界面顯示立體場(chǎng)景的表示，并包括用于改變確定該場(chǎng)景的被感知的外觀的參數(shù)值的交互式機(jī)制。在一種實(shí)現(xiàn)中，交互式機(jī)制包括相對(duì)于場(chǎng)景交互地可移動(dòng)的點(diǎn)/手柄，其中，它們的位置對(duì)應(yīng)于參數(shù)的值。一方面，該場(chǎng)景好像被從上面觀看那樣被建模，包括觀看者的眼睛的表示，屏幕的表示，以及模擬觀看者在屏幕上所感知的內(nèi)容的指示。交互式機(jī)制可以被定位在場(chǎng)景的此“俯視圖”內(nèi)。用戶可以使用用戶界面來規(guī)劃場(chǎng)景，例如，通過從測(cè)試場(chǎng)景開始，并通過操縱參數(shù)值來確定改變它們的效果。一旦決定，可以將參數(shù)值應(yīng)用到立體攝像機(jī)以拍攝實(shí)際場(chǎng)景。用戶可以使用用戶界面來編輯現(xiàn)有場(chǎng)景?？梢越换サ馗淖儏?shù)值，并可預(yù)覽帶有經(jīng)修改的參數(shù)的所得的視頻場(chǎng)景，以確定參數(shù)變化的效果。通過下面的結(jié)合附附圖對(duì)本發(fā)明進(jìn)行的詳細(xì)說明，其他優(yōu)點(diǎn)可以變得顯而易見。


本發(fā)明是作為示例說明的，而不僅限于附圖，在附圖中，類似的參考編號(hào)表示類似的元件，其中圖I是表示用于實(shí)現(xiàn)用于編輯和/或規(guī)劃立體影院場(chǎng)景的以觀看者為中心的用戶界面示例組件的框圖。圖2是表示通過用戶界面來規(guī)劃立體影院場(chǎng)景的示例步驟的流程圖，包括與參數(shù)的交互。圖3是表示通過用戶界面來編輯立體影院場(chǎng)景的示例步驟的流程圖，包括與參數(shù)的交互。圖4是用戶界面的一個(gè)實(shí)現(xiàn)的表示，包括從上部觀看的透視圖(俯視圖)，示出了從觀看者以為中心的視點(diǎn)來看場(chǎng)景如何被感知。圖5是示出了如何在用戶界面上可視地指示被耦合在一起的參數(shù)的表示。圖6是用戶界面的一個(gè)實(shí)現(xiàn)的表示，包括當(dāng)在鏡頭之間過渡時(shí)用于控制對(duì)象如何被感知的面板。圖7示出了可以將本發(fā)明的各個(gè)方面集成到其中的計(jì)算環(huán)境的說明性示例。
具體實(shí)施例方式此處所描述的技術(shù)的各個(gè)方面一般涉及用于編輯和/或規(guī)劃立體(3D)電影的用 戶界面。一方面，用戶界面允許編輯者調(diào)整一組影響電影觀看體驗(yàn)的參數(shù)。同時(shí)，用戶界面是以觀看者為中心的，因?yàn)樵摻缑鎸⒈桓兄?D體驗(yàn)建模為好像從電影觀看者的角度來看的那樣。更具體而言，用戶界面示出了被從上面(即，從“上面”的視角)感知的世界，這可使電影編輯者/規(guī)劃者看到電影中的對(duì)象的相對(duì)于電影觀看者和屏幕的被感知的3D深度。應(yīng)該理解，此處的任何一個(gè)示例都是非限制性的。如此，本發(fā)明不僅限于此處所描述的任何特定實(shí)施例、方面、概念、結(jié)構(gòu)、功能或示例。相反，此處所描述的任何一個(gè)實(shí)施例、方面、概念、示例、結(jié)構(gòu)、或功能都是非限制性的，可以以一般而言在計(jì)算和視頻技術(shù)中提供好處和優(yōu)點(diǎn)的各種方式來使用本發(fā)明。圖I示出了包括用于捕捉和與立體視頻102 (例如，一個(gè)或多個(gè)視頻場(chǎng)景的一組)進(jìn)行交互的組件的框圖。左右立體攝像機(jī)104和105拍攝場(chǎng)景。在計(jì)算機(jī)系統(tǒng)108上運(yùn)行的用戶界面106用于分別通過規(guī)劃器和/或編輯器110，112來規(guī)劃和/或編輯與立體視頻102相關(guān)聯(lián)的參數(shù)。如此，用戶界面促進(jìn)對(duì)被感知的場(chǎng)景的規(guī)劃和“事實(shí)之后的”數(shù)字操縱。注意，拍攝規(guī)劃和“事實(shí)之后”的數(shù)字操縱技術(shù)不僅限于視頻，而且也適用于立體影片錄制；例如，當(dāng)代膠片攝影機(jī)具有“視頻幫助”饋送，可以使用這些饋送來饋給本系統(tǒng)，并可以將輸出參數(shù)應(yīng)用到膠片攝影機(jī)(從而，可以將它們應(yīng)用到來自攝像機(jī)的視頻幫助輸出，可使帶有軟件的反饋回路繼續(xù))。參數(shù)包括聚散度或水平圖像移動(dòng)(對(duì)應(yīng)于攝像機(jī)相對(duì)于彼此被轉(zhuǎn)動(dòng)多少)，眼間距離(攝像機(jī)之間的距離)、移動(dòng)攝像(攝像機(jī)與目標(biāo)多遠(yuǎn))、攝像機(jī)的視場(chǎng)(自釋義的)和舞臺(tái)口拱門(與其中一個(gè)觀看者的一只眼睛可以看到對(duì)另一只眼睛而言由于在屏幕之外而不可見的某種東西的情況的補(bǔ)償相關(guān)聯(lián))。下面將描述通過用戶界面106對(duì)這些參數(shù)中的每一個(gè)的操縱。規(guī)劃和/或編輯的結(jié)果是帶有經(jīng)修改的參數(shù)116的修改后的視頻114。在編輯時(shí)，如果結(jié)果如希望的那樣，則保留修改后的視頻114。當(dāng)在規(guī)劃時(shí)，使用經(jīng)修改的參數(shù)116來重新拍攝對(duì)應(yīng)的場(chǎng)景(例如，利用在規(guī)劃期間確定的重新配置的攝像機(jī)校準(zhǔn)參數(shù))。注意，規(guī)劃要求知道初始照像機(jī)參數(shù)，如在圖I中通過框118所表示的。然而，如從下面所描述的數(shù)學(xué)框架可以輕松地理解的，編輯不要求這些參數(shù)的絕對(duì)值，因?yàn)榭梢詫?duì)參數(shù)進(jìn)行相對(duì)調(diào)整?？梢暂斎氲牧硪环N類型的數(shù)據(jù)對(duì)應(yīng)于劇院參數(shù)120，例如，改變屏幕相對(duì)于觀看者的大小/位置。如果劇院參數(shù)120被改變，則可以自動(dòng)調(diào)整其他參數(shù)，以提供新觀看參數(shù)。就規(guī)劃而論，拍攝3D電影是困難的，因?yàn)橄胂笥^眾的體驗(yàn)如何與導(dǎo)演的視覺不同是一項(xiàng)挑戰(zhàn)。用戶界面106通過提供一種規(guī)劃鏡頭的方式來解決此問題，給定了場(chǎng)景粗略的拍攝和/或靜止圖像。通過調(diào)整參數(shù)，通過界面的自上而下的視圖中的點(diǎn)云(如下面參考圖4所描述的)，可以輸出所希望的攝像機(jī)參數(shù)，例如，作為用來生成粗略拍攝的參數(shù)的比率。圖2示出了典型的規(guī)劃操作的步驟。步驟202表示拍攝測(cè)試場(chǎng)景，維持了攝像機(jī)校準(zhǔn)參數(shù)，這些參數(shù)是上文所描述的參數(shù)的子集，包括攝像機(jī)眼間距離、攝像機(jī)視場(chǎng)/焦距，以及聚散度角度。規(guī)劃器選擇立體深度(步驟204)，并如下面所描述的，通過用戶界面來操縱參數(shù)值(步驟206)。(注意，立體深度是使用單獨(dú)的過程預(yù)先計(jì)算出的，例如，使用在由 C. L. Zitnick、S. B. Kang、M. Uyttendaele、S. Winder,以及 R. Szeliski 所著的論文“High-quality video view interpolation using a layered representation(使用分層 表示的高質(zhì)量視頻視圖插補(bǔ))”(SIGGRAPH 2004)中所描述的技術(shù)。)這些參數(shù)值是以適當(dāng)?shù)姆绞骄S護(hù)的(步驟208)并用來校準(zhǔn)攝像機(jī)以重新拍攝測(cè)試場(chǎng)景(步驟214)，直到參數(shù)值提供所希望的場(chǎng)景，從而，不必重新拍攝場(chǎng)景(或另一個(gè)測(cè)試場(chǎng)景)(步驟212)。取決于什么正在被拍攝，可以將最后的測(cè)試場(chǎng)景用作實(shí)際場(chǎng)景，或者可以使用現(xiàn)在已知的所希望的參數(shù)值來拍攝實(shí)際場(chǎng)景(例如，利用實(shí)際演員)。圖3示出了編輯操作的步驟。步驟302、304和306類似于圖2的步驟202、204和206，將不再對(duì)此進(jìn)行描述，只是要注意，正在編輯實(shí)際場(chǎng)景代替測(cè)試場(chǎng)景，并且，如下面所描述的，不需要初始參數(shù)。步驟308允許編輯器只要需要就重新呈現(xiàn)帶有新參數(shù)值的場(chǎng)景，無論是在單個(gè)參數(shù)值改變之后或在多個(gè)參數(shù)值改變之后。步驟310重復(fù)操縱/重新呈現(xiàn)，直到編輯器獲取了所希望的結(jié)果。為了便于下面所描述的參數(shù)操縱，用戶界面實(shí)現(xiàn)數(shù)學(xué)框架，該數(shù)學(xué)框架將抽象將用戶交互轉(zhuǎn)換為立體參數(shù)值的技術(shù)。更具體而言，該框架將攝像機(jī)投影儀-屏幕-觀看者幾何形狀抽象為比率，允許由用戶進(jìn)行簡(jiǎn)單的操縱。該框架假設(shè)與觀看者的體驗(yàn)相關(guān)聯(lián)的某些參數(shù)是已知的或由用戶進(jìn)行配置，包括屏幕寬度Sw，從觀看者到屏幕的距離Sz，以及觀看者的眼睛之間的距離Be。在一種實(shí)現(xiàn)中，參數(shù)共享相同的單位，世界坐標(biāo)空間的起點(diǎn)位于觀看者的眼睛之間的中心。如此，左眼和右眼的位置是{_Be/2，0，0}和{Be/2，0，0}。通過W來表示左和右圖像寬度，使用比率& = Sw/W來將像素位置映射到物理屏幕位置。假設(shè)跨左和右圖像的對(duì)應(yīng)的點(diǎn)的對(duì)分別是Plj = (cL, rL)和pK = (cE, rE)。由于兩個(gè)圖像都被糾正，因此，A = rRO在將兩個(gè)圖像投射到屏幕上之后，對(duì)應(yīng)的屏幕位置是Pu =(cls，rLS)和Pes = (Crs，rRLS)。注意，Pls和Pes都是以像素為單位指定的。當(dāng)將圖像放在屏幕上時(shí)，可以采取兩種方法，S卩，聚散度配置或并行配置。小屏幕通常使用聚散度配置，其中，圖像中心被置于屏幕的中心。較大的屏幕通常使用并行配置，其中，圖像中心被假設(shè)的眼間距離所抵銷。下面的等式對(duì)于兩者是相同的，被指出的地方除夕卜。由d= (Ce-Cl)給出圖像差異。屏幕差異屯=(CKS-(^S)，對(duì)于聚散度配置，等于d，或者，對(duì)于并行配置，等于ds = d+Be/Sr0在這兩種情況下，被感知的深度Z6是

權(quán)利要求
1.在一計(jì)算環(huán)境中，一種系統(tǒng)包括，被配置成操縱與立體視頻場(chǎng)景相關(guān)聯(lián)的一個(gè)或多個(gè)參數(shù)值的用戶界面(106)，所述用戶界面包括場(chǎng)景的至少一部分的俯視圖表示(440)，所述俯視圖表示示出了觀看者的相對(duì)于屏幕位置的視點(diǎn)，所述表示相對(duì)于獲取用于操縱所述一個(gè)或多個(gè)參數(shù)值的輸入是交互式的(444，446，448，450，470，471)。
2.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述參數(shù)值中的一個(gè)對(duì)應(yīng)于聚散度參數(shù)，所述參數(shù)值中的一個(gè)對(duì)應(yīng)于眼間距離參數(shù)，所述參數(shù)值中的一個(gè)對(duì)應(yīng)于移動(dòng)攝像參數(shù)，所述參數(shù)值中的一個(gè)對(duì)應(yīng)于視場(chǎng)參數(shù)，或者，所述參數(shù)值中的一個(gè)對(duì)應(yīng)于舞臺(tái)口參數(shù)。
3.如權(quán)利要求I所述的系統(tǒng)，其特征在于，存在至少兩個(gè)參數(shù)，并且耦合在一起，以使得對(duì)一個(gè)參數(shù)值的更改改變耦合到對(duì)應(yīng)被改變的值的參數(shù)的每個(gè)其它參數(shù)的參數(shù)值。
4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述移動(dòng)攝像參數(shù)和所述視場(chǎng)參數(shù)是耦合的，或者，所述聚散度參數(shù)、移動(dòng)攝像參數(shù)，以及視場(chǎng)參數(shù)是耦合的。
5.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述表示相對(duì)于通過可移動(dòng)的手柄接收輸入是交互式的，其中，該手柄的移動(dòng)改變對(duì)應(yīng)的參數(shù)值。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述表示包括一個(gè)框，所述框的形狀隨著所述可移動(dòng)的手柄的移動(dòng)而改變，以改變所述對(duì)應(yīng)的參數(shù)值。
7.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述用戶界面包括示出至少一個(gè)參數(shù)的數(shù)值的交互式面板，或者，所述用戶界面包括用于觀看所述立體場(chǎng)景的視頻播放器面板，或者，所述用戶界面包括示出至少一個(gè)參數(shù)的數(shù)值的交互式面板，并且所述用戶界面包括用于觀看所述立體場(chǎng)景的視頻播放器面板。
8.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述觀看者的視點(diǎn)包括表示觀看者的眼睛的兩個(gè)點(diǎn)，并且所述表示包括表示從每一點(diǎn)的視角的信息。
9.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述用戶界面包括用于混合剪切之前和之后的聚散度值的裝置，或用于改變聚散度以引起對(duì)所述場(chǎng)景中的對(duì)象的注意的裝置，或用于混合剪切之前和之后的聚散度值的裝置和用于改變聚散度以引起對(duì)所述場(chǎng)景中的對(duì)象的注意的裝置兩者。
10.在一計(jì)算環(huán)境中，一種方法包括 提供用戶界面(106)，所述用戶界面顯示立體場(chǎng)景的表示(440)并包括用于改變參數(shù)值的交互式機(jī)制，包括用于改變聚散度參數(shù)值的機(jī)制(444)，用于改變移動(dòng)攝像參數(shù)值的機(jī)制(448)，用于改變視場(chǎng)參數(shù)值的機(jī)制(446)，以及，用于改變眼間距離的參數(shù)值的機(jī)制(450)； 接收對(duì)應(yīng)與所述機(jī)制中的一個(gè)的交互的數(shù)據(jù)，以及 改變對(duì)應(yīng)所述機(jī)制的所述參數(shù)值。
11.如權(quán)利要求10所述的方法，其特征在于，還包括，基于所述參數(shù)值改變，輸出新立體視頻，輸出用于重拍視頻場(chǎng)景的新參數(shù)值，或改變至少一些所述參數(shù)值以調(diào)整已改變的劇院參數(shù)值。
12.如權(quán)利要求10所述的方法，其特征在于，所述用戶界面包括用于改變舞臺(tái)口拱門參數(shù)值的機(jī)制，并且還包括，基于所述舞臺(tái)口拱門參數(shù)的值，遮蔽所述立體場(chǎng)景的一部分。
13.在一計(jì)算環(huán)境中，一用戶界面(106)包括，用于交互(444，446，448，450)以改變對(duì)應(yīng)于立體場(chǎng)景的參數(shù)的參數(shù)值的裝置，包括聚散度參數(shù)、移動(dòng)攝像參數(shù)、視場(chǎng)參數(shù)，以及眼間距離參數(shù)，所述用戶界面(106)提供場(chǎng)景的俯視圖，包括觀看者的眼睛的表示、屏幕的表示，以及模擬觀看者的每一個(gè)眼睛在屏幕上所感知的內(nèi)容的指示。
14.如權(quán)利要求13所述的用戶界面，其特征在于，還包括具有可通過與所述用戶界面的交互而改變的值的舞臺(tái)口拱門參數(shù)。
15.如權(quán)利要求13所述的用戶界面，其特征在于，所述用戶界面被配置成通過在所述場(chǎng)景的所述俯視圖內(nèi)顯示的手柄進(jìn)行交互，每一手柄都與一參數(shù)相關(guān)聯(lián)，并相對(duì)于所述場(chǎng)景可移動(dòng)，并且，其特征在于，手柄的移動(dòng)改變其相對(duì)于所述場(chǎng)景的位置，并相應(yīng)地改變?cè)撌直南嚓P(guān)聯(lián)的參數(shù)的所述參數(shù)值。
全文摘要
描述了用戶界面，該用戶界面顯示立體場(chǎng)景的表示，并包括用于改變確定該場(chǎng)景的被感知的外觀的參數(shù)值的交互式機(jī)制。該場(chǎng)景好像被從上面觀看那樣被建模，包括觀看者的眼睛的表示，觀看屏幕的表示，以及模擬觀看者的每一個(gè)眼睛在屏幕上所感知的內(nèi)容的指示?？勺儏?shù)可包括聚散度參數(shù)、移動(dòng)攝像參數(shù)、視場(chǎng)參數(shù)、眼間距離參數(shù)以及舞臺(tái)口拱門參數(shù)。
文檔編號(hào)G06F3/14GK102804169SQ201080027478
公開日2012年11月28日 申請(qǐng)日期2010年6月16日 優(yōu)先權(quán)日2009年6月16日
發(fā)明者C·L·齊特尼克三世, B·K·雷斯勒, 江勝明, M·F·科恩, J·科帕 申請(qǐng)人:微軟公司