專利名稱：在網(wǎng)絡(luò)環(huán)境中提供編碼視頻應(yīng)用的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從服務(wù)器通過通信鏈路向客戶端用戶提供編碼視頻應(yīng)用的方法。近來諸如應(yīng)用流或云游戲的基于網(wǎng)絡(luò)服務(wù)器的視頻應(yīng)用得到了關(guān)注。其中諸如視頻游戲的一個或多個基于服務(wù)器的應(yīng)用在應(yīng)用網(wǎng)絡(luò)中的服務(wù)器上運(yùn)行，服務(wù)器通過通信鏈路與用戶耦合。該通信鏈路可包括具有相同物理 上行通道和下行通道的雙向鏈路，但是也可包括彼此不同的上行鏈路和下行鏈路，從而在上行方向上用于傳送信息的真實(shí)物理路徑能夠與下行方向上用于傳送信息的路徑不同。然而能夠?qū)⒖蛻舳撕头?wù)器之間的上行和下行數(shù)據(jù)傳輸視為是屬于同一虛擬雙向傳輸鏈路。通過上行鏈路將諸如鍵盤、操縱桿、鼠標(biāo)、語音等輸入的用戶上行信息從每個用戶傳送給該服務(wù)器，服務(wù)器根據(jù)該輸入能夠計算產(chǎn)生相關(guān)更新場景的下一狀態(tài)。在其它應(yīng)用中，服務(wù)器適于根據(jù)應(yīng)用自身來計算更新，因此甚至不會明確地要求用戶的輸入。更新的可視信息可進(jìn)一步需要適配每個用戶的視點(diǎn)，例如可能需要將更新場景投射在用戶的2維(在下文中簡稱為2D)視點(diǎn)平面上，特別是在3維(在下文中簡稱為3D)應(yīng)用的情況下，并且從而需要將其傳送回這些單獨(dú)的用戶以便能夠他們繼續(xù)進(jìn)行游戲或繼續(xù)與他們的應(yīng)用交互。由于這涉及將需要通過通信鏈路的下行部分傳送的視頻信息發(fā)送回用戶，因此需要將該視頻信息壓縮，否則帶寬限制不能得到滿足。為了這一目的，可使用標(biāo)準(zhǔn)的視頻壓縮協(xié)議，諸如MPEG2、H264等。在該編碼步驟后，將用戶專用的編碼視頻數(shù)據(jù)通過該通信鏈路傳送回用戶。在用戶站點(diǎn)，將接收的編碼視頻信息提供給諸如膝上型計算機(jī)、智能手機(jī)、游戲控制臺、TV等的顯示器。該提供通常由標(biāo)準(zhǔn)解碼器來執(zhí)行。該過程的缺點(diǎn)是涉及與每個用戶的視點(diǎn)視頻序列的編碼相關(guān)聯(lián)的大量處理。由于每個用戶在視頻游戲或應(yīng)用上具有自己的視圖，因此這需要由服務(wù)器分別為每個連接的用戶來執(zhí)行上述過程。從而該用戶專用的視點(diǎn)序列編碼是處理強(qiáng)度非常大的。作為需要對要被編碼的多媒體信息進(jìn)行分析和計算的后果，在一些情況下這甚至?xí)?dǎo)致不可接受的延遲。因此本發(fā)明的實(shí)施方式的目的是提供用于從服務(wù)器將編碼的視頻應(yīng)用提供給各個用戶的方法，其中該方法要求更少的計算強(qiáng)度，并且從而導(dǎo)致服務(wù)器和客戶端用戶之間較少的延遲。根據(jù)本發(fā)明的實(shí)施方式，該目的通過方法來實(shí)現(xiàn)，該方法包括以下步驟在所述服務(wù)器更新涉及所述視頻應(yīng)用的場景，由此導(dǎo)出包括用于所述各個客戶端的連續(xù)的各個2D用戶相關(guān)視點(diǎn)的各個視頻流，從所述服務(wù)器處涉及所述視頻應(yīng)用的所述場景的連續(xù)場景的子集提取的應(yīng)用對象頂點(diǎn)信息，計算至少一個各自的壓縮相關(guān)參數(shù)，在所述各個自視頻流的后續(xù)編碼過程中，使用所述各自的壓縮相關(guān)參數(shù)，從而生成各自的編碼視頻流以提供給所述各自的客戶端用戶。這樣，現(xiàn)在在諸如運(yùn)動矢量的壓縮相關(guān)參數(shù)的計算時，使用重要的頂點(diǎn)信息，其中頂點(diǎn)信息本質(zhì)上是在連續(xù)場景中、或在其中央服務(wù)器應(yīng)用的子集中可獲得的，其中運(yùn)動矢量是隨后在對2D用戶相關(guān)視點(diǎn)進(jìn)行編碼的過程中使用的。相似的考慮適于對塊模式的預(yù)測，例如涉及對塊的預(yù)測是否在I-、P-或B-模式中進(jìn)行最有效的編碼，以及壓縮自身固有的其它參數(shù)。諸如運(yùn)動矢量的這些壓縮相關(guān)參數(shù)、塊模式預(yù)測因此能夠從服務(wù)器應(yīng)用處集中獲得的3D或2D場景信息中提取。它們可用于簡單的編碼器，例如在由同一申請人提交的還未公開的第09290985. 2號歐洲專利申請中公開，而不是為每個用戶的各自視頻流的每一個使用傳統(tǒng)的編碼器。由于例如通過多媒體API從應(yīng)用接收的信息包含能夠用于直接生成壓縮信號的本地數(shù)據(jù)，從而節(jié)省了大量的壓縮處理和等待時間。相比于分析多個連續(xù)2D視頻幀以便檢測匹配圖像塊(由此導(dǎo)出運(yùn)動矢量)的標(biāo)準(zhǔn)MPEG編碼，本發(fā)明方法的實(shí)施方式從3D或2D場景自身直接獲得該運(yùn)動矢量，并且在3D場景和運(yùn)動矢量作為壓縮相關(guān)參數(shù)的情況下，例如通過將3D運(yùn)動矢量到特定的用戶視點(diǎn)的合適的2D投影，該壓縮參數(shù)于是僅需要進(jìn)行調(diào)整以適用每個用戶的2D視點(diǎn)。因此可避免來自不同的生成和壓縮步驟的通常的等待時間(10至100ms)。此外，由于3D或2D中央場景分析允許對移動的更精確的了解，因此可實(shí)現(xiàn)更好的壓縮比。
相似的考慮應(yīng)用其它壓縮相關(guān)參數(shù)。作為處理減少的結(jié)果，因此云應(yīng)用計算、云游戲等的全部成本也會減小。在所附權(quán)利要求中給出了進(jìn)一步的特征。本發(fā)明還涉及適于執(zhí)行這樣方法的服務(wù)器。需要說明的是，在權(quán)利要求中使用的術(shù)語“耦合”，不應(yīng)被解釋為僅限定為直接連接。因此，表達(dá)‘設(shè)備A與設(shè)備B耦合’的范圍不應(yīng)被限制為設(shè)備A的輸出與設(shè)備B的輸入直接連接的設(shè)備或系統(tǒng)。這意味著在A的輸出和B的輸入間存在路徑，其可以是包括其它設(shè)備或裝置的路徑。需要說明的是，在權(quán)利要求中使用的術(shù)語“包括”，不應(yīng)被解釋為限定為其下面列出的手段。因此，表達(dá)‘設(shè)備包括裝置A和B’的范圍不應(yīng)被限制為設(shè)備僅包括元件A和B。這意味著根據(jù)本發(fā)明，設(shè)備的相關(guān)元件僅為A和B。還需要說明的是，在該整個文檔中，3D用作三維的縮寫。相似的，2D用作二維的縮與。通過參照下面實(shí)施方式的描述并結(jié)合附圖
，本發(fā)明的上述和其它目的和特性會變得更明顯，也能更好地理解本發(fā)明自身，其中圖la-b示出網(wǎng)絡(luò)環(huán)境，其中運(yùn)行3D、各自2D視頻應(yīng)用的服務(wù)器耦合到通過服務(wù)器上的該視頻應(yīng)用進(jìn)行交互的多個客戶端用戶；圖2a_b示意性地示出了如何將中央應(yīng)用場景適用于3D、各自2D場景情況的用戶專用視點(diǎn)；圖3示意性地示出了用于生成3D中央應(yīng)用的現(xiàn)有技術(shù)情況的用戶專用視點(diǎn)序列并對其進(jìn)行編碼的步驟；圖4a_b示意性地示出了用于提供3D、各自2D中央視頻應(yīng)用的編碼用戶專用視點(diǎn)序列的方法的實(shí)施方式；圖5a_b更詳細(xì)地示出了用于圖4a_b的實(shí)施方式的實(shí)現(xiàn)，圖6示出了圖5a中示出的實(shí)施方式的變形的實(shí)施方式，圖7a_b示出了根據(jù)本發(fā)明的服務(wù)器的實(shí)施方式。描述和附圖僅揭示本發(fā)明的原則。因此可以理解的是，盡管沒有在這里具體描述或說明，本領(lǐng)域技術(shù)人員能夠設(shè)計出實(shí)施本發(fā)明原則并包括在其精神和范圍內(nèi)的各種方案。此外，這里列舉的全部實(shí)施例明顯地主要僅用作教育目的，幫助讀者理解本發(fā)明的原則和發(fā)明人進(jìn)一步對現(xiàn)有技術(shù)的貢獻(xiàn)的概念，應(yīng)當(dāng)被解釋為不局限于這樣特別描述的實(shí)施例和條件。此外，這里列舉本發(fā)明的原則、方面和實(shí)施方式的全部聲明、以及其特定實(shí)施例，意在涵蓋其等價物。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，這里的任何框圖表示實(shí)施本發(fā)明原則的解釋性的電路的概念性視圖。相似的，可以理解的是，任何流程圖、流圖、狀態(tài)變換圖、偽代碼等表示各種處理，其可以實(shí)質(zhì)上在計算機(jī)可讀介質(zhì)中表示并由計算機(jī)或處理器執(zhí)行，無論是否具體描述這樣的計算機(jī)或處理器。本發(fā)明的實(shí)施方式用于結(jié)合在網(wǎng)絡(luò)服務(wù)器上運(yùn)行的視頻應(yīng)用，其中以壓縮形式并根據(jù)各自用戶相關(guān)的視點(diǎn)，將視頻應(yīng)用提供給用戶。在圖la-b中示出了網(wǎng)絡(luò)拓?fù)涞氖疽庑愿攀?。大部分駐留視頻應(yīng)用(可包括辦公應(yīng)用，例如，虛擬協(xié)同環(huán)境、游戲等)的這種服務(wù)器使用諸如OpenGL、DirectX等的標(biāo)準(zhǔn)應(yīng)用程序接口以驅(qū)動對包括視頻和音頻數(shù)字信號的多媒體的生成。在圖Ia中，用客戶端I至客戶端N表示的多個用戶進(jìn)行協(xié)同，例如玩被保持在計算機(jī)服務(wù)器上的虛擬3D世界中的游戲，其中在云或服務(wù)網(wǎng)絡(luò)的某處，計算機(jī)服務(wù)器用“服務(wù)器”表示，并通過連接與這些用戶耦合，其中連接可以是通過移動、固定、衛(wèi)星等的任何類型的網(wǎng)絡(luò)的任何類型的連接。為了不使圖中的內(nèi)容過多，在這些圖la-b中沒有畫出該網(wǎng)絡(luò)。在圖la-b中，將這些用戶表示為包括通信和處理單元，用C0MPR0C表示。然而，其它客戶端實(shí)施方式可能沒有這樣專門的通信和處理模塊。在圖la-b的實(shí)施方式中，該通信和處理單元C0MPR0C進(jìn)一步包括與客戶端顯示器耦合的解碼器。用戶或客戶端設(shè)備進(jìn)一步包括外圍輸入設(shè)備，例如鍵盤、鼠標(biāo)、觸摸屏、語音識別、錄像機(jī)等，其均適于檢測與在服務(wù)器上運(yùn)行的應(yīng)用相關(guān)的用戶動作，并將這些輸入提供給通信和處理單元C0MPR0C。后者進(jìn)一步適于對它們進(jìn)行轉(zhuǎn)換(如果需要則轉(zhuǎn)換成服務(wù)器可理解的格式)，并將它們通過網(wǎng)絡(luò)提供給中央服務(wù)器應(yīng)用。對于圖la，將該動作信息分別表示為“用于3D APP的客戶端I動作”至“用于3D APP的客戶端N動作”，并且對于圖Ib， 將該動作信息分別表示為“用于2D APP的客戶端I動作”至“用于2D APP的客戶端N動作”。將這些消息傳送給在服務(wù)器中的應(yīng)用運(yùn)行引擎，對于圖la-b分別表示為3D APP、2DAPP。從而基于應(yīng)用自身，并就業(yè)用戶生成的輸入(如果由用戶提供)，后面的應(yīng)用引擎于是適于更新涉及中央視頻應(yīng)用的連續(xù)場景。在沒有提供用戶輸入的情況下，僅基于應(yīng)用信息自身來更新場景。例如這可以是用于飛行模擬的程序的情況，即使用戶在這些時刻沒有提供輸入，通過例如改變景色和天氣，對場景進(jìn)行更新。這些場景的連續(xù)場景從而形成應(yīng)用圖像序列或視頻。這些在圖la-b中表示為3D視頻、各個2D視頻。對于3D應(yīng)用，根據(jù)特定用戶在這種虛擬世界中具有的3D位置和該用戶在該虛擬世界中觀看的方向，每個用戶在該虛擬世界上具有其自己的視圖。由于這些視圖還可隨時間改變，因此還將該視點(diǎn)相關(guān)的信息從每個客戶端傳送給服務(wù)器。對于2D應(yīng)用，用戶視點(diǎn)可以是全部2D場景的旋轉(zhuǎn)、轉(zhuǎn)換、按比例變化和裁剪的版本。然而在一些非常簡單的2D應(yīng)用中，不需要使中央2D APP視點(diǎn)適合每個客戶端。對于這些實(shí)施方式，客戶端不需要將該信息提供給服務(wù)器。在圖2a_b中示意性地解釋了分別為3D場景和2D場景從中央場景信息生成這樣的用戶專用視點(diǎn)的過程。在圖la-b中，將該用戶相關(guān)的視點(diǎn)信息表示為“客戶端I視點(diǎn)”至“客戶端N視點(diǎn)”，并從各個客戶端中的通信和處理模塊C0MPR0C傳送給服務(wù)器。該客戶端相關(guān)的視點(diǎn)信息可包括例如以3D點(diǎn)的坐標(biāo)表示的3D場景中的觀看位置,例如以3D矢量分量表示的觀看方向，例如以多個度數(shù)表示的水平和垂直觀看角度以及例如以度數(shù)表示的傾斜角，由此服務(wù)器能夠生成投影矩陣?？商鎿Q地，可給出投影矩陣?；谠摽蛻舳说囊朁c(diǎn)信息，從而連續(xù)的中央場景信息序列可適于為每個用戶單獨(dú)生成連續(xù)的2D用戶相關(guān)的視點(diǎn)。這在服務(wù)器內(nèi)執(zhí)行，在圖la-b的實(shí)施方式中由服務(wù)器內(nèi)的2D引擎執(zhí)行。典型地，這可在圖形加速單元上執(zhí)行，但其它實(shí)現(xiàn)也是可行的。從而該2D 引擎適于為每個用戶單獨(dú)地導(dǎo)出連續(xù)的2D用戶相關(guān)的視點(diǎn)，這樣的連續(xù)視點(diǎn)構(gòu)成用于各個用戶的視頻流。在圖la-b中，2D引擎從而包括專用的用戶相關(guān)的模塊，用于在需要時執(zhí)行這種字自適應(yīng)。然而存在沒有這樣清楚地描述到子模塊的其它實(shí)施方式。將廣生的序列分別表不為2D video_l至2D video_N。隨后可對這些序列進(jìn)彳丁編碼。在圖Ia的現(xiàn)有技術(shù)實(shí)施方式中，用表示為ENCl至ENCN的N個分立的編碼器模塊的并行處理來示出。然而在其它實(shí)施方式中，可能僅存在一個編碼器模塊，以便對不同用戶視點(diǎn)相關(guān)的2D視頻流進(jìn)行串行編碼。并且，在其它實(shí)施方式中，可使用兩個原則的組合。在現(xiàn)有技術(shù)情況下，這樣的編碼器可包括傳統(tǒng)的MPEG2或H264編碼器。通常，大部分這樣的標(biāo)準(zhǔn)編碼器依賴于基于運(yùn)動的預(yù)測以得到壓縮增益。為此目的來計算運(yùn)動矢量。這主要基于將圖像與參考圖像進(jìn)行比較，并相對于參考圖像確定該特定圖像中多少塊已經(jīng)改變或“移動”。為此目的，可使用傳統(tǒng)的塊匹配技術(shù)。將編碼的用戶相關(guān)視圖表示為編碼的2D視頻I至編碼的2D視頻N，并按順序?qū)⑵鋫魉徒o各個用戶。在各個用戶接收到時，傳統(tǒng)的解碼器適于將視頻提供給它們各自的顯示器。在圖3中示出了用于中央3D生成的應(yīng)用場景的現(xiàn)有技術(shù)處理步驟的概要。如前所述，傳統(tǒng)的編碼要求要求大量的處理工作。由于這需要分別為每個用戶進(jìn)行處理，因此這給中央服務(wù)器增加了沉重的負(fù)擔(dān)。為了解決這些問題，本發(fā)明的實(shí)施方式利用在涉及服務(wù)器內(nèi)的中央視頻應(yīng)用的場景的連續(xù)場景中可獲得的信息的優(yōu)勢。在圖4a中示意性的示出了用于3D應(yīng)用。由于服務(wù)器計算機(jī)中的應(yīng)用模塊保持3D虛擬世界，其通過這些對象的頂點(diǎn)信息來了解每個對象在3D虛擬場景中所處的位置。因此，其還能夠容易地從該3D場景推斷出編碼或壓縮相關(guān)的參數(shù)。這樣的編碼參數(shù)可包括用于塊碼的運(yùn)動矢量或預(yù)測?？赏ㄟ^首先計算3D運(yùn)動矢量，例如將時刻t-Ι的場景的識別對象的頂點(diǎn)與時刻t的場景的該對象的相同頂點(diǎn)進(jìn)行關(guān)聯(lián)，獲得運(yùn)動矢量。隨后是將3D運(yùn)動矢量到各個用戶平面的投射步驟，以計算用于該各個用戶視頻流的2D運(yùn)動矢量。通過首先計算封閉(occlusion)信息,隨后確定最合適的編碼模式(例如巾貞內(nèi)編碼(intracoding)或巾貞間編碼(intercoding)),以能夠獲得塊碼的預(yù)測。在將3D場景投影到用戶視點(diǎn)的過程中，通過使用中間的z緩沖器來確定封閉自身，其中z表示在3D空間中從用戶的視點(diǎn)看的Z坐標(biāo)或深度坐標(biāo)。能夠?qū)⒃撟鴺?biāo)系統(tǒng)的原點(diǎn)放置在用戶有利的點(diǎn)上，正Z軸位于或指向用戶的觀看方向。該各個中間Z緩沖器表示哪個頂點(diǎn)最靠近用戶，并且因此哪個頂點(diǎn)在用戶有利的點(diǎn)上，以及哪個其它的頂點(diǎn)是封閉的。通過使用前述的坐標(biāo)參考，具有最低Z緩沖器坐標(biāo)的頂點(diǎn)是可視的，而其它頂點(diǎn)是封閉的(occluded)。從而通過將時刻t的z緩沖器坐標(biāo)與時刻t-Ι的坐標(biāo)進(jìn)行比較，可知道哪個頂點(diǎn)在時刻t成為可視的，以及哪個頂點(diǎn)在時刻t-i被封閉。將該組頂點(diǎn)(是變成可視的封閉頂點(diǎn))投影到用戶的視點(diǎn)平面上，給出了從被封閉的變成可視的用戶圖像的一部分。從而，該信息允許編碼器從被封閉的部分中區(qū)分出圖像的哪些部分變成可視的，從而對于圖像的這些部分，不需要在(最近的)之前圖像中發(fā)現(xiàn)相應(yīng)部分。對于這些部分，對位于這些區(qū)域中的在時刻t變?yōu)榭梢暤牟⑶以跁r刻t-Ι不是可視的圖像塊嘗試預(yù)測模式，是對編碼器的計算時間的浪費(fèi)。從而基于該封閉信息，用于塊模式的預(yù)測從而包括應(yīng)當(dāng)在幀內(nèi)編碼模式中編碼的僅在時刻t變?yōu)榭梢?，而在時刻t-i不可視的那些對象，而在時刻t-Ι和時刻t均可視的對象能夠在幀間編碼模式中預(yù)測。用于2D中央服務(wù)器應(yīng)用的塊碼預(yù)測，也能夠通過封閉信息的第一計算來獲得。在這種情況下，這能夠通過例如將每個對象歸于指示是否其屬于前景或背景的變量來完成。 這進(jìn)一步暗示屬于前景的對象在按比例或適合的2D視點(diǎn)中繪出，從而在它們重疊時重寫背景對象。背景對象之前從用戶視角不可見而現(xiàn)在變成可見的事實(shí)指示之前被封閉?？商鎿Q的方式包括再次使用虛擬z緩沖器，具有位于坐標(biāo)(0，0，0)的人工有利點(diǎn)，并且觀看方向是正z軸。假定將2D對象投影到Z=I的平面上，從而前景對象和它們的頂點(diǎn)會獲得準(zhǔn)確為I的z值，而背景的對象具有1+ ε的ζ值屬性，其中ε具有非常小的值，例如1Ε_7。在將對象放置在隨后會成為背景對象的另一對象前的情況下，該另一對象會接收到另一 ζ值。利用前述的ζ緩沖器機(jī)制，背景或不可視的信息于是不會顯示在用戶調(diào)整的2D視點(diǎn)上。圖4a示出了，對于3D應(yīng)用，首先從3D場景導(dǎo)出表示為ep3D的3D編碼參數(shù)，在該步驟后這些參數(shù)再次適用于合適的用戶視點(diǎn)，從而獲得每個用戶相關(guān)視頻序列的各個2D編碼參數(shù)。在隨后對2D視頻序列的編碼過程中，通過使用這些用戶相關(guān)的編碼參數(shù)作為輸入，由于根據(jù)壓縮增益現(xiàn)在能夠省略諸如塊匹配的傳統(tǒng)過程，并且對于特定塊不需要訪問全部可能的模式以確定最有效的模式，因此編碼過程被極大地簡化。圖4b示出了相似的過程，但僅是用于2D中央場景。再一次能夠獲得中央2D運(yùn)動矢量。這需要適用于用戶相關(guān)的平面。在這種情況下，不再有投影，僅轉(zhuǎn)換為圖像坐標(biāo)。這例如可包括平面比例縮放、旋轉(zhuǎn)、轉(zhuǎn)換和裁剪。如前所述，這樣的編碼相關(guān)參數(shù)可包括運(yùn)動矢量。在圖5a中示出了從3D場景信息計算用于客戶端用戶I的這些運(yùn)動矢量的更詳細(xì)的實(shí)施方式。再次在第一階段，從涉及3D空間中的特定對象的頂點(diǎn)的移動獲得3D運(yùn)動矢量。在下一步驟，與用戶I相關(guān)聯(lián)的圖像平面上的這些3D運(yùn)動矢量的投影對編碼器需要對用戶I相關(guān)的2D視頻序列進(jìn)行編碼的運(yùn)動矢量場給出非常好的預(yù)測。該投影可利用矩陣乘以矩陣Ml來進(jìn)行，該矩陣表示3D坐標(biāo)如何變?yōu)閷Ｓ玫挠脩鬒平面坐標(biāo)。該矩陣可以是由用戶提供的用戶視點(diǎn)信息的一部分，或是從其導(dǎo)出的一部分。該矩形相乘還用于及時從這些場合的中央3D視頻場景導(dǎo)出在時刻t和t-Ι的用于用戶I的各個視點(diǎn)或投影。將用于用戶I的產(chǎn)生的圖像或用戶相關(guān)視點(diǎn)表示為時刻t-Ι的image_cll和時刻t的image_cll。然后,將這些圖像以及用戶I的運(yùn)動矢量提供給編碼器。這避免了編碼器需要自己估計運(yùn)動矢量。已知的是，估計運(yùn)動矢量在計算功率方面要求更昂貴的處理。將直接從3D世界提取的附加信息提供給編碼器，會使編碼器的任務(wù)更簡單，從而其需要花費(fèi)較少的計算周期以進(jìn)行編碼過程，并且其會更快或者一個處理器能夠支持更多的流。圖5b示出了用于2D視頻應(yīng)用的相似步驟。圖6a示出了圖5a的方法的增強(qiáng)的實(shí)施方式，其目的是考慮一些封閉信息。如前所述，涉及用戶的2D用戶相關(guān)視點(diǎn)的部分/對象的封閉信息現(xiàn)在包含在時刻t-Ι在圖像中不可視、但在時刻t變?yōu)榭梢暤闹醒?D場景部分。還如前所述，由于在之前的幀中沒有相應(yīng)的塊，這些部分/對象最好以內(nèi)部模式進(jìn)行編碼。由于服務(wù)器計算機(jī)保持3D虛擬世界，并且由于其知道每個用戶正在觀看的視點(diǎn)，因此其能夠容易地推斷出場景的哪個部分在要進(jìn)行編碼的圖像中從被封閉的變成可視的。將該信息提供給編碼器再次避免了編碼器需要查找自己被封閉的圖像部分。對于這些部 分，編碼器從前面知道其需要在內(nèi)部模式中對這些部分進(jìn)行編碼，而無需運(yùn)行全部模式以僅確定這一點(diǎn)。對于圖像的每個部分，用技術(shù)術(shù)語是對于圖像塊的每個宏塊，其通常利用編碼器的計算功率的公平的量來決定哪個模式是最有效的模式。在這些實(shí)施方式中，根據(jù)其從3D場景獲得的信息，編碼器從該任務(wù)中減輕了一大部分。在圖6中通過附加模塊示出了上述內(nèi)容，其適于計算封閉信息，并進(jìn)一步適于將控制輸入?yún)?shù)提供給適于將運(yùn)動矢量投影到客戶端的圖像平面上的模塊，并且僅這些3D運(yùn)動矢量涉及在時刻t-Ι和t的情況下均可視、需要投影和使用的對象。還將該封閉信息進(jìn)一步提供給給編碼器自身，從而編碼器適于僅在碼間模式中對這些相同的部分進(jìn)行編碼，而在內(nèi)部模式中其需要對被封閉和現(xiàn)在變成可視的這些部分進(jìn)行編碼。對于這些封閉的部分，編碼器需要發(fā)送剩余信息，其中解碼器使用剩余信息以重構(gòu)不能被正確地預(yù)測的圖像部分。剩余信息也不需要太多的比特以進(jìn)行編碼。由于校正圖像的封閉部分不能取決于之前的圖像，并需要取決于圖像自身中的像素信息。因此，將這些部分稱為“幀內(nèi)”編碼部分，而將能夠取決于之前的編碼圖像的圖像部分稱為已被“幀間”編碼。圖7a示出了適于執(zhí)行前述方法的服務(wù)器。相對于在圖Ia中描述的用于中央3D應(yīng)用的現(xiàn)有技術(shù)服務(wù)器，該實(shí)施方式因此包括用于計算各個壓縮相關(guān)參數(shù)(對每個用戶分別表示為ep2D_l至ep2D_N)的部件。從而將這些各個參數(shù)提供給各自的適應(yīng)編碼器(表示為ENC1’至ENCN’)。這樣的編碼器適于接收這些參數(shù)以及需要被編碼的2D視頻序列，并在還未公開的第09290985. 2號歐洲專利申請中描述。如這里所述，相比于標(biāo)準(zhǔn)編碼器，這樣的編碼器更簡單。然后，將表示為編碼的2D視頻I至編碼的2D視頻N的各個編碼視頻流傳送給各用戶。圖7b示出了變形的實(shí)施方式，其中執(zhí)行如圖4a所示的對各個壓縮相關(guān)參數(shù)的生成。這意味著對通用的3D壓縮或編碼參數(shù)印D的生成，從而使用各個客戶端用戶視點(diǎn)信息，將其投影到各個2D用戶平面上，從而生成各個用戶相關(guān)壓縮參數(shù)ep2D_l至ep2D_N。該投影在表示為Pl至PN的各個設(shè)備上執(zhí)行。然而其它實(shí)施方式也是可行的，其中全部步驟利用一個中央處理器來執(zhí)行，從而不需要專用設(shè)備來執(zhí)行這些步驟。盡管結(jié)合特定裝置描述上述的本發(fā)明原則，可以明確理解的是，該描述僅用作示例，并不作為對本發(fā)明范圍的限制，本發(fā)明的范圍由所附權(quán)利要 求限定。
權(quán)利要求
1.一種將編碼視頻應(yīng)用(3D APP ;2DAPP)通過通信鏈路從服務(wù)器(SERVER)提供給各個客戶端(CLIENT1，…，CLIENTN)用戶的方法，所述方法包括以下步驟在所述服務(wù)器(SERVER)處更新涉及所述視頻應(yīng)用(3D APP ;2DAPP)的場景，由此導(dǎo)出包括一系列用于所述各個客戶端(CLIENT1，…，CLIENTN)的各個2D用戶相關(guān)視點(diǎn)的各個視頻流(2DVideol，…，2Dvide0N)，通過在所述服務(wù)器處從涉及所述視頻應(yīng)用(3D APP ；2DAPP)的所述場景的連續(xù)場景的子集提取的應(yīng)用對象頂點(diǎn)信息，計算至少一個各自的壓縮相關(guān)參數(shù)(ep2D_l，…，ep2D_N),在所述各個視頻流(2Dvideol,…，2DvideoN)的后續(xù)編碼過程中使用所述各自的壓縮相關(guān)參數(shù)(印2D_1，…，印2D_N)，從而生成各自的編碼視頻流(編碼的2DVideol，…，編碼的2DvideoN)以提供給所述各個客戶端用戶(CLIENT1，…，CLIENTN)。
2.根據(jù)權(quán)利要求I所述的方法，其中在所述服務(wù)器處，涉及所述視頻應(yīng)用的所述場景由所述服務(wù)器接收的至少一個信息(用于3D APP的CLIENT1動作，…，用于3D APP的CLIENTN動作；用于2D APP的CLIENT1動作，…，用于2D APP的CLIENTN動作)進(jìn)行更新，并與由所述各個客戶端提供的用于所述應(yīng)用(3D APP ;2DAPP)的至少一個客戶端動作相關(guān)。
3.根據(jù)權(quán)利要求I所述的方法，其中在所述服務(wù)器，涉及所述視頻應(yīng)用的所述場景由所述服務(wù)器接收的至少一個信息(用于3D APP的CLIENT1動作，…，用于3D APP的CLIENTN動作；用于2D APP的CLIENT1動作，…，用于2D APP的CLIENTN動作)進(jìn)行更新、與由用于所述應(yīng)用的至少一個客戶端應(yīng)用相關(guān)以及由通過另一通信鏈路與所述服務(wù)器耦合的至少一個其它客戶端提供。
4.根據(jù)前述權(quán)利要求1-3中任一項(xiàng)所述的方法，其中所述視頻應(yīng)用是2維視頻應(yīng)用(2DAPP),并且其中所述場景是2維場景。
5.根據(jù)前述權(quán)利要求1-4中任一項(xiàng)所述的方法，其中所述視頻應(yīng)用是3維視頻應(yīng)用(3DAPP)，其中所述場景是3維場景，并且通過將所述3維場景投影到各個用戶相關(guān)平面并結(jié)合考慮各個用戶相關(guān)的投影信息(CLIENTl_viewpoint,…，CLIENTN_viewpoint),獲得所述各個2維用戶相關(guān)視點(diǎn)。
6.根據(jù)前述權(quán)利要求1-5中任一項(xiàng)所述的方法，其中所述至少一個各自的壓縮相關(guān)參數(shù)包括至少一個各自的運(yùn)動矢量。
7.根據(jù)前述權(quán)利要求1-6中任一項(xiàng)所述的方法，其中所述至少一個各自的壓縮相關(guān)參數(shù)包括用于塊模式的各個預(yù)測。
8.根據(jù)前述權(quán)利要求6中任一項(xiàng)所述的方法，其中從來自所述服務(wù)器處所述場景的連續(xù)場景的所述子集的相同對象部分的頂點(diǎn)偏移信息，計算所述至少一個各自的壓縮相關(guān)參數(shù)(印2D_1，…，印2D_N)。
9.根據(jù)權(quán)利要求5和6所述的方法，其中通過從所述3D場景的連續(xù)場景的所述子集計算3D運(yùn)動矢量，隨后將所述3D運(yùn)動矢量投影到所述各個用戶相關(guān)平面的步驟，獲得至少一個各自的運(yùn)動矢量。
10.根據(jù)前述權(quán)利要求1-9中任一項(xiàng)所述的方法，其中在所述服務(wù)器處從之前的場景，并從由所述各個客戶端用戶(CLIENT1，. . . ,CLIENTN)傳送給所述服務(wù)器的各個用戶專用視點(diǎn)相關(guān)信息(CLIENTl_viewpoint,…，CLIENTN_viewpoint),更新涉及所述視頻應(yīng)用的所述場景。
11.根據(jù)權(quán)利要求5和10所述的方法，其中所述各個用戶專用視點(diǎn)相關(guān)信息(CLIENTl_viewpoint, CLIENTN_viewpoint)包括與所述各個客戶端用戶的顯示器相關(guān)的信息。
12.根據(jù)權(quán)利要求6和10所述的方法，其中所述各個用戶專用視點(diǎn)相關(guān)信息包括位置、觀看方向、觀看角度和傾斜角度彳目息。
13.根據(jù)前述權(quán)利要求1-12中任一項(xiàng)所述的方法，進(jìn)一步包括計算用于識別連續(xù)場景的所述子集的哪個對象是所述一系列各個2D用戶相關(guān)視點(diǎn)的一部分的封閉信息的步驟。
14.一種用于將視頻應(yīng)用(3D APP ;2DAPP)通過通信鏈路提供給與所述服務(wù)器耦合的各個客戶端(CLIENT1，…，CLIENTN)用戶的服務(wù)器，所述服務(wù)器適于更新涉及所述視頻應(yīng)用(3D APP ;2DAPP)的場景，所述服務(wù)器進(jìn)一步適于由此導(dǎo)出包括一系列用于所述各個客戶端(CLIENTI, ...,CLIENTN)的各個 2D 用戶相關(guān)視點(diǎn)的各個視頻流(2Dvideol，· · ·，2DvideoN)，以便從涉及所述視頻應(yīng)用(3D APP ；2DAPP)的所述場景的連續(xù)場景的子集提取的應(yīng)用對象頂點(diǎn)信息，計算至少一個各自的壓縮相關(guān)參數(shù)(印2D_1，…，ep2d_N)，在所述各個自視頻流(2Dvideol,…，2Dvide0N)的后續(xù)編碼過程中使用所述各自的壓縮相關(guān)參數(shù)(印2D_1，…，ep2D_N),從而生成各自的編碼視頻流(編碼的2Dvideol, ···,編碼的2DvideoN)以提供給所述各個客戶端用戶(CLIENT1，…，CLIENTN)。
15.根據(jù)權(quán)利要求14所述的服務(wù)器，其進(jìn)一步適于執(zhí)行根據(jù)權(quán)利要求2-13中任一項(xiàng)所述的方法。
全文摘要
一種將編碼視頻應(yīng)用(3D APP；2DAPP)通過通信鏈路從服務(wù)器(SERVER)提供給各個客戶端(CLIENT1，…，CLIENTN)用戶的方法，包括以下步驟在所述服務(wù)器(SERVER)處更新涉及所述視頻應(yīng)用(3D APP；2DAPP)的場景，由此導(dǎo)出包括一系列用于所述各個客戶端(CLIENT1，…，CLIENTN)的各個2D用戶相關(guān)視點(diǎn)的各個視頻流(2Dvideo1，…，2DvideoN)，通過在所述服務(wù)器處從涉及所述視頻應(yīng)用(3D APP；2DAPP)的所述場景的連續(xù)場景的子集提取的應(yīng)用對象頂點(diǎn)信息，計算至少一個各自的壓縮相關(guān)參數(shù)(ep2D_1，…，ep2D_N)，在所述各個視頻流(2Dvideo1，…，2DvideoN)的后續(xù)編碼過程中使用所述各自的壓縮相關(guān)參數(shù)(ep2D_1，…，ep2D_N)，從而生成各自的編碼視頻流(編碼的2Dvideo1，…，編碼的2DvideoN)以提供給所述各個客戶端用戶(CLIENT1，…，CLIENTN)。還公開了一種適于執(zhí)行該方法的服務(wù)器。
文檔編號H04N21/478GK102870412SQ201180021533
公開日2013年1月9日 申請日期2011年4月26日 優(yōu)先權(quán)日2010年4月29日
發(fā)明者D·德弗萊斯朔韋爾, P·費(fèi)舍爾 申請人:阿爾卡特朗訊公司