專利名稱：用于多視圖視頻編碼的基于語義的運動估計的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻編碼。更具體地說，本發(fā)明涉及執(zhí)行用于多視圖視頻編碼的運動估計。
版權(quán)通知/許可本專利文檔的部分公開包括受版權(quán)保護的材料。版權(quán)所有者不反對任何人拓制本專利文檔或?qū)＠_，因為它出現(xiàn)在專利和商標局專利文件或記錄中，但在其他方面無論如何保留所有版權(quán)權(quán)利。下面通知應用于如下所述以及附圖中的軟件和數(shù)據(jù)Copyright2004，SonyElectronics，Inc.，保留所有權(quán)利。
背景技術(shù)：
已經(jīng)證明運動估計和補償是減少視頻序列總比特率的有效方法。運動估計是用于估計幀之間圖像采樣(例如像素)運動的過程。使用運動估計，編碼器試圖將一個幀中的像素塊與另一個幀中相應的像素相匹配。在給定搜索區(qū)域中發(fā)現(xiàn)最相似塊之后，相應像素位置的變化接近于并表示為運動數(shù)據(jù)，諸如運動向量。運動補償是用于確定預測圖像并計算預測圖像和原始圖像之間誤差的過程。使用運動補償，編碼器將運動數(shù)據(jù)應用到圖像，并計算預測圖像。預測圖像和輸入圖像之間的不同稱為誤差信號。
常規(guī)運動估計和補償方法已經(jīng)由各種編碼器(例如MPEG-x編碼器、H.26x編碼器等)所使用，實現(xiàn)單個視圖視頻序列的有效交叉時間壓縮。不過，雖然從壓縮的角度看這些方法產(chǎn)生的匹配可能是有效的，但是因為它們不需要表示視頻序列中底層的“真實”運動，所以它們通常在語義上不正確。
發(fā)明內(nèi)容
描述了用于多視圖序列視頻編碼的運動估計方法和設(shè)備。示例性運動估計方法包括標識多視圖視頻序列第一幀中的一個或多個像素，以及基于有效編碼和語義精確度之間期望相關(guān)性的指示，限制與多視圖視頻序列第二幀相關(guān)聯(lián)的搜索范圍。語義精確度取決于捕獲多視圖視頻序列的攝像機幾何構(gòu)型(configuration)的使用。該方法還包括在限制的搜索范圍內(nèi)搜索第二圖像，以匹配在第一幀中標識的像素。
從下面給出的詳細描述和本發(fā)明各種實施例的附圖中，將更全面地理解本發(fā)明，不過，這些實施例不應用于將本發(fā)明限制在具體實施例上，而只是用于解釋和理解。
圖1是編碼系統(tǒng)一個實施例的框圖。
圖2是用于對多視圖視頻序列執(zhí)行運動估計的過程的一個實施例的流程圖。
圖3是使用播種方法定義運動估計的搜索范圍的過程的一個實施例的流程圖。
圖4舉例說明多視圖視頻序列的兩個示例幀。
圖5舉例說明對多視圖視頻序列嘗試用不同運動估計方法所獲得的比特率的比較。
圖6是適用于實踐本發(fā)明實施例的計算機環(huán)境的框圖。
具體實施例方式
在本發(fā)明實施例的下列詳細描述中，附圖中相同標號指示相同元件，并通過舉例說明的方式，示出可實踐本發(fā)明的具體實施例。這些實施例描述得相當詳細，以使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)嵺`本發(fā)明，并且要理解，可利用其他實施例，并可在不脫離本發(fā)明范圍的情況下進行邏輯的、機械的、電子的、功能的和其他變化。因此，下列詳細描述沒有限制的意思，并且本發(fā)明的范圍僅由所附權(quán)利要求書定義。
從本發(fā)明的操作概述開始，圖1舉例說明了編碼系統(tǒng)100的一個實施例。編碼系統(tǒng)100根據(jù)諸如MPEG-x和H-26x等視頻編碼標準執(zhí)行多視圖編碼。編碼系統(tǒng)100可用硬件、軟件或二者的組合來實現(xiàn)。在軟件實現(xiàn)中，可以在各種常規(guī)計算機可讀介質(zhì)上存儲和分配編碼系統(tǒng)100。在硬件實現(xiàn)中，可用數(shù)字邏輯(例如集成電路)實現(xiàn)編碼系統(tǒng)100的模塊?？稍谟嬎銠C外設(shè)中的專用數(shù)字邏輯裝置中優(yōu)化一些功能，以從主計算機上卸載處理負擔。
編碼系統(tǒng)100包括信號接收器102、運動估計器104、運動補償器106、編碼模塊108、緩沖器110和幀重建器112。幀接收器102負責接收帶有多視圖視頻序列的視頻信號，并將多視圖視頻序列中所包含的各個幀轉(zhuǎn)發(fā)到運動估計器104。
運動估計器104負責將多視圖視頻序列的當前幀與從以前幀重建的并存儲在緩沖器110中的幀相比較，并估計當前幀相對于以前幀的運動。具體地說，運動估計器104搜索重建的以前幀，以匹配當前幀的每個像素(或像素塊)，來計算每個像素或塊的運動向量。所得到的運動向量傳遞到編碼系統(tǒng)100的輸出。
運動補償器106負責讀取運動向量和重建的以前幀，計算當前幀的預測圖像，并從當前幀中減去預測圖像，結(jié)果產(chǎn)生剩余幀。
編碼模塊108負責使剩余幀經(jīng)歷各種編碼操作，以壓縮信號，并將壓縮信號傳遞到編碼系統(tǒng)100的輸出。編碼操作的示例可包括，例如離散余弦變換(DCT)與自適應量化相結(jié)合、差分編碼、游程長度編碼(RLC)、可變長度編碼(VLC)等。
幀重建器112負責將剩余幀加到預測圖像上，以獲得重建的當前幀，并在緩沖器110中存儲重建的當前幀，以由運動估計器104和運動補償器106的進一步使用。
在一個實施例中，運動估計器104包括塊標識器114、搜索范圍確定器116、搜索器118和運動向量計算器120。塊標識器114負責從信號接收器102接收多視圖視頻序列的幀，將該當前幀分成塊(或各個像素)，并將每個塊(或像素)傳遞到搜索范圍確定器116。
搜索范圍確定器116負責在正在編碼的多視圖視頻序列的以前幀內(nèi)定義搜索范圍，以為了匹配塊執(zhí)行搜索。搜索范圍確定器116基于用于捕獲多視圖序列的攝像機幾何構(gòu)型來確定搜索范圍。在用于確定搜索范圍時，攝像機的幾何構(gòu)型定義多視圖的幾何限制，其能夠使匹配的語義精確度更高，并有助于降低搜索的復雜性。
在一個實施例中，通過核面幾何描述多視圖幾何限制。具體地說，根據(jù)核面幾何，對于觀看相同景物的一對視圖來說，真實語義匹配沿核線(epipolar line)對應于第二視圖中像素的第一視圖中的任何像素。因此，搜索確定器116使用以前幀中核線的位置來確定相關(guān)塊的搜索范圍。更具體地說，搜索確定器116基于有效編碼和匹配的語義精確度之間的期望相關(guān)性來確定如何相對于核線的位置限制搜索范圍。也就是說，對于較高語義精確度，搜索確定器116將搜索范圍限制為較接近核線。對于較高的編碼有效性，搜索確定器116將搜索范圍定義為覆蓋核線周圍的較大區(qū)域。在一個實施例中，有效編碼和匹配的語義精確度之間的期望相關(guān)性由用戶指定(例如，根據(jù)編碼系統(tǒng)100所用于的應用的需要)，并且可在任一時間進行修改。
搜索器118負責在確定的搜索范圍內(nèi)為了匹配塊搜索以前幀，并且運動向量計算器120負責計算該塊的運動向量。
因此，編碼系統(tǒng)100將多視圖幾何限制與基于塊的匹配結(jié)合起來，以實現(xiàn)更好的匹配語義精確度。這里將該方法稱為基于語義的運動估計。另外，編碼系統(tǒng)100可以改變限制的硬度，以允許用戶控制有效壓縮和匹配的語義精確度之間的相關(guān)性。
圖2和圖3是根據(jù)本發(fā)明的各種實施例可由圖1所示運動估計器104執(zhí)行的運動估計過程的流程圖。該過程可由可包括硬件(例如電路、專用邏輯等)、軟件(諸如在通用計算機系統(tǒng)或?qū)Ｓ脵C器上運行)、或二者的組合的處理邏輯來執(zhí)行。對于軟件實現(xiàn)的過程來說，流程圖的描述能夠使本領(lǐng)域?qū)I(yè)技術(shù)人員開發(fā)這種包括在適當配置的計算機(計算機的處理器執(zhí)行來自包括存儲器的計算機可讀介質(zhì)的指令)上執(zhí)行該過程的指令的程序。計算機可執(zhí)行指令可用計算機編程語言來編寫，或可用固件邏輯來實施。如果用遵循公認標準的編程語言編寫，那么這種指令可以在各種硬件平臺上執(zhí)行，并用于到各種操作系統(tǒng)的接口。此外，本發(fā)明實施例的描述沒有參考任何特定編程語言。要理解到，可用各種編程語言來實現(xiàn)本文所描述的發(fā)明。此外，在本領(lǐng)域中，通常說到以一種形式或另一種形式的軟件(例如程序、過程、進程、應用、模塊、邏輯等)用來采取行動或產(chǎn)生結(jié)果。這種表達只不過是說明軟件是由使計算機處理器執(zhí)行動作或產(chǎn)生結(jié)果的計算機來執(zhí)行的簡述方式。要理解到，在不脫離本發(fā)明范圍的情況下，可將更多或更少的操作結(jié)合到圖2和圖3所說明的過程中，并且這里所示和描述的塊排列并沒有暗示特定順序。
圖2是用于對多視圖視頻序列執(zhí)行運動估計的過程200的一個實施例的流程圖。
參考圖2，處理邏輯始于標識多視圖視頻序列第一幀中的一個或多個像素(處理塊202)。第一幀是當前在處理的幀。一個或多個像素可以表示塊或單個像素。
在處理塊204中，處理邏輯訪問多視圖視頻序列的第二幀，并計算第二幀中對應于第一幀上述像素的核線。第二幀是以前處理的幀(例如由運動估計器104重建并存儲在緩沖器110中)。在一個實施例中，其中對第一幀的各個像素執(zhí)行運動估計，核線對應相關(guān)像素。在另一個實施例中，其中對第一幀中的塊執(zhí)行運動估計，核線對應相關(guān)塊中預定義位置的像素。在一個實施例中，利用基本矩陣(已知的F矩陣)計算核線，這是核面幾何的代數(shù)表示。核線的計算可表示為l1＝Fx0其中l(wèi)1是對應第一圖像中像素x0的第二圖像中的核線。
本領(lǐng)域?qū)I(yè)技術(shù)人員要理解，在不缺少一般性原則的情況下，可以使用任何其他已知的方法計算核線。接下來，處理邏輯利用所計算的核線來定義搜索范圍，以找到第二圖像中的匹配像素。具體地說，在處理塊206中，處理邏輯基于有效編碼和匹配的語義精確度之間期望相關(guān)性的指示，來限制相對于核線的搜索范圍。具體地說，期望相關(guān)性定義搜索范圍到核線的接近度(例如，如果語義精確度的重要性超過有效編碼的重要性，則處理邏輯將搜索范圍限制為更接近核線，反之亦然)。在一個實施例中，有效編碼和語義精確度之間期望相關(guān)性的指示由用戶通過處理邏輯提供的用戶界面來指定。在一個實施例中，原始種子用于進一步相對于核線上具體位置限制搜索范圍，下面將進行更詳細描述。在另一個實施例中，不使用種子。而是，調(diào)整(rectify)第一和第二幀以滿足幀中任一像素的性質(zhì)，在另一幀中的相應核線必須是水平的，并且掃描線與像素的位置對準。調(diào)整是計算單應性或兩個幀中每個幀的2D投影扭曲(warp)并應用這些扭曲的過程?？墒褂酶鞣N算法來計算調(diào)整單應性，并由此扭曲這些幀。
在處理塊208中，處理邏輯在處理塊208確定的搜索范圍內(nèi)搜索第二幀，以匹配來自第一幀的一個或多個像素。
然后，在處理塊210中，處理邏輯基于像素位置的變化計算運動向量。
圖3是使用播種方法為運動估計定義搜索范圍的過程300的一個參考圖3，處理邏輯開始于從用戶那接收有效編碼和匹配的語義精確度之間期望相關(guān)性的指示(處理塊302)。在一個實施例中，通過向用戶傳遞允許用戶指示這兩個因子之間期望相關(guān)性的用戶界面來接收指示。例如，用戶界面可給出兩個因子的累積權(quán)童或百分比(例如100％)，并允許用戶在兩個因子之間分配累積權(quán)重或百分比(例如，用戶可將20％分配給有效編碼因子而將80％分配給語義精確度因子)。備選地，用戶界面可提供由用戶激活的滑尺，以指定兩個因子之間的期望相關(guān)性。
在處理塊304中，處理邏輯為正編碼的塊找到核線上原始種子的位置。在一個實施例中，利用差異向量找到原始種子。通過立體算法對第一圖像的每個像素計算差異向量，以在另一視圖中找到語義上最精確的匹配，另一視圖以相同快照及時但從不同角度捕獲同一景物。當可得到這種差異向量時，相關(guān)差異向量用作原始種子。
在處理塊306中，處理邏輯基于有效編碼和匹配的語義精確度之間的期望相關(guān)性，確定原始種子和核線周圍窗口的參數(shù)。在一個實施例中，辨別正編碼的塊的最佳匹配的度量可表示如下mv→best=argmin→mv∈Sdlspw[SAD(mv→)+λx.mvbitsx(mvdx)+λy.mvbitsy(mvdy)]]]>其中mvxd、mvyd對應于從差異向量播種位置的運動向量位移，分別平行和垂直于核線。Swdisp對應于由差異向量提供的種子位置周圍搜索窗口(大小w×w)中所有候選預測值的集合。SAD表示要編碼的塊和由候選 指示的預測值塊之間絕對差的逐像素總和。mvbits(mvd)表示對差分運動向量(其是運動向量大小的增函數(shù))進行編碼所需的比特數(shù)。λ是對應于目標質(zhì)量的適當拉格朗日乘子。
通過減小λx相對于λy的相對值，處理邏輯可以強制匹配更接近核線，確保更好的語義正確性。λy＝∞的情況對應于沿核線的搜索。該特殊情況涉及只使用多視圖幾何形狀來獲得核線，排除了獲得差異向量的需要。
將差異向量用作運動搜索的種子使得種子周圍的搜索窗口相當小，并使匹配具有好的壓縮效率和語義精確度。另外，使用較小的搜索窗口使得搜索過程復雜度降低了。此外，因為好的語義匹配通常接近核線，因此搜索主要變成1-D(而不是標準運動估計中的2-D搜索)，由此進一步降低了搜索過程的復雜度。
圖4舉例說明多視圖視頻序列兩個示例幀。對于幀402中正在編碼的點來說，在以前幀404中找到差異種子。窗口406舉例說明常規(guī)的運動估計，其中在差異種子周圍定義的搜索范圍不基于核線的位置限制。窗口408舉例說明了結(jié)合核面幾何限制以影響在差異種子周圍并接近于核線定義的搜索范圍的運動估計。窗口410舉例說明了通過將搜索范圍限定在沿核線而把高語義精確度作為目標的運動估計。
圖5舉例說明對多視圖視頻序列嘗試不同運動估計方法所獲得的比特率的比較。第一個柱形示出標準運動估計情況下的比特率，其中運動搜索將差異向量用作運動搜索的種子。該方法使用種子周圍的小搜索窗口，并提供具有好壓縮效率的匹配。其對應于當水平和垂直拉格朗日乘子的相對權(quán)重相似時的情況，產(chǎn)生最大壓縮。
柱形2和柱形3示出的情況是極其偏向(bias towards)保持匹配接近于核線(較大的水平拉格朗日乘子)。這些使得語義精確度更好，因為匹配限制于更接近核限制，不過從而降低了壓縮效率。
圖6的下列描述打算提供計算機硬件和其他適于實現(xiàn)本發(fā)明的操作組件的概述，而不打算限定可適用的環(huán)境。圖6舉例說明適于用作編碼系統(tǒng)100或只用作圖1運動估計器104的計算機系統(tǒng)的一個實施例。
計算機系統(tǒng)640包括耦合到系統(tǒng)總線665的處理器650、存儲器655和輸入/輸出性能660。存儲器655配置為存儲當由處理器650執(zhí)行時完成這里所述方法的指令。輸入/輸出660也包括各種類型的計算機可讀介質(zhì)，包括可由處理器650訪問的任何類型的存儲裝置。本領(lǐng)域?qū)I(yè)技術(shù)人員會立即認識到，術(shù)語“計算機可讀介質(zhì)”還包括對數(shù)據(jù)信號進行編碼的載波。還要注意的是，系統(tǒng)640由在存儲器655中執(zhí)行的操作系統(tǒng)軟件控制。輸入/輸出和相關(guān)的介質(zhì)660存儲本發(fā)明操作系統(tǒng)和方法的計算機可執(zhí)行指令。圖1所示運動估計器104可以是耦合到處理器650的單獨組件，或者可以用由處理器650執(zhí)行的計算機可執(zhí)行指令實施。在一個實施例中，計算機系統(tǒng)640可為ISP(因特網(wǎng)服務供應商)的一部分，或通過輸入/輸出660耦合到ISP以通過因特網(wǎng)傳送或接收圖像數(shù)據(jù)。非常明顯的是，本發(fā)明不限于因特網(wǎng)訪問和基于因特網(wǎng)Web的站點；也考慮直接耦合以及專用網(wǎng)絡(luò)。
要理解到，計算機系統(tǒng)640是許多可能的具有不同體系結(jié)構(gòu)的計算機系統(tǒng)的一個示例。典型的計算機系統(tǒng)通常至少會包括處理器、存儲器和將存儲器耦合到處理器的總線。本領(lǐng)域的專業(yè)技術(shù)人員將立即理解到，本發(fā)明可以用其他包括多處理器系統(tǒng)、小型計算機、大型計算機等計算機系統(tǒng)配置實踐。本發(fā)明也可在分布式計算環(huán)境中實踐，在這種環(huán)境中由通過通信網(wǎng)絡(luò)鏈接的遠程處理裝置執(zhí)行任務。
已經(jīng)描述了選擇最佳比例因子的各種方面。雖然這里已經(jīng)舉例說明和描述了具體實施例，但是本領(lǐng)域的那些專業(yè)技術(shù)人員將要理解到，實現(xiàn)相同目的而計算的任何配置可代替所示的具體實施例。該申請意欲含蓋本發(fā)明的任何修改或變體。
權(quán)利要求
1.一種運動估計方法，包括標識多視圖視頻序列第一幀中的一個或多個像素；基于有效編碼和語義精確度之間期望相關(guān)性的指示，限制與所述多視圖視頻序列第二幀相關(guān)聯(lián)的搜索范圍，所述語義精確度取決于捕獲所述多視圖視頻序列的攝像機的幾何構(gòu)型的使用；以及在限制的搜索范圍內(nèi)搜索第二幀，以匹配在第一幀中標識的所述一個或多個像素。
2.如權(quán)利要求1所述的方法，其中相對于對應于第一幀中所述一個或多個像素的核線的第二幀中的位置，限制所述搜索范圍，相應核線的位置取決于所述攝像機的所述幾何構(gòu)型。
3.如權(quán)利要求1所述的方法，其中第一幀中的所述一個或多個像素表示塊。
4.如權(quán)利要求2所述的方法，還包括計算第二幀中的所述核線。
5.如權(quán)利要求4所述的方法，其中利用基本矩陣計算所述核線。
6.如權(quán)利要求2所述的方法，其中限制所述搜索范圍包括找到所述核線上原始種子的位置；以及基于有效編碼和語義精確度之間的所述期望相關(guān)性，確定覆蓋所述原始種子和所述核線的窗口的參數(shù)。
7.如權(quán)利要求6所述的方法，其中利用差異向量找到所述原始種子的位置。
8.如權(quán)利要求1所述的方法，還包括接收來自用戶的有效編碼和語義精確度之間所述期望相關(guān)性的所述指示。
9.如權(quán)利要求8所述的方法，包括向用戶傳遞便于用戶輸入有效編碼和語義精確度之間所述期望相關(guān)性的用戶界面。
10.如權(quán)利要求9所述的方法，其中所述用戶界面提供滑尺，以使所述用戶能夠指定有效編碼和語義精確度之間所述期望相關(guān)性。
11.如權(quán)利要求9所述的方法，其中所述用戶界面允許所述用戶在任何時候修改之前指定的有效編碼和語義精確度之間的相關(guān)性。
12.一種計算機可讀介質(zhì)，其提供指令，當在處理器上執(zhí)行所述指令時使所述處理器執(zhí)行一種方法，所述方法包括標識多視圖視頻序列第一幀中的一個或多個像素；基于有效編碼和語義精確度之間期望相關(guān)性的指示，限制與所述多視圖視頻序列的第二幀相關(guān)聯(lián)的搜索范圍，所述語義精確度取決于捕獲所述多視圖視頻序列的攝像機的幾何構(gòu)型的使用；以及在限制的搜索范圍內(nèi)搜索第二幀，以匹配在第一幀中標識的所述一個或多個像素。
13.如權(quán)利要求12所述的計算機可讀介質(zhì)，其中相對于對應于第一幀中所述一個或多個像素的核線的第二幀中的位置，限制所述搜索范圍，相應核線的位置取決于所述攝像機的所述幾何構(gòu)型。
14.如權(quán)利要求12所述的計算機可讀介質(zhì)，其中第一幀中的所述一個或多個像素表示塊。
15.如權(quán)利要求13所述的計算機可讀介質(zhì)，其中所述方法還包括計算第二幀中的所述核線。
16.如權(quán)利要求15所述的計算機可讀介質(zhì)，其中利用基本矩陣計算所述核線。
17.如權(quán)利要求13所述的計算機可讀介質(zhì)，其中限制所述搜索范圍包括找到所述核線上原始種子的位置；以及基于有效編碼和語義精確度之間的所述期望相關(guān)性，確定覆蓋所述原始種子和所述核線的窗口的參數(shù)。
18.如權(quán)利要求17所述的計算機可讀介質(zhì)，其中利用差異向量找到所述原始種子的位置。
19.如權(quán)利要求12所述的計算機可讀介質(zhì)，其中所述方法還包括向用戶傳遞便于用戶輸入有效編碼和語義精確度之間所述期望相關(guān)性的用戶界面。
20.一種計算機化系統(tǒng)，包括存儲器；以及耦合到所述存儲器的至少一個處理器，所述至少一個處理器執(zhí)行一組指令，所述指令使所述至少一個處理器標識多視圖視頻序列第一幀中的一個或多個像素；基于有效編碼和語義精確度之間期望相關(guān)性的指示，限制與所述多視圖視頻序列第二幀相關(guān)聯(lián)的搜索范圍，所述語義精確度取決于捕獲所述多視圖視頻序列的攝像機的幾何構(gòu)型的使用；以及在限制的搜索范圍內(nèi)搜索第二幀，以匹配在第一幀中標識的所述一個或多個像素。
21.如權(quán)利要求20所述的系統(tǒng)，其中相對于對應于第一幀中所述一個或多個像素的核線的第二幀中的位置，限制所述搜索范圍，相應核線的位置取決于所述攝像機的所述幾何構(gòu)型。
22.如權(quán)利要求20所述的系統(tǒng)，其中第一幀中的所述一個或多個像素表示塊。
23.如權(quán)利要求21所述的系統(tǒng)，其中所述處理器將通過找到所述核線上原始種子的位置來限制所述搜索范圍，并基于有效編碼和語義精確度之間的所述期望相關(guān)性，確定覆蓋所述原始種子和所述核線的窗口的參數(shù)。
24.如權(quán)利要求23所述的系統(tǒng)，其中所述處理器將利用差異向量找到所述原始種子的位置。
25.如權(quán)利要求20所述的系統(tǒng)，其中所述處理器還將向用戶傳遞便于用戶輸入有效編碼和語義精確度之間所述期望相關(guān)性的用戶界面。
26.一種運動估計設(shè)備，包括塊標識器，標識多視圖視頻序列第一幀中的一個或多個像素；搜索范圍確定器，基于有效編碼和語義精確度之間期望相關(guān)性的指示，限制與所述多視圖視頻序列第二幀相關(guān)聯(lián)的搜索范圍，所述語義精確度取決于捕獲所述多視圖視頻序列的攝像機的幾何構(gòu)型的使用；以及搜索器，在限制的搜索范圍內(nèi)搜索第二圖像，以匹配在第一幀中標識的所述一個或多個像素。
27.如權(quán)利要求26所述的設(shè)備，其中相對于對應于第一幀中所述一個或多個像素的核線的第二幀中的位置，限制所述搜索范圍，相應核線的位置取決于所述攝像機的所述幾何構(gòu)型。
28.如權(quán)利要求26所述的設(shè)備，其中第一幀中的所述一個或多個像素表示塊。
29.如權(quán)利要求27所述的設(shè)備，其中所述搜索范圍確定器還將計算第二幀中的所述核線。
30.如權(quán)利要求27所述的設(shè)備，其中所述搜索范圍確定器還將通過如下方式限制所述搜索范圍找到所述核線上原始種子的位置，并基于有效編碼和語義精確度之間的所述期望相關(guān)性，確定覆蓋所述原始種子和所述核線的窗口的參數(shù)。
31.如權(quán)利要求26所述的設(shè)備，其中所述搜索范圍確定器還將向用戶傳遞便于用戶輸入有效編碼和語義精確度之間所述期望相關(guān)性的用戶界面。
全文摘要
描述用于多視圖序列視頻編碼的運動估計方法和設(shè)備。在一個實施例中，運動估計方法包括標識多視圖視頻序列第一幀中的一個或多個像素，以及基于有效編碼和語義精確度之間期望相關(guān)性的指示，限制與多視圖視頻序列第二幀相關(guān)聯(lián)的搜索范圍。語義精確度取決于捕獲多視圖視頻序列的攝像機的幾何構(gòu)型的使用。該方法還包括在限制的搜索范圍內(nèi)搜索第二幀以匹配在第一幀中標識的像素。
文檔編號H04N11/04GK1864406SQ200480028773
公開日2006年11月15日 申請日期2004年8月2日 優(yōu)先權(quán)日2003年8月7日
發(fā)明者S·維杜拉, R·普里, A·J·塔巴塔拜 申請人:索尼電子有限公司