專利名稱：用于編碼和解碼立體視頻的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于一種對(duì)立體(stereoscope)視頻編碼和解碼的方法和設(shè)備。更特別地，本發(fā)明涉及一種方法和設(shè)備，用于通過(guò)使用傳統(tǒng)的MPEG-4MAC(多重輔助分量)，將立體視頻編碼和解碼為編碼流。
背景技術(shù)：
作為傳統(tǒng)的立體視頻編碼方法，已經(jīng)開(kāi)發(fā)出MVP(多視圖剖面)方法，用于擴(kuò)展MPEG-2技術(shù)中的二維視頻編碼技術(shù)。關(guān)于MVP方法，用于通過(guò)使用運(yùn)動(dòng)補(bǔ)償執(zhí)行編碼的基礎(chǔ)層的編碼結(jié)構(gòu)對(duì)應(yīng)于MPEG-2MP(主剖面)的編碼結(jié)構(gòu)，因此，當(dāng)傳統(tǒng)的二維視頻解碼器重構(gòu)基礎(chǔ)層的數(shù)據(jù)時(shí)，重構(gòu)左和右圖像之一，從而保持與現(xiàn)有的二維視頻解碼器系統(tǒng)的兼容性。增強(qiáng)層的編碼器使用右和左圖像之間提供的相關(guān)性信息執(zhí)行編碼。這是通過(guò)使用時(shí)間可擴(kuò)展性(temporal scalability)用于執(zhí)行編碼的方法，并且MPEG-4標(biāo)準(zhǔn)也已經(jīng)使用立體視頻編碼定義了時(shí)間可擴(kuò)展性。
上述現(xiàn)有技術(shù)已經(jīng)由標(biāo)題為“Digital 3D/stereoscope video compensationtechnique utilizing two disparity estimates(利用兩個(gè)不一致估計(jì)的數(shù)字3D/立體視頻補(bǔ)償技術(shù))”的美國(guó)專利no.5,612,735公開(kāi)。關(guān)于時(shí)間可擴(kuò)展性基礎(chǔ)上的專利‘735，基礎(chǔ)層使用運(yùn)動(dòng)補(bǔ)償算法和DCT(離散余弦變換)基礎(chǔ)算法以對(duì)左眼的圖像編碼，而增強(qiáng)層使用基礎(chǔ)層和增強(qiáng)層之間的不一致(disparity)信息以對(duì)右眼的圖像編碼，而沒(méi)有對(duì)右眼圖像的運(yùn)動(dòng)補(bǔ)償。
同樣地，關(guān)于標(biāo)題為“Digital 3D/stereoscope video compensation techniqueutilizing disparity and motion compensated prediction(利用不一致和運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)的數(shù)字3D/立體視頻補(bǔ)償技術(shù))”的美國(guó)專利no.5,619,256，基礎(chǔ)層使用運(yùn)動(dòng)補(bǔ)償算法和DCT基礎(chǔ)算法以對(duì)左眼的圖像編碼，而增強(qiáng)層在時(shí)間可擴(kuò)展性基礎(chǔ)上，以類似于專利‘735的方式，使用關(guān)于右眼圖像間的運(yùn)動(dòng)補(bǔ)償和基礎(chǔ)層和增強(qiáng)層之間的不一致的信息，對(duì)右眼的圖像編碼。通過(guò)使用運(yùn)動(dòng)和不一致信息，這種方法通過(guò)執(zhí)行編碼達(dá)到有效的壓縮率，但是該方法具有復(fù)雜的編碼結(jié)構(gòu)，并且以硬連線的方式難于實(shí)現(xiàn)該方法，并且處理HDTV圖像時(shí)該方法要求大量的計(jì)算。
因此，在通過(guò)使用時(shí)間可擴(kuò)展性對(duì)立體視頻編碼的情況下，為簡(jiǎn)化右和左圖像之間的同步問(wèn)題，可能(problematically)需要額外的多路復(fù)用器，用于作為單一的流發(fā)射分別由基礎(chǔ)層和增強(qiáng)層輸出的編碼流。
傳統(tǒng)的多視圖視頻編碼方法包括一種方法，用于通過(guò)使用包含象素的不一致向量值的不一致圖(map)執(zhí)行編碼，該方法已經(jīng)由標(biāo)題為“Method andapparatus for compressing multi-view video(用于壓縮多視圖視頻的方法和裝置)”的美國(guó)專利no.6,055,274公開(kāi)。
專利‘274對(duì)第一圖像(左圖像)的全部圖像數(shù)據(jù)編碼，并且從第一圖像和第二圖像(右圖像)產(chǎn)生包含用于各象素的不一致向量值的不一致圖，以執(zhí)行對(duì)運(yùn)動(dòng)補(bǔ)償?shù)牟灰恢孪蛄康木幋a，并且使用編碼后重構(gòu)的第一圖像來(lái)不一致補(bǔ)償重構(gòu)的不一致圖，并且對(duì)產(chǎn)生的第二圖像和輸入的第二原始圖像之間的殘留(residual)圖像數(shù)據(jù)編碼。這種方法可能輸出多個(gè)編碼流，并且另外需要多路復(fù)用器用于以單一流的格式發(fā)射它們。
為了使用傳統(tǒng)的用于二維圖像的MPEG編解碼器，并且執(zhí)行立體視頻中右和左圖像間的簡(jiǎn)單同步，在Andrew Woods、Tom Docherty和Rolf Koch的“3D video standards conversion，stereoscopic displays and applications”的學(xué)報(bào)(VII，California，F(xiàn)eb.1996，Proceedings of the SPIE vol.1653A)中的五種方法中，已經(jīng)提出用于右和左圖像分別減少1/2并將它們轉(zhuǎn)換為二維標(biāo)準(zhǔn)圖像的方法。
上面的技術(shù)也已經(jīng)在標(biāo)題為“Stereoscopic coding system(立體編碼系統(tǒng))”的美國(guó)專利no.5,633,682中公開(kāi)。
如‘682公開(kāi)的發(fā)明選擇奇場(chǎng)圖像用于左眼的圖像，并選擇偶場(chǎng)圖像用于右眼的圖像，從而轉(zhuǎn)換它們?yōu)閱我粓D像，因此關(guān)于現(xiàn)存的二維圖像對(duì)轉(zhuǎn)換的單一圖像執(zhí)行MPEG編碼。這個(gè)方法考慮快門(mén)(shuttering)方法，用于在顯示立體視頻的情況下交替顯示右和左圖像，并且該方法不適合于同時(shí)顯示右和左圖像的偏振顯示。

發(fā)明內(nèi)容
本發(fā)明的優(yōu)勢(shì)是對(duì)使用現(xiàn)有的MPEG-4編碼技術(shù)和系統(tǒng)保持兼容性，并且最小化右和左圖像間同步的復(fù)雜度。
本發(fā)明的另一個(gè)優(yōu)勢(shì)是選擇性地控制圖像的質(zhì)量并且根據(jù)圖像的重要性或者復(fù)雜度對(duì)圖像編碼，從而改進(jìn)編碼效率。
在本發(fā)明的第一方面中，一種用于對(duì)包括第一和第二圖像的立體視頻編碼的方法包含(a)對(duì)第一圖像編碼，并且輸出第一圖的量化的視頻對(duì)象和運(yùn)動(dòng)向量；(b)接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；以及(c)根據(jù)基于象素的水平不一致圖和運(yùn)動(dòng)向量，對(duì)水平不一致圖編碼并輸出量化的水平不一致圖。
在本發(fā)明的第二方面中，一種用于對(duì)包括第一和第二圖像的立體視頻編碼的方法包含(a)對(duì)第一圖像編碼，并且輸出第一圖的量化的視頻對(duì)象和運(yùn)動(dòng)向量；(b)對(duì)(a)中輸出的量化的視頻對(duì)象解碼，并且重構(gòu)第一圖像；(c)接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；(d)根據(jù)基于象素的水平不一致圖和運(yùn)動(dòng)向量，對(duì)水平不一致圖編碼并輸出量化的水平不一致圖；(e)重構(gòu)(d)中輸出的量化的水平不一致圖，并且輸出重構(gòu)的水平不一致圖；(f)根據(jù)(b)中重構(gòu)的第一圖像的象素值和(e)中重構(gòu)的水平不一致圖的水平不一致向量值，執(zhí)行不一致補(bǔ)償并且輸出不一致補(bǔ)償?shù)牡诙D像的象素值；以及(g)對(duì)第二圖像的象素值和(f)中輸出的不一致補(bǔ)償?shù)牡诙D像的象素值執(zhí)行殘留過(guò)程，以輸出亮度殘留紋理，并且對(duì)亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
在本發(fā)明的第三方面中，一種用于對(duì)包括第一和第二圖像的立體視頻編碼的方法包含(a)對(duì)第一圖像編碼，并且輸出第一圖像的量化的視頻對(duì)象和運(yùn)動(dòng)向量；(b)對(duì)(a)中輸出的量化的視頻對(duì)象解碼，并且重構(gòu)第一圖像；(c)接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖和基于象素的垂直不一致圖；(d)根據(jù)基于象素的水平不一致圖和運(yùn)動(dòng)向量，對(duì)水平不一致圖編碼并輸出量化的水平不一致圖；(e)根據(jù)基于象素的垂直不一致圖和運(yùn)動(dòng)向量，對(duì)垂直不一致圖編碼并輸出量化的垂直不一致圖；(f)重構(gòu)(d)中輸出的量化的水平不一致圖，并且輸出重構(gòu)的水平不一致圖；(g)重構(gòu)(d)中輸出的量化的垂直不一致圖，并且輸出重構(gòu)的垂直一致圖；(h)根據(jù)(b)中重構(gòu)的第一圖像的象素值、(f)中重構(gòu)的水平不一致圖的水平不一致向量值和(h)中重構(gòu)的垂直不一致圖的垂直不一致向量值，執(zhí)行不一致補(bǔ)償并輸出不一致補(bǔ)償?shù)牡诙D像的象素值；以及(i)對(duì)第二圖像的象素值和(h)中輸出的不一致補(bǔ)償?shù)牡诙D像的象素值執(zhí)行殘留過(guò)程，以輸出亮度殘留紋理，并且對(duì)亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
在本發(fā)明的第四方面中，一種用于對(duì)包括第一和第二圖像的立體視頻解碼的方法包含(a)接收編碼流，并且輸出第一圖像的視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量和水平不一致圖的量化數(shù)據(jù)；(b)根據(jù)視頻對(duì)象的量化數(shù)據(jù)和運(yùn)動(dòng)向量對(duì)視頻對(duì)象解碼并且重構(gòu)第一圖像；(c)根據(jù)水平不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量對(duì)水平不一致圖的量化數(shù)據(jù)解碼；以及(d)根據(jù)重構(gòu)的第一圖像和解碼的水平不一致圖執(zhí)行不一致補(bǔ)償，并且重構(gòu)第二圖像。
在本發(fā)明的第五方面中，一種用于對(duì)包括第一和第二圖像的立體視頻解碼的方法包含(a)接收編碼流，并且輸出第一圖像的視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量、水平不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)；(b)根據(jù)視頻對(duì)象的量化數(shù)據(jù)和運(yùn)動(dòng)向量對(duì)視頻對(duì)象解碼并且重構(gòu)第一圖像；(c)根據(jù)水平不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量對(duì)水平不一致圖的量化數(shù)據(jù)解碼；(d)根據(jù)亮度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量對(duì)亮度殘留紋理的量化數(shù)據(jù)解碼；(e)根據(jù)重構(gòu)的第一圖像和解碼的水平不一致圖執(zhí)行不一致補(bǔ)償，并且輸出不一致補(bǔ)償?shù)牧炼燃y理；以及(f)將不一致補(bǔ)償?shù)牧炼燃y理和(d)中重構(gòu)的亮度殘留紋理相加以重構(gòu)第二圖像。
在本發(fā)明的第六方面中，一種用于對(duì)包括第一和第二圖像的立體視頻解碼的方法包含(a)接收編碼流，并且輸出第一圖像的視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量、水平不一致圖的量化數(shù)據(jù)、垂直不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)；(b)根據(jù)視頻對(duì)象的量化數(shù)據(jù)和運(yùn)動(dòng)向量對(duì)視頻對(duì)象解碼并且重構(gòu)第一圖像；(c)根據(jù)水平不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量對(duì)水平不一致圖的量化數(shù)據(jù)解碼；(d)根據(jù)垂直不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量對(duì)垂直不一致圖的量化數(shù)據(jù)解碼；(e)根據(jù)亮度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量對(duì)亮度殘留紋理的量化數(shù)據(jù)解碼；(f)根據(jù)重構(gòu)的第一圖像、解碼的水平不一致圖和解碼的垂直不一致圖執(zhí)行不一致補(bǔ)償，并且輸出不一致補(bǔ)償?shù)牧炼燃y理；以及(g)將不一致補(bǔ)償?shù)牧炼燃y理和(e)中重構(gòu)的亮度殘留紋理相加以重構(gòu)第二圖像。
在本發(fā)明的第七方面中，一種用于包括第一和第二圖像的立體視頻的編碼器包含視頻對(duì)象編碼器，用于對(duì)第一圖像編碼，并且輸出第一圖像的量化的視頻對(duì)象和運(yùn)動(dòng)向量；不一致估計(jì)器，用于接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；以及輔助分量編碼器，用于根據(jù)由不一致估計(jì)器輸出的基于象素的水平不一致圖和由視頻對(duì)象編碼器輸出的運(yùn)動(dòng)向量，對(duì)水平不一致圖編碼并且輸出量化的水平不一致圖。
在本發(fā)明的第八方面中，一種用于包括第一和第二圖像的立體視頻的編碼器，包含視頻對(duì)象編碼器，用于對(duì)第一圖像編碼以輸出第一圖像的量化的視頻對(duì)象和運(yùn)動(dòng)向量，并且對(duì)量化的視頻對(duì)象編碼以輸出重構(gòu)的第一圖像；不一致估計(jì)器，用于接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；第一輔助分量編碼器，用于對(duì)水平不一致圖編碼以輸出量化的水平不一致圖，并且根據(jù)由不一致估計(jì)器輸出的基于象素的水平不一致圖和由視頻對(duì)象編碼器輸出的運(yùn)動(dòng)向量，對(duì)輸出和量化的水平不一致圖解碼以輸出重構(gòu)的水平不一致圖；不一致補(bǔ)償器，用于根據(jù)由視頻對(duì)象編碼器輸出的重構(gòu)的第一圖像的象素值和由第一輔助分量編碼器輸出的重構(gòu)的水平不一致圖的水平不一致向量值，執(zhí)行不一致補(bǔ)償并且輸出不一致補(bǔ)償?shù)牡诙D像的象素值；第二輔助分量編碼器，用于對(duì)第二圖像的象素值和由不一致補(bǔ)償器輸出的不一致補(bǔ)償?shù)牡诙D像的象素值執(zhí)行殘留過(guò)程，以輸出亮度殘留紋理，并且對(duì)亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
在本發(fā)明的第九方面中，一種用于包括第一和第二圖像的立體視頻的解碼器，包含可變長(zhǎng)度解碼器，用于接收編碼流，并且輸出第一圖像的視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量和水平不一致圖的量化數(shù)據(jù)；視頻對(duì)象解碼器，用于根據(jù)由可變長(zhǎng)度解碼器輸出的視頻對(duì)象的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)視頻對(duì)象解碼并重構(gòu)第一圖像；輔助分量解碼器，用于根據(jù)由可變長(zhǎng)度解碼器輸出的水平不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)水平不一致圖的量化數(shù)據(jù)解碼；以及不一致補(bǔ)償器，用于根據(jù)由視頻對(duì)象解碼器輸出的重構(gòu)的第一圖像和由輔助分量解碼器輸出的解碼的水平不一致圖執(zhí)行不一致補(bǔ)償，并且重構(gòu)第二圖像。
在本發(fā)明的第十方面中，一種用于包括第一和第二圖像的立體視頻的解碼器，包含可變長(zhǎng)度解碼器，用于接收編碼流，并且輸出第一圖像的視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量、水平不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)；視頻對(duì)象解碼器，用于根據(jù)視頻對(duì)象的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)視頻對(duì)象解碼并重構(gòu)第一圖像；第一輔助分量解碼器，用于根據(jù)水平不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)水平不一致圖的量化數(shù)據(jù)解碼；第二輔助分量解碼器，用于根據(jù)亮度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)亮度殘留紋理的量化數(shù)據(jù)解碼；不一致補(bǔ)償器，用于根據(jù)由視頻對(duì)象解碼器輸出的重構(gòu)的第一圖像和由第一輔助分量解碼器輸出的解碼的水平不一致圖執(zhí)行不一致補(bǔ)償，并且輸出不一致補(bǔ)償?shù)牧炼燃y理和不一致補(bǔ)償?shù)纳燃y理；以及第一加法器，用于把由不一致補(bǔ)償器輸出的不一致補(bǔ)償?shù)牧炼燃y理和由第二輔助分量解碼器輸出的重構(gòu)的亮度殘留紋理加起來(lái)。


被合并并且構(gòu)成說(shuō)明書(shū)一部分的

了本發(fā)明的實(shí)施例，并且與描述一起用于解釋本發(fā)明的原理圖1顯示由MPEG-4標(biāo)準(zhǔn)定義的video_object_layer_shape_extention的輔助分量的類型和數(shù)目；圖2顯示根據(jù)本發(fā)明第一個(gè)優(yōu)選實(shí)施例的立體視頻編碼器；圖3顯示根據(jù)本發(fā)明第一個(gè)優(yōu)選實(shí)施例的立體視頻解碼器；圖4顯示根據(jù)本發(fā)明優(yōu)選實(shí)施例，要求用于對(duì)立體視頻編碼的額外定義的video_object_layer_shape_extention的輔助分量的類型和數(shù)目；圖5顯示增加MAC(多重輔助分量)的輔助分量的數(shù)目到大于4時(shí)，要求額外定義的video_object_layer_shape_extention的輔助分量的類型和數(shù)目；圖6顯示根據(jù)本發(fā)明第二個(gè)優(yōu)選實(shí)施例的立體視頻編碼器；圖7顯示根據(jù)本發(fā)明第二個(gè)優(yōu)選實(shí)施例的立體視頻解碼器；圖8顯示由根據(jù)本發(fā)明第二個(gè)優(yōu)選實(shí)施例的編碼器輸出的編碼流；圖9顯示根據(jù)本發(fā)明第三個(gè)優(yōu)選實(shí)施例的立體視頻編碼器；圖10顯示根據(jù)本發(fā)明第三個(gè)優(yōu)選實(shí)施例的立體視頻解碼器；圖11顯示由根據(jù)本發(fā)明第三個(gè)優(yōu)選實(shí)施例的編碼器輸出的編碼流；圖12顯示根據(jù)本發(fā)明第四個(gè)優(yōu)選實(shí)施例的立體視頻編碼器；圖13顯示根據(jù)本發(fā)明第四個(gè)優(yōu)選實(shí)施例的立體視頻解碼器；
圖14顯示由根據(jù)本發(fā)明第四個(gè)優(yōu)選實(shí)施例的編碼器輸出的編碼流；圖15顯示根據(jù)本發(fā)明第五個(gè)優(yōu)選實(shí)施例的立體視頻編碼器；圖16顯示根據(jù)本發(fā)明第五個(gè)優(yōu)選實(shí)施例的立體視頻解碼器；圖17顯示由根據(jù)本發(fā)明第五個(gè)優(yōu)選實(shí)施例的編碼器輸出的編碼流；圖18顯示用于根據(jù)本發(fā)明的優(yōu)選實(shí)施例的視頻對(duì)象編碼器的詳細(xì)的方塊圖；圖19顯示用于根據(jù)本發(fā)明的優(yōu)選實(shí)施例的輔助分量編碼器的詳細(xì)的方塊圖；圖20顯示用于根據(jù)本發(fā)明的優(yōu)選實(shí)施例的視頻對(duì)象解碼器的詳細(xì)方塊圖；以及圖21顯示用于根據(jù)本發(fā)明的優(yōu)選實(shí)施例的輔助分量解碼器的詳細(xì)方塊圖。
具體實(shí)施例方式
在下面的詳細(xì)說(shuō)明中，僅僅通過(guò)說(shuō)明實(shí)現(xiàn)本發(fā)明的發(fā)明人打算的最佳模式，已經(jīng)顯示和說(shuō)明了僅僅本發(fā)明的優(yōu)選實(shí)施例。如將被理解的，本發(fā)明能夠在各種明顯的方面修改，全部不背離本發(fā)明。因此，附圖和描述實(shí)際上被看作說(shuō)明性的，而不是限制性的。
當(dāng)前的MPEG-4編解碼器分配輔助信息給包括三個(gè)輔助分量的MAC(多重輔助分量)以對(duì)它們編碼，輔助信息包括與各視頻對(duì)象有關(guān)的alpha、不一致和深度。
本發(fā)明涉及一種方法，用于使用MPEG-4MAC編碼立體視頻，并且將定義要分配給MAC的輔助信息。
添加當(dāng)前的MPEG-4MAC到MPEG-4視頻版本2，以便說(shuō)明視頻對(duì)象的透明度，并且它進(jìn)而定義輔助信息，包括與視頻對(duì)象有關(guān)的不一致、深度和額外的紋理(texture)。
圖1顯示由MPEG-4標(biāo)準(zhǔn)定義的video_object_layer_shape_extention的輔助分量的類型和數(shù)目。
如所示，video_object_layer_shape_extention的值被定義為0001、0010、0011和0100，video_object_layer_shape_extention中輔助分量包括不一致類型，并且沒(méi)有輔助分量被定義為從1101到1111的值。
在優(yōu)選實(shí)施例中，定義video_object_layer_shape_extention值的未定義輔助分量以包括需要的輔助信息，用于立體視頻更有效的編碼。
圖2顯示根據(jù)本發(fā)明的第一個(gè)優(yōu)選實(shí)施例的立體視頻編碼器。編碼器使用由圖1中所示的現(xiàn)有MPEG-4MAC定義的輔助分量以對(duì)立體視頻數(shù)據(jù)編碼。
如所示，編碼器包含不一致估計(jì)器100、視頻對(duì)象編碼器200、輔助分量編碼器320和可變長(zhǎng)度編碼器600。
視頻對(duì)象編碼器200接收立體視頻的一個(gè)圖像(在優(yōu)選實(shí)施例中是左圖像)，并且輸出量化的視頻對(duì)象和運(yùn)動(dòng)向量。不一致估計(jì)器100接收左和右圖像，并且參考左圖像找到右圖像的基于象素的水平不一致圖。即，不一致估計(jì)器100輸出移動(dòng)到水平軸的位置向量作為水平不一致圖，以便搜索和估計(jì)右圖像的象素被提供到左圖像的什么位置。
輔助分量編碼器320接收水平不一致圖，它是由不一致估計(jì)器100輸出的輔助分量，以及由視頻對(duì)象編碼器200輸出的運(yùn)動(dòng)向量，并且輸出量化的水平不一致圖。
可變長(zhǎng)度編碼器600接收由視頻對(duì)象編碼器200輸出的量化的視頻對(duì)象和運(yùn)動(dòng)向量，以及由輔助分量編碼器320輸出的量化的水平不一致圖；執(zhí)行可變長(zhǎng)度編碼；并且輸出編碼流。
圖3顯示根據(jù)本發(fā)明的第一個(gè)優(yōu)選實(shí)施例的解碼器。
如所示，解碼器包含可變長(zhǎng)度解碼器700、視頻對(duì)象解碼器800、輔助分量解碼器920和不一致補(bǔ)償器1000。
可變長(zhǎng)度解碼器700對(duì)由圖2的編碼器輸出的編碼流執(zhí)行可變長(zhǎng)度解碼，并且輸出視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量和水平不一致圖的量化數(shù)據(jù)。
視頻對(duì)象解碼器800接收視頻對(duì)象的量化數(shù)據(jù)和運(yùn)動(dòng)向量，并且對(duì)視頻對(duì)象解碼以對(duì)左圖像解碼。
輔助分量解碼器920接收水平不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量，并且對(duì)水平不一致圖解碼。
不一致補(bǔ)償器1000接收重構(gòu)的左圖像和重構(gòu)的水平不一致圖，根據(jù)水平不一致圖的不一致向量執(zhí)行不一致補(bǔ)償，并且最終重構(gòu)右圖像。
如上所述，不一致估計(jì)是用于搜索和估計(jì)提供右圖像的象素到左圖像的什么位置的過(guò)程，并且移動(dòng)到水平軸的位置向量作為水平不一致圖輸出，而移動(dòng)到垂直軸的位置向量作為垂直不一致圖輸出。一般地，不一致圖表示水平不一致圖，因?yàn)槔硐氲牧Ⅲw圖像的右和左圖像只有水平不一致值，并且所有垂直不一致值是零。
根據(jù)第一個(gè)優(yōu)選實(shí)施例的編碼器和解碼器用于理想系統(tǒng)，并且使用預(yù)先定義的MAC，該系統(tǒng)只有水平不一致值，垂直不一致值為0。
換句話說(shuō)，根據(jù)優(yōu)選實(shí)施例的編碼器和解碼器使用具有包括圖1的不一致類型的傳統(tǒng)輔助分量的video_object_layer_shape_extention的值，以分配水平不一致圖給不一致類型輔助分量，并且將其編碼。在這種情況下，從亮度數(shù)據(jù)和色度數(shù)據(jù)中找到不一致圖用于亮度數(shù)據(jù)。
因?yàn)橥ㄟ^(guò)計(jì)算機(jī)由計(jì)算機(jī)圖形學(xué)理想地產(chǎn)生立體視頻，垂直不一致值可以全部設(shè)置為零，以便產(chǎn)生立體視頻。因此，可以通過(guò)根據(jù)第一個(gè)優(yōu)選實(shí)施例的編碼器和解碼器找到準(zhǔn)確的不一致圖，并且右圖像的質(zhì)量在某種程度上由這個(gè)信息保證。
但是，在由立體相機(jī)獲得的真實(shí)圖像的情況下，根據(jù)實(shí)際制造的立體相機(jī)的形狀和性能，提供垂直不一致值，該值不同于由計(jì)算機(jī)圖形學(xué)產(chǎn)生的圖像。另外，因?yàn)橛捎?jì)算找到的水平不一致向量的不一致圖的精度低于計(jì)算機(jī)圖形圖像的精度，只通過(guò)水平不一致信息重構(gòu)的右圖像的質(zhì)量基本上劣化。進(jìn)而，因?yàn)楦鶕?jù)第一個(gè)優(yōu)選實(shí)施例的不一致圖沒(méi)有關(guān)于閉塞區(qū)域的信息，難于精確地重構(gòu)右圖像，該信息不提供給左圖像而提供給右圖像。
因此，關(guān)于垂直不一致和殘留紋理的信息以及關(guān)于水平不一致的信息作為關(guān)于右圖像的信息添加到MPEG-4MAC，以定義具有圖4和5的輔助分量的video_object_layer_shape_extention。
圖4的video_object_layer_shape_extention包括從1011到1111的值，該值未由現(xiàn)有的MPEG-4MAC定義，而新定義為本發(fā)明的優(yōu)選實(shí)施例中的輔助分量，而圖5的video_object_layer_shape_extention在本發(fā)明的優(yōu)選實(shí)施例中新定義，以便支持MPEG-4MAC不支持的4個(gè)輔助分量。
如圖4和5中所示，不一致信息由水平和垂直不一致值分割為水平不一致圖和垂直不一致圖，殘留紋理分類為亮度殘留紋理和色度殘留紋理信息，并且根據(jù)圖像的重要性和復(fù)雜度選擇輔助信息以執(zhí)行編碼。在這種情況下，亮度殘留紋理信息表示解碼后重構(gòu)的左圖像的數(shù)據(jù)、由重構(gòu)的不一致圖不一致補(bǔ)償?shù)挠覉D像、和輸入的右圖像的亮度分量的殘留圖像。色度殘留紋理信息表示編碼后重構(gòu)的左圖像的數(shù)據(jù)、由重構(gòu)的不一致圖不一致補(bǔ)償?shù)挠覉D像、和輸入的右圖像的色度分量的殘留圖像。
圖6和7根據(jù)本發(fā)明的第二個(gè)優(yōu)選實(shí)施例分別顯示編碼器和解碼器。編碼器和解碼器建立具有水平不一致類型和亮度殘留紋理類型的兩個(gè)輔助分量的video_object_layer_shape_extention，其被新定義用于對(duì)立體視頻編碼；并且對(duì)立體視頻編碼和解碼。
如圖6中所示，編碼器包含不一致估計(jì)器100、視頻對(duì)象編碼器200、輔助分量編碼器320和340、不一致補(bǔ)償器400、加法器500和可變長(zhǎng)度編碼器600。
視頻對(duì)象編碼器200接收立體視頻的一個(gè)圖像(在優(yōu)選實(shí)施例中為左圖像)，輸出量化的視頻對(duì)象和運(yùn)動(dòng)向量，并且輸出由重構(gòu)量化的視頻對(duì)象得到的左圖像。
不一致估計(jì)器100接收左和右圖像，并且參考左圖像找到右圖像的基于象素的水平不一致圖。
輔助分量編碼器320接收水平不一致圖，它是由不一致估計(jì)器100輸出的輔助分量；以及由視頻對(duì)象編碼器200輸出的運(yùn)動(dòng)向量，產(chǎn)生量化的水平不一致圖，輸出量化的水平不一致圖，并且輸出由重構(gòu)量化的水平不一致圖得到的水平不一致圖。
根據(jù)由視頻對(duì)象編碼器200輸出的重構(gòu)的左圖像的象素值(亮度)和由輔助分量編碼器320輸出的重構(gòu)的水平圖的水平不一致向量，不一致補(bǔ)償器400執(zhí)行不一致補(bǔ)償，并且輸出補(bǔ)償?shù)挠覉D像的象素值(亮度)。
加法器500對(duì)右圖像的象素值(亮度)和由不一致補(bǔ)償器400輸出的不一致補(bǔ)償?shù)挠覉D像的象素值(亮度)執(zhí)行殘留過(guò)程，以輸出亮度殘留紋理，并且輔助分量編碼器340對(duì)亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
可變長(zhǎng)度編碼器600對(duì)由視頻對(duì)象編碼器200輸出的量化的視頻對(duì)象和運(yùn)動(dòng)向量、由輔助分量編碼器320輸出的量化的水平不一致圖和由輔助分量編碼器340輸出的量化的亮度殘留紋理執(zhí)行可變長(zhǎng)度編碼，并且輸出編碼流。
圖8顯示由根據(jù)本發(fā)明的第二個(gè)優(yōu)選實(shí)施例的編碼器輸出的編碼流。如所示，由編碼器(可變長(zhǎng)度編碼器)輸出的編碼流包括編碼的視頻對(duì)象(左圖像)的宏塊、用于編碼的水平不一致圖的輔助分量AC
的宏塊和用于編碼的亮度殘留紋理的輔助分量AC［1］的宏塊。
圖7顯示根據(jù)本發(fā)明的第二個(gè)優(yōu)選實(shí)施例的解碼器。
如所示，解碼器包含可變長(zhǎng)度解碼器700、視頻對(duì)象解碼器800、輔助分量解碼器920和940、不一致補(bǔ)償器1000和加法器1100。
可變長(zhǎng)度解碼器700對(duì)由如圖8中所示的編碼器輸出的編碼流執(zhí)行可變長(zhǎng)度解碼，并且輸出視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量、水平不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)。
視頻對(duì)象解碼器800接收視頻對(duì)象的量化數(shù)據(jù)和運(yùn)動(dòng)向量，并且對(duì)視頻對(duì)象解碼以對(duì)左圖像解碼。
輔助分量解碼器920接收水平不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量，并且對(duì)水平不一致圖解碼。
輔助分量解碼器940接收亮度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量，并且對(duì)亮度殘留紋理解碼。
不一致補(bǔ)償器1000接收重構(gòu)的左圖像和重構(gòu)的水平不一致圖，并且根據(jù)水平不一致圖的不一致向量執(zhí)行不一致補(bǔ)償。
加法器1100將來(lái)自不一致補(bǔ)償?shù)臄?shù)據(jù)中的不一致補(bǔ)償?shù)牧炼燃y理和由輔助分量解碼器940輸出的重構(gòu)的亮度殘留紋理加起來(lái)，以重構(gòu)右圖像。
在圖6和7中顯示的第二個(gè)優(yōu)選實(shí)施例中，作為單一的視頻對(duì)象對(duì)左圖像編碼和解碼，并且使用圖4中顯示的MAC對(duì)右圖像編碼和解碼。即，分配參考左圖像找到的基于象素的水平不一致圖給aux_comp_type
，并且分配亮度殘留紋理給aux_comp_type[1]以執(zhí)行編碼和解碼，該亮度殘留紋理是亮度分量的殘留圖像數(shù)據(jù)。
第二個(gè)優(yōu)選實(shí)施例對(duì)簡(jiǎn)單圖像或不要求精確重構(gòu)的圖像是可應(yīng)用的，該簡(jiǎn)單圖像當(dāng)執(zhí)行編碼而沒(méi)有垂直不一致圖和色度殘留紋理信息時(shí)沒(méi)有極大地影響圖像質(zhì)量的惡化，該色度殘留紋理信息是色度分量上的殘留圖像數(shù)據(jù)。
圖9和10分別顯示根據(jù)本發(fā)明的第三個(gè)優(yōu)選實(shí)施例的編碼器和解碼器。編碼器和解碼器建立具有參考圖4另外定義的水平不一致類型、亮度殘留紋理類型和色度殘留紋理類型的三個(gè)輔助分量的video_object_layer_shape_extention，并且執(zhí)行編碼和解碼。
即，分配參考左圖像找到的基于象素的水平不一致圖給aux_comp_type
，分配亮度殘留紋理給aux_comp_type[1]，而分配色度殘留紋理給aux_comp_type[2]，該色度殘留紋理是色度分量上的殘留圖像數(shù)據(jù)。該編碼器和解碼器可用于簡(jiǎn)單圖像或不要求精確重構(gòu)的圖像，該簡(jiǎn)單圖像當(dāng)執(zhí)行編碼而沒(méi)有垂直不一致圖時(shí)沒(méi)有極大地影響圖像質(zhì)量的惡化。
如圖9中所示，根據(jù)本發(fā)明的第三個(gè)優(yōu)選實(shí)施例的編碼器包含不一致估計(jì)器100、視頻對(duì)象編碼器200、輔助分量編碼器320、340以及360、不一致補(bǔ)償器400、加法器500和可變長(zhǎng)度編碼器600。
與圖6的編碼器的那些組件執(zhí)行相同或相似功能的圖9的組件具有相同的參考號(hào)碼，并且將不提供執(zhí)行與圖6的組件相同的操作的圖9的組件的重復(fù)說(shuō)明。
根據(jù)由視頻對(duì)象編碼器200輸出的重構(gòu)的左圖像的象素值(亮度和色度)和由輔助分量編碼器320輸出的重構(gòu)的水平圖的水平不一致向量，不一致補(bǔ)償器400執(zhí)行不一致補(bǔ)償，并且輸出補(bǔ)償?shù)挠覉D像的象素值(亮度和色度)。
加法器500對(duì)不一致補(bǔ)償?shù)挠覉D像的象素值(亮度和色度)和由不一致補(bǔ)償器400輸出的補(bǔ)償?shù)挠覉D像的象素值(亮度和色度)執(zhí)行殘留過(guò)程，以輸出亮度殘留紋理和色度殘留紋理，并且輔助分量編碼器340和360對(duì)亮度殘留紋理和色度殘留紋理編碼以輸出量化的亮度殘留紋理和量化的色度殘留紋理。
可變長(zhǎng)度編碼器600對(duì)由視頻對(duì)象編碼器200輸出的量化的視頻對(duì)象和運(yùn)動(dòng)向量、由輔助分量編碼器320輸出的量化的水平不一致圖、由輔助分量編碼器340輸出的量化的亮度殘留紋理和由輔助分量編碼器360輸出的量化的色度殘留紋理執(zhí)行可變長(zhǎng)度編碼，并且輸出編碼流。
圖11顯示由根據(jù)本發(fā)明的第三個(gè)優(yōu)選實(shí)施例的編碼器輸出的編碼流。如所示，由編碼器輸出的編碼流包括編碼的視頻對(duì)象的宏塊、用于編碼的水平不一致圖的輔助分量AC
的宏塊、用于編碼的亮度殘留紋理的輔助分量AC[1]的宏塊和用于編碼的色度殘留紋理的輔助分量AC[2]的宏塊。
圖10顯示根據(jù)本發(fā)明的第三個(gè)優(yōu)選實(shí)施例的解碼器。
如所示，解碼器包含可變長(zhǎng)度解碼器700、視頻對(duì)象解碼器800、輔助分量解碼器920、940和960、不一致補(bǔ)償器1000和加法器1100和1200。
與圖7的解碼器的那些組件執(zhí)行相同或相似功能的圖10的組件具有相同的參考號(hào)碼，并且將不提供執(zhí)行與圖7的組件相同的操作的圖10的組件的重復(fù)說(shuō)明。
可變長(zhǎng)度解碼器700對(duì)由編碼器輸出并在圖11中顯示的編碼流執(zhí)行可變長(zhǎng)度解碼，并且輸出視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量、水平不一致圖的量化數(shù)據(jù)、亮度殘留紋理的量化數(shù)據(jù)和色度殘留紋理的量化數(shù)據(jù)。
輔助分量解碼器940接收亮度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量，并且對(duì)亮度殘留紋理解碼。
輔助分量解碼器960接收色度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量，并且對(duì)色度殘留紋理解碼。
不一致補(bǔ)償器1000接收重構(gòu)的左圖像和重構(gòu)的水平不一致圖，并且根據(jù)水平不一致圖的不一致向量執(zhí)行不一致補(bǔ)償。
加法器1100把來(lái)自由不一致補(bǔ)償器1000不一致補(bǔ)償?shù)臄?shù)據(jù)中的不一致補(bǔ)償?shù)牧炼燃y理和由輔助分量解碼器940輸出的重構(gòu)的亮度殘留紋理加起來(lái)，以重構(gòu)右圖像的亮度分量。
加法器1200把來(lái)自不一致補(bǔ)償?shù)臄?shù)據(jù)中的不一致補(bǔ)償?shù)纳燃y理和由輔助分量解碼器940輸出的重構(gòu)的色度殘留紋理加起來(lái)，以重構(gòu)右圖像的色度分量。
圖12和13分別顯示根據(jù)本發(fā)明的第四個(gè)優(yōu)選實(shí)施例的編碼器和解碼器。編碼器和解碼器建立具有水平不一致類型、垂直不一致類型和亮度殘留紋理類型的三個(gè)輔助分量的video_object_layer_shape_extention，并且執(zhí)行編碼和解碼，參考圖4另外定義該三個(gè)輔助分量。
即，分配參考左圖像找到的基于象素的水平不一致圖給aux_comp_type
，分配參考左圖像找到的基于象素的垂直不一致圖給aux_comp_type[1]，并且分配亮度殘留紋理給aux_comp_type[2]，該亮度殘留紋理是亮度分量上的殘留圖像數(shù)據(jù)。編碼器和解碼器可用于簡(jiǎn)單圖像或不要求精確重構(gòu)的圖像，該簡(jiǎn)單圖像當(dāng)執(zhí)行編碼而沒(méi)有色度殘留紋理信息時(shí)沒(méi)有極大地影響圖像質(zhì)量的惡化，該色度殘留紋理信息是色度分量上的殘留圖像數(shù)據(jù)。
如圖12中所示，根據(jù)本發(fā)明的第四個(gè)優(yōu)選實(shí)施例的編碼器包含不一致估計(jì)器100、視頻對(duì)象編碼器200、輔助分量編碼器320、340以及380、不一致補(bǔ)償器420、加法器500和可變長(zhǎng)度編碼器600。
與圖6的編碼器的那些組件執(zhí)行相同或相似功能的圖12的組件具有相同的參考號(hào)碼，并且將不提供執(zhí)行與圖6的組件相同的操作的圖12的組件的重復(fù)說(shuō)明。
不一致估計(jì)器100接收左和右圖像，并且參考左圖像找到右圖像的基于象素的水平不一致圖和垂直不一致圖。
輔助分量編碼器380接收由不一致估計(jì)器100輸出的垂直不一致圖和由視頻對(duì)象編碼器200輸出的運(yùn)動(dòng)向量，產(chǎn)生量化的垂直不一致圖，輸出量化的垂直不一致圖，并且輸出由重構(gòu)量化的垂直不一致圖得到的垂直不一致圖。
根據(jù)由視頻對(duì)象編碼器200輸出的重構(gòu)的左圖像的象素值(亮度)、由輔助分量編碼器320輸出的重構(gòu)的水平不一致圖的水平不一致向量和由輔助分量編碼器380輸出的重構(gòu)的垂直不一致圖的垂直不一致向量，不一致補(bǔ)償器420執(zhí)行不一致補(bǔ)償，并且輸出補(bǔ)償?shù)挠覉D像的象素值(亮度)。
加法器500對(duì)右圖像的象素值(亮度)和由不一致補(bǔ)償器420輸出的不一致補(bǔ)償?shù)挠覉D像的象素值(亮度)執(zhí)行殘留過(guò)程，以輸出亮度殘留紋理，并且輔助分量編碼器340對(duì)亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
可變長(zhǎng)度編碼器600對(duì)由視頻對(duì)象編碼器200輸出的量化的視頻對(duì)象和運(yùn)動(dòng)向量、由輔助分量編碼器320輸出的量化的水平不一致圖、由輔助分量編碼器380輸出的量化的垂直不一致圖和由輔助分量編碼器360輸出的量化的亮度殘留紋理執(zhí)行可變長(zhǎng)度編碼，并且輸出編碼流。
圖14顯示由根據(jù)本發(fā)明的第四個(gè)優(yōu)選實(shí)施例的編碼器輸出的編碼流。如所示，由編碼器輸出的編碼流包括編碼的視頻對(duì)象的宏塊、用于編碼的水平不一致圖的輔助分量AC
的宏塊、用于編碼的垂直不一致圖的輔助分量AC[1]的宏塊和用于編碼的亮度殘留紋理的輔助分量AC[2]的宏塊。
圖13顯示根據(jù)本發(fā)明的第四個(gè)優(yōu)選實(shí)施例的解碼器。
如所示，解碼器包含可變長(zhǎng)度解碼器700、視頻對(duì)象解碼器800、輔助分量解碼器920、940和980、不一致補(bǔ)償器2000和加法器1100。
與圖7的解碼器的那些組件執(zhí)行相同或相似功能的圖13的組件具有相同的參考號(hào)碼，并且將不提供執(zhí)行與圖7的組件相同的操作的圖13的組件的重復(fù)說(shuō)明。
可變長(zhǎng)度解碼器700對(duì)由如圖14中所示的編碼器輸出的編碼流執(zhí)行可變長(zhǎng)度解碼，并且輸出視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量、水平不一致圖的量化數(shù)據(jù)、垂直不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)。
輔助分量解碼器980接收垂直不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量，并且對(duì)垂直不一致圖解碼。
不一致補(bǔ)償器2000接收重構(gòu)的左圖像、重構(gòu)的水平不一致圖和重構(gòu)的垂直不一致圖，并且根據(jù)水平不一致圖和垂直不一致圖的不一致向量執(zhí)行不一致補(bǔ)償。
加法器1100把來(lái)自由不一致補(bǔ)償器2000不一致補(bǔ)償?shù)臄?shù)據(jù)中的不一致補(bǔ)償?shù)牧炼燃y理和由輔助分量解碼器940輸出的重構(gòu)的亮度殘留紋理加起來(lái)，以重構(gòu)右圖像的亮度分量。
圖15和16分別顯示根據(jù)本發(fā)明的第五個(gè)優(yōu)選實(shí)施例的編碼器和解碼器。該編碼器和解碼器建立具有水平不一致類型、垂直不一致類型、亮度殘留紋理類型和色度殘留紋理類型的四個(gè)輔助分量的video_object_layer_shape_extention，并且執(zhí)行編碼和解碼，如圖5中所示，當(dāng)MAC的輔助分量的數(shù)目增加到等于或大于四時(shí)另外定義該四個(gè)輔助分量。
即，編碼器和解碼器分配參考左圖像找到的基于象素的水平不一致圖給aux_comp_type
，分配參考左圖像找到的基于象素的垂直不一致圖給aux_comp_type[1]，分配作為亮度分量上的殘留圖像數(shù)據(jù)的亮度殘留紋理給aux_comp_type[2]，并且分配作為色度分量上的殘留圖像數(shù)據(jù)的色度殘留紋理給aux_comp_type[3]，以執(zhí)行編碼和解碼。
上述第五個(gè)優(yōu)選實(shí)施例可應(yīng)用到這樣的情況通過(guò)使用右圖像上所有種類的輔助信息重構(gòu)高質(zhì)量圖像。
如圖15中所示，根據(jù)本發(fā)明的第五個(gè)優(yōu)選實(shí)施例的編碼器包含不一致估計(jì)器100、視頻對(duì)象編碼器200、輔助分量編碼器320、340、360以及380、不一致補(bǔ)償器420、加法器500和可變長(zhǎng)度編碼器600。
與圖12的編碼器的那些組件執(zhí)行相同或相似功能的圖15的組件具有相同的參考號(hào)碼，并且將不提供執(zhí)行與圖12的組件相同的操作的圖15的組件的重復(fù)說(shuō)明。
不一致估計(jì)器100接收左和右圖像，并且參考左圖像找到右圖像的基于象素的水平不一致圖和垂直不一致圖。
輔助分量編碼器380接收由不一致估計(jì)器100輸出的垂直不一致圖和由視頻對(duì)象編碼器200輸出的運(yùn)動(dòng)向量，產(chǎn)生量化的垂直不一致圖，輸出量化的垂直不一致圖，并且輸出由重構(gòu)量化的垂直不一致圖得到的垂直不一致圖。
根據(jù)由視頻對(duì)象編碼器200輸出的重構(gòu)的左圖像的象素值(亮度和色度)、由輔助分量編碼器320輸出的重構(gòu)的水平不一致圖的水平不一致向量和由輔助分量編碼器380輸出的重構(gòu)的垂直不一致圖的垂直不一致向量，不一致補(bǔ)償器420執(zhí)行不一致補(bǔ)償，并且輸出補(bǔ)償?shù)挠覉D像的象素值(亮度和色度)。
加法器500對(duì)右圖像的象素值(亮度和色度)和由不一致補(bǔ)償器420輸出的不一致補(bǔ)償?shù)挠覉D像的象素值(亮度和色度)執(zhí)行殘留過(guò)程，以輸出亮度殘留紋理和色度殘留紋理，并且輔助分量編碼器340和輔助分量編碼器360分別對(duì)亮度殘留紋理和色度殘留紋理編碼，以輸出量化的亮度殘留紋理和量化的色度殘留紋理。
可變長(zhǎng)度編碼器600對(duì)由視頻對(duì)象編碼器200輸出的量化的視頻對(duì)象和運(yùn)動(dòng)向量、由輔助分量編碼器320輸出的量化的水平不一致圖、由輔助分量編碼器380輸出的量化的垂直不一致圖、由輔助分量編碼器340輸出的量化的亮度殘留紋理和由輔助分量編碼器360輸出的量化的色度殘留紋理執(zhí)行可變長(zhǎng)度編碼，并且輸出編碼流。
圖17顯示由根據(jù)本發(fā)明的第五個(gè)優(yōu)選實(shí)施例的編碼器輸出的編碼流。如所示，由編碼器輸出的編碼流包括編碼的視頻對(duì)象的宏塊、用于編碼的水平不一致圖的輔助分量AC
的宏塊、用于編碼的垂直不一致圖的輔助分量AC[1]的宏塊、用于編碼的亮度殘留紋理的輔助分量AC[2]的宏塊和用于編碼的色度殘留紋理的輔助分量AC[3]的宏塊。
圖16顯示根據(jù)本發(fā)明的第五個(gè)優(yōu)選實(shí)施例的解碼器。
如所示，解碼器包含可變長(zhǎng)度解碼器700、視頻對(duì)象解碼器800、輔助分量解碼器920、940、960和980、不一致補(bǔ)償器2000和加法器1100和1200。
與圖13的解碼器的那些組件執(zhí)行相同或相似功能的圖16的組件具有相同的參考號(hào)碼，并且將不提供執(zhí)行與圖13的組件相同的操作的圖16的組件的重復(fù)說(shuō)明。
可變長(zhǎng)度解碼器700對(duì)如圖17中所示并由編碼器輸出的編碼流執(zhí)行可變長(zhǎng)度解碼，并且輸出視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量、水平不一致圖的量化數(shù)據(jù)、垂直不一致圖的量化數(shù)據(jù)、亮度殘留紋理的量化數(shù)據(jù)和色度殘留紋理的量化數(shù)據(jù)。
不一致補(bǔ)償器2000接收重構(gòu)的左圖像、重構(gòu)的水平不一致圖和重構(gòu)的垂直不一致圖，并且根據(jù)水平不一致圖和垂直不一致圖的不一致向量執(zhí)行不一致補(bǔ)償。
加法器1100把來(lái)自由不一致補(bǔ)償器2000不一致補(bǔ)償?shù)臄?shù)據(jù)中的不一致補(bǔ)償?shù)牧炼燃y理和由輔助分量解碼器940輸出的重構(gòu)的亮度殘留紋理加起來(lái)，以重構(gòu)右圖像的亮度分量。
加法器1200把來(lái)自由不一致補(bǔ)償器2000不一致補(bǔ)償?shù)臄?shù)據(jù)中的不一致補(bǔ)償?shù)纳燃y理和由輔助分量解碼器960輸出的重構(gòu)的色度殘留紋理加起來(lái)，以重構(gòu)右圖像的色度分量。
現(xiàn)在將進(jìn)一步詳細(xì)說(shuō)明視頻對(duì)象編碼器200、輔助分量編碼器320、340、360和380、視頻對(duì)象解碼器800和輔助分量解碼器920、940、960和980。
圖18顯示用于根據(jù)本發(fā)明的優(yōu)選實(shí)施例的視頻對(duì)象編碼器200的詳細(xì)方塊圖。
如所示，視頻對(duì)象編碼器200包含編碼單元220、解碼單元240、運(yùn)動(dòng)估計(jì)器260和運(yùn)動(dòng)補(bǔ)償器280。
編碼單元220對(duì)視頻對(duì)象數(shù)據(jù)(左圖像)和已經(jīng)經(jīng)過(guò)殘留過(guò)程的運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)執(zhí)行離散余弦變換，量化離散余弦變換的數(shù)據(jù)，并且輸出量化的視頻對(duì)象。編碼單元220包含加法器221，用于對(duì)視頻對(duì)象數(shù)據(jù)和運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)執(zhí)行殘留過(guò)程；DCT(離散余弦變換器)222，用于對(duì)由加法器221輸出的殘留數(shù)據(jù)執(zhí)行離散余弦變換；以及量化器223，用于量化由DCT 222輸出的數(shù)據(jù)。
解碼單元240對(duì)由編碼單元220輸出的量化的視頻對(duì)象去量化，并且對(duì)去量化的數(shù)據(jù)執(zhí)行逆離散余弦變換以重構(gòu)視頻對(duì)象數(shù)據(jù)。解碼單元240包含去量化器241，用于對(duì)由編碼單元220輸出的量化的視頻對(duì)象去量化；IDCT(逆離散余弦變換器)242，用于對(duì)由去量化器241輸出的數(shù)據(jù)執(zhí)行逆離散余弦變換；加法器243，用于把由IDCT 242輸出的視頻對(duì)象和運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)加起來(lái)以重構(gòu)視頻對(duì)象數(shù)據(jù)；以及存儲(chǔ)器244，用于存儲(chǔ)由加法器243輸出的重構(gòu)的左圖像。
運(yùn)動(dòng)估計(jì)器260比較視頻對(duì)象數(shù)據(jù)(左圖像)和存儲(chǔ)在存儲(chǔ)器244中的前一幀的重構(gòu)的左圖像，以輸出運(yùn)動(dòng)向量MV。
運(yùn)動(dòng)補(bǔ)償器280比較由運(yùn)動(dòng)估計(jì)器260輸出的運(yùn)動(dòng)向量和存儲(chǔ)在存儲(chǔ)器244中的前一幀的左圖像，以輸出運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)。
圖19顯示用于根據(jù)本發(fā)明的優(yōu)選實(shí)施例的輔助分量編碼器300的詳細(xì)方塊圖。
如所示，輔助分量編碼器300包含編碼單元310、解碼單元330和運(yùn)動(dòng)補(bǔ)償器350。
編碼單元310對(duì)輔助分量數(shù)據(jù)和已經(jīng)經(jīng)過(guò)殘留過(guò)程的運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)執(zhí)行離散余弦變換，量化離散余弦變換的數(shù)據(jù)，并且輸出量化的輔助分量數(shù)據(jù)。編碼單元310包含加法器331，用于對(duì)輔助分量數(shù)據(jù)和運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)執(zhí)行殘留過(guò)程；DCT(離散余弦變換器)312，用于對(duì)由加法器331輸出的殘留數(shù)據(jù)執(zhí)行離散余弦變換；以及量化器313，用于量化由DCT 312輸出的數(shù)據(jù)。
解碼單元330對(duì)由編碼單元310輸出的量化的輔助分量數(shù)據(jù)去量化，并且對(duì)去量化的數(shù)據(jù)執(zhí)行逆離散余弦變換以重構(gòu)輔助分量數(shù)據(jù)。解碼單元330包含去量化器331，用于對(duì)由編碼單元310輸出的量化的輔助分量數(shù)據(jù)去量化；IDCT(逆離散余弦變換器)332，用于對(duì)由去量化器331輸出的數(shù)據(jù)執(zhí)行逆離散余弦變換；加法器333，用于把由IDCT 332輸出的輔助分量數(shù)據(jù)和運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)加起來(lái)以重構(gòu)輔助分量數(shù)據(jù)；以及存儲(chǔ)器334，用于存儲(chǔ)由加法器333輸出的重構(gòu)的輔助分量數(shù)據(jù)。
運(yùn)動(dòng)補(bǔ)償器350比較由視頻對(duì)象編碼器200的運(yùn)動(dòng)估計(jì)器260輸出的運(yùn)動(dòng)向量和存儲(chǔ)在存儲(chǔ)器334中的前一幀的輔助分量數(shù)據(jù)，以輸出輔助分量上的運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)。
圖20顯示用于根據(jù)本發(fā)明的優(yōu)選實(shí)施例的視頻對(duì)象解碼器800的詳細(xì)方塊圖。
如所示，視頻對(duì)象解碼器800包含去量化器810、IDCT 820、加法器830、運(yùn)動(dòng)補(bǔ)償器850和存儲(chǔ)器840。
去量化器810對(duì)由可變長(zhǎng)度解碼器輸出視頻對(duì)象的量化數(shù)據(jù)去量化，IDCT 820對(duì)由去量化器810輸出的數(shù)據(jù)執(zhí)行逆離散余弦變換，并且運(yùn)動(dòng)補(bǔ)償器850比較存儲(chǔ)在存儲(chǔ)器840中的前一幀的重構(gòu)的視頻對(duì)象數(shù)據(jù)和運(yùn)動(dòng)向量以對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償，并且輸出補(bǔ)償?shù)倪\(yùn)動(dòng)向量數(shù)據(jù)。
加法器830把由IDCT 820輸出的視頻對(duì)象和由運(yùn)動(dòng)補(bǔ)償器850輸出的運(yùn)動(dòng)補(bǔ)償?shù)南蛄繑?shù)據(jù)加起來(lái)，以輸出重構(gòu)的視頻對(duì)象數(shù)據(jù)。
圖21顯示用于根據(jù)本發(fā)明的優(yōu)選實(shí)施例的輔助分量解碼器900的詳細(xì)方塊圖。
如所示，輔助分量解碼器900包含去量化器901、IDCT 902、加法器903、運(yùn)動(dòng)補(bǔ)償器905和存儲(chǔ)器904。
去量化器901對(duì)由可變長(zhǎng)度解碼器輸出的輔助分量的量化數(shù)據(jù)去量化，IDCT 902對(duì)由去量化器901輸出的數(shù)據(jù)執(zhí)行逆離散余弦變換，而運(yùn)動(dòng)補(bǔ)償器905比較存儲(chǔ)在存儲(chǔ)器904中的前一幀的重構(gòu)的輔助分量數(shù)據(jù)和運(yùn)動(dòng)向量以對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償，并且輸出補(bǔ)償?shù)倪\(yùn)動(dòng)向量數(shù)據(jù)。
加法器903把由IDCT 902輸出的輔助分量數(shù)據(jù)和由運(yùn)動(dòng)補(bǔ)償器905輸出的運(yùn)動(dòng)補(bǔ)償?shù)南蛄繑?shù)據(jù)加起來(lái)，以輸出重構(gòu)的視頻對(duì)象數(shù)據(jù)。
如所述，因?yàn)楦鶕?jù)本發(fā)明的優(yōu)選實(shí)施例，通過(guò)使用MPEG-4的MAC對(duì)立體視頻編碼，所以提供了對(duì)使用當(dāng)前的MPEG-4編碼技術(shù)和系統(tǒng)的兼容性。
同樣地，因?yàn)橛液妥髨D像的編碼流作為單一的編碼流輸出，所以右和左圖像間的同步被簡(jiǎn)單地執(zhí)行。
進(jìn)而，通過(guò)以各種方式分配右圖像的輔助信息的四個(gè)分量給MAC，根據(jù)用戶或制作者想要的圖像質(zhì)量水平選擇其方式，并且將其編碼，改善了編碼效率。
雖然已經(jīng)結(jié)合目前被認(rèn)為最實(shí)用和優(yōu)選的實(shí)施例說(shuō)明了本發(fā)明，但要理解，本發(fā)明不限于所公開(kāi)的實(shí)施例，而正相反，意圖在于覆蓋包括在權(quán)利要求的精神和范圍內(nèi)的各種修改和等效安排。
例如，輔助信息使用由MPEG-4標(biāo)準(zhǔn)定義的MAC分配，此外，還可以使用由其它協(xié)議定義的信息。
如所述，對(duì)使用現(xiàn)有的MPEG-4編碼技術(shù)和系統(tǒng)的兼容性被保持，并且右和左圖像間同步的復(fù)雜度被最小化。
另外，通過(guò)根據(jù)圖像的重要性和復(fù)雜度選擇性控制圖像質(zhì)量并對(duì)它編碼，改善了編碼效率。
權(quán)利要求
1.一種用于對(duì)包括第一和第二圖像的立體視頻編碼的方法，包含(a)對(duì)第一圖像編碼，并且輸出第一圖像的量化的視頻對(duì)象和運(yùn)動(dòng)向量；(b)接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；以及(c)根據(jù)基于象素的水平不一致圖和運(yùn)動(dòng)向量，對(duì)水平不一致圖編碼并且輸出量化的水平不一致圖。
2.根據(jù)權(quán)利要求1所述的方法，還包含(d)對(duì)量化的視頻對(duì)象、運(yùn)動(dòng)向量和量化的水平不一致圖執(zhí)行可變長(zhǎng)度編碼，并且作為單一流輸出它們。
3.根據(jù)權(quán)利要求1所述的方法，其中量化的水平不一致圖被分配給MPEG-4MAC(多重輔助分量)的不一致類型的輔助分量，并且被編碼。
4.根據(jù)權(quán)利要求1所述的方法，其中第一圖像是左圖像，而第二圖像是右圖像。
5.一種用于對(duì)包括第一和第二圖像的立體視頻解碼的方法，包含(a)接收編碼流，并且輸出第一圖像的視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量和水平不一致圖的量化數(shù)據(jù)；(b)根據(jù)視頻對(duì)象的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)視頻對(duì)象解碼并且重構(gòu)第一圖像；(c)根據(jù)水平不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)水平不一致圖的量化數(shù)據(jù)解碼；以及(d)根據(jù)重構(gòu)的第一圖像和解碼的水平不一致圖執(zhí)行不一致補(bǔ)償，并且重構(gòu)第二圖像。
6.根據(jù)權(quán)利要求5所述的方法，其中第一圖像是左圖像，而第二圖像是右圖像。
7.一種用于對(duì)包括第一和第二圖像的立體視頻編碼的方法，包含(a)對(duì)第一圖像編碼，并且輸出第一圖像的量化的視頻對(duì)象和運(yùn)動(dòng)向量；(b)對(duì)(a)中輸出的量化的視頻對(duì)象解碼，并且重構(gòu)第一圖像；(c)接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；(d)根據(jù)基于象素的水平不一致圖和運(yùn)動(dòng)向量，對(duì)水平不一致圖編碼并且輸出量化的水平不一致圖；(e)重構(gòu)(d)中輸出的量化的水平不一致圖，并且輸出重構(gòu)的水平不一致圖；(f)根據(jù)(b)中重構(gòu)的第一圖像的象素值和(e)中重構(gòu)的水平不一致圖的水平不一致向量值，執(zhí)行不一致補(bǔ)償并輸出不一致補(bǔ)償?shù)牡诙D像的象素值；以及(g)對(duì)第二圖像的象素值和(f)中輸出的不一致補(bǔ)償?shù)牡诙D像的象素值執(zhí)行殘留過(guò)程，以輸出亮度殘留紋理，并且對(duì)亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
8.根據(jù)權(quán)利要求7所述的方法，還包含(h)對(duì)量化的視頻對(duì)象、運(yùn)動(dòng)向量、量化的水平不一致圖和量化的亮度殘留紋理執(zhí)行可變長(zhǎng)度編碼，并且作為單一流輸出它們。
9.根據(jù)權(quán)利要求7所述的方法，其中量化的水平不一致圖和量化的亮度殘留紋理被分配給MPEG-4MAC，然后被編碼。
10.根據(jù)權(quán)利要求7所述的方法，其中第一圖像是左圖像，而第二圖像是右圖像。
11.根據(jù)權(quán)利要求7所述的方法，還包含(h)對(duì)第二圖像的象素值和(f)中輸出的不一致補(bǔ)償?shù)牡诙D像的象素值執(zhí)行殘留過(guò)程，以輸出色度殘留紋理，并且對(duì)色度殘留紋理編碼以輸出量化的色度殘留紋理。
12.根據(jù)權(quán)利要求11所述的方法，還包含(i)對(duì)量化的視頻對(duì)象、運(yùn)動(dòng)向量、量化的水平不一致圖、量化的亮度殘留紋理和量化的色度殘留紋理執(zhí)行可變長(zhǎng)度編碼，并且作為單一流輸出它們。
13.根據(jù)權(quán)利要求11所述的方法，其中量化的水平不一致圖、量化的亮度殘留紋理和量化的色度殘留紋理被分配給MPEG-4MAC，然后被編碼。
14.一種用于對(duì)包括第一和第二圖像的立體視頻解碼的方法，包含(a)接收編碼流，并且輸出第一圖像的視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量、水平不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)；(b)根據(jù)視頻對(duì)象的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)視頻對(duì)象解碼并重構(gòu)第一圖像；(c)根據(jù)水平不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)水平不一致圖的量化數(shù)據(jù)解碼；(d)根據(jù)亮度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)亮度殘留紋理的量化數(shù)據(jù)解碼；(e)根據(jù)重構(gòu)的第一圖像和解碼的水平不一致圖執(zhí)行不一致補(bǔ)償，并且輸出不一致補(bǔ)償?shù)牧炼燃y理；以及(f)把不一致補(bǔ)償?shù)牧炼燃y理和(d)中重構(gòu)的亮度殘留紋理加起來(lái)，以重構(gòu)第二圖像。
15.根據(jù)權(quán)利要求14所述的方法，其中第一圖像是左圖像，而第二圖像是右圖像。
16.根據(jù)權(quán)利要求14所述的方法，其中步驟(a)包含接收編碼流，并且另外輸出色度殘留紋理的量化數(shù)據(jù)，步驟(d)另外包含根據(jù)色度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)色度殘留紋理的量化數(shù)據(jù)解碼，以及步驟(f)另外包含把不一致補(bǔ)償?shù)纳燃y理和色度殘留紋理加起來(lái)，以重構(gòu)第二圖像。
17.一種用于對(duì)包括第一和第二圖像的立體視頻編碼的方法，包含(a)對(duì)第一圖像編碼，并且輸出第一圖像的量化的視頻對(duì)象和運(yùn)動(dòng)向量；(b)對(duì)(a)中輸出的量化的視頻對(duì)象解碼，并且重構(gòu)第一圖像；(c)接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖和基于象素的垂直不一致圖；(d)根據(jù)基于象素的水平不一致圖和運(yùn)動(dòng)向量，對(duì)水平不一致圖編碼并且輸出量化的水平不一致圖；(e)根據(jù)基于象素的垂直不一致圖和運(yùn)動(dòng)向量，對(duì)垂直不一致圖編碼并且輸出量化的垂直不一致圖；(f)重構(gòu)(d)中輸出的量化的水平不一致圖，并且輸出重構(gòu)的水平不一致圖；(g)重構(gòu)(d)中輸出的量化的垂直不一致圖，并且輸出重構(gòu)的垂直不一致圖；(h)根據(jù)(b)中重構(gòu)的第一圖像的象素值、(f)中重構(gòu)的水平不一致圖的水平不一致向量值和(h)中重構(gòu)的垂直不一致圖的垂直不一致向量值，執(zhí)行不一致補(bǔ)償并輸出不一致補(bǔ)償?shù)牡诙D像的象素值；以及(i)對(duì)第二圖像的象素值和(h)中輸出的不一致補(bǔ)償?shù)牡诙D像的象素值執(zhí)行殘留過(guò)程，以輸出亮度殘留紋理，并且對(duì)亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
18.根據(jù)權(quán)利要求17所述的方法，還包含(j)對(duì)量化的視頻對(duì)象、運(yùn)動(dòng)向量、量化的水平不一致圖、量化的垂直不一致圖和量化的亮度殘留紋理執(zhí)行可變長(zhǎng)度編碼，并且作為單一流輸出它們。
19.根據(jù)權(quán)利要求17所述的方法，其中量化的水平不一致圖、量化的垂直不一致圖和量化的亮度殘留紋理被分配給MPEG-4MAC，然后被編碼。
20.根據(jù)權(quán)利要求17所述的方法，其中第一圖像是左圖像，而第二圖像是右圖像。
21.根據(jù)權(quán)利要求17所述的方法，還包含(j)對(duì)第二圖像的象素值和(h)中輸出的不一致補(bǔ)償?shù)牡诙D像的象素值執(zhí)行殘留過(guò)程，以輸出色度殘留紋理，并且對(duì)色度殘留紋理編碼以輸出量化的色度殘留紋理。
22.根據(jù)權(quán)利要求21所述的方法，還包含(k)對(duì)量化的視頻對(duì)象、運(yùn)動(dòng)向量、量化的水平不一致圖、量化的垂直不一致圖、量化的亮度殘留紋理和量化的色度殘留紋理執(zhí)行可變長(zhǎng)度編碼，并且作為單一流輸出它們。
23.一種用于對(duì)包括第一和第二圖像的立體視頻解碼的方法，包含(a)接收編碼流，并且輸出第一圖像的視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量、水平不一致圖的量化數(shù)據(jù)、垂直不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)；(b)根據(jù)視頻對(duì)象的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)視頻對(duì)象解碼并重構(gòu)第一圖像；(c)根據(jù)水平不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)水平不一致圖的量化數(shù)據(jù)解碼；(d)根據(jù)垂直不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)垂直不一致圖的量化數(shù)據(jù)解碼；(e)根據(jù)亮度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)亮度殘留紋理的量化數(shù)據(jù)解碼；(f)根據(jù)重構(gòu)的第一圖像、解碼的水平不一致圖和解碼的垂直不一致圖執(zhí)行不一致補(bǔ)償，并且輸出不一致補(bǔ)償?shù)牧炼燃y理；以及(g)把不一致補(bǔ)償?shù)牧炼燃y理和(e)中重構(gòu)的亮度殘留紋理加起來(lái)，以重構(gòu)第二圖像。
24.根據(jù)權(quán)利要求23所述的方法，其中步驟(a)包含接收編碼流，并且另外輸出色度殘留紋理的量化數(shù)據(jù)；步驟(e)另外包含根據(jù)色度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)色度殘留紋理的量化數(shù)據(jù)解碼；以及步驟(g)另外包含把不一致補(bǔ)償?shù)纳燃y理和色度殘留紋理加起來(lái)，以重構(gòu)第二圖像。
25.一種用于包括第一和第二圖像的立體視頻的編碼器，包含視頻對(duì)象編碼器，用于對(duì)第一圖像編碼，并且輸出第一圖像的量化的視頻對(duì)象和運(yùn)動(dòng)向量；不一致估計(jì)器，用于接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；以及輔助分量編碼器，用于根據(jù)由不一致估計(jì)器輸出的基于象素的水平不一致圖和由視頻對(duì)象編碼器輸出的運(yùn)動(dòng)向量，對(duì)水平不一致圖編碼并且輸出量化的水平不一致圖。
26.根據(jù)權(quán)利要求25所述的編碼器，還包含可變長(zhǎng)度編碼器，用于對(duì)量化的視頻對(duì)象、運(yùn)動(dòng)向量和量化的水平不一致圖執(zhí)行可變長(zhǎng)度編碼，并且作為單一流輸出它們。
27.一種用于包括第一和第二圖像的立體視頻的解碼器，包含可變長(zhǎng)度解碼器，用于接收編碼流，并且輸出第一圖像的視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量和水平不一致圖的量化數(shù)據(jù)；視頻對(duì)象解碼器，用于根據(jù)由可變長(zhǎng)度解碼器輸出的視頻對(duì)象的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)視頻對(duì)象解碼并重構(gòu)第一圖像；輔助分量解碼器，用于根據(jù)由可變長(zhǎng)度解碼器輸出的水平不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)水平不一致圖的量化數(shù)據(jù)解碼；以及不一致補(bǔ)償器，用于根據(jù)由視頻對(duì)象解碼器輸出的重構(gòu)的第一圖像和由輔助分量解碼器輸出的解碼的水平不一致圖執(zhí)行不一致補(bǔ)償，并且重構(gòu)第二圖像。
28.一種用于包括第一和第二圖像的立體視頻的編碼器，包含視頻對(duì)象編碼器，用于對(duì)第一圖像編碼以輸出第一圖像的量化的視頻對(duì)象和運(yùn)動(dòng)向量，并且對(duì)量化的視頻對(duì)象編碼以輸出重構(gòu)的第一圖像；不一致估計(jì)器，用于接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；第一輔助分量編碼器，用于對(duì)水平不一致圖編碼以輸出量化的水平不一致圖，并且根據(jù)由不一致估計(jì)器輸出的基于象素的水平不一致圖和由視頻對(duì)象編碼器輸出的運(yùn)動(dòng)向量，對(duì)輸出和量化的水平不一致圖解碼以輸出重構(gòu)的水平不一致圖；不一致補(bǔ)償器，用于根據(jù)由視頻對(duì)象編碼器輸出的重構(gòu)的第一圖像的象素值和由第一輔助分量編碼器輸出的重構(gòu)的水平不一致圖的水平不一致向量值，執(zhí)行不一致補(bǔ)償并且輸出不一致補(bǔ)償?shù)牡诙D像的象素值；第二輔助分量編碼器，用于對(duì)第二圖像的象素值和由不一致補(bǔ)償器輸出的不一致補(bǔ)償?shù)牡诙D像的象素值執(zhí)行殘留過(guò)程，以輸出亮度殘留紋理，并且對(duì)亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
29.根據(jù)權(quán)利要求28所述的編碼器，還包含可變長(zhǎng)度編碼器，用于對(duì)量化的視頻對(duì)象、運(yùn)動(dòng)向量、量化的水平不一致圖和量化的亮度殘留紋理執(zhí)行可變長(zhǎng)度編碼，并且作為單一流輸出它們。
30.根據(jù)權(quán)利要求28所述的編碼器，其中量化的水平不一致圖和量化的亮度殘留紋理被分配給MPEG-4MAC，然后被編碼。
31.根據(jù)權(quán)利要求28所述的編碼器，還包含第三輔助分量編碼器，用于對(duì)第二圖像的象素值和由不一致補(bǔ)償器輸出的不一致補(bǔ)償?shù)牡诙D像的象素值執(zhí)行殘留過(guò)程，以輸出色度殘留紋理，并且對(duì)色度殘留紋理編碼以輸出量化的色度殘留紋理。
32.根據(jù)權(quán)利要求31所述的編碼器，還包含變長(zhǎng)度編碼器，用于對(duì)量化的視頻對(duì)象、運(yùn)動(dòng)向量、量化的水平不一致圖、量化的亮度殘留紋理和量化的色度殘留紋理執(zhí)行可變長(zhǎng)度編碼，并且作為單一流輸出它們。
33.根據(jù)權(quán)利要求31所述的編碼器，其中量化的水平不一致圖、量化的亮度殘留紋理和量化的色度殘留紋理被分配給MPEG-4MAC，然后被編碼。
34.根據(jù)權(quán)利要求28所述的編碼器，其中不一致估計(jì)器參考第一圖像另外輸出第二圖像上的基于象素的垂直不一致圖；用于立體視頻的編碼器還包含第三輔助分量編碼器，用于根據(jù)由不一致估計(jì)器輸出的基于象素的垂直不一致圖和由視頻對(duì)象編碼器輸出的運(yùn)動(dòng)向量，對(duì)垂直不一致圖編碼并輸出量化的垂直不一致圖；以及根據(jù)重構(gòu)的第一圖像的象素值、重構(gòu)的水平不一致圖的水平不一致向量值和重構(gòu)的垂直不一致圖，不一致補(bǔ)償器執(zhí)行不一致補(bǔ)償并輸出不一致補(bǔ)償?shù)牡诙D像的象素值。
35.根據(jù)權(quán)利要求34所述的編碼器，還包含可變長(zhǎng)度編碼器，用于對(duì)量化的視頻對(duì)象、運(yùn)動(dòng)向量、量化的水平不一致圖、量化的垂直不一致圖和量化的亮度殘留紋理執(zhí)行可變長(zhǎng)度編碼，并且作為單一流輸出它們。
36.根據(jù)權(quán)利要求34所述的編碼器，其中量化的水平不一致圖、量化的垂直不一致圖和量化的亮度殘留紋理被分配給MPEG-4MAC，然后被編碼。
37.根據(jù)權(quán)利要求34所述的編碼器，還包含第四個(gè)輔助分量編碼器，用于對(duì)第二圖像的象素值和由不一致補(bǔ)償器輸出的不一致補(bǔ)償?shù)牡诙D像的象素值執(zhí)行殘留過(guò)程，以輸出色度殘留紋理，并且對(duì)色度殘留紋理編碼以輸出量化的色度殘留紋理。
38.根據(jù)權(quán)利要求37所述的編碼器，還包含可變長(zhǎng)度編碼器，用于對(duì)量化的視頻對(duì)象、運(yùn)動(dòng)向量、量化的水平不一致圖、量化的垂直不一致圖、量化的亮度殘留紋理和量化的色度殘留紋理執(zhí)行可變長(zhǎng)度編碼，并且作為單一流輸出它們。
39.根據(jù)權(quán)利要求28所述的編碼器，其中視頻對(duì)象編碼器包含編碼單元，用于對(duì)第一圖像和運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)執(zhí)行殘留過(guò)程，對(duì)該數(shù)據(jù)執(zhí)行離散余弦變換和量化，并且輸出量化的視頻對(duì)象；解碼單元，用于對(duì)由編碼單元輸出的量化的視頻對(duì)象執(zhí)行去量化和逆離散余弦變換，重構(gòu)視頻對(duì)象數(shù)據(jù)，并且在存儲(chǔ)器中存儲(chǔ)重構(gòu)的視頻對(duì)象數(shù)據(jù)；運(yùn)動(dòng)估計(jì)器，用于比較第一圖像和存儲(chǔ)器中存儲(chǔ)的前一幀的重構(gòu)的視頻對(duì)象數(shù)據(jù)，并且輸出運(yùn)動(dòng)向量；以及運(yùn)動(dòng)補(bǔ)償器，用于比較由運(yùn)動(dòng)估計(jì)器輸出的運(yùn)動(dòng)向量和存儲(chǔ)器中存儲(chǔ)的前一幀的重構(gòu)的視頻對(duì)象數(shù)據(jù)，并且輸出運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)。
40.根據(jù)權(quán)利要求39所述的編碼器，其中第一輔助分量編碼器包含編碼單元，用于對(duì)水平不一致圖和運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)執(zhí)行殘留過(guò)程，對(duì)該數(shù)據(jù)執(zhí)行離散余弦變換和量化，并且輸出量化的水平不一致圖；解碼單元，用于對(duì)由編碼單元輸出的量化的水平不一致圖執(zhí)行去量化和逆離散余弦變換，重構(gòu)水平不一致圖，并且在存儲(chǔ)器中存儲(chǔ)重構(gòu)的水平不一致圖；以及運(yùn)動(dòng)補(bǔ)償器，用于比較由視頻對(duì)象編碼器的運(yùn)動(dòng)估計(jì)器輸出的運(yùn)動(dòng)向量和存儲(chǔ)器中存儲(chǔ)的前一幀的重構(gòu)的水平不一致圖，并且輸出運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)。
41.一種用于包括第一和第二圖像的立體視頻的解碼器，包含可變長(zhǎng)度解碼器，用于接收編碼流，并且輸出第一圖像的視頻對(duì)象的量化數(shù)據(jù)、運(yùn)動(dòng)向量、水平不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)；視頻對(duì)象解碼器，用于根據(jù)視頻對(duì)象的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)視頻對(duì)象解碼并重構(gòu)第一圖像；第一輔助分量解碼器，用于根據(jù)水平不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)水平不一致圖的量化數(shù)據(jù)解碼；第二輔助分量解碼器，用于根據(jù)亮度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)亮度殘留紋理的量化數(shù)據(jù)解碼；不一致補(bǔ)償器，用于根據(jù)由視頻對(duì)象解碼器輸出的重構(gòu)的第一圖像和由第一輔助分量解碼器輸出的解碼的水平不一致圖執(zhí)行不一致補(bǔ)償，并且輸出不一致補(bǔ)償?shù)牧炼燃y理和不一致補(bǔ)償?shù)纳燃y理；以及第一加法器，用于把由不一致補(bǔ)償器輸出的不一致補(bǔ)償?shù)牧炼燃y理和由第二輔助分量解碼器輸出的重構(gòu)的亮度殘留紋理加起來(lái)。
42.根據(jù)權(quán)利要求41所述的解碼器，其中可變長(zhǎng)度解碼器另外輸出色度殘留紋理的量化數(shù)據(jù)，以及用于立體視頻的解碼器還包含第三輔助分量解碼器，用于根據(jù)由可變長(zhǎng)度解碼器輸出的色度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)色度殘留紋理的量化數(shù)據(jù)解碼；以及第二加法器，用于把由不一致補(bǔ)償器輸出的不一致補(bǔ)償?shù)纳燃y理和由第三輔助分量解碼器輸出的重構(gòu)的色度殘留紋理加起來(lái)。
43.根據(jù)權(quán)利要求41所述的解碼器，其中可變長(zhǎng)度解碼器另外輸出垂直不一致圖的量化數(shù)據(jù)；用于立體視頻的解碼器還包含第三輔助分量解碼器，用于根據(jù)由可變長(zhǎng)度解碼器輸出的垂直不一致圖的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)垂直不一致圖的量化數(shù)據(jù)解碼；以及根據(jù)由視頻對(duì)象解碼器輸出的重構(gòu)的第一圖像、由第一輔助分量解碼器輸出的解碼的水平不一致圖和由第三輔助分量解碼器輸出的解碼的垂直不一致圖，不一致補(bǔ)償器執(zhí)行不一致補(bǔ)償，并且輸出不一致補(bǔ)償?shù)牧炼燃y理和不一致補(bǔ)償?shù)纳燃y理。
44.根據(jù)權(quán)利要求43所述的解碼器，其中可變長(zhǎng)度解碼器另外輸出色度殘留紋理的量化數(shù)據(jù)，以及用于立體視頻的解碼器還包含第四輔助分量解碼器，用于根據(jù)由可變長(zhǎng)度解碼器輸出的色度殘留紋理的量化數(shù)據(jù)和運(yùn)動(dòng)向量，對(duì)色度殘留紋理的量化數(shù)據(jù)解碼；以及第二加法器，用于把由不一致補(bǔ)償器輸出的不一致補(bǔ)償?shù)纳燃y理和由第三輔助分量解碼器輸出的重構(gòu)的色度殘留紋理加起來(lái)。
45.根據(jù)權(quán)利要求41所述的解碼器，其中視頻對(duì)象解碼器包含去量化器，用于對(duì)由可變長(zhǎng)度解碼器輸出的視頻對(duì)象的量化數(shù)據(jù)去量化；IDCT(逆離散余弦變換器)，用于對(duì)由去量化器輸出的數(shù)據(jù)執(zhí)行逆離散余弦變換；運(yùn)動(dòng)補(bǔ)償器，用于比較前一幀的重構(gòu)的視頻對(duì)象數(shù)據(jù)和運(yùn)動(dòng)向量以對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償，并且輸出運(yùn)動(dòng)向量；以及加法器，用于把由IDCT輸出的視頻對(duì)象和由運(yùn)動(dòng)補(bǔ)償器輸出的運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)加起來(lái)。
46.根據(jù)權(quán)利要求41所述的解碼器，其中第一輔助分量解碼器包含去量化器，用于對(duì)由可變長(zhǎng)度解碼器輸出的水平不一致圖的量化數(shù)據(jù)去量化；IDCT(逆離散余弦變換器)，用于對(duì)由去量化器輸出的數(shù)據(jù)執(zhí)行逆離散余弦變換；運(yùn)動(dòng)補(bǔ)償器，用于比較前一幀的重構(gòu)的水平不一致圖和運(yùn)動(dòng)向量以對(duì)運(yùn)動(dòng)進(jìn)行補(bǔ)償，并且輸出運(yùn)動(dòng)向量；以及加法器，用于把由IDCT輸出的水平不一致圖和由運(yùn)動(dòng)補(bǔ)償器輸出的運(yùn)動(dòng)補(bǔ)償?shù)臄?shù)據(jù)加起來(lái)。
47.一種用于對(duì)包括第一和第二圖像的立體視頻編碼/解碼的方法，其中作為視頻對(duì)象建立第一圖像，作為第一圖像的輔助信息的第二圖像被分配給MPEG-4MAC，然后被編碼/解碼。
48.根據(jù)權(quán)利要求47所述的方法，其中輔助信息包括下列至少之一水平不一致圖，包含參考第一圖像的右圖像的基于象素的水平不一致向量值；垂直不一致圖，包含參考第一圖像的右圖像的基于象素的垂直不一致向量值；亮度殘留紋理，包括編碼后重構(gòu)的第一圖像，由重構(gòu)的不一致圖不一致補(bǔ)償?shù)牡诙D像，以及輸入的第二圖像上的亮度分量上的殘留圖像數(shù)據(jù)；以及色度殘留紋理，包括編碼后重構(gòu)的第一圖像，由重構(gòu)的不一致圖不一致補(bǔ)償?shù)牡诙D像，以及輸入的第二圖像上的色度分量上的殘留圖像數(shù)據(jù)。
全文摘要
通過(guò)使用由現(xiàn)有的MPEG－4標(biāo)準(zhǔn)定義的MAC對(duì)立體視頻編碼和解碼。立體視頻被分割為作為單個(gè)視頻對(duì)象的一個(gè)圖像；以及另一個(gè)圖像，作為用于作為視頻對(duì)象建立的圖像的輔助信息。所述輔助信息包括水平不一致圖、垂直不一致圖、亮度殘留紋理和色度殘留紋理，它們根據(jù)圖像的重要性和復(fù)雜度分別被分配給MAC的輔助分量，被編碼，然后作為單一編碼流被輸出。
文檔編號(hào)H04N7/24GK1742488SQ03826007
公開(kāi)日2006年3月1日 申請(qǐng)日期2003年1月22日 優(yōu)先權(quán)日2002年12月27日
發(fā)明者曹叔嬉, 崔潤(rùn)靜, 尹國(guó)鎮(zhèn), 李珍煥, 咸泳權(quán), 安致得, 金庸?jié)h 申請(qǐng)人:韓國(guó)電子通信研究院