專利名稱：用于解碼/編碼視頻信號(hào)的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻信號(hào)的碼處理(coding)。
背景技術(shù)：
壓縮碼處理指用于經(jīng)由通信電路傳輸數(shù)字化信息或者以適于存儲(chǔ) 介質(zhì)的形式存儲(chǔ)數(shù)字化信息的一系列信號(hào)處理技術(shù)。作為壓縮碼處理 的對象，存在音頻、視頻、字符等等。具體地，用于對視頻執(zhí)行壓縮 碼處理的技術(shù)被稱為視頻序列壓縮。視頻序列通常特征在于具有空間 冗余或者時(shí)間冗余
發(fā)明內(nèi)容
技術(shù)問題
因此，本發(fā)明涉及用于解碼/編碼視頻信號(hào)的方法和裝置，其能夠 本質(zhì)上增強(qiáng)碼處理視頻信號(hào)的效率。
技術(shù)方案
本發(fā)明的目標(biāo)在于使用塊間或視點(diǎn)間相關(guān)性來有效率地增強(qiáng)視頻 序列的碼處理效率。
本發(fā)明的另 一 目標(biāo)在于有效率地補(bǔ)償多視點(diǎn)序列中的視點(diǎn)之間的 亮度差異。
本發(fā)明的另 一 目標(biāo)在于有效率地傳輸指示視點(diǎn)間依賴'性的視點(diǎn)間 參考信息。
本發(fā)明的另一目標(biāo)在于使用深度信息增強(qiáng)視頻信號(hào)的碼處理效率。
本發(fā)明的另一目標(biāo)在于使用照相機(jī)信息為用戶提供各種服務(wù)或者 增強(qiáng)視頻信號(hào)的碼處理效率。
本發(fā)明的進(jìn)一步目標(biāo)在于提供一種解碼方法和裝置，通過該解碼 方法和裝置能夠有效率地解碼視頻序列數(shù)據(jù)。
有益效果
根據(jù)本發(fā)明，能夠通過使用視頻序列的時(shí)間和空間相關(guān)性預(yù)測運(yùn) 動(dòng)信息來增強(qiáng)信號(hào)處理效率。通過使用與當(dāng)前塊具有高相關(guān)性的圖片 的碼處理信息預(yù)測當(dāng)前塊的碼處理信息來使能更高精度的預(yù)測，從而 傳輸?shù)腻e(cuò)誤被減小以進(jìn)行高效的碼處理。即使當(dāng)前塊的運(yùn)動(dòng)信息沒有 被傳輸，也能夠計(jì)算與當(dāng)前塊的運(yùn)動(dòng)信息非常類似的運(yùn)動(dòng)信息。因此， 重構(gòu)率得以增強(qiáng)。能夠使用深度信息改進(jìn)碼處理效率和序列重建率。 能夠使用照相機(jī)信息增強(qiáng)碼處理效率。而且，還能夠向用戶提供各種 服務(wù)。
在本發(fā)明中，使用相鄰塊的信息預(yù)測當(dāng)前塊的偏移值，并且傳輸 相應(yīng)的差異值。因此，能夠最小化應(yīng)被傳輸用于亮度補(bǔ)償(以下簡寫 為IC)的信息。在使用至少兩個(gè)參考塊預(yù)測碼處理的情況下，通過用 各種方法中的至少一種來應(yīng)用偏移值和標(biāo)志信息，從而使得能夠進(jìn)行 更高效的碼處理。當(dāng)預(yù)測當(dāng)前塊的偏移值時(shí)，能夠通過檢査當(dāng)前塊的 參考索引是否與相鄰塊的參考索引相同來執(zhí)行更準(zhǔn)確的預(yù)測。能夠以 下述方式最小化應(yīng)被傳輸?shù)男畔?，即預(yù)測指示是否執(zhí)行當(dāng)前塊的亮度 補(bǔ)償?shù)臉?biāo)志信息并且然后僅傳輸相應(yīng)的差異值。類似地，能夠通過檢 査當(dāng)前塊的參考索引是否與相鄰塊的參考索引相同來執(zhí)行更準(zhǔn)確的預(yù)


被包括以提供本發(fā)明的進(jìn)一步理解并且并入并且構(gòu)成本說明書一 部分的附圖示出了本發(fā)明的實(shí)施例，并且與說明一起用于解釋本發(fā)明 的原理。
在附圖中
圖l是根據(jù)本發(fā)明的實(shí)施例的視頻信號(hào)解碼裝置的示意框圖2是根據(jù)本發(fā)明的實(shí)施例的關(guān)于能夠被添加到多視點(diǎn)序列碼處 理比特流的多視點(diǎn)序列的構(gòu)造信息的圖3是解釋根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于獲得當(dāng)前塊的IC差異 信息的過程的圖4和圖5是解釋根據(jù)本發(fā)明的實(shí)施例的通過考慮亮度補(bǔ)償?shù)倪\(yùn)動(dòng)
矢量預(yù)測方法的圖6是解釋根據(jù)本發(fā)明的實(shí)施例的使用深度圖的碼處理方法的圖； 圖7至14是根據(jù)本發(fā)明的實(shí)施例的使用照相機(jī)信息的用于描述各
種應(yīng)用示例的句法的圖15是根據(jù)本發(fā)明的實(shí)施例的多視點(diǎn)序列信號(hào)的整體預(yù)測結(jié)構(gòu)的
圖，用于解釋視點(diǎn)間圖片組的概念；以及
圖16至20是根據(jù)本發(fā)明的實(shí)施例的用于描述視點(diǎn)間參考信息的各 種句法的圖。
具體實(shí)施例方式
在下面的描述中將闡述本發(fā)明的額外的特征和優(yōu)點(diǎn)，并且其將從 說明中變得更加明顯，或者可以通過本發(fā)明的實(shí)踐來學(xué)習(xí)。將通過在 給出的描述和其權(quán)利要求以及附圖中特別指出的結(jié)構(gòu)來實(shí)現(xiàn)并且獲得 本發(fā)明的目標(biāo)和其他優(yōu)點(diǎn)。
為了獲得這些和其他優(yōu)點(diǎn)并且根據(jù)本發(fā)明的目的，如所示例并且 廣泛描述的， 一種解碼視頻信號(hào)的方法包括當(dāng)與對于當(dāng)前塊的亮度 補(bǔ)償相關(guān)聯(lián)的信息在比特流中不可用時(shí)，獲得當(dāng)前塊的相鄰塊的IC差 異信息；使用相鄰塊的IC差異信息推導(dǎo)當(dāng)前塊的IC差異信息；基于當(dāng)前塊的IC差異信息推導(dǎo)指示是否對當(dāng)前塊執(zhí)行亮度補(bǔ)償?shù)腎C標(biāo)志；以 及基于當(dāng)前塊的IC差異信息和IC標(biāo)志，執(zhí)行對當(dāng)前塊的亮度補(bǔ)償。
優(yōu)選地，當(dāng)當(dāng)前塊的IC差異信息為O時(shí)，當(dāng)前塊的IC標(biāo)志被推導(dǎo)為
優(yōu)選地，當(dāng)當(dāng)前塊的IC差異信息不為O時(shí)，當(dāng)前塊的IC標(biāo)志被推導(dǎo)為l。
優(yōu)選地，基于當(dāng)前塊的參考索引是否與相鄰塊的參考索引相同來
推導(dǎo)出當(dāng)前塊的IC差異信息。
更優(yōu)選地，當(dāng)存在一個(gè)具有與當(dāng)前塊的參考索引相同的參考索引
的相鄰塊時(shí)，當(dāng)前塊的IC差異信息被設(shè)置為相鄰塊的IC差異信息。
在該情況下，按照當(dāng)前塊的上、左、右上、左上塊的順序檢查相 鄰塊。
更優(yōu)選地，當(dāng)存在每個(gè)具有與當(dāng)前塊的參考索引相同的參考索引
的三個(gè)相鄰塊時(shí)，當(dāng)前塊的ic差異信息被設(shè)置為三個(gè)相鄰塊的ic差異
信息的中間值。
優(yōu)選地，視頻信號(hào)被接收為廣播信號(hào)。
優(yōu)選地，經(jīng)由數(shù)字媒介接收視頻信號(hào)。
為了進(jìn)一步獲得這些以及其它優(yōu)點(diǎn)并且根據(jù)本發(fā)明的目的，計(jì)算 機(jī)可讀介質(zhì)包括用于執(zhí)行本發(fā)明的程序。并且該程序被記錄在計(jì)算機(jī) 可讀介質(zhì)中。為了進(jìn)一步獲得這些以及其它優(yōu)點(diǎn)并且根據(jù)本發(fā)明的目的， 一種用于解碼視頻信號(hào)的裝置包括IC差異預(yù)測單元，當(dāng)與對于當(dāng)前塊的
亮度補(bǔ)償相關(guān)聯(lián)的信息在比特流中不可用時(shí)，該ic差異預(yù)測單元使用
獲得的相鄰塊的IC差異信息推導(dǎo)當(dāng)前塊的IC差異信息；以及
IC單元，該IC單元基于當(dāng)前塊的IC差異信息推導(dǎo)指示是否對當(dāng)前塊執(zhí)行亮度補(bǔ)償?shù)腎C標(biāo)志，并且基于當(dāng)前塊的IC差異信息和IC標(biāo)志對當(dāng)前塊執(zhí)行亮度補(bǔ)償。
應(yīng)理解的是，前述一般性描述以及下面的詳細(xì)描述都是示例性的和說明性的，并且意在提供所要求保護(hù)的本發(fā)明的進(jìn)一步說明。
本發(fā)明的實(shí)施模式
現(xiàn)在將詳細(xì)地參考本發(fā)明的優(yōu)選實(shí)施例，在附圖中示出了其示例。
首先，視頻信號(hào)數(shù)據(jù)的壓縮碼處理考慮空間冗余、時(shí)間冗余、可分級冗余以及視點(diǎn)間冗余。并且，在壓縮碼處理的過程中，通過考慮視點(diǎn)間存在的相互冗余使得能夠進(jìn)行壓縮碼處理?？紤]視點(diǎn)間冗余的壓縮碼處理方案正是本發(fā)明的實(shí)施例。而且，本發(fā)明的技術(shù)思想可應(yīng)用于時(shí)間冗余、可分級冗余等等。在該公開中，碼處理能夠包括編碼和解碼兩者的概念。并且，碼處理能夠靈活地解釋為與本發(fā)明的技術(shù)思想和范圍對應(yīng)。
觀察視頻信號(hào)的比特序列構(gòu)造，在處理移動(dòng)圖片編碼過程本身的
VCL (視頻碼處理層)與傳輸并且存儲(chǔ)編碼的信息的下級系統(tǒng)(lowersystem)之間存在被稱為NAL (網(wǎng)絡(luò)抽象層)的單獨(dú)的層結(jié)構(gòu)。從編碼過程輸出的是VCL數(shù)據(jù)并且在傳輸或存儲(chǔ)之前通過NAL單元映射。每個(gè)NAL單元包括是對應(yīng)于首部(header)信息的數(shù)據(jù)的RBSP (原始字節(jié)序列載荷移動(dòng)圖片壓縮的結(jié)果數(shù)據(jù))或壓縮的視頻數(shù)據(jù)。NAL單元基本上包括兩部分，NAL首部和RBSP。 NAL首部包括標(biāo)志信息(rial—ref—idc)，其指示是否包括作為NAL單元的參考圖片的片段；以及識(shí)別符(nal—unit_type)，其指示NAL單元的類型。壓縮的原始數(shù)據(jù)被存儲(chǔ)在RBSP中。并且，RBSP結(jié)尾比特被添加到RBSP的最后部分以將RBSP的長度表示為8-比特乘法(multiplication)。作為NAL單元的類型，有IDR (即時(shí)解碼刷新)圖片、SPS (序列參數(shù)集)、PPS (圖片參數(shù)集)、SEI (補(bǔ)充增強(qiáng)信息)等等。
在標(biāo)準(zhǔn)中，需要設(shè)置各種簡檔(profile)和等級(level)以使得能夠?qū)嵤┚哂羞m合的成本的目標(biāo)產(chǎn)品。在該情況下，解碼器應(yīng)滿足根據(jù)相應(yīng)的簡檔和等級確定的要求。因此，兩個(gè)概念"簡檔"和"等級"
被定義為指示用于表示解碼器能夠處理多大范圍的壓縮序列的功能或參數(shù)。并且，簡檔標(biāo)示符(profile—idc)能夠識(shí)別比特流是基于規(guī)定的簡檔。簡檔標(biāo)示符指指示比特流所基于的簡檔的標(biāo)志。例如，在_!1.264/7^^中，如果簡檔標(biāo)示符為66，則其意味著比特流是基于基線(baseline)簡檔。如果簡檔標(biāo)示符是77，則其意味著比特流是基于主簡檔。如果簡檔標(biāo)示符是88，則其意味著比特流是基于擴(kuò)展簡檔。然而，簡檔標(biāo)示符能夠被包括在序列參數(shù)集中。
因此，為了處理多視點(diǎn)序列，需要識(shí)別輸入的比特流是否是多視點(diǎn)簡檔。如果輸入的比特流是多視點(diǎn)簡檔，則需要添加句法以使得至少一個(gè)用于多視點(diǎn)的附加信息能夠被傳輸。在該情況下，多視點(diǎn)簡檔指示用于處理多視點(diǎn)視頻的簡檔模式作為H.264/AVC的附加技術(shù)。在MVC中，添加句法作為用于MVC模式的附加信息可能比無條件句法更有效率。例如，當(dāng)AVC的簡檔識(shí)別符指示多視點(diǎn)簡檔時(shí)，如果用于多視點(diǎn)序列的信息被添加，則能夠增強(qiáng)編碼效率。
序列參數(shù)集指示包含諸如簡檔、等級等等的跨過整個(gè)序列的編碼的信息的首部信息。整個(gè)壓縮的移動(dòng)圖片，即序列應(yīng)該從序列首部開始。因此，對應(yīng)于首部信息的序列參數(shù)集應(yīng)在參考參數(shù)集的數(shù)據(jù)到達(dá)之前到達(dá)解碼器。BP,序列參數(shù)集RBSP對于移動(dòng)圖片壓縮的結(jié)果數(shù)據(jù)
起到首部信息的作用。 一旦比特流被輸入，簡檔標(biāo)示符優(yōu)選地標(biāo)識(shí)被輸入的比特流是基于多個(gè)簡檔中的哪一個(gè)。因此，通過將用于確定輸
入的比特流是否與多視點(diǎn)簡檔相關(guān)的部分(例如，"if (profilejdc==MULTI_VIEW—PROFILE)")添加到句法中，確定輸入的比特流是否與多視點(diǎn)簡檔有關(guān)。各種類型的構(gòu)造信息能夠被添加，只要輸入的比特流被確認(rèn)為與多視點(diǎn)簡檔有關(guān)。例如，能夠添加視點(diǎn)的總數(shù)、視點(diǎn)間參考圖片的數(shù)目、視點(diǎn)間參考圖片的視點(diǎn)識(shí)別編號(hào)等等。并且，解碼圖片緩沖器能夠使用各種類型的與視點(diǎn)間參考圖片有關(guān)的信息來構(gòu)造和管理參考圖片列表。
圖1是根據(jù)本發(fā)明的用于解碼視頻信號(hào)的裝置的示意框圖。
參考圖l，解碼裝置包括解析單元100、熵解碼單元200、反量化/反變換單元300、幀內(nèi)預(yù)測單元400、去塊過濾器單元500、解碼圖片緩沖單元600、幀間預(yù)測單元700等等。并且，幀間預(yù)測單元700能夠包括IC差異預(yù)測單元710、 IC (亮度補(bǔ)償)單元720、運(yùn)動(dòng)補(bǔ)償單元730等等。
解析單元100通過NAL單元進(jìn)行解析以解碼接收到的視頻序列。一般來說，在解碼片段首部和片段數(shù)據(jù)之前，至少一個(gè)序列參數(shù)集以及至少一個(gè)圖片參數(shù)集被傳輸?shù)浇獯a器。在該情況下，各種類型的構(gòu)造信息能夠被包括在NAL首部區(qū)域中或者NAL首部的擴(kuò)展區(qū)域中。由于MVC是用于傳統(tǒng)的AVC方案的附加方案，因此，在MVC比特流的情況下，添加各種構(gòu)造信息可能比無條件的添加更有效率。例如，能夠添加標(biāo)志信息以識(shí)別在NAL首部區(qū)域或者NAL首部的擴(kuò)展區(qū)域中的MVC比特流的存在還是不存在。只有根據(jù)標(biāo)志信息，輸入的比特流是多視點(diǎn)序列編碼的比特流，才能夠添加用于多視點(diǎn)序列的構(gòu)造信息。例如，構(gòu)造信息能夠包括視點(diǎn)識(shí)別信息、視點(diǎn)間圖片組識(shí)別信息、視點(diǎn)間預(yù)測標(biāo)志信息、時(shí)間等級信息、優(yōu)先級識(shí)別信息、指示是否是用于視點(diǎn)的即時(shí)解碼圖片的識(shí)別信息等等。將參考圖2詳細(xì)地對其進(jìn)行說明。
熵解碼單元200對解析后的比特流進(jìn)行熵解碼，并且然后提取每
個(gè)宏塊的系數(shù)、運(yùn)動(dòng)矢量等等。反量化/反變換單元300獲得通過將接
收到的量化值乘以預(yù)定常數(shù)變換的系數(shù)值并且然后將系數(shù)值反變換以
重建像素值。使用重建的像素值，幀內(nèi)預(yù)測單元400從解碼的采樣在當(dāng)前圖片內(nèi)進(jìn)行畫面內(nèi)預(yù)測。同時(shí)，去塊過濾器單元500被應(yīng)用于每個(gè)碼處理后的宏塊以減少塊失真。過濾器平滑塊邊緣以增強(qiáng)解碼的幀的圖像質(zhì)量。過濾過程的選擇取決于邊界強(qiáng)度和邊界周圍的圖像采樣的梯度。通過過濾的圖片被輸出或者被存儲(chǔ)在解碼圖片緩沖單元600中以用作參考圖片。
解碼圖片緩沖單元600起到存儲(chǔ)或者打開預(yù)先碼處理的圖片以執(zhí)行圖片間預(yù)測的作用。在該情況下，為了將圖片存儲(chǔ)在解碼圖片緩沖單元600中或者為了打開圖片，使用每個(gè)圖片的"frame_num"和PCO(圖片次序號(hào))。因此，在MVC中，由于在先前碼處理的圖片當(dāng)中存在與當(dāng)前圖片存在的視點(diǎn)不同的視點(diǎn)上的圖片，因此，為了使用這些圖片作為參考圖片，可以與"frame—num"和POC —起使用用于識(shí)別圖片的視點(diǎn)信息。
解碼圖片緩沖單元600能夠在構(gòu)建用于視點(diǎn)間預(yù)測的參考圖片列表中使用關(guān)于視點(diǎn)的信息。例如，能夠使用視點(diǎn)間參考信息。視點(diǎn)間參考信息指用于指示視點(diǎn)間依賴關(guān)系的信息。例如，能夠有視點(diǎn)的總數(shù)、視點(diǎn)識(shí)別編號(hào)、視點(diǎn)間參考圖片的數(shù)目、視點(diǎn)間參考圖片的視點(diǎn)識(shí)別編號(hào)等等。
解碼圖片緩沖單元600管理參考圖片以更靈活地實(shí)現(xiàn)圖片間預(yù)測。例如，可以使用存儲(chǔ)器管理控制操作方法和滑動(dòng)窗口方法。這是通過將存儲(chǔ)器統(tǒng)一為一個(gè)存儲(chǔ)器來管理參考圖片存儲(chǔ)器和非參考圖片存儲(chǔ)器并且以較小的存儲(chǔ)器來實(shí)現(xiàn)有效率的存儲(chǔ)器管理。在多視點(diǎn)視 頻碼處理中，由于視點(diǎn)方向上的圖片具有相同的圖片次序號(hào)，因此， 在對其進(jìn)行標(biāo)記中可使用用于識(shí)別圖片中的每一個(gè)的視點(diǎn)的信息。并 且，以上述方式管理的參考圖片能夠由幀間預(yù)測單元700使用。
幀間碼處理的宏塊能夠被劃分為宏塊分區(qū)(partition)。并且每個(gè) 宏塊分區(qū)能夠從一個(gè)或兩個(gè)參考圖片來預(yù)測。幀間預(yù)測單元700包括 IC差異預(yù)測單元710、 IC單元720、運(yùn)動(dòng)補(bǔ)償單元730等等。
在輸入的比特流對應(yīng)于多視點(diǎn)序列的情況下，由于各視點(diǎn)序列是 分別通過不同的照相機(jī)捕捉的，因此由于照相機(jī)的內(nèi)部和外部因素導(dǎo) 致產(chǎn)生亮度差異。為了防止該差異，IC單元720執(zhí)行亮度補(bǔ)償(IC)。 在執(zhí)行亮度補(bǔ)償中，能夠使用指示是否對視頻信號(hào)的規(guī)定層執(zhí)行亮度 補(bǔ)償?shù)臉?biāo)志信息。例如，能夠使用指示是否對相應(yīng)的片段或宏塊執(zhí)行 亮度補(bǔ)償?shù)臉?biāo)志信息來執(zhí)行亮度補(bǔ)償。在使用標(biāo)志信息執(zhí)行亮度補(bǔ)償 中，可應(yīng)用于各種宏塊類型(例如，幀間16X16模式、B跳過模式、 直接模式等等)。
在執(zhí)行亮度補(bǔ)償中，能夠使用相鄰塊的信息、在與當(dāng)前塊的視點(diǎn) 不同的視點(diǎn)中的塊的信息或當(dāng)前塊的IC差異信息來重建當(dāng)前塊。在當(dāng) 前塊參考不同視點(diǎn)中的相鄰塊的情況下，能夠使用關(guān)于被存儲(chǔ)在解碼 圖片緩沖單元600中的用于視點(diǎn)間預(yù)測的參考圖片列表的信息來執(zhí)行 亮度補(bǔ)償。在該情況下，當(dāng)前塊的OC差異值可以指當(dāng)前塊的平均像素 值與相應(yīng)的參考塊的平均像素值之間的差。例如使用IC差異信息的情 況下，使用當(dāng)前塊的相鄰塊來獲得當(dāng)前塊的IC差異預(yù)測值并且能夠使 用是IC差異信息和IC差異預(yù)測值之間的差異值的IC差異殘余(IC偏 移殘余)。因此，解碼器能夠使用IC差異殘余和IC差異預(yù)測值來重 建當(dāng)前塊的IC差異信息。
在獲得當(dāng)前塊的IC差異預(yù)測值中，能夠使用相鄰塊的信息。例如，能夠使用相鄰塊的IC差異信息來預(yù)測當(dāng)前塊的IC差異信息。在此之 前，檢查當(dāng)前塊的參考索引是否與相鄰塊的參考索引相同。根據(jù)檢査 的結(jié)果，能夠確定使用規(guī)定塊還是規(guī)定值。
能夠使用視點(diǎn)方向的碼處理信息相關(guān)性來預(yù)測當(dāng)前塊的碼處理信 息。例如，碼處理信息能夠包括亮度補(bǔ)償信息、預(yù)測方向信息、分區(qū) 信息等等。具體地，為了預(yù)測當(dāng)前塊的亮度補(bǔ)償信息，能夠使用與當(dāng) 前塊相鄰的塊的亮度補(bǔ)償。并且，還能夠使用對應(yīng)于當(dāng)前塊并且在當(dāng) 前塊的同一視點(diǎn)中存在的圖片的塊的亮度補(bǔ)償信息。
運(yùn)動(dòng)補(bǔ)償單元730使用從熵解碼單元200傳輸?shù)男畔⒀a(bǔ)償當(dāng)前塊 的運(yùn)動(dòng)。從視頻信號(hào)提取與當(dāng)前塊鄰近的塊的運(yùn)動(dòng)矢量并且然后獲得 當(dāng)前塊的運(yùn)動(dòng)矢量。并且，使用獲得的運(yùn)動(dòng)矢量預(yù)測值和從視頻信號(hào) 提取的差分矢量補(bǔ)償當(dāng)前塊的運(yùn)動(dòng)。并且，能夠使用一個(gè)參考圖片或 者-多個(gè)圖片來執(zhí)行運(yùn)動(dòng)補(bǔ)償。在多視點(diǎn)視頻碼處理中，在當(dāng)前圖片參 考不同視點(diǎn)中的圖片的情況下，能夠使用用于被存儲(chǔ)在解碼圖片緩沖 單元600中的視點(diǎn)間預(yù)測參考圖片列表的信息來執(zhí)行運(yùn)動(dòng)補(bǔ)償。并且， 還能夠使用用于識(shí)別相應(yīng)圖片的視點(diǎn)的視點(diǎn)信息來執(zhí)行運(yùn)動(dòng)補(bǔ)償。
直接預(yù)測模式是用于從編碼塊的運(yùn)動(dòng)信息預(yù)測當(dāng)前塊的運(yùn)動(dòng)信息 的編碼模式。由于該方法能夠節(jié)省解碼運(yùn)動(dòng)信息所要求的比特?cái)?shù)，因 此補(bǔ)償效率得以增強(qiáng)。例如，時(shí)間直接模式使用在時(shí)間方向上的運(yùn)動(dòng) 信息相關(guān)性來預(yù)測當(dāng)前塊的運(yùn)動(dòng)信息。當(dāng)包含不同運(yùn)動(dòng)的序列中的運(yùn) 動(dòng)的速度恒定時(shí)，該時(shí)間直接模式是有效的。在時(shí)間直接模式用于多 視點(diǎn)視頻碼處理的情況下，應(yīng)考慮視點(diǎn)間運(yùn)動(dòng)矢量。
對于直接預(yù)測模式的另一示例，空間直接模式使用空間方向上的 運(yùn)動(dòng)信息相關(guān)性預(yù)測當(dāng)前塊的運(yùn)動(dòng)信息。當(dāng)運(yùn)動(dòng)的速度在包含相同運(yùn) 動(dòng)的序列中變化時(shí)，該空間直接模式是有效的。在當(dāng)前圖片的反方向 參考圖片列表(列表1)中具有最小參考編號(hào)的參考圖片中，能夠使用與當(dāng)前塊同地的塊的運(yùn)動(dòng)信息來預(yù)測當(dāng)前圖片的運(yùn)動(dòng)信息。然而，在 多視點(diǎn)視頻碼處理中，參考圖片可能存在于與當(dāng)前圖片的視點(diǎn)不同的 視點(diǎn)中。在該情況下，可以在應(yīng)用空間直接模式中使用各種實(shí)施例。
在視頻信號(hào)碼處理中，對特定應(yīng)用或其它目的能夠使用深度信息。 深度信息可以指能夠指示視點(diǎn)間視差差異的信息。例如，能夠通過視 點(diǎn)間預(yù)測獲得視差矢量。并且，獲得的視差矢量應(yīng)被傳輸?shù)浇獯a設(shè)備 用于當(dāng)前塊的視差補(bǔ)償。然而，在找到深度圖并且然后將其傳輸至解 碼設(shè)備的情況下，能夠在不將視差矢量傳輸?shù)浇獯a設(shè)備的情況下從深 度圖(或視差圖)推導(dǎo)視差矢量。深度圖能夠與運(yùn)動(dòng)矢量或視差矢量 一起傳輸。在該情況下，深度圖可以指用于每個(gè)預(yù)定單元的深度信息。 例如，預(yù)定單元可以對應(yīng)于像素單元或者塊單元。如果這樣，有利的 是，能夠降低應(yīng)該傳輸?shù)浇獯a設(shè)備的深度信息的比特?cái)?shù)。能夠使用深 度圖來重建兩個(gè)彼此相鄰的視點(diǎn)間的虛視點(diǎn)。通過從深度圖推導(dǎo)視差 矢量，能夠提供新的視差補(bǔ)償方法。因此，在從深度圖推導(dǎo)視差矢量 的過程中使用不同視點(diǎn)的圖片的情況下，能夠使用用于識(shí)別圖片的視 點(diǎn)的視點(diǎn)信息。這將在后面參考圖6進(jìn)行詳細(xì)解釋。
根據(jù)預(yù)測模式選擇上述過程的幀間預(yù)測圖片和幀內(nèi)預(yù)測圖片來重 建當(dāng)前圖片。
圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施例的關(guān)于可添加到多視點(diǎn)序列碼處 理比特流的多視點(diǎn)序列的構(gòu)造信息的圖。
圖2示出多視點(diǎn)序列的構(gòu)造信息能夠被添加到的NAL單元構(gòu)造的 示例。NAL單元能夠主要包括NAL單元首部和RBSP (原始字節(jié)序列 載荷移動(dòng)圖片壓縮的結(jié)果數(shù)據(jù))。并且，NAL單元首部能夠包括指 示NAL單元是否包括參考圖片的片段的識(shí)別信息(nal—ref一idc)以及 指示NAL單元的類型的信息(nal一unit一type)。并且，NAL單元首部 的擴(kuò)展區(qū)域能夠被限制地包括。例如，如果指示NAL單元的類型的信息與可分級視頻碼處理相關(guān)聯(lián)或者指示前綴NAL單元，則NAL單元 能夠包括NAL單元首部的擴(kuò)展區(qū)域。具體地，如果nal—unit—type=20 或14，則NAL單元能夠包括NAL單元首部的擴(kuò)展區(qū)域。并且，根據(jù) 能夠識(shí)別是否是MVC比特流的標(biāo)志信息(svc—mvc—flag)，用于多視 點(diǎn)序列的構(gòu)造信息能夠被添加到NAL單元首部的擴(kuò)展區(qū)域。
對于另一個(gè)示例，如果指示NAL單元的類型的信息是指示序列參 數(shù)集的信息，則RBSP能夠包括關(guān)于序列參數(shù)集的信息。具體地，如果 nal—Unit—type=7，則RBSP能夠包括用于序列參數(shù)集的信息。在該情況 下，根據(jù)簡檔信息，序列參數(shù)集能夠包括序列參數(shù)集的擴(kuò)展區(qū)域。例 如，如果簡檔信息(profile—idc)是與多視點(diǎn)視頻碼處理有關(guān)的簡檔， 則序列參數(shù)集能夠包括序列參數(shù)集的擴(kuò)展區(qū)域。替代地，根據(jù)簡檔信 息，子集序列參數(shù)集能夠包括序列參數(shù)集的擴(kuò)展區(qū)域。序列參數(shù)集的 擴(kuò)展區(qū)域能夠包括指示視點(diǎn)間依賴性的視點(diǎn)間參考信息。
在下面詳細(xì)解釋關(guān)于多視點(diǎn)序列的各種構(gòu)造信息，例如能夠被包 括在NAL單元首部的擴(kuò)展區(qū)域中的構(gòu)造信息或者能夠被包括在序列參 數(shù)集的擴(kuò)展區(qū)域中的構(gòu)造信息。
首先，視點(diǎn)識(shí)別信息指用于將當(dāng)前視點(diǎn)中的圖片與不同視點(diǎn)中的 圖片區(qū)分的信息。在對視頻序列信號(hào)進(jìn)行碼處理，POC (圖片次序號(hào)) 和"fmme一num"用于識(shí)別每個(gè)圖片。在多視點(diǎn)視頻序列的情況下，執(zhí) 行視點(diǎn)間預(yù)測。因此，需要將當(dāng)前視點(diǎn)的圖片與另一視點(diǎn)的圖片進(jìn)行 區(qū)分的識(shí)別信息。因此，需要限定用于識(shí)別圖片的視點(diǎn)的視點(diǎn)識(shí)別信 息。能夠從視頻信號(hào)的首部區(qū)域獲得視點(diǎn)識(shí)別信息。例如，首部區(qū)域 能夠是NAL首部區(qū)域、NAL首部的擴(kuò)展區(qū)域、或者片段首部區(qū)域。使 用視點(diǎn)識(shí)別信息獲得與當(dāng)前圖片的視點(diǎn)不同的視點(diǎn)的圖片的信息，并 且能夠使用關(guān)于不同視點(diǎn)中的圖片的信息解碼視頻信號(hào)。
視點(diǎn)識(shí)別信息可應(yīng)用于視頻信號(hào)的整個(gè)解碼/編碼過程。例如，能夠使用視點(diǎn)識(shí)別信息來指示視點(diǎn)間依賴性?？赡苄枰朁c(diǎn)間參考圖片 的編號(hào)信息、視點(diǎn)間參考圖片的視點(diǎn)識(shí)別信息等等來指示視點(diǎn)間依賴 性。類似于視點(diǎn)間參考圖片的編號(hào)信息或者視點(diǎn)間參考圖片的視點(diǎn)識(shí) 別信息，用于指示視點(diǎn)間依賴性的信息應(yīng)被命名為視點(diǎn)間參考信息。 在該情況下，視點(diǎn)識(shí)別信息能夠用于指示視點(diǎn)間參考圖片的視點(diǎn)識(shí)別 信息。視點(diǎn)間參考圖片可以指在對當(dāng)前圖片執(zhí)行視點(diǎn)間預(yù)測中使用的 參考圖片。并且，視點(diǎn)識(shí)別信息能夠使用考慮視點(diǎn)來代替考慮特定視
點(diǎn)識(shí)別符的"frame_num"完整地應(yīng)用于多視點(diǎn)視頻碼處理。
視點(diǎn)間圖片組識(shí)別信息指能夠識(shí)別當(dāng)前NAL單元的碼處理圖片 是否是視點(diǎn)間圖片組的信息。在該情況下，視點(diǎn)間圖片組指僅參考所 有片段都存在于同一時(shí)區(qū)中的幀內(nèi)的片段的碼處理圖片。例如，其指 僅參考不同視點(diǎn)的片段而不參考當(dāng)前視點(diǎn)的片段的碼處理圖片。在解 碼多視點(diǎn)序列中，視點(diǎn)間隨機(jī)訪問可以是可能的。對于視點(diǎn)間預(yù)測，
視點(diǎn)間參考信i、是必須的。在獲得視點(diǎn)間參考信息中，可以使用視點(diǎn)
間圖片組識(shí)別信息。例如，如果當(dāng)前圖片對應(yīng)于視點(diǎn)間圖片組，則能 夠獲得關(guān)于視點(diǎn)間圖片組的視點(diǎn)間參考信息。如果當(dāng)前圖片對應(yīng)于非 視點(diǎn)間圖片組，則能夠獲得關(guān)于非視點(diǎn)間圖片組的視點(diǎn)間參考信息。
因此，在基于視點(diǎn)間圖片組識(shí)別信息獲得視點(diǎn)間參考信息的情況 下，能夠更有效率地執(zhí)行視點(diǎn)間隨機(jī)訪問。這是因?yàn)橐朁c(diǎn)間圖片組中 的圖片之間的視點(diǎn)間參考關(guān)系能夠與非視點(diǎn)間圖片組中的不同。并且， 在視點(diǎn)間圖片組的情況下，多個(gè)視點(diǎn)中的圖片能夠被參考。例如，從 多個(gè)視點(diǎn)中的圖片產(chǎn)生虛視點(diǎn)的圖片，并且然后能夠使用虛視點(diǎn)的圖 片預(yù)測當(dāng)前圖片。
在構(gòu)建參考圖片列表中，能夠使用視點(diǎn)間圖片組識(shí)別信息。在該 情況下，參考圖片列表能夠包括用于視點(diǎn)間預(yù)測的參考圖片列表。并 且，用于視點(diǎn)間預(yù)測的參考圖片列表能夠被添加到參考圖片列表。例 如，在初始化參考圖片列表或者修改參考圖片列表的情況下，能夠使用視點(diǎn)間圖片組識(shí)別信息。并且，視點(diǎn)間圖片組識(shí)別信息還能夠用于 管理添加的用于視點(diǎn)間預(yù)測的參考圖片。例如，通過將參考圖片劃分 為視點(diǎn)間圖片組和非視點(diǎn)間圖片組，能夠做出指示不應(yīng)該使用在執(zhí)行 視點(diǎn)間預(yù)測中未能被使用的參考圖片的標(biāo)記。并且，視點(diǎn)間圖片組識(shí)
別信息能夠應(yīng)用于假設(shè)的(hypothetical)參考解碼器。
視點(diǎn)間預(yù)測標(biāo)志信息指指示當(dāng)前NAL單元的碼處理圖片是否被 用于視點(diǎn)間預(yù)測的信息。視點(diǎn)間預(yù)測標(biāo)志信息可用于執(zhí)行時(shí)間預(yù)測或 者視點(diǎn)間預(yù)測的部分。在該情況下，能夠一起使用指示NAL單元是否 包括參考圖片的片段的識(shí)別信息。例如，雖然根據(jù)識(shí)別信息當(dāng)前NAL 單元未能包括參考圖片的片段，但是如果其用于視點(diǎn)間預(yù)測，則當(dāng)前 NAL單元能夠是僅用于視點(diǎn)間預(yù)測的參考圖片。根據(jù)識(shí)別信息，如果 當(dāng)前NAL單元包括參考圖片的片段，并且被用于視點(diǎn)間預(yù)測，則當(dāng)前 NAL單元能夠被用于時(shí)間預(yù)測和視點(diǎn)間預(yù)測。如果根據(jù)識(shí)別信息NAL 單元未能包括參考圖片的片段，則其能夠被存儲(chǔ)在解碼圖片緩沖器中。 這是因?yàn)?，在根?jù)視點(diǎn)間預(yù)測標(biāo)志信息當(dāng)前NAL單元的碼處理圖片被 用于視點(diǎn)間預(yù)測的情況下，其需要被存儲(chǔ)。
除了 一起使用標(biāo)志信息和識(shí)別信息的情況之外， 一 個(gè)識(shí)別信息能 夠指示當(dāng)前NAL單元的碼處理圖片是否被用于時(shí)間預(yù)測和/或視點(diǎn)間 預(yù)測。
時(shí)間等級信息指關(guān)于分層結(jié)構(gòu)的信息以從視頻信號(hào)提供時(shí)間分 級。通過時(shí)間等級信息，能夠向用戶提供各種時(shí)區(qū)的序列。
優(yōu)先級識(shí)別信息指能夠識(shí)別NAL單元的優(yōu)先級的信息。能夠使用 優(yōu)先級識(shí)別信息提供視點(diǎn)分級。例如，能夠使用優(yōu)先級識(shí)別信息定義 視點(diǎn)等級信息。在該情況下，視點(diǎn)等級信息指關(guān)于分層結(jié)構(gòu)的信息用 于從視頻信號(hào)提供視點(diǎn)分級。在多視點(diǎn)視頻序列中，需要定義用于時(shí) 間的等級和用于視點(diǎn)的等級以向用戶提供各種時(shí)間和視點(diǎn)序列。在定義上述等級信息的情況下，能夠使用時(shí)間分級和視點(diǎn)分級。因此，用 戶能夠僅觀看特定時(shí)間和視點(diǎn)的序列，或僅觀看根據(jù)用于限制的另一 條件的序列。等級信息能夠根據(jù)其參考條件以各種方式不同地設(shè)置。 例如，等級信息能夠根據(jù)照相機(jī)位置或照相機(jī)對準(zhǔn)而不同地設(shè)置。并 且，能夠通過考慮視點(diǎn)依賴性而確定等級信息。例如，用于具有I圖片 的視點(diǎn)間圖片組的視點(diǎn)的等級被設(shè)置為0，用于具有P圖片的視點(diǎn)間圖 片組的視點(diǎn)的等級被設(shè)置為l，并且用于具有B圖片的視點(diǎn)間圖片組的 視點(diǎn)的等級被設(shè)置為2。因此，等級值能夠被分配給優(yōu)先級識(shí)別信息。 而且，等級信息能夠隨機(jī)地設(shè)置而不基于特殊的基準(zhǔn)。
在下面的說明中，解釋了用于提供視頻信號(hào)的有效率的解碼方法 的各種實(shí)施例。
圖3是解釋根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于獲得當(dāng)前塊的IC差異 信息的過程的圖。
在比較當(dāng)前塊和候選參考塊之間的相似性中，應(yīng)該考慮兩個(gè)塊之 間的亮度差異。為了補(bǔ)償亮度差異(亮度變化)，執(zhí)行新的運(yùn)動(dòng)估算 和運(yùn)動(dòng)補(bǔ)償。能夠使用公式1找到新的SAD。<formula>formula see original document page 18</formula>
<formula>formula see original document page 18</formula>
在該情況下，Me,表示當(dāng)前塊的平均像素值，M^表示參考塊的平均像素值，f(i，j)表示當(dāng)前塊的像素值，并且r(i+x,j+y)表示參考塊的 像素值。通過基于公式2中所示的新SAD執(zhí)行運(yùn)動(dòng)估算，能夠獲得當(dāng) 前塊和參考塊之間的平均像素值差。并且，獲得的平均像素值差被命 名為IC差異信息(IC—offset)。
在執(zhí)行對其應(yīng)用了亮度補(bǔ)償?shù)倪\(yùn)動(dòng)估算的情況下，獲得IC差異信 息和運(yùn)動(dòng)矢量。并且，使用IC差異信息和運(yùn)動(dòng)矢量通過公式3執(zhí)行亮 度補(bǔ)償。
=(臉w/ "(;c'，;/"',力+ W + + /)} + {M。,r, -Mre/(w + +力} ={iVevw '' O'，少'，/,_/) + /*0' + , _/' + /)} + —
在公式4中，NewR"(i,j)表示重建的并且亮度補(bǔ)償后的殘余值并 且f(i, j)表示重建的當(dāng)前塊的像素值。
為了重建當(dāng)前塊，IC差異信息必須被傳輸?shù)浇獯a單元。并且，能 夠從相鄰塊的信息預(yù)測IC差異信息。為了進(jìn)一步減少對IC差異信息 進(jìn)行碼處理的比特?cái)?shù)，能夠僅發(fā)送IC差異殘余(亮度補(bǔ)償后的殘余信 號(hào))(RIC—offset)。這能夠如公式5所示。<formula>formula see original document page 20</formula>
圖4和圖5是解釋根據(jù)本發(fā)明的實(shí)施例的通過考慮亮度補(bǔ)償?shù)倪\(yùn) 動(dòng)矢量預(yù)測方法的圖。
如下解釋根據(jù)本發(fā)明的實(shí)施例的用于使用指示是否執(zhí)行當(dāng)前塊的 亮度補(bǔ)償?shù)臉?biāo)志信息和當(dāng)前塊的IC差異信息來執(zhí)行亮度補(bǔ)償?shù)倪^程。
首先，為了執(zhí)行亮度補(bǔ)償，解碼單元從視頻信號(hào)提取當(dāng)前塊的相 鄰塊的標(biāo)志信息和IC差異信息、當(dāng)前塊和相鄰塊的對應(yīng)參考塊的參考 索引等等，并且然后能夠使用該信息獲得當(dāng)前塊的IC差異預(yù)測值。并 且，獲得指示當(dāng)前塊的IC差異信息與IC差異預(yù)測值之間的差值的IC 差異殘余。能夠使用IC差異殘余值和IC差異預(yù)測值來重建當(dāng)前塊的 IC差異信息。在該情況下，在重建當(dāng)前塊的IC差異信息中，能夠使用 指示是否對當(dāng)前塊執(zhí)行亮度補(bǔ)償?shù)腎C標(biāo)志(IC—flag)。
首先，能夠從視頻信號(hào)獲得指示是否對當(dāng)前塊執(zhí)行亮度補(bǔ)償?shù)腎C 標(biāo)志。當(dāng)根據(jù)標(biāo)志信息執(zhí)行亮度補(bǔ)償時(shí)，能夠重建指示當(dāng)前塊的平均 像素值和參考塊的平均像素值之間的差的當(dāng)前塊的IC差異信息。類似 地，亮度補(bǔ)償技術(shù)對屬于不同圖片的塊的平均像素值進(jìn)行碼處理。在 指示是否應(yīng)用亮度補(bǔ)償技術(shù)的標(biāo)志被用于每個(gè)塊的情況下，當(dāng)對應(yīng)的 塊屬于P片段時(shí)，僅編碼/解碼單獨(dú)的標(biāo)志信息和單獨(dú)的IC差異信息。 然而，當(dāng)對應(yīng)的塊屬于B片段時(shí)，可以使用若干方法。
在圖4中，"C"表示當(dāng)前塊(C) ， "N"表示與當(dāng)前塊C鄰近 的塊，"R"表示由當(dāng)前塊C參考的塊，并且"S"表示由與當(dāng)前塊C 鄰近的塊N參考的塊。此外，"m/'表示當(dāng)前塊的平均像素值，并且 "m,."表示由當(dāng)前塊參考的塊的平均像素值。假定當(dāng)前塊C的IC差異信息被設(shè)置為"IC—offset"，其導(dǎo)致"IC—0ffSet=mc-mr"。類似地，假 定相鄰塊N的IC差異信息被設(shè)置為"IC—offset_pred"，編碼單元能夠 發(fā)送指示當(dāng)前塊的IC差異信息(IC一offset)與相鄰塊的IC差異信息 (IC—offsetjpred)之間的差值的IC差異殘余(RIC—offset)來代替發(fā) 送完整用于重建當(dāng)前塊C的IC差異信息"IC一offset"的值。在該情況 下，IC差異殘余(RIC一offset)能夠如公式5所表示。在從相鄰塊的IC 差異信息或標(biāo)志信息生成當(dāng)前塊的IC差異預(yù)測值中，可以應(yīng)用各種方 法。例如，能夠使用單個(gè)相鄰塊的信息或者至少兩個(gè)相鄰塊的信息。 在使用至少兩個(gè)相鄰塊的信息的情況下，能夠使用平均值或者中間值。 因此，如果僅使用單個(gè)參考塊來碼處理當(dāng)前塊，則能夠使用單個(gè)IC差 異信息和單個(gè)標(biāo)志信息來執(zhí)行亮度補(bǔ)償。
然而，在相應(yīng)塊屬于B片段的情況下，目卩，如果使用至少兩個(gè)參 考塊來碼處理當(dāng)前塊，則各種方法是可用的。例如，在圖5中，假定 "C"表示當(dāng)前塊C， "N"表示與當(dāng)前塊C鄰近的塊，"R0"表示由 當(dāng)前塊參考的列表0的參考圖片1中的參考塊，并且"SO"表示由相 鄰塊參考的列表0的參考圖片列表1中的參考塊。假定"Rl"表示由 當(dāng)前塊參考的列表1的參考圖片3中的參考塊并且"SO"表示由相鄰 塊參考的列表1的參考圖片3中的參考塊。在該情況下，由于對于每 個(gè)參考塊存在當(dāng)前塊的IC差異信息和標(biāo)志信息，因此對于每個(gè)存在兩 個(gè)值，在使用標(biāo)志信息和IC差異信息中，能夠每個(gè)使用它們中的至少 一個(gè)。
如下解釋根據(jù)本發(fā)明的實(shí)施例的用于對當(dāng)前塊執(zhí)行亮度補(bǔ)償?shù)倪^程。
在當(dāng)前塊的IC標(biāo)志為0的情況下，不執(zhí)行對當(dāng)前塊的亮度補(bǔ)償。 在IC標(biāo)志為l的情況下，執(zhí)行用于重建當(dāng)前塊的IC差異信息的過程。
在該情況下，在獲得當(dāng)前塊的預(yù)測值中，可以使用相鄰塊的信息。前塊的IC差異信息。 在此之前，檢查當(dāng)前塊的參考索引是否與相鄰快的參考索引相同。根 據(jù)檢查的結(jié)果，能夠確定哪個(gè)相鄰塊將被使用或者哪個(gè)值將被使用。 檢查相鄰塊的標(biāo)志信息為真還是假。根據(jù)檢查結(jié)果，能夠確定是否使 用相鄰塊。
根據(jù)本發(fā)明的另一實(shí)施例，如下地解釋用于基于宏塊類型執(zhí)行亮 度補(bǔ)償?shù)倪^程。用于推導(dǎo)IC標(biāo)志和IC差異信息的過程可以根據(jù)宏塊 類型而不同。
例如，在宏塊類型為P一Skip (P一跳過)的情況下，能夠優(yōu)選地檢 査相鄰塊是否可用以及是否執(zhí)行亮度補(bǔ)償。如果所有相鄰塊都可用并 且如果執(zhí)行亮度補(bǔ)償，則當(dāng)前塊的IC差異信息和IC標(biāo)志能夠以下述
方式推導(dǎo)。首先，如果相鄰塊的IC差異信息的平均值不為0，則當(dāng)前 塊的IC標(biāo)志被設(shè)置為1并且當(dāng)前塊的IC差異信息能夠被設(shè)置為相鄰 塊的IC差異信息的平均值。例如，相鄰塊能夠?yàn)楫?dāng)前塊的右和左塊。 另外，如果相鄰塊的IC差異信息的平均值為0，當(dāng)前塊的IC標(biāo)志和當(dāng)
前塊的ic差異信息中的每一個(gè)能夠被設(shè)置為0。
在相鄰塊中的規(guī)定的一個(gè)可用并且執(zhí)行亮度補(bǔ)償?shù)那闆r下，當(dāng)前
塊的IC標(biāo)志被設(shè)置為1并且當(dāng)前塊的IC差異信息能夠被設(shè)置為相鄰 塊的IC差異信息。例如，相鄰塊能夠?yàn)楫?dāng)前塊的左或上塊。替代地，
相鄰塊能夠?yàn)橛疑蠅K或左上塊。在該情況下，在檢查相鄰塊中的規(guī)定 的一個(gè)時(shí)，能夠在檢查上塊之后檢査左塊。
在其它情況中，當(dāng)前塊的ic差異信息和IC標(biāo)志能夠每個(gè)被設(shè)置
為0。例如，包括使用兩個(gè)塊，即當(dāng)前塊的上和左塊的情況；僅使用當(dāng) 前塊的上塊的情況；以及使用當(dāng)前塊的左塊的情況的三種情況被排除
在所述情況之外。同時(shí)，在宏塊類型為B一Skip (B—跳過)的情況下，當(dāng)前塊的IC 差異信息能夠以下述方式推導(dǎo)。首先，能夠確定當(dāng)前塊的參考索引是 否與相鄰塊的參考索引相同?；诖_定結(jié)果，能夠獲得用于當(dāng)前塊的
亮度補(bǔ)償?shù)念A(yù)測值。使用獲得的預(yù)測值，能夠重建當(dāng)前塊的IC差異信
息。如下地詳細(xì)解釋確定當(dāng)前和相鄰塊的參考索引是否彼此相同的步 驟以及基于確定結(jié)果獲得預(yù)測值的步驟。
例如，能夠確定是否存在具有與當(dāng)前塊的參考索引相同的參考索 引的相鄰塊。在該情況中，假定要被使用的相鄰塊為使用亮度補(bǔ)償編 碼的塊。作為確定的結(jié)果，當(dāng)存在具有與當(dāng)前塊的參考索引相同的參
考索引的單個(gè)相鄰塊時(shí)，能夠分配具有與當(dāng)前塊的IC差異預(yù)測值相同 的參考索引的相鄰塊的IC差異信息。例如，當(dāng)當(dāng)前塊的上塊是使用亮
度補(bǔ)償編碼的塊時(shí)并且當(dāng)上塊具有與當(dāng)前塊的參考索引相同的參考索
引時(shí)，能夠?qū)⑸蠅K的IC差異信息設(shè)置為當(dāng)前塊的IC差異預(yù)測信息。 另外，能夠?qū)Ξ?dāng)前塊的左上塊執(zhí)行相同的過程。另外，能夠?qū)Ξ?dāng)前塊 的右上塊執(zhí)行相同的過程。另外，如果當(dāng)前塊的上、左、和右上側(cè)的 三個(gè)相鄰塊是使用亮度補(bǔ)償?shù)膲K，則能夠?qū)?dāng)前塊的IC差異預(yù)測值設(shè) 置為三個(gè)相鄰塊的IC差異信息之間的中間值。另外，能夠?qū)?dāng)前塊的 IC差異預(yù)測值設(shè)置為0。
如果存在具有與當(dāng)前塊的參考索引相同的參考索引的兩個(gè)相鄰 塊，則能夠?qū)?dāng)前塊的IC差異預(yù)測值設(shè)置為兩個(gè)相鄰塊的IC差異信 息之間的平均值。
IC差異預(yù)測值推導(dǎo)方法可以同樣地應(yīng)用于用于預(yù)測IC標(biāo)志的過程。
同時(shí)，在宏塊類型為B一Skip (B—跳過)的情況下，當(dāng)前塊的IC 標(biāo)志能夠以下述方式推導(dǎo)。能夠基于當(dāng)前塊的IC差異信息推導(dǎo)當(dāng)前塊 的IC標(biāo)志。例如，當(dāng)當(dāng)前塊的IC差異信息為O時(shí)，當(dāng)前塊的IC標(biāo)志能夠被 設(shè)置為0。否則，當(dāng)前塊的IC標(biāo)志能夠被設(shè)置為1。在該情況中，當(dāng)
前塊的ic差異信息能夠是與根據(jù)用于推導(dǎo)IC差異預(yù)測值的各種實(shí)施 例中的 一 個(gè)設(shè)置的I c差異預(yù)測值相同的值。
同時(shí)，當(dāng)宏塊類型為B—Direct—16X16 (B—直接—16X16)時(shí)，能 夠如下地推導(dǎo)當(dāng)前塊的IC差異信息。例如，當(dāng)當(dāng)前塊的類型為 B_Direct—16X16并且當(dāng)前塊的IC標(biāo)志被設(shè)置為1時(shí)，能夠根據(jù)傳輸?shù)?IC差異殘余值與推導(dǎo)的IC差異預(yù)測值的和推導(dǎo)當(dāng)前塊的IC差異信息。 在該情況下，能夠根據(jù)上述各種實(shí)施例推導(dǎo)所推導(dǎo)的IC差異預(yù)測值。
如下地解釋根據(jù)本發(fā)明的另一實(shí)施的使用指示相應(yīng)塊的亮度補(bǔ)償 的執(zhí)行的存在或者不存在的標(biāo)志信息來執(zhí)行亮度補(bǔ)償?shù)姆椒ā?br> 當(dāng)重建當(dāng)前塊的IC差異信息時(shí)，能夠使用指示相應(yīng)塊的亮度補(bǔ)償 的執(zhí)行的存在或者不存在的前述IC標(biāo)志(IC—flag)。替代地，能夠使 用檢査參考索引的上述方法以及預(yù)測IC標(biāo)志的上述方法兩者來獲得IC
差異預(yù)測值。
首先，能夠確定是否存在具有與當(dāng)前塊的參考索引相同的參考索 引的相鄰塊?；诖_定結(jié)果，能夠獲得用于當(dāng)前塊的亮度補(bǔ)償?shù)腎C差 異預(yù)測值。在該情況下，能夠基于相鄰塊的IC標(biāo)志是否為1來獲得IC 差異預(yù)測值。并且，能夠基于結(jié)果預(yù)測當(dāng)前塊的IC標(biāo)志。因此，能夠 通過使用獲得的IC差異預(yù)測值和預(yù)測的IC標(biāo)志來重建當(dāng)前塊的IC差 異信息來執(zhí)行亮度補(bǔ)償。
如下地解釋根據(jù)本發(fā)明的另一實(shí)施例的基于當(dāng)前塊的參考索引是 否與相鄰塊的參考索引相同來預(yù)測當(dāng)前塊的IC標(biāo)志的方法。首先，能夠確定是否存在具有與當(dāng)前塊的參考索引相同的參考索 引的相鄰塊。作為確定結(jié)果，當(dāng)存在具有與當(dāng)前塊的參考索引相同的
參考索引的單個(gè)相鄰塊時(shí)，能夠從具有相同參考索引的相鄰塊的ic標(biāo)
志預(yù)測當(dāng)前塊的IC標(biāo)志。根據(jù)確定結(jié)果，當(dāng)存在兩個(gè)具有與當(dāng)前塊的 參考索引相同的參考索引的相鄰塊時(shí)，能夠從具有相同的參考索引的 兩個(gè)相鄰塊的IC標(biāo)志中的一個(gè)預(yù)測當(dāng)前塊的IC標(biāo)志。根據(jù)確定結(jié)果， 當(dāng)存在三個(gè)具有與當(dāng)前塊的參考索引相同的參考索引的相鄰塊時(shí)，能 夠從具有相同的參考索引的三個(gè)相鄰塊的IC標(biāo)志的中間值預(yù)測當(dāng)前塊 的IC標(biāo)志。當(dāng)不存在具有與當(dāng)前塊的參考索引相同的參考索引的相鄰 塊時(shí)，不執(zhí)行當(dāng)前塊的IC標(biāo)志預(yù)測。
根據(jù)本發(fā)明的另一實(shí)施例，能夠?qū)τ谑┘恿肆炼妊a(bǔ)償?shù)暮陦K類型
執(zhí)行不同于16X16幀間模式的情況的上下文建模。對于標(biāo)志信息，能 夠根據(jù)相鄰塊(例如，當(dāng)前塊的左和上塊)的標(biāo)志值考慮三個(gè)上下文。 標(biāo)志值"真"的情況被轉(zhuǎn)換為1并且標(biāo)志值"假"的情況被轉(zhuǎn)換為0。 如果對用于各情況的兩個(gè)值求和，則導(dǎo)致三種情況。因此，使用這三 個(gè)上下文編碼/解碼標(biāo)志信息。例如，能夠使用兩個(gè)上下文模型用于IC 殘余，類似于變換系數(shù)等級碼處理。具體地，通過UEGO(imary/0th order Exp-Golomb (—元第0階指數(shù)哥倫布碼))執(zhí)行二進(jìn)制化，單個(gè)上下 文模型被應(yīng)用于第一二進(jìn)制(bin)值，并且單個(gè)模型上下文被應(yīng)用于 一元前綴部分的其余二進(jìn)制值。符號(hào)位能夠以旁路(bypass)模式編碼 /解碼。作為標(biāo)志信息的另一實(shí)施例，能夠根據(jù)預(yù)測標(biāo)志信息的值考慮 三個(gè)上下文。使用此，能夠執(zhí)行編碼/解碼。
本公開中的上述描述能夠應(yīng)用于宏塊單元。并且，本公開中的上 述描述也能夠應(yīng)用于較小塊。
圖6是解釋根據(jù)本發(fā)明的實(shí)施例的使用深度圖的碼處理方法的圖。在視頻信號(hào)碼處理中，對特定應(yīng)用或者不同的目的能夠使用深度 信息。深度信息可以指能夠指示視點(diǎn)間視差的信息。例如，能夠通過 視點(diǎn)間預(yù)測獲得視差矢量。并且，獲得的視差矢量應(yīng)被傳輸?shù)浇獯a設(shè) 備用于當(dāng)前塊的視差補(bǔ)償。然而，如果深度圖被傳輸?shù)浇獯a設(shè)備，則 能夠在不將視差矢量傳輸?shù)浇獯a設(shè)備的情況下從深度圖(或者視差圖) 推導(dǎo)視差矢量。并且，還能夠?qū)⑦\(yùn)動(dòng)矢量或者視差矢量與深度圖一起 傳輸。在該情況下，深度圖可以指為每個(gè)預(yù)定單元指示深度信息。例 如，預(yù)定單元可以對應(yīng)于像素單元或者塊單元。
根據(jù)本發(fā)明的實(shí)施例，如下地解釋對深度圖和色彩分量一起進(jìn)行 碼處理的情況。
首先，指示^度圖是否當(dāng)前被用于視頻序列的信息。例如，能夠
從序列參數(shù)集的擴(kuò)展區(qū)域獲得depth—coding一flag(深度一碼處理j示志)。 如果depth—coding—flag為0，則能夠僅碼處理色彩分量，例如，YUV 分量。如果depth—coding—flag為1，則深度圖被與色彩分量一起進(jìn)行碼 處理并且然后被使用。
根據(jù)本發(fā)明的另 一實(shí)施例，能夠在使用深度圖中應(yīng)用各種方案。 例如，根據(jù)空間分辨率能夠使用各種深度圖。具體地，如果 depth—map—mode (深度—圖—模式)為0，則可以意味著不使用深度圖。 如果depth—map—mode為1，則可以意味著使用全分辨率的深度圖。如 果depth—map—mode為2，則可以意味著使用在水平方向上1/2下采樣 的深度圖。如果depth—map—mode為3，則可以意味著使用在豎直方向 上1/2下采樣的深度圖。這些值僅是實(shí)施例并且能夠設(shè)定其它值。此外， 各種空間分辨率的深度圖與1/2下釆樣一樣都是可以使用的。
同時(shí)，在輸入的深度圖具有全分辨率的情況下，如果 depth_map—mode指示不同分辨率的深度圖，則下采樣過程應(yīng)通過編碼 器執(zhí)行并且上采樣過程應(yīng)通過解碼器執(zhí)行。這樣，如果輸入的深度圖，如圖5中所示，己經(jīng)以低分辨率進(jìn)行了下采樣，那么解碼器可以以全 分辨率執(zhí)行上采樣過程。此外，能夠使用指示色彩圖片和上采樣的深 度圖片之間的位置差異的偏移值來重建當(dāng)前圖片。偏移可以包括左偏 移、右偏移、頂偏移和底偏移。
能夠從序列參數(shù)集、子序列參數(shù)集的擴(kuò)展區(qū)域、圖片參數(shù)集、片
段首部或宏塊層獲得depth_coding—flag禾B depth—mode_map。
圖7至14是根據(jù)本發(fā)明的實(shí)施例的用于描述使用照相機(jī)信息的各 種應(yīng)用示例的句法的圖。
首先，照相機(jī)信息是關(guān)于產(chǎn)生對應(yīng)于一系列圖片的序列的照相機(jī) 的信息。由單個(gè)照相機(jī)捕獲的一系列圖片構(gòu)造單視點(diǎn)。即使照相機(jī)的 位置變化，也能夠構(gòu)造新的視點(diǎn)。同時(shí)，作為照相機(jī)信息的類型，能 夠有照相機(jī)參數(shù)。照相機(jī)參數(shù)能夠被分類為固有的照相機(jī)參數(shù)和外在 的照相機(jī)參數(shù)。固有的照相機(jī)參數(shù)能夠包括焦距長度、縱橫比、傾斜、 主點(diǎn)等等。并且外在的照相機(jī)參數(shù)能夠包括在世界坐標(biāo)體系中的照相 機(jī)的位置信息、旋轉(zhuǎn)矩陣、平移矢量等等。并且能夠使用外在的照相 機(jī)參數(shù)中包括的信息精確地找到照相機(jī)之間的幾何關(guān)系。
并且，能夠利照用相機(jī)之間的拓?fù)潢P(guān)系。例如，如果照相機(jī)布置 為1維或水平/豎直2維構(gòu)造，則能夠使用關(guān)于照相機(jī)布置的信息觀察 拓?fù)潢P(guān)系。因此，能夠選擇直觀指定的視點(diǎn)并且然后進(jìn)行顯示。在這 樣做時(shí)，關(guān)于照相機(jī)布置的信息能夠作為邊信息(side information)被傳輸。
例如，根據(jù)線性或?qū)?yīng)于維度的1或2維構(gòu)造的存在或者不存在， 關(guān)于照相機(jī)布置的信息能夠?qū)?yīng)于直線或者弧形構(gòu)造。在照相機(jī)布置 對應(yīng)于2維布置的情況下，根據(jù)每行視點(diǎn)的不同數(shù)目或者正規(guī)性的存 在或者不存在，能夠存在每行相同數(shù)目的視點(diǎn)。因此，當(dāng)應(yīng)用各種參考時(shí)，可以改變傳輸?shù)木浞ńY(jié)構(gòu)。為此，如下地解釋詳細(xì)的實(shí)施例。
首先，能夠定義指示照相機(jī)布置的規(guī)定構(gòu)造的標(biāo)志。例如，如果
linear—configuration—flag (直線—構(gòu)造—標(biāo)志)為1,則可以意味著照相 機(jī)布置為直線。如果linear—configuration_flag為0，則可以意味著相機(jī) 布置為弧形。此外，標(biāo)志能夠包括各種類型并且能夠根據(jù)定義來改變。
假定照相機(jī)布置對應(yīng)于2維構(gòu)造，能夠定義指示在每個(gè)結(jié)點(diǎn)是否 實(shí)際存在照相機(jī)的標(biāo)志。例如，如果camera_present—flag (相機(jī)一存在—
標(biāo)志)[i]0]為l，則可以意味著在第i行第j列的結(jié)點(diǎn)存在照相機(jī)。如 果camerajresenLflag[i][j]為0，則可以意味著在第i行第j列的結(jié)點(diǎn)不
存在照相機(jī)。
假定照相機(jī)布置對應(yīng)于2維構(gòu)造，能夠定義分別指示水平和豎直 方向上的最大視點(diǎn)數(shù)目的信息。例如，max一num一view一hor一minusl可 以指7夂平方向上最大視點(diǎn)數(shù)1。并且，max—num—view—ver—minus 1可以 指豎直方向上最大視點(diǎn)數(shù)-1。此外，num一view一hor一minusl[i]可以指第 j列的水平方向上的最大視點(diǎn)數(shù)-I。
并且，view—id[i][j]可以指第i行第j列的結(jié)點(diǎn)的視點(diǎn)識(shí)別編號(hào)。
能夠定義指示照相機(jī)布置的規(guī)定維度的信息。例如，如果 one一dimension一flag為1，則可以意味著照相機(jī)僅布置在水平方向上。 如果one一dimension一flag為0，則可以意味著照相機(jī)被二維地布置在豎 直和水平方向上。此外，標(biāo)志能夠包括各種維度并且可以根據(jù)如何定 義來改變。例如，如果regular—two—dimension—flag為1，則可以意味著 每行上的視點(diǎn)的數(shù)目在水平方向或豎直方向上相同。如果 regular—two—dimension—flag為0，則可以意味著每行上的視點(diǎn)的數(shù)目在 水平方向上或者豎直方向上不相同。上述信息能夠通過結(jié)合到各種形狀中而產(chǎn)生各種應(yīng)用示例。在以 下描述中解釋若干實(shí)施例。
在圖7中所示的實(shí)施例，示出了指示照相機(jī)是否在2維照相機(jī)布 置中的每個(gè)結(jié)點(diǎn)處存在的句法結(jié)構(gòu)。首先，能夠根據(jù)
linear—configuration—flag的信息檢查照相機(jī)是以直線還是弧形構(gòu)造布 置的。并且，能夠獲得水平/豎直方向上的最大視點(diǎn)的數(shù)目。根據(jù) camera_present_flag[i][j]，能夠檢查照相機(jī)是否在每個(gè)結(jié)點(diǎn)處存在。如 果照相機(jī)存在，則能夠知道照相機(jī)存在的位置的視點(diǎn)識(shí)別編號(hào)。
圖8示出便于在1維構(gòu)造的情況下檢查照相機(jī)布置的句法結(jié)構(gòu)。 與圖7不同，圖8示出1維構(gòu)造，不需要檢査每個(gè)結(jié)點(diǎn)處照相機(jī)的存 在或者不存在。因此，能夠通過直接檢査視點(diǎn)識(shí)別編號(hào)來知道照相機(jī) 布置。在其它句法下，能夠確認(rèn)類似圖6的2維照相機(jī)布置。
圖9示出使得照相機(jī)布置能夠根據(jù)指示維度布置的類型的標(biāo)志而 被適當(dāng)?shù)貦z查的句法結(jié)構(gòu)。首先，在根據(jù)one—dimension—flag指示2維 構(gòu)造的情況下，能夠通過獲得豎直方向上每列上的視點(diǎn)的數(shù)目來檢查 每個(gè)視點(diǎn)識(shí)別編號(hào)。同時(shí)，在指示1維構(gòu)造的情況下，能夠通過獲得 水平方向上的最大視點(diǎn)的數(shù)目來檢査每個(gè)視點(diǎn)識(shí)別編號(hào)。
圖10示出將圖7和圖9的實(shí)施例結(jié)合在一起獲得的實(shí)施例。在該 實(shí)施例中，能夠根據(jù)指示規(guī)定維度布置的one—dimension—flag檢査照相 機(jī)的存在或者不存在。
在圖11中所示的實(shí)施例中，在1維布置的情況下使用水平方向上 的最大視點(diǎn)數(shù)目直接檢查視點(diǎn)識(shí)別編號(hào)。在2維布置的情況下，附加 地使用豎直方向上的最大視點(diǎn)數(shù)檢查視點(diǎn)識(shí)別編號(hào)。
在圖12中所示的實(shí)施例中，能夠使用指示水平方向或者豎直方向上每列上的視點(diǎn)的數(shù)目是否相同的信息來檢査照相機(jī)布置。首先，如 果水平方向或豎直方向上每列上的視點(diǎn)的數(shù)目不相同，則能夠通過檢 査豎直方向上每列上的水平方向上的視點(diǎn)數(shù)目來檢查照相機(jī)布置。另 一方面，在水平方向或豎直方向上每列上的視點(diǎn)的數(shù)目相同的情況下， 能夠根據(jù)水平/豎直方向上的最大視點(diǎn)的數(shù)目檢査每個(gè)視點(diǎn)識(shí)別信息。
圖13示出將圖12和圖7的實(shí)施例結(jié)合在一起獲得的實(shí)施例。首 先，如果水平或豎直方向上每列上的視點(diǎn)的數(shù)目不相同，則能夠根據(jù) 水平/豎直方向上的最大視點(diǎn)的數(shù)目檢查照相機(jī)的存在或者不存在。另 一方面，如果水平方向或豎直方向上每列上的視點(diǎn)的數(shù)目相同，則能 夠根據(jù)水平/豎直方向上的最大視點(diǎn)的數(shù)目檢查每個(gè)視點(diǎn)識(shí)別編號(hào)。
圖14示出將圖12和圖9的實(shí)施例結(jié)合在一起獲得的實(shí)施例。首 先，僅在根據(jù)指示布置的固定維度的標(biāo)志的2維布置的情況下，能夠 獲得指示水平方向或豎直方向上每列上的視點(diǎn)的數(shù)目是否相同的信 息。并且，還能獲得指示豎直方向上最大視點(diǎn)的數(shù)目的信息。另外， 兩個(gè)信息中的每個(gè)能夠被設(shè)置為0。在圖12中所示的實(shí)施例的前面描 述中解釋了句法的其余部分。
圖15是根據(jù)本發(fā)明的實(shí)施例的多視點(diǎn)序列信號(hào)的整個(gè)預(yù)測結(jié)構(gòu) 的圖以解釋視點(diǎn)間圖片組的概念。
參考圖15，水平軸上的T0至T100指示根據(jù)時(shí)間的幀并且豎直軸 上的S0至S7指示根據(jù)視點(diǎn)的幀。例如，T0處的圖片指同一時(shí)區(qū)TO 上由不同照相機(jī)捕獲的序列，而SO處的圖片指不同時(shí)區(qū)上由單個(gè)照相 機(jī)捕獲的序列。并且，附圖中的箭頭指示預(yù)測的方向以及各圖片的次 序。例如，時(shí)區(qū)T0上視點(diǎn)S2中的圖片P0是從I0預(yù)測的圖片，其在 時(shí)區(qū)T0上視點(diǎn)S4中成為圖片P0的參考圖片。并且其在視點(diǎn)S2中時(shí) 區(qū)T4和T2上分別成為圖片Bl和B2的參考圖片。對于多視點(diǎn)序列解碼過程，可能要求視點(diǎn)間隨機(jī)訪問。因此，應(yīng) 通過最小化解碼過程使得能夠進(jìn)行對隨機(jī)視點(diǎn)的訪問。在該情況下， 可能需要視點(diǎn)間圖片組的概念來執(zhí)行有效率的隨機(jī)訪問。在圖2中提
到了視點(diǎn)間圖片組的定義。例如，在圖3中，如果時(shí)區(qū)T0上視點(diǎn)SO 中的圖片10對應(yīng)于視點(diǎn)間圖片組，則同一時(shí)區(qū)即時(shí)區(qū)TO上不同視點(diǎn) 中的所有圖片能夠?qū)?yīng)于視點(diǎn)間圖片組。對于另一示例，如果時(shí)區(qū)T8 上視點(diǎn)SO中的圖片IO對應(yīng)于視點(diǎn)間圖片組，則同一時(shí)區(qū)即時(shí)區(qū)T8上 不同視點(diǎn)中的所有圖片能夠?qū)?yīng)于視點(diǎn)間圖片組。類似地，T16、、 T96以及T100中的所有圖片也成為視點(diǎn)間圖片組的示例。根據(jù)另一實(shí) 施例，在MVC的整個(gè)預(yù)測結(jié)構(gòu)中，GOP能夠從I圖片開始。并且，I 圖片與H.264/AVC兼容。因此，與H.264/AVC兼容的所有視點(diǎn)間圖片 組能夠成為I圖片。然而，在用P圖片替換圖片I的情況下，能夠進(jìn)行 更有效率的碼處理。具體地，使用GOP被使得從與H.264/AVC兼容的 P圖片開始的預(yù)測結(jié)構(gòu)使得能夠進(jìn)行更有效率的碼處理。
在該情況下，如果重新定義視點(diǎn)間圖片組，則其變成能夠參考同 一視點(diǎn)中不同時(shí)區(qū)上的片段以及所有片段在同一時(shí)區(qū)上的幀中存在的 片段的碼處理圖片。然而，參考同一視點(diǎn)中不同時(shí)區(qū)上的片段的情況 可以被限制到僅與H.264/AVC兼容的視點(diǎn)間圖片組。
在已經(jīng)解碼視點(diǎn)間圖片組之后，在輸出次序中從在視點(diǎn)間圖片組 之前解碼的圖片開始解碼所有順序地碼處理的圖片而不進(jìn)行幀間預(yù)
考慮圖15中所示的多視點(diǎn)視頻序列的整個(gè)碼處理結(jié)構(gòu)，由于視點(diǎn) 間圖片組的視點(diǎn)間依賴性不同于非視點(diǎn)間圖片組的視點(diǎn)間依賴性，因 此，需要根據(jù)視點(diǎn)間圖片組識(shí)別信息彼此區(qū)分視點(diǎn)間圖片組和非視點(diǎn) 間圖片組。
視點(diǎn)間參考信息指指示哪種結(jié)構(gòu)被用于預(yù)測視點(diǎn)間序列的信息。這能夠從視頻信號(hào)的數(shù)據(jù)區(qū)域獲得。例如，其能夠從序列參數(shù)集區(qū)域 獲得。并且，能夠使用參考圖片的數(shù)目和參考圖片的視點(diǎn)信息獲得視 點(diǎn)間參考信息。例如，在已經(jīng)獲得視點(diǎn)的總數(shù)之后，能夠基于視點(diǎn)的 總數(shù)獲得用于識(shí)別每個(gè)視點(diǎn)的視點(diǎn)識(shí)別信息。并且，能夠獲得視點(diǎn)間 參考圖片的數(shù)目信息，其指示用于每個(gè)視點(diǎn)的參考方向的參考圖片的 數(shù)目。根據(jù)視點(diǎn)間參考圖片的數(shù)目信息，能夠獲得每個(gè)視點(diǎn)間參考圖 片的視點(diǎn)識(shí)別信息。
通過該方法，能夠獲得視點(diǎn)間參考信息。并且，能夠以分類為視 點(diǎn)間圖片組的情況和非視點(diǎn)間圖片組的情況的方式獲得視點(diǎn)間參考信 息。這能夠使用指示當(dāng)前NAL中的碼處理片段是否對應(yīng)于視點(diǎn)間圖片
組的視點(diǎn)間圖片組識(shí)別信息來知道。能夠從片段層區(qū)域或NAL首部的
擴(kuò)展區(qū)域獲得視點(diǎn)間圖片組識(shí)別信息。
根據(jù)視點(diǎn)間圖片組識(shí)別信息獲得的視點(diǎn)間參考信息可用于參考圖 片列表的構(gòu)建、管理等等。
在下面的描述中，解釋用于指示視點(diǎn)間參考信息的各種方法。
圖16至20根據(jù)本發(fā)明的實(shí)施例的用于描述視點(diǎn)間參考信息的各 種句法的圖。
如圖16的前面描述所述，能夠通過分類為視點(diǎn)間圖片組的情況和 非視點(diǎn)間圖片組的情況來獨(dú)立地理解視點(diǎn)間參考信息。
圖16示出能夠估算在獲得視點(diǎn)間參考信息中冗余的數(shù)據(jù)的句法 結(jié)構(gòu)。
參考圖16，能夠根據(jù)總視點(diǎn)數(shù)獲得每個(gè)視點(diǎn)間參考圖片的視點(diǎn)識(shí) 別信息。在該情況下，具有viewjd
的視點(diǎn)可以對應(yīng)于基本視點(diǎn)或獨(dú)立視點(diǎn)。如果這樣，在視點(diǎn)間參考圖片的數(shù)目信息中，LO方向上的數(shù) 目變?yōu)镺，其等于在Ll方向上的數(shù)目。這可以以相同方式應(yīng)用于視點(diǎn) 間或非視點(diǎn)間圖片組的情況。例如，在視點(diǎn)間圖片組的情況下，能夠
建立"num—anchor—refs—10
= num—anchor—refs—11
=0， " [S1620、 S1630]。在非視點(diǎn)間圖片組的情況下，能夠建立 "num—non—anchor一refs—IO[O] — num一non—anchor一refs—11
=0，"[S1650、 S1660]。因此，如果i=0，則冗余數(shù)據(jù)可以不被傳輸[S1610、 S1640〗。 并且，在"i=0"的情況下的L0/L1方向上的視點(diǎn)間參考圖片的數(shù)目信 息能夠每個(gè)都被設(shè)置為0。這可以以相同方式應(yīng)用于視點(diǎn)間或非視點(diǎn)間 圖片組的情況。
根據(jù)本發(fā)明的另一實(shí)施例，能夠?qū)⒁朁c(diǎn)識(shí)別信息定義為具有不同 的含義。例如，視點(diǎn)識(shí)別信息可以指根據(jù)碼處理次序分配給每個(gè)視點(diǎn) 的視點(diǎn)識(shí)別編號(hào)。替代地，視點(diǎn)識(shí)別信息(view一id[i])可以指根據(jù)隨 機(jī)次序分配給每個(gè)視點(diǎn)的視點(diǎn)識(shí)別編號(hào)。替代地，視點(diǎn)識(shí)別信息 (view—id[i])可以指根據(jù)照相機(jī)布置信息分配給每個(gè)視點(diǎn)的視點(diǎn)識(shí)別 編號(hào)。
圖17示出根據(jù)本發(fā)明的實(shí)施例的使用視點(diǎn)間圖片組的預(yù)測結(jié)構(gòu) 和非視點(diǎn)間圖片組的預(yù)測結(jié)構(gòu)之間的相似性指示視點(diǎn)間參考信息的句 法。
非視點(diǎn)間圖片組的預(yù)測結(jié)構(gòu)可以具有依賴于視點(diǎn)間圖片組的預(yù)測 結(jié)構(gòu)的結(jié)構(gòu)。因此，視點(diǎn)間圖片組的視點(diǎn)間參考關(guān)系能夠使用非視點(diǎn) 間圖片組的視點(diǎn)間參考關(guān)系來指示。
參考圖17，能夠獲得非視點(diǎn)間圖片組的視點(diǎn)間參考信息[S1710]。 例如，能夠獲得num—non—anchor—refsJO[i]、 non—anchor—refs—10[i][j]、 num—non—anchor—refs—11 [i]以及non—anchor—refs—11 [i][j]。信息。首先，通過設(shè)置用于anchor—refs—10[i][j]的non—anchor—refs」0[i〗(j〗 的值，能夠知道非視點(diǎn)間參考組的參考關(guān)系[S1720]。通過獲得與視點(diǎn) 間參考圖片和非視點(diǎn)間參考圖片之間的數(shù)目差 一 樣多的 anchor_refs_10[i][j]，能夠理解視點(diǎn)間圖片組的其余預(yù)測結(jié)構(gòu)[SI730]。 這可以以相同方式應(yīng)用于L1方向[S1740、 S1750]。
如果這樣，能夠建立公式6中所示的下面的關(guān)系。
wwm — Gf/ chor — r^/i 一 /0[/] "畫—— 0"c/20r — re/s — /0[/] — o"c/7or — — S w謂—wow 一 awc/zor — /^/i _
當(dāng)指示視點(diǎn)間參考關(guān)系時(shí)，視點(diǎn)間圖片組的預(yù)測結(jié)構(gòu)能夠代表性 地指示整個(gè)序列的預(yù)測結(jié)構(gòu)。如果從視點(diǎn)間圖片組推導(dǎo)非視點(diǎn)間圖片 組之間的預(yù)測關(guān)系所需要的信息，則使得能夠進(jìn)行更有效率的碼處理。 例如，在運(yùn)動(dòng)跳過模式的情況下，能夠當(dāng)非視點(diǎn)間圖片組中的當(dāng)前塊 使用相鄰視點(diǎn)中的圖片的運(yùn)動(dòng)信息時(shí)，使用視點(diǎn)間圖片組的預(yù)測結(jié)構(gòu)。 具體地，能夠使用從視點(diǎn)間圖片組的預(yù)測結(jié)構(gòu)中的對應(yīng)圖片獲得的運(yùn) 動(dòng)^言息。
圖18示出根據(jù)本發(fā)明的實(shí)施例的使用視點(diǎn)間圖片組的預(yù)測結(jié)構(gòu) 與非視點(diǎn)間圖片組的預(yù)測結(jié)構(gòu)之間的相似性來指示視點(diǎn)間參考信息的 句法。
圖18中所示的句法結(jié)構(gòu)與圖17中所示的類似。然而，在圖18中， 能夠獲得指示視點(diǎn)間參考圖片的數(shù)目和非視點(diǎn)間參考圖片的數(shù)目之間 的 差 的 信 息 (num—diff—anchor一non—anchor—refs—10[i] 、 num—diff—anchor—non一anchor一refs—11 [i]) [SI810、 SI830]。通過使用指 示視點(diǎn)間參考圖片的數(shù)目和非視點(diǎn)間參考圖片的數(shù)目之間的差的信息獲得anchor_refs—10[i][j]，能夠理解視點(diǎn)間圖片組的其余預(yù)測結(jié)構(gòu) [S1820、 S1840]。在該情況下，其余預(yù)測結(jié)構(gòu)可以指僅不同于非視點(diǎn)間 圖片組的結(jié)構(gòu)的視點(diǎn)間圖片組的預(yù)測結(jié)構(gòu)。
圖19示出根據(jù)本發(fā)明的實(shí)施例的以更簡單的方式指示視點(diǎn)間參 考關(guān)系的句法結(jié)構(gòu)。
如果非視點(diǎn)間圖片組的預(yù)測結(jié)構(gòu)變?yōu)橐朁c(diǎn)間圖片組的預(yù)測結(jié)構(gòu)的 子集，則可以更加有效率。這是因?yàn)橐朁c(diǎn)方向上的視點(diǎn)間預(yù)測僅在視 點(diǎn)間圖片組中是可能的，而在時(shí)間方向上的時(shí)間預(yù)測是不可能的。因 此，可參考的是，在估算視點(diǎn)間序列的冗余方面最大地利用視點(diǎn)間預(yù) 湖'J。另一方面，在非視點(diǎn)間圖片組中，視點(diǎn)方向預(yù)測和時(shí)間方向預(yù)測 都是可能的。然而，通過時(shí)間方向預(yù)測的碼處理增益可以比通過視點(diǎn) 方向預(yù)測的更大。因此，可能更有效率的結(jié)構(gòu)是非視點(diǎn)間圖片組中的 視點(diǎn)間預(yù)測關(guān)系屬于視點(diǎn)間圖片組中的視點(diǎn)間預(yù)測結(jié)構(gòu)。
因此，非視點(diǎn)間圖片組的預(yù)測結(jié)構(gòu)可以具有依賴于視點(diǎn)間圖片組 的預(yù)測結(jié)構(gòu)的結(jié)構(gòu)。因此，視點(diǎn)間圖片組的視點(diǎn)間參考關(guān)系能夠使用 非視點(diǎn)間圖片組的視點(diǎn)間參考關(guān)系來表示。這在隨機(jī)訪問和視點(diǎn)分級 方面同樣可以是有效率的。例如，在不屬于非視點(diǎn)間圖片組的預(yù)測結(jié) 構(gòu)但是屬于視點(diǎn)間圖片組的預(yù)測結(jié)構(gòu)的圖片的情況下，由于圖片不需 要被解碼從而其可以是有效率的。
同時(shí)，可以存在下述情況，即不存在視點(diǎn)間或非視點(diǎn)間圖片組中 的任何視點(diǎn)間預(yù)測關(guān)系。因此，視點(diǎn)間圖片組中的視點(diǎn)間預(yù)測關(guān)系的 缺少可以對于快速隨機(jī)訪問和并行處理是更有效的。并且，其可以被 引入到非視點(diǎn)間圖片組以降低復(fù)雜度。
因此，根據(jù)本發(fā)明的實(shí)施例，能夠以單個(gè)格式"multiview一refjx" 表示視點(diǎn)間參考關(guān)系來代替通過區(qū)分anchor一ref—IX和non_anchor_ref_lX來表示視點(diǎn)間參考關(guān)系[S1920、 S1940]。
例如，在缺少視點(diǎn)間圖片組中的視點(diǎn)間預(yù)測關(guān)系的情況下，為了 包括num—anchor一refs一10[i] = num—anchor一refs—11 [i]=0的情況，可以 <吏 用公式7 [S1910、 S1930〗。
max(w扁—tmc/ or — /^/i — /jc[/']，"謡—wo" — a"c/ o/' — — /x[/])
在該情況中，第i個(gè)視點(diǎn)中的視點(diǎn)間參考能夠被表示為單個(gè)句法 (multiview—ref一lx[i])。 此夕卜， "從0至U min(num—anchor—refs—lx[i], num—non一anchor一refs一lx[i]-1)"能夠表示對于視點(diǎn)間圖片組和非視點(diǎn)間
圖片組來說共同的參考關(guān)系。
圖20示出能夠估算在獲得視點(diǎn)間參考信息中冗余的數(shù)據(jù)的句法結(jié)構(gòu)。
在圖19中，能夠根據(jù)max(num—anchor—refsjx[i], num一non—anchor—refs—lx [i])的值獲得視點(diǎn)間參考圖片的視點(diǎn)識(shí)別信息。 在該情況下，具有view一id[O]的視點(diǎn)可以對應(yīng)于基本視點(diǎn)或獨(dú)立視點(diǎn)。 如果這樣，在視點(diǎn)間參考圖片的數(shù)目信息中，L0方向上的數(shù)目變?yōu)?, 其等于Ll方向上的數(shù)目。這也可以以相同方式應(yīng)用于視點(diǎn)間或非視點(diǎn) 間圖片組的情況。例如，在視點(diǎn)間圖片組的情況下，能夠建立 "num—anchor_refs_10
= num—anchor—refs—11
= 0"。在非視點(diǎn)間圖 片組的情況下，能夠建立 "num—non—anchor—refsJO[O]= num—non—anchor—refs—ll
=0"。因此，如果i=0，則冗余數(shù)據(jù)可以不 被傳輸[S2010]。并且，在"i=0"的情況下的L0/L1方向上的視點(diǎn)間參 考圖片的數(shù)目信息能夠每個(gè)都被設(shè)置為0。
如前述中提到的，應(yīng)用了本發(fā)明的解碼/編碼設(shè)備被提供給要在解碼音頻和數(shù)據(jù)信號(hào)中使用的諸如DMB(數(shù)字多媒體廣播)的用于多媒 體廣播的發(fā)送機(jī)/接收機(jī)等等。并且，多媒體廣播發(fā)送機(jī)/接收機(jī)能夠包 括移動(dòng)通信終端。
利用用于計(jì)算機(jī)執(zhí)行的程序構(gòu)造應(yīng)用了本發(fā)明的解碼/編碼方法， 并且然后將其存儲(chǔ)在計(jì)算機(jī)可讀記錄介質(zhì)中。并且，具有本發(fā)明的數(shù) 據(jù)結(jié)構(gòu)的多媒體數(shù)據(jù)能夠被存儲(chǔ)在計(jì)算機(jī)可讀記錄介質(zhì)中。計(jì)算機(jī)可 讀記錄介質(zhì)包括用于存儲(chǔ)能夠由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的所有種類的
存儲(chǔ)設(shè)備。計(jì)算機(jī)可讀記錄介質(zhì)包括ROM、 RAM、 CD-ROM、磁帶、 軟盤、光學(xué)數(shù)據(jù)存儲(chǔ)設(shè)備等等，并且還包括以載波(例如，經(jīng)由因特 網(wǎng)傳輸)實(shí)施的設(shè)備。并且，由編碼方法生成的比特流被存儲(chǔ)在計(jì)算 機(jī)可讀記錄介質(zhì)或者經(jīng)由有線/無線通信網(wǎng)絡(luò)傳輸。
工業(yè)應(yīng)用性
因此，雖然已經(jīng)參考其優(yōu)選實(shí)施例描述并且示出了本發(fā)明，但是 對于本領(lǐng)域技術(shù)人員來說，顯而易見的是，在不偏離本發(fā)明的精神和
范圍的情況下能夠進(jìn)行各種修改和變化。因此，意在本發(fā)明涵蓋所附 權(quán)利要求及其等價(jià)物的范圍內(nèi)的本發(fā)明的修改和變化。
權(quán)利要求
1.一種解碼視頻信號(hào)的方法，包括當(dāng)與對于當(dāng)前塊的亮度補(bǔ)償相關(guān)聯(lián)的信息在比特流中不可用時(shí)，獲得所述當(dāng)前塊的相鄰塊的IC(亮度補(bǔ)償)差異信息；使用所述相鄰塊的所述IC差異信息推導(dǎo)所述當(dāng)前塊的IC差異信息；基于所述當(dāng)前塊的所述IC差異信息，推導(dǎo)指示是否對所述當(dāng)前塊執(zhí)行亮度補(bǔ)償?shù)腎C標(biāo)志；以及基于所述當(dāng)前塊的所述IC差異信息和所述IC標(biāo)志，對所述當(dāng)前塊執(zhí)行所述亮度補(bǔ)償。
2. 根據(jù)權(quán)利要求l所述的方法，其中，當(dāng)所述當(dāng)前塊的所述IC差 異信葛為0時(shí)，所述當(dāng)前塊的所述IC標(biāo)志被推導(dǎo)為O。
3. 根據(jù)權(quán)利要求l所述的方法，其中，當(dāng)所述當(dāng)前塊的所述IC差 異信息不為O時(shí)，所述當(dāng)前塊的所述IC標(biāo)志被推導(dǎo)為1。
4. 根據(jù)權(quán)利要求l所述的方法，其中，基于所述當(dāng)前塊的參考索 引是否與所述相鄰塊的參考索引相同來推導(dǎo)所述當(dāng)前塊的所述IC差異{曰息。
5. 根據(jù)權(quán)利要求4所述的方法，其中，當(dāng)存在具有與所述當(dāng)前塊 的參考索引相同的參考索引的一個(gè)相鄰塊時(shí)，所述當(dāng)前塊的所述IC差 異信息被設(shè)置為所述相鄰塊的所述IC差異信息。
6. 根據(jù)權(quán)利要求5所述的方法，其中，以所述當(dāng)前塊的上、左、 右上和左上塊的順序檢查所述相鄰塊。
7. 根據(jù)權(quán)利要求4所述的方法，其中，當(dāng)存在每個(gè)都具有與所述當(dāng)前塊的參考索引相同的參考索引的三個(gè)相鄰塊時(shí)，所述當(dāng)前塊的所 述IC差異信息被設(shè)置為所述三個(gè)相鄰塊的IC差異信息的中間值。
8. 根據(jù)權(quán)利要求l所述的方法，其中，所述視頻信號(hào)被接收為廣 播信號(hào)。
9. 根據(jù)權(quán)利要求l所述的方法，其中，經(jīng)由數(shù)字媒介接收所述視 頻信號(hào)。
10. —種包括用于執(zhí)行權(quán)利要求l所述的方法的程序的計(jì)算機(jī)可 讀介質(zhì)，所述程序被記錄在所述計(jì)算機(jī)可讀介質(zhì)中。
11. 一種用于解碼視頻信號(hào)的裝置，包括IC差異預(yù)測單元，當(dāng)與對于當(dāng)前塊的亮度補(bǔ)償相關(guān)聯(lián)的信息在比特流中不可用時(shí)，所述IC差異預(yù)測單元使用獲得的相鄰塊的IC差異信息推導(dǎo)所述當(dāng)前塊的IC差異信息；以及IC單元，所述IC單元基于所述當(dāng)前塊的所述IC差異信息推導(dǎo)指 示是否對所述當(dāng)前塊執(zhí)行亮度補(bǔ)償?shù)腎C標(biāo)志，并且基于所述當(dāng)前塊的 所述ic差異信息和所述IC標(biāo)志對所述當(dāng)前塊執(zhí)行亮度補(bǔ)償。
全文摘要
公開了一種解碼視頻信號(hào)的方法。本發(fā)明包括當(dāng)與對于當(dāng)前塊的亮度補(bǔ)償相關(guān)聯(lián)的信息在比特流中不可用時(shí)，獲得當(dāng)前塊的相鄰塊的IC(亮度補(bǔ)償)差異信息；使用相鄰塊的IC差異信息推導(dǎo)當(dāng)前塊的IC差異信息；基于當(dāng)前塊的IC差異信息，推導(dǎo)指示是否對當(dāng)前塊執(zhí)行亮度補(bǔ)償?shù)腎C標(biāo)志；以及基于當(dāng)前塊的IC差異信息和IC標(biāo)志對當(dāng)前塊執(zhí)行亮度補(bǔ)償。
文檔編號(hào)H04N7/24GK101641954SQ200880009506
公開日2010年2月3日 申請日期2008年3月24日 優(yōu)先權(quán)日2007年3月23日
發(fā)明者梁正休 申請人:Lg電子株式會(huì)社