在電子設(shè)備上減小參考圖像集信號(hào)開銷的制作方法
【專利摘要】一種解碼視頻比特流的方法，包括：識(shí)別來自所述比特流的參考圖像集；利用所述參考圖像集，使用幀間預(yù)測(cè)來解碼所述視頻流；以及接收當(dāng)前圖像的所述參考圖像集中要保持的相應(yīng)參考圖像的指示，以用于解碼后續(xù)圖像。
【專利說明】在電子設(shè)備上減小參考圖像集信號(hào)開銷

【技術(shù)領(lǐng)域】
[0001]本公開總體涉及電子設(shè)備。更具體地，本公開涉及在電子設(shè)備上減小參考圖像集信號(hào)開銷。本公開涉及在電子設(shè)備上基于參考圖像集來解碼圖像。

【背景技術(shù)】
[0002]電子設(shè)備變得更小并且功能更強(qiáng)大以滿足消費(fèi)者需求和提高便攜性和方便性。消費(fèi)者變得依賴電子設(shè)備并且期望更強(qiáng)的功能性。電子設(shè)備的一些示例包括臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、蜂窩電話、智能電話、媒體播放器、集成電路等等。
[0003]一些電子設(shè)備用于處理和顯示數(shù)字媒體。例如，便攜式電子設(shè)備現(xiàn)今允許幾乎在消費(fèi)者可以處于的任何位置消費(fèi)數(shù)字媒體。此外，一些電子設(shè)備可以提供數(shù)字媒體內(nèi)容的下載和流傳遞，以供消費(fèi)者使用和欣賞。


【發(fā)明內(nèi)容】

[0004]技術(shù)問題
[0005]數(shù)字媒體的越來越普遍引起了一些問題。例如，高效呈現(xiàn)高質(zhì)量數(shù)字媒體以用于存儲(chǔ)、傳輸和回放提出了一些挑戰(zhàn)。從本公開可以看出，更高效地呈現(xiàn)數(shù)字媒體的系統(tǒng)和方法可以是有益的。
[0006]解決問題的技術(shù)手段
[0007]根據(jù)本發(fā)明，提供了一種解碼視頻流的方法，包括:識(shí)別來自所述比特流的參考圖像集；利用所述參考圖像集，使用幀間預(yù)測(cè)來解碼所述視頻流；以及接收當(dāng)前圖像的所述參考圖像集中要保持的相應(yīng)參考圖像的指示，以用于解碼后續(xù)圖像。
[0008]根據(jù)本發(fā)明，提供了一種編碼視頻流的方法，包括:產(chǎn)生參考圖像集；利用所述參考圖像集，使用幀間預(yù)測(cè)來編碼圖像塊；向所述比特流發(fā)送所述參考圖像集；發(fā)送當(dāng)前圖像的所述參考圖像集中要保持的相應(yīng)參考圖像的指示，以用于解碼后續(xù)圖像；以及向所述視頻比特流發(fā)送編碼數(shù)據(jù)。
[0009]本發(fā)明的有益效果
[0010]結(jié)合附圖，通過以下對(duì)本發(fā)明的詳細(xì)描述，將更容易理解本發(fā)明的前述和其他目的、特征和優(yōu)點(diǎn)。

【專利附圖】

【附圖說明】
[0011]圖1是示出了一個(gè)或多個(gè)電子設(shè)備的示例的框圖，在所述電子設(shè)備中可以實(shí)現(xiàn)用于減小參考圖像集(RPS)信號(hào)開銷的系統(tǒng)和方法；
[0012]圖2是示出了圖像組(GOP)的一個(gè)配置的框圖；
[0013]圖3是示出了電子設(shè)備上的編碼器的一個(gè)配置的框圖；
[0014]圖4是示出了在電子設(shè)備上減小PRS信號(hào)開銷的方法的一個(gè)配置的流程圖；
[0015]圖5是示出了在電子設(shè)備上減小RPS信號(hào)開銷的方法的更具體配置的流程圖；
[0016]圖6是示出了在電子設(shè)備上減小RPS信號(hào)開銷的方法的另一更具體配置的流程圖；
[0017]圖7是示出了電子設(shè)備上的解碼器的一個(gè)配置的框圖；
[0018]圖8是示出了在電子設(shè)備上減小RPS信號(hào)開銷的方法的一個(gè)配置的流程圖；
[0019]圖9是示出了在電子設(shè)備上導(dǎo)出一部分RPS的方法的一個(gè)配置的流程圖；
[0020]圖10是示出了在電子設(shè)備上導(dǎo)出RPS模板的方法的一個(gè)配置的流程圖；
[0021]圖11是示出了在電子設(shè)備上創(chuàng)建用于刪除至少一個(gè)參考圖像的指示的方法的一個(gè)配置的流程圖；
[0022]圖12是示出了在電子設(shè)備上刪除至少一個(gè)參考圖像的方法的一個(gè)配置的流程圖；
[0023]圖13示出了電子設(shè)備中可以使用的多種組件；
[0024]圖14是示出了在電子設(shè)備中對(duì)圖像進(jìn)行解碼的方法的一個(gè)配置的流程圖；
[0025]圖15是示出了在電子設(shè)備中對(duì)圖像進(jìn)行解碼的方法的更具體配置的流程圖；以及
[0026]圖16是示出了在電子設(shè)備中對(duì)圖像進(jìn)行解碼的方法的另一更具體配置的流程圖。

【具體實(shí)施方式】
[0027]描述了一種在電子設(shè)備上減小信號(hào)開銷的方法。所述方法包括:獲得圖像。所述方法還包括:對(duì)圖像進(jìn)行編碼。所述方法還包括:基于所初始化的索引值來指示與圖像相對(duì)應(yīng)的參考圖像集(RPS)。此外，所述方法包括:發(fā)送比特流。
[0028]所述方法還包括發(fā)送用于將先前提供的RPS中列出的至少一個(gè)參考圖像刪除的指示。所述用于將先前提供的RPS中列出的至少一個(gè)參考圖像刪除的指示可以包括:圖像參數(shù)集(PPS)中的標(biāo)志以及圖像的圖像片首部(slice header)中的比特字段。所述用于將先前提供的RPS中列出的至少一個(gè)參考圖像刪除的指示可以包括圖像的圖像片首部中的比特字段。
[0029]指示RPS可以包括:處理與至少一個(gè)正索引值相對(duì)應(yīng)的多個(gè)圖像。索引值可以基于相對(duì)負(fù)RPS參數(shù)。當(dāng)初始化索引值時(shí)，可以跳過處理所述多個(gè)圖像。
[0030]還描述了一種配置為減小信號(hào)開銷的電子設(shè)備。所述電子設(shè)備包括:處理器；以及可執(zhí)行指令，存儲(chǔ)在與處理器電子通信的存儲(chǔ)器中。所述電子設(shè)備獲得圖像。所述電子設(shè)備還編碼圖像。所述電子設(shè)備還基于初始化的索引值來指示與圖像相對(duì)應(yīng)的參考圖像集(RPS)。所述電子設(shè)備還發(fā)送比特流。
[0031]還描述了一種在電子設(shè)備上解碼圖像的方法。所述方法包括:獲得比特流。所述方法還包括:基于比特流來獲得圖像組(GOP)。所述方法還包括:基于至少一個(gè)相對(duì)索引值從全參考圖像集(RPS)導(dǎo)出部分RPS。此外，所述方法包括對(duì)圖像進(jìn)行解碼。
[0032]導(dǎo)出部分RPS可以包括:對(duì)GOP中的每個(gè)圖像執(zhí)行迭代。導(dǎo)出部分RPS還可以包括:識(shí)別當(dāng)前圖像。所述至少一個(gè)相對(duì)索引值可以對(duì)應(yīng)于當(dāng)前圖像。導(dǎo)出部分RPS還可以包括:對(duì)當(dāng)前圖像的全RPS內(nèi)的所述至少一個(gè)相對(duì)索引值執(zhí)行迭代。導(dǎo)出部分RPS還可以包括:確定參考圖像是否可用于所述至少一個(gè)相對(duì)索引值，如果參考圖像可用，則將圖像添加到所述部分RPS。
[0033]所述方法還可以包括:評(píng)估部分RPS，并插入附加圖像。所述方法還可以包括:創(chuàng)建RPS模板。創(chuàng)建RPS模板可以基于從比特流獲得的GOP大小、編碼結(jié)構(gòu)以及規(guī)則。所述規(guī)則可以設(shè)置時(shí)間層，所述編碼結(jié)構(gòu)可以是隨機(jī)訪問編碼結(jié)構(gòu)和/或低延遲編碼結(jié)構(gòu)。標(biāo)志還可以指示創(chuàng)建RPS模板。
[0034]還描述了一種配置為解碼圖像的電子設(shè)備。所述電子設(shè)備包括:處理器；以及可執(zhí)行指令，存儲(chǔ)在與處理器電子通信的存儲(chǔ)器中。所述電子設(shè)備獲得比特流。所述電子設(shè)備還基于比特流獲得圖像組(GOP)。所述電子設(shè)備還基于至少一個(gè)相對(duì)索引值從全參考圖像集(RPS)導(dǎo)出部分RPS。所述電子設(shè)備還解碼圖像。
[0035]還描述了一種在電子設(shè)備上刪除參考圖像集(RPS)的方法。所述方法包括:獲得用于將先前獲得的RPS中列出的至少一個(gè)參考圖像刪除的指示。所述方法還包括:刪除先前獲得的RPS中的所述至少一個(gè)參考圖像。
[0036]所述方法還包括:檢測(cè)RPS中的丟失圖像。所述方法還可以包括:發(fā)送指示丟失圖像的反饋。所述指示可以包括:圖像參數(shù)集(PPS)中的標(biāo)志以及圖像的圖像片首部中的比特字段。所述指示還可以包括圖像的圖像片首部中的比特字段。
[0037]還描述了一種用于刪除參考圖像集(RPS)的電子設(shè)備。所述電子設(shè)備包括:處理器；以及可執(zhí)行指令，存儲(chǔ)在與處理器電子通信的存儲(chǔ)器中。所述電子設(shè)備獲得用于將先前獲得的RPS中列出的至少一個(gè)參考圖像刪除的指示。所述電子設(shè)備還刪除先前獲得的RPS中的所述至少一個(gè)參考圖像。
[0038]描述了一種在電子設(shè)備上解碼圖像的方法。所述方法包括:獲得比特流。所述方法還包括:獲得當(dāng)前圖像。所述方法還包括:獲得相對(duì)參考圖像集(RPS)參數(shù)。所述方法還包括:初始化索引值。此外，所述方法包括:基于索引值來處理另一 RPS參數(shù)。所述方法還包括:解碼當(dāng)前圖像。
[0039]相對(duì)RPS參數(shù)可以是負(fù)相對(duì)RPS參數(shù)，其他RPS參數(shù)可以是正RPS參數(shù)。初始化索引值可以基于相對(duì)負(fù)RPS參數(shù)。索引值可以被初始化為最小RPS參數(shù)的絕對(duì)值。
[0040]所述方法還可以包括:獲得對(duì)稱標(biāo)志。所述對(duì)稱標(biāo)志可以指示相對(duì)負(fù)RPS參數(shù)對(duì)應(yīng)于正RPS參數(shù)。
[0041]初始化索引值可以基于相對(duì)負(fù)RPS參數(shù)和對(duì)稱標(biāo)志。索引值可以被初始化為最小RPS參數(shù)的絕對(duì)值。
[0042]處理正RPS參數(shù)可以包括:當(dāng)可以初始化索引值時(shí)，跳過處理至少一個(gè)正RPS參數(shù)。處理正RPS參數(shù)可以包括:產(chǎn)生正RPS參數(shù)。
[0043]可以從圖像參數(shù)集(PPS)獲得負(fù)RPS參數(shù)。相對(duì)RPS參數(shù)可以是正相對(duì)RPS參數(shù)，其他RPS參數(shù)可以是負(fù)RPS參數(shù)。
[0044]還描述了一種用于解碼圖像的電子設(shè)備。所述電子設(shè)備包括:處理器；以及可執(zhí)行指令，存儲(chǔ)在與處理器電子通信的存儲(chǔ)器中。所述電子設(shè)備獲得比特流。所述電子設(shè)備還獲得當(dāng)前圖像。所述電子設(shè)備還獲得相對(duì)參考圖像集(RPS)參數(shù)。所述電子設(shè)備還初始化索引值。此外，所述電子設(shè)備基于索引值來處理另一 RPS參數(shù)。所述電子設(shè)備還解碼當(dāng)前圖像。
[0045]本文公開的系統(tǒng)和方法描述了用于在電子設(shè)備上減小參考圖像集(RPS)信號(hào)開銷的多種配置。例如，本文公開的系統(tǒng)和方法描述了 RPS的編碼和解碼。例如，描述了用于解碼RPS的多種方法。此外，還描述了用于編碼RPS以實(shí)現(xiàn)減小的信號(hào)開銷的方法。
[0046]RPS是與圖像相關(guān)聯(lián)的參考圖像集。RPS可以包括參考圖像，所述參考圖像在解碼順序中在相關(guān)圖像前面，可以用于相關(guān)圖像的幀間預(yù)測(cè)和/或用于在解碼順序中在相關(guān)圖像后面的任意圖像。RPS描述了解碼圖像緩沖器(DPB)中的一個(gè)或多個(gè)參考圖像。在每個(gè)圖像的圖像片首部中實(shí)現(xiàn)了這一點(diǎn)。先前的視頻編碼標(biāo)準(zhǔn)(如，H.264/AVC)以相對(duì)的方式來參考參考圖像。DPB中不是參考圖像集一部分的任何圖像可以標(biāo)記為“未用于參考”。
[0047]DPB可以用于存儲(chǔ)解碼器處重構(gòu)的(例如，解碼的)圖像。然后例如可以在幀間預(yù)測(cè)機(jī)制中使用這些存儲(chǔ)的圖像。當(dāng)沒有按順序解碼圖像時(shí)，可以將圖像存儲(chǔ)在DPB中使得這些圖像可以稍后按順序顯示。此外，DPB中的圖像可以與圖像順序計(jì)數(shù)(POC)相關(guān)聯(lián)。POC可以是與每個(gè)編碼圖像相關(guān)聯(lián)的變量，所述變量的值隨著圖像位置在輸出順序中的提高而增大。換言之，解碼器可以使用POC來按照正確的順序傳遞圖像以用于顯示。POC也可以用于在參考圖像列表構(gòu)造和解碼參考圖像標(biāo)記期間標(biāo)識(shí)參考圖像。
[0048]在一些配置中，使用相對(duì)(例如，delta)參考(例如，使用deItaPOC和當(dāng)前P0C)或絕對(duì)參考(例如，使用P0C)來參考參考圖像。例如，DPB可以包括接收?qǐng)D像集。這些接收?qǐng)D像的子集可以使用相對(duì)(例如，delta)參考，其余接收?qǐng)D像可以使用絕對(duì)參考。應(yīng)注意，本文描述的緩沖器描述和語法的配置中的一個(gè)或多個(gè)可以與本文描述的手段(例如，方法)中的一個(gè)或多個(gè)相結(jié)合來實(shí)現(xiàn)。
[0049]RPS可以包含解碼器應(yīng)當(dāng)跳過的所有參考圖像的信息列表。例如，該信息可以存儲(chǔ)為稱作deltaPOS的索引集。deltaPOC可以用于計(jì)算參考圖像的P0C。例如，P0C_reference=P0C_current+de I taPOC。換言之，通過使用要解碼的圖像的當(dāng)前POC和參考圖像的deltaPOC，可以以相對(duì)的方式來定位參考圖像。此外，RPS可以存儲(chǔ)每個(gè)參考圖像的時(shí)間ID和/或指示具體參考圖像是否被當(dāng)前圖像使用的標(biāo)志。
[0050]電子設(shè)備上RPS如何工作的示例如下。假定接收到幀間(I幀)圖像，然后是兩個(gè)雙向預(yù)測(cè)(B幀)圖像，然后是兩個(gè)雙向預(yù)測(cè)(b幀)圖像。B幀是供其他圖像預(yù)測(cè)用的雙向預(yù)測(cè)圖像。B幀是不供其他圖像預(yù)測(cè)用的雙向預(yù)測(cè)圖像。
[0051]換g之，接收?qǐng)D像的順序是在該不例中，GOP大小是4。
[0052]另外假定I幀的POC為0，第一個(gè)接收到的b幀的POC為1，第二個(gè)接收到的B幀的POC為2，第一個(gè)接收到的b幀的POC為3，第一個(gè)接收到的B幀的POC為4。換言之，POC順序?yàn)榇送猓俣↖幀用作BpB2和Id1的參考圖像，B1用作B2和b2的參考圖像，B2用作Id1和b2的參考圖像。
[0053]在該示例中，解碼順序中的第二個(gè)圖像(例如，圖像B1A3OC 4)將在其RPS中包括POC O的圖像(例如，10)。為了存儲(chǔ)10/POC O, BI可以將deltaPOC = -4寫入其RPS索引值。換言之，將參考POC相對(duì)于當(dāng)前POC的差值作為索引值存儲(chǔ)在RPS中。
[0054]解碼順序中的第三個(gè)圖像(即，圖像B2/P0C 2)將在其RPS中包括POC O和POC 4的圖像(例如，B1)。因此，在其RPS中存儲(chǔ)索引值deltaPOC = -2和2。
[0055]繼續(xù)該示例，解碼順序中的第四個(gè)圖像(即，圖像b2/P0C I)可以在其RPS中包括POC O的圖像(例如，I。)和POC 2的圖像(例如，B2)。此外，由于b2/P0C I還可以包括POC4(例如，B1),因?yàn)樵搱D像將用于將來的參考。這里，將deltaP0C-l、l、3存儲(chǔ)在其RPS中。應(yīng)注意，可以在RPS中存儲(chǔ)正和負(fù)deltaPOC兩者。
[0056]最后在該示例中，解碼順序中的第五個(gè)圖像(S卩，圖像h/POC 3)可以在其RPS中包括POC 2的圖像(例如，B2)和POC 4的圖像(例如，B1)。因此deltaPOC = -1和I是作為索引值存儲(chǔ)在匕的RPS中的相對(duì)值。還可以注意到，除非Itl在將來將會(huì)用于參考，否則bi不需要在其RPS中包括POC O (例如，10)。如果Id1的RPS中不包含POC O (例如，10)，則可以將Itl標(biāo)記為“未用于參考”。
[0057]—旦列出并構(gòu)造了 RPS，就準(zhǔn)備好了信號(hào)傳遞。存在多種方式來信號(hào)傳遞RPS。根據(jù)一種方法，在圖像參數(shù)集(PPS)中信號(hào)傳遞與處理RPS相關(guān)的模板集，每個(gè)圖像片利用圖像片首部中的RPS索引來查閱所述模板集。根據(jù)另一種方法，可以在圖像片首部中顯式信號(hào)傳遞RPS。
[0058]以下列表(I)示出了用于在PPS中信號(hào)傳遞RPS的語法的一個(gè)示例。
[0059]列表I
[0060]

【權(quán)利要求】
1.一種解碼視頻比特流的方法，包括: 識(shí)別來自所述比特流的參考圖像集； 利用所述參考圖像集，使用幀間預(yù)測(cè)來解碼所述視頻流；以及 接收當(dāng)前圖像的所述參考圖像集中要保持的相應(yīng)參考圖像的指示，以用于解碼后續(xù)圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中，識(shí)別所述參考圖像集是基于從所述比特流獲得的圖像片首部。
3.—種編碼視頻流的方法，包括: 產(chǎn)生參考圖像集； 利用所述參考圖像集，使用幀間預(yù)測(cè)來編碼圖像塊； 向所述比特流發(fā)送所述參考圖像集； 發(fā)送當(dāng)前圖像的所述參考圖像集中要保持的相應(yīng)參考圖像的指示，以用于解碼后續(xù)圖像；以及 向所述視頻比特流發(fā)送編碼數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的方法，其中，在圖像片首部中發(fā)送所述參考圖像集。
【文檔編號(hào)】H04N19/44GK104081776SQ201380006107
【公開日】2014年10月1日 申請(qǐng)日期:2013年1月21日 優(yōu)先權(quán)日:2012年1月19日
【發(fā)明者】趙杰, 克里斯多夫·A·西格爾, 沙奇·G·德斯潘德 申請(qǐng)人:夏普株式會(huì)社