視頻譯碼中借助高級經(jīng)解碼圖片緩沖器(dpb)管理的隨機存取的制作方法
【專利摘要】作為一個實例，用于對視頻數(shù)據(jù)進行解碼的技術包含：接收包含經(jīng)譯碼視頻序列CVS的一或多個圖片的位流；根據(jù)解碼次序?qū)Φ谝粓D片進行解碼，其中所述第一圖片為并非瞬時解碼刷新IDR圖片的隨機存取點RAP圖片；以及基于所述經(jīng)解碼第一圖片對根據(jù)所述解碼次序跟隨所述第一圖片的至少一個其它圖片進行解碼。作為另一實例，用于對視頻數(shù)據(jù)進行編碼的技術包含：產(chǎn)生包含CVS的一或多個圖片的位流，其中根據(jù)所述解碼次序的第一圖片為并非IDR圖片的RAP圖片，以及避免在所述位流中包含除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一個其它圖片。
【專利說明】視頻譯碼中借助高級經(jīng)解碼圖片緩沖器(DPB)管理的隨機存取
[0001]本申請案主張2011年10月31日申請的第61/553，802號美國臨時申請案和2012年2月6日申請的第61/595，605號美國臨時申請案的權益，以上每一美國臨時申請案的全部內(nèi)容以引用方式并入本文。
【技術領域】
[0002]本發(fā)明涉及視頻譯碼，且更特定來說涉及對由視頻譯碼過程產(chǎn)生的視頻數(shù)據(jù)的幀進行譯碼。
【背景技術】
[0003]數(shù)字視頻能力可并入到廣泛多種裝置中，包含數(shù)字電視機、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機、平板計算機、電子書閱讀器、數(shù)碼相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話、所謂的“智能電話”、視頻電話會議裝置、視頻流式傳輸裝置和類似裝置。數(shù)字視頻裝置實施視頻壓縮技術，例如由 MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4 第 10 部分高級視頻譯碼(“AVC”)界定的標準、當前在開發(fā)的高效視頻譯碼(HEVC)標準以及此些標準的擴展中描述的那些技術。視頻裝置可通過實施此些視頻壓縮技術來較有效地發(fā)射、接收、編碼、解碼和/或存儲數(shù)字視頻信息。
[0004]視頻壓縮技術執(zhí)行空間(圖片內(nèi))預測和/或時間(圖片間)預測以減少或移除視頻序列中固有的冗余。對于基于塊的視頻譯碼，可將視頻切片(即，視頻幀或視頻幀的一部分)分割為若干視頻塊，所述視頻塊也可稱為樹塊、譯碼單元(CU)和/或譯碼節(jié)點。圖片的經(jīng)幀內(nèi)譯碼(I)切片中的視頻塊是使用相對于同一圖片中的相鄰塊中的參考樣本的空間預測來編碼。圖片的經(jīng)幀間譯碼(P或B)切片中的視頻塊可使用相對于同一圖片中的相鄰塊中的參考樣本的空間預測或相對于其它參考圖片中的參考樣本的時間預測。圖片可稱為巾貞，且參考圖片可稱為參考中貞。
[0005]空間或時間預測得到待譯碼塊的預測塊。殘余數(shù)據(jù)表示待譯碼的原始塊與預測塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預測塊的參考樣本的塊的運動向量以及指示經(jīng)譯碼塊與預測塊之間的差的殘余數(shù)據(jù)來編碼。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式和殘余數(shù)據(jù)來編碼。為了進一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而得到殘余變換系數(shù)，所述系數(shù)隨后可經(jīng)量化。初始以二維陣列布置的經(jīng)量化變換系數(shù)可按次序經(jīng)掃描而產(chǎn)生變換系數(shù)的一維向量。隨后可應用熵譯碼以實現(xiàn)甚至更多的壓縮。

【發(fā)明內(nèi)容】

[0006]本發(fā)明描述用于視頻譯碼中的隨機存取的技術。特定來說，本發(fā)明描述用于對包含一或多個幀或“圖片”的視頻序列進行譯碼的若干技術，其中在符合的位流中的特定經(jīng)譯碼視頻序列(CVS)的第一經(jīng)譯碼圖片可為隨機存取點(RAP)圖片，其不是瞬時解碼刷新(IDR)圖片。舉例來說，與所述技術一致，第一經(jīng)譯碼圖片可為清潔隨機存取(CRA)圖片。
[0007]作為一個實例，本發(fā)明的技術可使得符合所述技術的視頻解碼器能夠成功地以可預測且經(jīng)界定或“標準”方式對從此非IDR RAP圖片開始的位流進行解碼。舉例來說，所揭示技術可使得符合的視頻解碼器能夠操縱與第一經(jīng)譯碼圖片相關聯(lián)的也包含于位流中的所謂“引導圖片”的各種輸出和參考性質(zhì)。因此，所述技術與其它技術相比可實現(xiàn)視頻解碼器對位流的相對改善的隨機存取。舉例來說，所述技術與其它技術(例如，允許僅從IDR圖片對位流的隨機存取的技術)相比可通過使得視頻解碼器能夠在相對較為開始的點處對位流進行解碼或存取位流的圖片(即，非IDR圖片)來促進位流的“較精細”或較細粒的隨機存取。另外，所述技術可使得符合的視頻解碼器能夠改善也包含于位流中的一或多個其它圖片的視覺質(zhì)量，例如通過避免輸出和/或使用與第一圖片相關聯(lián)的引導圖片作為參考圖片。
[0008]或者，作為另一實例，所揭示技術可使得符合所述技術的視頻編碼器能夠產(chǎn)生位流，其排除了與位流的作為非IDR RAP圖片的第一經(jīng)譯碼圖片相關聯(lián)的引導圖片。因此，也符合所揭示技術的視頻解碼器可成功地以可預測且經(jīng)界定方式對位流進行解碼。
[0009]因此，使用本發(fā)明的技術可改善視頻編碼和解碼系統(tǒng)和裝置的互操作性，以及大體針對各種視頻應用中可頻繁發(fā)生的位流隨機存取的用戶體驗。
[0010]在本發(fā)明的一個實例中，一種對視頻數(shù)據(jù)進行解碼的方法包含:接收包括CVS的一或多個圖片的位流，根據(jù)與CVS相關聯(lián)的解碼次序?qū)λ鲆换蚨鄠€圖片中的第一圖片進行解碼，其中第一圖片是并非IDR圖片的RAP圖片，且基于經(jīng)解碼第一圖片對所述一或多個圖片中除了第一圖片之外根據(jù)解碼次序跟隨所述第一圖片的至少一者進行解碼。
[0011]在本發(fā)明的另一實例中，一種對視頻數(shù)據(jù)進行編碼的方法包含:產(chǎn)生包括CVS的一或多個圖片的位流，其中根據(jù)與CVS相關聯(lián)的解碼次序的所述一或多個圖片中的第一圖片是并非IDR圖片的RAP圖片，其中產(chǎn)生位流包括避免在位流中包含所述一或多個圖片中除了第一圖片之外對應于與第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)解碼次序跟隨第一圖片且根據(jù)與CVS相關聯(lián)的顯示次序在第一圖片之前的圖片，且其中第一圖片是可解碼的，且其中所述一或多個圖片中除了第一圖片之外根據(jù)解碼次序跟隨第一圖片的至少一者基于第一圖片是可解碼的。
[0012]在本發(fā)明的另一實例中，一種經(jīng)配置以對視頻數(shù)據(jù)進行解碼的設備包含視頻解碼器，所述視頻解碼器經(jīng)配置以:接收包括CVS的一或多個圖片的位流，根據(jù)與CVS相關聯(lián)的解碼次序?qū)λ鲆换蚨鄠€圖片中的第一圖片進行解碼，其中第一圖片是并非IDR圖片的RAP圖片，且基于經(jīng)解碼第一圖片對所述一或多個圖片中除了第一圖片之外根據(jù)解碼次序跟隨所述第一圖片的至少一者進行解碼。
[0013]在本發(fā)明的另一實例中，一種經(jīng)配置以對視頻數(shù)據(jù)進行編碼的設備包含視頻編碼器，所述視頻編碼器經(jīng)配置以產(chǎn)生包括CVS的一或多個圖片的位流，其中根據(jù)與CVS相關聯(lián)的解碼次序的所述一或多個圖片中的第一圖片是并非IDR圖片的RAP圖片，其中為了產(chǎn)生位流，視頻編碼器經(jīng)配置以避免在位流中包含所述一或多個圖片中除了第一圖片之外對應于與第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)解碼次序跟隨第一圖片且根據(jù)與CVS相關聯(lián)的顯示次序在第一圖片之前的圖片，且其中第一圖片是可解碼的，且其中所述一或多個圖片中除了第一圖片之外根據(jù)解碼次序跟隨第一圖片的至少一者基于第一圖片是可解碼的。
[0014]在本發(fā)明的另一實例中，一種用于對視頻數(shù)據(jù)進行解碼的裝置包含:用于接收包括CVS的一或多個圖片的位流的裝置，用于根據(jù)與CVS相關聯(lián)的解碼次序?qū)λ鲆换蚨鄠€圖片中的第一圖片進行解碼的裝置，其中第一圖片是并非IDR圖片的RAP圖片，以及用于基于經(jīng)解碼第一圖片對所述一或多個圖片中除了第一圖片之外根據(jù)解碼次序跟隨所述第一圖片的至少一者進行解碼的裝置。
[0015]在本發(fā)明的另一實例中，一種用于對視頻數(shù)據(jù)進行編碼的裝置包含:用于產(chǎn)生包括CVS的一或多個圖片的位流的裝置，其中根據(jù)與CVS相關聯(lián)的解碼次序的所述一或多個圖片中的第一圖片是并非IDR圖片的RAP圖片，其中用于產(chǎn)生位流的裝置包括用于避免在位流中包含所述一或多個圖片中除了第一圖片之外對應于與第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)解碼次序跟隨第一圖片且根據(jù)與CVS相關聯(lián)的顯示次序在第一圖片之前的圖片，且其中第一圖片是可解碼的，且其中所述一或多個圖片中除了第一圖片之外根據(jù)解碼次序跟隨第一圖片的至少一者基于第一圖片是可解碼的。
[0016]本發(fā)明中描述的技術可以硬件、軟件、固件或其組合來實施。如果以硬件實施，則設備可實現(xiàn)為集成電路、處理器、離散邏輯或其任一組合。如果以軟件實施，則軟件可在一個或一個以上處理器中執(zhí)行，所述處理器例如微處理器、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或數(shù)字信號處理器(DSP)。執(zhí)行所述技術的軟件可初始存儲在有形計算機可讀媒體中且在處理器中加載和執(zhí)行。
[0017]因此，在另一實例中，本發(fā)明預期一種存儲指令的計算機可讀存儲媒體，所述指令在執(zhí)行時致使一或多個處理器:接收包括CVS的一或多個圖片的位流；根據(jù)與所述CVS相關聯(lián)的解碼次序?qū)λ鲆换蚨鄠€圖片中的第一圖片進行解碼，其中所述第一圖片為并非IDR圖片的RAP圖片；以及基于所述經(jīng)解碼第一圖片對所述一或多個圖片中除了所述第一圖片之外根據(jù)所述解碼次序跟隨所述第一圖片的至少一者進行解碼。
[0018]在另一實例中，本發(fā)明預期一種存儲指令的計算機可讀存儲媒體，所述指令在執(zhí)行時致使一或多個處理器:產(chǎn)生包括CVS的一或多個圖片的位流，其中根據(jù)與CVS相關聯(lián)的解碼次序的所述一或多個圖片中的第一圖片是并非IDR圖片的RAP圖片，其中所述致使所述一或多個處理器產(chǎn)生位流的指令包括致使所述一或多個處理器進行以下操作的指令:避免在位流中包含所述一或多個圖片中除了第一圖片之外對應于與第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)解碼次序跟隨第一圖片且根據(jù)與CVS相關聯(lián)的顯示次序在第一圖片之前的圖片，且其中第一圖片是可解碼的，且其中所述一或多個圖片中除了第一圖片之外根據(jù)解碼次序跟隨第一圖片的至少一者基于第一圖片是可解碼的。
[0019]在附圖和以下描述中陳述一個或一個以上實例的細節(jié)。從描述和圖式以及從權利要求書將明了其它特征、目的和優(yōu)點。
【專利附圖】

【附圖說明】
[0020]圖1是圖解說明與本發(fā)明的技術一致的可執(zhí)行用于借助高級解碼器圖片緩沖器(DPB)管理的隨機存取的技術的視頻編碼和解碼系統(tǒng)的實例的框圖。
[0021]圖2是圖解說明與本發(fā)明的技術一致的可執(zhí)行用于借助高級DPB管理的隨機存取的技術的視頻編碼器的實例的框圖。[0022]圖3是圖解說明與本發(fā)明的技術一致的可執(zhí)行用于借助高級DPB管理的隨機存取的技術的視頻解碼器的實例的框圖。
[0023]圖4是圖解說明與本發(fā)明的技術一致的視頻數(shù)據(jù)的圖片群組(GOP)的圖片當中的參考階層的實例的概念圖。
[0024]圖5是圖解說明與本發(fā)明的技術一致的圖解說明由視頻解碼器執(zhí)行包含視頻數(shù)據(jù)的一或多個圖片的位流的隨機存取的實例方法的流程圖。
[0025]圖6是圖解說明與本發(fā)明的技術一致的圖解說明由視頻編碼器產(chǎn)生包含視頻數(shù)據(jù)的一或多個圖片的位流的實例方法的流程圖。
【具體實施方式】
[0026]本發(fā)明描述用于視頻譯碼中的隨機存取的技術。特定來說，本發(fā)明描述用于對包含一或多個幀或“圖片”的視頻序列進行譯碼的若干技術，其中在符合的位流中的特定經(jīng)譯碼視頻序列(CVS)的第一經(jīng)譯碼圖片可為隨機存取點(RAP)圖片，其不是瞬時解碼刷新(IDR)圖片。舉例來說，與所述技術一致，第一經(jīng)譯碼圖片可為清潔隨機存取(CRA)圖片。
[0027]作為一個實例，本發(fā)明的技術可使得符合所述技術的視頻解碼器能夠成功地以可預測且經(jīng)界定或“標準”方式對從此非IDR RAP圖片開始的位流進行解碼。舉例來說，所揭示技術可使得符合的視頻解碼器能夠操縱與第一經(jīng)譯碼圖片相關聯(lián)的也包含于位流中的所謂“引導圖片”的各種輸出和參考性質(zhì)。因此，所述技術與其它技術相比可實現(xiàn)視頻解碼器對位流的相對改善的隨機存取。舉例來說，所述技術與其它技術(例如，允許僅從IDR圖片對位流的隨機存取的技術)相比可通過使得視頻解碼器能夠在相對較為開始的點處對位流進行解碼或存取位流的圖片(即，非IDR圖片)來促進位流的“較精細”或較細粒的隨機存取。另外，所述技術可使得符合的視頻解碼器能夠改善也包含于位流中的一或多個其它圖片的視覺質(zhì)量，例如通過避免輸出和/或使用與第一圖片相關聯(lián)的引導圖片作為參考圖片。
[0028]或者，作為另一實例，所揭示技術可使得符合所述技術的視頻編碼器能夠產(chǎn)生位流，其排除了與位流的作為非IDR RAP圖片的第一經(jīng)譯碼圖片相關聯(lián)的引導圖片。因此，也符合所揭示技術的視頻解碼器可成功地以可預測且經(jīng)界定方式對位流進行解碼。
[0029]因此，使用本發(fā)明的技術可改善視頻編碼和解碼系統(tǒng)和裝置的互操作性，以及大體針對各種視頻應用中可頻繁發(fā)生的位流隨機存取的用戶體驗。
[0030]具體來說，本文描述的技術與其它技術相比可包含以下新穎方面中的至少一或多者:(I)檢測從非IDR RAP圖片(例如，CRA圖片)的隨機存取的發(fā)生；2)識別和解碼在解碼次序上跟隨非IDR RAP圖片但在輸出次序上在非IDR RAP圖片之前的一或多個圖片(即，非IDR RAP圖片的一或多個“引導圖片”)；以及3)指定甚至在對應用信號發(fā)送的語法元素output_flag等于真或“I” (即，output_flag指示相應圖片將輸出)的情況下也不輸出非IDR RAP圖片的一或多個引導圖片中的每一者，且相應圖片不用做在解碼次序和輸出次序上跟隨非IDR RAP圖片的任何其它圖片的參考圖片。
[0031]以此方式，包含視頻數(shù)據(jù)的一或多個圖片且以非IDR RAP圖片開始的位流可由符合本發(fā)明的技術的視頻解碼器以可預測且經(jīng)界定方式來解碼。或者，符合所揭示技術的視頻編碼器產(chǎn)生包含視頻數(shù)據(jù)的一或多個圖片且以非IDR RAP圖片開始的位流，使得可由符合所述技術的視頻解碼器可以可預測且經(jīng)界定方式來對解碼進行解碼。因此，當使用本發(fā)明的技術執(zhí)行包含視頻數(shù)據(jù)的一或多個圖片的位流的隨機存取時可存在用戶體驗的相對改善。特定來說，當使用所揭示技術時，可存在隨機存取粒度中的相對改善，以及位流的一或多個圖片的視覺質(zhì)量的相對改善，和/或包含所述一或多個作為整體的CVS的相對改善。
[0032]圖1是圖解說明與本發(fā)明的技術一致的可執(zhí)行用于借助高級解碼器圖片緩沖器(DPB)管理的隨機存取的技術的視頻編碼和解碼系統(tǒng)的實例的框圖。如圖1所示，系統(tǒng)10包含源裝置12，所述源裝置12產(chǎn)生經(jīng)編碼視頻以由目的地裝置14在稍后時間解碼。源裝置12和目的地裝置14可包括廣泛多種裝置中的任一者，包含桌上型計算機、筆記型(即，膝上型)計算機、平板計算機、機頂盒、例如所謂的“智能”電話等電話手持機、所謂的“智能”板、電視機、相機、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、視頻流式傳輸裝置或類似裝置。在一些情況下，源裝置12和目的地裝置14可針對無線通信而裝備。
[0033]目的地裝置14可經(jīng)由鏈路16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。鏈路16可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移動到目的地裝置14的任一類型的媒體或裝置。在一個實例中，鏈路16可包括通信媒體以使得源裝置12能夠?qū)崟r地將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置14。經(jīng)編碼視頻數(shù)據(jù)可根據(jù)例如無線通信協(xié)議等通信標準而調(diào)制，且發(fā)射到目的地裝置14。通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或者一種或一種以上物理傳輸線。通信媒體可形成基于包的網(wǎng)絡的部分，所述網(wǎng)絡例如為局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)的全球網(wǎng)。通信媒體可包含路由器、交換機、基站或可用于促進從源裝置12到目的地裝置14的通信的任何其它設備。
[0034]或者，經(jīng)編碼數(shù)據(jù)可從輸出接口 22輸出到存儲裝置24。類似地，經(jīng)編碼數(shù)據(jù)可通過輸入接口 26從存儲裝置24存取。存儲裝置24可包含多種分布式或本地存取的數(shù)據(jù)存儲媒體中的任一者，例如硬驅(qū)動器、藍光光盤、DVD、CD-ROM、快閃存儲器、易失性或非易失性存儲器，或任何其它合適的用于存儲經(jīng)編碼視頻數(shù)據(jù)的數(shù)字存儲媒體。在又一實例中，存儲裝置24可對應于文件服務器或另一中間存儲裝置，其可保持由源裝置12產(chǎn)生的經(jīng)編碼視頻。目的地裝置14可經(jīng)由流式傳輸或下載從存儲裝置24存取所存儲的視頻數(shù)據(jù)。文件服務器可為能夠存儲經(jīng)編碼視頻數(shù)據(jù)且將所述經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的任一類型的服務器。實例文件服務器包含網(wǎng)絡服務器(例如，用于網(wǎng)站)、FTP服務器、網(wǎng)絡附接存儲(NAS)裝置或本地磁盤驅(qū)動器。目的地裝置14可通過任何標準數(shù)據(jù)連接(包含因特網(wǎng)連接)存取經(jīng)編碼視頻數(shù)據(jù)。這可包含適于存取存儲在文件服務器上的經(jīng)編碼視頻數(shù)據(jù)的無線信道(例如，W1-Fi連接)、有線連接(例如，DSL、電纜調(diào)制解調(diào)器等等)或兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲裝置24的發(fā)射可為流式傳輸發(fā)射、下載發(fā)射或兩者的組合。
[0035]本發(fā)明的技術不一定限于無線應用或設定。所述技術可應用于視頻譯碼以支持多種多媒體應用中的任一種，例如空中電視廣播、閉路電視發(fā)射、衛(wèi)星電視發(fā)射、流式傳輸視頻發(fā)射(例如，經(jīng)由因特網(wǎng))、為存儲在數(shù)據(jù)存儲媒體上對數(shù)字視頻的編碼、對存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻的解碼，或其它應用。在一些實例中，系統(tǒng)10可經(jīng)配置以支持單向或雙向視頻發(fā)射以支持例如視頻流式傳輸、視頻重放、視頻廣播和/或視頻電話等應用。
[0036]在圖1的實例中，源裝置12包含視頻源18、視頻編碼器20和輸出接口 22。在一些情況下，輸出接口 22可包含調(diào)制器/解調(diào)器(調(diào)制解調(diào)器)和/或發(fā)射器。在源裝置12中，視頻源18可包含例如以下各項的源:例如攝像機等視頻俘獲裝置、含有先前俘獲視頻的視頻檔案、用以從視頻內(nèi)容提供者接收視頻的視頻饋送接口，和/或用于產(chǎn)生計算機圖形作為源視頻的計算機圖形系統(tǒng)，或此些源的組合。作為一個實例，如果視頻源18是攝像機，則源裝置12和目的地裝置14可形成所謂的相機電話或視頻電話。然而，本發(fā)明中描述的技術可大體上適用于視頻譯碼，且可適用于無線和/或有線應用。
[0037]所俘獲、預俘獲或計算機產(chǎn)生的視頻可由視頻編碼器20編碼。經(jīng)編碼視頻數(shù)據(jù)可經(jīng)由源裝置12的輸出接口 22直接發(fā)射到目的地裝置14。經(jīng)編碼視頻數(shù)據(jù)也可(或者)存儲到存儲裝置24上供目的地裝置14或其它裝置稍后存取，用于解碼和/或重放。
[0038]目的地裝置14包含輸入接口 26、視頻解碼器30和顯示裝置28。在一些情況下，輸入接口 26可包含接收器和/或調(diào)制解調(diào)器。目的地裝置14的輸入接口 26經(jīng)由鏈路16或從存儲裝置24接收經(jīng)編碼視頻數(shù)據(jù)。經(jīng)由鏈路16傳送或在存儲裝置24上提供的經(jīng)編碼視頻數(shù)據(jù)可包含由視頻編碼器20產(chǎn)生的多種語法元素，其供例如視頻解碼器30等視頻解碼器用于對視頻數(shù)據(jù)進行解碼。此些語法元素可與經(jīng)編碼視頻數(shù)據(jù)一起在通信媒體上發(fā)射、存儲在存儲媒體上或存儲在文件服務器上。
[0039]顯示裝置28可與目的地裝置14集成或在目的地裝置14的外部。在一些實例中，目的地裝置14可包含集成顯示裝置，且還經(jīng)配置以與外部顯示裝置介接。在其它實例中，目的地裝置14可為顯示裝置。大體上，顯示裝置28向用戶顯示經(jīng)解碼視頻數(shù)據(jù)，且可包括多種顯示裝置中的任一者，例如液晶顯示器(LCD)、等離子顯示器、有機發(fā)光二極管(OLED)顯示器，或另一類型的顯示裝置。
[0040]視頻編碼器20和視頻解碼器30可根據(jù)例如由ITU-T視頻譯碼專家組(VCEG)的視頻譯碼聯(lián)合合作組(JCT-VC)和IS0/IEC動畫專家組(MPEG)當前在開發(fā)的高效視頻譯碼(HEVC)標準等視頻壓縮標準來操作，且可符合HEVC測試模型(HM)?；蛘?，視頻編碼器20和視頻解碼器30可根據(jù)例如ITU-T H.264標準(或者稱為MPEG4第10部分AVC)等其它專門或行業(yè)標準或此些標準的擴展來操作。然而本發(fā)明的技術不限于任何特定譯碼標準。視頻壓縮標準的其它實例包含MPEG-2和ITU-T H.263。稱為“HEVC工作草案8”或“WD8”的HEVC標準的最新草案在布洛斯(Bross)等人的文獻JCTVC_J1003_d7 “高效視頻譯碼(HEVC)文本規(guī)范草案 8(High efficiency video coding (HEVC) textspecif icationdraft8)” (ITU-T SG16WP3 和 IS0/IEC JTC1/SC29/WG11 的視頻譯碼聯(lián)合合作組(JCT-VC)，第10次會議:瑞典斯德哥爾摩，2012年7月11到20日)中描述，其從2012年10月17日起可從 http://phenix.1nt-evry.fr/jet/doc_end_user/documents/10_Stockholm/wgll/JCTVC-J1003-v8.zip 下載。
[0041]本發(fā)明中稱為“HEVC工作草案4”或“WD4”的HEVC標準的另一草案在布洛斯(Bross)等人的文獻JCTVC-F803 “WD4:高效視頻譯碼工作草案4 (WD4:Working Draft4ofHigh-Efficiency Video Coding) ”(ITU-T SG16WP3 和 IS0/IEC JTC1/SC29/WG11 的視頻譯碼聯(lián)合合作組(JCT-VC)，第6次會議:意大利托里諾，2011年7月14到22日)中描述，其從2012 年 10 月 17 日起可從 http://phenix.1nt-evry.fr/jet/doc_end_user/documents/6_Torino/wglI/JCTVC-F803-v8.zip 下載。
[0042]本發(fā)明中稱為“HEVC工作草案5”或“WD5”的HEVC標準的另一草案在布洛斯(Bross)等人的文獻JCTVC-Gl 103 “WD5:高效視頻譯碼工作草案5 (WD5:fforking Draft5ofHigh-Efficiency Video Coding) ”(ITU-T SG16WP3 和 IS0/IEC JTC1/SC29/WG11 的視頻譯碼聯(lián)合合作組(JCT-VC)，第7次會議:瑞士日內(nèi)瓦，2011年11月21到30日)中描述，其從2012 年 10 月 17 日起可從 http://phenix.1nt-evry.fr/jet/doc_end_user/documents/7_Geneva/wglI/JCTVC-Gl 103-vl2.zip 下載。
[0043]雖然圖1中未圖示，但在一些方面中，視頻編碼器20和視頻解碼器30可各自與音頻編碼器和解碼器集成，且可包含適當?shù)亩嗦窂陀闷?多路分用器(MUX-DEMUX)單元或其它硬件和軟件，以處置共同數(shù)據(jù)流或單獨數(shù)據(jù)流中的音頻和視頻兩者的編碼。如果適用，在一些實例中，MUX-DEMUX單元可符合ITU H.223多路復用器協(xié)議，或例如用戶數(shù)據(jù)報協(xié)議(UDP)等其它協(xié)議。
[0044]視頻編碼器20和視頻解碼器30各自可實施為多種合適編碼器或解碼器電路中的任一者，例如一或多個微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯、軟件、硬件、固件或其任一組合。當所述技術部分地以軟件實施時，裝置可將用于所述軟件的指令存儲在合適的非暫時性計算機可讀媒體中，且使用一或多個處理器執(zhí)行硬件中的指令以執(zhí)行本發(fā)明的技術。視頻編碼器20和視頻解碼器30中的每一者可包含于一或多個編碼器或解碼器中，其中任一者可集成為相應裝置中的組合式編碼器/解碼器(“CODEC”)的部分。
[0045]HEVC標準化努力是基于稱為HEVC測試模型(HM)的視頻譯碼裝置的演進模型。HM假設視頻譯碼裝置相對于符合例如ITU-T H.264/AVC的現(xiàn)存裝置的若干額外能力。舉例來說，H.264提供九種幀內(nèi)預測編碼模式，而HM可提供多達三十五種幀內(nèi)預測編碼模式。
[0046]大體上，HM的工作模型描述了可將視頻幀或圖片劃分為包含亮度和色度樣本兩者的樹塊或最大譯碼單元(LCU)的序列。樹塊具有與H.264標準的宏塊類似的目的。切片包含若干在譯碼次序上連續(xù)的樹塊。視頻幀或圖片可經(jīng)分割為一或多個切片。每一樹塊可根據(jù)四叉樹而分裂為若干譯碼單元(CU)。舉例來說，作為四叉樹的根節(jié)點的樹塊可分裂為四個子節(jié)點，且每一子節(jié)點又可為母節(jié)點且分裂為另外四個子節(jié)點。作為四叉樹的葉節(jié)點，最終未經(jīng)分裂的子節(jié)點包括譯碼節(jié)點，即經(jīng)譯碼視頻塊。與經(jīng)譯碼位流相關聯(lián)的語法數(shù)據(jù)可界定樹塊可經(jīng)分裂的最大次數(shù)，且也可界定譯碼節(jié)點的最小大小。
[0047]CU包含譯碼節(jié)點以及與譯碼節(jié)點相關聯(lián)的預測單元(PU)和變換單元(TU)。CU的大小對應于譯碼節(jié)點的大小且形狀必須為正方形。CU的大小的范圍可為從8x8像素直到具有最大64x64像素或更大的樹塊的大小。每一⑶可含有一或多個PU和一或多個TU。與CU相關聯(lián)的語法數(shù)據(jù)可描述例如CU分割為一或多個TO。分割模式在CU經(jīng)跳過或直接模式編碼、經(jīng)幀內(nèi)預測模式編碼還是經(jīng)幀間預測模式編碼之間可不同。PU可經(jīng)分割為非正方形的形狀。與CU相關聯(lián)的語法數(shù)據(jù)還可描述例如CU根據(jù)四叉樹而分割為一或多個TU。TU可為正方形或非正方形的形狀。
[0048]HEVC標準允許根據(jù)TU的變換，所述TU對于不同⑶可為不同的。TU通?；跒榻?jīng)分割IXU界定的給定⑶內(nèi)的I3U的大小來定大小，但情況可能并非總是這樣。TU通常與PU大小相同或小于PU。在一些實例中，使用稱為“殘余四叉樹”(RQT)的四叉樹結構，對應于⑶的殘余樣本可經(jīng)再分為較小的單元。RQT的葉節(jié)點可稱為TU。與TU相關聯(lián)的像素差值可經(jīng)變換以產(chǎn)生可經(jīng)量化的變換系數(shù)。
[0049]大體上，PU包含與預測過程相關的數(shù)據(jù)。舉例來說，當經(jīng)幀內(nèi)模式編碼時，PU可包含描述PU的幀內(nèi)預測模式的數(shù)據(jù)。作為另一實例，當PU經(jīng)幀間模式編碼時，PU可包含定義PU的運動向量的數(shù)據(jù)。界定PU的運動向量的數(shù)據(jù)可描述例如運動向量的水平分量、運動向量的垂直分量、運動向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖片，和/或運動向量的參考圖片列表(例如，列表O、列表I或列表C)。
[0050]大體上，TU用于變換和量化過程。具有一或多個I3U的給定⑶還可包含一或多個TU0在預測之后，視頻編碼器20可計算對應于PU的殘余值。殘余值包括像素差值，所述像素差值可使用TU而變換為變換系數(shù)、經(jīng)量化且經(jīng)掃描以產(chǎn)生用于熵譯碼的經(jīng)串行化變換系數(shù)。本發(fā)明通常使用術語“視頻塊”或簡稱為“塊”來指代CU的譯碼節(jié)點。在一些特定情況下，本發(fā)明也可使用術語“視頻塊”來指代樹塊，即LCU或CU，其包含譯碼節(jié)點以及和TU0
[0051]視頻序列通常包含一系列視頻幀或圖片。圖片群組(GOP)通常包括一系列一或多個視頻圖片。GOP可在GOP的標頭、一或多個圖片的標頭或其它地方包含描述所述GOP中包含的圖片數(shù)目的語法數(shù)據(jù)。圖片的每一切片可包含描述相應切片的編碼模式的切片語法數(shù)據(jù)。視頻編碼器20通常對個別視頻切片內(nèi)的視頻塊進行操作以便對視頻數(shù)據(jù)進行編碼。視頻塊可對應于CU內(nèi)的譯碼節(jié)點。視頻塊可具有固定或變化的大小，且可根據(jù)指定譯碼標準而大小不同。
[0052]作為一實例，HM支持各種I3U大小下的預測。假定特定⑶的大小為2Nx2N，則HM支持2Nx2N或NxN的PU大小的幀內(nèi)預測以及2Nx2N、2NxN、Nx2N或NxN的對稱I3U大小的幀間預測。HM還支持2NxnU、2NxnD、nLx2N和nRx2N的PU大小的幀間預測的不對稱分割。在不對稱分割中，⑶的一個方向未分割，而另一方向分割為25%和75%。⑶的對應于25%分割的部分由“η”指示，隨后是“上”、“下”、“左”或“右”的指示。因此，舉例來說，“2NxnU”指代經(jīng)水平分割的2Nx2N CU，其中頂部為2Nx0.5NPU且底部為2Nxl.5N PU。
[0053]在本發(fā)明中，“NxN”和“N乘N”可以互換地使用以在垂直和水平尺寸方面指代視頻塊的像素尺寸，例如16x16像素或16乘16像素。大體上，16x16塊將在垂直方向上具有16個像素(y = 16)且在水平方向上具有16個像素(X = 16)。同樣，NxN塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數(shù)值。塊中的像素可以若干行和列布置。而且，塊無需一定在水平方向上具有與垂直方向上相同數(shù)目的像素。舉例來說，塊可包括NxM個像素，其中M不一定等于N。
[0054]在使用CU的PU的幀內(nèi)預測或幀間預測譯碼之后，視頻編碼器20可計算CU的TU的殘余數(shù)據(jù)。PU可包括空間域(也稱為像素域)中的像素數(shù)據(jù)，且TU可包括例如在對殘余視頻數(shù)據(jù)應用例如離散余弦變換(DCT)、整數(shù)變換、小波變換等變換或概念上類似的變換后的變換域中的系數(shù)。殘余數(shù)據(jù)可對應于未經(jīng)編碼圖片的像素之間的像素差和對應于PU的預測值。視頻編碼器20可形成包含⑶的殘余數(shù)據(jù)的TU，且隨后變換TU以產(chǎn)生⑶的變換系數(shù)。
[0055]在任何變換以產(chǎn)生變換系數(shù)后，視頻編碼器20可執(zhí)行變換系數(shù)的量化。量化大體上指代其中變換系數(shù)經(jīng)量化以可能地減少用以表示所述系數(shù)的數(shù)據(jù)量從而提供進一步壓縮的過程。量化過程可產(chǎn)生與系數(shù)中的一些或全部相關聯(lián)的位深度。舉例來說，在量化期間可將η位值下舍入到m位值，其中η大于m。
[0056]在一些實例中，視頻編碼器20可利用預定義掃描或“掃描”次序來掃描經(jīng)量化變換系數(shù)以產(chǎn)生可經(jīng)熵編碼的經(jīng)串行化向量。在其它實例中，視頻編碼器20可執(zhí)行自適應掃描。在掃描經(jīng)量化變換系數(shù)以形成一維向量之后，視頻編碼器20可例如根據(jù)上下文自適應可變長度譯碼(CAVLC)、上下文自適應二進制算術譯碼(CABAC)、基于語法的上下文自適應二進制算術譯碼(SBAC)、概率區(qū)間分割熵(PIPE)譯碼或另一熵編碼方法對所述一維向量進行熵編碼。視頻編碼器20還可對與經(jīng)編碼視頻數(shù)據(jù)相關聯(lián)的語法元素進行熵編碼以供視頻解碼器30用于對視頻數(shù)據(jù)進行解碼。
[0057]為了執(zhí)行CABAC，視頻編碼器20可將上下文模型內(nèi)的上下文指派于待發(fā)射的符號。所述上下文可例如涉及符號的相鄰值是否為非零。為了執(zhí)行CAVLC，視頻編碼器20可針對待發(fā)射符號選擇可變長度譯碼。VLC中的碼字可經(jīng)構造以使得相對較短的碼對應于較可能的符號，而相對較長的碼對應于較不可能的符號。以此方式，VLC的使用可例如針對待發(fā)射的每一符號使用相等長度碼字來實現(xiàn)位節(jié)省。概率確定可基于對符號指派的上下文。
[0058]在一些實例中，本發(fā)明的技術是針對視頻譯碼中的隨機存取。特定來說，本發(fā)明描述用于對包含一或多個幀或圖片的視頻序列進行譯碼的若干技術，其中在符合的位流中的特定CVS的第一經(jīng)譯碼圖片可為RAP圖片，其不是IDR圖片。舉例來說，與所揭示技術一致，第一經(jīng)譯碼圖片可為CRA圖片。
[0059]換句話說，根據(jù)本發(fā)明的技術，包含CVS的一或多個圖片的位流可視為“符合的”位流，其中所述位流的第一經(jīng)譯碼圖片是非IDR RAP圖片。換句話說，符合所揭示技術的視頻解碼器可成功地以可預測且經(jīng)界定方式對此位流進行解碼。具體來說，本發(fā)明的技術包含由視頻解碼器處置與第一經(jīng)譯碼圖片相關聯(lián)的引導圖片的解碼以及輸出和參考性質(zhì)的方法?；蛘?，所述技術還包含由視頻編碼器產(chǎn)生符合的位流，所述位流從位流中排除與位流的為非IDR RAP圖片的第一經(jīng)譯碼圖片相關聯(lián)的引導圖片，使得所述位流可由視頻解碼器以可預測且經(jīng)界定方式成功地解碼。
[0060]在本發(fā)明中，CVS的IDR圖片可通常涉及CVS內(nèi)包含的使用幀內(nèi)預測譯碼來譯碼的圖片，即在不參考CVS內(nèi)或外部的任何其它圖片的情況下譯碼的“I”圖片。另外，IDR圖片可涉及如下圖片=CVS內(nèi)包含的根據(jù)與CVS相關聯(lián)的解碼次序跟隨IDR圖片的所有其它圖片是在不參考根據(jù)解碼次序在IDR圖片之前的任何圖片的情況下解碼。舉例來說，與一些技術(例如，H.264/MPEG-4部分10/AVC ;下文為“H.264/AVC”)一致，CVS可包含根據(jù)與CVS相關聯(lián)的解碼次序作為CVS的第一圖片的IDR圖片，以及一或多個額外IDR圖片。作為一個實例，CVS可包含一或多個G0P，其中每一 GOP以IDR圖片開始，跟隨有一或多個其它非IDR圖片(例如，基于從其它參考圖片的前向和雙向預測實用幀間預測譯碼來譯碼的所謂的“P”和“B”圖片)。
[0061]與上述技術(例如，H.264/AVC) 一致，CVS的隨機存取可通過首先對CVS的IDR圖片(例如，CVS內(nèi)包含的特定GOP的IDR圖片)進行解碼來實現(xiàn)。因為根據(jù)這些技術，IDR圖片可如上所述在不參考任何其它圖片的情況下解碼，所以可通過首先對位于每一 GOP的開始處的IDR圖片進行解碼基于GOP來執(zhí)行CVS的隨機存取。換句話說，根據(jù)一些技術(例如，H.264/AVC)，可僅從CVS內(nèi)包含的IDR圖片執(zhí)行CVS的隨機存取。由此，在這些技術中，為了符合的位流中的特定CVS的第一經(jīng)譯碼圖片是RAP圖片，所述圖片必須是IDR圖片。
[0062]與上述技術相比，根據(jù)本發(fā)明的技術，從非IDR圖片(例如，CRA圖片)開始的位流的隨機存取可以可預測且經(jīng)界定或“標準”方式由符合的視頻解碼器執(zhí)行。因此，所揭示的技術可顯著改善視頻編碼器和視頻解碼器系統(tǒng)和裝置的互操作性，以及大體針對各種視頻應用中可頻繁發(fā)生的位流隨機存取的用戶體驗。舉例來說，本文描述的技術與其它技術相比可包含以下新穎方面中的至少一或多者:
[0063](I)檢測從非IDR RAP圖片(例如，CRA圖片)的隨機存取的發(fā)生；
[0064]2)識別和解碼在解碼次序上跟隨所述非IDR RAP圖片但在輸出次序上在所述非IDRRAP圖片之前的一或多個圖片(即，非IDR RAP圖片的一或多個“引導圖片”)；以及
[0065](3)指定甚至在對應用信號發(fā)送的output_flag等于真或“I” (即，output_flag指示相應圖片將輸出)的情況下也不輸出非IDR RAP圖片的一或多個引導圖片中的每一者，且相應圖片不用做在解碼次序和輸出次序上跟隨非IDR RAP圖片的任何其它圖片的參考圖片。
[0066]如上文描述，根據(jù)一些技術(例如，H.264/AVC)，IDR圖片可用做CVS的常規(guī)存取點(例如，隨機存取點，或“RAP”圖片)。舉例來說，IDR圖片可包含在CVS的有時稱為GOP的可獨立解碼部分的開始處。CVS的隨機存取的此實施方案有時稱為“封閉G0P”實施方案，其中特定GOP內(nèi)無圖片參考在GOP的IDR圖片之前發(fā)生的任何圖片，例如根據(jù)與CVS相關聯(lián)的解碼次序包含于CVS的先前GOP或另一先前CVS的GOP內(nèi)的圖片。如上文已經(jīng)闡釋，在此上下文中，GOP可經(jīng)界定為IDR圖片，跟隨有一或多個“P”和/或“B”圖片。
[0067]在所謂的“開放GOP ”實施方案中，CRA圖片用做與上文參考封閉GOP實施方案描述的IDR圖片類似的目的。舉例來說，在此上下文中，GOP可經(jīng)界定為CRA圖片，跟隨有一或多個“P”和/或“B”圖片。然而，與封閉GOP實施方案相比，在開放GOP實施方案中，特定GOP內(nèi)的圖片可參考在GOP的CRA圖片之前發(fā)生的圖片，例如根據(jù)與CVS相關聯(lián)的解碼次序包含于CVS的先前GOP或另一先前CVS的GOP內(nèi)的圖片。舉例來說，與開放GOP實施方案一致，根據(jù)與CVS相關聯(lián)的解碼次序跟隨CVS的一個GOP的CRA圖片的“B”圖片(其類似于IDR圖片是經(jīng)幀內(nèi)預測的或“I”圖片)可參考包含在CVS的先前GOP內(nèi)的圖片(例如，“P”或“B”圖片)。
[0068]根據(jù)一些技術，CVS的“B”圖片常規(guī)上是通過參考在與CVS相關聯(lián)的輸出次序上在“B”圖片之前的圖片以及跟隨“B”圖片的圖片來預測。舉例來說，此實例的“B”圖片可參考(即，用做參考圖片)包含于先前GOP內(nèi)的圖片，其可在與CVS相關聯(lián)的輸出次序上在“B”圖片之前，且還參考(即，用做參考圖片)CRA圖片，其可在輸出次序上跟隨“B”圖片。換句話說，在此實例中，“B”圖片在解碼次序上跟隨CRA圖片但在輸出次序上在CRA圖片之前。由此，“B”圖片可視為CRA圖片的“引導圖片”。然而在其它實例中，“B”圖片可為也是如上界定的CRA圖片的引導圖片的圖片的任一其它類型。
[0069]上述實例說明與上述開放GOP實施方案相關聯(lián)的至少一個間題。具體來說，在其中從CVS內(nèi)包含的CRA圖片執(zhí)行CVS的隨機存取的實例中，CRA圖片的引導圖片無法正確解碼。這是由于如下事實:在CRA圖片是CVS的第一經(jīng)譯碼圖片的實例中，在與CVS相關聯(lián)的解碼次序中在CRA圖片之前的任何圖片未經(jīng)解碼，且因此不可用作引導圖片的參考圖片。因此，在上述開放GOP實施方案中，引導圖片無法正確地解碼，且因此在顯示的情況下有損用戶體驗。舉例來說，如果經(jīng)解碼，那么引導圖片可包含錯誤視頻數(shù)據(jù)，且如果顯示，那么可使圖片自身以及通常CVS的視覺質(zhì)量降級。出于相同原因，在開放GOP實施方案中，CVS的在解碼次序和輸出次序兩者上跟隨CRA圖片的其它圖片(例如，“P”圖片)可不參考引導圖片(例如，由于這些引導圖片在經(jīng)解碼的情況下可包含錯誤視頻數(shù)據(jù))，或不參考在解碼次數(shù)和輸出次序兩者上在CRA圖片之前的任何其它圖片(例如，由于這些圖片未經(jīng)解碼，且因此不可用作參考圖片)。
[0070]大體來說，上述技術(即，使用IDR圖片的封閉GOP實施方案以及使用CRA圖片的開放GOP實施方案)中的任一者可實現(xiàn)視頻數(shù)據(jù)的CVS的隨機存取。然而，根據(jù)一些譯碼標準，例如H.264/AVC，以CRA圖片開始的位流視為“非符合的”位流。舉例來說，如上所述，根據(jù)一些技術，例如H.264/AVC，位流必須以IDR圖片開始。換句話說，根據(jù)這些技術，僅可支持上述的封閉GOP隨機存取實施方案。本發(fā)明的技術可使得視頻解碼器能夠處置此非符合的位流(即，以CRA圖片開始且符合開放GOP實施方案的位流)。換句話說，本文描述的技術旨在界定此位流為“符合的”位流。在一些實例中，根據(jù)本發(fā)明的技術的符合的位流包含以CRA圖片開始且符合開放GOP實施方案的位流，以及以IDR圖片開始且符合封閉GOP實施方案的位流。
[0071]如上文已經(jīng)闡釋，相對于在CRA圖片處發(fā)生的隨機存取識別的一個間題涉及事實:CRA圖片的引導圖片可能未正確解碼，且因此在顯示的情況下可有損用戶體驗。本發(fā)明的技術可通過執(zhí)行解碼以及以特定方式操縱與CRA圖片相關聯(lián)的引導圖片的輸出和參考性質(zhì)而實現(xiàn)從CRA圖片的CVS的隨機存取來解決此間題。具體來說，所述技術可包含以下步驟中的一或多者:
[0072]步驟1:當CVS的一或多個圖片中的每一者的圖片次序計數(shù)(POC)值小于CRA圖片的POC值(B卩，相應圖片在與CVS相關聯(lián)的輸出次序上在CRA圖片之前)時且當相應圖片在與CVS相關聯(lián)的解碼次序上跟隨CRA圖片時，將所述一或多個圖片識別為CVS的CRA圖片的引導圖片。
[0073]步驟2:針對所述一或多個引導圖片中的每一者確定相應引導圖片是否參考不可用于解碼的圖片。
[0074]步驟3:針對經(jīng)確定為參考不可用于解碼的圖片的所述一或多個引導圖片中的每一者產(chǎn)生虛擬參考圖片(例如，產(chǎn)生具有對應于與CVS相關聯(lián)的亮度(或色度)值范圍的中間的亮度(或色度)值的“中間”亮度(或色度)圖片，例如“灰色”圖片)。
[0075]步驟4:對使用對應所產(chǎn)生虛擬參考圖片產(chǎn)生虛擬參考圖片的所述一或多個引導圖片中的每一者進行解碼，以及對任何剩余引導圖片進行解碼。(所述一或多個引導圖片的解碼是按次序執(zhí)行以維持視頻解碼器處的原始CVS時序參數(shù)，例如在視頻解碼器的DPB內(nèi)，但如下文所述，經(jīng)解碼引導圖片可能不輸出或用做CVS的其它圖片的參考圖片)。
[0076]步驟5:將與經(jīng)解碼一或多個引導圖片中的每一者相關聯(lián)的0utput_flag設定為假或“O”以便不輸出相應引導圖片，甚至在當前0utput_flag等于真或“I”的情況下。(或者，所述技術可包含簡單地忽略或“掩蔽”等于真或“I”的當前output_flag，以便不輸出相應引導圖片)。
[0077]步驟6:防止經(jīng)解碼一或多個引導圖片中的每一者用做CVS的在解碼次序和輸出次序兩者上跟隨CRA圖片的任何其它圖片的預測(即，參考)圖片。
[0078]另外，本文描述的技術可適用于編碼(例如，視頻編碼器20)而非解碼(例如，視頻解碼器30)裝置。舉例來說，在CVS的第一經(jīng)譯碼圖片包括CRA圖片的情況下，符合本發(fā)明的技術的智能視頻編碼器可經(jīng)配置以避免將CRA圖片的任何引導圖片發(fā)送到視頻解碼器。作為一個實例，視頻編碼器可經(jīng)配置以僅發(fā)送根據(jù)與CVS相關聯(lián)的解碼次序跟隨CRA圖片的“P”圖片。為了實現(xiàn)此情況，在一些實例中，視頻編碼器可經(jīng)配置以通過丟棄含有與CRA圖片相關聯(lián)的引導圖片的所有“存取單元”或相當?shù)臄?shù)據(jù)集合來產(chǎn)生所謂的位流“子集”。因此，在上文說明的替代實例中，視頻編碼器而非視頻解碼器可經(jīng)配置以處置(即，移除)CVS的CRA的引導圖片作為產(chǎn)生包含CVS的位流的部分，以便針對視頻解碼器處的位流的隨機存取而改善互操作性和用戶體驗。
[0079]由此，與本文描述的技術一致，根據(jù)與符合的位流中的CVS相關聯(lián)的解碼次序的CVS的第一經(jīng)譯碼圖片可為IDR圖片或CRA圖片。換句話說，本發(fā)明的技術可通過界定位流來實現(xiàn)在CVS的CRA圖片處發(fā)生的隨機存取，其中根據(jù)與CVS相關聯(lián)的解碼次序的CVS的第一經(jīng)譯碼圖片是作為符合的位流的CRA圖片。舉例來說，本發(fā)明的技術可適用于特定譯碼標準(例如，H.265/HEVC)，或譯碼標準的擴展(例如，H.264/AVC)。在任一情況下，根據(jù)所揭示技術，此位流可為符合的位流。換句話說，此位流可由符合本發(fā)明的技術的視頻解碼器以經(jīng)界定且可預測方式成功地解碼。
[0080]以下描述提供涉及上述本發(fā)明的技術的額外信息和實例以及額外信息和技術。
[0081]具體來說，本文描述的技術與其它技術相比可包含以下新穎方面中的一或多者:(1)檢測從非IDR圖片的隨機存取的發(fā)生；(2)指定甚至在圖片的對應用信號發(fā)送的output_flag等于真或“I”的情況下也不輸出圖片；以及(3)當非IDR RAP圖片是位流的第一經(jīng)譯碼圖片時且當與第一經(jīng)譯碼圖片相關聯(lián)的引導圖片不存在時，用信號發(fā)送在解碼次序上跟隨非IDR RAP圖片的圖片的經(jīng)更新“經(jīng)譯碼圖片緩沖器”(CPB)移除時間參數(shù)。在與所揭示技術一致的一些實例中，經(jīng)更新CPB移除時間參數(shù)可通過偏移來指示，所述偏移適用于在執(zhí)行從非IDR RAP圖片的隨機存取之后在解碼次序上跟隨非IDRRAP圖片的所有圖片。
[0082]本文描述的技術可適用于各種視頻譯碼標準，包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262 或 IS0/IEC MPEG_2Visual、ITU-T H.263、IS0/IECMPEG-4Visual 和 ITU-T H.264 (也稱為 IS0/IEC MPEG-4AVC)，包含其可縮放視頻譯碼(SVC)和多視圖視頻譯碼(MVC)擴展。另外，所揭示技術可適用于當前由ITU-T視頻譯碼專家組(VCEG)的JCT-VC和IS0/IEC動畫專家組(MPEG)開發(fā)的HEVC標準。如上文闡釋，本發(fā)明中涉及的HEVC的一個特定版本是文獻JCTVC-F803中描述的WD4。
[0083]現(xiàn)在將描述一些DPB管理技術。根據(jù)一些視頻譯碼技術，可實施DPB管理的各種方法。作為一個實例，用于預測后續(xù)經(jīng)譯碼圖片和用于未來輸出的經(jīng)解碼圖片可在DPB中緩沖。為了有效地利用DPB的存儲器，可指定DPB管理過程，包含經(jīng)解碼圖片進入DPB的存儲過程、參考圖片的標記過程，以及經(jīng)解碼圖片從DPB的輸出和移除過程。DPB管理可包含至少以下方面:⑴圖片識別和參考圖片識別；⑵參考圖片列表構造；(3)參考圖片標記；
(4)從DPB輸出的圖片；(5)進入DPB的圖片插入；以及(6)從DPB的圖片移除。下文提供對參考圖片標記和參考圖片列表構造的一些介紹。
[0084]作為一個實例，現(xiàn)在將描述參考圖片列表標記技術。根據(jù)一些視頻譯碼技術，可實施參考圖片標記的各種方法。作為一個實例，可如下概述H.264/AVC中的參考圖片標記。用于幀間預測的參考圖片的可稱為“M”(例如，對應于語法元素num_ref_frames)的最大數(shù)目可在作用序列參數(shù)集(SPS)中指示。當對參考圖片進行解碼時，參考圖片可經(jīng)標記為“用于參考”。如果參考圖片的解碼致使將多于“Μ”個圖片標記為“用于參考”，那么可將至少一個圖片標記為“未用于參考”。隨后，DPB移除過程可從DPB移除經(jīng)標記為“未用于參考”的圖片(如果也不需要所述圖片用于輸出)。
[0085]當對圖片進行解碼時，圖片可為非參考圖片或參考圖片。參考圖片可為長期參考圖片或短期參考圖片，且當經(jīng)標記為“未用于參考”時，圖片可變?yōu)榉菂⒖紙D片。
[0086]H.264/AVC包含參考圖片標記操作，其改變參考圖片的狀態(tài)。舉例來說，在H.264/AVC中，對于參考圖片標記存在兩種類型的操作，即滑動窗和自適應存儲器控制?；趫D片來選擇用于參考圖片標記的操作模式。作為一個實例，滑動窗參考圖片標記充當具有固定數(shù)目的短期參考圖片的先入先出(FIFO)隊列。換句話說，以隱式方式首先移除(即，標記為“不用于參考”的圖片)具有最早解碼時間的短期參考圖片。作為另一實例，自適應存儲器控制參考圖片標記顯式地移除短期或長期圖片。其還使得能夠切換短期和長期圖片的狀態(tài)。
[0087]作為另一實例，現(xiàn)在將描述參考圖片列表構造技術。根據(jù)一些視頻譯碼技術，可實施參考圖片列表構造的各種方法。作為一個實例，通常，用于“B”圖片的第一或第二參考圖片列表的參考圖片列表構造可包含兩個步驟:(I)參考圖片列表初始化，以及(2)參考圖片列表重排序(可稱為“修改”)。參考圖片列表初始化可為顯式機制，其基于POC的次序(如上文闡釋，其為“圖片次序計數(shù)”，且與圖片的輸出次序或顯示次序?qū)?值將參考圖片存儲器(也稱為DPB)中的參考圖片放入列表中。
[0088]參考圖片列表重排序機制可修改在對任何新位置的參考圖片列表初始化期間放入列表中的圖片的位置，或?qū)⒖紙D片存儲器中的任何參考圖片防入任何位置，即使圖片不屬于經(jīng)初始化列表也是如此。一些圖片在參考圖片列表重排序(或修改)之后可被放入列表中的極“遠”位置。然而，如果圖片的位置超過列表的若干作用參考圖片，那么所述圖片可不視為最終參考圖片列表的條目。作用參考圖片的數(shù)目可在用于每一列表的切片標頭中用信號發(fā)送。
[0089]或者，DPB管理的不同方法已在思喬伯格(Sjmicrg傳人(2011年托里諾第6次會
議)的文獻 “JCTVC-F493:參考圖片的絕對信令(JCTVC-F493:Absolute Signaling ofReferencePictures) ”，(下文稱為JCTVC-F493)中描述，其完整內(nèi)容以引用方式并入本文。
[0090]現(xiàn)在將描述一些參考圖片集(RPS)技術。舉例來說，完整內(nèi)容也以引用方式并入本文的2012年9月19日申請的第13/622,972號美國專利申請案描述了 RPS，其針對每一圖片包含可由當前或當前經(jīng)譯碼圖片使用的若干參考圖片以及在解碼次序上跟隨當前經(jīng)譯碼圖片的圖片?？扇缦绿峁㏑PS的詳細定義:與圖片相關聯(lián)的參考圖片集，由所有參考圖片組成，排除相關聯(lián)圖片自身，可用于相關聯(lián)圖片或在解碼次序上跟隨相關聯(lián)圖片的任何圖片的幀間預測，且具有小于或等于相關聯(lián)圖片的語法元素temporaljd的語法元素temporal_id。
[0091]現(xiàn)在將描述RAP和對應RPS的實例。如先前闡釋，在本發(fā)明中，“隨機存取”指代從CVS中并非傳統(tǒng)第一經(jīng)譯碼圖片的經(jīng)譯碼圖片(B卩，IDR圖片)開始的CVS的解碼。可稱為“picR”的非IDR RAP圖片可經(jīng)界定為其中所有以下條件為真的經(jīng)譯碼圖片:
[0092](l)picR 不是 IDR 圖片；
[0093](2)使picR的POC為“rPoc”，且使“picA”為同一 CVS中且在解碼次序和輸出次序兩者上跟隨PicR的圖片，且使picA的POC為“aPoc”。當在picR處執(zhí)行隨機存取時，可正確地解碼同一 CVS中且在輸出次序上跟隨picA的所有圖片。
[0094]在此實例中，對于非IDR RAP圖片picR，如果以下條件為真，那么圖片可稱為CRA圖片:當在P i CR處執(zhí)行隨機存取時，可正確地解碼同一 CVS中且在輸出次序上跟隨P i CR的所有圖片。如果對于非IDR RAP圖片PicR以上條件不為真，那么圖片可稱為逐漸解碼刷新(GDR)圖片。另外，對于CRA圖片，對應RPS可不含有CRA圖片的任何參考圖片，但通?？珊杏糜谠诮獯a次序上跟隨CRA圖片的圖片的至少一個圖片。
[0095]圖4是圖解說明與本發(fā)明的技術一致的視頻數(shù)據(jù)的GOP的圖片當中的參考階層的實例的概念圖。特定來說，圖4圖解說明具有四個時間層級和“8”的GOP大小的階層式“B”圖片譯碼。如圖4所示，當具有等于“8”的POC值的圖片經(jīng)譯碼為幀內(nèi)(即，“I”圖片)時，圖片可為CRA圖片。基于RPS的定義，RPS含有等于“O”的具有POC值的圖片(針對在解碼次序上跟隨此圖片的圖片)。
[0096]現(xiàn)在將描述引導圖片和對應的RPS。如先前闡釋，在解碼次序上跟隨RAP圖片但在顯示次序上在RAP圖片之前的圖片可稱為RAP圖片的對應“引導圖片”。在圖4的實例中，以下表1中展示CRA圖片(即，具有“8”的POC值的圖片)的對應引導圖片的RPS。
[0097]表1
[0098]
【權利要求】
1.一種對視頻數(shù)據(jù)進行解碼的方法，所述方法包括: 接收包括經(jīng)譯碼視頻序列CVS的一或多個圖片的位流； 根據(jù)與所述CVS相關聯(lián)的解碼次序?qū)λ鲆换蚨鄠€圖片中的第一圖片進行解碼，其中所述第一圖片為并非瞬時解碼刷新IDR圖片的隨機存取點RAP圖片；以及 基于所述經(jīng)解碼第一圖片對所述一或多個圖片中除了所述第一圖片之外根據(jù)所述解碼次序跟隨所述第一圖片的至少一者進行解碼。
2.根據(jù)權利要求1所述的方法，其進一步包括: 識別所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片；以及 對所述一或多個圖片中的所述至少一者進行解碼，其中對所述一或多個圖片中的所述至少一者中的每一者進行解碼包含: 識別用以對相應圖片進行編碼的一或多個參考圖片； 確定所述經(jīng)識別的一或多個參考圖片中的任一者是否不可用于解碼； 對于所述經(jīng)識別的一或多個參考圖片中經(jīng)確定為不可用于解碼的每一者，產(chǎn)生虛擬參考圖片；以及 基于對應的一或多個所產(chǎn)生虛擬參考圖片對所述相應圖片進行解碼。
3.根據(jù)權利要求2所述的方法，其中產(chǎn)生所述虛擬參考圖片包括產(chǎn)生包含各自對應于與所述CVS相關聯(lián)的像素值范圍的中間的一或多個像素值的圖片。
4.根據(jù)權利要求1所述的方法，其進一步包括: 識別所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片；以及 避免輸出所述一或多個圖片中的所述至少一者中輸出旗標指示所述相應圖片將輸出的一或多者。
5.根據(jù)權利要求1所述的方法，其進一步包括: 識別所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片；以及 避免使用所述一或多個圖片中的所述至少一者中的一或多者作為用于對所述一或多個圖片中除了所述第一圖片之外根據(jù)所述解碼次序且根據(jù)與所述CVS相關聯(lián)的顯示次序跟隨所述第一圖片的至少一者進行解碼的參考圖片。
6.根據(jù)權利要求1所述的方法，其中所述第一圖片包括清潔隨機存取CRA圖片，其中所述CRA圖片包括使用幀內(nèi)預測譯碼來譯碼且在不參考任何其它圖片的情況下可解碼的圖片，且其中連同所述CRA圖片一起包含在CVS內(nèi)的根據(jù)與所述CVS相關聯(lián)的解碼次序跟隨所述CRA圖片的一或多個圖片可參考根據(jù)所述解碼次序在所述CRA圖片之前的一或多個圖片來解碼。
7.根據(jù)權利要求1所述的方法，其中所述IDR圖片包括使用幀內(nèi)預測譯碼來譯碼且在不參考任何其它圖片的情況下可解碼的圖片，且其中連同所述IDR圖片一起包含在CVS內(nèi)的根據(jù)與所述CVS相關聯(lián)的解碼次序跟隨所述IDR圖片的所有其它圖片是在不參考根據(jù)所述解碼次序在所述IDR圖片之前的任何圖片來解碼。
8.根據(jù)權利要求1所述的方法，其進一步包括: 對經(jīng)譯碼圖片緩沖器CPB初始延遲參數(shù)的第一集合進行解碼，且當所述一或多個圖片不包含與所述第一圖片相關聯(lián)的至少一個引導圖片時，對CPB初始延遲參數(shù)的第二集合以及CPB延遲偏移參數(shù)集合中的一者進行解碼，其中所述第二集合不同于所述第一集合， 其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片。
9.根據(jù)權利要求8所述的方法，其中CPB初始延遲參數(shù)的所述第一和第二集合以及所述CPB延遲偏移參數(shù)集合中的一或多者包含在與所述第一圖片相關聯(lián)的補充增強信息SEI消息、圖片緩沖周期SEI消息和切片標頭中的一者中。
10.根據(jù)權利要求8所述的方法，其中在所述解碼次序上跟隨所述第一圖片的每一圖片的CPB移除時間經(jīng)移位得更早，如CPB初始延遲參數(shù)的所述第一和第二集合以及所述CPB延遲偏移參數(shù)集合中的一或多者所指示。
11.一種對視頻數(shù)據(jù)進行編碼的方法，所述方法包括: 產(chǎn)生包括經(jīng)譯碼視頻序列CVS的一或多個圖片的位流，其中根據(jù)與所述CVS相關聯(lián)的解碼次序的所述一或多個圖片中的第一圖片為并非瞬時解碼刷新IDR圖片的隨機存取點RAP圖片， 其中產(chǎn)生所述位流包括避免包含所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片，且其中所述第一圖片是可解碼的，且其中所述一或多個圖片中除了所述第一圖片之外根據(jù)所述解碼次序跟隨所述第一圖片的至少一者基于所述第一圖片是可解碼的。
12.—種經(jīng)配置以對視頻數(shù)據(jù)進行解碼的設備，所述設備包括視頻解碼器，所述視頻解碼器經(jīng)配置以: 接收包括經(jīng)譯碼視頻序列CVS的一或多個圖片的位流； 根據(jù)與所述CVS相關聯(lián)的解碼次序?qū)λ鲆换蚨鄠€圖片中的第一圖片進行解碼，其中所述第一圖片為并非瞬時解碼刷新IDR圖片的隨機存取點RAP圖片；以及 基于所述經(jīng)解碼第一圖片對所述一或多個圖片中除了所述第一圖片之外根據(jù)所述解碼次序跟隨所述第一圖片的至少一者進行解碼。
13.根據(jù)權利要求12所述的設備，其中所述視頻解碼器進一步經(jīng)配置以: 識別所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片；以及 對所述一或多個圖片中的所述至少一者進行解碼，其中為了對所述一或多個圖片中的所述至少一者中的每一者進行解碼，所述視頻解碼器經(jīng)配置以: 識別用以對相應圖片進行編碼的一或多個參考圖片； 確定所述經(jīng)識別的一或多個參 考圖片中的任一者是否不可用于解碼； 對于所述經(jīng)識別的一或多個參考圖片中經(jīng)確定為不可用于解碼的每一者，產(chǎn)生虛擬參考圖片；以及 基于對應的一或多個所產(chǎn)生虛擬參考圖片對所述相應圖片進行解碼。
14.根據(jù)權利要求13所述的設備，其中為了產(chǎn)生所述虛擬參考圖片，所述視頻解碼器經(jīng)配置以產(chǎn)生包含各自對應于與所述CVS相關聯(lián)的像素值范圍的中間的一或多個像素值的圖片。
15.根據(jù)權利要求12所述的設備，其中所述視頻解碼器進一步經(jīng)配置以: 識別所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片；以及 避免輸出所述一或多個圖片中的所述至少一者中輸出旗標指示所述相應圖片將輸出的一或多者。
16.根據(jù)權利要求12所述的設備，其中所述視頻解碼器進一步經(jīng)配置以: 識別所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片；以及 避免使用所述一或多個圖片中的所述至少一者中的一或多者作為用于對所述一或多個圖片中除了所述第一圖片之外根據(jù)所述解碼次序且根據(jù)與所述CVS相關聯(lián)的顯示次序跟隨所述第一圖片的至少一者進行解碼的參考圖片。
17.根據(jù)權利要求12所述的設備，其中所述第一圖片包括清潔隨機存取CRA圖片，其中所述CRA圖片包括使用幀內(nèi)預測譯碼來譯碼且在不參考任何其它圖片的情況下可解碼的圖片，且其中連同所述CRA圖片一起包含在CVS內(nèi)的根據(jù)與所述CVS相關聯(lián)的解碼次序跟隨所述CRA圖片的一或多個圖片可參考根據(jù)所述解碼次序在所述CRA圖片之前的一或多個圖片來解碼。
18.根據(jù)權利要求12所述的設備，其中所述IDR圖片包括使用幀內(nèi)預測譯碼來譯碼且在不參考任何其它圖片的情況下可解碼的圖片，且其中連同所述IDR圖片一起包含在CVS內(nèi)的根據(jù)與所述CVS相關聯(lián)的解碼次序跟隨所述IDR圖片的所有其它圖片是在不參考根據(jù)所述解碼次序在所述IDR圖片之前的任何圖片來解碼。
19.根據(jù)權利要求12所述的設備，其中所述視頻解碼器進一步經(jīng)配置以: 對經(jīng)譯碼圖片緩沖器CPB初始延遲參數(shù)的第一集合進行解碼，且當所述一或多個圖片不包含與所述第一圖片相關聯(lián)的至少一個引導圖片時，對CPB初始延遲參數(shù)的第二集合以及CPB延遲偏移參數(shù)集合中的一者進行解碼，其中所述第二集合不同于所述第一集合， 其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片。
20.根據(jù)權利要求19所述的設備，其中CPB初始延遲參數(shù)的所述第一和第二集合以及所述CPB延遲偏移參數(shù)集合中的一或多者包含在與所述第一圖片相關聯(lián)的補充增強信息SEI消息、圖片緩沖周期SEI消息和切片標頭中的一者中。
21.根據(jù)權利要求19所述的設備，其中在所述解碼次序上跟隨所述第一圖片的每一圖片的CPB移除時間經(jīng)移位得更早，如CPB初始延遲參數(shù)的所述第一和第二集合以及所述CPB延遲偏移參數(shù)集合中的一或多者所指示。
22.根據(jù)權利要求12所述的設備，其中所述設備包括以下各項中的至少一者: 集成電路； 微處理器；以及 無線通信裝置，其包含所述視頻解碼器。
23.—種經(jīng)配置以對視頻數(shù)據(jù)進行編碼的設備，所述設備包括視頻編碼器，所述視頻編碼器經(jīng)配置以: 產(chǎn)生包括經(jīng)譯碼視頻序列CVS的一或多個圖片的位流，其中根據(jù)與所述CVS相關聯(lián)的解碼次序的所述一或多個圖片中的第一圖片為并非瞬時解碼刷新IDR圖片的隨機存取點RAP圖片， 其中為了產(chǎn)生所述位流，所述視頻編碼器經(jīng)配置以避免包含所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片，且 其中所述第一圖片是可解碼的，且其中所述一或多個圖片中除了所述第一圖片之外根據(jù)所述解碼次序跟隨所述第一圖片的至少一者基于所述第一圖片是可解碼的。
24.根據(jù)權利要求 23所述的設備，其中所述設備包括以下各項中的至少一者: 集成電路； 微處理器；以及 無線通信裝置，其包含所述視頻編碼器。
25.一種用于對視頻數(shù)據(jù)進行解碼的裝置，所述裝置包括: 用于接收包括經(jīng)譯碼視頻序列CVS的一或多個圖片的位流的裝置； 用于根據(jù)與所述CVS相關聯(lián)的解碼次序?qū)λ鲆换蚨鄠€圖片中的第一圖片進行解碼的裝置，其中所述第一圖片為并非瞬時解碼刷新IDR圖片的隨機存取點RAP圖片；以及用于基于所述經(jīng)解碼第一圖片對所述一或多個圖片中除了所述第一圖片之外根據(jù)所述解碼次序跟隨所述第一圖片的至少一者進行解碼的裝置。
26.根據(jù)權利要求25所述的裝置，其進一步包括: 用于識別所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者的裝置，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片；以及 用于對所述一或多個圖片中的所述至少一者進行解碼的裝置，其中所述用于對所述一或多個圖片中的所述至少一者中的每一者進行解碼的裝置包含: 用于識別用以對相應圖片進行編碼的一或多個參考圖片的裝置； 用于確定所述經(jīng)識別的一或多個參考圖片中的任一者是否不可用于解碼的裝置:用于對于所述經(jīng)識別的一或多個參考圖片中經(jīng)確定為不可用于解碼的每一者產(chǎn)生虛擬參考圖片的裝置；以及 用于基于對應的一或多個所產(chǎn)生虛擬參考圖片對所述相應圖片進行解碼的裝置。
27.根據(jù)權利要求26所述的裝置，其中所述用于產(chǎn)生所述虛擬參考圖片的裝置包括用于產(chǎn)生包含各自對應于與所述CVS相關聯(lián)的像素值范圍的中間的一或多個像素值的圖片的裝置。
28.根據(jù)權利要求25所述的裝置，其進一步包括: 用于識別所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者的裝置，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片；以及 用于避免輸出所述一或多個圖片中的所述至少一者中輸出旗標指示所述相應圖片將輸出的一或多者的裝置。
29.根據(jù)權利要求25所述的裝置，其進一步包括: 用于識別所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者的裝置，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片；以及 用于避免使用所述一或多個圖片中的所述至少一者中的一或多者作為用于對所述一或多個圖片中除了所述第一圖片之外根據(jù)所述解碼次序且根據(jù)與所述CVS相關聯(lián)的顯示次序跟隨所述第一圖片的至少一者進行解碼的參考圖片的裝置。
30.根據(jù)權利要求25所述的裝置，其中所述第一圖片包括清潔隨機存取CRA圖片，其中所述CRA圖片包括使用幀內(nèi)預測譯碼來譯碼且在不參考任何其它圖片的情況下可解碼的圖片，且其中連同所述CRA圖片一起包含在CVS內(nèi)的根據(jù)與所述CVS相關聯(lián)的解碼次序跟隨所述CRA圖片的一或多個圖片可參考根據(jù)所述解碼次序在所述CRA圖片之前的一或多個圖片來解碼。
31.根據(jù)權利要求25所述的裝置，其中所述IDR圖片包括使用幀內(nèi)預測譯碼來譯碼且在不參考任何其它圖片的情況下可解碼的圖片，且其中連同所述IDR圖片一起包含在CVS內(nèi)的根據(jù)與所述CVS相關聯(lián)的解碼次序跟隨所述IDR圖片的所有其它圖片是在不參考根據(jù)所述解碼次序在所述IDR圖片之前的任何圖片來解碼。
32.根據(jù)權利要求25所述的裝置，其進一步包括: 用于對經(jīng)譯碼圖片緩沖器CPB初始延遲參數(shù)的第一集合進行解碼且當所述一或多個圖片不包含與所述第一圖片相關聯(lián)的至少一個引導圖片時對CPB初始延遲參數(shù)的第二集合以及CPB延遲偏移參數(shù)集合中的一者進行解碼的裝置，其中所述第二集合不同于所述第一集合。 其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片。
33.根據(jù)權利要求32所述的裝置，其中CPB初始延遲參數(shù)的所述第一和第二集合以及所述CPB延遲偏移參數(shù)集合中的一或多者包含在與所述第一圖片相關聯(lián)的補充增強信息SEI消息、圖片緩沖周期SEI消息和切片標頭中的一者中。
34.根據(jù)權利要求32所述的裝置，其中在所述解碼次序上跟隨所述第一圖片的每一圖片的CPB移除時間經(jīng)移位得更早，如CPB初始延遲參數(shù)的所述第一和第二集合以及所述CPB延遲偏移參數(shù)集合中的一或多者所指示。
35.一種存儲指令的計算機可讀存儲媒體，所述指令在執(zhí)行時致使一或多個處理器對視頻數(shù)據(jù)進行解碼，其中所述指令致使所述一或多個處理器: 接收包括經(jīng)譯碼視頻序列CVS的一或多個圖片的位流； 根據(jù)與所述CVS相關聯(lián)的解碼次序?qū)λ鲆换蚨鄠€圖片中的第一圖片進行解碼，其中所述第一圖片為并非瞬時解碼刷新IDR圖片的隨機存取點RAP圖片；以及 基于所述經(jīng)解碼第一圖片對所述一或多個圖片中除了所述第一圖片之外根據(jù)所述解碼次序跟隨所述第一圖片的至少一者進行解碼。
36.根據(jù)權利要求35所述的計算機可讀存儲媒體，其進一步包括致使所述一或多個處理器進行以下操作的指令: 識別所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片；以及對所述一或多個圖片中的所述至少一者進行解碼，其中所述致使所述一或多個處理器對所述一或多個圖片中的所述至少一者中的每一者進行解碼的指令包含致使所述一或多個處理器進行以下操作的指令: 識別用以對相應圖片進行編碼的一或多個參考圖片； 確定所述經(jīng)識別的一或多個參考圖片中的任一者是否不可用于解碼； 對于所述經(jīng)識別的一或多個參考圖片中經(jīng)確定為不可用于解碼的每一者，產(chǎn)生虛擬參考圖片；以及 基于對應的一或多個所產(chǎn)生虛擬參考圖片對所述相應圖片進行解碼。
37.根據(jù)權利要求36所述的計算機可讀存儲媒體，其中所述致使所述一或多個處理器產(chǎn)生所述虛擬參考圖片的指令包括致使所述一或多個處理器進行以下操作的指令:產(chǎn)生包含各自對應于與所述CVS相關聯(lián)的像素值范圍的中間的一或多個像素值的圖片。
38.根據(jù)權利要求35所述的計算機可讀存儲媒體，其進一步包括致使所述一或多個處理器進行以下操作的指令: 確定所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片；以及 避免輸出所述一或多個圖片中的所述至少一者中輸出旗標指示所述相應圖片將輸出的一或多者。
39.根據(jù)權利要求35所述的計算機可讀存儲媒體，其進一步包括致使所述一或多個處理器進行以下操作的指令: 確定所述一或多個圖片中除了所述第一圖片之外對應于與所述第一圖片相關聯(lián)的引導圖片的至少一者，其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片；以及 避免使用所述一或多個圖片中的所述至少一者中的一或多者作為用于對所述一或多個圖片中除了所述第一圖片之外根據(jù)所述解碼次序且根據(jù)與所述CVS相關聯(lián)的顯示次序跟隨所述第一圖片的至少一者進行解碼的參考圖片。
40.根據(jù)權利要求35所述的計算機可讀存儲媒體，其中所述第一圖片包括清潔隨機存取CRA圖片，其中所述CRA圖片包括使用幀內(nèi)預測譯碼來譯碼且在不參考任何其它圖片的情況下可解碼的圖片，且其中連同所述CRA圖片一起包含在CVS內(nèi)的根據(jù)與所述CVS相關聯(lián)的解碼次序跟隨所述CRA圖片的一或多個圖片可參考根據(jù)所述解碼次序在所述CRA圖片之前的一或多個圖片來解碼。
41.根據(jù)權利要求35所述的計算機可讀存儲媒體，其中所述IDR圖片包括使用幀內(nèi)預測譯碼來譯碼且在不參考任何其它圖片的情況下可解碼的圖片，且其中連同所述IDR圖片一起包含在CVS內(nèi)的根據(jù)與所述CVS相關聯(lián)的解碼次序跟隨所述IDR圖片的所有其它圖片是在不參考根據(jù)所述解碼次序在所述IDR圖片之前的任何圖片來解碼。
42. 根據(jù)權利要求35所述的計算機可讀存儲媒體，其進一步包括致使所述一或多個處理器進行以下操作的指令: 對經(jīng)譯碼圖片緩沖器CPB初始延遲參數(shù)的第一集合進行解碼，且當所述一或多個圖片不包含與所述第一圖片相關聯(lián)的至少一個引導圖片時，對CPB初始延遲參數(shù)的第二集合以及CPB延遲偏移參數(shù)集合中的一者進行解碼，其中所述第二集合不同于所述第一集合， 其中所述引導圖片包括根據(jù)所述解碼次序跟隨所述第一圖片且根據(jù)與所述CVS相關聯(lián)的顯示次序在所述第一圖片之前的圖片。
43.根據(jù)權利要求42所述的計算機可讀存儲媒體，其中CPB初始延遲參數(shù)的所述第一和第二集合以及所述CPB延遲偏移參數(shù)集合中的一或多者包含在與所述第一圖片相關聯(lián)的補充增強信息SEI消息、圖片緩沖周期SEI消息和切片標頭中的一者中。
44.根據(jù)權利要求42所述的計算機可讀存儲媒體，其中在所述解碼次序上跟隨所述第一圖片的每一圖片的CPB移除時間經(jīng)移位得更早，如CPB初始延遲參數(shù)的所述第一和第二集合以及所述CPB延遲偏移參數(shù)集合中的一或多者所指示。
【文檔編號】H04N19/172GK103947210SQ201280053791
【公開日】2014年7月23日 申請日期:2012年10月31日 優(yōu)先權日:2011年10月31日
【發(fā)明者】陳盈, 王益魁, 陳建樂 申請人:高通股份有限公司