專利名稱::用于實現位深度可分級性的視頻編碼方法和視頻解碼方法
技術領域:
:本發(fā)明涉及數字視頻編碼的
技術領域:
。本發(fā)明為最新型的可分級性——位深度可分級性(bitdepthscalability)提出了4支術解決方案。添力口才是出的諄斤i吾法元素(syntaxelements)和i吾義以支持^f立;罙度可分級性。
背景技術:
:近年來,在諸如科學成像、H字影院、可》文映高質量纟見頻的計算機游戲以及專業(yè)工作室和家庭影院的相關應用的許多領域,越來越需要較高的位色彩深度,而非傳統(tǒng)的八位色彩深度。因此,現有;技術的#見頻編碼標準——H.264/AVC——已經包招4呆真度范圍擴展(FidelityRangeExtensions),其支持可達144立的才羊本和可達4:4:4的色度采樣。然而,現有的高位編碼解決方案均不支持色彩位深度可分級性。假設對于相同的原始視頻,我們有2個不同的解碼器(或對色彩位深度(例如12位)有不同要求的客戶)的情況?,F有的H.264/AVC解決方案爿夸只寸124立的原始4見頻進4亍編石馬以產生第一比特流,然后將12位的原始一見頻轉換為8位的原始^L頻并對8位的副本(counterpart)進行編碼以產生第二比特流。如果我們想將視頻傳送到要求不同位深度的不同客戶,我們必須將其傳送兩次,或者將2個比特流一起放入一張磁盤。壓縮率和運算復雜度兩者的效率都4M氐。
發(fā)明內容本發(fā)明4是出一種可分級的解決方案,該方案一次解石馬全部12位原始視頻以生成一個包括兼容基本層(BL)和可擴展增強層(EL)的H.264/AVC的比特流。如果H.264/AVC解石馬器在客戶端是可用的,那么只有基本層子比特流被解碼并且解碼的8位視頻可以在傳統(tǒng)的8位顯示設備上^L看;如果色彩位深度可分級的解碼器在客戶端是可用的,那么BL和EL子比特流都將^皮解碼以獲得12位-現頻并且可以在支持高于8位的高質量顯示i殳備上》見看。才艮據發(fā)明的一個方面,一個或多個新語法元素允許用信號通知是否為位深度可分級性調用層間預測,并且如果這才羊的話,那么利用位移的操作作為位深度層間預測還是利用高級位深度預測作為位深度層間預測,其中,高級位深度預測方法包括局部多項式近似法或平滑直方圖中的至少一種。圖1示出了色彩位深度可分級編碼(scalablecoding)的框架圖。具體實施例方式圖1中示出了提出的色彩位深度可分級編碼的框架圖。在圖1中,兩個一見頻將#1用作;枧頻編碼的llr入N4立原始—見頻和M位(通常是8位)3見頻(N>M)。M位^L頻可以由N位原始—見頻轉換獲得或由其它方法主會出。利用內置的H.264/AVC編碼器,M位—見頻4皮作為BL編碼。利用可調編碼器(scalableencoder),N位一見頻^皮作為EL編碼。通過利用BL的信息,可以顯著4是高EL的編碼效率。我們4巴在對EL進行編碼中對BL信息的利用叫做層間預測。每個畫面---組宏塊(MB)--將有兩個4妄入單元(accessunits),一個用于BL,另一個用于EL。經編石馬的比特流^l尋是多if各的,以形成可分級的比特:流。在解碼過程中,BL解碼器將僅使用從全部比特元流中提取出來的BL子比特流,以提供M位重建的視頻。通過對全部比特流進行解碼,可以重建N位視頻。在下面的實施例中,我們提出了色彩位深度可分級性的技術解決方案。^夸兩個新的"i吾法元素添力卩到SVC擴展(seq_parameter_set—svc—extension())中的SVC序列參凄t集(SPS)以支持色彩位深度可分級性表1中第13行的bit—depth—scalability—flag和表1中第15行的bit_depth_pred_idc。表1添加到序列Wt集SVC擴展語法的兩個新的語法元素<table>tableseeoriginaldocumentpage8</column></row><table><table>tableseeoriginaldocumentpage9</column></row><table>示例性地,bit—depth—scalability—flag等于1表示在層間預測中將調用色彩位深度預測過程。否則(等于0)表示將不調用色彩位深度預測過禾呈(這可以用作缺省)。bit—depth_pred—idc等于0表示d夸^f立移(bit-shift)才喿作用4乍色彩位深度層間預測(這可以用作缺省)。否則,如下所述,為高級色彩位深度預測保留。下面示出了在SVC結構內能實現位深度可分級性的技術方案的另一個i兌明性實施例。只有一個新i吾法元素^皮添加到序列參凄t集(SPS)SVC擴展語法(seqjarameter—set—svc—extension())以支持位深度可分級性bit—depth_pred_idc_plusl,如表2中第13《亍所示。表2添加到序列參數集SVC擴展語法的新語法元素(第13行)<table>tableseeoriginaldocumentpage9</column></row><table><table>tableseeoriginaldocumentpage10</column></row><table>在這個實例中,bit_depth—pred_idc_plusl等于0表示在層間預測中將不調用位深度預測過程(缺省)。bit—depth_pred—idc_plusl為大于0的其它值表示在層間預測中的位深度預測過程(也就是i兌,將使用哪個預測過程)。在編碼和解碼兩個過程中,幀內紋理增采樣(intratextureupsampling)過禾呈和4專統(tǒng)的幀間纟丈理(intertexture)(歹《差)增采才羊都調用(相同的)位深度預測過程。根據本發(fā)明的一個方面,視頻編碼方法包括以下步驟向比特流添加第一標記以指示是否對比特流調用位深度可分級編碼過程,添加第二標記以指定下面描述的預測方法,執(zhí)行指定的預測方法,以由低位深度輸入(基本層或較低增強層)的重建版本獲得高位深度輸入的預測X反本,以及對原始版本和高位深度輸入的預測版本之間的殘差進行編碼,作為增強層。附加的可選步驟為向比特流添加指定的預測方法的補充信息。根據本發(fā)明的另一個方面,i見頻解碼方法包括以下步驟重建較低層視頻(BL或較低的EL),4妻收來自比特流的第一標i己和第二標"i己,由第一標記確定將調用位深度可分級編碼過程,由第二標記確定利用哪種位深度預測方法,其中,可能的位深度預測方法是位移(bitshift)以及平滑直方圖(SmoothedHistogram)和局部多項式近4以法(LocalizedPolynomialApproximation)兩者中的至少一種,執(zhí)行確定的預測方法,以由低位深度輸入的重建版本獲得高位深度的預測版本,對原始版本和來自增強層比特流的高位深度輸入的預測版本之間的殘差進行解碼,以及根據原始版本和高位深度輸入的預測版本之間的殘差和高位深度輸入的預測版本,重建高位深度輸入。位移意P木著一個或多個附加^f立-故添加到一個^直,最高有歲丈位(MSB)仍然是MSB:Vp=Vb2N-8+2N-9其中Vb是BL重建畫面的樣本,Vp是預測的N位^L頻的對應樣本。如果Ve是重建的EL的樣本并且Vr是殘差值,那么Ve=Vp+Vr例如,如果12位的值是1101—0100—0110,另夕卜BL值是1101—0100并且歹戔差是1110:Vb=1101—0100(BL值)Vp=1101—0100_1000(預測/重建)Vd=1101—0100—0110-1101_0100_1000=1110(殘差)Vd將被編碼,并且當Vd被重建時Vd為vr。力口2財的目的是使用中值,而不是V^2N—8和(Vb+1)*2仏8之間的最小值或最大值。通常,高色彩位深度使用N位并且標準的色彩位深度使用M位(M<N)。于是預測/重建值有N位,并且差值(differencevalue)(也就是殘差)有N畫M位。一個可選步驟是從比特流中獲得特定的預測方法的補充信息。在一個實施例中,兩個新語法元素3皮添加到H.264/AVC的序歹'J參數集SVC擴展語法,以支持位深度可分級性,其中傳統(tǒng)的SVC幀內紋理增采樣過程和幀間紋理(殘差)增采才羊^^修改,以調用位深度預測過程。在一個實施例中,只有一個新i吾法元素^皮添加到H.264/AVC的序列參數集SVC擴展語法,以支持位深度可分級性和幀內紋理增采樣過程。至少一種高級位深度預測方法是如下所定義的平滑直方圖方法或者局部多項式近4以法。平滑直方圖這種高級位預測方法包括用于編碼的以下步驟生成傳遞函數(transferfunction),例3口,以查才戈表(LUT)的形式,該傳遞函凄t適合于將輸入色彩值映射到輸出色彩值,兩者都由2"個不同色彩組成,將傳遞函數應用到具有低的或傳統(tǒng)色彩位深度的第一視頻畫面,生成傳遞^L頻畫面和具有高色彩位深度(N位,N>M;<旦可以與第一一見頻畫面有相同的空間分辨率)的第二一見頻畫面之間的差<直畫面(differencepicture)或歹戔差,并且只于i亥歹戔差進4亍纟扁石馬。然后,經編碼的第一^L頻畫面、傳遞函ft的參數(例如LUT本身)和經編碼的殘差被傳輸到接收器。傳遞函數的參數也可以被編碼和傳輸。此外,同樣表示(indicate)傳遞函數的參數。特別地,可以通過比較第一和第二^L頻畫面的色彩直方圖獲4尋傳遞函數,為了該目的,將具有2M位的第一畫面的色彩直方圖變換為"平滑的"具有2W位的色彩直方圖(N>M),并且由平滑直方圖和色彩增強層直方圖確定傳遞函數,該傳遞函數定義了平滑色彩直方圖的值和色彩增強層直方圖的值之間的傳遞。為基本顯示色彩(例如,紅、綠、藍)分別執(zhí)行所述過程。用于本發(fā)明的該方面的解碼方法包括為第一和第二視頻圖像從比特流中提取視頻數據,并提取色彩增強控制數據,此外對第一視頻圖像進行解碼和重建,其中,獲得具有多個每個具有M位的色彩像素值的重建的第一視頻圖像,并且由色彩增強控制數據建立實現傳遞函數的映射表。然后將該映射表應用到重建的第一視頻圖像的每個像素,并且由此產生的傳遞視頻圖像用作預測圖像,該預測圖像隨后被經解碼的第二視頻圖像更新。經解碼的第二視頻圖像是殘差圖^f象,并且更新產生具有多個每個具有N位(N>M)的^象素值的增強視頻圖像,并且因此產生比重建的第一視頻圖像更高的色彩空間。為每個基本視頻色彩(例如紅、綠和藍)分別執(zhí)行上述步驟。從而,完整的視頻信號,對于每個畫面,可以包含經編碼的低色彩分辨率圖像,并且對于這些色彩中的每一種色彩,可以包含經編碼的殘差圖像和傳遞函數的參數,兩者用于生成更高的色彩分辨率圖像。有利地,生成傳遞函數和殘差圖像在原始視頻圖像的R-G-B值上才丸4亍,并且因此與進一步的一見頻編碼無關。因此,可以利用4壬4可傳統(tǒng)的編碼方式對^[氐色彩分辨率圖^象進行編碼,例如,根據MPEG或JVT標準(AVC、SVC等等)。同時在解碼側,色彩增強在傳統(tǒng)解碼的頂端執(zhí)行,并且因此與其編碼格式無關。在國際專利申請PCT/CN2006/001699中4皮露了平滑直方圖法的細節(jié)。局部多項式近似法根據本發(fā)明的這個方面,對于通過多項式近似進行的位深度預測,采用空間局部方法??紤]兩個描述相同場景并包4舌相同幀凄t的一見頻序列。分別來自兩個序列并具有相同的畫面順序計凄t(POC)(也就是相同的時間戳)的兩幀在這里被稱為"同步幀對"。對于每個同步幀對,對應的/并置(collocated)的像素(意思是分別屬于兩幀但在圖像坐標系統(tǒng)中具有相同的坐標的兩個像素)指的是相同的場景位置或現實世界位置。對應的像素之間僅有的差別是色彩位深度,對應于色彩分辨率。PSNR可以用作畫面之間(例如原始圖像和經編碼的圖像之間)的差值測量。14用于對視頻圖像的第一色彩層進行編碼的對應方法,其中,第一色彩層包括給定色彩的像素并且每個像素具有第一深度的色彩值,該方法包括生成或接收視頻圖像的第二色彩層的步驟,其中第二色彩層包括所述給定色彩的像素并且每個像素具有小于第一深度的第二深度的色彩值,將第一色彩層分成第一塊并將第二色彩層分成第二塊,其中第一塊與第二塊具有相同數目的像素并且在它們各自的圖像中具有相同位置,為第一色彩層的第一塊確定對應的第二色彩層的第二塊,利用最小化第一塊和預測的第三塊之間的差值的線性變換函數將第二塊的像素值變換為第三塊的像素值,計算預測的第三塊和第一塊之間的差值(difference),并且對第二塊、線性變換函數的系數和所述差值進行編碼。一個塊的所有像素可以使用相同的變換,而對于每對第一塊和它對應的第二塊,變換可以是獨有的。在一個實施例中,在第一塊中位置u、v處的^f象素才艮據BNi乂u,v)=(BMi,'(U,V))nCn+(BMi乂U,V)廣1Cn隱!+…+(BMi,1(U,V))1/mC1/m+C。(系數為Cn,Cn—h...,C。)從第二塊中相同位置處的對應像素獲得。可以通過最小二乘擬合法確定線性變換函數。該方法可以進一步包括將系數格式化為元數據,并且傳輸附屬于(attachedto)經編碼的第二塊和所述差值的所述元H據。對于本發(fā)明的這個方面,用于對視頻圖像的第一色彩層進行解碼的方法,其中,第一色彩層包括給定色彩的像素并且每個像素具有第一深度的色彩值,該方法包括對視頻圖像的第二色彩層進行解碼的步驟,其中,第二色彩層包括所述給定色彩的像素并且每個像素具有小于第一深度的第二深度的色彩值,對線性變換函數的系數進行解碼,對殘差塊或圖像進行解碼,將具有所述解碼系數的變換函數應用至經解碼的視頻圖像的第二色彩層,其中,獲得了視頻圖像的預測的第一色彩層,并且用殘差塊或圖像更新了視頻圖像的預測的第一色彩層。國際專利申請PCT/CN2006/002593中4皮露了局部多項式近似法的更多細節(jié)。本發(fā)明提出一種可分級的方案,該方案一次解碼全部124立原始視頻以產生一個包括兼容基本層和可分級增強層的H.264/AVC的比特流。如果色彩位深度可調解碼器在客戶端是可用的,基本層和增強層子比特流都將4皮解碼以獲得12位-f見頻并且可以在支持高于8位的高品質顯示器上7見看;否則〗吏用H.264/AVC解碼器只對基本層子比特流進4于解碼并且經解碼的8位一見頻可以在傳統(tǒng)的84立顯示器上觀看。增強層包括基于由基本層產生的預測的殘差,其中,利用基于位移的預測或者利用基于高級位深度預測的預測,其中高級位深度預測方法是平滑直方圖法或局部多項式近似法。權利要求1.一種用于以位深度可分級方式對視頻數據進行編碼的方法,其中,由重建的基本層視頻預測增強層視頻,并且其中至少一個標識被添加到所述數據,以確定位深度可分級性的過程,其中如果所述標識具有第一值,則不利用位深度層間預測;如果所述指標具有第二值,則表示利用基于位移的位深度層間預測;如果所述指標具有非所述第一值或所述第二值的其它值,則利用基于高級位深度預測的位深度層間預測,其中,所述高級位深度預測方法是平滑直方圖法或局部多項式近似法。2.根據權利要求1所述的方法,其中,所述平滑直方圖法包括以下步驟生成適合于將輸入色彩值映射到輸出色彩值的傳遞函數;將所述傳遞函數應用到具有低的或傳統(tǒng)的色彩位深度的第一視頻畫面;生成傳遞視頻畫面和具有較高色彩位深度的第二視頻畫面(N位,N>M)之間的差j直畫面或歹戔差;以及對所述殘差進行編碼。3.根據權利要求2所述的方法,其中,所述傳遞函數通過比較所述第一3見頻畫面的色彩直方圖和所述第二^L頻畫面的色彩直方圖獲得,為了該目的,將具有2M位的所述第一畫面的色彩直方圖變換為具有2W位的平滑色彩直方圖(N>M),并且由所述平滑直方圖和所述色彩增強層直方圖確定傳遞函數,所述傳遞函數定義所述平滑色彩直方圖的值和所述色彩增強層直方圖的值之間的傳遞。4.根據權利要求2或3所述的方法,其中,為基本顯示色彩分別寺丸行所述步驟。5.根據權利要求1所述的方法,其中,所述局部多項式近似法是用于對視頻圖像的第一色彩層進行編碼的方法,其中,所述第一色彩層包括給定色彩的像素并且每個所述像素具有第一深度的色彩值,所述方法包括以下步驟生成或接收所述視頻圖像的第二色彩層,其中,所述第二色彩層包括所述給定色彩的像素并且每個所述像素具有小于所述第一深度的第二深度的色彩值;將所述第一色彩層分為第一塊并且將所述第二色彩層分為第二塊,其中所述第一塊與所述第二塊具有相同數目的像素,并且在它們各自的圖像中具有相同位置;為所述第一色彩層的第一塊確定對應的所述第二色彩層的第二塊;利用最小化所述第一塊和預測的第三塊之間的差值的線性變換函數,將所述第二塊的像素的值變換為所述第三塊的像素的值;計算所述預測的第三塊和所述第一塊之間的所述差值;以及對所述第二塊、所述線性變換函數的系數和所述差值進行編碼。6.—種用于對位深度可分級纟見頻^:據進4于解碼的方法,包4舌以下步驟從經編碼的視頻數據中提取至少一個標識,所述標識指示位深度可分級性的過程;4艮據所述標識對所述一見頻進4亍解碼,其中如果所述標識具有第一值,則不利用位深度層間預測;如果所述標識具有第二值,則利用基于位移的位深度層間予貞測;以及如果所述指標具有非所述第一值或所述第二值的其它值,則利用基于高級位深度預測的位深度層間預測,其中,所述高級位深度預測方法是平滑直方圖法或局部多項式近似法。7.—種用于對視頻數據進行編碼的設備,包括用于對^L頻基本層進4于編碼的裝置;用于對-阮頻增強層進行編碼的裝置,包括用于由所述基本層產生位深度層間預測的第一裝置和第二裝置,其中,所述第一裝置用于產生利用位移的位深度層間預測,所述第二裝置用于產生利用平滑直方圖法和局部多項式近似法中的至少一種的位深度層間預測;以及用于將至少一個標識添加到所述凄t據以確定才丸4于位深度層間預測所利用的方法的裝置,其中如果不利用位深度層間預測,則所述標識具有第一值;如果利用位移,則所述標識具有第二值;以及如果利用基于高級位深度預測的位深度層間預測,則所述標識具有非所述第一值或所述第二值的其它值,其中,所述高級位深度預測方法是平滑直方圖法或局部多項式近似法。8.—種用于對視頻數據進行解碼的設備,包括用于對-現頻基本層進行解碼的裝置;用于對視頻增強層進行解碼的裝置,包括用于由經解碼的基本層產生位深度層間預測的第一裝置和第二裝置,其中,所述第一裝置用于利用位移產生位深度層間預測,所述第二裝置用于利用平滑直方圖法和局部多項式近似法中的至少一種產生位深度層間預測;以及用于/人經編碼的—見頻凄t據中才是取至少一個標識的裝置,所述標識確定^^丸行位深度層間預測所利用的方法,其中,如果所述標識具有第一值,則不利用位深度層間預測;如果所述標識具有第二^i,則利用^f立移;以及如果所述指標具有非所述第一值或所述第二值的其它值,則利用基于高級位深度預測的位深度層間預測,其中,所述高級位深度預測方法是平滑直方圖法或局部多項式近似法。9.根據前述權利要求中的一項所述的方法或裝置,其中,所述標識包4舌兩個單獨的標i己。全文摘要本發(fā)明提出一種可分級的方案,該方案一次解碼全部12位原始視頻以產生一個包括兼容基本層和可分級增強層的H.264/AVC的比特流。如果色彩位深度可調解碼器在客戶端是可用的,基本層和增強層子比特流都將被解碼以獲得12位視頻并且可以在支持高于8位的高品質顯示器上觀看;否則使用H.264/AVC解碼器只對基本層子比特流進行解碼并且經解碼的8位視頻可以在傳統(tǒng)的8位顯示器上觀看。增強層包括基于由基本層產生的預測的殘差,其中,利用基于位移的預測或者利用基于高級位深度預測的預測,其中,高級位深度預測方法是平滑直方圖法或局部多項式近似法。文檔編號H04N7/26GK101622878SQ200780049414公開日2010年1月6日申請日期2007年1月10日優(yōu)先權日2007年1月10日發(fā)明者武宇文,高永英申請人:湯姆遜許可公司