本發(fā)明一般而言涉及編碼/解碼圖片、圖像或視頻的領(lǐng)域,并且本發(fā)明的實施例涉及關(guān)于幀內(nèi)預(yù)測的改進(jìn),更具體而言,涉及關(guān)于解碼器側(cè)幀內(nèi)模式推導(dǎo)(dimd)處理的改進(jìn)。本發(fā)明的更具體實施例涉及dimd邊緣檢測調(diào)整。
背景技術(shù):
1、圖片、圖像或視頻的編碼和解碼都是根據(jù)一定的標(biāo)準(zhǔn)執(zhí)行的,例如,根據(jù)高級視頻編解碼(avc)標(biāo)準(zhǔn)(參見參考文獻(xiàn)[1])、高效視頻編解碼(hevc)標(biāo)準(zhǔn)(參見參考文獻(xiàn)[2])或通用視頻編解碼(vvc)標(biāo)準(zhǔn)(參見參考文獻(xiàn)[3])。
2、圖1中圖示了根據(jù)vvc標(biāo)準(zhǔn)操作的標(biāo)準(zhǔn)視頻壓縮系統(tǒng)100的框圖。標(biāo)準(zhǔn)視頻編解碼器100壓縮并編碼視頻序列的圖片102。待編碼的圖片102被分區(qū)成塊104,也稱為編解碼單元(cu)。編碼器100包括預(yù)編碼濾波器106和預(yù)測殘差信號形成器108,預(yù)測殘差信號形成器108生成預(yù)測殘差信號110,以測量預(yù)測信號112與由濾波器106輸出的信號114之間的偏差。編碼器還包括變換器116、量化器118,并使用熵編解碼器122提供輸出比特流或數(shù)據(jù)流120。另外,編碼器100包括用于確定預(yù)測信號112的預(yù)測級124,預(yù)測級124包括反量化器或逆量化器126、逆變換器128、組合器130、環(huán)內(nèi)濾波器134、運(yùn)動估計器138、幀內(nèi)/幀間模式選擇器140、幀間預(yù)測器142和幀內(nèi)預(yù)測器144。
3、如參考圖1描述的視頻編解碼器100如下壓縮并編碼視頻序列的圖片102。待編碼的圖片102被分區(qū)成塊或cu?104。每個編解碼單元104使用幀內(nèi)或者幀間編解碼模式被編碼。當(dāng)cu以幀內(nèi)模式被編碼時,幀內(nèi)預(yù)測由幀內(nèi)預(yù)測器144執(zhí)行。幀內(nèi)預(yù)測包括借助于位于當(dāng)前cu周圍(例如,當(dāng)前cu的頂部和左側(cè))的已編解碼、解碼和重構(gòu)的圖片樣本來預(yù)測正被編碼的當(dāng)前cu?114。幀內(nèi)預(yù)測在空間域中被執(zhí)行。在幀間模式下,運(yùn)動補(bǔ)償和運(yùn)動估計由運(yùn)動估計器138執(zhí)行,該運(yùn)動估計器在由圖片緩沖器136提供并用于預(yù)測性地對當(dāng)前圖片進(jìn)行編解碼的一個或多個參考圖片中搜索作為當(dāng)前cu的良好預(yù)測器的cu。例如,當(dāng)前cu的良好預(yù)測器是與當(dāng)前cu相似的預(yù)測器,即,兩個cu之間的失真低或低于某個閾值。運(yùn)動估計還可以考慮向預(yù)測器發(fā)信號以優(yōu)化速率-失真權(quán)衡的速率成本。運(yùn)動估計步驟的輸出是與當(dāng)前cu相關(guān)聯(lián)的一個或多個運(yùn)動向量和參考索引。然后,運(yùn)動補(bǔ)償借助于由運(yùn)動估計器138確定的一個或多個運(yùn)動向量和參考圖片索引來預(yù)測當(dāng)前cu。基本上,所選擇的參考圖片中包含的并由所確定的運(yùn)動向量指向的塊或cu被用作當(dāng)前cu的預(yù)測塊。編碼器100借助于選擇器140選擇用于對cu進(jìn)行編碼的幀內(nèi)編解碼模式或幀間編解碼模式之一,并指示幀內(nèi)/幀間決策,例如,借助于預(yù)測模式標(biāo)志。然后,預(yù)測殘差110由塊116和118進(jìn)行變換和量化,并且量化后的變換系數(shù)以及運(yùn)動向量和其他語法元素被熵編碼并寫入輸出比特流120。編碼器100可以跳過變換階段116,并以所謂的變換-跳過編解碼模式直接將量化應(yīng)用于未變換的殘差信號110。在對塊或cu進(jìn)行編碼之后,編碼器對cu進(jìn)行解碼并重構(gòu)它,以獲得重構(gòu)的信號132,該重構(gòu)的信號132可以用作用于預(yù)測未來待編碼的cu或塊的參考數(shù)據(jù)。量化后的變換系數(shù)110'被反量化和逆變換,從而導(dǎo)致解碼的預(yù)測cu或塊110”,并且解碼的預(yù)測殘差和預(yù)測的塊然后在130處組合(通常是相加),以便提供重構(gòu)的塊或cu?132。環(huán)內(nèi)濾波器134被應(yīng)用于重構(gòu)的圖片以減少補(bǔ)償偽影。例如,可以應(yīng)用去塊濾波器、樣本自適應(yīng)偏移(sao)濾波器和自適應(yīng)環(huán)路濾波器(alf)來減少編碼偽影。濾波后的圖片存儲在緩沖器136(也稱為解碼的圖片緩沖器(dpb))中,以便可以將其用作對后續(xù)圖片進(jìn)行編解碼的參考圖片。
4、圖2是用于從數(shù)據(jù)流152預(yù)測性地解碼在解碼器150的輸出端154處提供的圖片或視頻的視頻解碼器150的框圖。解碼器150包括熵解碼器156、分區(qū)塊158、逆量化器160、逆變換器162、組合器164、環(huán)內(nèi)濾波器166、可選的后解碼處理器168及預(yù)測模塊170。預(yù)測模塊170包括解碼的圖片緩沖器180、運(yùn)動補(bǔ)償器182和幀內(nèi)預(yù)測器184。
5、由解碼器150如下對視頻序列的編碼的圖片進(jìn)行解壓縮和解碼。由解碼器156對輸入比特流152進(jìn)行熵解碼,解碼器156提供例如塊分區(qū)信息、用于每個編解碼單元的編解碼模式、每個變換塊中所包含的變換系數(shù)、預(yù)測信息(如幀內(nèi)預(yù)測模式)、運(yùn)動向量、參考圖片索引、以及其他編解碼信息。塊分區(qū)信息指示圖片如何被分區(qū),并且解碼器150可以將輸入圖片劃分成編解碼樹單元(ctu)(通常尺寸為64×64或128×128像素),并根據(jù)解碼的分區(qū)信息將每個ctu劃分成矩形或正方形編解碼單元(cu)。對熵解碼的量化的系數(shù)172進(jìn)行反量化160和逆變換162,以獲得解碼的殘差圖片或cu?174。解碼的預(yù)測參數(shù)被用于預(yù)測當(dāng)前塊或cu,即,預(yù)測的塊是通過其幀內(nèi)預(yù)測還是通過其運(yùn)動補(bǔ)償?shù)臅r間預(yù)測來獲得的。在解碼器側(cè)執(zhí)行的預(yù)測處理與在編碼器側(cè)執(zhí)行的預(yù)測處理相同。解碼的殘差塊174被添加到預(yù)測的塊176,從而產(chǎn)生重構(gòu)的當(dāng)前圖像塊164。環(huán)內(nèi)濾波器166被應(yīng)用于重構(gòu)的圖片或圖像,該圖片或圖像也存儲在解碼的圖片緩沖器180中,以與參考圖片一起用于未來圖片解碼。如上面所提到的,解碼的圖片還可以經(jīng)過后解碼處理,例如用于執(zhí)行逆顏色變換,例如從ycbcr4:2:0到rgb?4:4:4的轉(zhuǎn)換。
6、如上面所提到的,解碼所要采用的幀內(nèi)預(yù)測模式可以攜帶在由編碼器提供并由解碼器接收的比特流中,但是,根據(jù)其他方法,不是將實際幀內(nèi)預(yù)測模式引入比特流,而是可以通過使用鄰近當(dāng)前處理的cu的重構(gòu)的像素的梯度分析來導(dǎo)出幀內(nèi)預(yù)測模式。換句話說,幀內(nèi)預(yù)測模式不是在比特流中明確指示的,而是隱含的。這種方法被稱為解碼器側(cè)幀內(nèi)模式推導(dǎo)(dimd),其可以使用簡單的標(biāo)志來發(fā)信號通知,然后在重構(gòu)處理期間導(dǎo)出實際幀內(nèi)模式,如由編碼器100或解碼器150的預(yù)測塊124/170執(zhí)行的重構(gòu)處理。編碼器100可以將dimd是否用于當(dāng)前cu的信息編碼到比特流120中,并且在未使用dimd的情況下,實際幀內(nèi)模式由編碼器發(fā)信號通知并由解碼器從比特流中解析。
7、取自參考文獻(xiàn)[5]的圖3圖示了塊內(nèi)通用重構(gòu)處理的示例,該處理可以在編碼器100處或解碼器150處應(yīng)用。在解析處理200期間,確定塊內(nèi)解碼,如塊202處所指示的,并執(zhí)行像素殘差解析204以及dimd標(biāo)志解析206。如果dmid標(biāo)志206為零,那么執(zhí)行幀內(nèi)預(yù)測模式解析208,以獲得在重構(gòu)處理212期間預(yù)測和重構(gòu)像素時要使用的幀內(nèi)模式210,如216處所指示的。如果dimd標(biāo)志206被設(shè)置為一,那么在重構(gòu)處理212期間執(zhí)行幀內(nèi)預(yù)測推導(dǎo)218,這產(chǎn)生推導(dǎo)出的幀內(nèi)模式220,該模式與216處的像素殘差214一起用于重構(gòu)處理。
8、dimd方法的進(jìn)一步細(xì)節(jié)在參考文獻(xiàn)[5]至[8]中描述。常規(guī)而言,dimd處理基于與當(dāng)前處理的cu相鄰的重構(gòu)的模板區(qū)塊(area),該模板區(qū)塊的寬度和高度是三個樣本寬。模板區(qū)塊包括左側(cè)區(qū)塊、上方區(qū)塊和左上方區(qū)塊。這些區(qū)塊在下文中也被稱為左側(cè)模板區(qū)塊區(qū)域、上方模板區(qū)塊區(qū)域和左上方模板區(qū)塊區(qū)域。在模板區(qū)塊中,應(yīng)用相應(yīng)的邊緣檢測濾波器(如3×3水平和豎直sobel濾波器),以便確定模板區(qū)塊的每個中間線樣本的亮度方向或朝向的振幅和角度。計算梯度的直方圖(hog),并且每個條目與常規(guī)的角度內(nèi)模式對應(yīng),并存儲累積的強(qiáng)度:
9、angle=arctan(ghor/gver)
10、amplitude=|ghor|+|gver|
11、其中g(shù)hor和gver是sobel濾波器計算出的純水平和豎直方向的強(qiáng)度。取自參考文獻(xiàn)[8]的圖4圖示了用于計算hog的dimd模板區(qū)塊或區(qū)。圖4(a)圖示了部分重構(gòu)的圖片250,如重構(gòu)的區(qū)塊252和不可用區(qū)塊254所指示的。換句話說,重構(gòu)的區(qū)塊252包括待重構(gòu)的圖片的已經(jīng)重構(gòu)的編解碼單元或塊,而不可用區(qū)塊254中的相應(yīng)編解碼單元或塊仍有待重構(gòu)。圖示了當(dāng)前被處理的cu或塊256以及上面提到的模板區(qū)塊258。圖4(b)圖示了模板區(qū)塊258是寬度和高度為3個樣本或像素寬,并且如上所述,使用3×3水平和豎直sobel濾波器259來計算hog?260,以便基于模板區(qū)塊258的每個中間線樣本262的亮度方向的振幅和角度獲得角度內(nèi)預(yù)測模式(也稱為幀內(nèi)預(yù)測模式,ipm),并且對于模板區(qū)塊中的每個ipm獲得相關(guān)聯(lián)的累積強(qiáng)度或振幅。從hog?260中選擇兩個最具代表性的ipm(在圖4(b)中指示為m1和m2),并使用從其累積振幅的比率導(dǎo)出的用于m1和m2的權(quán)重以及用于planar模式的固定權(quán)重(例如,1/3,即,具有6位整數(shù)精度的21/64)將這兩個最具代表性的ipm與planar模式組合。
12、取自參考文獻(xiàn)[8]的圖5圖示了通過m1、m2和planar模式的加權(quán)平均進(jìn)行的預(yù)測融合。假設(shè)正方形的cu?256,cu?256的相應(yīng)像素由取自hog?260的兩個最具代表性的ipm?m1、m2進(jìn)行預(yù)測,從而獲得預(yù)測器塊pred1、pred2和pred3。相應(yīng)的預(yù)測器塊通過權(quán)重w1、w2、w3加權(quán),并融合或組合成包括用于cu?256中的相應(yīng)樣本或像素的dmid預(yù)測器的最終預(yù)測器塊。
13、圖6圖示了常規(guī)dimd預(yù)測器推導(dǎo)處理的示例。在s100處,使用輸入cu?256,分析輸入cu?256的鄰域,以確定可用的上方內(nèi)和左側(cè)內(nèi)樣本的數(shù)量。在s102處,為模板區(qū)塊258構(gòu)建hog?260,即,基于可用的樣本,通過hog?260中的其累積振幅確定角度內(nèi)預(yù)測模式ipm(步驟s104)。在s106處,確定選擇了多少個ipm,即,是否未選擇ipm、是否選擇了一個ipm或是否選擇了兩個ipm。如果沒有選擇ipm,那么僅應(yīng)用planar模式(其可以是默認(rèn)模式),如s108處所指示的,以獲得dimd預(yù)測器。如果只選擇了一個ipm,那么所選擇的ipm被用于獲得dimd預(yù)測器,如s110處所指示的。如果選擇了兩個ipm,那么在s112處根據(jù)其累積振幅比確定每個所選擇的模式的混合權(quán)重,并將用于planar模式的權(quán)重設(shè)置為1/3。在s114處計算用于每個所選擇的ipm和planar模式的預(yù)測器塊pred1至pred3,并在s116處通過使用確定的混合權(quán)重混合兩個所選擇的ipm和planar模式來獲得dimd預(yù)測器。
14、圖7圖示了當(dāng)前處理的cu?256和寬度/高度為t=3個樣本或像素的相關(guān)聯(lián)模板區(qū)塊258的示例。對于每個中間線樣本262,通過相應(yīng)箭頭的方向圖示相應(yīng)的朝向,并且通過箭頭的長度指示梯度的相應(yīng)強(qiáng)度。通過累積每個朝向/ipm條目的強(qiáng)度來生成hog,并且選擇hog中的兩種最重要的模式(如果它們存在的話)作為要與planar模式或平面幀內(nèi)預(yù)測模式混合的模式。在圖7的示例中,ipm?5和28具有第一和第二高的累積強(qiáng)度/振幅。如上所述,這些模式被加權(quán),并且混合權(quán)重常規(guī)而言是固定的和/或根據(jù)所選擇的ipm的累積強(qiáng)度/振幅的比率確定的。雖然現(xiàn)有技術(shù)中提出了不同的混合模式,但所有混合模式關(guān)于當(dāng)前處理的塊或cu都是全局的。更具體而言,當(dāng)考慮常規(guī)方法時并且當(dāng)選擇兩個ipm(如m1和m2)時,混合權(quán)重可以如下計算
15、
16、其中w1與ipm?m1相關(guān)聯(lián),w2與ipm?m2相關(guān)聯(lián),并且w3與planar模式相關(guān)聯(lián)?,F(xiàn)有技術(shù)中描述了混合處理的不同修改,例如,參考文獻(xiàn)[10]建議基于速率失真優(yōu)化選擇多種混合模式,參考文獻(xiàn)[11]建議使用hog隱式地導(dǎo)出三種混合模式中的兩種,參考文獻(xiàn)[13]建議使用模板匹配隱式地導(dǎo)出混合模式,并且參考文獻(xiàn)[20]建議根據(jù)確定的多種dimd模式來選擇不同的混合模式。當(dāng)應(yīng)用dimd時,從重構(gòu)的鄰近樣本(即,從模板區(qū)塊)導(dǎo)出一個或兩個ipm,并且如果導(dǎo)出兩種幀內(nèi)模式,那么將它們與planar模式預(yù)測器組合(即,混合),常規(guī)解決方案總是實現(xiàn)兩個ipm與planar模式的全局或cu級加權(quán)混合。
17、h.266/vvc中存在的另外的編解碼工具是所謂的多參考線mrl,例如在參考文獻(xiàn)[22]中對其進(jìn)行了描述。這種編解碼工具使用多條參考線,如待解碼的塊或cu左側(cè)和/或上方的第二條或第三條線,而不是使用相鄰的重構(gòu)的線作為具有參考線索引0的參考線。圖8圖示了使用多條參考線預(yù)測cu或目標(biāo)塊256的概念。在所描繪的示例中,圖示了具有參考線索引0、1和2的三條參考線,并且可以使用比特流來發(fā)信號通知最佳預(yù)測線索引。如圖8中所示,可以對相應(yīng)的參考線應(yīng)用填充(padding)處理。
18、常規(guī)而言,在圖片250的重構(gòu)的部分252中,三列和行重構(gòu)的樣本或像素被用于dimd處理,即,使用具有3×3樣本的固定濾波窗口且位于模板區(qū)塊258中的相同位置處的濾波器來計算hog?260。在參考文獻(xiàn)[6]中,當(dāng)計算位于左列、頂行或左上樣本中且與當(dāng)前cu直接鄰近的像素上的梯度時,可以用3×2濾波器代替3×3sobel濾波器259。在參考文獻(xiàn)[8]中,不是在模板區(qū)塊258的中間線中的所有像素或樣本上使用3×3sobel濾波器259,而是可以更稀疏地應(yīng)用3×3sobel濾波器259,例如,僅在左側(cè)模板區(qū)塊中的一個中間線樣本和上方模板區(qū)塊中的一個中間線樣本處應(yīng)用。dimd處理的進(jìn)一步方面例如在以下參考文獻(xiàn)中進(jìn)行了描述:
19、-參考文獻(xiàn)[10]、[11]、[13]和[20]論述了模式的混合,
20、-參考文獻(xiàn)[16]和[18]論述了與原始意圖相關(guān)的行為校正(錯誤修復(fù)),
21、-參考文獻(xiàn)[9]、[12]和[14]論述了與其他模式的組合,
22、-參考文獻(xiàn)[15]、[17]、[19]或[21]論述了用于dimd處理的語法或簡化。
23、但是,上面參考圖6和參考文獻(xiàn)[8]中描述的基本dimd處理保持相同。
24、上述用于確定用于當(dāng)前處理的cu的相應(yīng)樣本的dimd預(yù)測器的現(xiàn)有技術(shù)方法是有缺點的,因為用于確定hog的濾波器(在此基礎(chǔ)上導(dǎo)出用于確定dimd預(yù)測器的ipm),如sobel濾波器,固定為3×3樣本的尺寸,并且僅系統(tǒng)地應(yīng)用于模板區(qū)塊的中間線樣本,如上面參考圖4所描述的,但是,其不允許對某些內(nèi)容特點的調(diào)整,因為它們可能是提高編解碼效率所期望的。
25、因此,需要提供對dimd處理的進(jìn)一步改進(jìn)。
技術(shù)實現(xiàn)思路
1、本發(fā)明提供了一種確定濾波器的濾波器特點的方法,該濾波器用于對與圖片的編解碼單元(cu)相鄰的模板區(qū)塊的相應(yīng)樣本進(jìn)行濾波,以便從模板區(qū)塊獲得相應(yīng)的幀內(nèi)預(yù)測模式(ipm),用于導(dǎo)出針對cu的相應(yīng)樣本的解碼器側(cè)幀內(nèi)模式推導(dǎo)(dimd)預(yù)測器,該方法包括:
2、-根據(jù)cu和/或模板區(qū)塊的一個或多個特點,或者
3、-根據(jù)與圖片相關(guān)聯(lián)的信息數(shù)據(jù)
4、確定濾波器的濾波窗口的尺寸和/或位置。
5、可選地,為了根據(jù)cu和/或模板區(qū)塊的一個或多個特點確定尺寸和/或位置,
6、-濾波窗口的尺寸從以下各項中的一項或多項導(dǎo)出
7、○?模板區(qū)塊中可用樣本的數(shù)量,
8、○?cu的維度,
9、○?與模板區(qū)塊相關(guān)聯(lián)的多參考線(mrl)索引,和/或
10、-濾波窗口的位置從以下各項中的一項或多項導(dǎo)出
11、○?模板區(qū)塊中可用樣本的數(shù)量,
12、○?cu的維度,
13、○?與模板區(qū)塊相關(guān)聯(lián)的多參考線(mrl)索引,
14、○?到cu的邊緣處的樣本的距離度量。
15、可選地,為了根據(jù)cu和/或模板區(qū)塊的一個或多個特點確定尺寸和/或位置,模板區(qū)塊包括多個模板區(qū)塊區(qū)域,多個模板區(qū)塊區(qū)域包括上方模板區(qū)塊區(qū)域、左側(cè)模板區(qū)塊區(qū)域和左上方模板區(qū)塊區(qū)域,并且根據(jù)上方模板區(qū)塊區(qū)域中的樣本的可用行、左側(cè)模板區(qū)塊區(qū)域中的樣本的可用列、以及左上方模板區(qū)塊區(qū)域中的樣本的可用列和行導(dǎo)出用于相應(yīng)模板區(qū)塊區(qū)域的濾波窗口的尺寸,
16、其中該方法包括:對于每個模板區(qū)塊區(qū)域,從具有不同尺寸的濾波窗口的多個預(yù)定義的濾波器中選擇其濾波窗口尺寸與相應(yīng)模板區(qū)塊區(qū)域中樣本的可用列和/或行對應(yīng)的濾波器,以及
17、其中,可選地,對于其中濾波窗口與相鄰模板區(qū)塊區(qū)域重疊的區(qū)塊,濾波器根據(jù)以下各項來選擇
18、-濾波窗口的中心樣本所屬的模板區(qū)塊區(qū)域,或者
19、-濾波窗口中所包含的樣本數(shù)最低或最高的模板區(qū)塊區(qū)域。
20、可選地,
21、為了根據(jù)cu和/或模板區(qū)塊的一個或多個特點確定尺寸和/或位置,當(dāng)cu大于一定尺寸時,通過具有第一濾波窗口尺寸的第一濾波器對模板區(qū)塊中的樣本進(jìn)行濾波,否則,通過具有與第一濾波窗口尺寸不同的第二濾波窗口尺寸的第二濾波器對模板區(qū)塊中的樣本進(jìn)行濾波,和/或
22、為了根據(jù)cu和/或模板區(qū)塊的一個或多個特點確定尺寸和/或位置,模板區(qū)塊包括多個模板區(qū)塊區(qū)域,多個模板區(qū)塊區(qū)域包括上方模板區(qū)塊區(qū)域、左側(cè)模板區(qū)塊區(qū)域和左上方模板區(qū)塊區(qū)域,并且,如果模板區(qū)塊區(qū)域中可用的樣本允許使用具有不同濾波窗口尺寸的多個濾波器,那么
23、-當(dāng)cu具有正方形形狀時,所有模板區(qū)塊區(qū)域中的樣本都通過同一濾波器進(jìn)行濾波,其中,可選地,該濾波器是多個濾波器中具有最大或最小濾波窗口尺寸的濾波器,
24、-當(dāng)cu具有矩形形狀時,通過第一濾波器對與cu的長邊相鄰的模板區(qū)塊區(qū)域中的樣本進(jìn)行濾波,并通過第二濾波器對與cu的短邊相鄰的模板區(qū)塊區(qū)域中的樣本進(jìn)行濾波,第一濾波器與第二濾波器具有不同的濾波窗口尺寸,并且其中為了對左上方模板區(qū)塊區(qū)域中的樣本進(jìn)行濾波
25、○根據(jù)左上方模板區(qū)塊區(qū)域中樣本的可用性來選擇第一濾波器和第二濾波器之一,或者
26、總是使用第一濾波器和第二濾波器之一。
27、可選地,為了根據(jù)cu和/或模板區(qū)塊的一個或多個特點確定尺寸和/或位置,模板區(qū)塊包括多個模板區(qū)塊區(qū)域,多個模板區(qū)塊區(qū)域包括上方模板區(qū)塊區(qū)域、左側(cè)模板區(qū)塊區(qū)域和左上方模板區(qū)塊區(qū)域,并且用于相應(yīng)模板區(qū)塊區(qū)域的濾波窗口的尺寸根據(jù)與相應(yīng)模板區(qū)塊區(qū)域相關(guān)聯(lián)的mrl索引(如intra_luma_ref_idx)導(dǎo)出,
28、其中
29、-當(dāng)mrl索引為零時或當(dāng)未指示mrl索引時,為模板區(qū)塊區(qū)域選擇具有第一濾波器窗口尺寸的第一濾波器,
30、-當(dāng)mrl索引與零不同時,例如,具有某個值或者超過預(yù)定義閾值的值,那么為模板區(qū)塊區(qū)域選擇具有第二濾波器窗口尺寸的第二濾波器,第二濾波器窗口大于第一濾波器窗口尺寸。
31、可選地,為了根據(jù)cu和/或模板區(qū)塊的一個或多個特點確定尺寸和/或位置,模板區(qū)塊包括多個模板區(qū)塊區(qū)域,多個模板區(qū)塊區(qū)域包括上方模板區(qū)塊區(qū)域、左側(cè)模板區(qū)塊區(qū)域和左上方模板區(qū)塊區(qū)域,并且對相應(yīng)模板區(qū)塊區(qū)域使用具有固定濾波窗口尺寸的濾波器,
32、其中,如果模板區(qū)塊區(qū)域中樣本的可用行/列超過被固定濾波窗口尺寸覆蓋的樣本的行/列,那么選擇濾波窗口的中心樣本的位置,使得濾波窗口不與cu相鄰,由此使cu的邊緣與濾波窗口的邊界偏移預(yù)定義數(shù)量的樣本,
33、其中,可選地,如果模板區(qū)塊區(qū)域中樣本的可用行/列等于被固定濾波窗口尺寸覆蓋的樣本的行/列,那么減小濾波窗口的尺寸,使得模板區(qū)塊區(qū)域中樣本的行和/或列被濾波窗口覆蓋。
34、可選地,
35、為了根據(jù)cu和/或模板區(qū)塊的一個或多個特點確定尺寸和/或位置,當(dāng)cu大于一定尺寸時,模板區(qū)塊中的樣本由定位成使得濾波窗口與cu的邊緣偏移第一數(shù)量樣本的濾波器進(jìn)行濾波,否則模板區(qū)塊中的樣本由定位成使得濾波窗口與cu相鄰或與cu的邊緣偏移第二數(shù)量樣本的濾波器進(jìn)行濾波,其中樣本的第二數(shù)量與樣本的第一數(shù)量不同,和/或
36、為了根據(jù)cu和/或模板區(qū)塊的一個或多個特點確定尺寸和/或位置,模板區(qū)塊包括多個模板區(qū)塊區(qū)域,多個模板區(qū)塊區(qū)域包括上方模板區(qū)塊區(qū)域、左側(cè)模板區(qū)塊區(qū)域和左上方模板區(qū)塊區(qū)域,并且對相應(yīng)模板區(qū)塊區(qū)域使用具有固定濾波窗口尺寸的濾波器,
37、其中,
38、-當(dāng)cu具有正方形形狀時,濾波窗口
39、○不與cu相鄰,使得cu的邊緣與濾波窗口的邊界偏移預(yù)定義數(shù)量的樣本,或者
40、○與cu相鄰,使得cu的邊緣與濾波窗口的邊界不偏移,
41、-當(dāng)cu具有矩形形狀時,
42、○在與cu的長邊相鄰的模板區(qū)塊區(qū)域中,濾波窗口不與cu相鄰,使得cu的邊緣與濾波窗口的邊界偏移預(yù)定義數(shù)量的樣本,并且在與cu的短邊相鄰的模板區(qū)塊區(qū)域中,濾波窗口與cu相鄰,使得cu的邊緣與濾波窗口的邊界不偏移,或者
43、○在與cu的短邊相鄰的模板區(qū)塊區(qū)域中,濾波窗口不與cu相鄰,使得cu的邊緣與濾波窗口的邊界偏移預(yù)定義數(shù)量的樣本,并且在與cu的長邊相鄰的模板區(qū)塊區(qū)域中,濾波窗口與cu相鄰,使得cu的邊緣與濾波窗口的邊界不偏移,
44、以及
45、其中,可選地,偏移量是根據(jù)cu的寬度與高度之間的比率來計算的。
46、可選地,為了根據(jù)cu和/或模板區(qū)塊的一個或多個特點確定尺寸和/或位置,模板區(qū)塊包括多個模板區(qū)塊區(qū)域,多個模板區(qū)塊區(qū)域包括上方模板區(qū)塊區(qū)域、左側(cè)模板區(qū)塊區(qū)域和左上方模板區(qū)塊區(qū)域,并且對相應(yīng)模板區(qū)塊區(qū)域使用具有固定濾波窗口尺寸的濾波器,
47、其中用于相應(yīng)模板區(qū)塊區(qū)域的濾波窗口的位置是根據(jù)與相應(yīng)模板區(qū)塊區(qū)域相關(guān)聯(lián)的mrl索引(如intra_luma_ref_idx)導(dǎo)出的,
48、其中
49、-當(dāng)mrl索引為零時或當(dāng)未指示mrl索引時,濾波窗口與cu相鄰,使得cu的邊緣與濾波窗口的邊界不偏移,
50、-當(dāng)mrl索引與零不同時,例如,具有某個值或超過預(yù)定義閾值的值,濾波窗口不與cu相鄰,使得cu的邊緣與濾波窗口的邊界偏移預(yù)定義數(shù)量的樣本,
51、可選地,為了根據(jù)cu和/或模板區(qū)塊的一個或多個特點確定尺寸和/或位置,模板區(qū)塊包括多個模板區(qū)塊區(qū)域,多個模板區(qū)塊區(qū)域包括上方模板區(qū)塊區(qū)域、左側(cè)模板區(qū)塊區(qū)域和左上方模板區(qū)塊區(qū)域,并且對相應(yīng)模板區(qū)塊區(qū)域使用具有固定濾波窗口尺寸的濾波器,
52、其中,通過,對于cu的邊緣與濾波窗口的邊界之間的不同偏移量,使用距離度量(如絕對差之和,sad)將濾波窗口中所包含的一個或多個或所有樣本與投影在cu的邊緣處的樣本進(jìn)行比較并通過選擇產(chǎn)生最小距離的偏移量來導(dǎo)出用于上方和左側(cè)模板區(qū)塊區(qū)域的濾波窗口的位置,
53、其中,可選地,偏移量選擇是針對整個模板區(qū)塊區(qū)域或針對濾波窗口的每個中心樣本執(zhí)行的,
54、其中,可選地,用于左上方模板區(qū)塊區(qū)域的濾波窗口的位置如下導(dǎo)出:
55、-在確定上方和左側(cè)模板區(qū)塊區(qū)域中的濾波窗口位置之后,將左上方模板區(qū)塊區(qū)域的濾波窗口的中心樣本確定為上方模板區(qū)塊區(qū)域的濾波窗口的中心樣本的行與左側(cè)模板區(qū)塊區(qū)域的濾波窗口的中心樣本的列的交點,或者
56、-對于左上方模板區(qū)塊區(qū)域中的濾波窗口的不同位置,利用距離度量(如絕對差之和,sad)將濾波窗口中包含的一個或多個或所有樣本與位于cu的左上角的多個樣本進(jìn)行比較,并選擇產(chǎn)生最小距離的位置。
57、可選地,當(dāng)在解碼器處實現(xiàn)本發(fā)明的方法時并且當(dāng)使用距離度量確定濾波窗口的位置或偏移量時,要求距離或偏移量的額外信令,例如,使用與圖片相關(guān)聯(lián)的信息數(shù)據(jù),因為解碼器忽略了尚未重構(gòu)的cu的邊緣處或內(nèi)部的樣本。
58、可選地,當(dāng)根據(jù)與圖片相關(guān)聯(lián)的信息數(shù)據(jù)確定尺寸和/或位置時,與圖片相關(guān)聯(lián)的信息數(shù)據(jù)使用高級語法結(jié)構(gòu)(諸如圖片參數(shù)集、序列參數(shù)集或圖片頭)來發(fā)信號通知濾波器尺寸和/或濾波器位置,以及
59、其中,可選地,高級語法結(jié)構(gòu)包括
60、-語法元素,如sps_dimd_filter_size,指示在dimd處理期間要使用哪個濾波器和/或哪個濾波器尺寸,和/或
61、-索引,如dimd_filter_shift_minus1,指示濾波窗口的中心樣本相對于cu的邊緣在正交方向上的位置或位置移位。
62、本發(fā)明提供了一種包括指令的非暫時性計算機(jī)可讀存儲介質(zhì),當(dāng)指令由計算機(jī)執(zhí)行時,使得計算機(jī)執(zhí)行本發(fā)明的方法。
63、本發(fā)明提供了一種對編碼的數(shù)據(jù)流進(jìn)行解碼的裝置,該編碼的數(shù)據(jù)流包括表示圖片的數(shù)據(jù),該裝置包括:
64、第一模塊,被配置為從編碼的數(shù)據(jù)流中解碼圖片或者解碼圖片和與圖片相關(guān)聯(lián)的信息數(shù)據(jù),以及
65、第二模塊,被配置為針對圖片的編解碼單元(cu)的相應(yīng)樣本導(dǎo)出解碼器側(cè)幀內(nèi)模式推導(dǎo)(dimd)預(yù)測器,該第二模塊包括:
66、第一子模塊,被配置為
67、-根據(jù)cu和/或模板區(qū)塊的一個或多個特點,或者
68、-根據(jù)與圖片相關(guān)聯(lián)的信息數(shù)據(jù),
69、確定濾波器的濾波窗口的尺寸和/或位置,以及
70、第二子模塊,被配置為對與cu相鄰的模板區(qū)塊的相應(yīng)樣本進(jìn)行濾波,以便從模板區(qū)塊獲得用于導(dǎo)出dimd預(yù)測器的相應(yīng)幀內(nèi)預(yù)測模式(ipm)。
71、本發(fā)明提供了一種用于將圖片編碼成編碼的數(shù)據(jù)流的裝置,該編碼的數(shù)據(jù)流包括表示圖片的數(shù)據(jù),該裝置包括:
72、第一模塊,被配置為接收原始圖片并將該圖片編碼到數(shù)據(jù)流中,以及
73、第二模塊,被配置為針對圖片的編解碼單元(cu)的相應(yīng)樣本導(dǎo)出解碼器側(cè)幀內(nèi)模式推導(dǎo)(dimd)預(yù)測器,該第二模塊包括:
74、第一子模塊,被配置為根據(jù)cu和/或模板區(qū)塊的一個或多個特點確定濾波器的濾波窗口的尺寸和/或位置,以及
75、第二子模塊,被配置為對與cu相鄰的模板區(qū)塊的相應(yīng)樣本進(jìn)行濾波,以便從模板區(qū)塊獲得用于導(dǎo)出dimd預(yù)測器的相應(yīng)幀內(nèi)預(yù)測模式(ipm)。
76、可選地,第一模塊被配置為將與圖片相關(guān)聯(lián)的信息數(shù)據(jù)編碼到數(shù)據(jù)流中,該信息數(shù)據(jù)發(fā)信號通知用于dmid處理的濾波器的濾波窗口的尺寸和/或位置。
77、本發(fā)明提供了一種數(shù)據(jù)流,其具有編碼到該數(shù)據(jù)流中的圖片和與該圖片相關(guān)聯(lián)的信息數(shù)據(jù),
78、其中信息數(shù)據(jù)發(fā)信號通知用于dmid處理的濾波器的濾波窗口的尺寸和/或位置。
79、根據(jù)本發(fā)明的實施例提供的技術(shù)解決方案具有以下有益效果。
80、在現(xiàn)有技術(shù)的方法中,用于確定hog的濾波器(在此基礎(chǔ)上導(dǎo)出用于確定dimd預(yù)測器的ipm),如sobel濾波器,固定到3×3樣本的尺寸,并且僅系統(tǒng)地應(yīng)用于模板區(qū)塊的中間線樣本,但是,這不允許對某些內(nèi)容特點的調(diào)整,因為它們可能是提高編解碼效率所期望的。本發(fā)明解決了與現(xiàn)有技術(shù)相關(guān)聯(lián)的問題,并且基于以下發(fā)現(xiàn):在濾波器尺寸/位置方面引入更多的靈活性,即,在角度、planar和dc預(yù)測模式下用作參考樣本的重構(gòu)的樣本的選擇方面引入更多的靈活性,提高了壓縮增益,尤其是在樣本值更能代表信號方向的情況下以及在編解碼或解碼處理期間此類樣本不位于當(dāng)前處理的塊或cu的直接相鄰位置的情況下。
81、應(yīng)理解的是,本節(jié)中描述的內(nèi)容并非旨在識別本發(fā)明的實施例的關(guān)鍵或重要特征,也不旨在限制本發(fā)明的范圍。本發(fā)明的其他特征從以下描述中變得顯而易見。