一種基于圖像超分辨率的視頻編解碼方法及裝置制造方法
【專利摘要】本申請(qǐng)?zhí)峁┑幕趫D像超分辨率的視頻編解碼方法及裝置，本申請(qǐng)方法在對(duì)待編碼和待編碼的視頻圖像進(jìn)行預(yù)測(cè)前，先對(duì)待編碼/待解碼視頻圖像進(jìn)行超分辨率插值處理，可以對(duì)待編碼/待解碼圖像進(jìn)行放大及進(jìn)行細(xì)節(jié)信息恢復(fù)，從而，在對(duì)待編碼/待解碼圖像進(jìn)行預(yù)測(cè)得到預(yù)測(cè)塊時(shí)，相比現(xiàn)有技術(shù)利用線性插值對(duì)視頻圖像進(jìn)行預(yù)測(cè)的方法，更能有效還原原圖像，避免出現(xiàn)現(xiàn)有技術(shù)中預(yù)測(cè)塊邊緣模糊的問題，從而提升視頻圖像預(yù)測(cè)的準(zhǔn)確性，進(jìn)而提升視頻圖像的編碼效率。
【專利說明】一種基于圖像超分辨率的視頻編解碼方法及裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像超分辨率【技術(shù)領(lǐng)域】，具體涉及一種基于圖像超分辨率的視頻編解 碼方法及裝置。
[0002]

【背景技術(shù)】
[0003] 傳統(tǒng)的編碼方法是利用待編碼圖像與視頻自身的信息冗余對(duì)視頻圖像進(jìn)行壓縮 處理的，隨著編碼技術(shù)的不斷進(jìn)步，視頻編碼的冗余度不斷降低，待編碼圖像與視頻自身的 時(shí)空域相關(guān)性被充分利用。借助待編碼圖像與視頻以外的信息，對(duì)待編碼圖像和視頻信息 進(jìn)行預(yù)測(cè)，從而降低待編碼圖像與視頻本身的信息量，是大幅度提高圖像與視頻壓縮效率 的新方向。
[0004] 現(xiàn)有技術(shù)中，為了提高視頻圖像幀間預(yù)測(cè)效率，分像素運(yùn)動(dòng)補(bǔ)償技術(shù)普遍被采用。 為了獲得分像素信息，目前普遍采用線性插值的方法。線性插值方法的優(yōu)點(diǎn)是簡(jiǎn)單，但缺點(diǎn) 是難以恢復(fù)高分辨率圖像的高頻細(xì)節(jié)信息，同時(shí)對(duì)于邊緣部分造成模糊，從而制約了分像 素運(yùn)動(dòng)補(bǔ)償?shù)男省?br> [0005]


【發(fā)明內(nèi)容】

[0006] 本發(fā)明實(shí)施例提供的基于圖像超分辨率的視頻編碼方法，包括：利用預(yù)訓(xùn)練的紋 理字典庫對(duì)待編碼視頻圖像進(jìn)行超分辨率插值處理，得到參考圖像，所述紋理字典庫包括： 一組或多組字典基，所述字典基包括：訓(xùn)練圖像的高分辨率圖像塊以及與所述高分辨率圖 像塊對(duì)應(yīng)的低分辨率圖像塊組合成的映射組，所述超分辨率插值處理包括：進(jìn)行圖像放大 及圖像的細(xì)節(jié)信息恢復(fù)；對(duì)所述待編碼圖像的各個(gè)圖像塊在所述參考圖像上進(jìn)行運(yùn)動(dòng)估計(jì) 和運(yùn)動(dòng)補(bǔ)償，得到與所述待編碼視頻圖像的各個(gè)圖像塊對(duì)應(yīng)的預(yù)測(cè)塊；將所述待編碼視頻 圖像的圖像塊與對(duì)應(yīng)的所述預(yù)測(cè)塊相減，得到預(yù)測(cè)殘差塊；對(duì)所述預(yù)測(cè)殘差塊進(jìn)行編碼處 理。
[0007] 本發(fā)明實(shí)施例提供的基于圖像超分辨率的視頻解碼方法，包括：對(duì)獲取的圖像編 碼流信號(hào)進(jìn)行解碼得到預(yù)測(cè)殘差塊；利用預(yù)訓(xùn)練的紋理字典庫對(duì)待解碼視頻圖像進(jìn)行超分 辨率插值處理，得到參考圖像，所述紋理字典庫包括：一組或多組字典基，所述字典基為： 訓(xùn)練圖像的高分辨率圖像塊以及與所述高分辨率圖像塊對(duì)應(yīng)的低分辨率圖像塊組合成的 映射組，所述超分辨率插值處理包括：進(jìn)行圖像放大及圖像的細(xì)節(jié)信息恢復(fù)；對(duì)所述待解 碼視頻圖像上的各個(gè)圖像塊在所述參考圖像上進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到與所述各個(gè)圖像塊對(duì)應(yīng) 的預(yù)測(cè)塊；將所述預(yù)測(cè)塊與所述預(yù)測(cè)殘差塊相加得到解碼后的視頻圖像。
[0008] 本發(fā)明實(shí)施例提供的基于圖像超分辨率的視頻編碼裝置，包括：超分辨率插值處 理單元，用于利用預(yù)訓(xùn)練的紋理字典庫對(duì)待編碼視頻圖像進(jìn)行超分辨率插值處理，得到參 考圖像，所述紋理字典庫包括：一組或多組字典基，所述字典基包括：訓(xùn)練圖像的高分辨率 圖像塊以及與所述高分辨率圖像塊對(duì)應(yīng)的低分辨率圖像塊組合成的映射組，所述超分辨率 插值處理包括：進(jìn)行圖像放大及圖像的細(xì)節(jié)信息恢復(fù)；預(yù)測(cè)單元，用于對(duì)所述待編碼圖像 上的各個(gè)圖像塊在參考圖像上進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，得到與所述待編碼視頻圖像的各 個(gè)圖像塊對(duì)應(yīng)的預(yù)測(cè)塊；減法計(jì)算單元，用于將所述待編碼視頻圖像的各圖像塊與所述運(yùn) 動(dòng)估計(jì)單元估計(jì)得到的對(duì)應(yīng)的預(yù)測(cè)塊相減，得到預(yù)測(cè)殘差塊；編碼單元，用于對(duì)所述減法計(jì) 算單元計(jì)算得到的所述預(yù)測(cè)殘差塊進(jìn)行編碼處理。
[0009] 本發(fā)明實(shí)施例提供的基于圖像超分辨率的視頻解碼裝置，包括：解碼單元，用于對(duì) 獲取的圖像編碼流信號(hào)進(jìn)行解碼得到預(yù)測(cè)殘差塊；超分辨率插值處理單元，用于利用預(yù)訓(xùn) 練的紋理字典庫對(duì)待解碼視頻圖像進(jìn)行超分辨率插值處理，得到參考圖像，所述紋理字典 庫包括：一組或多組字典基，所述字典基包括：訓(xùn)練圖像的高分辨率圖像塊以及與所述高 分辨率圖像塊對(duì)應(yīng)的低分辨率圖像塊，所述超分辨率插值處理包括：進(jìn)行圖像放大及圖像 的細(xì)節(jié)信息恢復(fù)；預(yù)測(cè)單元，用于對(duì)所述待解碼視頻圖像上的各個(gè)圖像塊在所述參考圖像 上進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到與所述各個(gè)圖像塊對(duì)應(yīng)的預(yù)測(cè)塊；加法計(jì)算單元，用于將所述運(yùn)動(dòng)補(bǔ) 償處理單元得到的所述預(yù)測(cè)塊與所述解碼單元獲取得到的所述預(yù)測(cè)殘差塊相加得到解碼 后的視頻圖像。
[0010] 從以上技術(shù)方案可以看出，本發(fā)明實(shí)施例具有以下優(yōu)點(diǎn)： 本申請(qǐng)?zhí)峁┑幕趫D像超分辨率的視頻編解碼方法及裝置，本申請(qǐng)方法在對(duì)待編碼和 待編碼的視頻圖像進(jìn)行預(yù)測(cè)前，先對(duì)待編碼/待解碼視頻圖像進(jìn)行超分辨率插值處理，可 以對(duì)待編碼/待解碼圖像進(jìn)行放大及進(jìn)行細(xì)節(jié)信息恢復(fù)，從而，在對(duì)待編碼/待解碼圖像進(jìn) 行預(yù)測(cè)得到預(yù)測(cè)塊時(shí)，相比現(xiàn)有技術(shù)利用線性插值對(duì)視頻圖像進(jìn)行預(yù)測(cè)的方法，更能有效 還原原圖像，避免出現(xiàn)現(xiàn)有技術(shù)中預(yù)測(cè)塊邊緣模糊的問題，從而提升視頻圖像預(yù)測(cè)的準(zhǔn)確 性，進(jìn)而提升視頻圖像的編碼效率。

【專利附圖】

【附圖說明】
[0011] 本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施方式的描述中將 變得明顯和容易理解，其中 ： 圖1為實(shí)施例一的基于圖像超分辨率的視頻編碼方法的流程圖； 圖2a_2c為本申請(qǐng)一種實(shí)施例中圖像塊局部紋理結(jié)構(gòu)的特征提取示意圖； 圖3為實(shí)施例二的步驟101的一種實(shí)施方式的流程圖； 圖4為本實(shí)施例三的基于圖像超分辨率的視頻解碼方法流程圖； 圖5為實(shí)施例三的的步驟202的一種實(shí)施方式的流程圖； 圖6為本申請(qǐng)實(shí)施例五的裝置結(jié)構(gòu)示意圖； 圖7為本申請(qǐng)實(shí)施例五超分辨率插值處理單元的結(jié)構(gòu)示意圖； 圖8為本申請(qǐng)實(shí)施例六的裝置結(jié)構(gòu)示意圖； 圖9為本申請(qǐng)實(shí)施例六的超分辨率插值處理單元的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0012] 本申請(qǐng)實(shí)施例中，提供了一種基于圖像超分辨率的視頻編解碼方法及裝置，可以 恢復(fù)圖像的高頻信息，提高圖像的質(zhì)量，從而應(yīng)用于對(duì)視頻圖像的時(shí)域預(yù)測(cè)，提升預(yù)測(cè)的準(zhǔn) 確性，進(jìn)而提高編解碼效率。
[0013] 下面通過【具體實(shí)施方式】結(jié)合附圖對(duì)本申請(qǐng)作進(jìn)一步詳細(xì)說明。
[0014] 實(shí)施例一： 請(qǐng)參考圖1，圖1為一種實(shí)施例中基于圖像超分辨率的視頻編碼方法的流程圖。如圖1 所示，本實(shí)施例提供一種基于圖像超分辨率的視頻編碼方法，可以包括以下步驟： 101、利用預(yù)訓(xùn)練的紋理字典庫對(duì)待編碼視頻圖像進(jìn)行超分辨率插值處理。
[0015] 經(jīng)過超分辨率插值處理后，得到參考圖像。所述紋理字典庫包括：一組或多組字典 基，所述字典基為：訓(xùn)練圖像的高分辨率圖像塊以及與所述高分辨率圖像塊對(duì)應(yīng)的低分辨 率圖像塊組合的映射組，所述超分辨率插值處理包括：進(jìn)行圖像放大及圖像的細(xì)節(jié)信息恢 復(fù)。
[0016] 102、待編碼視頻圖像上的各個(gè)圖像塊在參考圖像上進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，得 到與各個(gè)圖像塊對(duì)應(yīng)的的預(yù)測(cè)塊。
[0017] 其中，所述圖像塊可以按照預(yù)設(shè)的劃分規(guī)則在視頻圖像上進(jìn)行劃分，例如：將 2X2個(gè)像素劃分為一個(gè)圖像塊。本申請(qǐng)對(duì)劃分規(guī)則僅作舉例不作具體限定。
[0018] 本實(shí)施例步驟中，可以對(duì)待編碼視頻圖像上劃分好的各個(gè)圖像塊進(jìn)行在參考圖像 中進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，計(jì)算各個(gè)圖像塊在參考幀中的位置偏移和對(duì)應(yīng)像素值，從而 得到經(jīng)過運(yùn)動(dòng)估計(jì)后的與待編碼視頻圖像的各個(gè)圖像塊對(duì)應(yīng)的預(yù)測(cè)塊。
[0019] 103、將所述待編碼視頻圖像的圖像塊與對(duì)應(yīng)的預(yù)測(cè)塊相減，得到預(yù)測(cè)殘差塊。
[0020] 104、對(duì)預(yù)測(cè)殘差塊進(jìn)行編碼處理。
[0021] 本申請(qǐng)實(shí)施例一提供的基于圖像超分辨率的視頻編碼方法，利用預(yù)訓(xùn)練的紋理字 典庫對(duì)待編碼視頻圖像進(jìn)行超分辨率插值處理，可以對(duì)待編碼圖像進(jìn)行放大及進(jìn)行細(xì)節(jié)信 息恢復(fù)，再對(duì)進(jìn)行超分辨率插值處理后的參考圖像塊進(jìn)行運(yùn)動(dòng)估計(jì)，得到對(duì)應(yīng)的預(yù)測(cè)塊，然 后將預(yù)測(cè)塊與待編碼視頻圖像相減得到殘差塊，再對(duì)殘差塊進(jìn)行編碼。相比現(xiàn)有技術(shù)利用 線性插值對(duì)視頻圖像進(jìn)行預(yù)測(cè)的方法，本申請(qǐng)方法在對(duì)待編碼的視頻圖像進(jìn)行預(yù)測(cè)前，先 對(duì)待編碼視頻圖像進(jìn)行超分辨率插值處理，可以對(duì)待編碼圖像進(jìn)行放大及進(jìn)行細(xì)節(jié)信息恢 復(fù)，這樣，在對(duì)待編碼圖像進(jìn)行運(yùn)動(dòng)估計(jì)處理得到預(yù)測(cè)塊時(shí)，避免出現(xiàn)現(xiàn)有技術(shù)中預(yù)測(cè)塊邊 緣模糊的問題，從而提升預(yù)測(cè)的準(zhǔn)確性，進(jìn)而提高編碼效率。
[0022] -個(gè)優(yōu)選的實(shí)施例中，紋理字典庫中各字典基按照各訓(xùn)練圖像的高分辨率圖像塊 的局部特征以及與所述高分辨率圖像塊對(duì)應(yīng)的低分辨率圖像塊的局部特征進(jìn)行分類，所述 局部特征包括局部二值結(jié)構(gòu)（LBS, Local Binary Structure)和銳利邊緣結(jié)構(gòu)（SES，Sharp Edge Structure)。
[0023] 本實(shí)施例中，紋理字典是預(yù)先訓(xùn)練得到的，紋理字典的預(yù)訓(xùn)練可以采取以下實(shí)施 方式： S1、從包含若干個(gè)訓(xùn)練圖像的訓(xùn)練圖像集中選取多個(gè)高分辨率局部圖像塊，其中，高分 辨率局部圖像塊由其所在圖像上的至少兩個(gè)像素點(diǎn)組成。對(duì)訓(xùn)練圖像進(jìn)行降采樣處理，獲 取與每個(gè)局部圖像塊一一對(duì)應(yīng)的低分辨率局部圖像塊。
[0024] S2、提取高分辨率局部圖像塊的局部特征，得到高分辨率字典樣本Dh(y)，以及，提 取與每個(gè)所述局部圖像塊一一對(duì)應(yīng)的低分辨率局部圖像塊的局部特征，得到低分辨率字典 樣本D1 (y)，將所述高分辨率字典樣本與所述低分辨率字典樣本相互映射組合得到一組字 典基樣本，所述局部特征包括LBS和SES。
[0025] S3、對(duì)所述多組字典基樣本進(jìn)行訓(xùn)練，得到紋理字典庫。
[0026] 下面對(duì)本申請(qǐng)實(shí)施例一中利用預(yù)訓(xùn)練的紋理字典庫對(duì)視頻圖像進(jìn)行超分辨率插 值處理的過程及原理進(jìn)行舉例說明。
[0027] 如圖2a、2b和2c所示，A、B、C、D是局部相鄰的四個(gè)像素點(diǎn)，圖中，像素點(diǎn)的高度反 應(yīng)了像素點(diǎn)的灰度值大小。如圖2a所示，A、B、C、D四個(gè)像素點(diǎn)組成一塊平坦局部區(qū)域，因 此灰度值大小相等。如圖2b所示，像素點(diǎn)A和B的灰度值比像素點(diǎn)C和D的灰度值高。本 實(shí)施例定義LBS-Geometry (LBS_G)區(qū)分這種幾何結(jié)構(gòu)上的不同，LBS-Geometry (LBS_G) 的計(jì)算方式如公式（1):

【權(quán)利要求】
1. 一種基于圖像超分辨率的視頻編碼方法，其特征在于，包括： 利用預(yù)訓(xùn)練的紋理字典庫對(duì)待編碼視頻圖像進(jìn)行超分辨率插值處理，得到參考圖像， 所述紋理字典庫包括：一組或多組字典基，所述字典基包括：訓(xùn)練圖像的高分辨率圖像塊 以及與所述高分辨率圖像塊對(duì)應(yīng)的低分辨率圖像塊組合成的映射組，所述超分辨率插值處 理包括：進(jìn)行圖像放大及圖像的細(xì)節(jié)信息恢復(fù)； 對(duì)所述待編碼視頻圖像上的各個(gè)圖像塊在所述參考圖像上進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償， 得到與所述待編碼視頻圖像的各個(gè)圖像塊對(duì)應(yīng)的預(yù)測(cè)塊； 將所述待編碼視頻圖像的圖像塊與對(duì)應(yīng)的所述預(yù)測(cè)塊相減，得到預(yù)測(cè)殘差塊； 對(duì)所述預(yù)測(cè)殘差塊進(jìn)行編碼處理。
2. 如權(quán)利要求1所述的基于圖像超分辨率的視頻編碼方法，其特征在于，所述紋理字 典庫中各字典基按照各訓(xùn)練圖像的高分辨率圖像塊的局部特征以及與所述高分辨率圖像 塊對(duì)應(yīng)的低分辨率圖像塊的局部特征進(jìn)行分類，所述局部特征包括局部二值結(jié)構(gòu)和銳利邊 緣結(jié)構(gòu)。
3. 如權(quán)利要求2所述的基于圖像超分辨率的視頻編碼方法，其特征在于，所述利用預(yù) 訓(xùn)練的紋理字典庫對(duì)待編碼視頻圖像進(jìn)行超分辨率插值處理包括： 提取待編碼視頻圖像上各個(gè)圖像塊的局部特征； 將所述待編碼視頻圖像中各個(gè)圖像塊的局部特征與所述紋理字典庫中各個(gè)字典基的 局部特征進(jìn)行匹對(duì)，獲取匹對(duì)的字典基； 利用所述匹對(duì)的字典基對(duì)所述待編碼視頻圖像上對(duì)應(yīng)的圖像塊進(jìn)行圖像細(xì)節(jié)信息恢 復(fù)及圖像放大處理。
4. 一種基于圖像超分辨率的視頻解碼方法，其特征在于，包括： 對(duì)獲取的圖像編碼流信號(hào)進(jìn)行解碼得到預(yù)測(cè)殘差塊； 利用預(yù)訓(xùn)練的紋理字典庫對(duì)待解碼視頻圖像進(jìn)行超分辨率插值處理，得到參考圖像， 所述紋理字典庫包括：一組或多組字典基，所述字典基為：訓(xùn)練圖像的高分辨率圖像塊以 及與所述高分辨率圖像塊對(duì)應(yīng)的低分辨率圖像塊組合成的映射組，所述超分辨率插值處理 包括：進(jìn)行圖像放大及圖像的細(xì)節(jié)信息恢復(fù)； 對(duì)所述待解碼視頻圖像上的各個(gè)圖像塊在所述參考圖像上進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到與所述 各個(gè)圖像塊對(duì)應(yīng)的預(yù)測(cè)塊； 將所述預(yù)測(cè)塊與所述預(yù)測(cè)殘差塊相加得到解碼后的視頻圖像。
5. 如權(quán)利要求4所述的基于圖像超分辨率的視頻解碼方法，其特征在于，所述紋理字 典庫中各字典基按照各訓(xùn)練圖像的高分辨率圖像塊的局部特征以及與所述高分辨率圖像 塊對(duì)應(yīng)的低分辨率圖像塊的局部特征進(jìn)行分類，所述局部特征包括局部二值結(jié)構(gòu)和銳利 邊緣結(jié)構(gòu)。
6. 如權(quán)利要求5所述的基于圖像超分辨率的視頻解碼方法，其特征在于，所述利用預(yù) 訓(xùn)練的紋理字典庫對(duì)待解碼視頻圖像進(jìn)行超分辨率插值處理包括： 提取所述待解碼視頻圖像各個(gè)圖像塊的局部特征； 將所述待解碼視頻圖像中各個(gè)圖像塊的的局部特征與所述紋理字典庫中各個(gè)字典基 的局部特征進(jìn)行匹對(duì)，獲取匹對(duì)的字典基； 利用所述匹對(duì)的字典基對(duì)所述待解碼視頻圖像進(jìn)行細(xì)節(jié)信息恢復(fù)及圖像放大處理。
7. -種基于圖像超分辨率的視頻編碼裝置，其特征在于，包括： 超分辨率插值處理單元，用于利用預(yù)訓(xùn)練的紋理字典庫對(duì)待編碼視頻圖像進(jìn)行超分辨 率插值處理，得到參考圖像，所述紋理字典庫包括：一組或多組字典基，所述字典基包括： 訓(xùn)練圖像的高分辨率圖像塊以及與所述高分辨率圖像塊對(duì)應(yīng)的低分辨率圖像塊組合成的 映射組，所述超分辨率插值處理包括：進(jìn)行圖像放大及圖像的細(xì)節(jié)信息恢復(fù)； 預(yù)測(cè)單元，用于對(duì)所述待編碼圖像上的各個(gè)圖像塊在參考圖像上進(jìn)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng) 補(bǔ)償，得到與所述待編碼視頻圖像的各個(gè)圖像塊對(duì)應(yīng)的預(yù)測(cè)塊； 減法計(jì)算單元，用于將所述待編碼視頻圖像的各圖像塊與所述運(yùn)動(dòng)估計(jì)單元估計(jì)得到 的對(duì)應(yīng)的預(yù)測(cè)塊相減，得到預(yù)測(cè)殘差塊； 編碼單元，用于對(duì)所述減法計(jì)算單元計(jì)算得到的所述預(yù)測(cè)殘差塊進(jìn)行編碼處理。
8. 如權(quán)利要求7所述的基于圖像超分辨率的視頻編碼裝置，其特征在于， 所述紋理字典庫中各字典基按照各訓(xùn)練圖像的高分辨率圖像塊的局部特征以及與所 述高分辨率圖像塊對(duì)應(yīng)的低分辨率圖像塊的局部特征進(jìn)行分類，所述局部特征包括局部二 值結(jié)構(gòu)和銳利邊緣結(jié)構(gòu)； 所述超分辨率插值處理單元具體包括： 提取模塊，用于提取待編碼視頻圖像上各圖像塊的局部特征； 匹對(duì)模塊，用于將所述提取模塊提取的所述待編碼視頻圖像中各個(gè)圖像塊的局部特征 與所述紋理字典庫中各個(gè)字典基的局部特征進(jìn)行匹對(duì)，獲取匹對(duì)的字典基； 圖像處理模塊，用于利用所述匹對(duì)模塊匹對(duì)出的所述匹對(duì)的字典基對(duì)所述待編碼視頻 圖像上對(duì)應(yīng)的圖像塊進(jìn)行圖像細(xì)節(jié)信息恢復(fù)及圖像放大處理。
9. 一種基于圖像超分辨率的視頻解碼裝置，其特征在于，包括： 解碼單元，用于對(duì)獲取的圖像編碼流信號(hào)進(jìn)行解碼得到預(yù)測(cè)殘差塊； 超分辨率插值處理單元，用于利用預(yù)訓(xùn)練的紋理字典庫對(duì)待解碼視頻圖像進(jìn)行超分辨 率插值處理，得到參考圖像，所述紋理字典庫包括：一組或多組字典基，所述字典基為：訓(xùn) 練圖像的高分辨率圖像塊以及與所述高分辨率圖像塊對(duì)應(yīng)的低分辨率圖像塊組合成的映 射組，所述超分辨率插值處理包括：進(jìn)行圖像放大及圖像的細(xì)節(jié)信息恢復(fù)； 預(yù)測(cè)單元，用于對(duì)所述待解碼視頻圖像上的各個(gè)圖像塊在所述參考圖像上進(jìn)行運(yùn)動(dòng)補(bǔ) 償，得到與所述各個(gè)圖像塊對(duì)應(yīng)的預(yù)測(cè)塊； 加法計(jì)算單元，用于將所述運(yùn)動(dòng)補(bǔ)償處理單元得到的所述預(yù)測(cè)塊與所述解碼單元獲取 得到的所述預(yù)測(cè)殘差塊相加得到解碼后的視頻圖像。
10. 如權(quán)利要求9所述的基于圖像超分辨率的視頻解碼裝置，其特征在于，所述紋理字 典庫中各字典基按照各訓(xùn)練圖像的高分辨率圖像塊的局部特征以及與所述高分辨率圖像 塊對(duì)應(yīng)的低分辨率圖像塊的局部特征進(jìn)行分類，所述局部特征包括局部二值結(jié)構(gòu)和銳利邊 緣結(jié)構(gòu)； 所述超分辨率插值處理單元包括： 提取模塊，用于提取所述待解碼視頻圖像的局部特征； 匹對(duì)模塊，用于將所述提取模塊提取的所述待解碼視頻圖像中各個(gè)圖像塊的的局部特 征與所述紋理字典庫中各個(gè)字典基的局部特征進(jìn)行匹對(duì)，獲取匹對(duì)的字典基； 圖像處理模塊，利用所述匹對(duì)模塊匹對(duì)出的所述匹對(duì)的字典基對(duì)所述待解碼視頻圖像 進(jìn)行細(xì)節(jié)信息恢復(fù)及圖像放大處理。
【文檔編號(hào)】H04N19/53GK104244006SQ201410230514
【公開日】2014年12月24日 申請(qǐng)日期:2014年5月28日 優(yōu)先權(quán)日:2014年5月28日
【發(fā)明者】王榮剛, 趙洋, 王振宇, 高文, 王文敏, 董勝富, 黃鐵軍, 馬思偉 申請(qǐng)人:北京大學(xué)深圳研究生院