專利名稱：基于稀疏表示的視頻差錯隱藏方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種基于稀疏表示的視頻差錯隱藏方法 和裝置。
背景技術(shù)：
作為互聯(lián)網(wǎng)和第三代移動(3G)網(wǎng)絡(luò)的殺手級應(yīng)用，實時視頻通信服務(wù)已經(jīng)成為 了運營商、設(shè)備商和服務(wù)提供商所共同關(guān)注的焦點。其核心在于如何為用戶提供高質(zhì)量的 視頻傳輸質(zhì)量。但是，底層承載網(wǎng)絡(luò)具有時變性，給視頻流高效傳輸造成了較大的不確定 性。特別是，突發(fā)的網(wǎng)絡(luò)擁塞或者信道衰落將導(dǎo)致接收端視頻流的解碼差錯，進一步導(dǎo)致重 構(gòu)圖像出現(xiàn)嚴重失真。為了掩蓋此類視頻圖像的視覺失真，差錯隱藏算法應(yīng)運而生，并作一 種流媒體應(yīng)用中必備的解碼后處理工具。差錯隱藏的本質(zhì)是根據(jù)正確接收的各種視頻信息(如紋理、編碼模式和運動向量 等)來最大程度地恢復(fù)解碼出錯的圖像區(qū)域。目前，學(xué)術(shù)界和工業(yè)界設(shè)計的差錯隱藏算法 主要基于兩類思路(1)時域替代策略，即直接采用前一解碼圖像中的對應(yīng)宏塊(相同位置 的參考宏塊，或者當(dāng)前宏塊運動向量所指向的參考宏塊)替代當(dāng)前損壞宏塊；(2)空域平滑 策略，即利用周邊像素信息插值出當(dāng)前損壞宏塊的像素值。第一類思路雖然利用了視頻幀 時域上的相關(guān)性，但是對損壞區(qū)域的空域紋理信息并沒有很好的利用。第二類思路則往往 不適用于連續(xù)信息包丟失的情況。因為位于損壞區(qū)域周圍的宏塊大量丟失，也就意味著能 夠提供給空域掩蓋策略的信息相當(dāng)有限，所以能重構(gòu)的圖像質(zhì)量將會很差。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷，本發(fā)明提供一種基于稀疏表示的視頻 差錯隱藏方法和裝置。為達到上述目的，本發(fā)明一方面提出一種基于稀疏表示的視頻差錯隱藏方法，包 括以下步驟檢測并獲取當(dāng)前幀中的損壞像素區(qū)和完好的像素區(qū)；獲得所述當(dāng)前幀中完好 的像素區(qū)內(nèi)像素相對于參考幀的運動向量；根據(jù)所述運動向量對所述當(dāng)前幀和所述參考幀 進行宏塊匹配以生成所述完好的像素區(qū)的運動補償后的殘差圖像；根據(jù)所述殘差圖像構(gòu)建 圖像稀疏度目標(biāo)函數(shù)；和對所述圖像稀疏度目標(biāo)函數(shù)求解，并根據(jù)求解結(jié)果填充所述損壞 像素區(qū)。本發(fā)明另一方面還提出了一種基于稀疏表示的視頻差錯隱藏裝置，包括宏塊檢 測和獲取模塊，用于檢測并獲取當(dāng)前幀中的損壞像素區(qū)和完好的像素區(qū)；運動向量檢測獲 得模塊，用于獲得所述當(dāng)前幀中完好的像素區(qū)內(nèi)像素相對于參考幀的運動向量；殘差圖像 生成模塊，用于根據(jù)所述運動向量對所述當(dāng)前幀和所述參考幀進行宏塊匹配以生成所述完 好的像素區(qū)的運動補償后的殘差圖像；稀疏度目標(biāo)函數(shù)構(gòu)建模塊，用于根據(jù)所述殘差圖像 生成模塊生成的所述殘差圖像構(gòu)建圖像稀疏度目標(biāo)函數(shù)；和填充模塊，用于對所述稀疏度 目標(biāo)函數(shù)構(gòu)建模塊生成的圖像稀疏度目標(biāo)函數(shù)求解，并根據(jù)求解結(jié)果填充所述損壞像素
4區(qū)。本發(fā)明直接利用了圖像稀疏表示特性來重構(gòu)發(fā)生錯誤的圖像區(qū)域，簡單易用，性 能優(yōu)異，且本發(fā)明聯(lián)合利用了視頻幀間和幀內(nèi)的相關(guān)特性，可以有效地對大區(qū)域損壞的視 頻進行恢復(fù)。另外，本發(fā)明利用視頻幀的空域和時域相關(guān)性，并聯(lián)合優(yōu)化空域圖像和時域殘 差圖像的稀疏度表示函數(shù)，從而確保在惡劣的傳輸狀況下都能有優(yōu)異的差錯掩蓋性能。因 此，本發(fā)明不僅解決了用戶端接收視頻數(shù)據(jù)出錯時視頻質(zhì)量大幅下降的問題，而且還能夠 克服現(xiàn)有技術(shù)中存在的不足。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變 得明顯和容易理解，其中圖1為本發(fā)明實施例的基于稀疏表示的視頻差錯隱藏方法的流程圖；圖2為本發(fā)明實施例的構(gòu)建運動補償后的殘差圖像的示意圖；圖3為本發(fā)明實施例的基于稀疏表示的視頻差錯隱藏裝置結(jié)構(gòu)圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。如圖1所示，為本發(fā)明實施例的基于稀疏表示的視頻差錯隱藏方法的流程圖。如 圖2所示，為本發(fā)明實施例的構(gòu)建運動補償后的殘差圖像的示意圖，其中，F(xiàn)。為當(dāng)前幀，&為 F。對應(yīng)的參考幀。設(shè)巧和分別為當(dāng)前幀F(xiàn)。和參考幀&中像素位置3f處的像素值， M句為當(dāng)前幀F(xiàn)。中像素?zé)o所對應(yīng)的運動向量。該方法包括以下步驟步驟S101，檢測并獲取當(dāng)前幀F(xiàn)。中損壞的像素區(qū)域錢(即圖2中的灰度方塊)和 完好的像素區(qū)Ds (即圖2中的白色方塊)。步驟S 102，獲得當(dāng)前幀中完好的像素區(qū)Ds內(nèi)像素3 相對于參考幀的運動向量 v(x)。步驟S103，根據(jù)所述運動向量對當(dāng)前幀F(xiàn)。和參考幀F(xiàn),進行宏塊匹配以生成所述 完好的像素區(qū)Ds的運動補償后的殘差圖像FA(x eDs) = Fr(3c + v(3c);3c e(無e￡>s)。步驟S104，根據(jù)所述殘差圖像構(gòu)建圖像稀疏度目標(biāo)函數(shù)。設(shè)v為逆向二維離散余 弦變換(DCT)基，e。為當(dāng)前幀F(xiàn)。的二維DCT系數(shù)(空域圖像的稀疏表示)，e A為殘差幀 Fa的二維DCT系數(shù)(時域運動補償后殘差圖像的稀疏表示)。在本發(fā)明的一個實施例中， 例如可設(shè)置這兩類稀疏度表示的加權(quán)系數(shù)、=0.6，該加權(quán)稀疏度優(yōu)化的目標(biāo)函數(shù)如下min || Vec[ e J || +0. 6X || Vec[ e J ||
5
S.t. FA (x G ) = S[i//0A
S*[^c]-Fr(xeD;) = S*[^A]其中，|| ||工表示求取一階范數(shù)操作符，Vec[ ]表示矩陣向量化操作符，S[ ] 為對Ds區(qū)域的采樣操作符，S*[ ]為對耗區(qū)域的采樣操作符，s. t.表示對極約束條件。步驟S105，對待約束的圖像稀疏度目標(biāo)函數(shù)求解。在本發(fā)明的一個實施例中，可利 用拉格朗日乘子法將上述帶約束的最小化目標(biāo)函數(shù)轉(zhuǎn)化為無約束的最小化問題，即
■I {nnnJ(0c;0&;j3) = \Vec[dc}\ +0.6x|—4 氏 1^ Ds)-S[V6c)}—其中，3為拉格朗日乘子。對上述無約束最小化問題，采用迭代閾值算法(FISTA)獲取最優(yōu)解的是和 式。具體迭代求解過程可參見文獻(A. Beck, and M. Teboulle, "A fastiterative shrinkage-thresholding algorithm for linear inverse problems, " SIAMJournal on Imaging Sciences, vol. 2, no. 1,pp.183-202,2009.)步驟S106，計算么的逆向二維DCT變換并取出損壞區(qū)域?qū)?yīng)的像素值 S*[^0C]，以及以此結(jié)果填補損壞的像素區(qū)域《。如圖3所示，為本發(fā)明實施例的基于稀疏表示的視頻差錯隱藏裝置結(jié)構(gòu)圖。該裝 置100包括宏塊檢測和獲取模塊110、運動向量檢測獲得模塊120、殘差圖像生成模塊130、 稀疏度目標(biāo)函數(shù)構(gòu)建模塊140和填充模塊150。宏塊檢測和獲取模塊110用于檢測并獲取 當(dāng)前幀中的損壞像素區(qū)和完好的像素區(qū)。運動向量檢測獲得模塊120用于獲得所述當(dāng)前幀 中完好的像素區(qū)內(nèi)像素相對于參考幀的運動向量。殘差圖像生成模塊130用于根據(jù)運動向 量對當(dāng)前幀和所述參考幀進行宏塊匹配以生成所述完好的像素區(qū)的運動補償后的殘差圖 像。稀疏度目標(biāo)函數(shù)構(gòu)建模塊140用于根據(jù)殘差圖像生成模塊130生成的所述殘差圖像構(gòu) 建圖像稀疏度目標(biāo)函數(shù)。填充模塊150用于對稀疏度目標(biāo)函數(shù)構(gòu)建模塊140生成的圖像稀 疏度目標(biāo)函數(shù)求解，并根據(jù)求解結(jié)果填充所述損壞像素區(qū)。在本發(fā)明的一個實施例中，填充模塊150包括計算子模塊151和填充子模塊152。 計算子模塊151用于利用拉格朗日乘子法和迭代閾值算法獲取最優(yōu)解的4和4，并計算4的
逆向二維DCT變換yg。填充子模塊152用于取出損壞區(qū)域?qū)?yīng)的像素值么]，并以此結(jié)
果填補損壞的像素區(qū)域錢。本發(fā)明直接利用了圖像稀疏表示特性來重構(gòu)發(fā)生錯誤的圖像區(qū)域，簡單易用，性 能優(yōu)異，本發(fā)明聯(lián)合利用了視頻幀間和幀內(nèi)的相關(guān)特性，可以有效地對大區(qū)域損壞的視頻 進行恢復(fù)。另外，本發(fā)明利用視頻幀的空域和時域相關(guān)性，并聯(lián)合優(yōu)化空域圖像和時域殘差 圖像的稀疏度表示函數(shù)，從而確保在惡劣的傳輸狀況下都能有優(yōu)異的差錯掩蓋性能。因此， 本發(fā)明不僅解決了用戶端接收視頻數(shù)據(jù)出錯時視頻質(zhì)量大幅下降的問題，而且還能夠克服 現(xiàn)有技術(shù)中存在的不足。
6
盡管已經(jīng)示出和描述了本發(fā)明的實施例，對于本領(lǐng)域的普通技術(shù)人員而言，可以 理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換 和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
權(quán)利要求
一種基于稀疏表示的視頻差錯隱藏方法，其特征在于，包括以下步驟檢測并獲取當(dāng)前幀中的損壞像素區(qū)和完好的像素區(qū)；獲得所述當(dāng)前幀中完好的像素區(qū)內(nèi)像素相對于參考幀的運動向量；根據(jù)所述運動向量對所述當(dāng)前幀和所述參考幀進行宏塊匹配以生成所述完好的像素區(qū)的運動補償后的殘差圖像；根據(jù)所述殘差圖像構(gòu)建圖像稀疏度目標(biāo)函數(shù)；和對所述圖像稀疏度目標(biāo)函數(shù)求解，并根據(jù)求解結(jié)果填充所述損壞像素區(qū)。
2.如權(quán)利要求1所述的基于稀疏表示的視頻差錯隱藏方法，其特征在于，所述殘差圖 像為 ,其中，Ds為完好的像素區(qū)，巧(3f)為當(dāng)前幀F(xiàn)。的像素值函數(shù)，乃(句為F。對應(yīng)的參考幀&的像素值，其中j表示像素在視頻幀 中的坐標(biāo)是當(dāng)前幀F(xiàn)。中像素3 所對應(yīng)的運動向量。
3.如權(quán)利要求2所述的基于稀疏表示的視頻差錯隱藏方法，其特征在于，所述圖像稀 疏度目標(biāo)函數(shù)為 e。為當(dāng)前幀F(xiàn)。的二維DCT系數(shù)，e A為參考幀？，的二維DCT系數(shù)，II II i表示求取一階 范數(shù)操作符，\ G
為預(yù)先設(shè)定的加權(quán)系數(shù)，Vec[ ]表示矩陣向量化操作符，S[ ] 為對Ds區(qū)域的采樣操作符，S*[ ]為對錢區(qū)域的采樣操作符，s. t.表示約束條件。
4.如權(quán)利要求3所述的基于稀疏表示的視頻差錯隱藏方法，其特征在于，所述對圖像 稀疏度目標(biāo)函數(shù)求解，并根據(jù)求解結(jié)果填充所述損壞像素區(qū)進一步包括利用拉格朗日乘子法和迭代閾值算法獲取最優(yōu)解的&和& ；和計算&的逆向二維DCT變換一丨，并取出損壞區(qū)域?qū)?yīng)的像素值 以及以此結(jié)果填補損壞的像素區(qū)域戰(zhàn)。
5.一種基于稀疏表示的視頻差錯隱藏裝置，其特征在于，包括宏塊檢測和獲取模塊，用于檢測并獲取當(dāng)前幀中的損壞像素區(qū)和完好的像素區(qū)； 運動向量檢測獲得模塊，用于獲得所述當(dāng)前幀中完好的像素區(qū)內(nèi)像素相對于參考幀的 運動向量；殘差圖像生成模塊，用于根據(jù)所述運動向量對所述當(dāng)前幀和所述參考幀進行宏塊匹配 以生成所述完好的像素區(qū)的運動補償后的殘差圖像；稀疏度目標(biāo)函數(shù)構(gòu)建模塊，用于根據(jù)所述殘差圖像生成模塊生成的所述殘差圖像構(gòu)建 圖像稀疏度目標(biāo)函數(shù)；和填充模塊，用于對所述稀疏度目標(biāo)函數(shù)構(gòu)建模塊生成的圖像稀疏度目標(biāo)函數(shù)求解，并 根據(jù)求解結(jié)果填充所述損壞像素區(qū)?！渲?，V為逆向二維離散余弦變換DCT基，
6.如權(quán)利要求5所述的基于稀疏表示的視頻差錯隱藏裝置，其特征在于，所述殘差圖 像為&(無€壞)=廠(無+汽句;3^壞)-巧(無€辟),其中，Ds為完好的像素區(qū)，巧⑷為當(dāng)前幀F(xiàn)。的像素值函數(shù)，F(xiàn)r (芍為F。對應(yīng)的參考幀&的像素值，其中，表示像素在視頻幀中 的坐標(biāo)，^句是當(dāng)前幀F(xiàn)。中像素jf所對應(yīng)的運動向量。
7.如權(quán)利要求6所述的基于稀疏表示的視頻差錯隱藏裝置，其特征在于，所述圖像稀 疏度目標(biāo)函數(shù)為minll Vec[0j || A || Vec[ 0 J || :Fc(xeDs) = S[W0c}Si.=’其中，￥為逆向二維離散余弦變換DCT基，S*[￥Gc}-Fr{x^D"s) = S*[￥e,}e。為當(dāng)前幀F(xiàn)。的二維DCT系數(shù)，e A為參考幀^的二維DCT系數(shù)，II II i表示求取一階 范數(shù)操作符，\ G
為預(yù)先設(shè)定的加權(quán)系數(shù)，Vec[ ]表示矩陣向量化操作符，S[ ] 為對Ds區(qū)域的采樣操作符，S*[ ]為對《區(qū)域的采樣操作符，s. t.表示約束條件。
8.如權(quán)利要求7所述的基于稀疏表示的視頻差錯隱藏裝置，其特征在于，所述填充模 塊包括計算子模塊，用于利用拉格朗日乘子法和迭代閾值算法獲取最優(yōu)解的4和4，并計算4 的逆向二維0(^變換^4;和填充子模塊，用于取出損壞區(qū)域?qū)?yīng)的像素值，并以此結(jié)果填補損壞的像素區(qū) 域鴿。
全文摘要
本發(fā)明提出一種基于稀疏表示的視頻差錯隱藏方法，包括檢測并獲取當(dāng)前幀中的損壞像素區(qū)和完好的像素區(qū)；獲得所述當(dāng)前幀中完好的像素區(qū)內(nèi)像素相對于參考幀的運動向量；根據(jù)所述運動向量對所述當(dāng)前幀和所述參考幀進行宏塊匹配以生成所述完好的像素區(qū)的運動補償后的殘差圖像；根據(jù)所述殘差圖像構(gòu)建圖像稀疏度目標(biāo)函數(shù)；和對所述圖像稀疏度目標(biāo)函數(shù)求解，并根據(jù)求解結(jié)果填充所述損壞像素區(qū)。本發(fā)明直接利用了圖像稀疏表示特性來重構(gòu)發(fā)生錯誤的圖像區(qū)域，簡單易用，性能優(yōu)異。
文檔編號H04N7/26GK101895769SQ20101021220
公開日2010年11月24日 申請日期2010年6月21日 優(yōu)先權(quán)日2010年6月21日
發(fā)明者戴瓊海, 肖紅江 申請人:清華大學(xué)