專利名稱：用于確定隱藏順序以使錯誤傳播最小化的技術(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于建立具有丟失和/或破壞數(shù)據(jù)的宏塊的隱藏(concealment)順序的技術(shù)。
背景技術(shù)：
在許多情況下，視頻流都經(jīng)歷壓縮(編碼)，以方便存儲和傳輸。常見的是，因?yàn)樾诺厘e誤和/或網(wǎng)絡(luò)擁塞，這種編碼的視頻流在傳輸期間造成數(shù)據(jù)丟失或者被破壞。一旦解碼，數(shù)據(jù)的丟失/破壞就將它自己顯現(xiàn)為被解碼圖像中的一個或多個宏塊中的丟失像素值。為減少可歸因于這種丟失/破壞的像素值的人為噪聲(artifact)，解碼器將通過從相同圖像中的其它宏塊、或者從另一幅圖像估計像素值，來“隱藏”這種丟失/破壞的像素值。術(shù)語“隱藏”有點(diǎn)用詞不當(dāng)，因?yàn)榻獯a器實(shí)際上并沒有隱藏丟失或破壞的像素值。
空間隱藏方法設(shè)法依賴于空間域中相鄰區(qū)域之間的相似性、利用相同圖像中其它區(qū)域的像素值來推導(dǎo)丟失/破壞的像素值。與空間錯誤隱藏相反，時間隱藏試圖恢復(fù)被編碼的運(yùn)動信息，即參考圖像索引和運(yùn)動矢量，以便從至少一個先前發(fā)送的宏塊估計丟失的像素值。當(dāng)錯誤不影響孤立的宏塊、但影響鄰接宏塊組時，隱藏錯誤可能需要利用已經(jīng)隱藏的塊的信息。如國際標(biāo)準(zhǔn)化組織/國際電信同盟(ISO/ITU)H.264視頻壓縮標(biāo)準(zhǔn)的Main Profile中定義的丟失片隱藏舉例說明了一種需要使用先前隱藏的宏塊的信息的典型情況。然而，這種策略易于傳播錯誤，并且損害被恢復(fù)圖像的質(zhì)量。
克服該困難的一種方法提出，從圖像邊界向內(nèi)進(jìn)行到圖像中心、隱藏全部宏塊列。左邊宏塊和右邊宏塊經(jīng)歷相互獨(dú)立的隱藏。類似，每一列內(nèi)的隱藏獨(dú)立地向上和向下進(jìn)行，直到隱藏的宏塊在中間會合為止。該方法通過在處理結(jié)尾隱藏通常難以預(yù)測、但是在視覺上重要的圖像中心，來減少錯誤傳播。然而，這樣實(shí)現(xiàn)隱藏降低了將有意義的信息從左傳到右的能力，反之亦然。在沒有來自圖像右邊宏塊的信息的情況下預(yù)測圖像左邊的宏塊，反之亦然。這種行為使對角線輪廓跨越丟失區(qū)域的傳播變得困難。
因而，需要一種在克服上述缺點(diǎn)的同時實(shí)現(xiàn)錯誤隱藏的技術(shù)。

發(fā)明內(nèi)容
簡而言之，根據(jù)本發(fā)明原理，通過在矩形陣列兩個較大邊之一的方向上漸進(jìn)地隱藏具有丟失/破壞的像素值的宏塊，來隱藏矩形陣列中的宏塊。因而，例如，對于寬度大于高度的矩形陣列，按照行進(jìn)行隱藏。相反，對于高度大于寬度的矩形陣列，按照列進(jìn)行隱藏。(對于方形陣列，可以任意地按照行或按照列進(jìn)行隱藏。)在陣列兩個較大邊之一的方向上漸進(jìn)地隱藏宏塊便于預(yù)測垂直、水平或?qū)蔷€方向的輪廓，由此與在與陣列大小無關(guān)的給定方向上漸進(jìn)地隱藏宏塊的先有隱藏技術(shù)相比、提高了隱藏質(zhì)量。


圖1顯示了被分成許多宏塊的圖像；圖2顯示了當(dāng)圖像預(yù)先被編碼、并通過易出錯信道被傳輸時、經(jīng)歷解碼之后的圖1圖像，其中信道中的錯誤造成了矩形宏塊陣列的丟失；圖3顯示了在根據(jù)先有技術(shù)從圖像外邊緣到圖像中心、按照列垂直地進(jìn)行錯誤隱藏的期間的圖2圖像；圖4顯示了在根據(jù)本發(fā)明原理按照行水平地進(jìn)行錯誤隱藏的期間的圖2圖像；圖5顯示了當(dāng)圖像預(yù)先被編碼、并且通過易出錯信道被傳輸時、經(jīng)歷解碼之后的圖1圖像，其中信道中的錯誤造成了非矩形宏塊陣列的丟失；以及圖6顯示了根據(jù)本發(fā)明原理將圖5的非矩形丟失宏塊陣列分割成兩個矩形子區(qū)，以使能錯誤隱藏。
具體實(shí)施例方式
如所提出的ISO/ITU H.264視頻壓縮標(biāo)準(zhǔn)所體現(xiàn)的基于塊視頻壓縮技術(shù)通過將圖像分成片進(jìn)行操作，每一片都包括一組宏塊或宏塊對，并且每個宏塊都根據(jù)該標(biāo)準(zhǔn)被編碼。宏塊典型地包括16×16像素的方形區(qū)。為了編碼，可以將宏塊進(jìn)一步分成不必是方形的子宏塊。當(dāng)對宏塊編碼時，每一個子宏塊都可以具有不同的編碼方式。圖1描述了將原始圖像100分成許多宏塊110。注意，圖像100內(nèi)的宏塊數(shù)目可以隨宏塊大小而變。
在所示的例子中，圖像100具有從圖像左上角對角地延伸到圖像右下角的黑條紋120。為說明起見，圖像100的剩下部分具有灰階(graylevel)。為方便傳輸，圖像100典型地將經(jīng)歷編碼，典型地通過幾種眾所周知的基于塊編碼技術(shù)中任一種、如所提出的ISO/ITU H.264標(biāo)準(zhǔn)中描述的技術(shù)來實(shí)現(xiàn)編碼。在已編碼圖像100的傳輸期間，一個或多個宏塊110可能被破壞。換句話說，這種宏塊110所攜帶的像素值將丟失或被污染。在顯示解碼后的圖像100的圖2中，顯現(xiàn)了這種情況的例子。圖2中的已解碼圖像100有許多行具有丟失像素值、并全部位于矩形錯誤區(qū)130中的宏塊。為方便說明，在圖2中以白色顯示具有丟失像素值的宏塊110，以便和以黑色或灰色顯示的具有完好無損像素值的那些宏塊形成對比，以黑色或灰色來顯示具有完好無損像素值的宏塊分別取決于這種宏塊是位于包括條紋120的對角線輪廓內(nèi)、還是位于條紋以外。
圖2的圖像100中錯誤區(qū)130內(nèi)每個宏塊110的丟失像素值的存在造成了視覺圖像人為噪聲。破壞的像素值也將引起人為噪聲。與圖1相比，位于圖2的錯誤區(qū)130中的宏塊110中的丟失像素值改變了圖2中的條紋120的外觀。尤其是，圖2中的條紋120看上去只從圖像左上角延伸到圖像中間。在努力將圖2的被解碼圖像100恢復(fù)成如圖1所示的原始狀態(tài)的過程中，作為解碼過程的一部分，錯誤區(qū)130中具有丟失像素值的宏塊110經(jīng)歷了錯誤隱藏。這種錯誤隱藏需要從相同圖像的其它宏塊或另一幅圖像估計丟失或破壞的像素值。
一種用于實(shí)現(xiàn)錯誤隱藏的方法提出，通過從圖像100的邊界向內(nèi)進(jìn)行到圖像中心、來垂直地隱藏全部宏塊列，如圖3所示。以H.264標(biāo)準(zhǔn)的參考軟件(reference software)實(shí)施的該方法造成了難以在水平或?qū)蔷€方向上傳播隱藏信息。如圖3所示，當(dāng)錯誤隱藏從外向內(nèi)按照列進(jìn)行時，在到達(dá)圖像100的中心以前、將不能檢測和條紋120的丟失部分關(guān)聯(lián)的信息。結(jié)果，圖像左下部分中具有丟失像素值的、在隱藏后應(yīng)該與黑色條紋120的輪廓一致的宏塊110已經(jīng)被錯誤像素值(灰色而不是黑色)隱藏。
為克服上述缺點(diǎn)，根據(jù)本發(fā)明原理、錯誤隱藏改為按照行水平地進(jìn)行，如圖4所示。以這種方式執(zhí)行錯誤隱藏使能在錯誤區(qū)130中的最上面一行宏塊110的隱藏期間檢測關(guān)于條紋120的信息。如可以從圖4看到，根據(jù)在至少一個鄰接行(例如剛好在錯誤區(qū)130之上的行)中正確收到的宏塊所攜帶的像素值，來隱藏錯誤區(qū)130中最上面一行宏塊110。在隱藏錯誤區(qū)130中最上面一行宏塊110后，像素值的信息漸進(jìn)地向下傳播到下面的每個鄰接宏塊行。換句話說，一旦隱藏錯誤區(qū)130中最上面一行宏塊110，則通過隱藏錯誤區(qū)130中最上面一行宏塊110獲得的像素值就用作用于預(yù)測下面緊接著的一行宏塊中的像素值的參考。一旦隱藏錯誤區(qū)130中下面接連的每一行宏塊110，則像素值用作用于預(yù)測錯誤區(qū)中下面緊接著的一行宏塊的參考值，等等。只要錯誤區(qū)130中最頂部行和最底部行的每一行都與正確收到的一行宏塊110鄰接，則隱藏也可以同時自頂向下和自底向上進(jìn)行，使得信息分別自頂向下和自底向上傳播。
在所示的實(shí)施例中，如果錯誤區(qū)130的寬度大于其高度，則按照行水平地隱藏宏塊將實(shí)現(xiàn)改進(jìn)的、但不必完善的條紋120重構(gòu)。水平地漸進(jìn)隱藏宏塊110的行允許信息在水平/對角線方向上傳播，由此提高隱藏質(zhì)量。為使水平方向的錯誤傳播最小化，隱藏以從左到右和從右到左的交替掃描形式發(fā)生。換句話說，錯誤區(qū)130中每隔一行中的宏塊110經(jīng)歷從左到右的隱藏，而介于其間的行中的宏塊經(jīng)歷從右到左的隱藏。一種用于實(shí)現(xiàn)這種交替掃描的簡單方案需要在相反方向上掃描偶數(shù)行和奇數(shù)行。
除了圖像100包含高度比寬度大的錯誤區(qū)130的情況以外，與按照列垂直地實(shí)現(xiàn)隱藏相比，以上述方式按照行水平地隱藏圖4中的宏塊110獲得了改進(jìn)的性能。在幾乎所有情況下，已編碼圖像100中的錯誤區(qū)130的寬度將比高度大。在圖像100的高度實(shí)際上比寬度大的極少情況下，宏塊隱藏應(yīng)該按照列垂直地進(jìn)行。為使垂直方向的錯誤傳播最小化，隱藏以從頂?shù)降缀蛷牡椎巾數(shù)慕惶鎾呙栊问桨l(fā)生。換句話說，每隔一列中的宏塊經(jīng)歷從頂?shù)降椎碾[藏，而介于其間的列中的宏塊則經(jīng)歷從底到頂?shù)碾[藏。一種用于實(shí)現(xiàn)這種交替掃描的簡單方案需要在相反方向上掃描偶數(shù)列和奇數(shù)列。
因而，根據(jù)本發(fā)明原理，錯誤隱藏應(yīng)該在宏塊陣列的兩個較大邊之一的方向上進(jìn)行。在這點(diǎn)上，建立圖像100的相對方向變得重要。實(shí)際上，在解碼期間圖像100的方向變得顯而易見。
為保證最佳性能，在執(zhí)行隱藏之前，應(yīng)該將非矩形錯誤區(qū)分成矩形子區(qū)。根據(jù)本發(fā)明原理對諸如圖4的錯誤區(qū)130的矩形錯誤區(qū)執(zhí)行錯誤隱藏保證了從最頂部行和最底部行(等效地，從最左邊列和最右邊列)的對稱進(jìn)行。如果錯誤區(qū)的寬度大于高度，則將錯誤區(qū)分成矩形子區(qū)，以便每個子區(qū)都具有和正確收到的行鄰接的最上面行和最下面行。如果錯誤區(qū)的高度大于寬度，則將錯誤區(qū)分成矩形子區(qū)，以便每個子區(qū)都具有和正確收到的列鄰接的最左邊列和最右邊列。
為更好理解分割非矩形錯誤區(qū)的過程，參考圖5，圖5描述了當(dāng)圖像在解碼之前已經(jīng)經(jīng)歷了通過造成結(jié)果錯誤的易出錯信道的傳輸?shù)臅r候、解碼后的圖1圖像100。這種錯誤在圖5的圖像100中以非矩形錯誤區(qū)130’的形式顯示了錯誤自己。根據(jù)本發(fā)明原理，非矩形錯誤區(qū)130’被分成兩個或多個矩形子區(qū)，如圖6中的子區(qū)1351和1352所示，每個子區(qū)都具有和正確收到的一行宏塊接壤的最上面行和最下面行。此后，通過在相反方向上在子區(qū)1351和1352的每個子區(qū)中交替掃描宏塊行，來隱藏每個子區(qū)中的宏塊，如每個子區(qū)中的蜿蜒箭頭所示。
以上描述了一種建立矩形陣列中宏塊的隱藏順序的技術(shù)，該技術(shù)便于預(yù)測垂直、水平或?qū)蔷€方向的輪廓預(yù)測，由此提高隱藏質(zhì)量。
權(quán)利要求
1.一種用于建立具有相對邊的矩形陣列中的宏塊的隱藏順序的方法，包括以下步驟通過在陣列的較大邊之一的方向上進(jìn)行隱藏，來隱藏具有丟失/破壞的像素值的宏塊。
2.根據(jù)權(quán)利要求1所述的方法，包括以下步驟在相對方向上，向陣列兩個較大邊的每個邊漸進(jìn)地隱藏，直到到達(dá)陣列中心部分為止。
3.一種隱藏具有N行和M列的矩形陣列中的宏塊的方法，其中N大于M，該方法包括以下步驟通過在自頂向下和自底向上方向至少之一上按照行水平地進(jìn)行隱藏，來隱藏具有丟失/破壞的像素值的宏塊。
4.根據(jù)權(quán)利要求3所述的方法，其中隱藏同時在自頂向下和自底向上方向上按照行水平地進(jìn)行。
5.根據(jù)權(quán)利要求3所述的方法，其中隱藏只在自頂向下方向上按照行水平地進(jìn)行。
6.根據(jù)權(quán)利要求3所述的方法，其中隱藏只在自底向上方向上按照行水平地進(jìn)行。
7.根據(jù)權(quán)利要求3所述的方法，其中在從左到右方向和從右到左方向之一上掃描每一行中的宏塊。
8.根據(jù)權(quán)利要求7所述的方法，其中從左到由和從右到左，交替地掃描連續(xù)行中的宏塊。
9.根據(jù)權(quán)利要求3所述的方法，其中從左到右隱藏所有行中的宏塊。
10.根據(jù)權(quán)利要求3所述的方法，其中從右到左隱藏所有行中的宏塊。
11.根據(jù)權(quán)利要求5所述的方法，其中從左到右隱藏偶數(shù)行中的宏塊。
12.根據(jù)權(quán)利要求5所述的方法，其中從右到左隱藏奇數(shù)行中的宏塊。
13.根據(jù)權(quán)利要求5所述的方法，其中從右到左隱藏偶數(shù)行中的宏塊。
14.根據(jù)權(quán)利要求5所述的方法，其中從左到右隱藏奇數(shù)行中的宏塊。
15.根據(jù)權(quán)利要求3所述的方法，進(jìn)一步包括以下步驟在執(zhí)行隱藏之前，將具有丟失/破壞的像素值的非矩形宏塊陣列排列成至少兩個矩形宏塊子陣列，以及獨(dú)立隱藏每個子陣列。
全文摘要
一種用于建立具有相對邊的矩形陣列中的宏塊的隱藏順序的方法，其中通過在陣列較大邊的方向上漸進(jìn)地隱藏連續(xù)的宏塊行，來有利地隱藏矩形陣列(130)中的宏塊(110)。通過這樣執(zhí)行隱藏，來自前面行或列的隱藏的信息以一種便于預(yù)測垂直、水平或?qū)蔷€方向的輪廓的方式傳播，由此提高隱藏質(zhì)量。
文檔編號H04N17/04GK1736104SQ200380108503
公開日2006年2月15日 申請日期2003年12月30日 優(yōu)先權(quán)日2003年1月10日
發(fā)明者克里斯汀娜·吉奧米拉 申請人:湯姆森許可貿(mào)易公司