用于視頻質(zhì)量測量的紋理掩蔽的制作方法
【專利說明】
[0001] 本申請要求于2011年11月29日提交的國際專利申請第PCT/CN2011/083154號 的優(yōu)先權(quán)，并通過引用將其全部內(nèi)容并入本文。
技術(shù)領(lǐng)域
[0002] 本發(fā)明涉及視頻質(zhì)量測量，并且更具體地涉及響應(yīng)于人類視覺系統(tǒng)的紋理掩蔽特 性來確定視頻質(zhì)量測量的方法和裝置。
【背景技術(shù)】
[0003] 視頻質(zhì)量度量可被用于視頻編碼、網(wǎng)絡(luò)調(diào)度以及多媒體服務(wù)推薦中。一般地，視頻 內(nèi)容越是有紋理，人類眼睛就可以忍受該視頻內(nèi)容中的越多的偽像。即，在人類眼睛觀看視 頻內(nèi)容時，視覺偽像可能被視頻內(nèi)容本身掩蔽。人類眼睛的這種特性被稱為紋理掩蔽特性。

【發(fā)明內(nèi)容】

[0004] 根據(jù)一般方面，存取具有至少一個圖像區(qū)域的圖像數(shù)據(jù)。將所述圖像區(qū)域分解為 結(jié)構(gòu)分量和紋理分量。確定所述圖像區(qū)域中的結(jié)構(gòu)分量的邊緣強度，并且響應(yīng)于所述圖像 區(qū)域中的邊緣強度確定紋理掩蔽加權(quán)。然后，響應(yīng)于所述紋理掩蔽加權(quán)確定質(zhì)量度量。
[0005] 根據(jù)另外的一般方面，存取具有多個圖像區(qū)域的圖像數(shù)據(jù)。將所述圖像數(shù)據(jù)分解 為結(jié)構(gòu)分量和紋理分量。確定每個圖像區(qū)域中的結(jié)構(gòu)分量的邊緣強度，并且響應(yīng)于每個圖 像區(qū)域中的邊緣強度確定紋理掩蔽加權(quán)。響應(yīng)于局部失真的加權(quán)組合確定質(zhì)量度量，其中， 通過所述紋理掩蔽加權(quán)對所述局部失真進(jìn)行加權(quán)。
[0006] 在下面的附圖和說明書中闡述一種或多種實現(xiàn)方式的細(xì)節(jié)。盡管以一種具體的方 式進(jìn)行了說明，但是應(yīng)當(dāng)清楚的是實現(xiàn)方式可以被配置或體現(xiàn)為各種方式。例如，可以將實 現(xiàn)方式實施為方法，或者體現(xiàn)為諸如例如被配置為實施一組操作的裝置或存儲用于實施一 組操作的指令的裝置這樣的裝置，或者體現(xiàn)為信號。其他方面和特征將根據(jù)結(jié)合附圖和權(quán) 利要求一起考慮的下面的詳細(xì)說明變得明顯。
【附圖說明】
[0007] 圖IA是圖示畫面的圖例，圖IB是圖示該畫面的結(jié)構(gòu)分量的圖例，并且圖IC是圖 示該畫面的紋理分量的圖例。
[0008] 圖2是圖示根據(jù)本原理的實施例的計算視頻質(zhì)量度量的例子的流程圖。
[0009] 圖3A是圖示根據(jù)本原理的實施例的邊緣圖的圖例，圖3B是圖示根據(jù)本原理的實 施例的方差圖的圖例，并且圖3C是圖示根據(jù)本原理的實施例的被掩蔽的方差圖的圖例。
[0010] 圖4是圖示可以與本原理的一種或多種實現(xiàn)方式一起使用的紋理掩蔽加權(quán)計算 裝置的例子的框圖。
[0011] 圖5是圖示可以與本原理的一種或多種實現(xiàn)方式一起使用的視頻質(zhì)量測量裝置 的例子的框圖。
[0012] 圖6是圖示可以與本原理的一種或多種實現(xiàn)方式一起使用的視頻處理系統(tǒng)的例 子的框圖。
【具體實施方式】
[0013] 視頻質(zhì)量度量可被用于視頻編碼、網(wǎng)絡(luò)調(diào)度以及多媒體服務(wù)推薦中。取決于參考 視頻的可用性，可以將視頻質(zhì)量度量分為全參考度量或者無參考度量。對于全參考質(zhì)量度 量，參考和受損圖像/視頻之間的差可能是影響視覺質(zhì)量的關(guān)鍵因素。對于無參考質(zhì)量度 量，諸如量化參數(shù)（QP)或塊出錯率這樣的配置參數(shù)可能是關(guān)鍵因素。
[0014] 除了關(guān)鍵因素之外，人類視覺系統(tǒng)的紋理掩蔽特性也影響所感知的視覺質(zhì)量。因 此，在設(shè)計視頻質(zhì)量度量時經(jīng)常模擬紋理掩蔽特性。例如，可以將畫面中的區(qū)域視為是可以 掩蔽視覺偽像的有紋理的區(qū)域，并且可以認(rèn)為其對所感知的視頻質(zhì)量具有較少的影響。在 另一個例子中，可以將畫面中的區(qū)域視為是無紋理的區(qū)域（例如，平滑的區(qū)域或者帶有邊 緣的區(qū)域），并且可以認(rèn)為其對所感知的視頻質(zhì)量具有較多的影響。
[0015] 為了利用紋理掩蔽特性，需要將畫面中的區(qū)域標(biāo)識為有紋理的區(qū)域或無紋理的區(qū) 域。如果區(qū)域包含復(fù)雜的和/或不規(guī)則的圖案，則將其稱為有紋理的區(qū)域。否則，將其稱為 無紋理的區(qū)域，其中通常包含結(jié)構(gòu)（例如，帶有重要的視覺信息的大規(guī)模且規(guī)則的圖案）， 例如邊緣和輪廓。
[0016] 為了標(biāo)識一區(qū)域是有紋理的區(qū)域還是無紋理的區(qū)域，通常的方法是使用空間頻率 和信號奇異性（singularity)。例如，某些現(xiàn)存的方法使用變換系數(shù)（例如，DCT系數(shù)）分 布將圖像塊分類為平滑的區(qū)域、有紋理的區(qū)域和邊緣區(qū)域。然而，有紋理或無紋理的區(qū)域可 以既包含低空間頻率子帶和高空間頻率子帶，又包含不平滑的視覺信號。因此，使用空間頻 率或信號奇異性來標(biāo)識有紋理的區(qū)域可能是非常不準(zhǔn)確的。另外的通常方法是使用局部信 號方差。然而，有紋理或無紋理的區(qū)域可能都具有很高的信號方差，因此無法通過方差進(jìn)行 適當(dāng)?shù)膮^(qū)分。
[0017] 在標(biāo)識出有紋理的區(qū)域之后，另一個挑戰(zhàn)性的問題是如何模擬紋理掩蔽特性，即， 如何根據(jù)區(qū)域是有紋理的還是無紋理的來調(diào)整視頻質(zhì)量度量。某些現(xiàn)存方法使用在視覺心 理學(xué)實驗中觀察到的敏感度常量（例如，沃森視覺掩蔽）對失真進(jìn)行加權(quán)以得到質(zhì)量度量。 然而，這樣的視覺心理學(xué)實驗是根據(jù)簡化的觀看條件通過偽像的視覺刺激來設(shè)計的，并且 可能不能夠準(zhǔn)確地模擬用于視覺質(zhì)量估計的真實條件。
[0018] 本原理涉及估計紋理掩蔽函數(shù)，從而可以改善全參考視覺質(zhì)量度量和無參考視覺 質(zhì)量度量這兩者的準(zhǔn)確性。
[0019] 圖2例示了使用紋理掩蔽函數(shù)來估計視頻質(zhì)量度量的示例性方法200。在步驟 210,例如通過雙向（bilateral)濾波器、各向異性濾波器或者全方差調(diào)節(jié)將圖像分解為結(jié) 構(gòu)分量和紋理分量。對于結(jié)構(gòu)分量，在步驟220實施邊緣檢測以得到邊緣圖。例如，可以 通過索貝爾（Sobel)濾波器或者坎尼（Canny)邊緣檢測器根據(jù)邊緣檢測來確定邊緣強度。 可以對邊緣強度進(jìn)行二元化，即：確定是否存在邊緣。對于紋理分量，在步驟225計算出例 如通過方差測量的紋理強度以得到紋理強度圖。更一般地，可以通過像素值的局部統(tǒng)計矩 (statistic moment)或者自回歸殘差的局部統(tǒng)計矩來測量紋理強度。
[0020] 然后，在步驟230基于邊緣信息和紋理強度來估計紋理掩蔽加權(quán)。在下述的示例 性實施例中，將紋理掩蔽加權(quán)設(shè)置為O和1之間的值，其中，1表示"無變化"，并且因此表示 "無掩蔽"。然而，可以容易地將紋理掩蔽加權(quán)的值擴展到其他范圍。可以在步驟240使用 紋理掩蔽加權(quán)函數(shù)將局部失真變換為總體質(zhì)量度量。
[0021] 下面，更詳細(xì)地論述將圖像分解（210)為結(jié)構(gòu)分量和紋理分量的步驟、計算（230) 紋理掩蔽加權(quán)的步驟以及產(chǎn)生（240)視頻質(zhì)量度量的步驟。
[0022] 將圖像分解為結(jié)構(gòu)分量和纟又理分量
[0023] 使用雙向濾波器作為例子，論述如何可以將圖像分解為結(jié)構(gòu)分量和紋理分量。在 使用其他方法進(jìn)行分解時，可以容易地擴展所述原理。
[0024] 為了分解圖像I，可以利用雙向濾波器來迭代地處理滑動窗口中的像素。假設(shè)圖像 的大小為mXm并且滑動窗口的大小為（2n+l) X (2n+l)，按照如下實現(xiàn)針對像素 I (X，y)的 濾波處理：
[0025] a)計算窗口中的每個相鄰像素 I (i，j)的接近度參數(shù)：
[0026] 彿,j·) = e-[(.">2+[<"作4 ,
[0027] 其中，〇 d控制接近度的影響。
[0028] b)計算窗口中的每個相鄰像素 I (i，j)的相似度參數(shù)：
[0029] H(i,j) = e-[l(r'yyi(Ljflla',
[0030] 其中，影響相似度的影響。
[0031] c)計算每個相鄰像素的濾波系數(shù)：
[0032] 沖，./)=(來/·)"(/.，./),工"'
[0033] d)通過對圖像進(jìn)行濾波來計