專利名稱：視頻質(zhì)量測量的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻質(zhì)量測量，更具體地涉及在不參照原始未失真圖像副本的情況下對圖像質(zhì)量進(jìn)行評估。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，提供了一種生成視頻信號的質(zhì)量測量的方法，所述視頻信號已經(jīng)通過采用可變量化器步長(quantiser step size)和二維變換的壓縮算法進(jìn)行了編碼，使得編碼后的信號包括量化器步長參數(shù)以及圖像的多個塊的變換系數(shù)，該方法包括a)生成作為所述量化器步長參數(shù)的函數(shù)的第一質(zhì)量測量；b)生成作為具有單個變換系數(shù)的塊的數(shù)量的函數(shù)的第二質(zhì)量測量；以及c)組合第一測量和第二測量。
在另一方面中，本發(fā)明提供了一種生成視頻信號的質(zhì)量測量的裝置，所述視頻信號已經(jīng)通過采用可變量化器步長和二維變換的壓縮算法進(jìn)行了編碼，使得編碼后的信號包括量化器步長參數(shù)以及圖像的多個塊的變換系數(shù)，該裝置包括a)用于生成第一質(zhì)量測量的裝置，該第一質(zhì)量測量是所述量化器步長參數(shù)的函數(shù)；b)用于生成第二質(zhì)量測量的裝置，該第二質(zhì)量測量是具有單個變換系數(shù)的塊的數(shù)量的函數(shù)；以及c)用于組合第一測量和第二測量的裝置。
在權(quán)利要求中限定了本發(fā)明的其他方面。


參照附圖，通過示例對本發(fā)明的一些實施例進(jìn)行說明，在附圖中圖1是用于測量所接收視頻信號的質(zhì)量的裝置的一個示例的框圖；圖2以曲線圖的形式示出了量化失真的特性；圖3至6是顯示測試結(jié)果的曲線圖；圖7以曲線圖的形式示出了系數(shù)幅度分布；以及圖8至14是顯示其他測試結(jié)果的曲線圖。
具體實施例方式
原理上，所使用的測量處理可一般地應(yīng)用到視頻信號，其中該視頻信號已經(jīng)通過利用變換編碼并具有可變量化器步長的壓縮技術(shù)進(jìn)行了編碼。但是，將要說明的方案設(shè)計成使用符合MPEG-2標(biāo)準(zhǔn)進(jìn)行編碼的信號。(盡管要說明的方案基于MPEG-2視頻編碼，但也采用其他基于DCT標(biāo)準(zhǔn)的編碼，例如H.261、H.263、MPEG-4(基于幀)等)。
該測量方法是非干擾性(non-intrusive)的或者“無參照”型的(即，不必訪問原信號的副本)。此外，該方法的目的是在不必將所接收的信號解碼為視頻信號的情況下執(zhí)行其測量；此外，該方法利用了包含在所接收的MPEG流中的參數(shù)。
在圖1中所示的裝置中，在輸入端1接收輸入信號并將該信號傳送到VLC解碼器以及數(shù)據(jù)解析器(data parser)2，數(shù)據(jù)解析器2對可變長度編碼進(jìn)行解碼并輸出以下參數(shù)(a)對于各圖像圖像類型PT(＝I，P或B)(b)對于將圖像劃分成的各宏塊(MB)宏塊類型MT(例如，INTRA或INTER、略過的(skipped)、未編碼的等等)量化器步長Q(c)對于宏塊內(nèi)的各塊系數(shù)的數(shù)量Nc系數(shù)C
運動矢量MV。
在該裝置內(nèi)有兩個分析路徑，分別用于評估信號的峰值信噪比(PSNR)以及信號的“不均質(zhì)性(blockiness)”?？赏ㄟ^單獨的硬件元件實現(xiàn)元件3至14，但更便利的實現(xiàn)是利用適當(dāng)編程的處理器來執(zhí)行所有這些階段。
PSNR評估其采用量化器步長Q。在經(jīng)過一些調(diào)整(以下進(jìn)行描述)之后，在3處使用調(diào)整后的步長QM來根據(jù)以下公式計算所評估的PSNRPSNR=10log[2552(QM212)]=59-20logQM]]>以下將給出對該公式以及一更復(fù)雜的替選公式的推導(dǎo)。
所提到的調(diào)整指包括三個階段階段4通過除以1.4來調(diào)整B圖像的量化器步長。
階段5調(diào)整量化器步長以對空間掩蔽(spatial masking)效果加以考慮，采用空間復(fù)雜性因子X，該因子是通過對各塊內(nèi)的非零系數(shù)的數(shù)量NC進(jìn)行計數(shù)生成的并按如下方式分配X的值(階段6)。
NC＜3X＝13≤NC＜6X＝1.26≤NC＜10X＝1.410≤NC＜15X＝1.615≤NCX＝1.8之后(在階段5)將調(diào)整值QX計算為QX=ΣframeQX]]>注意，在此該幾率是對這些值在整個幀上的求和。
接下來，考慮到時間掩蔽(temporal masking)進(jìn)行另外的調(diào)整。利用運動矢量(階段8)來推導(dǎo)對于整個幀取平均的運動振幅V(針對塊類型進(jìn)行調(diào)整—參見以下的詳細(xì)說明)。
于是，調(diào)整后的Q為(階段9)
QM=QXlog10(10+V)]]>注意，以上給出的PSNR計算公式假設(shè)量化器步長的均勻概率分布函數(shù)。盡管，對于INTRA塊的DC系數(shù)來說這是個合理的假設(shè)，但對于其他系數(shù)則缺乏準(zhǔn)確性。在以下討論中導(dǎo)出非均勻概率分布的另選公式(公式(7))如果使用該公式，則優(yōu)選地根據(jù)幀的類型(I、P或B)轉(zhuǎn)換pdf的參數(shù)α。注意(基于INTRA塊的DC系數(shù)處于少數(shù))對于所有系數(shù)應(yīng)該優(yōu)選使用公式7，并發(fā)現(xiàn)這在實際中表現(xiàn)出很好的結(jié)果。如果希望使用兩種分布，則必須避免在階段5對整個幀進(jìn)行求和并且使用之后適合把Q值與不同pdf組合的PSNR公式。
不均質(zhì)性評估其最簡單的方式是利用以下的事實在INTRA編碼的宏塊內(nèi)僅具有一個系數(shù)的塊將會導(dǎo)致圖像內(nèi)出現(xiàn)不均質(zhì)，并對幀內(nèi)滿足該標(biāo)準(zhǔn)的塊的百分比進(jìn)行計算。
因此在階段10，將各塊標(biāo)記為b＝1(不均質(zhì))或b＝0(均質(zhì))，并且之后(階段11)對這種塊的數(shù)量NDC進(jìn)行計數(shù)，如編碼塊的總數(shù)量為NT，并計算商B＝NDC/NT。
改進(jìn)的不均質(zhì)測量還可以考慮到以下事實如果先前圖像(解碼器從其復(fù)制)在該位置上是不均質(zhì)的，則所有系數(shù)為零的INTER編碼的塊也會導(dǎo)致不均質(zhì)。因此，階段10也可能通過延遲接收先前的b值(其持續(xù)時間對應(yīng)于先前幀與編碼后的幀之間的延遲，其將改變例如帶有兩個B幀的MPEG，對于各P幀將具有三個幀周期)。
在該情況下，階段10的公式變成如果(MT＝INTRA和N＝1)或者(MT＝INTER和N＝0和b-1＝1)，則b＝1；否則b＝0。
(其中b-1是相同塊位置的先前幀的b值)。
組合為了組合PSNR和不均質(zhì)測量，首先需要將這些測量轉(zhuǎn)換成相同標(biāo)度上的測量(階段12、13)。實現(xiàn)上述的簡便方法是通過將PSNR或B的可能范圍劃分為相同的等級，或者另選地利用基于觀測試驗的經(jīng)驗表，利用用于復(fù)雜性測量X的轉(zhuǎn)換表，將這些測量轉(zhuǎn)換成從例如0到9(0＝非常差，9＝非常好)的任意標(biāo)度上的測量MQ和MB。
在得到在相同標(biāo)度上的兩個測量MQ和MB之后，將它們組合成單個測量。這樣做的依據(jù)是如果特定幀存在非常強(qiáng)的不均質(zhì)性，則來自階段14的輸出測量M僅僅是不均質(zhì)性測量MB。如果相反地，該不均質(zhì)性測量很低，則輸出測量MO是PSNR測量MQ。
例如如果MB＞6則MO＝MQ如果MB≤6則MO＝MB討論以下的討論解釋了上述方法的基本原理，給出公式的導(dǎo)出以及一些實驗結(jié)果，并說明一些變化和改進(jìn)。
其目的是為了顯示在沒有參照的情況下，如何能夠從壓縮位流中提取所需數(shù)據(jù)，并將該數(shù)據(jù)用作視頻質(zhì)量度量(VQM)。示出了VQM最重要的參數(shù)是量化器步長，其可每隔一個宏塊(MB)提取。為了包括人類視覺系統(tǒng)，利用時空圖像內(nèi)容來修改該值。在此，根據(jù)編碼MB的AC系數(shù)的數(shù)量來推導(dǎo)空間內(nèi)容，并且根據(jù)運動矢量來推導(dǎo)時間活動。為了考慮對比靈敏度，在該圖像中，也可以使用經(jīng)INTRA編碼的塊的DC系數(shù)。最后，在嚴(yán)重失真的情況中，可提供圖像不均質(zhì)性(其為明顯失真)。通過在全部編碼塊上提取具有DC的INTRA編碼塊的百分比作為塊內(nèi)的唯一的非零系數(shù)來實現(xiàn)上述操作。利用略過的和未編碼的MB的數(shù)量調(diào)制該值，以提高檢測的可靠性。這些都是從壓縮位流中提取的。
當(dāng)前，在三個主要類型中實施視頻質(zhì)量的客觀測量全參照、縮減參照(reduced-reference)和無參照模型。據(jù)認(rèn)為無參照模型具有比其他兩種更簡單并且最有可能用于質(zhì)量評估或者對整個網(wǎng)絡(luò)進(jìn)行監(jiān)視的巨大潛力(其中對參照數(shù)據(jù)(全參照或縮減參照)的訪問昂貴并且不太可能)。因此，在不犧牲其評估準(zhǔn)確性的情況下，如何降低無參照模型的處理復(fù)雜度是至關(guān)重要的。
簡化無參照模型復(fù)雜性的一個方法是直接從位流中提取模型參數(shù)，而不對圖像全部進(jìn)行解碼。事實上，當(dāng)前無參照模型中的大部分是對解碼后的圖像進(jìn)行操作，以提取所需要的模型參數(shù)。因此，無參照模型的這兩種方法的相對簡單程度或處理效率可以是各方案下所需的各個處理操作的量。
一般地，無參照模型參數(shù)包括運動、空間或環(huán)境細(xì)節(jié)、邊界、對比靈敏度等。從解碼圖像中生成上述中的每一個可能涉及繁重的處理。例如，在編碼器上對運動矢量的評估通常用掉編碼器的大約60％的處理功率(注意，編碼器可測試各種運動評估模式，而作為對速度的測量，僅一種模式就足夠，因此該百分比可小于60％，但仍然會很高)。考慮到視頻編碼器比視頻解碼器多3-5倍的處理需求，因此可以認(rèn)為僅運動評估就可能比解碼圖像多2-3倍的處理需求。因此在解碼圖像上對無參照模型參數(shù)(即，運動、空間或環(huán)境細(xì)節(jié)、邊界、對比靈敏度、不均質(zhì))的推導(dǎo)可能比解碼圖像多幾倍(例如5倍)的處理需求。精確的比率取決于上述各個的執(zhí)行可能的復(fù)雜度。
另一方面，從位流中導(dǎo)出模型參數(shù)、考慮到所需信息已經(jīng)插入到位流中，可以是解碼圖像所需處理的一部分。在此，需要的是反轉(zhuǎn)VLC(使用查找表，非?？?，其是解碼圖像的非常小的部分。因此從位流中提取模型參數(shù)的復(fù)雜性與從解碼圖像中導(dǎo)出模型參數(shù)的復(fù)雜性相比非常地微乎其微(例如5-10％或更低)，并且所提出的方法可用于以邊際成本對視頻質(zhì)量進(jìn)行在線監(jiān)視。
在圖像質(zhì)量評估的全參照模型中，通常使用編碼失真或峰值信噪比(PSNR)。盡管可以認(rèn)為PSNR不能準(zhǔn)確代表人對圖像質(zhì)量(失真)的感知，但卻是非常強(qiáng)的指標(biāo)。事實上，所有已知的全參照模型多少都利用原圖像和處理后的圖像之間的差異(失真)，來導(dǎo)出一些其他可感知方面優(yōu)化的參數(shù)。
現(xiàn)在如果假設(shè)PSNR可以是質(zhì)量指標(biāo)，則問題是在沒有任何參照圖像的無參照模型中，可以使用PSNR作為對質(zhì)量(失真)的測量。參見定義PSNR的方法，可以更清楚能夠使上述實現(xiàn)。
在全參照模型中，將PSNR定義為
PSNS=10log[2552ϵ2]]]>在該公式中，ε2是原圖像與處理后的圖像之間的均方差。如果編碼失真僅僅因為量化失真(在視頻編碼中的情況)，則在均方差ε2與量化器步長Q之間存在直接關(guān)系。例如，對于均勻分布的信號，利用量化器步長Q，要圖2中示出了均方量化失真，其中(a)示出了量化失真的分布以及(b)示出了量化范圍內(nèi)的系數(shù)的概率密度函數(shù)。
計算平均失真為ϵ2=1Q∫-Q/2Q/2x2dx=Q212]]>因此，可以根據(jù)量化器步長Q將PSNR(單位dB)定義為PSNR=10log[2552(Q212)]=59-20logQ---(1)]]>應(yīng)該注意到，在視頻編碼器中，采用量化來變換系數(shù)，但是所測量的失真在原像素和編碼像素之間。然而，由于DCT變換式是線性運算符(出于Parseval定理)，因此變換能量和像素域是相等的(依據(jù)前向和后向變換中變換系數(shù)的換算，通過一常數(shù)因子而改變)。
圖3針對2Mbit/s下的測試序列“New York”對所測得的PSNR與利用公式(1)(即，假設(shè)均勻pdf)根據(jù)量化器步長計算的PSNR進(jìn)行比較。如所看到的，盡管對模式的近似非常粗糙，但所計算的PSNR非常接近于所測得的PSNR。然而，所測得的PSNR是穩(wěn)定并且平滑的，但所計算的PSNR在錨(I，P)圖像和B圖像的值之間振蕩。為了對該現(xiàn)象進(jìn)行分析，圖4示出了更精細(xì)標(biāo)度下的該序列的一些幀。該圖顯示出對于B圖像，所計算的PSNR小于所測得的值，而對于P和I圖像情況相反。在1.5Mbit/s下，對于相同序列如圖5和6中所示，量化器步長越大(比特速率越低)該差異就越大。
當(dāng)然，并不期望兩種方法應(yīng)該給出完全相等的值。但是，針對B圖像所計算的PSNR值小于針對I和P圖像所計算的值而它們的測得值幾乎相等的原因在于兩個因素。首先，對系數(shù)的均勻量化失真的假設(shè)是不正確的。具有幾乎均勻pdf的唯一的系數(shù)是INTRA編碼塊的DC系數(shù)。因此，對于具有非均勻幅值分布的均勻的I圖像的AC系數(shù)，利用1/Q的已知非均勻密度函數(shù)f(x)而不是均勻分布，將有利地修改公式(1)。
注意，盡管系數(shù)分布是非均勻的，但非均勻的程度會因圖像類型的不同而不同。在B圖像中，由于系數(shù)運動補(bǔ)償，分布非常陡，并且大多數(shù)系數(shù)接近零。這也應(yīng)該優(yōu)先地加以考慮。
其次，在編碼器上，出于以下兩個原因故意地將B圖像的量化器步長增大。第一，如所看到的，對B圖像進(jìn)行了有效的運動補(bǔ)償，因此不管量化器步長的值是多少，B圖像通常都挺小，但是當(dāng)B圖像很大要進(jìn)行編碼時，則如果對B圖像進(jìn)行比較粗糙地量化則不會產(chǎn)生任何影響。第二個原因是由于編碼器的預(yù)測環(huán)(prediction loop)不使用B圖像，因此即使B圖像發(fā)生失真，該失真也不會被傳播到以下的圖像。對于I和P圖像情況不是這樣，由通過其粗糙量化的任何比特保存都必須在以后進(jìn)行償還。
現(xiàn)在考慮在假設(shè)非均勻密度函數(shù)的情況下對所評估的PSNR的計算。由于量化導(dǎo)致的實際均方差應(yīng)該是ϵ2=∫-Q/2Q/2f(x)x2dx---(2)]]>為了導(dǎo)出該積分的閉合解(closed solution)，假設(shè)系數(shù)為非均勻分布類型f(x)=β1+α|x|---(3)]]>其在圖7中示出。
其中，α是密度函數(shù)的衰減速率并且β是加權(quán)因子，確保將pdf歸一化為1。即∫-Q/2Q/2f(x)dx=1]]>因此根據(jù)α可求得β∫0Q/2β1+αXdx=1]]>
得出β=α2ln(1+Qα2)---(4)]]>利用該非均勻pdf，均方差為ϵ2=∫-Q/20βx21-αxdx+∫0Q/2βx21+αxdx=2∫0Q/2βx21+αxdx]]>令ax＝u可簡化該積分，則ϵ2=2βα3∫u21+udu]]>在簡單的運算和積分之后，得到ϵ2=2βα3[12(u-1)2+ln(u+1)]0Qα/2---(5)]]>用公式(4)代換積分極限和β值，均方失真的值為ϵ2=1α2ln(1+Qα2)[Q2α28-Qα2+ln(1+Qα2)]---(6)]]>以及該失真的PSNR為PSNR=48.13-10log{1α2ln(1+Qα2)[Q2α28-Qα2+ln(1+Qα2)]}---(7)]]>圖8針對1.5Mbit/s下的New York序列，對具有該測得值的新PSNR與具有均勻密度函數(shù)的PSNR進(jìn)行比較。在該圖中，對于所有圖像類型假設(shè)α＝1，這不是理想的選擇，但為了簡便選擇該值。實際中對于不同類型圖像應(yīng)該選擇不同的α，并且對于各種類型要適合所測得的PSNR。對于越低的比特速率(所期望的量化器步長越大)該值也應(yīng)該越大。
圖9示出了更精細(xì)標(biāo)度上的PSNR。如所看到的，盡管符合得很好，但仍然存在一些振蕩。即所計算的B圖像的PSNR與P和I圖像相比顯示出一些傾斜(dip)。
該振蕩是由于編碼器選擇了與I和P圖像的量化器步長相比更大的B圖像的量化器步長。通過復(fù)雜度指數(shù)將其應(yīng)用于編碼器的比特速率分配算法，向B圖像分配減少了1.4因子的更少的比特。因此由于所分配的比特減少了1.4，所以B圖像的量化器步長QB提高了該因子1.4。因此，在PSNR計算中，將它們除以1.4，如圖1中的步驟4已經(jīng)描述的那樣(注意，如果QB已經(jīng)達(dá)到其飽和值112，則不應(yīng)該進(jìn)行相除，因為在此差的圖像質(zhì)量上，I和P圖像的量化器步長可能也已經(jīng)飽和)。
圖10將具有修改的B圖像量化器步長的非均勻分布的PSNR與測量值進(jìn)行比較。如所看到的，PSNR現(xiàn)在更加平滑，并且圖11中顯示出其在更精細(xì)標(biāo)度上的變化。
因此，至今已示出了量化器步長能夠以與參照模型中的均方差(PSNR)相似的方式產(chǎn)生作用。由于認(rèn)為均方失真應(yīng)該考慮到人類視覺系統(tǒng)對更可靠的質(zhì)量度量的反應(yīng)，因此無參照模型也應(yīng)該這樣。以下示出如何能夠從壓縮位流中提取無參照模型的所需參數(shù)。
觀測者在圖像的細(xì)節(jié)區(qū)域或者邊緣附近容忍了更多的失真。將這稱為人類視覺系統(tǒng)的空間掩蔽。因此能夠由空間細(xì)節(jié)的數(shù)量來分解量化器步長對這些區(qū)域上的圖像質(zhì)量的影響。
從位流中還可以導(dǎo)出圖像細(xì)節(jié)或空間復(fù)雜度。這可通過對位流中各編碼塊的非零量化系數(shù)的數(shù)量進(jìn)行計數(shù)來實現(xiàn)。這是因為，圖像中的空間細(xì)節(jié)越高，則圖像能量在系數(shù)之間分布得就越廣。
通過對橫向、縱向和對角線方向中的各方向上的量化的非零系數(shù)中的多數(shù)進(jìn)行檢查也可以確定這些方向的邊緣。
應(yīng)該提到，該方法的可靠性到達(dá)一定程度，但在更高的量化器步長則喪失其優(yōu)勢。不過，對于視頻質(zhì)量度量，這并不重要，這是因為在更高的量化器步長處，圖像變得不均質(zhì)，并且圖像的不均質(zhì)性變成顯著質(zhì)量(失真)指標(biāo)，這在以下將詳細(xì)說明。
在實驗中，將各宏塊的量化器步長Q除以空間復(fù)雜性因子X(該因子X是從非零編碼系數(shù)的數(shù)量中導(dǎo)出的)。例如X可以是1.2、1.4和1.6。如果按Z字形掃描順序各塊的非零系數(shù)的數(shù)量分別小于3、6、10或15，則反而為1.8(這是個近似值尋找適當(dāng)值的更復(fù)雜的方法是考慮MB類型，由于在INTRA MB中，與INTER MB相比對各塊的更多系數(shù)進(jìn)行編碼)。因此，至此圖像的質(zhì)量度量為該圖像內(nèi)的該修改的量化器步長的平均值。
QX=ΣframeQX---(8)]]>對圖像的視覺質(zhì)量和各圖像的Qx之間的粗略的主觀比較顯示出非常強(qiáng)的關(guān)聯(lián)性。這通過相對于各圖像的Qx曲線圖、利用指向編碼幀的指針運行一段編碼視頻(遺憾的是其僅顯示I圖像)來實現(xiàn)。
類似于空間掩蔽，依據(jù)運動量(時間掩蔽)，失真對象的運動可能具有不同的表現(xiàn)。可提取出位流中的運動矢量并將其用作圖像中的運動的量規(guī)。已經(jīng)使用過該運動大小，針于各宏塊(MB)定義V=vx2+vy2---(9)]]>并且之后將其在整個幀上進(jìn)行平均化，以將其用作為針對各圖像的運動量的指示。在從位流中導(dǎo)出運動大小的過程中，要仔細(xì)考慮圖像類型。例如，由于P圖像中的運動矢量指先前的錨圖像，因此之后應(yīng)將這些圖像的大小除以3(已經(jīng)使用M＝3、N＝2的GoP格式，即這些錨圖像是以3幀分隔并且I圖像的周期是12幀)。在B圖像中，對于B1圖像，前向運動矢量直接使用但后向運動矢量的大小應(yīng)該除以2。對B2圖像的應(yīng)用正好相反。當(dāng)然對于I圖像將不存在任何運動矢量，但這并不表示I圖像沒有任何運動。
在該實驗中，作為該序列的運動指標(biāo)，剛使用過從P圖像中導(dǎo)出的運動大小。這很不錯，因為運動的變化比幀速率要慢得多，并且P圖像的幀速率可用于序列中的其他幀。注意，在場景切換(scene cut)處，將不存在P圖像的任何運動矢量。因此，從位流中檢測場景切換的方法是非常需要的。這將在下面進(jìn)行詳細(xì)說明。
找到運動值，之后的問題是如何將其用于修改視頻質(zhì)量度量。看如何使用的最好的方法在于全參照模型。在實驗中，已經(jīng)使用過依據(jù)運動強(qiáng)度來降低失真的影響的簡單模型。這并非最優(yōu)模型，因為某些失真(如邊緣上的不均質(zhì)性和失真)可能在比中速更高速下更具有可見性。
在我們的模式中，考慮量化器步長、空間和時間掩蔽，至此將質(zhì)量度量QM定義為QM=Qxlog10(10+V)---(10)]]>其中QX是各幀的空間修正的平均量化器步長以及V是各幀的運動大小。
以1.5和2Mbit/s相對于“Scorpion”序列的質(zhì)量度量(QM)曲線運行一段視頻(圖12中所示)顯示出強(qiáng)關(guān)聯(lián)性。
與中間范圍相比，觀測者能夠容忍圖像的較暗區(qū)和較明區(qū)處的更大失真。將這認(rèn)為人類視覺系統(tǒng)的對比靈敏度。因此，可以使用幀內(nèi)的像素的平均強(qiáng)度來修正質(zhì)量度量指標(biāo)，以補(bǔ)償對比靈敏度。
各INTRA編碼塊的DC系數(shù)代表該塊內(nèi)量化像素的DC或平均值。因此提取I圖像的DC系數(shù)(其中所有塊都是intra編碼的)可指示出I圖像的總亮度。當(dāng)然這不能應(yīng)用到P和B圖像，因為兩者主要是預(yù)測性編碼的。但是，如運動，由于圖像暗度不會很快改變，因此I圖像的暗度可足以代表圖像組(GoP)中的全部圖像。
注意，提取I圖像中的DC值應(yīng)該謹(jǐn)慎執(zhí)行。事實是在多數(shù)情況下DC系數(shù)是根據(jù)其相鄰DC值從空間上預(yù)測的，因此應(yīng)該對其適當(dāng)解碼。但是，這并不意味著逆變換所述系數(shù)，而是加到其預(yù)測的DC系數(shù)。
現(xiàn)在轉(zhuǎn)向以低比特速率或以更大的量化器步長進(jìn)行的“不均質(zhì)性”檢測，圖像變得不均質(zhì)。盡管量化器步長對圖像不均質(zhì)性負(fù)有責(zé)任，但其不能將其直接用作不均質(zhì)性指標(biāo)。例如，盡管在圖像的平坦區(qū)域內(nèi)，一些小量化器步長可能顯示出圖像不均質(zhì)性，但在細(xì)節(jié)區(qū)域內(nèi)，即使適當(dāng)加大的量化器步長可能也不顯示任何不均質(zhì)性，雖然能夠去掉一些圖像細(xì)節(jié)。
對于指示圖像是否不均質(zhì)的壓縮位流，必須知道圖像為什么變得不均質(zhì)。
一般地，圖像不均質(zhì)性取決于MB類型。如果宏塊是INTRA編碼的，則如果DC系數(shù)是該塊的唯一非零系數(shù)，則這樣的解碼塊會顯得不均質(zhì)。這是因為，根據(jù)單個值(DC)對塊的所有8×8＝64個像素進(jìn)行重構(gòu)并且所有像素都將相等。另一方面，如果對更多系數(shù)進(jìn)行編碼，則該塊內(nèi)的像素值將彼此不同并且該塊不顯得不均質(zhì)。因此，假如塊僅具有DC系數(shù)并且所有AC系數(shù)為零，則所有圖像類型的INTRA編碼的塊可導(dǎo)致出現(xiàn)不均質(zhì)性。
注意，僅有一個DC系數(shù)的(P和B圖像的)INTER編碼的塊可能不會導(dǎo)致不均質(zhì)性。這是因為，即使該塊的重構(gòu)幀差可能具有相同值，但當(dāng)加到其預(yù)測塊時(假如該預(yù)測塊并非不均質(zhì))，則所重構(gòu)的像素不會顯得不均質(zhì)。不均質(zhì)性也可能以其他MB類型生成。這當(dāng)然取決于圖像。例如在P圖像中，非編碼MB將所有系數(shù)設(shè)定為零(cbp＝0)，但運動矢量是非零的。在該情況中，在解碼器上將MB的所有16×16個像素從先前幀復(fù)制過來，由運動矢量替代。由于幀與幀之間運動矢量的值和方向發(fā)生變化，因此這些塊的復(fù)制在MB邊界周圍生成一些邊緣，使圖像顯得不均質(zhì)，盡管這種類型的不均質(zhì)性比上述一種的干擾小。
在P圖像中，略過的MB也可能導(dǎo)致不均質(zhì)。在這些圖像中，如果MB中的所有量化系數(shù)為零(cbp＝0)，而且運動矢量也為零，則略過MB(除了片段中的第一和最后MB以外，其將視為非編碼的)。解碼器對這些MB不進(jìn)行操作，因此圖像的這些部分不更新(直接從先前幀復(fù)制過來)。因此，如果在該位置上先前圖像是不均質(zhì)的，則該不均質(zhì)性會傳遞到當(dāng)前圖像。
在B圖像中，非編碼的和略過的MB與P圖像的不同。在該圖像類型中，略過的MB不僅cpb＝0，而且必須具有其相鄰MB的相同的運動預(yù)測(相同的運動值和預(yù)測方向)。因此，該類型的解碼MB從先前幀復(fù)制MB的16×16個像素，由一些運動矢量替代，由此產(chǎn)生不均質(zhì)性。B圖像中的非編碼MB是cpb＝0的MB，但預(yù)測方向或其運動矢量與其緊鄰的MB的不同。因此非編碼MB也可能導(dǎo)致不均質(zhì)性。
應(yīng)該注意，即使具有非零編碼塊圖案(cbp)的MB的非編碼塊(所有系數(shù)為零的塊)也可導(dǎo)致不均質(zhì)性。這是因為，對于這些塊，從先前幀復(fù)制像素，并且如果幀與幀之間運動矢量指向不同方向，或者當(dāng)先前塊本身不均質(zhì)時，則這些塊可能顯得不均質(zhì)。
總之，所有類型的宏塊都可能導(dǎo)致不均質(zhì)。但是，如果預(yù)測圖像是不均質(zhì)的則略過的和非編碼的MB可以導(dǎo)致不均質(zhì)性，否則它們不會引起任何問題。必定導(dǎo)致不均質(zhì)的唯一情況是在塊內(nèi)僅有一個非零系數(shù)(其必須是DC系數(shù))的INTRA編碼的MB。因此，更可靠的不均質(zhì)檢測方法是查找INTRA編碼的MB類型，并且如果其塊中的任何一個僅有DC系數(shù)(所有AC系數(shù)為零)，則將MB標(biāo)記為不均質(zhì)。之后將僅有DC系數(shù)的INTRA編碼的塊占編碼塊(inter和intra)的總數(shù)的百分比定義為不均質(zhì)性的度量。為了考慮略過的和非編碼的MB對不均質(zhì)性的影響，對幀內(nèi)所有MB的不均質(zhì)性狀況進(jìn)行記錄并且在幀與幀之間進(jìn)行更新。因此，如果在幀N處，MB為略過的或非編碼的，假如在幀N-1內(nèi)其是不均質(zhì)的，則稱其現(xiàn)在是不均質(zhì)的。當(dāng)對MB編碼時，其不均質(zhì)性狀況改變，當(dāng)然如果其INTRA編碼的塊中任何一個僅有DC系數(shù)則保持不均質(zhì)。因此應(yīng)該相應(yīng)地重新計算不均質(zhì)的總百分比。但是，由于沒有實施略過的和非編碼的MB對不均質(zhì)的影響，因此可以考慮僅有DC系數(shù)的INTER和INTRA編碼塊的總和。包括INTER編碼的塊在內(nèi)，在一定程度上可補(bǔ)償略過的和非編碼的MB的缺少。
圖13繪制了以1.5和2Mbit/s編碼的“Scorpion”序列的不均質(zhì)性。在該圖中還沒有考慮略過的和非編碼的MB的影響，但相反地考慮了僅有DC系數(shù)的inter和intra編碼塊的總和。主觀上，該圖像在1Mbit/s的整個序列是不均質(zhì)的。在2Mbit/s下，圖像中沒有不均質(zhì)性。在1.5Mbit/s下，圖像在中間位置是不均質(zhì)的，在其他部分內(nèi)是非不均質(zhì)的。這些全部與不均質(zhì)性指標(biāo)一致，如圖13中所示。
注意，在該曲線圖中，沒有考慮略過的和非編碼的MB的影響。可以考慮它們，因為如果在P和B圖像中有太多略過的和非編碼的MB(發(fā)生在更低比特速率下)，則這些圖像不能具有太多INTRA編碼的MB。這將降低用于這些圖像的檢測器的可靠性。略過的和非編碼的MB的百分比越大，則檢測器的可靠性就越小。
場景變化(切換)可影響到圖像的主觀質(zhì)量，進(jìn)而影響到質(zhì)量度量模型。例如，由于場景切換，新場景的平均亮度可能與先前場景的非常不同。在場景切換處運動觀念也會改變，并且存在一些其他效果。對于P圖像，由于在場景切換處MB主要是INTRA編碼的，因此減少了inter編碼的Mb的數(shù)量以及各P圖像的運動矢量，可能會導(dǎo)致錯誤的運動強(qiáng)度測量。
事實是場景切換也可以從位流中檢測。但是，檢測機(jī)理取決于圖像類型?？紤]到根據(jù)圖像首部獲知圖像類型，之后可通過以下方式來檢測各種圖像類型的場景切換。
在P圖像中，通過計算INTRA編碼的MB的百分比可靠地檢測到場景切換。這是因為，在場景切換處，幀差信號能夠具有比intra MB更大的能量，因此編碼器通常以INTRA模式對其進(jìn)行編碼。
在B圖像中，必須查看前向的、后向的以及內(nèi)插的運動矢量的百分比。這是因為，當(dāng)在B圖像處發(fā)生場景切換時，該圖像屬于新場景并且運動矢量的大多數(shù)將是后向的(它們指向以后的錨圖像)。更重要的是，內(nèi)插的運動矢量的數(shù)量將很小，或者可能無。因此檢測到場景切換的確定性測量將是后向?qū)η跋蜻\動矢量的比值。它們在該圖像內(nèi)的百分比對于后向的必須非常高，而對于前向的非常小(尤其是內(nèi)插的)。
甚至可確定在第一或第二B圖像內(nèi)是否發(fā)生場景切換?？赏ㄟ^對兩個B圖像的前向和后向運動矢量的比值進(jìn)行聯(lián)合比較來實現(xiàn)。即，如果兩個B圖像主要具有后向運動矢量，則表示兩個B圖像屬于新場景。因此場景切換應(yīng)該出現(xiàn)在第一B圖像中。另一方面，如果一個圖像主要具有前向運動矢量(為第一圖像)并且另一個圖像主要具有后向運動矢量，則場景切換應(yīng)該出現(xiàn)在第二B圖像中。發(fā)生上述情況是因為第一B圖像屬于舊場景而第二B圖像屬于新場景。
在I圖像處甚至能夠檢測到場景切換。要這樣做必須查看其兩個先前B圖像的前向/后向運動矢量的百分比。如果在I圖像處出現(xiàn)場景切換，則其兩個先前B圖像的運動矢量的大多數(shù)將是前向的。因此，如果兩個B圖像主要具有前向運動矢量，則在以后的錨圖像(其可以是P或I圖像)中存在場景切換。該信息加上圖像類型將確定在I或P圖像中是否已經(jīng)出現(xiàn)了場景切換?？蓪⑾惹疤岬降腜圖像處檢測場景切換的方法(INTRA編碼的MB的百分比)與此方法結(jié)合，以提高檢測P圖像上的場景切換的可靠性。
從壓縮位流中檢測場景切換有利于時間掩蔽的精確性。例如，已知在場景切換處P圖像主要是INTRA編碼的，因此P圖像位流內(nèi)將沒有足夠的運動矢量要用于時間掩蔽。但是，檢測其是場景切換，之后可能會忽略該圖像的運動矢量的提取并使用先前值。
圖14示出了1.5和2Mbit/s下的Scorpion序列的P圖像的(I圖像不具有任何)略過的和非編碼的宏塊的總和數(shù)量。為了進(jìn)行說明，其他圖像類型重復(fù)使用該數(shù)字。檢查該曲線圖揭示出，首先，這些值本身不能確定不均質(zhì)性，但其數(shù)量非常重要，能夠影響到不均質(zhì)性檢測器的精確性(即，取決于先前幀的多少百分比是不均質(zhì)的)。其次，如在所有比特速率下所看到的，在場景切換的218附近的幀處該數(shù)量明顯下降。因此，在P圖像中，小數(shù)量的略過的和非編碼的MB可作為場景切換的指示。
可通過各種形式實現(xiàn)視頻質(zhì)量度量(VQM)。一種方法是將不均質(zhì)性(作為基于編碼器的塊的主要失真)與其他失真分開。如果不均質(zhì)性較強(qiáng)，則視頻質(zhì)量(失真)僅由不均質(zhì)性的強(qiáng)度來確定。另一方面，對于較高質(zhì)量視頻，使用感知模型。
量化器步長是感知模型的主要參數(shù)。優(yōu)選地，由圖像中的空間、時間活動和對比靈敏度參數(shù)修正為質(zhì)量指標(biāo)。
可為各幀導(dǎo)出不均質(zhì)性和感知指標(biāo)。所得值可用于視頻質(zhì)量的持續(xù)監(jiān)視。對于視頻片段(例如10秒長)，可將單位幀質(zhì)量指標(biāo)集成以代表視頻質(zhì)量的單個值?？蓪⒃撝蹬c主觀測試結(jié)果進(jìn)行比較，以證明模型的有效性。
權(quán)利要求
1.一種生成視頻信號的質(zhì)量測量的方法，該視頻信號已利用采用可變量化器步長和二維變換的壓縮算法進(jìn)行了編碼，使得所述編碼后的信號包括量化器步長參數(shù)以及用于圖像的塊的變換系數(shù)，所述方法包括a)生成第一質(zhì)量測量，所述第一質(zhì)量測量是所述量化器步長參數(shù)的函數(shù)；b)生成第二質(zhì)量測量，所述第二質(zhì)量測量是具有單個變換系數(shù)的塊的數(shù)量的函數(shù)；以及c)組合所述第一測量和第二測量。
2.根據(jù)權(quán)利要求1所述的方法，其中將所述第二質(zhì)量測量確定為被確定為不均質(zhì)的塊的數(shù)量的函數(shù)，(i)其中如果在沒有參照所述圖像的先前幀的情況下已經(jīng)對塊進(jìn)行了編碼并且所述塊只有一個變換系數(shù)，則將所述塊定義為不均質(zhì)的；并且(ii)其中如果通過參照所述圖像的先前幀對塊已經(jīng)進(jìn)行了編碼并且所述塊不具有變換系數(shù)，則將所述塊定義為不均質(zhì)的，并且各個先前圖像的對應(yīng)塊也定義為不均質(zhì)的。
3.根據(jù)權(quán)利要求1或2所述的方法，包括對所述第一測量進(jìn)行空間掩蔽調(diào)整，所述調(diào)整是空間復(fù)雜度因子的函數(shù)，所述空間復(fù)雜度因子被計算為各編碼塊的非零變換系數(shù)的數(shù)量的函數(shù)。
4.根據(jù)權(quán)利要求1、2或3所述的方法，用于通過利用采用運動補(bǔ)償?shù)膲嚎s算法進(jìn)行編碼的信號，使得所述編碼后的信號還包括運動矢量，所述方法包括對所述第一測量進(jìn)行時間掩蔽調(diào)整，所述調(diào)整是各編碼塊內(nèi)的運動矢量的函數(shù)。
5.根據(jù)權(quán)利要求1至4中的任一項所述的方法，其中組合所述測量的步驟包括a)將所述第一測量和第二測量轉(zhuǎn)換成共同標(biāo)度；b)如果所述第二測量代表比閾值差的圖像質(zhì)量，則輸出所述第二測量；并且c)否則的話，輸出所述第一測量。
6.一種生成視頻信號的質(zhì)量測量的方法，所述視頻信號已經(jīng)利用采用可變量化器步長和二維變換的壓縮算法進(jìn)行了編碼，使得所述編碼后的信號包括量化器步長參數(shù)和用于圖像的塊的變換系數(shù)，所述方法包括a)生成質(zhì)量測量，所述質(zhì)量測量是所述量化器步長參數(shù)的函數(shù)；b)對所述測量進(jìn)行空間掩蔽調(diào)整，所述調(diào)整是空間復(fù)雜度因子的函數(shù)，所述空間復(fù)雜度因子被計算為各編碼塊的非零變換系數(shù)的數(shù)量的函數(shù)。
7.一種生成視頻信號的質(zhì)量測量的方法，所述視頻信號已經(jīng)利用采用可變量化器步長和二維變換的壓縮算法以及運動補(bǔ)償進(jìn)行了編碼，使得所述編碼后的信號包括量化器步長參數(shù)和用于圖像的塊的變換系數(shù)以及運動矢量，所述方法包括a)生成質(zhì)量測量，所述質(zhì)量測量是所述量化器步長參數(shù)的函數(shù)；b)對所述測量進(jìn)行時間掩蔽調(diào)整，所述測量是各編碼塊內(nèi)的所述運動矢量的函數(shù)。
8.根據(jù)權(quán)利要求7所述的方法，包括對所述測量進(jìn)行空間掩蔽調(diào)整，所述調(diào)整是空間復(fù)雜度因子的函數(shù)，所述空間復(fù)雜度因子被計算為各編碼塊內(nèi)的非零變換系數(shù)的數(shù)量的函數(shù)。
9.一種生成視頻信號的質(zhì)量測量的方法，所述視頻信號已經(jīng)利用采用二維變換的壓縮算法進(jìn)行了編碼，使得所述編碼后的信號包括用于圖像的塊的變換系數(shù)，所述方法包括生成質(zhì)量測量，所述質(zhì)量測量是具有單個變換系數(shù)的塊的數(shù)量的函數(shù)。
10.一種用于生成視頻信號的質(zhì)量測量的裝置，該視頻信號已利用采用可變量化器步長和二維變換的壓縮算法進(jìn)行了編碼，使得所述編碼后的信號包括量化器步長參數(shù)以及用于圖像的塊的變換系數(shù)，所述裝置包括a)用于生成第一質(zhì)量測量的裝置(3)，所述第一質(zhì)量測量是所述量化器步長參數(shù)(Q)的函數(shù)；b)用于生成第二質(zhì)量測量的裝置(10、11)，所述第二質(zhì)量測量是具有單個變換系數(shù)的塊的數(shù)量的函數(shù)；以及c)用于組合所述第一測量和第二測量的裝置(14)。
11.根據(jù)權(quán)利要求10所述的裝置，其中將用于生成所述第二質(zhì)量測量的裝置設(shè)置成產(chǎn)生一測量，所述測量是被確定為不均質(zhì)的塊的數(shù)量的函數(shù)，(i)其中如果在沒有參照所述圖像的先前幀的情況下已經(jīng)對塊進(jìn)行了編碼并且所述塊只有一個變換系數(shù)，則將所述塊定義為不均質(zhì)的；并且(ii)其中如果通過參照所述圖像的先前幀對塊已經(jīng)進(jìn)行了編碼并且所述塊不具有變換系數(shù)，并且各個先前圖像的對應(yīng)塊也已經(jīng)被定義為不均質(zhì)的，則將所述塊定義為不均質(zhì)的。
12.根據(jù)權(quán)利要求10或11所述的裝置，包括用于將空間復(fù)雜度因子(X)作為各編碼塊的非零變換系數(shù)的數(shù)量的函數(shù)來進(jìn)行計算的裝置(6)；以及，可操作以對所述第一測量進(jìn)行空間掩蔽調(diào)整的裝置(5)，所述調(diào)整是所述空間復(fù)雜度因子的函數(shù)。
13.根據(jù)權(quán)利要求10、11或13所述的裝置，用于通過利用采用運動補(bǔ)償?shù)膲嚎s算法進(jìn)行編碼的信號，使得所述編碼后的信號還包括運動矢量，所述裝置還包括可操作以對所述第一測量進(jìn)行時間掩蔽調(diào)整的裝置(8、9)，所述調(diào)整是各編碼塊內(nèi)的所述運動矢量的函數(shù)。
14.根據(jù)權(quán)利要求10至13中的任一項所述的裝置，其中所述用于組合所述測量的裝置包括用于將所述第一測量和第二測量轉(zhuǎn)換成共同標(biāo)度的裝置(12、13)；以及，可操作以執(zhí)行以下操作的裝置(14)，如果所述第二測量代表比閾值差的圖像質(zhì)量，則輸出所述第二測量，否則輸出所述第二測量。
15.一種用于生成視頻信號的質(zhì)量測量的裝置，所述視頻信號已通過利用采用可變量化器步長和二維變換的壓縮算法進(jìn)行了編碼，使得所述編碼后的信號包括量化器步長參數(shù)以及用于圖像的塊的變換系數(shù)，所述裝置包括用于生成質(zhì)量測量的裝置(3)，所述質(zhì)量測量是所述量化器步長參數(shù)(Q)的函數(shù)；用于將空間復(fù)雜度因子(X)作為各編碼塊的非零變換系數(shù)的數(shù)量的函數(shù)進(jìn)行計算的裝置(6)；以及可操作以對所述測量進(jìn)行空間掩蔽調(diào)整的裝置(5)，所述調(diào)整是所述空間復(fù)雜度因子的函數(shù)。
16.一種用于生成視頻信號的質(zhì)量測量的裝置，所述視頻信號已經(jīng)利用采用可變量化器步長和二維變換的壓縮算法、以及運動補(bǔ)償進(jìn)行了編碼，使得所述編碼后的信號包括量化器步長參數(shù)和用于圖像的塊的變換系數(shù)以及運動矢量，所述裝置包括用于生成質(zhì)量測量的裝置(3)，所述質(zhì)量測量是所述量化器步長參數(shù)的函數(shù)；和用于對所述測量進(jìn)行時間掩蔽調(diào)整的裝置(8、9)，所述調(diào)整是各編碼塊內(nèi)的所述運動矢量的函數(shù)。
17.根據(jù)權(quán)利要求16所述的裝置，包括用于將空間復(fù)雜度因子(X)作為各編碼塊的非零變換系數(shù)的數(shù)量的函數(shù)來進(jìn)行計算的裝置(6)；和可操作以對所述測量進(jìn)行空間掩蔽調(diào)整的裝置(5)，所述調(diào)整是所述空間復(fù)雜度因子的函數(shù)。
全文摘要
在不參照原未壓縮版本而直接從編碼圖像參數(shù)生成的情況下獲得壓縮視頻信號的質(zhì)量測量，由此不必對該壓縮信號進(jìn)行解碼。從量化器步長中生成(3)第一測量并且將第二測量生成(10、11)為僅有一個變換系數(shù)NC的圖像中的塊的數(shù)量的函數(shù)。在414處組合兩個測量?？梢詫诓介L的測量進(jìn)行調(diào)整，以補(bǔ)償空間掩蔽或時間掩蔽效果。
文檔編號H04N17/00GK1720751SQ200380105233
公開日2006年1月11日 申請日期2003年11月18日 優(yōu)先權(quán)日2002年12月6日
發(fā)明者穆罕默德·甘巴里 申請人:英國電訊有限公司