專利名稱：用于視頻質(zhì)量評估的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于評估視頻信號質(zhì)量的方法和系統(tǒng)，具體來說，涉及用于評估重復(fù)幀對視頻信號質(zhì)量的影響的方法和系統(tǒng)。
背景技術(shù)：
視頻質(zhì)量測試已經(jīng)進(jìn)行了許多年。在針對視頻的數(shù)字壓縮技術(shù)出現(xiàn)之前， 一直都在借助一套相對穩(wěn)定的標(biāo)準(zhǔn)化方法來使用正式主觀測試
(formal subjective testing)。簡單地說，選擇多個非專業(yè)觀察者，對他們的視覺能力進(jìn)行測試，在受控環(huán)境下給出一系列測試場景大約10到30分鐘，并且要求他們按多種方式中的一種方式對這些場景的質(zhì)量進(jìn)行評分。通常來說，針對完整的基準(zhǔn)測試，首先示出基準(zhǔn)序列，跟著示出要測試的序列，并且要求觀看者相對于基準(zhǔn)序列對所測試的序列進(jìn)行評價。主觀測量的進(jìn)一步細(xì)節(jié)可以在相關(guān)標(biāo)準(zhǔn)ITU-R BT.500"Methodology for theSubjective Assessment of the Quality of Television Picture"中找妾U 。這個標(biāo)準(zhǔn)首先在1974年發(fā)布并且正式地命名為CCIRRec.500，并且這個文獻(xiàn)的版本7涵蓋了過去提出的針對主觀測試的方法。
利用人類觀看者進(jìn)行的主觀測試有許多優(yōu)點，因為可以得到針對常規(guī)和壓縮電視制式兩者的有效結(jié)果，并且它可以在靜態(tài)和運動圖片應(yīng)用的寬泛范圍上運行良好。然而，存在的明顯缺點在于，精確設(shè)置的測試可能影響所獲取的結(jié)果，需要小心翼翼地設(shè)置和控制，并且為了獲取統(tǒng)計上顯著的結(jié)果，必須選擇和篩選大量的人類觀看者。這些缺點使主觀測試復(fù)雜且耗時，結(jié)果，雖然主觀測試可以應(yīng)用于發(fā)展目的，但它們不會將其本身引導(dǎo)至操作檢測、生產(chǎn)線測試等。
因此，為了規(guī)避如上所述人類主觀測試的缺點，本領(lǐng)域還已知的是，提供一種利用自動化并且通常基于計算機的視頻比較技術(shù)的自動視頻質(zhì)量評估。執(zhí)行自動圖片質(zhì)量分析的現(xiàn)有技術(shù)系統(tǒng)是來自泰克有限公司
(14200 SW Karl Braun， P.O. Box 500， Beaverton, Oregon 97077 USA)的 PQA 300系統(tǒng)。PQA 300通過測量五秒鐘視頻測試序列中的兩秒鐘部分 來工作。該視頻測試序列可以從CDROM中下載或者從視頻上記錄，并 且在測試時向系統(tǒng)放出。接著，存儲所測試的系統(tǒng)的輸出，并且通過在 兩秒鐘序列上利用DSP加速硬件對其進(jìn)行分析。該測量得到了被稱作"圖 片質(zhì)量等級"的單個圖片質(zhì)量數(shù)值。PQA 300采用被稱為JND Metrix的人 類視覺系統(tǒng)模型，并且執(zhí)行三種不同類型的視頻信息分析，分別為空間 分析、時間分析，以及全色分析，以便生成圖片質(zhì)量等級。另外，PQA300 提供了采用動畫地圖形式顯示的PSNR值，該動畫地圖的強度涉及基準(zhǔn) 圖像與測試圖像之間的PSNR差。因此，總起來說，PQA 300能夠分析 測試和基準(zhǔn)視頻序列，以便生成視頻質(zhì)量值以及PSNR測量值。
然而，伴隨著測試與基準(zhǔn)序列的直接比較以生成上述質(zhì)量度量可能 會產(chǎn)生問題。例如，視頻信號中的顯著可感知質(zhì)量劣化源是由時間贗象 (temporal artefact)衍生出的，即，代替已經(jīng)丟失的原始幀而重復(fù)幀的地方。 幀重復(fù)的一個來源是發(fā)送錯誤，其可能使視頻信號定格達(dá)可變時段。緩 沖器上溢和下溢可以導(dǎo)致類似影響。然而，隨著針對低帶寬系統(tǒng)設(shè)計的 發(fā)送技術(shù)(例如移動電話上的視頻流)的出現(xiàn)，出現(xiàn)了一組新的時間贗象。 這些新的時間贗象是因為使用時間二次釆樣以縮減要發(fā)送的整體信息而 產(chǎn)生的。可以將對于視頻流的這種影響描述為周期性幀丟失，或者描述 為在對基準(zhǔn)信號與劣化信號進(jìn)行比較時變明顯的規(guī)則幀重復(fù)。盡管用戶 通常覺察不到，但這些規(guī)則重復(fù)的幀對于質(zhì)量評估系統(tǒng)是個問題，因為 它們生成了一系列錯誤突發(fā)(errorburst)。另夕卜，這些重復(fù)幀的模式(pattern)
可能較復(fù)雜。最后，如前所述，時間二次采樣的影響與真實發(fā)送錯誤相交疊。

發(fā)明內(nèi)容
本發(fā)明致力于通過提供一種進(jìn)行自動視頻質(zhì)量評估的方法和系統(tǒng)來 解決上述問題，該方法和系統(tǒng)能夠識別時間贗象并且在時間二次采樣的規(guī)則幀重復(fù)特征與故障的不規(guī)則幀重復(fù)特征之間加以區(qū)別。
更具體地說，本發(fā)明提供了一種對包括多個視頻幀的視頻信號進(jìn)行 評估的方法，該方法包括以下步驟
1) 在所述多個視頻幀中，分析從一個幀變到下一個幀的像素數(shù)量；
2) 如果呈現(xiàn)在當(dāng)前幀中的設(shè)定比例的像素與呈現(xiàn)在前一幀中的相匹 配，則將該幀標(biāo)識為重復(fù)；
3) 記錄所述視頻信號中重復(fù)幀的模式；
4) 掃描所述模式，以確定指定重復(fù)幀是否為時間(temporally)重復(fù)模
式的一部分；
5) 通過標(biāo)識那些沒有被確定為所述時間重復(fù)模式的一部分的重復(fù)幀 來生成質(zhì)量指示符。
在一優(yōu)選實施方式中，所述方法包括以下步驟-
6) 通過在所述模式中建立在所述模式中被稱作第一幀的多個幀的 第一窗口以及具有相同尺寸的第二窗口，來掃描所述模式；
7) 按相對于所述第一窗口有所偏移的方式來布置所述第二窗口 ；
8) 對所述第一窗口和所述第二窗口中的重復(fù)幀的模式進(jìn)行比較，并 且記錄這些模式之間失配的數(shù)量；
9) 在偏移范圍上針對每一個偏移值重復(fù)所述比較并且記錄結(jié)果；
10) 針對所述第一窗口和所述第二窗口來選擇新的窗口尺寸值、在偏 移值范圍上重復(fù)所述比較，并記錄結(jié)果；
11) 確定在偏移值范圍上提供了失配值最小變化的目標(biāo)窗口尺寸。 所述方法優(yōu)選地還包括通過以下操作來生成質(zhì)量指示符的步驟對
第一部分中重復(fù)幀的模式與具有相同尺寸的多個第二部分中的重復(fù)幀的 模式進(jìn)行比較并且記錄所述第一部分中的模式與每一個所述第二部分中 的模式之間出現(xiàn)失配的次數(shù)，其中所述第一部分的尺寸由所述目標(biāo)窗口 的尺寸來決定。
優(yōu)選的是，所述方法包括以下步驟將所述質(zhì)量指示符與一個或更
多個已知質(zhì)量指示符進(jìn)行組合，以生成感知平均意見得分。
在本發(fā)明的實施方式中，所述分析是針對每一幀的一部分執(zhí)行的，
7而該部分不包括幀的邊緣。在本發(fā)明的一方面中，每一幀都包括多個像 素。在一優(yōu)選實施方式中，如果相鄰幀中的第一幀中的一個像素處于第 二幀中的對應(yīng)像素的預(yù)定閾值內(nèi)，則將來自所述相鄰幀的這兩個像素標(biāo) 識為匹配。
在本發(fā)明的實施方式中，判定機制對每一個像素應(yīng)用閾值，如果一 幀中的所有像素都處于前一幀中的對應(yīng)像素的預(yù)定閾值內(nèi)，則將該幀標(biāo) 識為重復(fù)。
另外，根據(jù)又一方面，本發(fā)明還提供了一種計算機程序或程序組， 該計算機程序或該程序組被配置成，當(dāng)由計算機系統(tǒng)執(zhí)行時它/它們使得 所述計算機系統(tǒng)執(zhí)行任一權(quán)利要求所述的方法。
本發(fā)明還提供了一種對包括多個視頻幀的視頻信號進(jìn)行評估的系 統(tǒng)，其中，所述系統(tǒng)包括用于通過分析從一個幀變到下一個幀的像素
數(shù)量來檢測重復(fù)幀并且記錄重復(fù)幀的模式的裝置；用于掃描所述模式以
確定指定重復(fù)幀是否為時間重復(fù)模式的一部分并且通過標(biāo)識那些沒有被 確定為所述時間重復(fù)模式的一部分的重復(fù)幀來生成質(zhì)量指示符的裝置。
優(yōu)選的是，用于掃描所述模式的裝置包括用于在所述模式中建立 在所述模式中被稱作第一幀的多個幀的第一窗口以及具有相同尺寸的第 二窗口的裝置；其中，按相對于所述第一窗口的偏移量來布置所述第二 窗口；其中，用于掃描所述模式的裝置還包括用于對所述第一窗口和
所述第二窗口中的重復(fù)幀的模式進(jìn)行比較并且記錄這些模式之間失配數(shù)
量的裝置；用于在偏移范圍上針對每一個偏移值重復(fù)所述比較并且記錄 結(jié)果的裝置；用于針對所述第一窗口和所述第二窗口來選擇新的窗口尺 寸值、在偏移值范圍上重復(fù)所述比較并記錄結(jié)果的裝置；以及用于確定 在所述偏移值范圍上提供了失配值最小變化的目標(biāo)窗口尺寸的裝置。
在一優(yōu)選實施方式中，所述系統(tǒng)包括用于通過以下操作來生成質(zhì)量 指示符的裝置對第一部分中的重復(fù)幀的模式與具有相同尺寸的多個第 二部分中的重復(fù)幀的模式進(jìn)行比較并且記錄所述第一部分中的模式與每 一個所述第二部分中的模式之間出現(xiàn)失配的次數(shù)，其中所述第一部分的 尺寸由所述目標(biāo)窗口的尺寸來決定。 "
8在一優(yōu)選實施方式中，所述系統(tǒng)還包括用于將所述質(zhì)量指示符與一 個或更多個己知質(zhì)量指示符進(jìn)行組合以生成感知平均意見得分的裝置。


而且，根據(jù)下面對本發(fā)明的、僅通過實施例的方式呈現(xiàn)的實施方式 的描述，并且通過參照附圖，本發(fā)明的特征和優(yōu)點將變清楚，其中，相 同標(biāo)號指相同部分，并且其中
圖1是本發(fā)明的系統(tǒng)的總體框圖2是更詳細(xì)示出圖1的系統(tǒng)的框圖3是例示了要輸入到本發(fā)明實施方式中的、下采樣后的視頻信號
的圖4a、 4b以及4c是例示了根據(jù)本發(fā)明實施方式的對一系列標(biāo)記進(jìn) 行分析的圖5是示出了本發(fā)明的分析器的各個部分的系統(tǒng)框圖6是例示了本發(fā)明實施方式的整合器所執(zhí)行的步驟的流程圖7是例示了本發(fā)明的第二、基于軟件的實施方式的圖。
具體實施例方式
圖1例示了本發(fā)明實施方式的一般排布結(jié)構(gòu)的總體系統(tǒng)框圖。在圖 1內(nèi)，包括基準(zhǔn)序列場/幀的基準(zhǔn)序列8被輸入至檢測器模塊2。類似的是， 還將視頻場/幀的測試序列或劣化序列6輸入到檢測器模塊2中。測試序 列是通過將基準(zhǔn)序列輸入要測試的系統(tǒng)(舉例來說，如錄像裝置、廣播系 統(tǒng)，或視頻編解碼器)中然后取所測試的系統(tǒng)的輸出作為測試序列來獲取 的。檢測器模塊2用于檢測輸入基準(zhǔn)和測試視頻場/幀的各個視頻特征， 并且生成隨后被輸出至整合(integration)模塊4的視頻特征值。整合模塊4 將視頻特征值整合在一起，以給出從其輸出的預(yù)測視頻質(zhì)量值10。
如圖2所示，將劣化視頻序列6輸入至多個分析器22-28的劣化序 列輸入部。所用分析器的選擇可以取決于應(yīng)用。已知分析器包括空間 頻率分析器；亮度和色度峰值信噪比(PSNR)分析器；邊緣檢測器分析器；以及紋理分析器。下面，將對這些已知分析器的用途和操作進(jìn)行簡要概
述，而完整的描述可以在專利公報EP 1636755中獲得。本發(fā)明有利地提 供了一種采用后面要詳細(xì)描述的"時間規(guī)律性分析器"形式的附加形式的 分析。可以省略某些分析器的應(yīng)用的例子是在移動電話處對信號進(jìn)行實 時評估。由于目前移動手機的局限性，諸如紋理分析的一些處理器密集 型(processor-intensive)操作可能被省略。
在上面提到的已知分析器模塊的類型當(dāng)中，空間頻率分析器用于對 輸入的測試視頻場/幀和基準(zhǔn)視頻場/幀進(jìn)行分析，并根據(jù)對輸入的基準(zhǔn)場 /幀和測試場進(jìn)行金字塔狀分析來生成金字塔狀SNR值PySNR(a， b)。另 外，亮度和色度PSNR分析器對輸入的基準(zhǔn)場和輸入的測試場進(jìn)行比較 以生成隨后被輸出的亮度和色度PSNR值。類似的是，邊緣檢測器分析 器對輸入的基準(zhǔn)場和輸入的測試場進(jìn)行分析并輸出單個邊緣檢測器值 EDif。最后，紋理分析器對測試場進(jìn)行分析以計算表示該幀內(nèi)的紋理的 參數(shù)TextureDeg。這些已知分析器(即，空間頻率分析器、亮度和色度峰 值信噪比分析器、邊緣檢測器分析器以及紋理分析器)中的每一個的操作 都在專利公報EP 1636755中作了更詳細(xì)的描述。
圖3示出了來自已經(jīng)進(jìn)行了時間下采樣(帶寬縮減)的視頻信號的一 序列幀。水平軸表示時間，而垂直軸表示存在或不存在幀，其中，存在 幀由時間軸上恰當(dāng)點處的垂直箭頭來表示，而缺失幀由恰當(dāng)時間點處無 垂直箭頭來表示。下采樣通過按規(guī)則間隔從視頻序列中去除多個幀來起 作用；由此減少了視頻信號每秒鐘運送的幀數(shù)。在圖3的示例中，這種 下釆樣的效果是去除了時間tl、 t3、 t5、 t7、 t9等處的幀。應(yīng)注意到，在 時間t8處缺失了另一幀。在時間t8處缺失的幀并沒有構(gòu)成由下采樣引起 的丟失幀的規(guī)則序列的一部分，而是隨機錯誤的結(jié)果。本發(fā)明的目的是 將這種類型的隨機缺失幀識別為與因下采樣而造成的規(guī)則丟失幀相獨立 的事件。釆用本發(fā)明的質(zhì)量評估中的下一步驟是將這兩個時間贗象作為 獨特的并且具有不同主觀意義來加以處理。
本算法中的第一步驟是創(chuàng)建存儲在緩沖器中的時間線，其表示針對 視頻序列的每一個時隙，該幀是否為前一幀的重復(fù)。針對當(dāng)前幀是具有新視覺內(nèi)容還是與前一幀類似的內(nèi)容來判斷重復(fù)。這是通過分析從一個 幀變到下一個幀的像素數(shù)量來完成的。根據(jù)一優(yōu)選實施方式，這種分析 是針對整個幀的一部分(被稱作活動幀)來執(zhí)行的，以便忽略該幀的邊 界處的所有額外信息。已知的是，出于操作的原因，在不涉及視頻內(nèi)容 的幀邊界處包括有額外信息(如時間碼信息)。將分析限制于活動幀避免了 因這種無關(guān)信息而造成的虛假結(jié)果。如果當(dāng)前活動幀(tl)中的所有像素都 與前一幀中存在的那些像素相同，則將當(dāng)前幀標(biāo)記為重復(fù)。
在視頻處理鏈包含類似分量的情況下，可以通過針對每一個像素創(chuàng) 建閾值來改進(jìn)判斷機制。如果每一個像素值都處于前一幀的對應(yīng)像素值 的閾值內(nèi)，則將該幀標(biāo)記為重復(fù)。因此，生成了排列在表示存在重復(fù)幀 的陣列中的一系列標(biāo)記，且每幀一個。
下一個步驟是確定指定重復(fù)幀是一周期(例如，由下采樣引起)的一部 分還是由另一效果生成的。為了實現(xiàn)這個步驟，首先，對系列標(biāo)記進(jìn)行
分析，尋找丟失幀的時間重復(fù)模式。 一旦確定了時間重復(fù)模式；就將沒
有形成該模式一部分的剩余重復(fù)幀標(biāo)識為因故障而引起。根據(jù)本發(fā)明的
--實施方式，重復(fù)下面的算法以處理這些標(biāo)記
下面參照圖4a，來描述根據(jù)本發(fā)明的對一系列標(biāo)記進(jìn)行的分析。圖 4a示出了分別按l和0表示重復(fù)幀和新幀的標(biāo)記序列70。在該圖中，重
復(fù)幀的規(guī)則模式(可能由于對視頻信號進(jìn)行下采樣而埠成)用加粗的1來 表示。為了分析該系列標(biāo)記(在該圖中用l和0來表示，70)，在位置t處 設(shè)置了基準(zhǔn)分析窗口 74,初始尺寸X等于Xmax個標(biāo)記(每一個標(biāo)記表示 一個幀)。在該系列標(biāo)記中的初始位置t-a處設(shè)置了第二偏移分析窗口 76， 其中a是時間偏移量。偏移分析窗口 76被設(shè)置成，初始尺寸X等于Xmax 個標(biāo)記的基準(zhǔn)窗口74的尺寸。
記錄落入該系列標(biāo)記中的位置t處的基準(zhǔn)窗口 74內(nèi)的"重復(fù)標(biāo) 記"(即，表明該序列中重復(fù)幀的標(biāo)記)的模式并且將其與落入位置t-a處的 偏移窗口 76內(nèi)的重復(fù)標(biāo)記的模式進(jìn)行比較。參照圖4a所示標(biāo)記序列給 出一個例子可能會有所幫助。如果這樣來解釋1和0，即1表示重復(fù)幀而 0表示新幀，則基準(zhǔn)窗口 74中的重復(fù)標(biāo)記的數(shù)量為四，而偏移值等于a'
ii處的偏移窗口 76中的標(biāo)記的數(shù)量也為四。如果此時査看這些標(biāo)記的模式， 就會發(fā)現(xiàn)
位置t處的基準(zhǔn)窗口 740 1 1 0 1 0 0 1 0 位置t-a'處的偏移窗口 76 0 1 0 1 1 0 1 0 0 基準(zhǔn)與偏移匹配？ YYNNNYYYY 由此我們發(fā)現(xiàn)，對于窗口尺寸X和偏移a'來說，偏移窗口76中的五 個標(biāo)記與基準(zhǔn)窗口 44中的對應(yīng)標(biāo)記相匹配。 .
接著，連續(xù)地遞增偏移值并重復(fù)比較基準(zhǔn)窗口與偏移窗口中的標(biāo)記 模式，直到偏移量達(dá)到預(yù)定最大值amax為止。圖4b示出了偏移值a被 遞增至值a"并且偏移窗口 76包含三個重復(fù)幀標(biāo)記的中間階段。如果此時 查看針對偏移a"的標(biāo)記的模式，就會發(fā)現(xiàn)
位置t處的基準(zhǔn)窗口 740 1 1 0 1 0 0 1 0 位置t-a"處的偏移窗口 76 0 1 0 1 0 0 0 1 0 基準(zhǔn)與偏移匹配？ YYNNNYYYY 由此我們發(fā)現(xiàn)，對于窗口尺寸X和偏移a"來說，偏移窗口 76中的 六個標(biāo)記與基準(zhǔn)窗口 44中的對應(yīng)標(biāo)記相匹配。
針對每一個偏移值a，將比較結(jié)果存儲在累積器'中。 一旦偏移窗口到 達(dá)范圍端點，即，偏移a達(dá)到最大值amax，就從偏移值a'開始重復(fù)操作， 但基準(zhǔn)窗口和偏移窗口的尺寸X遞減至Xmax-l 。針對每一個窗口尺寸值 X，將比較結(jié)果存儲在累積器陣列中。時間偏移a的最大值是根據(jù)要分析 的數(shù)據(jù)來選擇的，可以取一個范圍內(nèi)的值，以包括針對高質(zhì)量視頻的大 約一秒鐘的值，和針對低幀速率和更大復(fù)雜性(例如，針對用于移動電話 的視頻信號)的大約io秒鐘的值。
重復(fù)這個循環(huán)，直到窗口尺寸X達(dá)到最小值Xmin為止。在這一點 上，累積器包含二維數(shù)據(jù)陣列，如下所述針對每一個窗口尺寸值X， 表示基準(zhǔn)窗口和偏移窗口中的重復(fù)幀的模式在偏移值的范圍上(即，在采 樣幀上)匹配得如何。下面，繼續(xù)分析來處理這個數(shù)據(jù)，以確定對于X而 言最佳值是什么，其中所固有的是，周期性幀丟失模式的最可能長度是 什么。針對每一個窗口尺寸值X，檢查累積器陣列的規(guī)律性。針對指定值 X，每當(dāng)基準(zhǔn)幀中的和偏移幀中的重復(fù)幀的模式之間存在差別時就使計數(shù) 器遞增。接著，基于最小的失配數(shù)量來選擇窗口尺寸的最佳值X'。在存 在針對X的、以此為基礎(chǔ)可平等評分的兩個或更多個值的情況下，選擇 最大值。選定值X'給出了丟失幀的重復(fù)模式的預(yù)測尺寸。
一旦確定了這個針對丟失幀的重復(fù)模式的尺寸的值，就將其用于計 算上述序列標(biāo)記中的自相關(guān)，表示哪些幀是重復(fù)的而哪些是新的。這種 相關(guān)的結(jié)果提供了可用于下一個階段的出錯指示符。
更詳細(xì)地說，接著，如下所述來利用通過上述操作而確定的窗口尺 寸值X'，以便在規(guī)則與不規(guī)則幀重復(fù)之間加以區(qū)別。在進(jìn)一步的階段中
利用選定窗口尺寸X'對標(biāo)記序列70進(jìn)行分析。如圖4c所示，根據(jù)這個 階段的分析，將標(biāo)記序列70中的長度為X'的第一部分77中所包含的重 復(fù)幀的模式與相同長度的相鄰部分78中的模式相比較。在圖4c的示例 序列中給出了以下模式，從部分77開始，并且按時間向后移動(該圖中朝 左移動)
基準(zhǔn)部分77 101001
第一部分78 000101
第二部分78 010101
第三部分78 010001
第四部分78 101001
第五部分78 001101
如果我們將上述比較應(yīng)用于上述示例中的多個部分，就會發(fā)現(xiàn)第一 部分78包含與基準(zhǔn)部分77的3處失配；第二部分78包含與基準(zhǔn)部分77 的4處失配；第三部分78包含與基準(zhǔn)部分77的3處失配；第四部分78 與包含基準(zhǔn)部分77的0處失配；而第五部分78包含與基準(zhǔn)部分77的2 處失配。應(yīng)注意到，每一部分中加粗的1都是對準(zhǔn)的，因此對應(yīng)的規(guī)則 重復(fù)幀從計算中消失。
接著，對基準(zhǔn)部分77與其它部分78之間的失配幀的數(shù)量進(jìn)行求和。 這個求和的結(jié)果提供了用于下一個階段的出錯值。再一次返回至圖4c的
13示例，我們發(fā)現(xiàn)總出錯值為12，這是基準(zhǔn)部分77與其它部分78之間失
配的總和。這個和的大小是具有表示較好質(zhì)量的較低值的信號質(zhì)量指示符。
可以采用從上述分析導(dǎo)出的數(shù)據(jù)，通過允許考慮重復(fù)幀的影響而忽
視根據(jù)選定窗口尺寸預(yù)測的規(guī)則重復(fù)幀來改進(jìn)整合功能4的性能。于是， 后續(xù)分析步驟就能夠集中在非周期性或不規(guī)則幀重復(fù)上，作為劣化的感 知視頻質(zhì)量的指示。
將根據(jù)本發(fā)明而提取的值發(fā)送至模型的第二階段，其中，其整合功 能將在估計平均意見得分(MOS)時使用這個信息。這些值包括選定窗口尺 寸X'、出錯值、出錯指示符以及針對選定窗口尺寸值X'的包含在累積器 陣列中的匹配值。匹配值的變化表示，針對第二階段，幀的模式中存在 異常變化。
根據(jù)本發(fā)明的優(yōu)選實施方式，根據(jù)時期(age)對每一個比較的關(guān)聯(lián) 性進(jìn)行加權(quán)，使得基準(zhǔn)部分77與多個部分78中較早的一個部分之間的 比較的權(quán)重低于基準(zhǔn)部分77與多個部分78中的較晚的一個部分之間的 比較的權(quán)重。
圖5中更詳細(xì)地示出了圖2的時間規(guī)律性分析器26。如其所示，時 間規(guī)律性分析器26由用于分析標(biāo)記序列的多個功能模塊組成，包括差異 分析器60、分析器/加法器62以及最小值選擇器64。如已經(jīng)參照圖2所 述，時間規(guī)律性分析器26接收兩個輸入基準(zhǔn)視頻序列8和劣化視頻序 列6。在差異分析器60中，生成表示輸入視頻信號6、 8中的重復(fù)幀的位 置的標(biāo)記序列。在分析器/加法器62中，利用尺寸為一個范圍的窗口來分 析該標(biāo)記序列，并且針對每一個窗口尺寸來確定整個序列上的失配累積 總和。在最小值選擇器64中，對根據(jù)分析器/加法器62中的求和的結(jié)果 進(jìn)行比較，并且選擇對應(yīng)于最小值的窗口尺寸。將該結(jié)果轉(zhuǎn)發(fā)至整合器4， 如箭頭64所示。
本發(fā)明的目的是將這種缺失幀識別為與因下采樣而造成的規(guī)則丟失 新幀不同的事件。作為對視頻信號的上述分析的結(jié)果，質(zhì)量評估的下一 個階段能夠分離地處理這兩種類型的時間贗象，從而在幾乎看不見的規(guī)則幀丟失與可見擾動的不規(guī)則幀丟失之間加以區(qū)別。
下面，參照圖2來描述本發(fā)明對于整合功能的應(yīng)用。返回參照圖2，
應(yīng)當(dāng)看出，將來自檢測器模塊內(nèi)的分析器22到28的各個輸出饋給至整 合級4，其中，將各個值整合在一起，以獲取視頻M量值10。下面，參 照圖6對整合級4的操作進(jìn)行描述。
一般來說，整合級操作以通過對選擇的、由分析器22到28(包括本 發(fā)明的時間規(guī)律性分析器)所生成的視頻特征參數(shù)值進(jìn)行恰當(dāng)加權(quán)來生成 對測試視頻序列的感知視頻質(zhì)量的估計。所使用的特定參數(shù)值的集合和 對應(yīng)加權(quán)因子的值取決于被測試視頻的特定類型，并且通過之前的校準(zhǔn) 來預(yù)先確定。針對較大集合的具有已知主觀得分的視頻序列來執(zhí)行該校 準(zhǔn)，并且優(yōu)選地該校準(zhǔn)具有與要測試的劣化序列類似的特性。
整合過程的一般形式首先通過場檢測參數(shù)來對該場進(jìn)行時間加權(quán)， 接著對時間加權(quán)與平均值進(jìn)行組合，以獲取預(yù)測質(zhì)量得分，作為總體視 頻質(zhì)量值。圖6中闡述了實現(xiàn)這個過程的處理。
首先，在步驟13.2，整合級4接收從各個檢測器和分析器輸出的參 數(shù)值并存儲它們。各個分析器輸出不同的參數(shù)。無論每一個較早的級針 對特定測試視頻場輸出了什么參數(shù)和值，整合級都接收該輸出信息并存 儲它。 '"
接下來，在步驟13.4，整合級選擇視頻類型，結(jié)果根據(jù)該視頻類型 選擇了一組整合參數(shù)。
如上所述，通過校準(zhǔn)預(yù)先確定了各個加權(quán)因子的精確值。而且，每 -一組整合參數(shù)都存儲在整合級4內(nèi)的查找表等中。
選定了視頻類型并且從存儲的査找表設(shè)置了整合參數(shù)之后，在步驟 13.6進(jìn)行一處理循環(huán)，以處理值0到K-1內(nèi)的每一個整合參數(shù)類型k，其 中，每一個參數(shù)(k)都是從各個分析器接收到的參數(shù)中的一個特定參數(shù)。 在該處理循環(huán)內(nèi)，在步驟13.8，首先根據(jù)下面的公式計算參數(shù)值的時間 加權(quán)平均值A(chǔ)vD(k):
= (1 / A0 * (g D化")怖")1' (i 3一工)
其中，N是域的數(shù)量，D(k, n)是第k個檢測參數(shù)的第n個域，而mnk是加權(quán)因子。接下來，在步驟13.10，將時間加權(quán)平均值A(chǔ)vD(k)乘以合適 的加權(quán)因子w(k)，并存儲乘積。該合適的加權(quán)因子w(k)是從存儲在整合 級4中的針對視頻類型的合適查找表中讀取的。
在步驟13.12，執(zhí)行評估，以確定是否處理了所有整合參數(shù)(k)，如果 沒有，則再次執(zhí)行步驟13.6的處理循環(huán)，直到處理了所有參數(shù)為止。一 旦處理了所有參數(shù)，則可獲得針對每一種類型參數(shù)k的恰當(dāng)加權(quán)的時間 加權(quán)平均值，接著，在步驟13.14，將它們與偏移值進(jìn)行求和，如下所述
《-1
尸層OS =+ J^vD(" * ,) (13-2)
其中，K等于整合中使用的參數(shù)的數(shù)量。該式給出了接著在步驟13.16輸 出的最終視頻質(zhì)量值PDMOS。
輸出視頻質(zhì)量值PDMOS等同于根據(jù)利用人類觀察者的主觀測試所 生成的等級，因為其是考慮了測試視頻信號中人類觀察者基本上五官知 覺不可檢測的畸變和出錯(包括根據(jù)本發(fā)明的導(dǎo)致重復(fù)幀的時間贗象) 而生成的。鑒于這種特性，視頻質(zhì)量值PDMOS可以應(yīng)用于許多用途。 具體來說，可以將其用于估計現(xiàn)有視頻服務(wù)的質(zhì)量，以確保該質(zhì)量足夠， 或者另選的是，可以將其用于測試不同視頻編解碼器的性能。另外，可 以將該視頻質(zhì)量值用于估計新視頻服務(wù)的性能，如因特網(wǎng)上的寬帶形式 的視頻服務(wù)。就此而言，可以將視頻質(zhì)量值PDMOS用于與根據(jù)現(xiàn)有技 術(shù)生成的自動質(zhì)量評估值類似的任何用途，所不同的是，因為該值考慮 了時間贗象，所以與目前為止現(xiàn)有技術(shù)的自動視頻質(zhì)量評估技術(shù)的情況 相比、更可能表示主觀測試期間由人類觀看者生成的視頻質(zhì)量值。
圖7例示了本發(fā)明的作為以軟件形式實現(xiàn)的實施方式的第二實施方 式。這里，本發(fā)明所提供的各個處理是由計算機40來執(zhí)行的，該計算機 被設(shè)置成接收基準(zhǔn)視頻序列和測試視頻序列二者。計算機40設(shè)置有其中 存儲了各種計算機程序的程序存儲裝置，如硬盤驅(qū)動器、可寫CD或 DVD、存儲器等，該計算機程序包含有在被計算機40執(zhí)行時使該計算機 執(zhí)行本發(fā)明的指令。更具體地說，設(shè)置有控制和界面程序48，其在運行 時允許計算機的用戶控制該計算機開始處理根據(jù)本發(fā)明的測試和基準(zhǔn)視 頻序列，并且允許該計算機在屏幕上向用戶輸出測試結(jié)果。這種控制和
16界面程序優(yōu)選地以圖形化為基礎(chǔ)，本領(lǐng)域技術(shù)人員可以想到這種程序的 配置。
另外設(shè)置的還有根據(jù)本發(fā)明的整合器程序44、紋理分析程序150、 空間頻率分析程序156、信噪比計算程序158、邊緣分析程序54以及時 間規(guī)律性分析程序152。下面，在示例性操作的環(huán)境下，對這些程序中的 每一個程序的操作進(jìn)行簡要討論。
設(shè)想通用計算機40的用戶希望測試視頻序列。用戶首先開始控制和 界面程序48，其向用戶提供控制以允許該用戶指定要處理的測試和基準(zhǔn) 視頻序列。 一旦用戶經(jīng)由控制和界面程序48指示計算機40開始處理， 該控制和界面程序48就通過執(zhí)行其它程序中的幾個程序并且在合適時處 理數(shù)據(jù)而使計算機40開始處理。因此，當(dāng)接收到來自用戶的開始處理的 指令時，控制和界面程序48首先啟動空間頻率分析程序156的處理?？?間頻率分析程序156開始工作以，按照和先前描述的空間頻率分析器完 全相同的方式對基準(zhǔn)幀和測試幀進(jìn)行空間頻率分析，從而生成接著被存 儲在存儲裝置42的工作數(shù)據(jù)部46中的視頻特征值。
接下來，控制和界面程序48啟動信噪比計算程序158，后者接著訪 問工作數(shù)據(jù)部46內(nèi)的測試視頻場/幀和基準(zhǔn)視頻幀，并且按先前描述的方 式計算亮度和色度信噪比。即，信噪比計算程序158按照和先前所述的 亮度和色度峰值信噪比分析器相同的方式進(jìn)行工作。將信噪比計算程序 158計算所得的亮度和色度信噪比存儲在存儲裝置的工作數(shù)據(jù)區(qū)46中。
接著，控制和界面程序48啟動紋理分析程序150。紋理分析程序150 接著從工作數(shù)據(jù)區(qū)46訪問測試視頻幀，并且按照和i前針對紋理分析器 描述過的方式相同的方式來計算視頻紋理質(zhì)量參數(shù)。
在運行了紋理分析程序150之后，控制和界面程序48接著啟動邊緣 分析程序160。邊緣分析程序訪問存儲裝置42的工作數(shù)據(jù)區(qū)46內(nèi)的基準(zhǔn) 幀，以及測試視頻幀。接著，邊緣分析程序54基本上按照之前針對邊緣 分析器所描述地那樣進(jìn)行工作。將邊緣分析程序的輸出參數(shù)存儲在工作 區(qū)46中。
在運行了邊緣分析程序160之后，控制和界面程序48接著啟動時間規(guī)律性程序152。時間規(guī)律性程序訪問存儲裝置42的工作數(shù)據(jù)區(qū)46內(nèi)的 基準(zhǔn)幀，以及測試視頻幀。接著，時間規(guī)律性程序按照與上面參照圖4a 和4b描述的方式類似的方式在規(guī)則時間模式(具有各種復(fù)雜度)與反常時 間贗象之間加以區(qū)別。
在第二實施方式的運行中的這個階段，執(zhí)行了每一個分析程序，因 此工作區(qū)46包含了可以用作整合器的輸入的所有視頻特征參數(shù)值。因此， 下--個動作是控制和界面程序48啟動整合器程序44，后者在合適時訪問 工作區(qū)46以從其讀取特征參數(shù)值，并且將這些參數(shù)整合在一起，以便生 成最終視頻質(zhì)量值PDMOS。整合器程序44的運行與如先前描述的整合 器級4的運行基本上相同。因此，整合器程序44基本上根據(jù)如先前描述 的圖6的流程圖來運行。
本發(fā)明的第二實施方式因此提供了一個軟件實施方式，其按照基本 上與先前針對第一實施方式所描述的方式相同的方式來生成視頻質(zhì)量 值。然而，應(yīng)注意到，所述的第一實施方式也可以釆用軟件來實現(xiàn)，或 者另選地，可以利用硬件部件或軟件與硬件兩者的混合來實現(xiàn)。在這個 方面，第一實施方式應(yīng)當(dāng)被視為比第二實施方式更一般的實施方式。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)清楚，本發(fā)明的上述實施方式是經(jīng)過簡化的。 而且，本領(lǐng)域技術(shù)人員應(yīng)該認(rèn)識到，每一個實施方式中描述的特征的等 同物都是存在的，并且可以將一個實施方式的特征并入到其它實施方式 中。在存在實施方式的功能部件的已知等同物的情況下，它們被視為隱 含地公開于此，除非明確地放棄保護。因此，當(dāng)銘記本領(lǐng)域技術(shù)人員的 公知常識而在本說明書的環(huán)境下解釋時，本發(fā)明的主旨和范圍不限于在 本說明書中陳述的具體部件，而相反，要由權(quán)利要求書的范圍來確定。
除非上下文另外明確地需要，貫穿說明書和權(quán)利要求書，單詞"包 括"等要按與排它相對的包含或詳盡的意義來解釋；就是說，按"包括 但不限于"的意義來解釋。
而且，為避免疑惑，在對在先文獻(xiàn)(其內(nèi)容無論整體還是部分對于 作為本領(lǐng)域技術(shù)人員的預(yù)期讀者理解本發(fā)明的任一實施方式的操作和實 現(xiàn)而言都是必需的)進(jìn)行引用的情況下，所述內(nèi)容應(yīng)被視為通過對它的
18所述引用而并入于此。
所附摘要的內(nèi)容如下所述并入于此。提供了一種用于對包括多個視 頻幀的視頻信號進(jìn)行評估的系統(tǒng)和方法。在所述多個視頻幀中，對從一 個幀變到下一個幀的像素數(shù)量進(jìn)行分析，如果呈現(xiàn)在當(dāng)前幀中的設(shè)定比 例的像素與呈現(xiàn)在前一幀中的相匹配，則將每一幀標(biāo)識為重復(fù)。記錄所 得的該視頻信號中的重復(fù)幀的模式。接著，掃描所得模式，以確定指定 重復(fù)幀是否為時間重復(fù)模式的一部分，并且標(biāo)識那些沒有被確定為時間 重復(fù)模式的一部分的重復(fù)幀。作為上述的結(jié)果，視頻質(zhì)量評估能夠分離 地處理這兩種類型的時間贗象，從而在幾乎看不見的規(guī)則幀丟失與視覺 擾亂的不規(guī)則幀丟失之間加以區(qū)分。
權(quán)利要求
1、一種對包括多個視頻幀的視頻信號進(jìn)行評估的方法，該方法包括以下步驟(a)在所述多個視頻幀中，分析從一幀到下一幀發(fā)生改變的像素數(shù)量；(b)如果呈現(xiàn)在某一幀中的設(shè)定比例的像素與呈現(xiàn)在前一幀中的相匹配，則將當(dāng)前幀標(biāo)識為重復(fù)；(c)記錄所述視頻信號中重復(fù)幀的模式；(d)掃描所述模式，以確定指定重復(fù)幀是否為時間重復(fù)模式的一部分；以及(e)通過標(biāo)識那些沒有被確定為所述時間重復(fù)模式的一部分的重復(fù)幀來生成質(zhì)量指示符。
2、 根據(jù)權(quán)利要求1所述的方法，該方法包括以下步驟(f) 通過在所述模式中建立在所述模式中被稱作第一幀的多個幀的 第一窗口以及具有相同尺寸的第二窗口，來掃描所述模式；(g) 按相對于所述第一窗口有所偏移的方式來布置所述第二窗口 ；(h) 對所述第一窗口和所述第二窗口中的重復(fù)幀的模式進(jìn)行比較，并 且記錄這些模式之間失配的數(shù)量；(i) 在偏移范圍上針對每一個偏移值重復(fù)所述比較并且記錄結(jié)果；(D針對所述第一窗口和所述第二窗口來選擇新的窗口尺寸值、在偏 移值范圍上重復(fù)所述比較，并記錄結(jié)果； '(k)確定在偏移值范圍上提供了失配值最小變化的目標(biāo)窗口尺寸。
3、 根據(jù)權(quán)利要求2所述的方法，其中，所述質(zhì)量指示符是通過以下 操作來生成的對第一部分中重復(fù)幀的模式與具有相同尺寸的多個第二 部分中的重復(fù)幀的模式進(jìn)行比較并且記錄所述第一部分中的模式與每一 個所述第二部分中的模式之間出現(xiàn)失配的次數(shù)，其中所述第一部分的尺 寸由所述目標(biāo)窗口的尺寸來決定。
4、 根據(jù)以上權(quán)利要求中任意一項所述的方法，該方法包括以下步驟將所述質(zhì)量指示符與一個或更多個己知質(zhì)量指示符進(jìn)行組合，以生成感 知平均意見得分。
5、 根據(jù)以上權(quán)利要求中任意一項所述的方法，其中，所述分析是針 對每一幀的一部分執(zhí)行的。
6、 根據(jù)權(quán)利要求5所述的方法，其中，所述一部分不包括所述幀的 邊緣。
7、 根據(jù)以上權(quán)利要求中任意一項所述的方法，其中，每一幀都包括 多個像素，其中，如果相鄰幀中的第一幀中的一個像素處于第二幀中的 對應(yīng)像素的預(yù)定閾值內(nèi)，則將來自所述相鄰幀的這兩個像素標(biāo)識為匹配。
8、 根據(jù)以上權(quán)利要求中任意一項所述的方法，其中，判定機制對每 一個像素應(yīng)用閾值，如果一幀中的所有像素都處于前一幀中的對應(yīng)像素 的預(yù)定閾值內(nèi)，則將該幀標(biāo)識為重復(fù)。
9、 一種計算機程序或程序組，該計算機程序或該程序組被配置成， 當(dāng)由計算機系統(tǒng)執(zhí)行時它/它們使得所述計算機系統(tǒng)執(zhí)行權(quán)利要求1-8中 任意一項所述的方法。
10、 一種對包括多個視頻幀的視頻信號進(jìn)行評估的系統(tǒng)，其中，所 述系統(tǒng)包括用于通過分析從一幀到下一幀發(fā)生改變的像素數(shù)量來檢測重復(fù)幀并 且記錄重復(fù)幀的模式的裝置； ''用于掃描所述模式以確定指定重復(fù)幀是否為時間重復(fù)模式的一部分 并且通過標(biāo)識那些沒有被確定為所述時間重復(fù)模式的一部分的重復(fù)幀來 生成質(zhì)量指示符的裝置。
11、 根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，用于掃描所述模式的裝置 包括用于在所述模式中建立在所述模式中被稱作第一幀的多個幀的第 一窗口以及具有相同尺寸的第二窗口，來掃描所述模式的裝置；其中，按相對于所述第一窗口有所偏移的形式來布置所述第二窗口； 其中，用于掃描所述模式的裝置還包括用于對所述第一窗口和所述第二窗口中的重復(fù)幀的模式進(jìn)行比較并 且記錄這些模式之間失配數(shù)量的裝置；用于在偏移范圍上針對每一個偏移值重復(fù)所述比較并且記錄結(jié)果的 裝置；用于針對所述第一窗口和所述第二窗口來選擇新的窗口尺寸值、在 偏移值范圍上重復(fù)所述比較并記錄結(jié)果的裝置；以及用于確定在所述偏移值范圍上提供了失配值最小變化的目標(biāo)窗口尺 寸的裝置。
12、 根據(jù)權(quán)利要求ll所述的系統(tǒng)，該系統(tǒng)包括用于通過以下操作來 生成所述質(zhì)量指示符的裝置對第一部分中的重復(fù)幀的模式與具有相同 尺寸的多個第二部分中的重復(fù)幀的模式進(jìn)行比較并且記錄所述第一部分 中的模式與每一個所述第二部分中的模式之間出現(xiàn)失配的次數(shù)，其中所 述第一部分的尺寸由所述目標(biāo)窗口的尺寸來決定。
13、 根據(jù)權(quán)利要求10到12中任一項所述的系統(tǒng)，該系統(tǒng)包括用于 將所述質(zhì)量指示符與一個或更多個已知質(zhì)量指示符進(jìn)行組合以生成感知 平均意見得分的裝置。
14、 根據(jù)權(quán)利要求10到13中任一項所述的系統(tǒng)，其中，所述分析 是針對每一幀的一部分執(zhí)行的。
15、 根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述一部分不包括所述幀 的邊緣。
16、 根據(jù)權(quán)利要求10到15中任一項所述的系統(tǒng)，其中，每一幀都 包括多個像素，其中，如果相鄰幀中的第一幀中的一個像素處于第二幀 中的對應(yīng)像素的預(yù)定閾值內(nèi)，則將來自所述相鄰幀的這兩個像素標(biāo)識為匹配。
17、 根據(jù)權(quán)利要求10到16中任一項所述的系統(tǒng)，其中，判定機制 對每一個像素應(yīng)用閾值，如果一幀中的所有像素都處于前一幀中的對應(yīng) 像素的預(yù)定閾值內(nèi)，則將該幀標(biāo)識為重復(fù)。
全文摘要
提供了一種用于對包括多個視頻幀的視頻信號進(jìn)行評估的系統(tǒng)和方法。在所述多個視頻幀中，對從一個幀變到下一個幀的像素數(shù)量進(jìn)行分析，如果呈現(xiàn)在當(dāng)前幀中的設(shè)定比例的像素與呈現(xiàn)在前一幀中的相匹配，則將每一幀標(biāo)識為重復(fù)。記錄所得的該視頻信號中的重復(fù)幀的模式。接著，掃描所得模式，以確定指定重復(fù)幀是否為時間重復(fù)模式的一部分，并且標(biāo)識那些沒有被確定為時間重復(fù)模式的一部分的重復(fù)幀。作為上述的結(jié)果，視頻質(zhì)量評估能夠分離地處理這兩種類型的時間贗象，從而在幾乎看不見的規(guī)則幀丟失與視覺擾亂的不規(guī)則幀丟失之間加以區(qū)分。
文檔編號H04N17/00GK101682796SQ200880018580
公開日2010年3月24日 申請日期2008年2月27日 優(yōu)先權(quán)日2007年4月3日
發(fā)明者亞歷山大·瓊·布雷 申請人:英國電訊有限公司