專利名稱：自動(dòng)視頻質(zhì)量評(píng)價(jià)的可縮放客觀度量的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般針對(duì)評(píng)價(jià)視頻質(zhì)量的系統(tǒng)和方法，并且尤其是提供自動(dòng)評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的改進(jìn)系統(tǒng)和方法。
背景技術(shù)：
視頻專家們一直在尋求新的改進(jìn)視頻圖象質(zhì)量的算法和方法。主要的目標(biāo)是使獲得感知上最吸引人的視頻圖象成為可能。最終的準(zhǔn)則是“觀看者對(duì)所得圖象有多喜歡？”的問(wèn)題。一種回答該問(wèn)題的方法是讓一組觀看者觀看某些視頻序列，然后記錄觀看者對(duì)有關(guān)所得圖象質(zhì)量的意見。但是，結(jié)果將會(huì)根據(jù)觀看組之間的不同而一組一組地有所不同。該問(wèn)題通常會(huì)在依賴人的主觀意見時(shí)遇到。該問(wèn)題的嚴(yán)重性在觀看組由非專家組成時(shí)會(huì)增加。
只是根據(jù)人的感知和主觀意見的結(jié)果通常要經(jīng)過(guò)后續(xù)的統(tǒng)計(jì)分析來(lái)去除由主觀結(jié)果的非確定性本性所導(dǎo)致的不定性。已經(jīng)建議了線性和非線性啟發(fā)式統(tǒng)計(jì)模型來(lái)標(biāo)準(zhǔn)化這些類型的主觀結(jié)果，以獲得表示視頻質(zhì)量的優(yōu)良(或下降)的某一品質(zhì)因數(shù)。在這種意義上，測(cè)量視頻質(zhì)量的過(guò)程稱為“主觀視頻質(zhì)量評(píng)估”。
主觀視頻質(zhì)量評(píng)估方法給出可視視頻非自然信號(hào)的有效指示。但是，主觀視頻質(zhì)量評(píng)估方法在本性是隨機(jī)的、復(fù)雜的、消耗時(shí)間的并且有時(shí)難于應(yīng)用。而且，在為觀看組選擇適當(dāng)?shù)挠^看者中存在問(wèn)題。未訓(xùn)練的觀看者對(duì)于新視頻處理方法的適用性將是一個(gè)較差的評(píng)判者。但是，未訓(xùn)練的觀看者可能準(zhǔn)確地代表了市場(chǎng)中的一般消費(fèi)者。另一方面，訓(xùn)練過(guò)的專家觀看者將過(guò)于偏重于檢測(cè)普通消費(fèi)者不會(huì)注意的較小缺陷。
為了避免伴隨評(píng)價(jià)視頻質(zhì)量的主觀方法的缺點(diǎn)，期望使用自動(dòng)的客觀方法來(lái)評(píng)價(jià)視頻質(zhì)量。自動(dòng)的客觀方法尋求獲得客觀的品質(zhì)因數(shù)來(lái)量化視頻質(zhì)量的優(yōu)良(或下降)。獲得一個(gè)或多個(gè)視頻質(zhì)量客觀測(cè)量的過(guò)程必須自動(dòng)化，以便能夠當(dāng)視頻算法在視頻流中順序出現(xiàn)時(shí)快速分析不同類型的視頻算法。
視頻質(zhì)量的客觀測(cè)量是完全確定性的。即，重復(fù)測(cè)試時(shí)結(jié)果將總是相同的(假定保持相同的設(shè)置)。
因?yàn)樽罱K的目標(biāo)是向觀看者提供最吸引人的圖象，所以視頻質(zhì)量客觀測(cè)量值的最終判斷是客觀測(cè)量所具有的、與主觀結(jié)果的相關(guān)程度。統(tǒng)計(jì)分析通常被用于將客觀獲得(自動(dòng)產(chǎn)生)的結(jié)果和主觀獲得(根據(jù)人的意見)的結(jié)果相關(guān)。
本領(lǐng)域需要自動(dòng)測(cè)量視頻質(zhì)量的改進(jìn)系統(tǒng)和方法。自動(dòng)測(cè)量視頻質(zhì)量的處理稱為“客觀視頻質(zhì)量評(píng)估”。
已經(jīng)建議了幾種不同類型的能夠提供客觀視頻質(zhì)量評(píng)估的算法。這些算法通常稱為“客觀視頻質(zhì)量模型”。視頻質(zhì)量專家組(VQEG)的報(bào)告提出并說(shuō)明了在十(10)個(gè)客觀視頻質(zhì)量模型上執(zhí)行的評(píng)價(jià)的結(jié)果。報(bào)告注明的日期是1999年12月，標(biāo)題是“Final Report from the VideoQuality Experts Group on the Validation of Objective Models ofVideo Quality Assessment(視頻質(zhì)量專家組對(duì)視頻質(zhì)量評(píng)估的客觀模型確認(rèn)的總結(jié)報(bào)告)”。報(bào)告目前在萬(wàn)維網(wǎng)的http//www-ext.crc.ca/VQEG上可以得到。
每種不同的客觀視頻質(zhì)量模型提供各自不同的視頻質(zhì)量測(cè)量，稱為“客觀度量”。“雙端”客觀度量是使用第一原始的視頻圖象和第二經(jīng)過(guò)處理的視頻圖象來(lái)評(píng)價(jià)視頻質(zhì)量?！半p端”客觀度量比較第一原始的視頻圖象和第二經(jīng)過(guò)處理的視頻圖象，通過(guò)確定原始視頻圖象中的變化來(lái)評(píng)價(jià)視頻質(zhì)量?！皢味恕笨陀^度量是不參考原始視頻圖象來(lái)評(píng)價(jià)視頻質(zhì)量?！皢味恕笨陀^度量對(duì)視頻圖象應(yīng)用一種算法來(lái)評(píng)價(jià)它的質(zhì)量。
還沒(méi)有發(fā)現(xiàn)一種客觀度量在所有條件下和對(duì)于所有視頻非自然信號(hào)都優(yōu)于所有其它的客觀度量。每種客觀度量都有自己的優(yōu)點(diǎn)和缺點(diǎn)?？陀^度量在性能上(即，它們的結(jié)果與主觀質(zhì)量評(píng)估的結(jié)果的相關(guān)程度)、穩(wěn)定性上(即，它們對(duì)不同類型的視頻非自然信號(hào)的處理程度)、復(fù)雜性上(即，需要多少計(jì)算能力執(zhí)行算法的計(jì)算)差別很大。
存在著客觀度量可以應(yīng)用的很大的應(yīng)用范圍。例如，需要快速實(shí)時(shí)的客觀度量來(lái)判斷廣播視頻信號(hào)的質(zhì)量。另一方面，越復(fù)雜和可靠的客觀度量越適于判斷非實(shí)時(shí)視頻仿真的質(zhì)量。
僅使用一種客觀度量(和一種客觀視頻質(zhì)量模型)將視頻信號(hào)質(zhì)量的評(píng)價(jià)限制在了所用的客觀度量能獲得的評(píng)價(jià)等級(jí)上。因此期望對(duì)視頻質(zhì)量評(píng)價(jià)使用多于一種的客觀度量。一種對(duì)視頻質(zhì)量評(píng)價(jià)使用多于一種客觀度量的改進(jìn)系統(tǒng)和方法已經(jīng)在美國(guó)專利申請(qǐng)中公開，申請(qǐng)?zhí)?9/734,823，由Ali等在2000年12月12日提交，標(biāo)題為“System andMethod for Providing a Scalable Dynamic Objective Metric forAutomatic Video Quality Evaluation(提供自動(dòng)視頻質(zhì)量評(píng)價(jià)的可縮放動(dòng)態(tài)客觀度量的系統(tǒng)和方法)”(代理人案號(hào)PHUS000384)。
發(fā)明概述本領(lǐng)域中需要合并客觀度量的改進(jìn)系統(tǒng)和方法，以便形成更有效的視頻質(zhì)量評(píng)價(jià)的客觀度量。
本發(fā)明一般地包括提供可縮放客觀度量的改進(jìn)系統(tǒng)和方法，它采用相互依賴的客觀度量來(lái)自動(dòng)評(píng)價(jià)視頻圖象的視頻質(zhì)量。本發(fā)明由獨(dú)立權(quán)利要求來(lái)限定。從屬權(quán)利要求限定了有利的實(shí)施例。
在本發(fā)明的有利實(shí)施例中，本發(fā)明的改進(jìn)系統(tǒng)包括客觀度量控制器，它能夠從多個(gè)客觀度量模型單元接收多個(gè)客觀度量品質(zhì)因數(shù)?？陀^度量控制器能夠?qū)ζ谕筒黄谕囊曨l圖象特性都使用客觀度量?？陀^度量控制器還能夠使用多個(gè)相互依賴的客觀度量?？陀^度量控制器能夠從多個(gè)相互依賴的客觀品質(zhì)因數(shù)確定可縮放客觀度量。
在本發(fā)明的有利實(shí)施例中，本發(fā)明的改進(jìn)方法包括步驟在客觀度量控制器中從包括至少一對(duì)相互依賴的客觀度量模型單元的多個(gè)客觀度量模型單元接收多個(gè)客觀度量品質(zhì)因數(shù)，和從該多個(gè)客觀度量品質(zhì)因數(shù)確定可縮放客觀度量。
本發(fā)明的主要目的是提供一種用于提供可縮放客觀度量的改進(jìn)系統(tǒng)和方法，以便使用相互依賴的客觀度量模型單元來(lái)自動(dòng)評(píng)價(jià)視頻圖象的視頻質(zhì)量。
在有利實(shí)施例中，本發(fā)明根據(jù)一相關(guān)因子提供可縮放客觀度量，該相關(guān)因子是從至少一對(duì)相互依賴的客觀度量模型單元的相互依賴性數(shù)學(xué)描述而導(dǎo)出的。
在有利實(shí)施例中，本發(fā)明根據(jù)一相關(guān)因子提供可縮放客觀度量，該相關(guān)因子是使用采用客觀質(zhì)量分?jǐn)?shù)和主觀質(zhì)量分?jǐn)?shù)的神經(jīng)網(wǎng)絡(luò)算法而導(dǎo)出的。
在有利實(shí)施例中，本發(fā)明在連續(xù)接收新的視頻圖象時(shí)從多個(gè)客觀度量品質(zhì)因數(shù)的新值連續(xù)確定可縮放客觀度量的新值。
前面已非常廣地概述了本發(fā)明的特征和技術(shù)優(yōu)點(diǎn)，從而本領(lǐng)域的技術(shù)人員可以更好地理解以下的發(fā)明詳述。構(gòu)成發(fā)明的權(quán)利要求主題的本發(fā)明另外的特征和優(yōu)點(diǎn)將在下文中說(shuō)明。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)意識(shí)到他們可以容易地使用公開的概念和特定實(shí)施例作為基礎(chǔ)來(lái)修改或設(shè)計(jì)其它執(zhí)行本發(fā)明相同目的的結(jié)構(gòu)。本領(lǐng)域的技術(shù)人員還將認(rèn)識(shí)到這種相當(dāng)?shù)臉?gòu)造沒(méi)有脫離本發(fā)明最廣泛形式的范圍。
在開始發(fā)明詳述以前，提出在整個(gè)該專利文件中使用的某些單詞和短語(yǔ)的定義是有利的術(shù)語(yǔ)“包括”和“包含”和其派生詞，意思是沒(méi)有限制的包括；術(shù)語(yǔ)“或”，是可兼的，意思是和/或；短語(yǔ)“相關(guān)聯(lián)”和“與之相關(guān)聯(lián)”以及其派生詞，可以意味著包括，被包括在內(nèi)，互相連接，包含，包含在內(nèi)，與或和...連接，與或和...耦合，通信，合作，交錯(cuò)，并置，接近，被縛于或與...相縛，具有，具有...特性，等等；而術(shù)語(yǔ)“控制器”，“處理器”或“裝置”意思是任何至少控制一種操作的裝置、系統(tǒng)或其部分，這樣的裝置可以由硬件、固件或軟件或它們中至少兩個(gè)的某種組合實(shí)現(xiàn)。應(yīng)當(dāng)注意，與任何特定控制器相關(guān)聯(lián)的功能性可以是集中或分散的，而不論是本地的還是遠(yuǎn)程的。某些單詞和短語(yǔ)的定義被提供在整個(gè)該專利文件中，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，在許多，如果不是多數(shù)的實(shí)例中，這樣的定義適應(yīng)于這樣定義的單詞和短語(yǔ)的在前和將來(lái)的使用。
附圖簡(jiǎn)述為了更全面地理解本發(fā)明和其優(yōu)點(diǎn)，現(xiàn)在結(jié)合相應(yīng)附圖參考以下的說(shuō)明，其中相同的數(shù)字表示相同的對(duì)象，并且該圖示出了一個(gè)框圖，它舉例說(shuō)明從視頻流獲得多個(gè)客觀度量品質(zhì)因數(shù)的多個(gè)客觀度量模型單元，以及一個(gè)能夠使用多個(gè)客觀度量品質(zhì)因數(shù)來(lái)確定可縮放客觀度量的客觀度量控制器。
發(fā)明詳述下面討論的附圖和在該專利文件中提出來(lái)說(shuō)明本發(fā)明改進(jìn)的系統(tǒng)和方法原理的各種實(shí)施例僅是作為舉例說(shuō)明，而不應(yīng)當(dāng)以任何方式解釋為限制本發(fā)明的范圍。本領(lǐng)域的技術(shù)人員將容易地理解本發(fā)明的原理也可以成功地應(yīng)用在各類評(píng)價(jià)視頻質(zhì)量的裝置中。
附圖示出了系統(tǒng)100，它用于提供自動(dòng)視頻質(zhì)量評(píng)價(jià)的可縮放客觀度量。系統(tǒng)100接收視頻流110。多個(gè)客觀度量模型單元(120，130，...，140)中的每個(gè)單元都接收視頻流110的視頻信號(hào)的副本。客觀度量模型單元120應(yīng)用第一客觀度量模型(稱為“度量1”)來(lái)獲得第一品質(zhì)因數(shù)f(1)，它表示第一客觀度量模型基礎(chǔ)上的視頻信號(hào)的質(zhì)量。該第一品質(zhì)因數(shù)f(1)被提供給控制器150。
類似地，客觀度量模型單元130應(yīng)用第二客觀度量模型(稱為“度量2”)來(lái)獲得第二品質(zhì)因數(shù)f(2)，它表示第二客觀度量模型基礎(chǔ)上的視頻信號(hào)的質(zhì)量。第二品質(zhì)因數(shù)f(2)也被提供給控制器150。以這種方式繼續(xù)，其它的客觀度量模型單元被加入，直到最后的客觀度量模型單元140已經(jīng)加入為止?？陀^度量模型單元140應(yīng)用最后的客觀度量模型(稱為“度量N”)?？陀^度量模型單元(120，130，...，140)獲得多個(gè)品質(zhì)因數(shù)(f(1)，f(2)，...，f(N))并將它們提供給控制器150。
品質(zhì)因數(shù)(f(1)，f(2)，...，f(N))通過(guò)N個(gè)不同的客觀度量來(lái)表示視頻流質(zhì)量的一系列N個(gè)評(píng)價(jià)。品質(zhì)因數(shù)(f(1)，f(2)，...，f(N))也可以表示為f(i)，其中i的值從1到N。
如將在下面更詳細(xì)說(shuō)明的，本發(fā)明的系統(tǒng)100提供使用品質(zhì)因數(shù)f(i)計(jì)算可縮放客觀度量的系統(tǒng)和方法。字母“F”(圖中所示)表示本發(fā)明的可縮放客觀度量。
本發(fā)明的系統(tǒng)100包括控制器150和存儲(chǔ)器160?？刂破?50可以包括傳統(tǒng)的微處理器芯片或者專門設(shè)計(jì)的硬件。控制器150經(jīng)信號(hào)通信線路(

圖1所示)連接到多個(gè)客觀度量模型單元(120，130，...，140)。控制器150結(jié)合位于存儲(chǔ)器160內(nèi)的操作系統(tǒng)(未示出)一起工作來(lái)處理數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)、提取數(shù)據(jù)和輸出數(shù)據(jù)。控制器150通過(guò)執(zhí)行存儲(chǔ)在存儲(chǔ)器160中的計(jì)算機(jī)指令來(lái)計(jì)算可縮放客觀度量“F”。
存儲(chǔ)器160可以包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)，或者隨機(jī)存取存儲(chǔ)器(RAM)和只讀存儲(chǔ)器(ROM)的組合。在本發(fā)明的有利實(shí)施例中，存儲(chǔ)器160可以包括非易失性隨機(jī)存取存儲(chǔ)器(RAM)，例如閃存。存儲(chǔ)器160還可以包括大容量存儲(chǔ)數(shù)據(jù)裝置，例如硬盤驅(qū)動(dòng)器(未示出)或者光盤只讀存儲(chǔ)器(CD-ROM)(未示出)。
注意，本發(fā)明的系統(tǒng)和方法可以在各種類型的視頻處理系統(tǒng)中使用，沒(méi)有限制地包括，基于硬盤驅(qū)動(dòng)的電視機(jī)和基于硬盤驅(qū)動(dòng)的視頻錄象機(jī)，例如ReplayTVTM視頻錄象機(jī)或TiVOTM視頻錄象機(jī)。
控制器150和度量計(jì)算算法170一起組成能夠?qū)崿F(xiàn)本發(fā)明的客觀度量控制器。在存儲(chǔ)器160內(nèi)存儲(chǔ)的度量計(jì)算算法170中的計(jì)算機(jī)指令的指示下，控制器150使用品質(zhì)因數(shù)f(i)計(jì)算可縮放客觀度量“F”。
控制器150內(nèi)的加權(quán)單元190動(dòng)態(tài)檢測(cè)視頻序列目前出現(xiàn)的特性。目前出現(xiàn)的特性可以包括這樣的特征清晰度，色彩，飽和度，運(yùn)動(dòng)，和類似類型的特征。加權(quán)單元190將值(或“加權(quán)”)w(i)指定給每個(gè)客觀度量(度量1，度量2，...，度量N)，例如，如果度量1在某個(gè)第一類視頻信號(hào)上使用時(shí)特別好，那么給予w(1)值大于其它w(i)值的值。反過(guò)來(lái)，如果度量2在同樣的第一類視頻信號(hào)上使用時(shí)不是很好，那么將給予w(2)值小于其它w(i)值的值。如果存在第二類視頻信號(hào)，可能在第二類視頻信號(hào)上使用時(shí)度量1不如度量2好。在這種情況中，給予w(2)值高于其它w(i)值的值，給予w(1)值低于其它w(i)值的值。
一般來(lái)說(shuō)，加權(quán)單元190選擇的w(i)值將根據(jù)加權(quán)單元190動(dòng)態(tài)檢測(cè)的視頻信號(hào)的類型而變化?？刂破?50使用度量計(jì)算算法170來(lái)計(jì)算每個(gè)w(i)和f(i)乘積的和S。即，S＝w(1)f(1)+w(2)f(2)+...+w(N)f(N) (1)或 S＝w(i)f(i) (2)其中i的值從1進(jìn)行到N。
相關(guān)因子r(i)和每個(gè)品質(zhì)因數(shù)f(i)相關(guān)聯(lián)。相關(guān)因子r(i)從下面的表達(dá)式獲得r(i)＝1-[A(i)/B] (3)其中A(i)＝6[X(i，j)-Y(i，j)]2(4)其中j的值從1進(jìn)行到n。
并且其中B＝n(n2-1) (5)X(i，j)的值是視頻圖象的一組n個(gè)客觀數(shù)據(jù)值的值。Y(i，j)的值是同樣視頻圖象的一組n個(gè)主觀數(shù)據(jù)值的值。即，X數(shù)據(jù)點(diǎn)的數(shù)目(n)和Y數(shù)據(jù)點(diǎn)的數(shù)目(n)相同。
值r(i)稱為“槍兵等級(jí)(spearman rank)”的相關(guān)因子。值r(i)是客觀X值有多符合主觀Y值的測(cè)量。每個(gè)品質(zhì)因數(shù)f(i)的相關(guān)因子r(i)的值之前已經(jīng)由統(tǒng)計(jì)分析確定，是已知的。相關(guān)因子r(i)的值存儲(chǔ)在存儲(chǔ)器160中的度量參數(shù)查找表180中。
需要可縮放客觀度量“F”的“最佳擬合”值?！癋”的“最佳擬合”值表示視頻質(zhì)量的客觀度量測(cè)量(自動(dòng)產(chǎn)生)和視頻質(zhì)量的主觀測(cè)量(從人的意見)的最高相關(guān)等級(jí)?！癋”的“最佳擬合”值表示視頻質(zhì)量的客觀測(cè)量對(duì)視頻質(zhì)量的主觀測(cè)量的最接近近似值。因?yàn)橐曨l流中的視頻圖象持續(xù)變化，“最佳擬合”將需要持續(xù)自動(dòng)更新。術(shù)語(yǔ)“動(dòng)態(tài)”是指本發(fā)明的客觀度量連續(xù)改變它的值以考慮視頻流中的視頻圖象連續(xù)的能力。
如前所述，加權(quán)單元190在視頻序列的特性出現(xiàn)時(shí)連續(xù)(即，動(dòng)態(tài))檢測(cè)它們。對(duì)于每個(gè)相關(guān)因子r(i)，加權(quán)單元190將w(i)的值連續(xù)指定給每個(gè)品質(zhì)因數(shù)f(i)。為了動(dòng)態(tài)獲得“F”的“最佳擬合”值，度量計(jì)算算法170為每個(gè)r(i)值確定一個(gè)能使值S為最大值的w(i)的值。這些值中最大的(即最大值)被選定為可縮放客觀度量“F”。即，F(xiàn)＝Maximum[S(r(1))，S(r(2))，...，S(r(N))](6)因?yàn)樾碌目陀^度量模型單元能夠容易地加入(只要它們的相關(guān)因子r(i)能被確定)，所以可縮放客觀度量“F”被稱為可縮放。另外，不再需要的客觀度量模型單元能夠容易地去除。
本發(fā)明的可縮放客觀度量“F”提供很大的靈活性。例如，對(duì)于快速(實(shí)時(shí))視頻信號(hào)，任何復(fù)雜的測(cè)量客觀度量可以被斷開，從而它們的品質(zhì)因數(shù)不在度量計(jì)算處理中考慮。對(duì)于能夠使用更多時(shí)間來(lái)執(zhí)行度量計(jì)算的仿真和視頻鏈優(yōu)化應(yīng)用，則可以接入更復(fù)雜的測(cè)量客觀度量，從而它們的品質(zhì)因數(shù)可以在度量計(jì)算處理中被考慮。
本發(fā)明的可縮放客觀度量避免了任何單個(gè)客觀度量的缺點(diǎn)。這是因?yàn)榧訖?quán)單元190將把低值指定給在出現(xiàn)某組非自然信號(hào)時(shí)運(yùn)行不好的任何客觀度量的w(i)。和任何單個(gè)客觀度量相比，本發(fā)明的可縮放客觀度量實(shí)現(xiàn)了和主觀測(cè)量結(jié)果的最高相關(guān)性。本發(fā)明的可縮放客觀度量將至少在所有環(huán)境下和最好的單個(gè)客觀度量一樣好。因?yàn)榭煽s放客觀度量允許包括任何客觀度量，所以本發(fā)明的系統(tǒng)和方法不限于使用特定類型的客觀度量(例如，“單端”客觀度量或“雙端”客觀度量)。
注意，如果需要，本發(fā)明已經(jīng)在軟件中實(shí)現(xiàn)的元件(例如，加權(quán)單元190)可以在硬件中實(shí)現(xiàn)。
如所示，本發(fā)明的系統(tǒng)100還包括神經(jīng)網(wǎng)絡(luò)單元195。在一個(gè)實(shí)施例中，神經(jīng)網(wǎng)絡(luò)單元195可以位于控制器150內(nèi)。神經(jīng)網(wǎng)絡(luò)單元195的工作將在下面更全面地說(shuō)明。
本發(fā)明系統(tǒng)的工作方法能夠說(shuō)明如下。來(lái)自視頻流110的視頻圖象被提供給N個(gè)客觀度量模型單元(120，130，...，140)。N個(gè)客觀度量模型單元(120，130，...，140)評(píng)價(jià)各個(gè)視頻圖象并獲得N個(gè)各自的品質(zhì)因數(shù)f(i)。
然后，客觀度量控制器150中的加權(quán)單元190動(dòng)態(tài)檢測(cè)視頻圖象的視頻特性，并將N個(gè)加權(quán)w(i)指定給N個(gè)品質(zhì)因數(shù)，f(i)。對(duì)于每個(gè)相關(guān)因子r(i)，客觀度量控制器150計(jì)算和S(r(i))，它等于加權(quán)w(i)和品質(zhì)因數(shù)f(i)的各個(gè)乘積的和。
然后，客觀度量控制器150選擇和S(r(i))的最大值，它對(duì)應(yīng)于視頻質(zhì)量客觀測(cè)量和視頻質(zhì)量主觀測(cè)量的最佳相關(guān)性。然后客觀度量控制器150將該值指定為可縮放客觀度量“F”的值。然后客觀度量控制器150輸出該“F”值。
在“F”值已經(jīng)輸出以后，要確定客觀度量控制器150是否仍然接收視頻圖象。如果視頻已經(jīng)結(jié)束，那么該過(guò)程結(jié)束。如果視頻還沒(méi)有結(jié)束并且還有視頻圖象正在被接收，則控制返回到單元120-140執(zhí)行的第一步驟，并且客觀控制器150繼續(xù)以已經(jīng)說(shuō)明的方式工作。
本發(fā)明已經(jīng)描述為評(píng)估計(jì)算視頻圖象的視頻質(zhì)量的可縮放客觀度量的系統(tǒng)。應(yīng)當(dāng)理解，本發(fā)明的“可縮放客觀度量”是廣義的情況，它包括作為子集的提供“靜態(tài)客觀度量”的更特定的情況。為了提供“靜態(tài)客觀度量”，本發(fā)明從多個(gè)客觀度量模型單元接收多個(gè)客觀度量品質(zhì)因數(shù)，為多個(gè)客觀度量品質(zhì)因數(shù)中的每一個(gè)確定加權(quán)值w(i)，然后在對(duì)視頻流110計(jì)算客觀度量“F”的處理期間保持加權(quán)值w(i)恒定(即，不變化)。
本發(fā)明還包括一種通過(guò)同時(shí)使用表示期望的圖象特征的單個(gè)客觀度量和表示不期望的圖象特征的單個(gè)客觀度量來(lái)計(jì)算客觀度量“F”的系統(tǒng)和方法。期望的圖象特征的例子是清晰度和對(duì)比度。不期望的圖象特征的例子是噪聲、塊狀和混疊。產(chǎn)生良好效果的動(dòng)態(tài)客觀度量“F”可以通過(guò)使用競(jìng)爭(zhēng)的單個(gè)客觀度量來(lái)獲得。這就是說(shuō)，表示期望和不期望圖象特征的單個(gè)客觀度量要被合并。
單個(gè)客觀度量可以相互依賴。例如，考慮依賴于圖象中噪聲出現(xiàn)的簡(jiǎn)單清晰度客觀度量。讓圖象的清晰度由高頻帶BH中的信號(hào)功率PH表示。增強(qiáng)圖象清晰度將使該頻帶中的信號(hào)功率增加到PH’，其中PH’等于PH加PH中的變化(即，ΔPH)。這可以表示為PH’＝PH+ΔPH(7)
測(cè)量到的信號(hào)功率是圖象清晰度的一種指示。
向干凈的圖象加上白噪聲也會(huì)使信號(hào)功率增加為PH”＝PH+NH(8)其中NH是頻帶BH中的噪聲功率。清晰度度量將因此被定義為整個(gè)信號(hào)功率PH減去測(cè)量的噪聲功率NH。清晰度度量相互依賴于噪聲度量。
如果使用不相互依賴的單個(gè)客觀度量，那么可縮放客觀度量“F”按方程式(6)來(lái)計(jì)算。指定給期望特征的加權(quán)因子被給予與指定給不期望特征的加權(quán)因子相反的符號(hào)。
如果使用相互依賴的單個(gè)客觀度量，那么可縮放客觀度量“F”不必是單個(gè)客觀度量值的線性函數(shù)。當(dāng)存在相互依賴的單個(gè)客觀度量時(shí)，可縮放客觀度量“F”的值可以通過(guò)(1)用數(shù)學(xué)方程式描述相互依賴性和(2)將相互依賴性對(duì)應(yīng)的圖象和主觀質(zhì)量分?jǐn)?shù)進(jìn)行相關(guān)來(lái)確定。
可選地，可縮放客觀度量“F”的值可以通過(guò)使用同時(shí)采用客觀質(zhì)量分?jǐn)?shù)和主觀質(zhì)量分?jǐn)?shù)的神經(jīng)網(wǎng)絡(luò)算法來(lái)確定。在本發(fā)明的這個(gè)實(shí)施例中，控制器150采用神經(jīng)網(wǎng)絡(luò)單元195從相互依賴的客觀度量的值來(lái)計(jì)算可縮放客觀度量“F”的值。在一個(gè)實(shí)施例中，神經(jīng)網(wǎng)絡(luò)單元195位于控制器150內(nèi)。在另一個(gè)實(shí)施例中，神經(jīng)網(wǎng)絡(luò)單元195可以位于控制器150的外部。
本發(fā)明系統(tǒng)的一種可替換的工作方法能夠說(shuō)明如下。來(lái)自視頻流110的視頻圖象被提供給N個(gè)客觀度量模型單元(120，130，...，140)。該N個(gè)客觀度量模型單元(120，130，...，140)評(píng)價(jià)該視頻圖象并獲得N個(gè)各自的品質(zhì)因數(shù)f(i)。
然后，客觀度量控制器150中的加權(quán)單元190動(dòng)態(tài)檢測(cè)視頻圖象的視頻特性，并將N個(gè)加權(quán)w(i)指定給N個(gè)品質(zhì)因數(shù)f(i)。對(duì)于獨(dú)立的(即，非相互依賴的)客觀度量，客觀度量控制器150使用相關(guān)因子r(i)計(jì)算和S(r(i))。和S(r(i))等于加權(quán)w(i)和品質(zhì)因數(shù)f(i)的各個(gè)乘積的和。
然后，對(duì)于獨(dú)立的(即，非相互依賴的)客觀度量，客觀度量控制器150選擇和S(r(i))的最大值，它對(duì)應(yīng)于視頻質(zhì)量客觀測(cè)量和視頻質(zhì)量主觀測(cè)量的最佳相關(guān)性。然后客觀度量控制器150將該值指定為可縮放客觀度量“F”的值。
對(duì)于相互依賴的客觀度量，客觀度量控制器150從相互依賴的客觀度量相互依賴性的數(shù)學(xué)描述來(lái)計(jì)算可縮放客觀度量“F”的值。
客觀度量控制器150然后輸出“F”值?！癋”值已經(jīng)輸出以后，要確定客觀度量控制器150是否仍然接收視頻圖象。如果視頻已經(jīng)結(jié)束，那么該過(guò)程結(jié)束。如果視頻還沒(méi)有結(jié)束并且還有視頻圖象正在被接收，則控制返回到第一步驟，并且客觀控制器150繼續(xù)以已經(jīng)說(shuō)明的方式工作。
本發(fā)明系統(tǒng)的另一種工作方法能夠說(shuō)明如下。來(lái)自視頻流110的視頻圖象被提供給N個(gè)客觀度量模型單元(120，130，...，140)。N個(gè)客觀度量模型單元(120，130，...，140)評(píng)價(jià)該視頻圖象并獲得N個(gè)各自的品質(zhì)因數(shù)f(i)。
對(duì)于獨(dú)立的或相互依賴的客觀度量，控制器150使用神經(jīng)網(wǎng)絡(luò)單元195從相互依賴的客觀度量的值計(jì)算出可縮放客觀度量“F”的值。神經(jīng)網(wǎng)絡(luò)單元195中的神經(jīng)網(wǎng)絡(luò)算法之前已經(jīng)用主觀視頻質(zhì)量分?jǐn)?shù)訓(xùn)練過(guò)。
然后，客觀度量控制器150輸出“F”值?！癋”值已經(jīng)輸出以后，要確定客觀度量控制器150是否仍然接收視頻圖象。如果視頻已經(jīng)結(jié)束，那么該過(guò)程結(jié)束。如果視頻還沒(méi)有結(jié)束并且還有視頻圖象正在被接收，則控制返回到第一步驟，并且客觀控制器150繼續(xù)以已經(jīng)說(shuō)明的方式工作。
雖然已經(jīng)詳細(xì)說(shuō)明了本發(fā)明，但是本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，他們能夠在其中進(jìn)行各種改變、取代和替換，而不脫離由獨(dú)立權(quán)利要求限定的本發(fā)明最廣泛形式的范圍。在權(quán)利要求中，放置在括號(hào)之間的任何參考符號(hào)不應(yīng)當(dāng)解釋為限制權(quán)利要求。單詞“包括”不排除除了權(quán)利要求中列出的以外的元件或步驟的存在。元件前的單詞“一個(gè)”不排除多個(gè)這種元件的存在。本發(fā)明能夠通過(guò)包括幾個(gè)不同元件的硬件和通過(guò)適當(dāng)編程的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。在列舉幾個(gè)裝置的裝置權(quán)利要求中，這些裝置中的幾個(gè)裝置能夠由同一項(xiàng)硬件實(shí)現(xiàn)。在相互不同的從屬權(quán)利要求中敘述某些措施的簡(jiǎn)單事實(shí)不表示這些措施的組不能被有利地使用。
權(quán)利要求
1.一種提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，所述系統(tǒng)包括客觀度量控制器，能夠從多個(gè)客觀度量模型單元接收多個(gè)客觀度量品質(zhì)因數(shù)，并且能夠從所述多個(gè)客觀度量品質(zhì)因數(shù)來(lái)確定所述可縮放客觀度量，其中所述多個(gè)度量模型單元中至少一對(duì)單元是相互依賴的。
2.如權(quán)利要求1所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述多個(gè)客觀度量品質(zhì)因數(shù)的數(shù)目可從二變化到N，這里N是一個(gè)整數(shù)。
3.如權(quán)利要求1所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器能夠從一相關(guān)因子確定所述可縮放客觀度量，所述相關(guān)因子從所述多個(gè)度量模型單元的所述至少一對(duì)相互依賴單元的相互依賴性的數(shù)學(xué)描述而導(dǎo)出。
4.如權(quán)利要求1所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器能夠從一相關(guān)因子確定所述可縮放客觀度量，所述相關(guān)因子是使用采用客觀質(zhì)量分?jǐn)?shù)和主觀質(zhì)量分?jǐn)?shù)的神經(jīng)網(wǎng)絡(luò)算法而得出的。
5.如權(quán)利要求1所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，包括加權(quán)單元，通過(guò)對(duì)每個(gè)所述客觀度量品質(zhì)因數(shù)使用相關(guān)因子r(i)，將加權(quán)值指定給多個(gè)非相互依賴的客觀度量品質(zhì)因數(shù)的每一個(gè)，其中客觀度量品質(zhì)因數(shù)的每個(gè)相關(guān)因子r(i)表示客觀度量品質(zhì)因數(shù)對(duì)視頻圖象的特性評(píng)價(jià)的良好程度。
6.如權(quán)利要求1所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述多個(gè)客觀度量模型單元包括至少一個(gè)用于期望的視頻圖象特征的客觀度量模型單元和至少一個(gè)用于不期望的視頻圖象特征的客觀度量模型單元。
7.如權(quán)利要求5所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器使用所述相互依賴的客觀度量的相互依賴性數(shù)學(xué)描述而從相互依賴的客觀度量計(jì)算所述可縮放客觀度量的值F。
8.如權(quán)利要求5所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器能夠計(jì)算多個(gè)非相互依賴的客觀度量的多個(gè)和，其中對(duì)于各個(gè)所述的相關(guān)因子r(i)，每個(gè)和S(r(i))等于加權(quán)值w(i)和品質(zhì)因數(shù)f(i)的每個(gè)乘積的和。
9.如權(quán)利要求8所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器能夠通過(guò)選擇所述可縮放客觀度量為該多個(gè)和S(r(i))的最大值來(lái)獲得所述可縮放客觀度量，其中所述最大值表示所述視頻圖象的客觀度量測(cè)量和所述視頻圖象的主觀測(cè)量的最佳相關(guān)。
10.如權(quán)利要求1所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器能夠在所述多個(gè)客觀度量模型單元連續(xù)接收新視頻圖象時(shí)從所述多個(gè)客觀品質(zhì)因數(shù)的新值連續(xù)確定所述可縮放客觀度量的新值。
11.如權(quán)利要求1所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器能夠?qū)⒅辽僖粋€(gè)客觀度量加到所述多個(gè)客觀品質(zhì)因數(shù)，并且其中所述客觀度量控制器能夠從所述多個(gè)客觀品質(zhì)因數(shù)中刪除至少一個(gè)客觀度量。
12.如權(quán)利要求1所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，其中所述客觀度量控制器包括控制器，能夠從多個(gè)客觀度量模型單元接收多個(gè)客觀度量品質(zhì)因數(shù)f(i)；和包含在與所述控制器耦合的存儲(chǔ)器內(nèi)的度量計(jì)算算法，所述度量計(jì)算算法包含指令，能夠由所述控制器執(zhí)行來(lái)從所述多個(gè)客觀度量品質(zhì)因數(shù)f(i)的加權(quán)平均確定所述可縮放客觀度量的值F，其中所述多個(gè)客觀度量模型單元中的至少一對(duì)單元是相互依賴的。
13.如權(quán)利要求1所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的系統(tǒng)，包括多個(gè)客觀度量模型單元，其中所述多個(gè)客觀度量模型單元中的至少一對(duì)單元是相互依賴的；客觀度量控制器，能夠從所述多個(gè)客觀度量模型單元接收多個(gè)客觀度量品質(zhì)因數(shù)，其中所述客觀度量控制器能夠從多個(gè)非相互依賴的客觀度量品質(zhì)因數(shù)f(i)確定所述可縮放客觀度量的值F，并且能夠從至少兩個(gè)相互依賴的客觀度量確定所述可縮放客觀度量的值F，其中所述值F表示一客觀度量，該客觀度量表示視頻質(zhì)量的客觀度量測(cè)量和視頻質(zhì)量的主觀測(cè)量的最大級(jí)相關(guān)。
14.一種提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的方法，包括步驟在客觀度量控制器中從多個(gè)客觀度量模型單元接收多個(gè)客觀度量品質(zhì)因數(shù)，其中所述多個(gè)度量模型單元中的至少一對(duì)單元是相互依賴的；和從所述多個(gè)客觀度量品質(zhì)因數(shù)確定所述可縮放客觀度量。
15.如權(quán)利要求14所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的方法，進(jìn)一步包括步驟當(dāng)所述多個(gè)客觀度量模型單元接收新視頻圖象時(shí)，在所述客觀度量控制器中從所述多個(gè)客觀度量模型單元接收所述多個(gè)客觀度量品質(zhì)因數(shù)的新值；和從所述多個(gè)客觀度量品質(zhì)因數(shù)的所述新值連續(xù)確定所述可縮放客觀度量的新值。
16.如權(quán)利要求14所述的提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的方法，進(jìn)一步包括步驟為所述多個(gè)客觀度量品質(zhì)因數(shù)中的每個(gè)品質(zhì)因數(shù)確定加權(quán)值w(i)；保持所述加權(quán)值恒定；和使用所述恒定加權(quán)值來(lái)計(jì)算所述可縮放客觀度量。
17.一種提供評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的方法，包括步驟在客觀度量控制器中從多個(gè)客觀度量模型單元接收多個(gè)客觀度量品質(zhì)因數(shù)，其中所述多個(gè)客觀度量模型單元中的每一個(gè)單元是獨(dú)立的；和由使用同時(shí)采用客觀質(zhì)量源和主觀質(zhì)量源的神經(jīng)網(wǎng)絡(luò)算法得到的相關(guān)因子，從所述多個(gè)客觀度量品質(zhì)因數(shù)確定所述可縮放客觀度量。
全文摘要
公開了一種提供自動(dòng)評(píng)價(jià)視頻圖象視頻質(zhì)量的可縮放客觀度量的改進(jìn)系統(tǒng)和方法。該系統(tǒng)包括客觀度量控制器，能夠從多個(gè)客觀度量模型單元接收多個(gè)客觀度量品質(zhì)因數(shù)。有些客觀度量模型單元是獨(dú)立的，有些是相互依賴的。系統(tǒng)從多個(gè)客觀度量品質(zhì)因數(shù)確定可縮放客觀度量。該可縮放客觀度量表示視頻圖象的客觀度量測(cè)量和視頻圖象的主觀測(cè)量的最佳相關(guān)。系統(tǒng)能夠在多個(gè)客觀度量模型單元接收新視頻圖象時(shí)連續(xù)確定可縮放客觀度量的新值。
文檔編號(hào)H04N17/00GK1416651SQ01806282
公開日2003年5月7日 申請(qǐng)日期2001年12月17日 優(yōu)先權(quán)日2001年1月10日
發(fā)明者C·C·A·M·范宗 申請(qǐng)人:皇家菲利浦電子有限公司