專利名稱：視覺注意模式的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻質(zhì)量分析，特別涉及改進(jìn)的視覺注意模式，以便自動地確定在視頻信號的圖像中感興趣的區(qū)域。
背景技術(shù)：
早期被適當(dāng)調(diào)整的視覺系統(tǒng)的模式提供被壓縮的自然圖像中視覺失真位置的準(zhǔn)確預(yù)測。數(shù)據(jù)逼真映像產(chǎn)生主觀質(zhì)量的估算，目前的現(xiàn)代化質(zhì)量度量標(biāo)準(zhǔn)將執(zhí)行所有可見誤差的簡單求和。但是在主觀評估圖像質(zhì)量期間并未考慮任何更高的水平或已知的有認(rèn)識力的因素出現(xiàn)。
失真對整個圖像質(zhì)量的影響被理解為以其相對場景內(nèi)容的位置的強(qiáng)烈影響。似人視覺系統(tǒng)(HVS)的可變分辨力性質(zhì)意味著只有在視網(wǎng)膜凹斑處可得到高的分辨力，該視網(wǎng)膜凹斑具有約2度的直徑。通過有規(guī)則的眼睛運(yùn)動以便將該區(qū)域置位于視網(wǎng)膜凹斑條件下獲得一個場景的資料。早期視覺模式假定一個“無限的網(wǎng)膜凹斑”，即場景是在這樣一種假設(shè)下進(jìn)行處理的，即所有區(qū)域由高分辨力視網(wǎng)膜凹斑進(jìn)行觀察。但是眼睛運(yùn)動的研究指出觀察并不使場景中所有區(qū)域等同地處于視網(wǎng)膜凹斑。代之以識別幾個地區(qū)為似人視覺注意處理感興趣的區(qū)域(ROI)，并且觀察傾向于重復(fù)地返回到這些ROI而不是仍未被處于視網(wǎng)膜中區(qū)的地區(qū)。人們知道在這些ROI中圖象的逼真度對整個圖象質(zhì)量具有最大的影響。
當(dāng)觀察自然場景時，似人視覺注意和眼睛運(yùn)動的知識，與對象的選擇的和相關(guān)的眼睛運(yùn)動模式相聯(lián)合，提供似人視覺注意計(jì)算模式改進(jìn)的結(jié)構(gòu)。研究已指出，人們的注意受大量在圖象運(yùn)動中存在的不同特征所影響，例如亮度對比度，顏色對比度，目標(biāo)大小，目標(biāo)形狀，人和面部在場景中的位置，以及該目標(biāo)是否為前景或背景的部分。在文獻(xiàn)中已介紹了少量簡單的視覺注意模式。這些模式以不設(shè)監(jiān)理方式針對檢測一個場景中的ROI。它們通常設(shè)計(jì)用于不復(fù)雜的靜止的圖像。在防止其用作典型娛樂影視的增強(qiáng)注意模式中明顯存在大量的缺陷。包括有限數(shù)量的使用的注意特征；未施加不同的加權(quán)到不同的特征；缺乏分段技術(shù)中的強(qiáng)度；缺乏時間模式；使用過分簡單的算法提取注意特征。未說明推薦的模式能牢固地橫跨寬范圍的圖像內(nèi)容工作和未報告其對人眼運(yùn)動的相關(guān)性。
如在下列文章中所指出的，公開了一種用于自動確定場景中視覺重要地區(qū)作為重要性映像(IM)的技術(shù)Wilfried Qsberger，AnthongJ.Maeder and Neil Bergmann“A Perceptually BassedQuantization Technique for MPEG Encoding”，Proceedings SPIE3299-Human Vision and Electronic Imaging 111，San Jose，USA，pp.48-159，26-29 January 1998。如上所述，這些映像是通過組合影響似人視覺注意和眼睛運(yùn)動的已知因素而產(chǎn)生的。為了編碼分配較低量化到可見重要地區(qū)和較少視覺重要性地區(qū)具有一個分配的更苛刻的量化。結(jié)果表明圖像質(zhì)量主觀的改進(jìn)。
在現(xiàn)有技術(shù)中使用典型的遞歸分開-和-合并分段來執(zhí)行分段。在分段后，該結(jié)果由五個空間特征處理以產(chǎn)生單獨(dú)的空間重要性映像對比度；大??；形狀；位置和背景。運(yùn)動也被采納到考慮之中以產(chǎn)生一個時間的重要性映像。這些單獨(dú)的重要性映像的每一個將被平方以增強(qiáng)高重要性地區(qū)并之后被等同地加權(quán)以產(chǎn)生最后的IM。但是感覺到這種技術(shù)并不充分牢靠。
使用比現(xiàn)有技術(shù)更牢固的人為注意和眼睛運(yùn)動的特性所要求的是一種自動方式去預(yù)測何處ROI似乎位于典型娛樂影視的自動場景中。

發(fā)明內(nèi)容
按本發(fā)明提供一種使用視覺注意模式自動標(biāo)記在一個影視圖像中的感興趣的區(qū)域的方法?；陬伾土炼纫粋€目前幀被適當(dāng)?shù)胤侄纬啥鄠€區(qū)域。每個區(qū)域由多個包括顏色和表皮的空間特征算法并行處理以產(chǎn)生相應(yīng)的空間重要性映像。組合空間重要性映像以產(chǎn)生一個綜合的空間重要性映像，這種組合是基于由眼睛運(yùn)動研究導(dǎo)出的加權(quán)。目前幀和一個在先幀也被處理以產(chǎn)生用于目前幀的運(yùn)動矢量，接著在被轉(zhuǎn)換到一個時間重要性映像之前對該運(yùn)動矢量作攝像機(jī)的運(yùn)動校正。通過線性加權(quán)組合綜合的空間重要性映像和時間重要性映像以對目前幀產(chǎn)生一個完整的重要性映像，以及線性加權(quán)常數(shù)從眼睛運(yùn)動研究導(dǎo)出。
結(jié)合附加權(quán)利要求和附圖閱讀時從下列詳細(xì)說明對本發(fā)明目的，優(yōu)點(diǎn)和其他新的特征將顯而易見。


圖1是按本發(fā)明的改進(jìn)的視覺注意模式的方塊圖。
圖2(a)是一個目前幀的一個圖像。
圖2(b)是按本發(fā)明獲得的圖像的完整重要性映像。
圖3是一條曲線，說明按亮度的一個閾值的變化，用于按本發(fā)明的空間特征之一。
圖4是一條曲線，說明參數(shù)值隨色彩的變化，用于按本發(fā)明的表皮的空間特征。
圖5是一個方塊圖，用于產(chǎn)生按本發(fā)明的時間重要性映像。
具體實(shí)施例方式
在此所描述的一種重要性映像(IM)技術(shù)是基于區(qū)域的注意模式。這種基于區(qū)域的注意模式使其更易按此模式包括大量的特征，這是因?yàn)橛绊懽⒁獾脑S多特征或是區(qū)域的固有性質(zhì)，例如尺寸和形狀，或能自然地與場景中所有目標(biāo)相關(guān)，例如運(yùn)動，顏色，對比度和結(jié)構(gòu)。參照圖1，一個視覺注意模式具有一個空間注意模式10和一個時間注意模式20?？臻g模式具有影像的一個目前幀作為一個輸入。該圖像是首先使用亮度和顏色信息兩者由分段算法30分段到同簇區(qū)域的每個地區(qū)相對七個特征11-17的重要性。包括已知影響視覺注意的顏色，對比度，尺寸，形狀，位置，背景和表皮然后計(jì)算。特征圖像處理算法的可塑性使得容易包括附加的特征。根據(jù)借助人眼運(yùn)動的校準(zhǔn)來加權(quán)這些特征，而人眼運(yùn)動已經(jīng)據(jù)對人眼運(yùn)動的實(shí)驗(yàn)進(jìn)行推測。然后特征加權(quán)被輸入到組合算法40，以對該目前幀的場景產(chǎn)生空間重要性映像。
運(yùn)動模式20具有該目前幀和一個在先幀作為對運(yùn)動矢量算法22的并行輸入。然后來自運(yùn)動矢量算法20的運(yùn)動矢量基于其運(yùn)動的幅度由運(yùn)動重要性算法24加權(quán)用于在該場景中的每個目標(biāo)。運(yùn)動加權(quán)還使用根據(jù)眼睛跟蹤系統(tǒng)實(shí)驗(yàn)推測的數(shù)據(jù)與空間加權(quán)相組合以對目前幀產(chǎn)生一個總的IM。
圖2(a)中表示一個目前幀，其相應(yīng)的IM表示在圖2(b)中。已標(biāo)記為高重要性的IM區(qū)域具有輕微陰影部分，而黑的區(qū)域表示未必吸引注意的場景的那些部分。
對以上討論的現(xiàn)有技術(shù)的改進(jìn)包括空間環(huán)境特征的改進(jìn)的分段，擴(kuò)展，對空間和時間特征處理算法的改進(jìn)，以及在校準(zhǔn)和組合算法方面的改進(jìn)。
在分段處理過程中，圖像幀已剪輯版本用作輸入，以避免這樣一種效應(yīng)，即對于模式的新近狀況，圖像邊緣具有24個像素工作好的剪輯邊緣。功能分解使用顏色信息和亮度信息去確定何時出現(xiàn)分解/合并操作。作為一個例子可使用L*u*v*顏色區(qū)。現(xiàn)在用于分解的條件為如果((variancelum(Ri)＞thsplitlum&(variancecol(Rf)＞thsplitcol)&
(size(Ri)＞thsize))則分解到4個象限這里variancecol(Ri)＝SQRT(variance(Ri(u*))2+variance(Ri(v*))2)用于閾值的值可以是thsplitlum＝250和thsplitcol＝120。對于功能合并還進(jìn)行額外的變化。為避免分段產(chǎn)生塊形狀的大區(qū)域問題，合并閾值通過使用一個參數(shù)scalefactormerge自適應(yīng)地與塊尺寸相關(guān)，該參數(shù)當(dāng)合并大區(qū)域時增加，特別當(dāng)合并的兩個區(qū)域具有小尺寸時thmergelumnew＝scalefactormerge*thmergelumold這里scalefactormerge＝(kmerge*sizemerge+kreduc+1)/(sizemerge+kmerge+kreduc)sizemerge＝max(kmin*(1/n)ROOT(size(R1)n+size(R2)n)/size(frame)用于固定參數(shù)的值可以是Kmin＝256，n＝0.25，Kmerge＝3，Kreduc＝10和thmergelumold＝500。使用同樣的技術(shù)修改顏色合并閾值，thmergecol，但不可以使用下列參數(shù)Kmincol＝256，ncol＝0.5，Kmergecol＝1.5，Kreduccol＝0以及thmergecolold＝120。
與亮結(jié)構(gòu)的地區(qū)相比較，現(xiàn)有技術(shù)的合并暗結(jié)構(gòu)的合并功能是很容易的。因此當(dāng)確定是否合并兩個區(qū)域時要考慮區(qū)域的平均亮度和顏色。平均顏色和平均亮度合并閾值是相互依賴的，所以計(jì)算該合并閾值將與該區(qū)域的平均顏色和亮度適當(dāng)相關(guān)。
如果((Δcol＜thΔcol)&(colmax＞thBW))則thmeanmergelumnew＝thmeanmergelumold+((thΔcol-Δcol)/thΔcol)*(thΔlum_max-thmeanmergelumold)這里Δlum＝|gl(R1)-gl(R2)|Δcol＝SQRT((u*R1-u*R2)2+(v*R1-v*R2)2)colmax＝max(u*R1，u*R2，v*R1，v*R2)這里gl(Ri)是區(qū)域Ri的平均灰度級。
對于常數(shù)值可以是thΔcol＝14.0，thBW＝7.0和thΔlum_max＝70.0。
由于在低亮度地區(qū)，顏色通常采用很高的值，所以用于低亮度區(qū)域的合并閾值增加。如圖3中所示的實(shí)施情況。對于常數(shù)值可以是thlowlum1＝10，thlowlum2＝25，thcol＝14和thcol_lowlum＝40。
因此修改的合并條件變成如果((var(glR12)＜thmergelumnew)&(var(colR12)＜thmergecolnew)&
(Δlum＜thmeanmergelumnew)&(Δcol＜thmeanmergecolnew))OR((Δlum＜thlumlow)&(Δcol＜thcollow)則將兩個區(qū)域組合到一個區(qū)域否則保持區(qū)域分開結(jié)束對于常數(shù)值可以是thlumlow＝12和thcollow＝5。
對于小區(qū)域取消過程也進(jìn)行改變，以便進(jìn)行與圖像分辨度無關(guān)的處理并用其最合適的相鄰區(qū)域合并小的區(qū)域如下如果size(Ri)＜(1/ksmall)*size(frame)則用具有最接近L*值的相鄰區(qū)域合并Ri結(jié)束這里Ksmall可設(shè)置到4096。按此方式分段自適應(yīng)地進(jìn)行并變得更為增強(qiáng)。
對于IM的尺寸特征從簡單的兩個閾值實(shí)施到四個閾值實(shí)施變化，使得太小或太大的區(qū)域最小化而正好由過小的區(qū)域所取代。同樣，背景特征被加以改變，因?yàn)橄龓吘壥峭ㄟ^使用區(qū)域中共享4個同另外區(qū)域連接的邊緣的最小像素數(shù)或在也毗連該區(qū)域中截去頂(末)端邊緣上的像素數(shù)。還要改變位置特征，以便不僅考慮幀的中心區(qū)域，而且用與地帶相關(guān)且從中心減小的較小的加權(quán)去考慮圍繞該中心的不同的地帶。
原始對比度重要性被定義為用于區(qū)域Ri的平均灰度級和用于共享4個同Ri連接的邊緣的區(qū)域平均灰度級之間的差。首先Ri的平均灰度級對其相鄰區(qū)域的比較是基于對每個相鄰區(qū)域的絕對值，由此比Ri灰度級更高的和更低的相鄰區(qū)域?qū)⒈舜瞬荒軐ο?。一個相鄰區(qū)域所具有的影響對比度的地區(qū)限制到一個常數(shù)乘以兩個區(qū)域具有的4個連接的相鄰的像素。這將防止大的相鄰區(qū)域和幾乎不具有相鄰像素的區(qū)域?qū)Ρ榷戎匾允┘舆^大的影響。同時通過使用一個尺寸標(biāo)度系數(shù)對大區(qū)域減小對比度重要性。進(jìn)而因Weber和deVries-Rose效應(yīng)在較高灰度級計(jì)算的對比度相對在較低灰度級的低。最后按一種自適應(yīng)方式歸一化該對比度到0-1范圍，由此取決于該幀中的對比強(qiáng)度。這樣在具有很高對比度的區(qū)域的幀中具有某一對比度的區(qū)域的對比度重要性降低，而在最高對比度小的幀中對比度重要性增加。
I’cont(Ri)＝(∑j＝1-J|gl(Ri)-gl(Rj)|*min(kborder*Bij，size(Ri)))/∑j＝1-Jmin(kborder*Bij，size(Ri))這里j＝區(qū)域1-J，共享4個同Ri連接的邊緣，Kborder是一個常數(shù)，限制影響相鄰區(qū)域的程度(例如設(shè)直到10)，和Bij是在Ri中像素數(shù)量，其共享4個同Ri連接的邊緣。
I”cont(Ri)＝ksizescale*I’cont(Ri)這里Ksizescale隨區(qū)域尺寸變化-對小區(qū)域大而對大區(qū)域小。
Icont(Ri)＝I”cont(Ri)/max(gl(Ri)，thdevries)powweber其中thderries是接近deVries-Rose區(qū)域開始的灰度級(設(shè)置到50)而powweber是非線性Weber功率(設(shè)置到0.3)。
對1的歸一化閾值計(jì)算成thcont1＝thbase1weber+(min(I”cont)-thbase1weber)*thweightthcont2＝thbase2weber+(max(I”cont)-thbase2waber)*thweight2high，max(I”cont＞thbase2或＝thbase2weber+(max(I”cont)-thbase2weber)*thweight2low，max(I”cont≤thbase2這里thbase1weber＝thbase1/128powweberthbase2weber＝thbase2/128powweberthbase1＝20thbase2＝120thweight1＝0.5thweight2high＝0.25thweight2low＝0.75
改變形狀特征，使得在具有許多相鄰區(qū)域的區(qū)域中降低形狀重要性，由此不分配這樣的區(qū)域過高的形狀重要性，并使用一種自適應(yīng)歸一化處理歸一化該形狀重要性到范圍0-1。
本發(fā)明將顏色特征加到該視覺注意模式。接受RGB文件作為輸入并變換到L*u*v*顏色區(qū)。按對計(jì)算對比度重要性的方法相似的方式計(jì)算顏色重要性，因?yàn)?，事?shí)上，兩個特征執(zhí)行類似的運(yùn)算一個相對其背景計(jì)算一個區(qū)域的亮度對比度，而另一個相對其背景計(jì)算一個區(qū)域的顏色對比度。顏色重要性的計(jì)算始于對u*和v*分開計(jì)算顏色的對比度。Iu*(Ri)=Σj=!-J|u*(Ri)-u*(Ri)|*min(kborder*Bij,size(Rj))/Σj=1-J]]>min(kborder*Bij，size(Rj))Iv*(Ri)=Σj=1-J|v*(Ri)-v*(Ri)|*min(Kborder*Bij,size(Rj))/Σj=1-J]]>min(kborder*Bij，size(Rj))然后使用一個標(biāo)定系數(shù)將兩個顏色重要性計(jì)算組合成平方和的平方根，并對大區(qū)域加以減縮。顏色重要性按一種自適應(yīng)方式歸一化到范圍0-1，由此取決于幀中顏色重要性的強(qiáng)度。因而具有某一顏色重要性的一個區(qū)域的顏色重要性在具有很高顏色對比度的區(qū)域的幀中降低，而在具有最高顏色對比度是小的幀中其顏色重要性增加。
最后增加一個表皮特征，使得表皮地區(qū)用其顏色來檢測。這是可能的，因?yàn)槿祟惖钠つw，甚至不同種族的顏色都落入到一個窄范圍的值中。同時可以使用其他的顏色空間，選擇色彩-飽和-值(HSV)顏色空間，這是因?yàn)槿祟惼つw的顏色強(qiáng)有力地群集到一個窄范圍的HSV值中。每個像素被獨(dú)立地測試以確定其顏色是否與表皮相匹配。像素Xij被分類為表皮，只要其HSV值(hij，sij，vij)落在下列范圍中xij＝skin if((Hmin≤hij≤Hmax)&(Smin≤sij≤Smax)&(Vmin≤vij≤Vmax)從一個大的測試圖像數(shù)據(jù)庫確定用于分類閾值的最佳值。四個閾值可以用常數(shù)-Hmin＝350°，Hmax＝40°，Smin＝0.2和Vmin＝0.35表示。從圖4所示曲線確定另外兩個閾值Smax和Vmax，隨H改變。
為在先組合空間特征將平方和等同地加權(quán)重要性映像以產(chǎn)生一個最后的空間IM，然后將其標(biāo)定使得最重要的區(qū)域具有1.0的值。為緩和在高重要性的一個區(qū)域和較低重要性的一個區(qū)域之間的急劇變化將執(zhí)行塊處理，其包括分配在一個n×n塊中的最大重要性到該塊中的每個像素。然而，為獲得對不同特征的相對影響的理解，將執(zhí)行眼睛跟蹤研究。當(dāng)一群人觀看許多不同的靜止圖像每次接近五秒鐘和超過影像的數(shù)分鐘時記錄他們眼睛的運(yùn)動。為確定哪些特征影響人眼運(yùn)動最多，計(jì)算人們凝視和每個單獨(dú)特征IM之間的相關(guān)性。通過計(jì)算落在由該特征分類作為最重要的區(qū)域上的凝視(fixation)百分率即可做到。結(jié)果指出三個空間特征-位置，表皮和前景/背景-與凝視具有很高的相關(guān)性。三個其他的特征-形狀，顏色和對比度-具有較低的相關(guān)性，但仍然有效地影響凝視，而尺寸施加影響比其他特征低得多。通過使用據(jù)實(shí)驗(yàn)測試的凝視相關(guān)性，在本發(fā)明中使用一個新的特征加權(quán)Ispatial(Ri)＝∑f＝1-7(wfpoww*If(Rf)powf)這里Wf是據(jù)眼睛跟蹤實(shí)驗(yàn)的特征加權(quán)，即，(0.193 0.176 0.172 0.1300.121 0.114 0.094)，用于(位置，前景/背景，表皮，形狀，對比度，顏色，尺寸)，POWw是特征加權(quán)指數(shù)，以控制Wf的相對影響，即，3.0，如一個例子那樣，以及POWf是IM加權(quán)指數(shù)，即，2.0，如一個例子那樣，用于所有特征。然后定標(biāo)空間IM，使得最高重要性的范圍具有如前跟隨塊處理的值1.0。
合成空間IM從幀到幀是有噪聲的，因此為降低這種噪聲并改善IM的時間的緊密性，將在像素級執(zhí)行時間平滑操作。使用(t-m，…，t+N)幀的時間窗，在位置(x，y)的輸出IM取作為來自該時間窗的在位置(x，y)的第K個最高IM。設(shè)置K＞1將消除高重要性的虛假區(qū)域。作為例子n＝m＝5幀以及K＝2。
以前對用于每個塊的時間重要性映像運(yùn)動矢量使用分層塊匹配技術(shù)計(jì)算，而合成矢量直接用于計(jì)算時間重要性。低重要性給向很慢和很快的運(yùn)動的區(qū)域，而中間運(yùn)動區(qū)域分配最高重要性。對于這種現(xiàn)有技術(shù)存在兩個主要問題(i)沒有區(qū)分?jǐn)z像機(jī)運(yùn)動和真實(shí)目標(biāo)運(yùn)動的方法，這樣當(dāng)存在任何攝像機(jī)運(yùn)動(底座，傾斜，移鏡頭，旋轉(zhuǎn))時該模式將失敗，而影像是彩色閃變的；以及(ii)當(dāng)分配重要性于一具體運(yùn)動時使用固定的閾值，但是這些閾值需適應(yīng)該影像中的這種運(yùn)動，因?yàn)闄M跨不同的影視場景運(yùn)動量變化甚大。
現(xiàn)參照圖5，它表示時間注意模式的方塊圖，如就現(xiàn)有時間處理而論，在分層塊匹配處理中使用目前和在先幀去計(jì)算運(yùn)動矢量。這些運(yùn)動矢量由攝像機(jī)運(yùn)動估算算法使用以確定有關(guān)攝像機(jī)運(yùn)動的四個參數(shù)-底座，傾斜，移鏡頭和旋轉(zhuǎn)。然后這些參數(shù)用來補(bǔ)償這些運(yùn)動矢量以使得捕獲場景中真實(shí)目標(biāo)的運(yùn)動。由于結(jié)構(gòu)上平坦區(qū)域中的運(yùn)動矢量是不可靠的，所以在這些區(qū)域中設(shè)置補(bǔ)償?shù)倪\(yùn)動矢量到零。如果在該塊中最小和最大灰度級間的差低于閾值thflat，例如45，則將考慮一個8×8的塊是“平坦”的。最后通過一些步驟這些補(bǔ)償?shù)倪\(yùn)動矢量將被轉(zhuǎn)換到時間重要性的測量。
攝像機(jī)運(yùn)動估算算法檢測時間運(yùn)動的某些跳動，例如由場景剪接，3∶2拉開和時間子取樣，即幀下降所引起。當(dāng)產(chǎn)生這些時間不連續(xù)性時，使用來自在先幀的對其可得到可靠運(yùn)動信息的運(yùn)動信息而不使用來自具有時間不連續(xù)性的幀的運(yùn)動信息。如果在目前幀中檢測時間不連續(xù)性，則可使用來自遠(yuǎn)在十個幀的運(yùn)動信息。然后如上所述，以類似于在空間IM上執(zhí)行的方式執(zhí)行時間平滑。場景剪接部分或不同彩色閃變部分的幀不包括在時間窗中。結(jié)構(gòu)簡單的下一個區(qū)域分配一個零時間重要性。因?yàn)閬碜赃@些區(qū)域的運(yùn)動矢量是不可靠的，“平坦”確定與以上所說相同但是不包括在+/-一幀的時間窗上進(jìn)行計(jì)算。最后使用自適應(yīng)閾值，賴于場景中目標(biāo)運(yùn)動總量自適應(yīng)地計(jì)算這些閾值。幾乎不具有運(yùn)動目標(biāo)和具有慢運(yùn)動目標(biāo)的場景比具有很多快速運(yùn)動目標(biāo)的場景具有更低的閾值，這是因?yàn)槿祟惖撵`敏度并不受這些許多的快速運(yùn)動目標(biāo)掩蓋。通過采用補(bǔ)償運(yùn)動矢量映像的攝像機(jī)運(yùn)動的第m個百分點(diǎn)，例如第98百分點(diǎn)獲得一個場景中運(yùn)動總量的估算。由于運(yùn)動是以度/秒為單位進(jìn)行計(jì)算的，所以需要知道監(jiān)視器的分辨度-像素空間和觀察距離。典型的像素空間是0.25mm，而對于SDTV觀察，觀察距離是五個圖像高度。在快速運(yùn)動目標(biāo)由快速底座或傾斜運(yùn)動跟蹤的場景中，目標(biāo)的運(yùn)動可以大于一個給定的閾值，因此其時間重要性可以下降到小于1.0的一個值。要進(jìn)行防止這種情況發(fā)生一個特殊的情況。最后在16×16像素級上執(zhí)行塊處理，像對于空間IM所進(jìn)行的那樣。由于時間IM早已處于8×8像素分辨率，所以采用每個2×2塊的最大值以得到總的16×16塊尺寸。
空間和時間IM的組合是一個線性加權(quán)Itotal＝kcomblspat+(1-kcomb)Itemp比較觀察者對空間和時間IM兩者的凝視指出，與僅時間IM的那些相比較，對于僅空間IM的相關(guān)性稍高。因此建議稍高于0.5的Kcomb的一個值，例如0.6。
以上是對空間和時間IM的基本綜合可以做的全部。但是眼睛跟蹤研究指出，在具有移鏡頭，旋轉(zhuǎn)或很快運(yùn)動的影像的場景中，觀察者試圖將它們的注意力主要集中在屏幕的中心。為分配進(jìn)一步的重要性到這些場景中的中心區(qū)域，可執(zhí)行下列計(jì)算motzoomrot＝kz1*motionm+kz2*zoom+kz3*rotate+kz4*errorcamera這里motionm是補(bǔ)償運(yùn)動矢量映像的攝像機(jī)運(yùn)動的第m個百分點(diǎn)，移鏡頭和旋轉(zhuǎn)是幀的移鏡頭和旋轉(zhuǎn)參數(shù)，errorcamera是攝像機(jī)運(yùn)動估算算法的輸出，而Kzi是定標(biāo)常數(shù)。中心定標(biāo)常數(shù)Kcentral在按照在一對閾值之間的motzoomrot的總量的兩個值之間調(diào)整。之后新IM是I’total＝kcentralIcenter+(1-kcetrat)Itotal在可得到的errorcamera為高的場合，IM的精度降低，可以它對在這些情況下減小時間IM的影響是有用的。這可以通過誤差增加時增加Kcomb值做到。
最后眼睛跟蹤研究指出，人和臉部是最吸引注意的。因?yàn)閷θ硕砸话悴皇峭耆o止的，至少不是對任意延長的時間周期，一個特殊的情況可以是增加也是在運(yùn)動狀態(tài)下的皮膚區(qū)域的重要性。這具有兩個好處(i)由皮膚特征錯誤地分類為皮膚的目標(biāo)通常是不運(yùn)動的背景目標(biāo)(沙，于玻璃，磚墻)，所以如果包括運(yùn)動登記處，這些錯誤的正片將被拒絕；以及(ii)臉部通常包括某些簡單結(jié)構(gòu)區(qū)域，由于簡單結(jié)構(gòu)區(qū)域被設(shè)置到弱重要性，所以臉部的簡單結(jié)構(gòu)有時將被丟失，通過對皮膚區(qū)域緩解簡單結(jié)構(gòu)約束，這些區(qū)域?qū)⒉辉賮G失并接收強(qiáng)重要性。因此對于每個像素如果((Iskin＞thskinmot1)&(MVcomp＞thskinmot2))則Itotal＝1.0結(jié)束這樣本發(fā)明提供這樣一種類型的改進(jìn)的視覺注意模式，其具有產(chǎn)生空間重要性映像的空間特征，并具有與該空間重要性映像相組合的時間重要性映像，以對一幀產(chǎn)生總重要性映像，改進(jìn)是對空間特征以及附加的空間特征的自適應(yīng)分段算法，自適應(yīng)算法，以及基于眼睛活動研究改進(jìn)的組合算法，以產(chǎn)生更增強(qiáng)的改進(jìn)的總重要性映像。
權(quán)利要求
1.一種這樣類型的改進(jìn)的視覺注意模式，它將一個視頻序列的一幀分段成用于由多個空間特征處理的區(qū)域，以產(chǎn)生相應(yīng)的多個空間重要性映像，其包括具有一個在先幀的幀以便處理產(chǎn)生一個時間重要性映像，組合空間和時間重要性映像以對該幀產(chǎn)生一個總的重要性映像，其中，改進(jìn)包括步驟使用顏色和亮度自適應(yīng)地將該幀分段成多個區(qū)域；用多個空間特征處理該區(qū)域以產(chǎn)生多個空間重要性映像；用在先幀處理該幀，以產(chǎn)生補(bǔ)償攝像機(jī)運(yùn)動的時間重要性映像；以及基于由眼睛活動研究導(dǎo)出的加權(quán)函數(shù)組合空間和時間重要性映像以產(chǎn)生用于該幀的總的重要性映像。
2.如權(quán)利要求1的視覺注意模式，其中自適應(yīng)分段步驟包括步驟基于中間區(qū)域的亮度變化，顏色變化和尺寸將該幀分層分開到該區(qū)域；以及當(dāng)中間區(qū)域中的平均亮度和顏色變化小于各自的自適應(yīng)閾值和該中間區(qū)域中亮度變化和顏色變化小于各自的閾值或該中間區(qū)域中的亮度和顏色變化小于各自閾值時合并中間區(qū)域以形成該區(qū)域。
3. 如權(quán)利要求2的視覺注意模式，其中自適應(yīng)分段步驟還包括在分開步驟之前剪輯幀的邊緣的步驟。
4.如權(quán)利要求1的視覺注意模式，其中空間特征包括至少從由尺寸，背景，位置，對比度，形狀，顏色和皮膚組成的組選擇的兩個。
5.如權(quán)利要求4的視覺注意模式，其中對于對比度空間特征的處理步驟是基于被處理區(qū)域的平均灰度級的絕對值和其共享4個連接邊緣的相鄰區(qū)域，受限于一個常數(shù)乘以4個連接的相鄰像素數(shù)，以及考慮Weber和deVries-Rose效應(yīng)。
6.如權(quán)利要求4的視覺注意模式，其中對于顏色空間特征的處理步驟計(jì)算相對其背景被處理的一個區(qū)域顏色對比度。
7.如權(quán)利要求4的視覺注意模式，其中對于皮膚空間特征的處理步驟使用窄范圍的顏色值和相應(yīng)的閾值，用于每個元素顏色值的最小和最大值。
8.如權(quán)利要求1的視覺注意模式，其中組合步驟包括步驟根據(jù)從眼睛活動研究經(jīng)驗(yàn)確定的加權(quán)值加權(quán)每個空間重要性映像，以產(chǎn)生一個合成空間重要性映像；使用時間平滑算法從幀到幀平滑合成空間重要性映像以減小噪聲和改善時間緊密性從而產(chǎn)生一個空間重要性映像；以及用時間重要性映像組合空間重要性映像以產(chǎn)生總的重要性映像。
9.如權(quán)利要求8的視覺注意模式，其中用時間重要性映像組合空間重要性映像的步驟包括線性加權(quán)空間重要性和時間重要性映像步驟，線性加權(quán)步驟使用由眼睛活動研究確定的一個常數(shù)。
10.如權(quán)利要求1的視覺注意模式，時間重要性映像處理步驟包括步驟使用分層塊匹配算法計(jì)算用于目前幀的每個塊的運(yùn)動矢量；由該運(yùn)動矢量估算攝像機(jī)運(yùn)動參數(shù)；基于攝像機(jī)運(yùn)動參數(shù)補(bǔ)償該運(yùn)動矢量；以及將補(bǔ)償?shù)倪\(yùn)動矢量轉(zhuǎn)換成時間重要性映像。
11.如權(quán)利要求10的視覺注意模式，其中時間重要性映像處理步驟還包括確定每個塊的平坦度，使得在先于轉(zhuǎn)換步驟的補(bǔ)償運(yùn)動矢量中在結(jié)構(gòu)上運(yùn)動矢量平坦誤差被設(shè)置到零的步驟。
全文摘要
一種改善的視覺注意模式使用增強(qiáng)的合適的分段算法將一個視頻序列的一個目前幀基于顏色和亮度分成多個區(qū)域,每個區(qū)域由多個空間特征算法并行處理,該空間特征算法包括顏色和表皮,以產(chǎn)生各自的空間重要性映像。還處理目前幀和在先幀,以便對目前幀的每一塊產(chǎn)生運(yùn)動矢量,該運(yùn)動矢量補(bǔ)償攝像機(jī)的運(yùn)動,同時該補(bǔ)償?shù)倪\(yùn)動矢量被轉(zhuǎn)換以產(chǎn)生一個時間重要性映像。基于眼睛移動分析并使用加權(quán)來組合空間和時間重要性映像。
文檔編號G06T7/20GK1366422SQ0210169
公開日2002年8月28日 申請日期2002年1月17日 優(yōu)先權(quán)日2001年1月17日
發(fā)明者W·M·奧斯博格 申請人:特克特朗尼克公司