專利名稱：基于視覺(jué)注意力的實(shí)時(shí)的視頻和圖像抽象化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)圖像及視頻處理技術(shù)領(lǐng)域，特別是涉及一種基于視覺(jué)注意力的實(shí)時(shí)的視頻和圖像抽象化方法。

背景技術(shù)：
實(shí)時(shí)視頻抽象化通過(guò)簡(jiǎn)化低對(duì)比度區(qū)域及增強(qiáng)高對(duì)比度區(qū)域，提供了一種簡(jiǎn)潔、快速、美觀的可視信息交流工具。
當(dāng)藝術(shù)家想要描繪一幅景色時(shí)，他們并不是直接畫(huà)出場(chǎng)景里的所有可視信息。相反，他們只選擇其中重要的信息，并用自己的想象力把這些信息展現(xiàn)出來(lái)。線條能夠很有效和自然地描述信息，并且已經(jīng)被人類使用了上萬(wàn)年了。近年來(lái)，由于能使圖像及視頻更易于理解，抽象化技術(shù)已經(jīng)變得越來(lái)越流行。一些研究人員使用眼睛跟蹤器來(lái)捕獲被測(cè)試人員的注意力，提出了非均勻的圖像抽象化方法，參見(jiàn)D.Decarlo and A.Santella.Stylization and Abstraction of Photographs.In Proceedings of the ACMSIGGRAPH，2002，pp769—776。然而，眼睛跟蹤器硬件昂貴，而且捕獲視覺(jué)注意也需要花費(fèi)額外時(shí)間，這種抽象化方法的速度是非常慢而且不適合普通用戶的使用。
最近，一些研究人員提出了一個(gè)自動(dòng)、實(shí)時(shí)的圖像及視頻抽象化框架。該系統(tǒng)使用可分離的雙邊濾波器來(lái)進(jìn)一步減少低對(duì)比度區(qū)域的對(duì)比度，同時(shí)使用各向同性的高斯差分算法來(lái)人為地提高對(duì)比度區(qū)域的對(duì)比度，參見(jiàn)H.

，S.C.Olsen，and B.Gooch.Real-Time Video Abstraction.InProceedings of the ACM SIGGRAPH，2006，pp1221—1226。還有一些研究人員使用雙邊網(wǎng)格來(lái)進(jìn)一步加速雙邊濾波器算法，能夠?qū)^高分辨率的視頻進(jìn)行實(shí)時(shí)處理，參見(jiàn)J.Chen，S.Paris，and F.Durand.Real-TimeEdge-Aware Image Processing with the Bilateral Grid.In Proceedings of theACM SIGGRAPH，2007，pp.171—182。但所有這些自動(dòng)抽象化方法都使用各向同性的算法來(lái)進(jìn)行抽象化。這些算法確實(shí)能夠在圖形卡上快速運(yùn)行，然而由于該算法是基于各向同性的，抽象化效果不具有流線感。一些研究人員先構(gòu)造出圖像的特征流場(chǎng)，然后利用該特征流場(chǎng)來(lái)進(jìn)行基于流場(chǎng)的抽象化，提高了抽象化的效果，參見(jiàn)H.Zhao，X.Jin，J.Shen，X.Mao，and J.Feng.Real-Time Feature-Aware Video Abstraction.The Visual Computer，24(7)，2008，pp.727—734以及H.Kang，S.Lee，and C.K.Chui.Flow-BasedImage Abstraction.IEEE Transaction on Visualization and Computer Graphics，15(1)，2009，pp.62—76。然而上述所有算法都是假設(shè)高對(duì)比度區(qū)域?yàn)橐子谝鹨曈X(jué)注意的區(qū)域，而低對(duì)比度區(qū)域?yàn)椴灰滓鹨曈X(jué)注意的區(qū)域。然而，相對(duì)于顏色和亮度，對(duì)比度本身也是一個(gè)重要的特征，對(duì)比度的變化往往也能引起視覺(jué)的注意。為了更好地傳遞可視信息，視覺(jué)上感興趣區(qū)域的抽象化程度應(yīng)該比背景區(qū)域的抽象化程度低一些。而現(xiàn)有算法不能很好地解決這個(gè)問(wèn)題，整張視頻和圖像都是均勻抽象化的。Itti等人提出了一種自動(dòng)的視覺(jué)注意力分布圖生成算法，可以很好地指導(dǎo)圖像的非均勻抽象化，參見(jiàn)L.Itti，C.Koch，and E.Nieb ur.A Model of Saliency-Based VisualAttention for Rapid Scene Analysis.IEEE Transaction on Pattern Analysis andMachine Intelligence，20(11)，1998，pp.1254—1259。然而這個(gè)方法運(yùn)行速度慢，不能直接用于視頻和圖像的實(shí)時(shí)抽象化。


發(fā)明內(nèi)容
本發(fā)明提供一種基于視覺(jué)注意力的實(shí)時(shí)的視頻和圖像抽象化方法。該方法采用了一種基于視覺(jué)感知模型，有效地解決了現(xiàn)有實(shí)時(shí)視頻抽象化方法存在的整張視頻和圖像均勻抽象化的問(wèn)題，本發(fā)明的每一個(gè)步驟都可以在家用電腦的圖形卡硬件中并行處理，為非專業(yè)人員提供了一種簡(jiǎn)便直觀的實(shí)時(shí)的視頻和圖像的抽象化方法。
為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案如下 包括以下七個(gè)步驟 1)輸入待處理的實(shí)時(shí)的視頻和圖像，待處理的實(shí)時(shí)的視頻和圖像是紅綠藍(lán)顏色空間的圖像，其中顏色參數(shù)用C表示，對(duì)比度參數(shù)用O表示； 2)將步驟1)中待處理的實(shí)時(shí)的視頻和圖像由紅綠藍(lán)顏色空間轉(zhuǎn)換到CIE-Lab顏色空間，得到CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像，使實(shí)時(shí)的視頻和圖像的亮度通道和彩色通道相分離，其中亮度參數(shù)用L表示； 3)對(duì)步驟1)中的實(shí)時(shí)的視頻和圖像采用視覺(jué)感知模型，得到實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖； 利用圖像的亮度，顏色，對(duì)比度等三個(gè)特征，分別得到三個(gè)特征對(duì)應(yīng)的亮度特征圖FL、顏色特征圖FC和對(duì)比度特征圖FO，最后加權(quán)平均并正則化得到實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖； 4)采用高斯平滑技術(shù)，將得到的實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖轉(zhuǎn)換為興趣區(qū)域函數(shù)圖利用閾值tm將實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖轉(zhuǎn)換為黑白的模板，然后利用高斯平滑技術(shù)對(duì)模板進(jìn)行濾波得到興趣區(qū)域函數(shù)圖s； 5)對(duì)步驟2)中得到的CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像采用基于特征流的抽象化方法，得到初始的實(shí)時(shí)的抽象化視頻和圖像； 6)以興趣區(qū)域函數(shù)為權(quán)值，將步驟5)中得到的初始的實(shí)時(shí)的抽象化視頻和圖像與CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像進(jìn)行線性插值，得到新的實(shí)時(shí)的抽象化視頻和圖像； 7)將得到步驟6)中得到的新的實(shí)時(shí)的抽象化視頻和圖像由CIE-Lab顏色空間轉(zhuǎn)換到紅綠藍(lán)顏色空間。
本發(fā)明所述的顏色空間轉(zhuǎn)換方法如下 1)紅綠藍(lán)顏色空間轉(zhuǎn)換到CIE-Lab顏色空間按照下面的公式進(jìn)行轉(zhuǎn)換 2)CIE-Lab顏色空間轉(zhuǎn)換到紅綠藍(lán)顏色空間按照下面的公式進(jìn)行轉(zhuǎn)換 式中R，G，B分別表示紅綠藍(lán)顏色值。L是亮度通道值，a和b是兩個(gè)彩色通道值。在CIE-Lab顏色空間對(duì)圖像進(jìn)行處理的特點(diǎn)就是對(duì)L的處理只會(huì)改變象素的明暗，不會(huì)影響到象素的彩色效果。而且，兩種顏色空間的相互轉(zhuǎn)換是可逆的。
本發(fā)明所述的對(duì)實(shí)時(shí)的視頻和圖像采用視覺(jué)感知模型，得到實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖的方法如下 首先構(gòu)造實(shí)時(shí)的視頻和圖像的亮度L，顏色C，對(duì)比度O三個(gè)特征對(duì)應(yīng)的亮度高斯金字塔BL、顏色高斯金字塔BC和對(duì)比度高斯金字塔BO，利用高斯濾波器得到亮度高斯金字塔BL的底層和顏色高斯金字塔BC的底層，利用Gabor濾波器得到對(duì)比度高斯金字塔BO的底層，再運(yùn)用圖形硬件的mipmap紋理技術(shù)快速地生成高斯金字塔的上端層次。
亮度L為顏色空間轉(zhuǎn)換后CIE-Lab顏色空間中視頻和圖像的亮度值，顏色C為輸入的實(shí)時(shí)的視頻和圖像的紅綠藍(lán)平均值，對(duì)比度O為Gabor濾波器計(jì)算結(jié)果。
為了加快計(jì)算速度，高斯濾波器可以用重復(fù)的Bartlett卷積來(lái)近似。對(duì)金字塔各層進(jìn)行差分計(jì)算得到亮度差分圖CL、顏色差分圖CC和對(duì)比度差分圖CO，再對(duì)各差分圖進(jìn)行正則化處理得到三個(gè)特征對(duì)應(yīng)的亮度特征圖FL、顏色特征圖FC和對(duì)比度特征圖FO。為了加速正則化處理，將特征圖從圖形硬件讀回CPU端，計(jì)算出每個(gè)圖各自的最小值，最大值，及平均值，再將這些統(tǒng)計(jì)值當(dāng)作參數(shù)送回圖形硬件進(jìn)行后續(xù)計(jì)算。最后加權(quán)平均并正則化得到實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖。默認(rèn)情況下，三個(gè)特征圖的權(quán)值都是1/3。
本發(fā)明所述的采用高斯平滑技術(shù)，將得到的實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖轉(zhuǎn)換為興趣區(qū)域函數(shù)圖的方法如下 利用閾值tm將實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖轉(zhuǎn)換為黑白的模板，視覺(jué)注意力分布圖的計(jì)算數(shù)值大于或等于閾值tm的令其等于1，小于閾值tm的令其等于0，1即為白色，0即為黑色。模板中的白色區(qū)域表示視覺(jué)上比較吸引注意力的區(qū)域，而黑色區(qū)域表示視覺(jué)上的背景區(qū)域。tm越大，表示視覺(jué)注意力區(qū)域越?。欢鴗m越小，表示視覺(jué)注意力區(qū)域越大。經(jīng)驗(yàn)性地，tm位于區(qū)間
內(nèi)。為了避免黑白區(qū)域之間邊界上的突然變化，利用高斯平滑技術(shù)對(duì)模板進(jìn)行濾波。為了加速大尺度的高斯平滑，可以運(yùn)用高斯金字塔來(lái)加速。同樣地，金字塔的構(gòu)造充分利用了圖形硬件的mipmap技術(shù)以及Bartlett卷積的近似。
本發(fā)明所述的采用基于特征流的抽象化方法，得到初始的實(shí)時(shí)的抽象化視頻和圖像的方法如下 首先，創(chuàng)建一個(gè)連貫的特征流場(chǎng)V(x，y)，初始值垂直于CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像的亮度圖上的梯度場(chǎng)。對(duì)該特征流場(chǎng)進(jìn)行雙邊濾波的操作，使得該流場(chǎng)在特征相近區(qū)域變得平滑，而顯著的邊緣能保持其原有的方向。其次，根據(jù)各象素所處的特征流信息，對(duì)CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像進(jìn)行沿流場(chǎng)方向和垂直于流場(chǎng)方向的雙邊濾波，同時(shí)利用基于特征流場(chǎng)的高斯差分算法抽取線條區(qū)域，并對(duì)抽取的線條區(qū)域和雙邊濾波結(jié)果進(jìn)行相乘，得到初始的實(shí)時(shí)的抽象化視頻和圖像。
本發(fā)明所述的以興趣區(qū)域函數(shù)為權(quán)值，將初始的實(shí)時(shí)的抽象化視頻和圖像與原始的實(shí)時(shí)的視頻和圖像進(jìn)行線性插值，得到新的實(shí)時(shí)的抽象化視頻和圖像的方法如下 整張初始的實(shí)時(shí)的抽象化視頻和圖像都是均勻抽象化的。為了更好地傳遞可視信息，視覺(jué)上感興趣區(qū)域的抽象化程度應(yīng)該比背景區(qū)域的抽象化程度低一些。利用線性插值公式計(jì)算出新的實(shí)時(shí)的抽象化視頻和圖像 式中s表示興趣區(qū)域函數(shù)，

表示初始的實(shí)時(shí)的抽象化視頻和圖像，L是原始的實(shí)時(shí)的視頻和圖像，La為得到新的實(shí)時(shí)的抽象化視頻和圖像。
本發(fā)明針對(duì)現(xiàn)有的實(shí)時(shí)視頻抽象化方法存在的均勻抽象化(視覺(jué)上感興趣區(qū)域的抽象化程度同背景區(qū)域的抽象化程度是相同的)的缺點(diǎn)，采用了一種基于視覺(jué)注意力的非均勻抽象化的技術(shù)方案處理實(shí)時(shí)的視頻和圖像，更好地傳遞可視信息，有效地解決了上述問(wèn)題。本發(fā)明算法明確，界面友好，結(jié)果魯棒，且該方法可以用于視頻、圖像中的實(shí)時(shí)抽象化設(shè)計(jì)。



圖1是本發(fā)明方法的技術(shù)方案流程圖； 圖2是視覺(jué)注意力分布圖及興趣區(qū)域函數(shù)圖的生成過(guò)程圖。

具體實(shí)施例方式 下面結(jié)合附圖對(duì)本發(fā)明一種基于視覺(jué)注意力的實(shí)時(shí)的視頻和圖像抽象化方法通過(guò)實(shí)施例進(jìn)行詳細(xì)說(shuō)明，本發(fā)明可以在家用電腦的圖形卡硬件中并行處理。
如圖1所示，一種基于視覺(jué)注意力的實(shí)時(shí)的視頻和圖像抽象化方法，包括輸入待處理的實(shí)時(shí)的視頻和圖像，將實(shí)時(shí)的視頻和圖像的紅綠藍(lán)顏色空間轉(zhuǎn)換到CIE-Lab顏色空間，生成視覺(jué)注意力分布圖，導(dǎo)出興趣區(qū)域函數(shù)圖，采用基于特征流場(chǎng)的抽象化方法得到初始的實(shí)時(shí)的抽象化視頻和圖像，采用線性插值技術(shù)得到新的實(shí)時(shí)的抽象化視頻和圖像，將實(shí)時(shí)的視頻和圖像由CIE-Lab顏色空間重新轉(zhuǎn)換回紅綠藍(lán)顏色空間七個(gè)步驟。
現(xiàn)具體介紹本方法的七個(gè)步驟 1)輸入待處理的實(shí)時(shí)的視頻和圖像，該實(shí)時(shí)的視頻和圖像是紅綠藍(lán)顏色空間的； 2)將步驟1)中的實(shí)時(shí)的視頻和圖像由紅綠藍(lán)顏色空間轉(zhuǎn)換到CIE-Lab顏色空間，得到CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像，使實(shí)時(shí)的視頻和圖像的亮度通道和彩色通道相分離； 對(duì)于實(shí)時(shí)的視頻和圖像，將待處理實(shí)時(shí)的視頻和圖像序列中的每一幀圖像的每個(gè)象素原紅綠藍(lán)顏色空間轉(zhuǎn)換到CIE-Lab顏色空間，使實(shí)時(shí)的視頻和圖像的亮度通道和彩色通道相分離。紅綠藍(lán)顏色空間轉(zhuǎn)換到CIE-Lab顏色空間按照下面的公式進(jìn)行轉(zhuǎn)換 式中R，G，B分別表示紅綠藍(lán)顏色值，L是亮度通道值，a和b是兩個(gè)彩色通道值。在CIE-Lab顏色空間對(duì)圖像進(jìn)行處理的特點(diǎn)就是對(duì)L的處理只會(huì)改變象素的明暗，不會(huì)影響到象素的彩色效果。而且，兩種顏色空間的相互轉(zhuǎn)換是可逆的。
3)如圖2所示，對(duì)輸入的紅綠藍(lán)顏色空間的實(shí)時(shí)的視頻和圖像采用視覺(jué)感知模型，得到實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖； 首先構(gòu)造實(shí)時(shí)的視頻和圖像的亮度L，顏色C，對(duì)比度O三個(gè)特征對(duì)應(yīng)的亮度高斯金字塔BL、顏色高斯金字塔BC和對(duì)比度高斯金字塔BO，利用高斯濾波器對(duì)亮度特征進(jìn)行濾波得到亮度高斯金字塔BL的底層，利用Gabor濾波器對(duì)對(duì)比度特征進(jìn)行濾波得到對(duì)比度高斯金字塔BO的底層，用高斯濾波器對(duì)顏色特征進(jìn)行濾波得到亮度高斯金字塔BC的底層，再運(yùn)用圖形硬件的mipmap紋理技術(shù)快速地生成高斯金字塔的上端層次。
亮度L為顏色空間轉(zhuǎn)換后CIE-Lab顏色空間中視頻和圖像的亮度值，顏色C為輸入的實(shí)時(shí)的視頻和圖像的紅綠藍(lán)平均值，對(duì)比度O為Gabor濾波器計(jì)算結(jié)果。
為了加快計(jì)算速度，高斯濾波器可以用重復(fù)的Bartlett卷積來(lái)近似。Bartlett卷積如下式表示 利用圖形硬件的雙線性插值特性，該卷積只需要兩次紋理查找即可完成。對(duì)得到的金字塔各層進(jìn)行差分計(jì)算得到亮度差分圖CL、顏色差分圖CC和對(duì)比度差分圖CO，各層僅需要一次雙線性紋理查找。再對(duì)各差分圖進(jìn)行正則化處理，就是將所得的結(jié)果縮放到區(qū)間
之間，得到三個(gè)特征對(duì)應(yīng)的亮度特征圖FL、顏色特征圖FC和對(duì)比度特征圖FO。為了加速正則化處理，將特征圖從圖形硬件讀回CPU端，，計(jì)算出每個(gè)圖各自的最小值，最大值，及平均值，再將這些統(tǒng)計(jì)值當(dāng)作參數(shù)送回圖形硬件進(jìn)行后續(xù)計(jì)算。先將差分圖進(jìn)行線性縮放到
區(qū)間之間，再乘以(1-m)2，式中，m表示特征圖的平均值。最后加權(quán)平均并正則化得到實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖。默認(rèn)情況下，三個(gè)特征圖的權(quán)值都是1/3。
4)如圖2所示，采用高斯平滑技術(shù)，將得到的實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖轉(zhuǎn)換為興趣區(qū)域函數(shù)圖； 利用閾值tm將實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖轉(zhuǎn)換為的黑白模板，視覺(jué)注意力分布圖的計(jì)算數(shù)值大于或等于閾值tm的令其等于1，小于閾值tm的令其等于0，1即為白色，0即為黑色。黑白模板中的白色區(qū)域表示視覺(jué)上比較吸引注意力的區(qū)域，而黑色區(qū)域表示視覺(jué)上的背景區(qū)域。tm越大，表示視覺(jué)注意力區(qū)域越??；而tm越小，表示視覺(jué)注意力區(qū)域越大。經(jīng)驗(yàn)性地，tm位于區(qū)間
內(nèi)。
為了避免黑白區(qū)域之間邊界上的突然變化，利用高斯平滑技術(shù)對(duì)黑白模板進(jìn)行濾波得到實(shí)時(shí)的視頻和圖像的興趣區(qū)域函數(shù)圖s。
式中(x0，y0)表示圖像中的位置，H和W分別為平滑窗口的垂直及水平方向?qū)挾?，f為黑白模板的值。
為了加速大尺度的高斯平滑，可以運(yùn)用高斯金字塔來(lái)加速。同樣地，金字塔的構(gòu)造充分利用了圖形硬件的mipmap技術(shù)以及Bartlett卷積的近似。
5)對(duì)CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像采用基于特征流的抽象化方法，得到初始的實(shí)時(shí)的抽象化視頻和圖像。
首先，創(chuàng)建一個(gè)連貫的特征流場(chǎng)V(x，y)，初始值垂直于CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像的亮度圖上的梯度場(chǎng)，該梯度場(chǎng)用Sobe1算子得出。對(duì)該特征流場(chǎng)進(jìn)行雙邊濾波的操作，使得該流場(chǎng)在特征相近區(qū)域變得平滑，而顯著的邊緣能保持其原有的方向。其次，根據(jù)各象素所處的特征流信息，對(duì)圖像進(jìn)行沿流場(chǎng)方向和垂直于流場(chǎng)方向進(jìn)行雙邊濾波，同時(shí)利用基于特征流場(chǎng)的高斯差分算法抽取線條區(qū)域，得到初始的實(shí)時(shí)的抽象化視頻和圖像。
特征流場(chǎng)雙邊濾波操作定義為 式中，Ωh(X)和Ωv(X)分別表示象素X在特征流場(chǎng)水平方向及豎直方向上的鄰域，領(lǐng)域分別為平滑窗口的垂直及水平方向?qū)挾?，kh和kv為相應(yīng)的歸一化項(xiàng)，Vcur為初始特征流向量值。
強(qiáng)度權(quán)因子函數(shù)wm定義為 式中

表示梯度的強(qiáng)度值。當(dāng)一個(gè)鄰居象素的梯度強(qiáng)度比較高時(shí)，它對(duì)應(yīng)的強(qiáng)度權(quán)因子函數(shù)值就比較大，反之亦然。參數(shù)η用來(lái)控制雙曲正切函數(shù)的下降率，一般設(shè)定為1。
方向權(quán)因子函數(shù)wd定義為 wd(X，Y)＝dot_product(V(X)，V(Y)) V(X)表示之前計(jì)算得出的X象素的特征流向量。
基于流的雙邊濾波公式如下 式中，B為雙邊濾波結(jié)果，L為輸入亮度值，H表示平行于V(X)方向的寬度，W表示垂直于V方向的寬度。
6)以興趣區(qū)域函數(shù)為權(quán)值，將初始的實(shí)時(shí)的抽象化視頻和圖像與原始的實(shí)時(shí)的視頻和圖像進(jìn)行線性插值，得到新的實(shí)時(shí)的抽象化視頻和圖像； 整張初始的實(shí)時(shí)的抽象化視頻和圖像都是均勻抽象化的。為了更好地傳遞可視信息，視覺(jué)上感興趣區(qū)域的抽象化程度應(yīng)該比背景區(qū)域的抽象化程度低一些。利用線性插值公式計(jì)算出新的實(shí)時(shí)的抽象化視頻和圖像 式中s表示興趣區(qū)域函數(shù)，

表示初始的實(shí)時(shí)的抽象化視頻和圖像，L是原始的實(shí)時(shí)的視頻和圖像，La為得到新的實(shí)時(shí)的抽象化視頻和圖像。
7)將得到新的實(shí)時(shí)的抽象化視頻和圖像由CIE-Lab顏色空間轉(zhuǎn)換到紅綠藍(lán)顏色空間。
CIE-Lab顏色空間轉(zhuǎn)換到紅綠藍(lán)顏色空間按照下面的公式進(jìn)行轉(zhuǎn)換 式中R，G，B分別表示圖像中每個(gè)像素的紅綠藍(lán)顏色值，L表示圖像中每個(gè)像素的亮度通道值，a和b是兩個(gè)彩色通道值。在CIE-Lab顏色空間對(duì)圖像進(jìn)行處理的特點(diǎn)就是對(duì)L的處理只會(huì)改變象素的明暗，不會(huì)影響到象素的彩色效果。而且，兩種顏色空間的相互轉(zhuǎn)換是可逆的。
權(quán)利要求
1.一種基于視覺(jué)注意力的實(shí)時(shí)的視頻和圖像抽象化方法，該方法包括以下七個(gè)步驟
(1)輸入實(shí)時(shí)的視頻和圖像，等待處理；
(2)將步驟(1)中待處理的實(shí)時(shí)的視頻和圖像由紅綠藍(lán)顏色空間轉(zhuǎn)換到CIE-Lab顏色空間，得到CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像；
(3)對(duì)步驟(1)中輸入的實(shí)時(shí)的視頻和圖像采用視覺(jué)感知模型，得到實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布(4)采用高斯平滑技術(shù)，將步驟(3)中的視覺(jué)注意力分布圖轉(zhuǎn)換為興趣區(qū)域函數(shù)(5)對(duì)步驟(2)中得到的CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像采用基于特征流的抽象化方法，得到初始的實(shí)時(shí)的抽象化視頻和圖像；
(6)利用興趣區(qū)域函數(shù)為權(quán)值，將步驟(5)中得到的初始的實(shí)時(shí)的抽象化視頻和圖像與CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像進(jìn)行線性插值，得到新的實(shí)時(shí)的抽象化視頻和圖像；
(7)新的實(shí)時(shí)的視頻和圖像由CIE-Lab顏色空間轉(zhuǎn)換到紅綠藍(lán)顏色空間。
2.根據(jù)權(quán)利要求1所述的實(shí)時(shí)的視頻和圖像抽象化方法，其特征在于所述的由紅綠藍(lán)顏色空間轉(zhuǎn)換到CIE-Lab顏色空間的轉(zhuǎn)換方法如下
按照下面的公式進(jìn)行轉(zhuǎn)換
式中R，G，B分別表示像素的紅綠藍(lán)顏色值，L是像素的亮度通道值，a和b是像素的兩個(gè)彩色通道值。
3.根據(jù)權(quán)利要求1所述的實(shí)時(shí)的視頻和圖像抽象化方法，其特征在于所述的對(duì)輸入的實(shí)時(shí)的視頻和圖像采用視覺(jué)感知模型，得到實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖的方法如下
利用實(shí)時(shí)的視頻和圖像的亮度L，顏色C，對(duì)比度O三個(gè)特征，分別構(gòu)造出對(duì)應(yīng)的亮度高斯金字塔BL、顏色高斯金字塔BC和對(duì)比度高斯金字塔BO，將所述的金字塔的各層進(jìn)行差分計(jì)算得到亮度差分圖CL、顏色差分圖CC和對(duì)比度差分圖CO，再對(duì)各差分圖進(jìn)行正則化處理得到三個(gè)特征對(duì)應(yīng)的亮度特征圖FL、顏色特征圖FC和對(duì)比度特征圖FO，最后加權(quán)平均并正則化得到實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖。
4.根據(jù)權(quán)利要求1所述的實(shí)時(shí)的視頻和圖像抽象化方法，其特征在于所述的采用高斯平滑技術(shù)，將實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖轉(zhuǎn)換為興趣區(qū)域函數(shù)圖的方法如下
利用閾值tm將實(shí)時(shí)的視頻和圖像的視覺(jué)注意力分布圖轉(zhuǎn)換為黑白的模板，黑白模板中的白色區(qū)域表示視覺(jué)上比較吸引注意力的區(qū)域，黑色區(qū)域表示視覺(jué)上的背景區(qū)域；利用高斯平滑技術(shù)對(duì)黑白模板進(jìn)行濾波，得到實(shí)時(shí)的視頻和圖像的興趣區(qū)域函數(shù)圖s。
5.根據(jù)權(quán)利要求1所述的實(shí)時(shí)的視頻和圖像抽象化方法，其特征在于所述的采用基于特征流的抽象化方法，得到初始的實(shí)時(shí)的抽象化視頻和圖像的方法如下
創(chuàng)建一個(gè)連貫的特征流場(chǎng)V(x，y)，初始值垂直于CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像的亮度圖上的梯度場(chǎng)
對(duì)CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像進(jìn)行沿流場(chǎng)方向和垂直于流場(chǎng)方向進(jìn)行雙邊濾波，同時(shí)利用基于特征流場(chǎng)的高斯差分算法抽取線條區(qū)域，并對(duì)抽取的線條區(qū)域和雙邊濾波結(jié)果進(jìn)行相乘，得到初始的實(shí)時(shí)的抽象化視頻和圖像。
6.根據(jù)權(quán)利要求1所述的實(shí)時(shí)的視頻和圖像抽象化方法，其特征在于所述的以興趣區(qū)域函數(shù)為權(quán)值，將初始的實(shí)時(shí)的抽象化視頻和圖像與CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像進(jìn)行線性插值，得到新的實(shí)時(shí)的抽象化視頻和圖像的方法如下
利用線性插值公式計(jì)算出新的實(shí)時(shí)的抽象化視頻和圖像
La＝s·La′+(1-s)·L
式中s表示興趣區(qū)域函數(shù)，La′表示初始的實(shí)時(shí)的抽象化視頻和圖像，L是CIE-Lab顏色空間的實(shí)時(shí)的視頻和圖像，La為得到新的實(shí)時(shí)的抽象化視頻和圖像。
7.根據(jù)權(quán)利要求1所述的實(shí)時(shí)的視頻和圖像抽象化方法，其特征在于所述的由CIE-Lab顏色空間轉(zhuǎn)換到紅綠藍(lán)顏色空間的轉(zhuǎn)換方法如下轉(zhuǎn)換按照下面的公式進(jìn)行
式中R，G，B分別表示像素的紅綠藍(lán)顏色值，L是像素的亮度通道值，a和b是像素的兩個(gè)彩色通道值。
全文摘要
本發(fā)明公開(kāi)了一種基于視覺(jué)注意力的實(shí)時(shí)的視頻和圖像抽象化方法，包括輸入待處理的實(shí)時(shí)的視頻和圖像，將實(shí)時(shí)的視頻和圖像的紅綠藍(lán)顏色空間轉(zhuǎn)換到CIE-Lab顏色空間，生成視覺(jué)注意力分布圖，導(dǎo)出興趣區(qū)域函數(shù)圖，采用基于特征流場(chǎng)的抽象化方法得到初始的實(shí)時(shí)的抽象化視頻和圖像，采用線性插值技術(shù)得到新的實(shí)時(shí)的抽象化視頻和圖像，將實(shí)時(shí)的視頻和圖像由CIE-Lab顏色空間重新轉(zhuǎn)換回紅綠藍(lán)顏色空間七個(gè)步驟。本發(fā)明方法的每一個(gè)步驟都可以在家用電腦的圖形卡硬件中并行處理，有效地解決了現(xiàn)有的實(shí)時(shí)視頻抽象化方法存在的均勻抽象化的問(wèn)題，為非專業(yè)人員提供了一種簡(jiǎn)便直觀的實(shí)時(shí)的視頻和圖像的抽象化方法。
文檔編號(hào)G06T5/00GK101488220SQ200910095238
公開(kāi)日2009年7月22日 申請(qǐng)日期2009年1月5日 優(yōu)先權(quán)日2009年1月5日
發(fā)明者趙漢理, 金小剛, 茅曉陽(yáng) 申請(qǐng)人:浙江大學(xué)