一種基于時-空-頻三域聯(lián)合處理的雨天視頻復(fù)原方法
【專利摘要】本發(fā)明提供種基于時-空-頻三域聯(lián)合的雨天視頻復(fù)原方法，包括以下步驟：將輸入視頻序列轉(zhuǎn)換到Y(jié)CbCr空間；采用時域中值濾波法進行背景建模；計算幀間差序列，獲得每幀圖像對應(yīng)的雨景區(qū)域；計算每幀圖像雨景區(qū)域內(nèi)各雨滴的最小外接矩形，計算每個雨滴的下落方向，構(gòu)建雨滴下落方向直方圖特征，得到每幀圖像的雨滴下落方向特征；將每幀圖像的Y通道變換到頻域。根據(jù)雨滴下落方向特征，選取合適的楔形方向濾波器對圖像的幅度譜進行濾波處理；將頻域濾波結(jié)果反變換回空域，并結(jié)合原始圖像幀的Cb和Cr通道圖像，重新組合得到彩色圖像。本發(fā)明能夠明顯提高視頻視覺效果。
【專利說明】一種基于時-空-頻三域聯(lián)合處理的雨天視頻復(fù)原方法
所屬【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及惡劣天氣情況下的視頻復(fù)原技術(shù)，特別涉及一種雨天視頻的雨滴去除方法。
【背景技術(shù)】
[0002]惡劣的天氣會嚴重干擾戶外視覺系統(tǒng)的正常工作。比如霧、霾、雨、雪之類的天氣，視覺系統(tǒng)將無法根據(jù)戶外圖像或視頻提供的信息對場景進行可靠的目標檢測、物體識別和跟蹤、特征提取等基本操作，這是因為惡劣的天氣因素導(dǎo)致所捕獲的圖像或視頻產(chǎn)生嚴重的退化。因此，為了提高戶外監(jiān)視系統(tǒng)的穩(wěn)定性和實用性，必須對受天氣影響的圖像進行復(fù)原，消除不良天氣對圖像應(yīng)用的影響，以保證系統(tǒng)能夠良好地工作。
[0003]隨著計算機視覺系統(tǒng)應(yīng)用越來越廣泛，惡劣氣象條件下圖像的復(fù)原技術(shù)研究日益成為了當前該領(lǐng)域的熱點之一，成功地解決該問題必然會給目標識別、遙感導(dǎo)航及軍事國防等領(lǐng)域都帶來巨大的實用價值。目前相關(guān)的國內(nèi)外研究已開展了近二十年，研究者提供了各種方法。針對雨景視頻的復(fù)原的方法大致可以分為兩大類:空域-時域聯(lián)合處理法和頻域處理法。
[0004]Starik等[I]根據(jù)雨在視頻中的時空特性對視頻進行時間維上的中值濾波，成功復(fù)原了那些污染程度比較小的雨景視頻，但該方法同時也增加了視頻中動態(tài)目標的模糊程度。Garg等[2]總結(jié)出雨滴形狀、速度、大小以及雨的光度的相應(yīng)規(guī)律，闡述了視頻中雨的時空上的分布情況以及圖像中雨滴的視像，并建立了雨的動態(tài)模型和光度模型，然后基于所建物理模型，提出了雨檢測和去除方法，最終復(fù)原出清晰的場景圖像。但是該方法使用的模型限制性條件太多。Zhang等[3]從雨景圖像的時間特性和色度特性入手，提出了一種對穩(wěn)態(tài)場景進行處理的雨景復(fù)原方法。利用K均值聚類和雨區(qū)的色度判別方程，檢測出視頻中的雨區(qū)。實驗結(jié)果表明，對于場景靜止且色度分布滿足條件的雨景視頻來說，用這種方法就比簡單的時間中值濾波效果好得多。Peng等[4]基于視頻中雨景視頻的色度特性構(gòu)建雨景退化模型，該模型不考慮雨滴的速度和時空信息，有效地檢測出視頻所有的雨區(qū)，即使視頻中存在動態(tài)的物體，其檢測函數(shù)也是可以有效檢測出圖像中的雨區(qū)，從而為雨景視頻中運動目標的有效檢測去除了雨滴的干擾。張穎翔[5]根據(jù)雨滴的物理光學模型，分析了雨滴對視頻中單幀圖像的光強影響，利用改進的幀差法來檢測視頻中的雨區(qū)，并對其進行了幀間距擴展以適應(yīng)雨點更加密集的情況。劉鵬[6]通過分析雨滴的物理成像模型，結(jié)合人類視覺系統(tǒng)對雨滴的分辨原理，發(fā)現(xiàn)受雨影響的像素與背景像素具有相同的色相值，為了兼顧到那些色相分量同時發(fā)生退化的圖像，他在HSV空間建立了區(qū)分雨區(qū)和非雨區(qū)的度量函數(shù)，克服了已有模型的辨識局限性，有效抑制了雨滴對圖像的干擾。Barnum等[7]在雨帶物理特性和雨景統(tǒng)計特性分析的基礎(chǔ)上，從頻域的角度去考察雨景的整體特性，基于模糊高斯估計雨景頻域模式，建立全局雨景的頻域模型，并基于該頻域模型開發(fā)出雨景的檢測和去除方法，成功獲得了清晰的視頻。該方法與空域方法有著明顯的區(qū)別，其頻域模型并不關(guān)心圖像中各個雨帶的大小和位置，而是通過對雨的映射形狀、場景景深以及雨的方向的估計建立針對具體雨景的頻域模型，開發(fā)出基于該頻域模型的雨景檢測和去除算法，完成圖像復(fù)原。但這種頻域方法并不能夠處理掉那些未知頻率上的類似雨的信息，從而導(dǎo)致檢測結(jié)果不正確，最終影響了復(fù)原效果。
[0005]參考文獻:
[0006][1]K.Starik, Μ.fferman.Si mu lation of Rain in Videos.TextureWorkshop[C], in Proceeding of ICCV,2002
[0007][2]K.Garg, S.K.Nayar.Detection and Removal of Rain from Videos [C].1nProceeding of CVPR, 2004.[0008][3]X.Zhang, H.Li, Y.Qi et al.Rain removal in video by combining temporaland chromatic properties[C].1n Proceeding of ICME, 2006
[0009][4]Peng Liu, Jing Xu, Jiafeng Liu, Xianglong Tang.Pixel Based TemporalAnalysis using Chromatic Property for Removing Rain from Videos[J].Computer andInformation Science, 2009.[0010][5]張穎翔，陳強，劉允才.視頻圖像中雨滴檢測與去除方法研究[J].微型電腦應(yīng)用，2007，23(12)，16-20[0011][6]劉鵬，徐晶等.一種受雨滴污染視頻的快速分析方法[J].自動化學報，2010，36(10)，1371-1378
[0012][7]P.C.Barnum, S.G.Narasimhan, Takeo Kanade.Analysis of Rain and Snow inFrequency Space[J].1nternational Journal of Computer Vision, 2010:256-274.[0013][8]梁莉莉，任意方向選擇性濾波器組及其對圖像表示的研究[D]，西安電子科技大學博士論文，2012.
【發(fā)明內(nèi)容】

[0014]本發(fā)明的目的是克服現(xiàn)有技術(shù)的上述不足，提出一種綜合利用時域、空域和頻域互補特征的雨天視頻復(fù)原方法。本發(fā)明解決上述技術(shù)問題的方案如下:
[0015]一種基于時-空-頻三域聯(lián)合的雨天視頻復(fù)原方法，包括以下步驟:
[0016]步驟1:將輸入視頻序列各幀圖像由RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，對Y通道圖像序列進行步驟2至10的處理，對Cb和Cr兩通道的圖像進行步驟10的處理。
[0017]步驟2:采用時域中值濾波法進行背景建模，對于第k幀圖像Ik，(x, y)位置上像素點灰度值用Ik (X，y)表示，經(jīng)過時域中值濾波后得到對應(yīng)的模板圖像為Bk。
[0018]步驟3:利用背景圖像，計算幀間差圖像:預(yù)設(shè)幀間差閾值!\，根據(jù)Ik和Bk，計算幀間差二值圖Dk
[0019]步驟4:設(shè)定面積閾值，考察Dk(X，y)中各連通區(qū)域的面積，將面積小于面積閾值的區(qū)域作為干擾區(qū)域并去除，處理后的二值圖像記為Rk，將Rk中取值為I的區(qū)域判為潛在的雨景區(qū)域，設(shè)總個數(shù)為S。
[0020]步驟5:對于Rk中的每一個子區(qū)域Rk(s) (s=l, 2，...，S)，S計算Rk(S)對應(yīng)的最小外接矩形(MBR)，用MBRk(S)表示。按逆時針方向，計算水平坐標軸到該外接矩形長邊的角度，記為ANGk(S)。ANGk(S)的取值范圍在0°~180°之間。
[0021]步驟6:根據(jù)第k幀圖像中各ANGk(S)的取值，計算方向直方圖，用HISTk( Θ )，將Θ的取值分為8種情況，分別對應(yīng)著區(qū)間[0°，22.5° )、[22.5° ,45° )、[45° ,67.5° )、[67.5 ° ,90 ° )、[90 ° ,112.5 ° )、[112.5 ° ，135 ° )、[135 ° ,157.5 ° )、[157.5° , 180° )，考察HISTk(0)中8個方向的取值，將取值最大的區(qū)間作為第k幀圖像中雨滴下落的方向。
[0022]步驟7:使用二維傅里葉變換，將Ik變換到頻率域，其幅度譜圖像用Fk表示，相位譜用Pk表示，按照步驟6的8個方向在頻域構(gòu)造楔形濾波器。
[0023]步驟8:對于某一幀頻域圖像，根據(jù)前面步驟得到的雨滴下落方向特征，從步驟7得到的楔形濾波器中選擇合適的一個，對Fk進行濾波處理，處理結(jié)果用F' k表示。
[0024]步驟9:使用F' k和Pk，通過二維傅里葉逆變換，反變換到空域，處理結(jié)果用 k表不。
[0025]步驟10:使用 k以及原始的Cb和Cr通道圖像，重新組合得到彩色圖像。
[0026]采用本發(fā)明所述方法，通過加入雨滴下落方向判斷過程，在頻域用楔形方向濾波器對雨滴的濾波處理，相對于已有在空域去除雨滴的方法，頻域去除方法的邊緣效應(yīng)不明顯，明顯提高了的處理后的視頻視覺效果。圖3給出了部分實驗結(jié)果。
【專利附圖】

【附圖說明】
[0027]圖1是本發(fā)明所提方法框圖。
[0028]圖2是本發(fā)明所采用的楔形濾波器幅頻圖，其中，(e)方向5(f)方向6(g)方向7 (h)方向8 (e)方向5 (f)方向6 (g)方向7 (h)方向8。
[0029]圖3部分去雨滴效果截圖，其中，(a)原始視頻幀(b)幀間差圖像(C)圖像頻域幅度譜(d)所用的楔形方向濾波器(c)頻域方向濾波結(jié)果(d)復(fù)原結(jié)果。
【具體實施方式】
[0030]下面結(jié)合附圖和實施例對本發(fā)明進行說明。
[0031]參見圖1，本發(fā)明的基于時-空-頻三域聯(lián)合的雨天視頻復(fù)原方法，包括以下步驟:
[0032]步驟1:將輸入視頻序列各幀圖像由RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，只選取Y通道圖像序列進行處理，Cb和Cr兩通道的圖像用于步驟10。
[0033]步驟2:采用時域中值濾波技術(shù)進行背景建模，所用的幀數(shù)為11幀。對于第k幀圖像Ik，(x, y)位置上像素點灰度值用Ik(x，y)表示，將Ik(x，y)以及前后各幀對應(yīng)位置上像素點的灰度值Im (X，y) (j=-5, -4，...0，…，4，5)按照從小到大的順序排序，使用它們的中值(排序結(jié)果中排在第6位置的值)來代替Ik(x，y)。遍歷圖像中的所有像素點，得到Ik對應(yīng)的模板圖像，用Bk表不。
[0034]步驟3:利用背景圖像，計算幀間差圖像。根據(jù)Ik和Bk，計算幀間差二值圖Dk，得到:
【權(quán)利要求】
1.一種基于時-空-頻三域聯(lián)合的雨天視頻復(fù)原方法，包括以下步驟: 步驟1:將輸入視頻序列各幀圖像由RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，對Y通道圖像序列進行步驟2至10的處理，對Cb和Cr兩通道的圖像進行步驟10的處理； 步驟2:采用時域中值濾波法進行背景建模，對于第k幀圖像Ik，(x, y)位置上像素點灰度值用Ik(X，y)表示，經(jīng)過時域中值濾波后得到對應(yīng)的模板圖像為Bk ； 步驟3:利用背景圖像，計算幀間差圖像:預(yù)設(shè)幀間差閾值T1，根據(jù)Ik和Bk，計算幀間差二值圖Dk ； 步驟4:設(shè)定面積閾值，考察Dk(x，y)中各連通區(qū)域的面積，將面積小于面積閾值的區(qū)域作為干擾區(qū)域并去除，處理后的二值圖像記為Rk，將Rk中取值為I的區(qū)域判為潛在的雨景區(qū)域，設(shè)總個數(shù)為S ; 步驟5:對于Rk中的每一個子區(qū)域Rk(S) (s=l, 2，...，S)，S計算Rk(S)對應(yīng)的最小外接矩形(MBR)，用MBRk(S)表示，按逆時針方向，計算水平坐標軸到該外接矩形長邊的角度，記為ANGk(s)，ANGk(s)的取值范圍在0°~180°之間； 步驟6:根據(jù)第k幀圖像中各ANGk(S)的取值，計算方向直方圖，用HISTk(Q)Jf Θ的取值分為8種情況，分別對應(yīng)著區(qū)間[0°，22.5° )、[22.5°，45° )、[45° ,67.5° )、[67.5 ° ,90 ° )、[90 ° ,112.5 ° )、[112.5 ° ，135 ° )、[135 ° ,157.5 ° )、[157.5° , 180° )，考察HISTk(0)中8個方向的取值，將取值最大的區(qū)間作為第k幀圖像中雨滴下落的方向； 步驟7:使用二維傅里葉 變換，將Ik變換到頻率域，其幅度譜圖像用Fk表示，相位譜用Pk表示，按照步驟6的8個方向在頻域構(gòu)造楔形濾波器； 步驟8:對于某一幀頻域圖像，根據(jù)前面步驟得到的雨滴下落方向特征，從步驟7得到的楔形濾波器中選擇合適的一個，對Fk進行濾波處理，處理結(jié)果用F' k表示； 步驟9:使用F' k和Pk，通過二維傅里葉逆變換，反變換到空域，處理結(jié)果用I' k表示； 步驟10:使用I' k以及原始的Cb和Cr通道圖像，重新組合得到彩色圖像。
【文檔編號】G06T5/40GK103942766SQ201410133242
【公開日】2014年7月23日 申請日期:2014年4月3日 優(yōu)先權(quán)日:2014年4月3日
【發(fā)明者】龐彥偉, 劉長波, 王建 申請人:天津大學