一種基于顯著圖和興趣點凸包的紅外與可見光圖像融合方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于顯著圖和興趣點凸包的紅外與 可見光圖像融合方法。
【背景技術(shù)】
[0002] 圖像融合就是把多個不同模式的圖像傳感器獲得的同一場景的多幅圖像，或同一 傳感器在不同時刻或不同方式下獲得的多幅圖像合成一幅包含輸入圖像相關(guān)信息的圖像 的過程。通過綜合利用不同圖像之間的互補信息和冗余信息，能夠獲得對該場景更為全面、 準確的圖像描述。圖像融合技術(shù)已廣泛應(yīng)用在軍事、遙感、機器人、醫(yī)學處理以及計算機視 覺等領(lǐng)域中。
[0003]目前大多數(shù)圖像融合算法主要是基于單個像素或者是基于窗口提出的，是在圖像 像素之間或者圖像經(jīng)某種工具分解后系數(shù)之間或多或少是相互獨立的這一假設(shè)前提下提 出的，顯然這一假設(shè)與事實并不相符。事實上，圖像中的目標特征并不是由單個像素能夠表 征的，而是由局部區(qū)域表征的。因此，基于區(qū)域的圖像融合在實際中更具有意義，能夠獲得 更好的融合效果。同時，基于區(qū)域的圖像融合算法還能夠降低算法對噪聲的靈敏程度以及 對配準誤差具有較強的魯棒性。
[0004] 近年來出現(xiàn)了一定數(shù)量的基于區(qū)域的圖像融合算法。如LewisJJ,O'CallaghanR J,NikolovSG,etal.Pixel-andregion-basedimagefusionwithcomplexwavelets. InformationFusion.2007,8(2):119_130.以及文獻AslantasV，BendesE，Kurban R，ToprakA.N.Newoptimisedregion-basedmulti-scaleimagefusionmethodfor thermalandvisibleimages.ImageProcessing，IET. 2014, 8 (5): 289-299?所述，這些方 法通過圖像分割算法提取目標區(qū)域，然后針對目標區(qū)域和背景區(qū)域制定不同的融合規(guī)則。
[0005] 然而圖像分割一直是一個亟待突破的關(guān)鍵技術(shù)，目前很難找到一種通用的分割算 法將目標完整地與背景分割開，而且目標易受部分缺損、背景混雜、仿射變換、光照等因素 的干擾，導致分割正確率下降。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的是克服現(xiàn)有技術(shù)的不足，提升圖像融合性能，實現(xiàn)從源圖像中提取 更多的有用信息，使紅外圖像中目標特性與可見光圖像中的背景信息有機地結(jié)合在一起。
[0007] 為此，本發(fā)明提供了一種基于顯著圖和興趣點凸包的紅外與可見光圖像融合方 法，包括如下步驟：
[0008] 步驟一、對紅外圖像進行顯著性檢測，得到二值化顯著圖；
[0009] 步驟二、對紅外圖像進行興趣點檢測；
[0010] 步驟三、去掉游離的興趣點得到顯著興趣點；
[0011] 步驟四、對顯著興趣點求取凸包；
[0012] 步驟五、通過對紅外圖像的二值化顯著圖和凸包圖像做"與"運算，得到目標區(qū)域， 圖像剩余部分作為背景區(qū)域；
[0013] 步驟六、分別對目標區(qū)域和背景區(qū)域采取不同的融合規(guī)則，實現(xiàn)紅外與可見光圖 像的融合。
[0014] 上述步驟一、對紅外圖像進行顯著性檢測，得到二值化顯著圖，包括如下步驟：
[0015] (1. 1)計算長度為M、寬度為N的紅外圖像的顯著圖S(x，y):
[0016]S(x,y) = |Ig(x,y)-Iu (1)
[0017]Ig(x，y)是紅外圖像經(jīng)過高斯濾波后的矢量圖，目的是對圖像進行平滑濾波，易ij除 噪聲；Iu是紅外圖像的像素算數(shù)平均值；
[0018] (1. 2)通過設(shè)定閾值TH，將大小為M*N的紅外圖像顯著圖二值化得SM(x，y):
【主權(quán)項】
1. 一種基于顯著圖和興趣點凸包的紅外與可見光圖像融合方法，其特征在于，包括如 下步驟： 步驟一、對紅外圖像進行顯著性檢測，得到二值化顯著圖； 步驟二、對紅外圖像進行興趣點檢測； 步驟三、去掉游離的興趣點得到顯著興趣點； 步驟四、對顯著興趣點求取凸包； 步驟五、通過對紅外圖像的二值化顯著圖和凸包圖像做"與"運算，得到目標區(qū)域，圖像 剩余部分作為背景區(qū)域； 步驟六、分別對目標區(qū)域和背景區(qū)域采取不同的融合規(guī)則，實現(xiàn)紅外與可見光圖像的 融合。
2. 如權(quán)利要求1所述的基于顯著圖和興趣點凸包的紅外與可見光圖像融合方法，其特 征在于，所述步驟一、對紅外圖像進行顯著性檢測，得到二值化顯著圖，包括如下步驟： (1. 1)計算長度為M、寬度為N的紅外圖像的顯著圖S(x，y): S(x,y) = |Ig(x,y)-Iu (1) Ig(x，y)是紅外圖像經(jīng)過高斯濾波后的矢量圖，目的是對圖像進行平滑濾波，剔除噪 聲；Iu是紅外圖像的像素算數(shù)平均值； (1.2)通過設(shè)定閾值TH，將大小為M*N的紅外圖像顯著圖二值化得SM(x，y):
3. 如權(quán)利要求2所述的基于顯著圖和興趣點凸包的紅外與可見光圖像融合方法，其特 征在于：所述紅外圖像經(jīng)過高斯濾波后得到矢量圖，采用的是3*3的模板進行濾波。
4. 如權(quán)利要求1所述的基于顯著圖和興趣點凸包的紅外與可見光圖像融合方法，其特 征在于，所述步驟二、對紅外圖像進行興趣點檢測是對紅外圖像進行Harris興趣點檢測； Harris算子H為： H=det(C) -ktrace2 (C) (4) 其中，
：Ix，Iy和Ixy分別為圖像在x和y方向的偏導以及二階混合偏導； k為經(jīng)驗值，通常取0. 04?0. 06 ;根據(jù)圖像取出Harris算子值最大的n個點，得到圖像的 興趣點圖。
5. 如權(quán)利要求1所述的基于顯著圖和興趣點凸包的紅外與可見光圖像融合方法，其特 征在于，所述步驟三、去掉游離的興趣點得到顯著興趣點，包括如下步驟： (3. 1)紅外圖像興趣點集合為Q={q(x，y) 1彡x彡M，1彡y彡N}，興趣點個數(shù)為n，則 興趣點質(zhì)心〇表示如下：
計算每個興趣點到質(zhì)心的距離Ri: Ri= [(xi-〇x) 2+ (Yi-〇y)2]1/2, (xi；Yi)GQ,i= 1, 2, . . .n(6) 其中，氏為第i個興趣點到質(zhì)心的距離； (3. 2)對所有的氏求均值記做及，令q= |尺.-互|，記〇亦均值為j，選擇尺=云-； 為半徑，質(zhì)心為圓心做圓C; (3. 3)將圓C的圓心依次取遍紅外圖像的每一個像素點，并記錄遍歷過程中圓心的位 置以及圓C包含的興趣點的數(shù)目；取其中包含興趣點數(shù)目最多的圓所覆蓋的區(qū)域為顯著區(qū) 域，顯著區(qū)域圓心為（xb，yb);若遍歷過程中有多個像素為符合條件的圓心值，則取這些像 素位置的平均值為顯著區(qū)域圓心； (3. 4)將顯著區(qū)域內(nèi)部興趣點作為顯著興趣點保留，顯著興趣點集合為
;顯著區(qū)域外的興趣點為游離興趣點剔除。
6. 如權(quán)利要求1所述的基于顯著圖和興趣點凸包的紅外與可見光圖像融合方法，其特 征在于，所述步驟四、對顯著興趣點求取凸包是采用格雷厄姆掃描算法，其步驟如下： (4. 1)對所有顯著興趣點排序，取左側(cè)最低點為P(l，取P(l右側(cè)最低點為Pl，將過P(l、Pl的 直線繞P〇逆時針旋轉(zhuǎn)，與直線先后相交的點依次編號為P2,P3,…Pm; (4. 2)凸包搜索，①將pQ，Pl，p2三點依次放入堆棧；②令棧頂點為p_，棧頂前一點為Pnext-to-top;③令i= 3 ;④若i>n，跳到步驟⑤，否則判斷線段pnext_to_toppt0P到線段pnext_t0_t0P Pi是否是"非逆時針旋轉(zhuǎn)"，若是，點P_出棧，繼續(xù)判斷，若不是，點Pi進棧，i=i+1，返回 步驟④；⑤堆棧中的點就是點集凸包上的點；按順序?qū)⒍褩Ｖ械狞c相連，就得到所求的顯 著興趣點凸包。
7. 如權(quán)利要求1所述的基于顯著圖和興趣點凸包的紅外與可見光圖像融合方法，其特 征在于，所述步驟六、分別對目標區(qū)域和背景區(qū)域采取不同的融合規(guī)則，實現(xiàn)紅外與可見光 圖像的融合，包括如下步驟： (6.1)目標區(qū)域融合 對于目標區(qū)域，其目的是盡可能地保持紅外圖像中的目標特性，因此，對于目標區(qū)域， 制定如下融合規(guī)則： ITF(x,y) =Iir(x,y), (x,y)GIT (7) 其中，^表示目標區(qū)域，I/表示融合圖像的目標區(qū)域，It表示紅外圖像； (6. 2)背景區(qū)域融合 首先計算紅外圖像背景區(qū)域和可見光圖像背景區(qū)域能量；選擇大小為3*3的區(qū)域窗口 計算
則
Ei，Ev分別是紅外圖像背景區(qū)域能量和可見光圖像背景區(qū)域能量，Iv表示可見光圖像， 、表示背景區(qū)域，1/表示融合圖像的背景區(qū)域。
【專利摘要】本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于顯著圖和興趣點凸包的紅外與可見光圖像融合方法，包括如下步驟：首先，對紅外圖像進行顯著性檢測，得到二值化顯著圖；然后，對紅外圖像進行興趣點檢測；其次，進行去游離興趣點處理得到顯著興趣點；再次，對顯著興趣點求取凸包；再通過對二值化顯著圖和凸包圖像做“與”運算，得到目標區(qū)域，圖像剩余部分作為背景區(qū)域；最后，分別對目標區(qū)域和背景區(qū)域采取不同的融合規(guī)則，實現(xiàn)紅外與可見光圖像的融合；該方法，能夠剔除那些位于背景上的少數(shù)興趣點，使得對顯著興趣點求取的凸包更加接近真實的目標，并通過與顯著圖結(jié)合，能夠更準確地提取出目標區(qū)域，該方法簡單、快速，能夠有效提升融合性能。
【IPC分類】G06T5-50
【公開號】CN104574335
【申請?zhí)枴緾N201510018267
【發(fā)明人】孟繁杰, 宋苗, 閆允一, 張旭, 石瑞霞, 單大龍
【申請人】西安電子科技大學
【公開日】2015年4月29日
【申請日】2015年1月14日