本發(fā)明涉及遙感圖像的可視化增強(qiáng)處理技術(shù)，尤其是針對(duì)星載多光譜圖像和全色光圖像的圖像融合方法。

背景技術(shù)：

隨著星載成像傳感器的快速發(fā)展，許多衛(wèi)星可以提供高分辨率的遙感圖像。一些在軌的高分辨率商業(yè)衛(wèi)星，例如ikonos、quickbird、worldview-2能同時(shí)捕捉全色光圖像和多光譜圖像。由于物理約束，全色光圖像具有非常高的空間分辨率，但是只具有單一光譜通道，與此相反，多光譜圖像具有較低的空間分辨率但更高的光譜分辨率。通過(guò)融合多光譜圖像和全色光圖像，可以得到一幅同時(shí)具有高空間分辨率和光譜信息豐富的融合圖像，其在保持光譜特性的同時(shí)，增強(qiáng)了圖像的可視化效果。

在多光譜和全色光圖像融合方法中，空間細(xì)節(jié)模型主要思想是將有用的空間細(xì)節(jié)信息從多光譜圖像中提取出來(lái)，然后用預(yù)先設(shè)定的注入規(guī)則加在多光譜圖像中。在該類(lèi)模型中邊緣保持濾波器因其邊緣感知能力成為研究熱點(diǎn)，近幾年在研究中使用的該類(lèi)濾波器有非局部均勻?yàn)V波、加權(quán)最小二乘濾波、導(dǎo)向?yàn)V波(參見(jiàn)文獻(xiàn)ieeecomputersocietyconferenceoncomputervisionandpatternrecognition,2(7):60-65,2005；acmtransactionsongraphics,27(3):15-19,2008；ieeetransactionsonpatternanalysisandmachineintelligence,35(6):1397-1409,2013)。然而邊緣保持濾波器很難分離結(jié)構(gòu)與細(xì)節(jié)，得到的融合結(jié)果光譜保真度與空間信息都有一定的欠缺。

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于滾動(dòng)導(dǎo)向?yàn)V波的遙感圖像融合方法，不同于邊緣保持濾波器，滾動(dòng)導(dǎo)向?yàn)V波器能夠提取不同尺度結(jié)構(gòu)而保留其他的信息。本發(fā)明通過(guò)滾動(dòng)導(dǎo)向?yàn)V波將全色光和多光譜圖像的空間信息準(zhǔn)確的提取出來(lái)，再使用gramschmidt(gs)變換將空間信息注入到多光譜圖像中。

本發(fā)明解決其技術(shù)問(wèn)題所采取的技術(shù)方案包括以下步驟：

第一步，對(duì)于原始多光譜圖像包含的n個(gè)波段圖像ms1、ms2、…、msn，通過(guò)雙三次插值將各波段圖像上采樣到和全色光圖像pan尺寸相同的圖像rms1、rms2、…、rmsn；

第二步，將rms1、rms2、…、rmsn波段圖像對(duì)應(yīng)像素點(diǎn)的灰度值取平均作為低分辨率全色光圖像pl對(duì)應(yīng)像素點(diǎn)灰度值，即將pl與rms1、rms2、…、rmsn波段圖像作為gs正變換的輸入圖像得到變換后的波段圖像gs1，gs2，…，gsn+1；

第三步，令亮度分量圖像i等于pl，分別計(jì)算圖像i與pan所有像素點(diǎn)灰度值的均值與標(biāo)準(zhǔn)差，將圖像i與pan做直方圖匹配得到式中μi與μp分別為亮度分量圖像i和全色光圖像pan所有像素點(diǎn)灰度值的均值，σi與σp分別為亮度分量圖像i和全色光圖像pan的所有像素點(diǎn)灰度值的標(biāo)準(zhǔn)差；

第四步，構(gòu)建滾動(dòng)導(dǎo)向?yàn)V波器，并將滾動(dòng)導(dǎo)向?yàn)V波算法記為rgf(·)，分兩個(gè)階段進(jìn)行：

第一階段對(duì)輸入圖像做高斯濾波，該階段輸入圖像為q，輸出圖像記為g，其中σs為q的所有像素點(diǎn)的灰度值標(biāo)準(zhǔn)偏差，n(p)為以p為中心、w×w窗口大小的像素集，q為n(p)中不同于p的像素點(diǎn)，||p-q||表示兩個(gè)像素點(diǎn)的歐式距離；

第二階段采用導(dǎo)向?yàn)V波算法gf(·)，該階段輸入圖像為q，與第一階段輸入圖像相同，圖像j作為迭代更新的指導(dǎo)圖像，其中第一階段的輸出g記為j¹，第t次迭代的結(jié)果j^t+¹＝gf(j^t，q)；

第五步，將亮度分量圖像i與直方圖匹配全色光圖像pan'分別作為滾動(dòng)導(dǎo)向?yàn)V波器的輸入圖像，計(jì)算出對(duì)應(yīng)的輸出圖像，即li＝i-rgf(i)和lp＝pan'-rgf(pan')，再計(jì)算i與pan'的細(xì)節(jié)圖像d1＝i-li與d2＝pan'-lp；

第六步，構(gòu)造能量顯著映射sj＝|box(dj)|,j＝1,2，其中box(·)為r×r大小的平均濾波器，|·|為取絕對(duì)值操作，dj為第j幅細(xì)節(jié)圖像；再利用能量顯著映射構(gòu)造加權(quán)映射其中sj(m)表示第j幅圖像中第m個(gè)像素的顯著映射值；

將dj作為導(dǎo)向?yàn)V波器的指導(dǎo)圖像，wj作為輸入圖像，計(jì)算出輸出圖像oj＝gf(dj,wj)，最后計(jì)算細(xì)節(jié)圖像

第七步，將gs變換后得到的第一波段圖像gs1作為滾動(dòng)導(dǎo)向?yàn)V波的輸入圖像，滾動(dòng)導(dǎo)向?yàn)V波器的輸出圖像記為lgs1，即lgs1＝rgf(gs1)。將細(xì)節(jié)圖像d注入lgs1作為新的gs變換的第一波段圖像gs1new＝d+lgs1；

第八步，對(duì)新的變換波段gs1new，gs2，…，gsn+1進(jìn)行g(shù)s反變換，得到n個(gè)波段融合結(jié)果圖像f1，f2，…，fn。

本發(fā)明的有益效果是：針對(duì)多光譜與全色光圖像融合過(guò)程中由于細(xì)節(jié)提取與注入模型不適導(dǎo)致融合結(jié)果產(chǎn)生光譜分辨率與空間分辨率失真問(wèn)題，采用高斯濾波與導(dǎo)向?yàn)V波相結(jié)合的滾動(dòng)導(dǎo)向?yàn)V波器，該濾波器最主要的優(yōu)勢(shì)是其尺度感知性能，其可將輸入圖像分解為兩層：一層是包含大尺度結(jié)構(gòu)的基礎(chǔ)層，另一層是包含小尺度紋理的細(xì)節(jié)層。在發(fā)明中利用滾動(dòng)導(dǎo)向?yàn)V波器將多光譜與全色光圖像不同尺度的結(jié)構(gòu)分離，從而可以提取出所需的空間信息，并結(jié)合gramschmidt(gs)變換將細(xì)節(jié)注入到多光譜圖像中得到融合結(jié)果。融合結(jié)果不僅提高了原始多光譜圖像的空間分辨率，也保持了光譜信息，是一種適合于高分辨率星載多光譜與全色光圖像融合的有效方法。

附圖說(shuō)明

圖1是本發(fā)明的原理示意圖；

圖2是本發(fā)明的流程圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說(shuō)明，本發(fā)明包括但不僅限于下述實(shí)施例。

本發(fā)明解決其技術(shù)問(wèn)題所采取的技術(shù)方案包括以下步驟：

第一步、上采樣多光譜圖像：

假設(shè)原始多光譜圖像包含n個(gè)波段(ms1，ms2，…，msn)，通過(guò)雙三次插值將各波段圖像上采樣到和全色光圖像尺寸相同的圖像(rms1，rms2，…，rmsn)。

第二步、gs正變換：

將n個(gè)波段(rms1，rms2，…，rmsn)對(duì)應(yīng)像素點(diǎn)的灰度值取平均設(shè)為低分辨率全色光圖像pl對(duì)應(yīng)像素點(diǎn)灰度值，將pl與這n個(gè)波段(rms1，rms2，…，rmsn)作為gs正變換(參見(jiàn)文獻(xiàn)u.s.patent6011875,2000)的輸入圖像得到變換后的波段(gs1，gs2，…，gsn+1)。

第三步、直方圖匹配：

令亮度分量圖像i等于pl，分別計(jì)算圖像i與pan所有像素點(diǎn)灰度值的均值與標(biāo)準(zhǔn)差，將圖像i與pan做直方圖匹配得到pan'：

i＝pl(2)

式中μi與μp分別為亮度分量圖像i和全色光圖像pan的所有像素點(diǎn)灰度值的均值，σi與σp分別為亮度分量圖像i和全色光圖像pan的所有像素點(diǎn)灰度值的標(biāo)準(zhǔn)差。

第四步、滾動(dòng)導(dǎo)向?yàn)V波：

滾動(dòng)導(dǎo)向?yàn)V波器原理參見(jiàn)2014europeanconferenceoncomputervision(eccv2014),8691:815-830,2014。

設(shè)圖像q為滾動(dòng)導(dǎo)向?yàn)V波的輸入圖像，并將滾動(dòng)導(dǎo)向?yàn)V波算法記為rgf(·)，該濾波器分兩個(gè)階段進(jìn)行：

第一階段使用高斯濾波器對(duì)輸入圖像做高斯濾波，該階段輸出圖像記為g，具體公式如下：

其中σs為q的所有像素點(diǎn)的灰度值標(biāo)準(zhǔn)偏差，n(p)為以p為中心、w×w窗口大小的像素集，q為n(p)中不同于p的像素點(diǎn)，||p-q||表示兩個(gè)像素點(diǎn)的歐式距離。

第二階段使用聯(lián)合濾波器進(jìn)行迭代操作，聯(lián)合濾波器可采用聯(lián)合雙邊濾波器，導(dǎo)向?yàn)V波器等。在該發(fā)明中采用導(dǎo)向?yàn)V波器，該階段輸入圖像為q，與第一階段輸入圖像相同，圖像j作為迭代更新的指導(dǎo)圖像，其中第一階段的輸出g記為j¹，j^t+1為第t次迭代的結(jié)果。將gf(·)記為導(dǎo)向?yàn)V波算法，則該階段公式如下：

j^t+1＝gf(j^t，q)(5)

第五步、細(xì)節(jié)的提?。?/p>

將多光譜圖像的亮度分量圖像i與直方圖匹配全色光圖像pan'分別作為滾動(dòng)導(dǎo)向?yàn)V波器的輸入圖像，并利用第四步分別計(jì)算出對(duì)應(yīng)的輸出圖像，分別記為li和lp，再計(jì)算i與pan'的細(xì)節(jié)圖像d1與d2：

li＝i-rgf(i)(6)

lp＝pan'-rgf(pan')(7)

d1＝i-li(8)

d2＝pan'-lp(9)

第六步、細(xì)節(jié)圖像融合：

將細(xì)節(jié)圖像d1、d2通過(guò)低通濾波器并取絕對(duì)值，構(gòu)造能量顯著映射：

sj＝|box(dj)|,j＝1,2(10)

其中box(·)為r×r大小的平均濾波器，dj為第j幅細(xì)節(jié)圖像，|·|為取絕對(duì)值操作，得到的顯著映射提供了圖像中較好的細(xì)節(jié)特征。再利用能量顯著映射構(gòu)造加權(quán)映射：

其中sj(m)表示第j幅圖像中第m個(gè)像素的顯著映射值。

將dj作為導(dǎo)向?yàn)V波器的指導(dǎo)圖像，wj作為輸入圖像，計(jì)算出輸出圖像oj，最后計(jì)算細(xì)節(jié)圖像d：

oj＝gf(dj,wj),j＝1,2(12)

第七步、細(xì)節(jié)注入：

將gs變換后得到的第一波段gs1作為滾動(dòng)導(dǎo)向?yàn)V波的輸入圖像，利用第四步計(jì)算出輸出圖像記為lgs1，將細(xì)節(jié)圖像d注入lgs1作為新的gs變換的第一波段，并記為gs1new：

lgs1＝rgf(gs1)(14)

gs1new＝d+lgs1(15)

第八步、gs反變換：

對(duì)新的變換波段(gs1new，gs2，…，gsn+1)進(jìn)行g(shù)s反變換，得到n個(gè)波段融合結(jié)果圖像(f1，f2，…，fn)。

方法實(shí)施例：

采用真實(shí)ikonos星載遙感多光譜和全色光圖像，多光譜圖像包含四個(gè)波段(ms1-ms4)，全色光圖像(pan)為單波段。多光譜圖像的空間分辨率為4.0m，大小為100行×100列。全色光圖像空間分辨率為1.0m，大小為400行×400列。實(shí)施本發(fā)明包括以下步驟：

第一步、上采樣多光譜圖像：

由于全色光圖像空間分辨率是多光譜圖像空間分辨率的4倍，因此通過(guò)雙三次插值將4個(gè)波段(ms1，ms2，ms3，ms4)上采樣到和全色光圖像尺寸相同的圖像(rms1，rms2，rms3，rms4)。

第二步、gs正變換：

將4個(gè)波段(rms1，rms2，rms3，rms4)對(duì)應(yīng)像素點(diǎn)的灰度值取平均設(shè)為低分辨率全色光圖像pl對(duì)應(yīng)像素點(diǎn)灰度值，將pl與這4個(gè)波段作為gs正變換的輸入圖像得到變換后的波段(gs1，gs2，…，gs5)。

pl＝(rms1+rms2+rms3+rms4)/4

第三步、直方圖匹配：

利用公式(2)得到亮度分量圖像i，再利用公式(3)將圖像i與pan做直方圖匹配得到pan'。

第四步、滾動(dòng)導(dǎo)向?yàn)V波：

設(shè)置圖像i與pan'分別為滾動(dòng)導(dǎo)向?yàn)V波的輸入圖像，利用公式(4)和(5)對(duì)這兩幅圖像進(jìn)行滾動(dòng)導(dǎo)向?yàn)V波，其中σs、w取值均為2，t取值為4。根據(jù)公式(6)和(7)輸出圖像分別記為li與lp。

第五步、細(xì)節(jié)的提?。?/p>

利用公式(8)和(9)計(jì)算i與pan'的細(xì)節(jié)圖像記為d1與d2。

第六步、細(xì)節(jié)圖像融合：

將細(xì)節(jié)圖像d1與d2通過(guò)3×3的平均濾波器并取絕對(duì)值，構(gòu)造能量顯著映射：

s1＝|box(d1)|

s2＝|box(d2)|

再利用s1與s2構(gòu)造加權(quán)映射w1與w2。

將d1與d2分別作為導(dǎo)向?yàn)V波器的指導(dǎo)圖像，相應(yīng)的加權(quán)映射w1與w2分別作為輸入圖像，利用導(dǎo)向?yàn)V波算法gf(·)計(jì)算出輸出圖像o1與o2。

o1＝gf(d1,w1)

o2＝gf(d2,w2)

最后根據(jù)公式(13)計(jì)算融合的細(xì)節(jié)圖像d。

第七步、細(xì)節(jié)注入：

將gs正變換后得到的第一波段gs1作為滾動(dòng)導(dǎo)向?yàn)V波的輸入圖像，利用公式(4)和(5)計(jì)算出lgs1，其中σs、w取值均為2，t取值為4。根據(jù)公式(15)將細(xì)節(jié)圖像d注入lgs1作為新的gs變換的第一波段gs1new，即：

gs1new＝d+lgs1

第八步、gs反變換：

對(duì)新的變換波段(gs1new，gs2，…，gs5)進(jìn)行g(shù)s反變換，得到4個(gè)波段融合結(jié)果圖像(f1，f2，f3，f4)。