基于多角度線(xiàn)陣ccd傳感器的遙感圖像超分辨率重建方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于多角度線(xiàn)陣CCD傳感器的遙感圖像 超分辨率重建方法。
【背景技術(shù)】
[0002] 在航空航天中，遙感相機(jī)作為信息獲取裝置，可以對(duì)地球目標(biāo)區(qū)域進(jìn)行捕捉，形成 該區(qū)域的二維影像圖。隨著CCD技術(shù)的發(fā)展，傳統(tǒng)的膠片相機(jī)已經(jīng)被CCD傳感器所取代。 (XD傳感器可以分為線(xiàn)陣(XD傳感器和面陣C⑶兩個(gè)類(lèi)型。其中面陣C⑶可以用來(lái)直接獲 取二維圖像信息，然而其象元總數(shù)多，而單行象元數(shù)目少，幀幅率受到限制。線(xiàn)陣CCD傳感 器總象元數(shù)目少，卻全部分布在一維空間上，因此單行象元數(shù)可以做到遠(yuǎn)高于面陣(XD。另 外線(xiàn)陣CCD傳感器的分辨率通常高于面陣CCD。因此在空間遙感技術(shù)中線(xiàn)陣CCD傳感器使 用廣泛。
[0003] 線(xiàn)陣CCD傳感器的分辨率與單位長(zhǎng)度內(nèi)象元的個(gè)數(shù)相關(guān)。如果要提高圖像的分 辨率，可以提高象元的分布密度，從而獲得更多的像素點(diǎn)。但是這種方法使得單個(gè)象元 的信噪比大大降低，嚴(yán)重影響圖像的質(zhì)量。另外一種方法就是利用圖像超分辨率（Super resolution，SR)的方法，從多幅低分辨率（Lowresolution，LR)的圖像中重建高分辨率 (Highresolution，HR)圖像，從而增加圖像中的細(xì)節(jié)信息。盡管目前已經(jīng)存在很多利用多 幅LR圖像重建HR圖像的方法，然而這些方法通常是在多幅LR圖像之間存在未知的位移、 旋轉(zhuǎn)、模糊、噪音等情況下產(chǎn)生的，因此模型比較復(fù)雜，需要考慮LR圖像之間的配準(zhǔn)，重建 算法也相對(duì)比較復(fù)雜，難以應(yīng)用到實(shí)時(shí)系統(tǒng)中。以下內(nèi)容對(duì)這些方法做簡(jiǎn)單介紹。
[0004] 為了進(jìn)行超分辨率重建，第一個(gè)首要的步驟就是對(duì)LR圖像生成過(guò)程進(jìn)行建模，建 立LR圖像和HR圖像之間的關(guān)系。在此基礎(chǔ)上重建HR圖像就可轉(zhuǎn)化為一個(gè)逆問(wèn)題來(lái)求解 了。一般來(lái)說(shuō)，從一副HR圖像產(chǎn)生LR圖像產(chǎn)生的包含三個(gè)步驟：空間變換，包括位移、旋 轉(zhuǎn)等；模糊，包括聚焦模糊、運(yùn)動(dòng)模糊等；下采樣。另外，在整個(gè)過(guò)程中通常會(huì)伴有噪聲的干 擾，可以在下采樣后引入噪聲環(huán)節(jié)。圖1給出了LR圖像產(chǎn)生的整個(gè)過(guò)程。
[0005] 假設(shè)HR圖像的大小為N，用x=[Xpx2, . . .xN]表示，LR圖像的大小為M，第k個(gè) LR圖像用yk=[ytl，yt2,...yk，M]表示。則圖1中所示的LR圖像生成過(guò)程可以用下面的模 型建立（假設(shè)LR圖像的個(gè)數(shù)為p):
[0006] yk=DBkMkx+nk, 1 ^k^p
[0007] 其中Mk是表示第k個(gè)LR圖像的空間變換的矩陣，其大小為NXN;Bk是表示第k個(gè) LR圖像在生成過(guò)程中所產(chǎn)生的模糊，大小為NXN;D為下采樣矩陣，大小為MXN。通常，可 以將公式改寫(xiě)如下：
[0008] yk=Wkx+nk，1 <k<p，其中Wk=DBkMk。
[0009] 多幅超分辨率重建的過(guò)程通常包含以下幾個(gè)步驟：配準(zhǔn)、插值和恢復(fù)（Park，Sung Cheol,MinKyuPark,andMoonGiKang.''Super-resolutionimagereconstruction:a technicaloverview.''SignalProcessingMagazine,IEEE20,no. 3 (2003) : 21-36. ) 〇 配 準(zhǔn)過(guò)程是為了建立多個(gè)LR圖像之間的相互變換關(guān)系，在位移、旋轉(zhuǎn)等信息未知的情況下， 需要根據(jù)圖像內(nèi)容先對(duì)其配準(zhǔn)。由于本
【發(fā)明內(nèi)容】
采用特定排列的多線(xiàn)陣CCD傳感器，為此 各個(gè)LR圖像之間的相對(duì)位置和旋轉(zhuǎn)信息已知，所以配準(zhǔn)過(guò)程在此并未涉及。插值過(guò)程是為 了從LR圖像可到與HR圖像想同大小的圖像，在反向恢復(fù)過(guò)程中可以作為初始值帶入?；?復(fù)過(guò)程中，目前常用的算法包括基于非均勻插值的方法，基于頻域混疊關(guān)系建模的方法，基 于正則化的方法，和基于凸集投影的方法（projectionontoconvexsets，POCS)〇 [0010] 基于非均勻插值的方法通過(guò)多個(gè)LR圖像中像素位置的差異性在一個(gè)高密度網(wǎng) 格內(nèi)產(chǎn)生一個(gè)高分辨率圖像，并對(duì)其使用解卷積的方法進(jìn)行去模糊操作。Ur和Gross通 過(guò)多通道采樣理論來(lái)對(duì)多個(gè)空間移位的LR圖像進(jìn)行非均勾插值（Ur,Hanoch,andDaniel Gross.''Improvedresolutionfromsubpixelshiftedpictures. ''CVGIP:Graphical ModelsandImageProcessing54,no. 2 (1992):181-186.)，其中各個(gè)LR圖像之 間的位移是假定精確已知的；Komatsu等（T.Komatsu，K.Aizawa，T.Igarashi，and T.Saito, "Signal-processingbasedmethodforacquiringveryhighresolution imagewithmultiplecamerasanditstheoreticalanalysis, ^Proc.Inst.Elec. Eng.，vol. 140,no. 1，pt.I，pp. 19-25,Feb. 1993.)通過(guò)圖像塊匹配的方式來(lái)估計(jì)各個(gè)LR圖 像之間的位移，米用Landweber算法（L.Landweber，"AniterationformulaforFredholm integralequationsofthefirstkind，"Amer.J.Math.vol. 73,pp. 615-624, 1951) 來(lái)獲得高分辨率圖像；Hardie等（M.S.Alam，J.G.Bognar，R.C.Hardie，and B.J.Yasuda,"Infraredimageregistrationandhigh-resolutionreconstruction usingmultipletranslationallyshiftedaliasedvideoframes，"IEEETrans. Instrum.Meas.，vol. 49,pp. 915-923,Oct. 2000)采用基于梯度的配準(zhǔn)方法，估計(jì)各個(gè)LR圖 像之間的位移，采用最鄰近插值方法進(jìn)行插值，最后再利用維納濾波去除模糊效應(yīng)和減少 噪聲。這些方法比較直觀，計(jì)算相對(duì)比較簡(jiǎn)單，可以用于實(shí)時(shí)應(yīng)用，然而其重建圖像質(zhì)量并 不能達(dá)到很好。
[0011] 基于頻域混疊關(guān)系建模的方法最早由Tsai和Huang(R.Y.Tsaiand T.S.Huang,"Multipleframeimagerestorationandregistration，"in AdvancesinComputerVisionandImageProcessing.Greenwich,CT:JAIPress Inc.，1984,pp. 317-339)提出。這種方法通?；谝韵氯齻€(gè)原則：傅里葉變換的平移性質(zhì)， 連續(xù)傅里葉變換和HR圖像、LR圖像的離散傅里葉變換之間的關(guān)系，原始HR圖像是有限帶寬 信號(hào)。該方法后來(lái)被Rhee和Kang(S.H.RheeandM.G.Kang，"Discretecosinetransform basedregularizedhigh-resolutionimagereconstructionalgorithm，"Opt.Eng.，vo 1. 38,no. 8,pp. 1348-1356,Aug. 1999.)用離散余弦變換來(lái)代替以減少內(nèi)存使用和計(jì)算復(fù)雜 度?；陬l域的方法理論簡(jiǎn)單，易于建模，然而這種方法局限于各個(gè)LR圖像之間的全局位 移變換，并且不易于引入相關(guān)的圖像頻域的先驗(yàn)知識(shí)。
[0012] 基于正則化的方法中，典型的就是有約束最小均方差（Constrainedleast squares，CLS)的方法（A.K.Katsaggelos,Ed.DigitalImageRestoration.Heidelberg,Ge rmany:Springer-Verlag.Springer,vol. 23, 1991.)，通過(guò)有關(guān)x的先驗(yàn)知識(shí)來(lái)增加相對(duì)應(yīng) 的約束項(xiàng)，從而使得解空間的范圍縮小。CLS方法通過(guò)求解下面的最小化問(wèn)題得到：
[0013]
【主權(quán)項(xiàng)】
1. 一種基于多角度線(xiàn)陣CCD傳感器的遙感圖像超分辨率重建方法，其特征在于，包括 以下步驟： 1) 利用多個(gè)線(xiàn)陣CCD傳感器對(duì)目標(biāo)區(qū)域的二維圖像信息進(jìn)行捕捉，得到相同對(duì)象區(qū)域 的多個(gè)不同角度的捕捉圖像；其中，這些線(xiàn)陣CCD傳感器扇形排布，且相鄰兩個(gè)線(xiàn)陣CCD傳 感器之間的夾角相同，相對(duì)于地面目標(biāo)具有相同的視角； 2) 利用多個(gè)線(xiàn)陣CCD傳感器對(duì)目標(biāo)區(qū)域的二維圖像信息進(jìn)行捕捉，利用線(xiàn)陣CCD單行 像素個(gè)數(shù)遠(yuǎn)高于面陣CCD的特點(diǎn)，得到目標(biāo)區(qū)域的初始分辨率較高的圖像信息； 3) 根據(jù)多個(gè)線(xiàn)陣CCD傳感器之間的相對(duì)排列位置關(guān)系，以及各自所捕捉到的場(chǎng)景信息 之間的相關(guān)性以及差異性，通過(guò)最小化均方誤差的方法，對(duì)多個(gè)線(xiàn)陣CCD傳感器所得到的 初始分辨率較高的低分辨率圖像的細(xì)節(jié)信息進(jìn)行進(jìn)一步恢復(fù)，得到更高分辨率的圖像。
2. 根據(jù)權(quán)利要求1所述的基于多角度線(xiàn)陣CCD傳感器的遙感圖像超分辨率重建 方法，其特征在于：所述步驟1)中，相鄰兩個(gè)線(xiàn)陣CCD傳感器之間的夾角為△ 0，且0 <A0 ^ 5〇
3. 根據(jù)權(quán)利要求1或2所述的基于多角度線(xiàn)陣CCD傳感器的遙感圖像超分辨率重建方 法，其特征在于：所述步驟1)中，位于中間的傳感器與飛行器的前進(jìn)方向相互垂直。
4. 根據(jù)權(quán)利要求3所述的基于多角度線(xiàn)陣CCD傳感器的遙感圖像超分辨率重建方法， 其特征在于，所述步驟3)中，對(duì)低分辨率圖像的細(xì)節(jié)信息進(jìn)行恢復(fù)的具體步驟如下： 1) 計(jì)算高分辨率圖像x的初值 在迭代初始時(shí)，將位于中間位置的傳感器所得到的低分辨率圖像yfc+1)/2，通過(guò)雙線(xiàn)性插 值的方法將其擴(kuò)大到與高分辨率圖像具有相同大小的圖像
；其中，P 為線(xiàn)陣CCD的個(gè)數(shù)或低分辨率圖像的個(gè)數(shù)； 2) 利用如下公式對(duì)x進(jìn)行迭代更新： xi+1=x廠(chǎng)a(Ax「b)
a為控制更新補(bǔ)償?shù)膮?shù)，y為控制傳統(tǒng)的信號(hào)保真項(xiàng)和細(xì)節(jié)保真項(xiàng)之間的權(quán)重，i為算法在當(dāng)前的迭代次數(shù)，k和1為低分辨率圖像的標(biāo)號(hào)，1 <k<p; 3) 當(dāng)相鄰兩次迭代誤差小于給定的閾值時(shí)，即可停止更新；最終得到的x就為對(duì)高分 辨率圖像的估計(jì)。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于多角度線(xiàn)陣CCD傳感器的遙感圖像超分辨率重建方法，該方法首先將線(xiàn)陣CCD傳感器的按照特定方式、不同角度排列，對(duì)目標(biāo)區(qū)域的二維圖像信息進(jìn)行捕捉，再根據(jù)線(xiàn)陣CCD傳感器之間的相對(duì)排列位置關(guān)系，以及各自所捕捉到的場(chǎng)景信息之間的相關(guān)性以及差異性，從多個(gè)線(xiàn)陣CCD傳感器所得到的低分辨率圖像來(lái)得到高分辨率的圖像。發(fā)明利用線(xiàn)陣CCD在一維空間上單行像素遠(yuǎn)高于面陣CCD的特點(diǎn)，通過(guò)多個(gè)線(xiàn)陣CCD傳感器不同角度的排列獲取不同角度下的同一目標(biāo)區(qū)域圖像，并且利用各個(gè)圖像之間的信息相關(guān)性與差異性，獲得高分辨率圖像，可應(yīng)用于航拍圖像、衛(wèi)星遙感圖像等的超分辨率重建；所提出超分辨率重建算法實(shí)現(xiàn)簡(jiǎn)單，重建效果精確，易于實(shí)際應(yīng)用。
【IPC分類(lèi)】G06T5-50
【公開(kāi)號(hào)】CN104574338
【申請(qǐng)?zhí)枴緾N201510039154
【發(fā)明人】牟軒沁, 薛武峰
【申請(qǐng)人】西安交通大學(xué)
【公開(kāi)日】2015年4月29日
【申請(qǐng)日】2015年1月26日