一種稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法，屬于圖像處理技術(shù)領(lǐng) 域。
【背景技術(shù)】
[0002] 圖像配準(zhǔn)是遙感領(lǐng)域中的一個根本性和挑戰(zhàn)性問題，也是很多廣泛應(yīng)用（包含地 形重建、環(huán)境監(jiān)測、變化探測、圖像鑲嵌、圖像融合及地圖更新等）中的一個先決條件。
[0003] 圖像配準(zhǔn)旨在建立不同時間不同視角或通過不同探測器獲取同一場景的兩幅圖 像之間像素的對應(yīng)關(guān)系。配準(zhǔn)問題可依據(jù)具體應(yīng)用和數(shù)據(jù)形式分為剛性或非剛性。剛性配 準(zhǔn)（僅涉及少量參數(shù)）相對容易，且已得到了廣泛研究。相比而言，非剛性配準(zhǔn)較為困難， 由于潛在非剛性變換模型通常無法事先獲知且較為復(fù)雜，難以建模。盡管如此，非剛性配準(zhǔn) 對遙感圖像而言仍非常重要，因為遙感圖像通常存在一些因地貌變化或成像視角變換導(dǎo)致 的局部非剛性形變，而這些形變無法基于簡單剛性模型實現(xiàn)"精確配準(zhǔn)"。
[0004] 一種早期廣泛使用的非剛性圖像配準(zhǔn)算法為光流法。其直接通過最小化像素間灰 度的差異來計算一個全局稠密的位移場，通常適用于對兩幅非常相似的圖像進(jìn)行配準(zhǔn)，例 如視頻序列中的相鄰幀圖像。光流法的典型假設(shè)包含光照恒定，以及像素位移場應(yīng)具有分 段光滑性。然而，由于光照變化、視角變換和噪聲干擾，像素灰度值往往變得不太可靠。近 年來，Liu等人提出了可容忍高度類內(nèi)變化的SIFT流配準(zhǔn)算法。與光流法匹配像素灰度值 不同的是，SIFT流算法匹配圖像中稠密采樣像素的SIFT描述子。該算法在復(fù)雜場景情況 下展現(xiàn)出令人滿意的配準(zhǔn)效果，但對大尺度縮放和旋轉(zhuǎn)的魯棒性依然較差。
[0005] 然而，各種局部魯棒特征的涌現(xiàn)與發(fā)展為圖像配準(zhǔn)帶來了新的解決途徑。這類方 法通過匹配從圖像中提取出的局部特征信息，估計稀疏特征位置之間的空間變換函數(shù)并用 其來擬合圖像對之間的真實幾何變換關(guān)系，從而實現(xiàn)對原始圖像的配準(zhǔn)。這類方法中采用 的特征可由不同層次的簡單幾何實體來描述，包括點、線段、輪廓和區(qū)域等。通常，較高層次 的特征很難被準(zhǔn)確地提??；點特征是最簡單的特征形式，同時也是最常見的特征形式，由于 高層次特征例如線和輪廓可被描述為點的集合。從這層意義上來說，配準(zhǔn)問題可簡化為找 出兩個提取的特征點集之間的對應(yīng)關(guān)系及潛在的空間變換。這種基于特征的方法對典型表 觀變化和場景位移具有較強(qiáng)的魯棒性，且在正確實施的情況下，擁有更快的速度。他們在剛 性場景（例如：在圖像拼接領(lǐng)域）和輕度非剛性場景（例如：在醫(yī)學(xué)成像領(lǐng)域）匹配中取 得了很大成就，但在處理高度非剛性（例如：在地形重建領(lǐng)域）情形時無法取得滿意效果。 其本質(zhì)在于這里配準(zhǔn)是通過對稀疏特征匹配進(jìn)行插值得到，而不是通過計算所有像素之間 的對應(yīng)關(guān)系得到，當(dāng)真實匹配為非剛性且變換模型未知時就會帶來問題。

【發(fā)明內(nèi)容】

[0006] 為了解決現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種稀疏和稠密特征匹配結(jié)合的圖像配 準(zhǔn)方法，能夠針對包含未知非剛性運動的遙感圖像，獲得精確的像素間對比的匹配。
[0007] 本發(fā)明為解決其技術(shù)問題所采用的技術(shù)方案是：提供了一種稀疏和稠密特征匹配 結(jié)合的圖像配準(zhǔn)方法，包括以下步驟：
[0008] (1)建立基于局部線性約束的稀疏特征匹配能量函數(shù)：
[0009] (1-1)采用特征探測法推斷得到待配準(zhǔn)的兩個圖像的假定匹配集 ，\與y。分別表示待配準(zhǔn)的兩幅圖像中特征點空間位置的二位列向量；所 述假定匹配集S包含錯誤匹配和正確匹配，其中正確匹配根據(jù)帶匹配的兩個圖像之間的幾 何變換Z確定，即如果（xn，yn)是一個正確的匹配，則yn=Z(xn)是一個正確的匹配；
[0010](1-2)初始位置加位移函數(shù)v將定義變換Z:z(X) =x+v(X)，其中V在函 數(shù)空間Η中模擬，所述函數(shù)空間Η為向量值的再生核希爾伯特空間，通過矩陣值的核 r:R2XR2-R2X2與對角線高斯核' ·/定義得到，其中R為實數(shù)空間，I為 單位矩陣，XJPXj為再生核希爾伯特空間實數(shù)空間中兩個特征點的空間位置，β為高斯窗 參數(shù)，參數(shù)β為設(shè)置值，其范圍為〇.〇1~1，則變換Ζ通過以下形式表示：
[0011]
>
[0012] 其中，X表示任意一個圖像點的空間位置，(^表示一個2Χ1維待求解的向量系數(shù)；
[0013] (1-3)利用對角元素{ρη}組成的對角矩陣Ρ指出匹配可信度，對角矩陣Ρ中的任 意元素pne[0, 1]為〇到1之間的實數(shù)，當(dāng)Pn= 1時表示（Xn，yn)為一個正確的匹配，當(dāng)Pn =0時表示（xn，yn)為一個錯誤的匹配；
[0014] (1-4)創(chuàng)建大小為NXN的權(quán)值矩陣W，且使當(dāng)Xj不屬于X,的Q鄰域時，W中的元 素0,X滿Q鄰域指歐氏距離最近的Q個元素；在約束
F通過代價函
〖小化基于局部線性約束的重構(gòu)誤差，并采用最小二乘求解 出w，得到以下能量函數(shù)：
[0015]
[0016] 其中，參數(shù)1\表示確定性退火的溫度，該參數(shù)用于結(jié)合退火速率參數(shù)r用于逐步 求解能量函數(shù)，η表示對錯誤匹配的懲罰，λ表示正則化參數(shù)基于局部線性約束的正則化 參數(shù)，參數(shù)?\、η和λ均為設(shè)置值，！\初始值的范圍為0. 05~5,η的范圍為〇. 01~1， λ的范圍為100~10000;
[0017] (2)建立基于SIFT流的能量函數(shù)：
[0018]用m表示圖像像素的網(wǎng)格坐標(biāo)，u(m)表示位移向量，第一幅圖像中的點m對應(yīng)第 二幅圖像中的點m+u(m)，Si(X)和s2(x)分別為兩幅圖像逐像素采樣的SIFT特征，集合e包 含四鄰域系統(tǒng)中所有空間鄰域，則基于稠密像素SIFT配準(zhǔn)的能量函數(shù)為：
[0019]
[0020] 其中，t和d為兩個截斷L1范數(shù)的閾值，γ表示保持位移場平滑性的權(quán)重，α表 示保持位移場連續(xù)性的權(quán)重，m和q表示圖像像素的網(wǎng)格坐標(biāo)，dOn)或uVq)表示對應(yīng)位 移向量的第i個分量，這里t設(shè)為sjx)與s2(x)差值的中位數(shù)；d、γ和α均為設(shè)置值，d 的范圍為4~400，γ的范圍為0. 05~0. 5，α的范圍為〇. 2~20;
[0021] (3)將基于局部線性約束的稀疏特征匹配能量函數(shù)和基于SIFT的能量函數(shù)整合， 得到稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)能量函數(shù)：
[0022]
[0023] 其中，L表示評價像素的總數(shù)，δ表示設(shè)置的控制稀疏和稠密匹配平衡的正數(shù)參 數(shù)，ε表示所有四鄰域的集合；
[0024] (4)解答能量函數(shù)，執(zhí)行圖像配準(zhǔn)：
[0025] (4-1)首先提取稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)能量函數(shù)ε3(Ρ，V，u)中與ν 相關(guān)的項，得到以下能量函數(shù)：
[0026] " V ，-嘆 ￡ "
[0027]其中，X = (χ1; · · ·，xN)T，Y = (y1; · · ·，yN)T，K e ^以且尤辦=e-難-·νΙ，. C表示格拉姆矩陣，為位移函數(shù)ν的系數(shù)矩陣，VeRW且％ = = ^ :，U= (Ul，. . .，ι〇τ表示尺寸為LX2的流場，為弗羅貝尼斯范數(shù)；
[0028] (4-2)通過確定性退火步驟解答位移函數(shù)ν:
[0029](4-2-1)初始化參數(shù)1\、r和λ，設(shè)置迭代次數(shù)；
[0030] (4-2-2)初始化Ρ=I，C= 0;
[0031] (4-2-3)通過計算式（5)的極值完成用當(dāng)前位移函數(shù)ν更新匹配可信度，得到匹配 可信度的閉合形式為：
[0032]
[0033] 通過公式（6)更新ρη;
[0034] (4-2-4)通過以下線性方程式更新C:
[0035]
[0036](4-2-5)重復(fù)步驟（4-2-3)和（4-2-4)直到...，結(jié)束交替更新；
[0037] (4-2-6)減少1\和λ，若未達(dá)到預(yù)設(shè)的迭代次數(shù)或能量函數(shù)ε4(P，C)未收斂，則 返回步驟（4-2-3);否則進(jìn)入步驟（4-2-7);
[0038] (4-2-7)結(jié)束確定性退火步驟；
[0039] (4-4)提取稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)能量函數(shù)e3(P，v，U)中與u相關(guān) 的項，得到以下能量函數(shù)：
[0040]
[0041] (4-5)利用SIFT流算法修改公式（8)中從Σmγ| |u(m) | | 濟(jì)Σmγ| |ν(m)-u(m) | |2 的小位移項以解答u;
[0042] (4-6)通過u執(zhí)行圖像配準(zhǔn)。
[0043] 步驟（1-2)所述的高斯窗參數(shù)β設(shè)置為0· 1。
[0044]步驟（1-4)中，?\= 0· 5,η= 〇· 1，λ= 1〇〇〇。
[0045]步驟（2)中，d= 40，γ= 0· 005，α= 2。
[0046] 本發(fā)明基于其技術(shù)方案所具有的有益效果在于：
[0047](1)本發(fā)明的稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法，針對遙感圖像存在地形 起伏導(dǎo)致非剛性形變的問題，對點匹配進(jìn)行局部線性約束，能夠在圖像變換后保護(hù)特征集 中的局部結(jié)構(gòu)，從而提高圖像配準(zhǔn)精度；
[0048] (2)本發(fā)明的稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法，將稀疏和稠密特征匹配 相結(jié)合，得到一種新的數(shù)學(xué)模型，新模型包含兩個變量：非剛性幾何變換和離散位移流場， 前者適用于稀疏匹配流，我們引入了局部線性約束以調(diào)整變換，使得該問題是適定的，后者 適用于稠密匹配流，采取與SIFT流相似的模型，同時采用置信傳播算法優(yōu)化求解；
[0049] (3)本發(fā)明的稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法，在理想情況下，這兩個變 量是一致的，但同時求解這兩個變量非常困難，我們采用迭代的策略固定一個變量求解另 一變量，使得求解變得相對容易，并且同時可以避免陷入不理想的局部最優(yōu)解；
[0050] (4)本發(fā)明的稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法，同時具有基于稀疏特征 匹配的高效的優(yōu)點，以及基于稠密特征匹配的精確的優(yōu)點。
【具體實施方式】
[0051] 下面結(jié)合實施例對本發(fā)明作進(jìn)一步說明。
[0052] 本發(fā)明提供了一種稀疏和稠密特征匹配結(jié)合的圖像配準(zhǔn)方法，包括以下步驟：
[0053] (1)建立基于局部線性約束的稀疏特征匹配能量函數(shù)：
[0054] (1-1)采用特征探測法推斷得到待配準(zhǔn)的兩個圖像的假定匹配集 $ :?(?，")匕，\與yn分別表示待配準(zhǔn)的兩幅圖像中特征點空間位置的二位列向量；所 述假定匹配集S包含錯誤匹配和正確匹配，其中正確匹配根據(jù)帶匹配的兩個圖像之間的幾 何變換Z確定，即如果（xn，yn)是一個正確的匹配，則yn=Z(xn)是一個正確的匹配；
[0055](1-2)初始位置加位移函數(shù)v將定義變換Z: Z(X)=χ+ν(X)，其中v在函 數(shù)空間Η中模擬，所述函數(shù)空間Η為向量值的再生核希爾伯特空間，通過矩陣值的核 Γ:R2XR2-R2X2與對角線高斯核r(.W,) =e"m·/定義得到，其中R為實數(shù)空間，I為 單位矩陣，XJPXj為再生核希爾伯特空間實數(shù)空間中兩個特征點的空間位置，β為高斯窗 參數(shù)，參數(shù)β為設(shè)置值，其范圍為0.01~1，則變換Ζ通過以下形式表示：
[0056]
[0057] 其中，X表示任意一個圖像點的