專利名稱：低空無(wú)人飛行器序列圖像拼接方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺(jué)圖像處理技術(shù)領(lǐng)域，特別涉及一種基于無(wú)人飛行器的航空 序列圖像自動(dòng)拼接方法和系統(tǒng)。
背景技術(shù)：
基于無(wú)人飛行器的數(shù)碼航拍已經(jīng)在遙感、測(cè)繪、計(jì)算機(jī)視覺(jué)和模式識(shí)別等領(lǐng)域廣 泛應(yīng)用。航拍圖像序列自動(dòng)拼接是將具有一定重合區(qū)域的航拍圖像自動(dòng)的拼接為視野范圍 較大的地面全景圖象的過(guò)程，能夠彌補(bǔ)單幅航空?qǐng)D片視野范圍小的缺陷，有助于人們對(duì)航 拍序列圖像內(nèi)容有更全面和直觀的了解。無(wú)人飛行器又稱無(wú)人駕駛飛行器，主要包括無(wú)人駕駛飛艇、無(wú)人駕駛直升機(jī)和無(wú) 人駕駛固定翼型飛機(jī)。由于無(wú)人飛行器很難攜帶大載荷，一般僅搭載低精度低價(jià)格的GPS/ IMU、飛行控制系統(tǒng)和家用數(shù)碼相機(jī)或攝像機(jī)，且在一些特殊的野外環(huán)境中很難布置地面控 制點(diǎn)。基于無(wú)人飛行器獲取的航片像幅小，數(shù)量多，特別是因風(fēng)速影響造成航帶漂移，旁向 重疊度不規(guī)則，圖像的傾角和旋角過(guò)大，傳統(tǒng)需要已知相機(jī)位姿參數(shù)和地面控制點(diǎn)的拼接 方法無(wú)法解決上述問(wèn)題。因此，迫切需要一種快速拼接測(cè)區(qū)內(nèi)幾百幾千張圖像的技術(shù)。在申請(qǐng)?zhí)枮?00810237427. 8，發(fā)明名稱為“無(wú)控制點(diǎn)圖像拼接方法”的專利申請(qǐng)文 件中，通過(guò)提取序列圖像中每幅圖像的特征點(diǎn)集，搜索相鄰兩幅圖像之間的特征點(diǎn)的同名 點(diǎn)對(duì)，利用RANSAC容錯(cuò)算法計(jì)算相鄰兩圖像之間的單應(yīng)變換關(guān)系，再利用連乘公式和融合 技術(shù)得到拼接結(jié)果，主要針對(duì)視頻圖像。其中，利用連乘公式進(jìn)行圖像拼接是從第1幅圖像 到第N幅圖像依次進(jìn)行，按照原有序列圖像的次序逐幅拼接。上述拼接過(guò)程存在如下缺陷存在誤差累積的問(wèn)題，當(dāng)圖像序列中的某一對(duì)圖像的單應(yīng)矩陣計(jì)算中出現(xiàn)較大的 誤差，這個(gè)誤差將影響其后的每一幅圖像，導(dǎo)致這個(gè)誤差不斷的累積，后續(xù)的圖像拼接的效 果較差，當(dāng)拼接的圖像數(shù)量較大時(shí)，誤差更為嚴(yán)重；此外，上述方案針對(duì)一種普遍意義的圖像拼接問(wèn)題，不是一種無(wú)人飛行器序列圖 像專用拼接方法。故而，基于無(wú)人飛行器獲取的序列圖像中夾雜有完全偏航等壞圖像，上述 方案無(wú)法將壞圖像去除。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種無(wú)人飛行器序列圖像專用拼接方法和系統(tǒng)，無(wú)須已 知相機(jī)位姿參數(shù)和地面控制點(diǎn)，便可無(wú)縫拼接來(lái)無(wú)人飛行器的大范圍區(qū)域的圖像，解決序 列圖像拼接中存在的誤差累積和偏航等壞圖像自動(dòng)識(shí)別去除問(wèn)題。為達(dá)到上述目的，本發(fā)明提供一種低空無(wú)人飛行器序列圖像拼接方法，包括步 驟步驟a，相機(jī)畸變差校正；步驟b，無(wú)人飛行器序列圖像獲?。?br> 步驟C，特征點(diǎn)提取與圖像匹配；步驟d，確定圖像的拼接次序；步驟e，圖像拼接，按照所述拼接次序拼接圖像；步驟f，全局優(yōu)化，整體平差，重新調(diào)整單映矩陣。本發(fā)明進(jìn)一步提供一種低空無(wú)人飛行器序列圖像拼接系統(tǒng)，包括特征點(diǎn)提取模塊，對(duì)所述序列圖像提取SURF特征點(diǎn)和HARRIS-AFFINE特征點(diǎn)；圖像匹配模塊，根據(jù)所述特征點(diǎn)計(jì)算相鄰圖像之間的單應(yīng)矩陣；根據(jù)概率模型，驗(yàn) 證匹配結(jié)果；拼接次序生成模塊，根據(jù)相鄰圖像匹配度，確定序列圖像的拼接次序；圖像拼接模塊，按照所述拼接次序和所述相鄰圖像之間的單應(yīng)矩陣進(jìn)行拼接；全局優(yōu)化模塊，消除拼接過(guò)程中產(chǎn)生的累積誤差。本發(fā)明的有益效果在于，采用SURF特征和HARRIS-AFFINE特征(Seale&Affine Invariant Interest Point Detectors)結(jié)合,互相補(bǔ)充，提取序列圖像中每一幅圖像的 特征點(diǎn)，使特征點(diǎn)分布均勻；采用RANSAC容錯(cuò)算法和對(duì)極幾何約束對(duì)特征點(diǎn)對(duì)進(jìn)行準(zhǔn)確匹 配，精確計(jì)算單應(yīng)矩陣；采用概率模型驗(yàn)證匹配圖像，保留好圖像，去除完全偏航等壞圖像； 根據(jù)最小生成樹(shù)(Minimum Spanning Tree, MST)的全局拼接策略獲得序列圖像的連通次 序，避免產(chǎn)生大的累計(jì)誤差；并采用全局優(yōu)化方法，調(diào)整單應(yīng)矩陣，使測(cè)區(qū)內(nèi)幾百?gòu)埳踔辽?千張圖像無(wú)縫拼合在一起。


圖1為實(shí)施例一的圖像拼接方法流程圖2為實(shí)施例二的圖像拼接方法流程圖3為實(shí)施例三的圖像拼接方法流程圖4為圖像校正示意圖5為對(duì)極幾何約束示意圖6為利用RANSAC和對(duì)極幾何約束關(guān)系的雙向匹配方法流程圖7為最小生成樹(shù)全局拼接策略示意圖8為大面積圖像拼接方法；
圖9為相鄰兩圖像提取的特征點(diǎn)的分布圖10為利用RANSAC和對(duì)極幾何約束后的相鄰圖像的匹配特征點(diǎn)的分布圖11為野鴨湖6平方公里測(cè)區(qū)，無(wú)人飛艇獲取的352張航片進(jìn)行拼接的結(jié)果
圖12為實(shí)施例四的圖像拼接系統(tǒng)示意圖13為實(shí)施例四中圖像匹配模塊示意圖14為實(shí)施例五的圖像拼接系統(tǒng)示意圖15為實(shí)施例六的圖像拼接系統(tǒng)示意圖。圖16為重疊區(qū)域估算示意圖。
具體實(shí)施例方式
本發(fā)明提出的低空無(wú)人飛行器序列圖像拼接方法，通過(guò)相機(jī)內(nèi)參數(shù)標(biāo)定校正相機(jī)畸變差；通過(guò)相機(jī)參數(shù)估計(jì)自動(dòng)校正圖像，采用SURF(Speeded Up Robusti^eature)特征和 HARRIS-AFFINE 特征(Scale&Affine Invariant Interest PointDetectors)結(jié)合，互相補(bǔ) 充，提取序列圖像中每一幅圖像的特征點(diǎn)，使特征點(diǎn)分布均勻；采用RANSAC (Random Sample Consensus,隨機(jī)抽樣一致性算法)容錯(cuò)算法和對(duì)極幾何約束對(duì)特征點(diǎn)對(duì)進(jìn)行準(zhǔn)確匹配，精 確計(jì)算單應(yīng)矩陣；采用概率模型驗(yàn)證匹配圖像，保留好圖像，去除完全偏航等壞圖像；根據(jù) 最小生成樹(shù)(Minimum Spanning Tree,MST)的全局拼接策略獲得序列圖像的連通次序，避 免產(chǎn)生大的累計(jì)誤差；并采用全局優(yōu)化方法，調(diào)整單應(yīng)矩陣，使測(cè)區(qū)內(nèi)幾百?gòu)埳踔辽锨垐D 像無(wú)縫拼合在一起。本發(fā)明無(wú)需地面布設(shè)控制點(diǎn)，無(wú)需已知相機(jī)精確的位姿參數(shù)，適合并行，多線程等 高性能計(jì)算，應(yīng)用成本低，效率高，操作簡(jiǎn)單。下面結(jié)合具體的實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。實(shí)施例一本實(shí)施例中應(yīng)用SURF特征點(diǎn)和HARRIS-AFFINE特征點(diǎn)，以及RANSAC容錯(cuò)算法和 對(duì)極幾何約束求解單應(yīng)矩陣，提高拼接質(zhì)量。圖1所示為本發(fā)明實(shí)施例一的低空無(wú)人飛行器序列圖像拼接方法的流程圖，包 括步驟11，相機(jī)畸變差校正。步驟12，無(wú)人飛行器序列圖像獲取。步驟13，圖像校正，確定相鄰圖像間的單應(yīng)矩陣，包括以下子步驟步驟131，特征提取，對(duì)序列圖像提取SURF特征點(diǎn)和HARRIS-AFFINE特征點(diǎn)；步驟132，圖像匹配，包括以下子步驟步驟1321，利用馬氏距離計(jì)算相鄰圖像間特征點(diǎn)的相似度進(jìn)行初匹配；步驟1322，計(jì)算相鄰圖像的重疊區(qū)域；步驟1323，利用RANSAC容錯(cuò)算法加對(duì)極幾何約束，對(duì)相鄰圖像間特征點(diǎn)進(jìn)行精確 匹配；步驟1324，根據(jù)精確匹配的特征點(diǎn)對(duì)計(jì)算相鄰圖像對(duì)之間的單應(yīng)矩陣Hijt5步驟14，確定圖像的拼接次序，依照最小生成樹(shù)策略確定拼接的次序。步驟15，圖像拼接，按照最小生成樹(shù)表明的次序拼接圖像。步驟16，全局優(yōu)化，消除圖像拼接過(guò)程中產(chǎn)生的累計(jì)誤差。以下對(duì)實(shí)施例一中的步驟作詳細(xì)說(shuō)明步驟11，相機(jī)畸變差校正。在航飛前進(jìn)行相機(jī)畸變差校正。無(wú)人飛行器采取低空拍攝，大地曲率誤差可以忽 略，但是由于相機(jī)物鏡系統(tǒng)設(shè)計(jì)、制作、裝配引起的點(diǎn)位誤差和圖像變形，包括徑向畸變和 切向畸變，不容忽視?；儾罡恼Ｐ腿缦鹿?王之卓，攝影測(cè)量原理)Δ χ = (χ-χ0) (k!r2+k2r4) + P ！ [r2+2 (χ-χ0)2] +2 P 2 (x_x0) (y-y0) + α (χ-χ0) + β (y-y0)Δγ = (y-y0) (k^2+^) +2 P ! (χ-χ0) (y-y0) + P 2 [r2+2 (y-y0) 2] + α (y-y0) + β (χ-χ0) (1)其中，Δχ，Ay 為像點(diǎn)點(diǎn)位誤差，r = ^(χ - X0)2 + (y - y0)2 , (χ0, y0)像主點(diǎn)，kA徑向畸變系數(shù)，P1, P 2切向畸變系數(shù)，α像素非正方形比例因子，β C⑶排列非正交性的 畸變系數(shù)。(ki; k2, P1, P2, α，β)和(Xq，y0, f)是相機(jī)的內(nèi)參數(shù)，可通過(guò)相機(jī)標(biāo)定方法得 到。根據(jù)公式(1)計(jì)算畸變差校正后的圖像中像素點(diǎn)位x = x' -X0+ Δ χy = y' -y0+ Δ y這里，(χ'，y')為觀測(cè)值。步驟12，無(wú)人飛行器序列圖像獲取。根據(jù)航高、相機(jī)焦距、測(cè)區(qū)面積、重疊率等信息確定航線，確定每條航線所拍圖 像數(shù)量及其基本位置。考慮到風(fēng)速影響，本發(fā)明建議航向重疊60% -80%，旁向重疊 40% -60%，平臺(tái)為三軸穩(wěn)定，減少旋片。步驟13，圖像校正，確定相鄰圖像間的單應(yīng)矩陣。當(dāng)相機(jī)的光軸垂直于地面拍攝時(shí)，拍攝的圖像稱為標(biāo)準(zhǔn)圖像。標(biāo)準(zhǔn)圖像是沒(méi)有因 為相機(jī)的旋轉(zhuǎn)而引起變形的圖像，這也是圖像校正步驟希望達(dá)到的效果。當(dāng)相機(jī)的光軸與地面之間存在傾角時(shí)，導(dǎo)致相機(jī)拍攝的圖像具有形變，可以通過(guò) 圖像校正，旋轉(zhuǎn)相機(jī)坐標(biāo)系，使相機(jī)與地面零傾角，則可消除圖像的變形。因此，圖像校正的目標(biāo)是將相機(jī)傾斜拍攝的圖像變換到相機(jī)光軸垂直于地面拍攝 的圖像。圖4所示為圖像校正的示意圖。假設(shè)拍攝中行高不變，相機(jī)焦距不變，相機(jī)沿著預(yù)定的航線拍攝，那么，影響圖像 拼接最主要的因素是相機(jī)繞著光軸的旋轉(zhuǎn)運(yùn)動(dòng)。圖像間的轉(zhuǎn)換關(guān)系可以表示為特殊的單應(yīng) 關(guān)系。設(shè)每一個(gè)相機(jī)的轉(zhuǎn)動(dòng)向量為θ = [θ” Θ2Θ3]，相機(jī)焦距f，則兩圖像間的單應(yīng)關(guān)系 為Xi = HijXj，這里，Hij稱為單應(yīng)矩陣，
權(quán)利要求
1.低空無(wú)人飛行器序列圖像拼接方法，其特征在于，包括步驟 步驟a，相機(jī)畸變差校正；步驟b，無(wú)人飛行器序列圖像獲取；步驟c，特征點(diǎn)提取與圖像匹配；步驟d，確定圖像的拼接次序；步驟e，圖像拼接，按照所述拼接次序拼接圖像；步驟f，全局優(yōu)化，整體平差，重新調(diào)整單映矩陣。
2.如權(quán)利要求1所述的低空無(wú)人飛行器序列圖像拼接方法，其特征在于，所述步驟c特 征點(diǎn)提取與圖像匹配中包括步驟cl，特征提取，對(duì)序列圖像提取SURF特征點(diǎn)和HARRIS-AFFINE特征點(diǎn)； 步驟c2，圖像匹配，根據(jù)匹配的特征點(diǎn)對(duì)計(jì)算相鄰圖像對(duì)之間的單應(yīng)矩陣。 步驟c3，圖像驗(yàn)證，根據(jù)概率模型驗(yàn)證匹配結(jié)果，去除完全偏航的壞圖像。
3.如權(quán)利要求2所述的低空無(wú)人飛行器序列圖像拼接方法，其特征在于，所述步驟c2 圖像匹配中包括步驟c21，利用馬氏距離計(jì)算相鄰圖像間特征點(diǎn)的相似度進(jìn)行初匹配； 步驟c22，計(jì)算相鄰圖像的重疊區(qū)域；步驟c23，利用RANSAC容錯(cuò)算法加對(duì)極幾何約束，對(duì)相鄰圖像間特征點(diǎn)進(jìn)行精確匹配， 將所述重疊區(qū)域內(nèi)的特征點(diǎn)劃分為內(nèi)點(diǎn)和外點(diǎn)；步驟c24，根據(jù)精確匹配的所述內(nèi)點(diǎn)點(diǎn)對(duì)計(jì)算相鄰圖像對(duì)之間的單應(yīng)矩陣。
4.如權(quán)利要求1所述的低空無(wú)人飛行器序列圖像拼接方法，其特征在于，所述步驟c 特征為SURF特征點(diǎn)和HARRIS-AFFINE特征點(diǎn)；根據(jù)概率模型去除完全偏航壞圖像。
5.如權(quán)利要求3或4所述的低空無(wú)人飛行器序列圖像拼接方法，其特征在于，在于步驟 d為根據(jù)相鄰圖像匹配度，依照最小生成樹(shù)策略確定拼接的次序。
6.如權(quán)利要求5所述的低空無(wú)人飛行器序列圖像拼接方法，其特征在于，在于步驟f全 局優(yōu)化調(diào)整單應(yīng)矩陣的步驟采用雙向投影殘差平方和為目標(biāo)函數(shù)，調(diào)整相鄰圖像之間的 單應(yīng)矩陣，使圖像匹配誤差在預(yù)定范圍內(nèi)。
7.低空無(wú)人飛行器序列圖像拼接系統(tǒng)，其特征在于，包括特征點(diǎn)提取模塊，對(duì)所述序列圖像提取SURF特征點(diǎn)和HARRIS-AFFINE特征點(diǎn)； 圖像匹配模塊，根據(jù)所述特征點(diǎn)計(jì)算相鄰圖像之間的單應(yīng)矩陣；根據(jù)概率模型，驗(yàn)證匹 配結(jié)果；拼接次序生成模塊，根據(jù)相鄰圖像匹配度，確定序列圖像的拼接次序； 圖像拼接模塊，按照所述拼接次序和所述相鄰圖像之間的單應(yīng)矩陣進(jìn)行拼接； 全局優(yōu)化模塊，消除拼接過(guò)程中產(chǎn)生的累積誤差。
8.如權(quán)利要求7所述的低空無(wú)人飛行器序列圖像拼接系統(tǒng)，其特征在于，所述拼接次 序生成模塊根據(jù)相鄰圖像匹配度，依照最小生成樹(shù)策略確定拼接的次序。
9.如權(quán)利要求7所述的低空無(wú)人飛行器序列圖像拼接系統(tǒng)，其特征在于，所述圖像匹 配模塊包括初匹配模塊，利用馬氏距離計(jì)算相鄰圖像間特征點(diǎn)的相似度進(jìn)行初匹配； 重疊區(qū)域生成模塊，計(jì)算相鄰圖像的重疊區(qū)域；精匹配模塊，利用RANSAC容錯(cuò)算法加對(duì)極幾何約束，對(duì)相鄰圖像間特征點(diǎn)進(jìn)行精確匹 配，將所述重疊區(qū)域內(nèi)的特征點(diǎn)劃分為內(nèi)點(diǎn)和外點(diǎn)；單應(yīng)矩陣生成模塊，根據(jù)精確匹配的所述內(nèi)點(diǎn)點(diǎn)對(duì)計(jì)算相鄰圖像之間的單應(yīng)矩陣。
10.如權(quán)利要求7所述的低空無(wú)人飛行器序列圖像拼接系統(tǒng)，其特征在于，還包括匹配 驗(yàn)證模塊，獲取所述圖像匹配模塊確定的重疊區(qū)域內(nèi)的特征點(diǎn)總數(shù)和所述內(nèi)點(diǎn)，根據(jù)所述 重疊區(qū)域內(nèi)的特征點(diǎn)總數(shù)和所述內(nèi)點(diǎn)的數(shù)量之間的關(guān)系，判斷當(dāng)前圖像是否是可匹配的圖 像。
11.如權(quán)利要求10所述的低空無(wú)人飛行器序列圖像拼接系統(tǒng)，其特征在于，所述拼接 次序生成模塊由所述匹配驗(yàn)證模塊生成的可匹配圖像，根據(jù)相鄰圖像匹配度，依照最小生 成樹(shù)策略確定拼接的次序。
12.如權(quán)利要求9或11所述的低空無(wú)人飛行器序列圖像拼接系統(tǒng)，其特征在于，還包括 全局優(yōu)化模塊，采用雙向投影殘差平方和為目標(biāo)函數(shù)，調(diào)整相鄰圖像之間的單應(yīng)矩陣，使圖 像匹配誤差在預(yù)定范圍內(nèi)。
全文摘要
低空無(wú)人飛行器序列圖像拼接方法，包括步驟序列圖像獲取與相機(jī)畸變校正；特征點(diǎn)提取與圖像匹配；圖像拼接次序；全局優(yōu)化拼接，按照所述拼接策路拼接圖像，并進(jìn)行全局平差。低空無(wú)人飛行器序列圖像拼接系統(tǒng)，包括特征點(diǎn)提取模塊，對(duì)所述序列圖像提取SURF特征點(diǎn)和HARRIS-AFFINE特征點(diǎn)；圖像匹配模塊，根據(jù)所述特征點(diǎn)計(jì)算相鄰圖像之間的單應(yīng)矩陣，并去除完全偏航的壞圖像；拼接次序生成模塊，確定序列圖像的拼接次序；圖像拼接模塊，按照所述拼接次序進(jìn)行拼接與全局平差。
文檔編號(hào)H04N5/262GK102088569SQ201010502908
公開(kāi)日2011年6月8日 申請(qǐng)日期2010年10月13日 優(yōu)先權(quán)日2010年10月13日
發(fā)明者喬警衛(wèi), 宮輝力, 崔營(yíng)營(yíng), 張愛(ài)武, 王書(shū)民, 胡少興 申請(qǐng)人:首都師范大學(xué)