基于彩色尺度不變的街景影像特征檢測與匹配方法
【專利摘要】本發(fā)明提供了一種基于彩色尺度不變的街景影像自動檢測與匹配方法，本發(fā)明直接以彩色不變量作為輸入影像，依托于尺度空間理論，采用改進的Harris檢測算子，對輸入影像的彩色各通道進行綜合處理，提取特征點；并加入特征點的彩色特征進行構(gòu)建描述向量，獲得穩(wěn)定的特征描述子；采用相關(guān)系數(shù)作為相似度測量函數(shù)，進行特征向量計算，并在搜索策略中加入主方向約束，完成影像匹配。本發(fā)明具有特征定位準(zhǔn)確、精度高、時效性強、數(shù)據(jù)處理速度快等優(yōu)點，適用于街景影像的實時檢測與匹配。
【專利說明】基于彩色尺度不變的街景影像特征檢測與匹配方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于遙感與攝影測量影像處理應(yīng)用領(lǐng)域，特別涉及一種基于彩色尺度不變的街景影像特征檢測與匹配方法。
【背景技術(shù)】
[0002]隨著計算機技術(shù)與立體視覺技術(shù)的迅速發(fā)展，數(shù)字圖像處理技術(shù)也在不斷完善，特別是近年來數(shù)字城市與智慧城市概念的提出，使得基礎(chǔ)信息資源與對應(yīng)的影像處理技術(shù)廣泛應(yīng)用于社會各個領(lǐng)域。數(shù)字城市建設(shè)是當(dāng)前GIS技木、遙感圖像處理與攝影測量技術(shù)的重要應(yīng)用領(lǐng)域，尤其城市主要物體的各類三維模型的建立，更是依托于圖像處理與攝影測量技木。而構(gòu)建3D城市模型的首要任務(wù)便是實現(xiàn)具有一定重疊度的影像匹配，如何快速、高效地實現(xiàn)街景影像匹配，一直是困擾人們的ー個問題，也是國內(nèi)外研究的重點與熱點之一。
[0003]目前，最具代表性的影像尺度不變特征提取與匹配方法有Harris-Laplacian算法和SIFT算法(尺度不變特征轉(zhuǎn)換方法)。這些方法大多將彩色圖像轉(zhuǎn)化為灰度圖像后進行特征提取和匹配，丟失色彩信息，從而容易產(chǎn)生錯誤匹配。近年來，已有ー些學(xué)者嘗試加入色彩信息來實現(xiàn)彩色圖像間的配準(zhǔn)，主要方法有基于顏色不變矩的特征匹配算法、賦色尺度不變特征變換(Color Scale Invariant Feature Transform, color SIFT)法、基于彩色的SIFT特征點提取與匹配算法、基于Hue彩色空間的SIFT等。街景影像由于光照變化的復(fù)雜性，使得現(xiàn)有的彩色模型以及特征檢測方法難以完全適用于彩色街景影像的處理。
[0004]街景影像的特征檢測主要分為兩大類[卜12]:第一類為基于灰度信息的特征檢測，第二類為基于彩色信息的特征檢測。目前，多數(shù)特征檢測都是將彩色影像轉(zhuǎn)化為灰度影像后進行特征檢測，即，利用影像像素灰度值、像素梯度與梯度方向進行影像特征判斷，例如:Moravec算子、Forstner算子、Harris算子以及SIFT算子。第二類為基于彩色信息的特征檢測，關(guān)鍵是綜合利用三通道(R、G、B)信息，通過彩色空間變換，并結(jié)合灰度檢測算子，提取具有尺度不變性的特征點。近年來，已有很多學(xué)者嘗試加入色彩信息來實現(xiàn)彩色圖像特征提取，并產(chǎn)生了許多具有應(yīng)用價值的特征檢測算法[12?16]。
[0005]特征檢測后，需對提取的特征點進行向量描述，特征點的向量描述也分為兩類:基于灰度信息影像的特征向量描述與基于彩色信息的特征向量描述。其中，基于灰度信息提取的特征點所含信息較少，不利于表達特征點的獨特性，也不利于從影像中辨識特征點。
[0006]影響圖像匹配結(jié)果的兩個最主要因素為相似性度量函數(shù)與捜索策略[4’17?24]。相似性度量函數(shù)主要決定匹配點對的正確性，一般包含自相關(guān)函數(shù)、相關(guān)系數(shù)、歐式距離、Hausdorff距離等。搜索策略主要是選擇適當(dāng)?shù)姆椒▽ふ伊Ⅲw像對中的特征點，最簡單的方法是針對基準(zhǔn)影像上的各特征點遍歷參考影像中的所有特征點，利用相似性度量函數(shù)得到最佳匹配點對，為了節(jié)約搜索時間，最常用的策略便是加入約束條件，減少搜索時間。
[0007]目前，現(xiàn)有的街景影像匹配技術(shù)大多針對建筑物、道路中的単一對象進行，并且通常將彩色影像轉(zhuǎn)換成灰度影像后進行特征提取和匹配，丟失了色彩信息，匹配精度不高。根據(jù)街景影像數(shù)據(jù)處理實時、快速的特點，街景影像特征檢測與特征匹配方法需滿足實時性高、密集度強以及匹配速度快等條件，現(xiàn)有的街景影像匹配技術(shù)均難以滿足街景影像實時處理要求。
[0008]相關(guān)文獻:
[0009][I」H.P.Moravec.Towards Automatic Visual Obstacle Avoidance.Proc.5thInternational Joint Conference on Artificial Intelligence,PP.584,1977.[0010][2]Harris C and Stephens M.J.A combined corner and edge detector[A].1nProceedings of the 4th Alvey Vision Conference[C]，Manchester， 1988:147-152.[0011][3]M.Trajkovic and M.Hedley.Fast Comer Detection.1mage and Vision Computing，VOl.16 (2)，PP.75-87.1998.[0012][4] Xue WAN, Zuxun ZHANG，Youchuan WAN.An improved algorithm used inautomatic matching for low-altitute aerial image[C]//XXII ISPRS Congress.Melbourne,2012:183-188.[0013][5]Van de Sande K E A，Snoek C G M.Evaluation of color descriptorsfor object and scene recognition[C]//Proceedings of the Computer Vision andPattern Recognition Conference.New York:1nstitute of 乜lectrica丄 and ElectronicsEngineers Computer Society,2008:542-560.[0014][6]Mikolajczyk K，Schmid C.1ndexing based on scale invariant interestpoints [C]//Proceedings of the 8th International Conference on ComputerVision, Vancouver, 2001:525-531.[0015][7] Lowe D G.Distinctive image features from scale invariantkeypoints[J].1nternational Journal ofComputer Vision, 2004, 60(2):91-110.[0016][8]李磊.基于特征點的圖像匹配關(guān)鍵技術(shù)研究[D].山東:山東科技大學(xué)信號與信號處理，2009.[0017][9]羅菁，林樹忠，倪建云，詹湘琳.基于Hessian矩陣的指紋細節(jié)點提取方法[J].光電工程，2008，35 (11):134-138.[0018][10]李芳芳，賈永紅，肖本林，等.利用線特征和SIFT點特征進行多源遙感影像配準(zhǔn)[J].武漢大學(xué)學(xué)報:信息`科學(xué)版，2010，35(2):233-236.[0019][11]唐永鶴，陶華敏，盧煥章，等.一種基于Hairis算子的快速圖像匹配算法[J].武漢大學(xué)學(xué)報:信息科學(xué)版，2012，37(4):406-409.[0020][12]熊琰，龔華軍，沈曄青.ー種快速有效的彩色圖像邊緣檢測方法[J].計算機技術(shù)與發(fā)展，2007，17 (4): 128-130.[0021][13]Gao J, Huang X H，Peng G，etal.Coior-basea scale invariant featuredetection applied in robot vision [C]//Proceedings of the 5th InternationalSymposium on Multispectral Image Processing and Pattern Recognition, Wuhan:[s.n],2007:67904E.[0022][14]Finlayson G D, Hordley S D，Xu R.Convex programming colour constancywith a diagonal-offset model[C]//Proc.0f IEEE international Conference on ImageProcessing,2005:948-951.[0023][15] Gonzalez C R，Woods E R.Digital image processing [M].Beijing:Publishing House of Electronics Industry, 2008:237-238.[0024][16]高健，黃心漢，彭剛，等.一種簡化的SIFT圖像特征點提取算法[J].計算機應(yīng)用研究，2008，25 (7): 2113-2217.[0025][17」David G.Lowe.Distinctive Image Features from Scale-1nvariantKeypoints [J].1nternatioanl Journal of Computer Vision,60 (2):91-110,2004.[0026][18]Belongie S，Malik J，and Puzicha J.Shape matching and objectrecognition using shape contexts.1EEE Transactions on Pattern Analysis andMachine Intelligence, 24(4):509-522，2002.[0027][19]Baumberg A.Reliable feature matching across widely separatedviews.1n Proceedings of the Confenrence on Computer Vision and PatternRecognition, pages 774-781，Hilton Head Island, South Carolina,USA,2000.[0028][20]柯濤，張永軍.SIFT特征算子在低空遙感影像全自動匹配中的應(yīng)用[J].測繪科學(xué)，2009，34 (4): 23-26.[0029][21]王軍，張明柱.圖像匹配算法的研究進展[J].大氣與環(huán)境光學(xué)學(xué)報，2007，2 (I):11-15.[0030][22]高富強，張帆.ー種快速彩色圖像匹配算法[J].計算機用，2005，25(11):2604 ~2611.[0031][23]趙壘，侯振杰.一種改進的SIFT圖像配準(zhǔn)方法[J].計算機エ程，2010，36(12):226-228.[0032][24]李玲玲，李翠華，曾曉明，等.基于Harris-Affine和SIFT特征匹配的圖像自動配準(zhǔn)[J].華中科技大學(xué)學(xué)報:自然科學(xué)版，2008，36 (8):13-16.
【發(fā)明內(nèi)容】

[0033]針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提出了能夠適應(yīng)街景影像快速處理與匹配要求的、基于彩色尺度不變的街景影像特征檢測與匹配方法。
[0034]本發(fā)明的技術(shù)方案如下:
[0035]一、基于彩色尺度不變的街景影像特征檢測方法，包括以下步驟:
[0036]步驟1，預(yù)處理待匹配街景影像；
[0037]步驟2，對預(yù)處理后的待匹配街景影像進行彩色空間轉(zhuǎn)換，以獲得各彩色通道的彩色不變量；
[0038]步驟3，構(gòu)建待匹配街景影像的尺度空間；
[0039]步驟4，基于待匹配街景影像灰度信息構(gòu)建彩色信息的自相關(guān)矩陣M，基于自相關(guān)矩陣M提取待匹配街景影像的特征點并對特征點進行分類；
[0040]步驟5，基于特征點主方向?qū)μ卣鼽c進行向量描述獲得各特征點的特征向量。
[0041]步驟2中，采用對角-偏移模型對預(yù)處理后的待匹配街景影像進行彩色空間轉(zhuǎn)換，且在彩色空間轉(zhuǎn)換中僅計算各彩色通道內(nèi)的彩色不變量的分布均值及標(biāo)準(zhǔn)差。
[0042]步驟3所述的尺度空間基于局部金字塔結(jié)構(gòu)構(gòu)建。
[0043]步驟4所述的彩色信息的自相關(guān)矩陣
【權(quán)利要求】
1.基于彩色尺度不變的街景影像特征檢測方法，其特征在于，包括步驟: 步驟1，預(yù)處理待匹配街景影像； 步驟2，對預(yù)處理后的待匹配街景影像進行彩色空間轉(zhuǎn)換，以獲得各彩色通道的彩色不變量； 步驟3，構(gòu)建待匹配街景影像的尺度空間； 步驟4，基于待匹配街景影像灰度信息構(gòu)建彩色信息的自相關(guān)矩陣M，基于自相關(guān)矩陣M提取待匹配街景影像的特征點并對特征點進行分類； 步驟5，基于特征點主方向?qū)μ卣鼽c進行向量描述獲得各特征點的特征向量。
2.如權(quán)利要求1所述的基于彩色尺度不變的街景影像特征檢測方法，其特征在于: 步驟2中，采用對角-偏移模型對預(yù)處理后的待匹配街景影像進行彩色空間轉(zhuǎn)換，且在彩色空間轉(zhuǎn)換中僅計算各彩色通道內(nèi)的彩色不變量的分布均值及標(biāo)準(zhǔn)差。
3.如權(quán)利要求1所述的基于彩色尺度不變的街景影像特征檢測方法，其特征在于: 步驟3所述的尺度空間基于局部金字塔結(jié)構(gòu)構(gòu)建。
4.如權(quán)利要求1所述的基于彩色尺度不變的街景影像特征檢測方法，其特征在于: 步驟4所述的彩色信息的自相關(guān)矩陣
5.如權(quán)利要求1所述的基于彩色尺度不變的街景影像特征檢測方法，其特征在于: 步驟5所述的基于特征點主方向?qū)μ卣鼽c進行向量描述，具體為: 5.1將待匹配街1景影像所在坐標(biāo)軸旋轉(zhuǎn)到特征點主方向； 5.2將特征點的鄰域按照a*a結(jié)構(gòu)劃分子區(qū)域，并計算各子區(qū)域內(nèi)各像素點的彩色不變量三通道分量的均值，彩色不變量三通道分量的平均值構(gòu)成ー組3維特征向量，即形成一個種子點； 5.3通過計算各種子點所在子區(qū)域與特征點的距離并乘以高斯函數(shù)值，便可獲得特征點的3a2維特征向量。
6.基于彩色尺度不變的街景影像匹配方法，其特征在于，包括步驟: 基于權(quán)利要求1獲得的特征點的特征向量對待匹配街景影像進行匹配。
7.如權(quán)利要求6所述的基于彩色尺度不變的街景影像匹配方法，其特征在于: 所述的基于特征點的特征向量對待匹配街景影像進行匹配，以待匹配特征點特征向量的相關(guān)系數(shù)為相似性度量函數(shù)進行匹配。
8.如權(quán)利要求6所述的基于彩色尺度不變的街景影像匹配方法，其特征在于: 所述的基于特征點的特征向量對待匹配街景影像進行匹配，在捜索策略中加入特征點主方向約束條件。
9.如權(quán)利要求6所述的基于彩色尺度不變的街景影像匹配方法，其特征在于: 所述的基于特征點的特征向量對待匹配街景影像進行匹配具體為: 捜索特征點，判斷待匹配街景影像中兩特征點的主方向絕對差值T(fabs(01-0r))是否小于預(yù)設(shè)的第一閾值T0，若小于第一閾值T0，則判斷特征點特征向量的相關(guān)系數(shù)P與預(yù)設(shè)的第二閾值Tl的大小，若相關(guān)系數(shù)P大于第二閾值Tl，則兩特征點匹配。
10.基于彩色尺度不變的街景影像特征檢測及匹配系統(tǒng)，其特征在于，包括: 預(yù)處理模塊，用來預(yù)處理待匹配街景影像； 彩色空間轉(zhuǎn)換模塊，用來對預(yù)處理后的待匹配街景影像進行彩色空間轉(zhuǎn)換，以獲得各彩色通道的彩色不變量； 尺度空間構(gòu)建模塊，用來構(gòu)建待匹配街景影像的尺度空間； 特征點提取模塊，用來基于待匹配街景影像灰度信息構(gòu)建彩色信息的自相關(guān)矩陣M，基于自相關(guān)矩陣M提取待匹配街景影像的特征點并對特征點進行分類； 特征描述模塊，用來基于特征點主方向?qū)μ卣鼽c進行向量描述獲得各特征點的特征向量; 匹配模塊，用來基于 特征點的特征向量對待匹配街景影像進行匹配。
【文檔編號】G06T7/00GK103606170SQ201310651936
【公開日】2014年2月26日 申請日期:2013年12月5日 優(yōu)先權(quán)日:2013年12月5日
【發(fā)明者】萬幼川, 何培培, 湯瑞華, 高賢君 申請人:武漢大學(xué)