一種基于三角形約束的圖像匹配擴散方法
【專利摘要】一種基于三角形約束的圖像匹配擴散方法，包括以下步驟：1)采用SFIT算法來提取和匹配初始種子點對，匹配過程中加入了交叉一致性檢驗；2)利用Delaunay三角化算法來組織目標圖中的初始種子點，判斷是否存在待擴散的三角形匹配區(qū)域對，如果有，則進行匹配三角形區(qū)域對，并更新種子點結合與匹配區(qū)域集合；如果否，RANSAC去除外點并計算基礎矩陣F，得到擴散后的種子點集合與匹配區(qū)域集合；3)在種子點周圍鄰域中擴散出更多的匹配點對，直到?jīng)]有可靠種子點，進入步驟4)；4)進行重采樣，并輸入擴散匹配結果。本發(fā)明提供一種正確匹配率較高、魯棒性良好的基于三角形約束的圖形匹配擴散方法。
【專利說明】一種基于三角形約束的圖像匹配擴散方法

【技術領域】
[0001] 本發(fā)明涉及計算機視覺領域，尤其是一種圖形匹配擴散方法。

【背景技術】
[0002] 匹配的擴散問題，一直是計算機視覺領域研究的熱點與難點。根據(jù)目的不同，大致 分為兩類：第一類即是基于鄰域擴散的方法，這種方法能利用種子點對周圍的鄰域信息，擴 散更多的匹配點對；而另一類是基于匹配策略的擴散方法。這類方法主要依靠不同的相似 性度量方法或一些約束條件來實現(xiàn)獲取更多更可靠的特征點匹配點對。特征點提取與匹配 是近年來計算機視覺領域中備受關注的研究方向和研究熱點，為了得到可靠的特征點以及 可信度高的匹配對，學者們相繼提出了許多優(yōu)秀的特征點檢測算子，如Harris角點檢測算 子，SIFT特征點檢測算子，以及SURF，KAZE等。近些年最常用的描述符是SIFT描述符，此 外還有DAISY描述符 [87]與SURF等。通過合理地搭配特征點檢測算子與特征點描述符，能 夠有效地實現(xiàn)特定場合環(huán)境下特征點的提取與匹配。然而，現(xiàn)今存在的相似性度量方法與 匹配策略卻很局限。
[0003] 基于鄰域擴散的方法能基于種子點并依據(jù)種子點鄰域內的可靠信息擴散出更多 更有效的匹配點對，這種方法實際上就是利用種子點迭代擴散的過程；基于匹配策略的擴 散方法，能根據(jù)一些約束條件與改進的匹配策略，保證更多更精確的特征點匹配的獲取。兩 種方法各有各的優(yōu)勢與不足，根據(jù)運用場合的不同，不同的方法能發(fā)揮不同的優(yōu)勢。
[0004] 基于匹配策略的方法能利用改進匹配策略的方法擴散出更多更精確的特征點匹 配，但是擴散出的點仍然屬于稀疏點匹配的范疇，依然不利于后期的三維結構的可視化形 成，基于鄰域擴散的方法能夠利用種子點鄰域信息，在鄰域周圍擴散出更多的匹配點對，但 是這種算法很大程度上依賴于種子點的精度與數(shù)量，而且在擴散的迭代過程中，錯誤的擴 散點在一定程度上會影響新的擴散點的精度。


【發(fā)明內容】

[0005] 為了克服已有圖形匹配擴散方法的正確匹配率較低、魯棒性較差的不足，本發(fā)明 提供一種正確匹配率較高、魯棒性良好的基于三角形約束的圖形匹配擴散方法。
[0006] 本發(fā)明解決其技術問題所采用的技術方案是：
[0007] -種基于三角形約束的圖像匹配擴散方法，包括以下步驟：
[0008] 1)初始種子點獲取
[0009] 輸入圖像對，采用SFIT算法來提取和匹配初始種子點對，匹配過程中加入了交叉 一致性檢驗；
[0010] 交叉一致性檢驗過程如下：首先，左圖和右圖通過SIFT特征檢測算子檢測提取圖 像上的特征點，假設左圖中的特征點集合用A表示，右圖中的特征點集合用B表示，首先以 左圖為目標圖，右圖為參考圖，以左圖來匹配右圖，得到左圖匹配右圖的一個單映射關系， 即集合A映射到集合B的匹配關系，用關系P來表示；再以右圖為參考圖，左圖為目標圖， 以右圖來匹配左圖，得到集合B到集合A的單映射關系，用關系Q來表示；如果一組匹配點 (X，X'）滿足公式（1)，則認為是可靠匹配：

【權利要求】
1. 一種基于三角形約束的圖像匹配擴散方法，其特征在于：包括以下步驟： 1) 初始種子點獲取 輸入圖像對，采用SFIT算法來提取和匹配初始種子點對，匹配過程中加入了交叉一致 性檢驗； 交叉一致性檢驗過程如下：首先，左圖和右圖通過SIFT特征檢測算子檢測提取圖像上 的特征點，假設左圖中的特征點集合用A表示，右圖中的特征點集合用B表示，首先以左圖 為目標圖，右圖為參考圖，以左圖來匹配右圖，得到左圖匹配右圖的一個單映射關系，即集 合A映射到集合B的匹配關系，用關系P來表不；再以右圖為參考圖，左圖為目標圖，以右圖 來匹配左圖，得到集合B到集合A的單映射關系，用關系Q來表示；如果一組匹配點（X，X'） 滿足公式（1)，則認為是可靠匹配：
其中，m、η分別表示目標圖與匹配圖中的SIFT特征點； 2) 利用基于三角形約束的方法擴散出更多種子點 提取步驟1)的匹配初始種子點對，利用Delaunay三角化算法來組織目標圖中的初始 種子點，形成三角區(qū)域集合Ta，同時，根據(jù)目標圖中各點的連接順序，依次連接組織參考圖 中與之匹配對應的初始種子點，在參考圖中也形成三角形區(qū)域集合T B，至此，得到了目標圖 與參考圖之間的區(qū)域對應關系； 判斷是否存在待擴散的三角形匹配區(qū)域對，如果有，則進行匹配三角形區(qū)域對，并更新 種子點結合與匹配區(qū)域集合；如果否，RANSAC去除外點并計算基礎矩陣F，得到擴散后的種 子點集合與匹配區(qū)域集合； 3) 基于鄰域擴散的方法，在種子點周圍鄰域中擴散出更多的匹配點對，直到?jīng)]有可靠 種子點，進入步驟4); 設定三個約束條件如下：a、離散的二維視差梯度極限約束：候選匹配點對N(x，x'）必 須滿足離散二維視差梯度約束，即規(guī)定參考圖中點X領域中的待擴散點u，其在目標圖中的 候選匹配點需要在以X'鄰域中相同偏移量的點u'為中心的3X3窗口內，同時也需要在X' 的鄰域內；b、可信度量約束；c、唯一性約束：規(guī)定兩圖間的匹配僅能保持一一映射的關系； 4) 進行重采樣，并輸入擴散匹配結果。
2. 如權利要求1所述的一種基于三角形約束的圖像匹配擴散方法，其特征在于：所述 步驟1)中，在交叉一致性檢驗結束后，進行隨機抽樣一致性算法處理，隨機抽取已經(jīng)匹配 的點集中的任意8組匹配，用這8組匹配計算基本矩陣F，如果此8組匹配所計算得到的F 是正確的，則用于剔除錯誤匹配，接著利用這些剔除過誤匹配的匹配點計算新的F ;如果此 8組匹配所計算得到的F是不正確，則繼續(xù)隨機抽取8組匹配，直至抽取到正確8組匹配。
3. 如權利要求1或2所述的一種基于三角形約束的圖像匹配擴散方法，其特征在于： 所述步驟2)中，在參考圖中，依次處理集合Ta中的三角形區(qū)域，假設取AABC e Ta，A，B，C 分別為Λ ABC的三個頂點，則在Λ ABC區(qū)域中的每一個特征點P，其坐標都能用A，B，C的坐 標來表示： P = aa+^b+yc, (α+β + γ =1) (2) 其中p，a，b，c分別表示點P，A，B，C在圖像上的坐標，α，β，Υ為系數(shù)，因此，在三角 形的三個頂點A，B，C以及特征點P的坐標都已知的情況下，三個系數(shù)能通過以下公式來計 算得到：
特征點P在參考圖中的匹配點P'會位于點P。的位置：
其中a'，b'，c'為分別與A，B，C在參考圖上的匹配點A'，B'，C'的坐標，取P。周圍以R 像素大小為半徑的圓形鄰域，在這個鄰域中的特征點，都認為是點P的候選匹配點，記為集 合Can，在集合Can中取每個候選點C依次計算匹配分數(shù)：
其中d是點P與候選點C的歐式距離，Desp與Des。分別是點P與點C的特征點描述 符，如果候選集合Can中的特征點分數(shù)最大值大于事先設定的閾值t，則將這對匹配點放入 臨時匹配集合Temp中； 直至所有Λ ABC區(qū)域中的特征點處理完畢，如果滿足如下公式，則集合Temp中的匹配 將被接納： Tempi > λ min {I Pl I, |PE|} (6) 其中1\與Pk分別代表Λ ABC與ΛΑ'B'C'區(qū)域中的特征點集合，|o I表示集合的基數(shù)， Λ ABC與Λ A' B' C'被認為是一對匹配區(qū)域，用于約束下一步的鄰域擴散。
【文檔編號】G06T7/00GK104392434SQ201410618143
【公開日】2015年3月4日 申請日期:2014年11月5日 優(yōu)先權日:2014年11月5日
【發(fā)明者】汪曉妍, 金俊杰, 邵琪克, 李軍偉, 劉盛, 陳勝勇 申請人:浙江工業(yè)大學