圖形匹配方法和裝置的制造方法
【技術領域】
[0001] 本發(fā)明設及手機測試技術領域，尤其設及一種圖像匹配方法和裝置。
【背景技術】
[0002] Airtest軟件主要用于手機應用的回歸測試，它可W將手機屏幕同步投射到個人 計算機(personal computer,簡稱PC)屏幕上，操作者能夠通過鼠標的交互達到操作手機的 目的。Airtest軟件的功能:將人對手機的操作過程腳本化并可重復執(zhí)行。腳本錄制:伴隨用 戶的每一步鼠標模擬操作，Airtest同步地自動生成相應腳本，記錄操作位置（W及對應的 操作截圖）W及操作類型（點擊、滑動等）。腳本回放:連接安卓手機(任何分辨率手機），載入 腳本，點擊回放即可。
[0003] 腳本回放過程中，軟件后臺通過將腳本中的截圖和手機屏幕中的源圖像進行匹 配，識別出與待匹配截圖相同或相似的目標區(qū)域，進而在目標區(qū)域所在的位置執(zhí)行腳本記 錄的操作。目標區(qū)域識別的正確性，直接決定著軟件是否能在正確位置進行操作。并且腳本 中的截圖和截圖在手機實時屏幕中的對應區(qū)域可能有所不同。例如，軟件使用手機1進行腳 本錄制，使用手機2進行腳本回放，手機1中的截圖和截圖在手機2的對應區(qū)域可能因為分辨 率不同而有很大區(qū)別，不光有圖標大小的差異，還可能有一些背景性的差別。
[0004] 現(xiàn)有技術中常用的圖像匹配方法由模板匹配和基于尺度不變特征變換（Scale-invariant feaUire transform, SIFT) 的 圖形匹配方法 ，但是現(xiàn)有的基于 SIFT 的圖像匹配 方法的準確率不高，并且在特征點數(shù)很少的情況下，無法基于SIFT實現(xiàn)。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實施例提供一種圖像匹配方法和裝置，提高了圖像匹配的準確度。
[0006] 本發(fā)明第一方面提供一種圖像匹配方法，包括：
[0007] 計算待匹配截圖和源圖像的SIFT特征點和SIFT特征向量；
[000引根據(jù)所述待匹配截圖和所述源圖像的SIFT特征點和SIFT特征向量，確定所述待匹 配截圖和所述源圖像的特征匹配點對；
[0009] 根據(jù)所述待匹配截圖和所述源圖像的特征匹配點對，確定特征匹配點對的映射關 系；
[0010] 根據(jù)所述映射關系確定所述待匹配截圖各個角點在所述源圖像中的對應位置，W 此識別出目標區(qū)域。
[0011] 可選的，所述根據(jù)所述映射關系確定所述待匹配截圖各個角點在所述源圖像中的 對應位置，W此識別出目標區(qū)域之后，所述方法還包括：
[0012] 計算所述待匹配截圖和所述目標區(qū)域的相似度；
[0013] 根據(jù)所述相似度確定所述目標區(qū)域的可信度，當所述目標區(qū)域的可信度大于預設 的第二闊值時，確定所述目標區(qū)域有效。
[0014] 可選的，所述根據(jù)所述待匹配截圖和所述源圖像的特征匹配點對，確定特征匹配 點對的映射關系，包括：
[0015] 當所述待匹配截圖和所述源圖像的特征匹配點對的數(shù)目大于或等于4時，根據(jù)所 述待匹配截圖和所述源圖像的特征匹配點對，計算所述待匹配截圖和所述源圖像的單映射 矩陣；
[0016] 所述根據(jù)所述映射關系確定所述待匹配截圖各個角點在所述源圖像中的對應位 置，W此識別出目標區(qū)域，包括：
[0017] 根據(jù)所述單映射矩陣計算所述待匹配截圖的N個角點映射到所述源圖像上的N個 角點的坐標，所述待匹配截圖的N個角點映射到所述源圖像上的N個角點為所述目標區(qū)域的 角點，N為大于或等于4的正整數(shù)。
[0018] 可選的，所述根據(jù)所述待匹配截圖和所述源圖像的特征匹配點對，計算所述待匹 配截圖和所述源圖像的單映射矩陣，包括：
[0019] 根據(jù)所述待匹配截圖和所述源圖像的特征匹配點對，確定所述待匹配截圖的所有 匹配SIFT特征點在所述源圖像上對應的第一 SIFT特征點的坐標；
[0020] 根據(jù)所述待匹配截圖和所述源圖像的每個特征匹配點對的坐標，計算所述待匹配 截圖和所述源圖像的單映射矩陣；
[0021] 根據(jù)所述單映射矩陣計算所述待匹配截圖的每個匹配SIFT特征點在所述源圖像 上對應的第二SIFT特征點的坐標；
[0022] 計算所述待匹配截圖的每個匹配SIFT特征點在所述源圖像上對應的第一 SIFT特 征點的坐標與第二SIFT特征點的坐標之間的距離；
[0023] 按照所述待匹配截圖的所有匹配SIFT特征點在所述源圖像上對應的第一 SIFT特 征點的坐標與第二SIFT特征點的坐標之間的距離從小到大對所述待匹配截圖的所有匹配 SIFT特征點進行排序；
[0024] 計算所述待匹配截圖的所有匹配SIFT特征點中前一半的匹配SIFT特征點在所述 源圖像上對應的第一 SIFT特征點的坐標與第二特征點的坐標之間的距離的平均值；
[0025] 比較所述待匹配截圖的每個匹配SIFT特征點在所述源圖像上對應的第一 SIFT特 征點的坐標與第二特征點的坐標之間的距離與所述平均值的大??；
[0026] 剔除所述待匹配截圖和所述源圖像中第一 SIFT特征點的坐標與第二SIFT特征點 的坐標之間的距離大于X倍的所述平均值的錯誤特征匹配點對，2含X < 3;
[0027] 根據(jù)所述待匹配截圖和所述源圖像剔除錯誤特征匹配點對后剩余的特征匹配點 對更新所述待匹配截圖和所述源圖像的單映射矩陣，直至所述待匹配截圖和所述源圖像中 的所有錯誤特征匹配點對都被剔除，得到所述待匹配截圖和所述源圖像的準確特征匹配點 對，將根據(jù)所述待匹配截圖和所述源圖像的準確特征匹配點對計算得到精確單映射矩陣作 為所述待匹配截圖和所述源圖像的單映射矩陣。
[00%]可選的，所述根據(jù)所述待匹配截圖和所述源圖像的特征匹配點對，確定特征匹配 點對的映射關系，包括：
[0029] 當所述待匹配截圖和所述源圖像的特征匹配點對的數(shù)目等于2時，判斷所述兩個 特征匹配點對是否共X軸或共y軸；
[0030] 當所述兩個特征匹配點對不共X軸也不共y軸時，根據(jù)所述兩個特征匹配點對的坐 標計算X軸的縮放比W及y軸的縮放比；
[0031] 所述根據(jù)所述映射關系確定所述待匹配截圖各個角點在所述源圖像中的對應位 置，W此識別出目標區(qū)域，包括：
[0032] 根據(jù)所述X軸的縮放比、所述y軸的縮放比和所述待匹配截圖的中屯、點坐標，計算 所述待匹配截圖的中屯、點在所述源圖像中的映射點的坐標，所述待匹配截圖的中屯、點在所 述源圖像中的映射點為所述目標區(qū)域的中屯、點；
[0033] 當所述兩個特征匹配點對共X軸或共y軸或同時共X軸和共y軸時，則確定所述兩個 特征匹配點對在源圖像上的兩個點的中點為所述目標區(qū)域的中屯、點；
[0034] 根據(jù)所述待匹配截圖的長度、寬度和所述目標區(qū)域的中屯、點的坐標，確定所述目 標區(qū)域的各角點的坐標。
[0035] 可選的，所述根據(jù)所述待匹配截圖和所述源圖像的特征匹配點對，確定特征匹配 點對的映射關系，包括：
[0036] 當所述待匹配截圖和所述源圖像的特征匹配點對的數(shù)目等于3時，從所述3個特征 匹配點對中選擇兩個特征匹配點對；
[0037] 確定選擇的兩個特征匹配點對的中點；
[0038] 判斷選擇的兩個特征匹配點對的中點與剩余的一個特征匹配點對是否共X軸或共 八由；
[0039] 當選擇的兩個特征匹配點對的中點與剩余的一個特征匹配點對不共X軸也不共y 軸時，根據(jù)選擇的兩個特征匹配點對的中點的坐標與剩余的一個特征匹配點對的坐標計算 X軸的縮放比W及y軸的縮放比；
[0040] 所述根據(jù)所述映射關系確定所述待匹配截圖各個角點在所述源圖像中的對應位 置，W此識別出目標區(qū)域，包括：
[0041 ]根據(jù)所述X軸的縮放比、所述y軸的縮放比和所述待匹配截圖的中屯、點坐標，計算 所述待匹配截圖的中屯、點在所述源圖像中的映射點的坐標，所述待匹配截圖的中屯、點在所 述源圖像中的映射點為所述目標區(qū)域的中屯、點；
[0042] 當選擇的兩個特征匹配點對的中點與剩余的一個特征匹配點對共X軸或共y軸或 同時共X軸和共y軸時，則確定選擇的兩個特征匹配點對的中點與剩余的一個特征匹配點對 在源圖像上的兩個點的中點為所述目標區(qū)域的中屯、點；
[0043] 根據(jù)所述待匹配截圖的長度、寬度和所述目標區(qū)域的中屯、點的坐標，確定所述目 標區(qū)域的各角點的坐標。
[0044] 可選的，所述根據(jù)所述待匹配截圖和所述源圖像的特征匹配點對，確定特征匹配 點對的映射關系，包括：
[0045] 當所述待匹配截圖和所述源圖像的特征匹配點對的數(shù)目等于1時，確定所述特征 匹配點對在源圖像中的特征點為所述目標區(qū)域的中屯、點；
[0046] 所述根據(jù)所述映射關系確定所述待匹配截圖各個角點在所述源圖像中的對應位 置，W此識別出目標區(qū)域，包括：
[0047] 根據(jù)所述待匹配截圖的長度、寬度和所述目標區(qū)域的中屯、點的坐標，確定所述目 標區(qū)域的各角點的坐標。
[0048] 可選的，所述計算所述待匹配截圖和所述目標區(qū)域的相似度，包括：
[0049] 對所述待匹配截圖和所述目標區(qū)域進行歸一化處理，歸一化為所述待匹配截圖和 所述目標區(qū)域中像素較小的圖像的像素；
[0050] 根據(jù)所述待匹配截圖歸一化后的像素和所述目標區(qū)域歸一化后的像素計算所述 待匹配截圖和所述目標區(qū)域的相似度。
[0051] 可選的，所述待匹配截圖和所述目標區(qū)域的相似度為標準相關系數(shù)。
[0052] 可選的，所述計算待匹配截圖和源圖像的SIFT特征點和SIFT特征向量，包括：
[0053] 在待檢測圖像中捜索所有尺度的圖像位置，通過高斯微分函數(shù)檢測出尺度和旋轉(zhuǎn) 不變的極值點；
[0054] 根據(jù)所述極值點的穩(wěn)定程度，通過建立一個擬合模型來確定特征點的位置和尺 度；
[0055] 基于圖像局部的梯度方向，為每個特征點的位置分配一個或多個方向；
[0056] 在每個特征點周圍的鄰域內(nèi)，在選定的尺度上測量圖像局部的梯度，將所述梯度 變換為表示局部形狀變形和光照變化的特征向量；
[0057] 當所述待檢測圖像為所述待匹配截圖時，所述特征點為所述待匹配截圖的SIFT特 征點，所述特征向量為所述待匹配截圖的SIFT特征向量，當所述待檢測圖像為所述源圖像 時，所述特征點為所述源圖像的SIFT特征點，所述特征向量為所述源圖像的SIFT特征向量。
[0058] 可選的，所述根據(jù)所述待匹配截圖和所述源圖像的SIFT特征點和SIFT特征向量， 計算所述待匹配截圖和所述源圖像的特征匹配點對，包括：
[0059] 計算所述待匹配截圖的SIFT特征向量與所述SIFT源圖像的特征向量的最小歐式 距離和次小歐式距離；
[0060] 當所述最小歐式距離與所述次小歐式距離的比值小于預設的第一闊值時，將所述 待匹配截圖的SIFT特征向量對應的SIFT特征點和所述源圖像的SIFT特征向量對應的SIFT 特征點作為特征匹配點對。
[0061 ]本發(fā)明第二方面提供一種圖像匹配裝置，包括：
[0062] 特征計算模塊，用于計算待匹配截圖和源圖像的SIFT特征點和SIFT特征向量；
[0063] 第一確定模塊，用于根據(jù)所述待匹配截圖和所述源圖像的SIFT特征點和SIFT特征 向量，確定所述待匹配截圖和所述源圖像的特征匹配點對；
[0064] 第二確定模塊，用于根據(jù)所述待匹配截圖和所述源圖像的特征匹配點對，確定特 征匹配點對的映射關系；
[0065] 第=確定模塊，用于根據(jù)所述映射關系確定所述待匹配截圖各個角點在所述源圖 像中的對應位置，W此識別出目標區(qū)域。
[0066] 可選的，