面向可穿戴設(shè)備的跟蹤與匹配并行計算方法
【專利摘要】本發(fā)明針對增強現(xiàn)實跟蹤與匹配問題提出一種面向可穿戴設(shè)備的跟蹤與匹配并行計算方法。本發(fā)明采用SCAAT-EKF特征跟蹤技術(shù)，對可穿戴設(shè)備中的多傳感器進行互補式融合數(shù)據(jù)采集，能夠有效避免數(shù)據(jù)沖突。同時利用基于雙核CPU+GPU群核多通道的運算策略，在GPU內(nèi)進行基于Harris算法的角點檢測和提取，并使用雙核CPU進行P-KLT跟蹤和匹配計算，從而實現(xiàn)算法快速并行處理。發(fā)明涉及的計算方法主要包括以下五個方面：面向可穿戴設(shè)備的混合跟蹤與特征提取、自然特征無標(biāo)記目標(biāo)的特征點精確提取、基于GPU并行進程機制實現(xiàn)對Harris角點的檢測、基于CPU的P-KLT并行特征跟蹤算法、二次匹配優(yōu)化算法。該發(fā)明實現(xiàn)了可穿戴設(shè)備傳感器和視覺跟蹤與匹配的結(jié)合，在增強現(xiàn)實三維注冊方面具有廣闊前景。
【專利說明】面向可穿戴設(shè)備的跟蹤與匹配并行計算方法
【技術(shù)領(lǐng)域】:
[0001]本發(fā)明屬于增強現(xiàn)實領(lǐng)域，具體涉及到一種面向可穿戴設(shè)備的跟蹤與匹配并行計算方法。
【背景技術(shù)】:
[0002]增強現(xiàn)實是一門交叉學(xué)科，它綜合了模式識別、三維重建、機器學(xué)習(xí)等領(lǐng)域的技術(shù)，是最近幾年圖形圖像領(lǐng)域的一個研究熱點，如今被廣泛應(yīng)用于軍事、教育、醫(yī)療、企業(yè)和生活等方面，衍生出許多增強現(xiàn)實應(yīng)用產(chǎn)品，如Google Glass,GALAXYGear等。面向可穿戴設(shè)備的增強現(xiàn)實通過圖形學(xué)和視覺技術(shù)，將虛擬的信息融合到真實世界中，使真實的環(huán)境和虛擬的物體實時地疊加到同一個空間，是隨著虛擬現(xiàn)實技術(shù)迅速發(fā)展和實際應(yīng)用需要出現(xiàn)的一種將真實世界信息和虛擬世界信息無縫集成的新技術(shù)。實際上對面向可穿戴設(shè)備的增強現(xiàn)實技術(shù)的研究主要集中在三個方面:特征提取算法、特征跟蹤和特征匹配。
[0003]增強現(xiàn)實中的特征追蹤與信息提取是在用戶視點下，解決虛實場景之間的配準(zhǔn)問題，即確定虛擬信息在真實環(huán)境下的位置和朝向等信息。常用的跟蹤方式有磁傳感跟蹤、慣性跟蹤和視覺跟蹤等幾種?；趯嶋H應(yīng)用的需要和人眼的敏感性，增強現(xiàn)實系統(tǒng)對配準(zhǔn)的準(zhǔn)確度和虛擬信息的真實感有著很高的要求，因此需要具有準(zhǔn)確性高、快速性強、魯棒性穩(wěn)定、跟蹤范圍廣等特性。此外，還需兼顧計算的可移動性，以及傳感器的大小、重量、散熱等多方面因素。由于實際應(yīng)用的復(fù)雜性，任何一種單一跟蹤技術(shù)都難以實現(xiàn)上述性能指標(biāo)。
[0004]增強現(xiàn)實中自然特征的注冊目前通常采用KLT跟蹤算法和SIFT、SURF特征匹配算法。KLT(Kanade Lucas Tomasi)作為一種快速、準(zhǔn)確的特征跟蹤算法,被廣泛應(yīng)用于注冊相鄰幀間的單應(yīng)矩陣，這類基于特征跟蹤的方法能夠通過迭代相鄰兩幀間的單應(yīng)性矩陣來計算世界坐標(biāo)系與當(dāng)前幀間的單應(yīng)關(guān)系。這樣雖能滿足實時性要求，卻引入了誤差累積的缺陷，降低了系統(tǒng)的穩(wěn)定性，使得系統(tǒng)在運行過程中誤差不斷增大，不能滿足長時間的三維注冊需要。除此之外，SIFT算法作為傳統(tǒng)的特征匹配方法之一，雖然描述符可區(qū)分度高，但是每個描述符占用的空間比較大，對空間內(nèi)存容量要求高，在可穿戴設(shè)備上不易實現(xiàn)。SURF特征匹配算法是目前比較流行的寬基線特征點匹配算法之一，具有較快的運算速度，但是該算法的計算復(fù)雜度較高，每幀都做SURF提取與匹配工作，內(nèi)存消耗比較大，很難應(yīng)用在實時的可穿戴式增強現(xiàn)實設(shè)備中。

【發(fā)明內(nèi)容】

[0005]針對上述問題，本發(fā)明提出了一種基于金字塔結(jié)構(gòu)的光流法(Pyramidal KLT)和Harris 二次匹配算法的并行跟蹤匹配計算方法，并提出了面向可穿戴設(shè)備的混合追蹤SCAAT技術(shù)。采用雙核CPU+GPU群核并行處理方法，在CPU內(nèi)進行基本調(diào)度運算、P-KLT跟蹤算法與二次匹配計算，同時在GPU內(nèi)進行基于Harris算法的角點檢測和提取。通過這種并行方式，能夠提高跟蹤算法的魯棒性和穩(wěn)定性，而且實時性強、運算效率高，能夠彌補普通計算方法同步性低、計算速度慢的缺陷。[0006]為實現(xiàn)上述方法，本專利采用如下的具體跟蹤與匹配算法，其包括以下步驟:
[0007](I)提出一種面向可穿戴設(shè)備的混合跟蹤與特征提取技術(shù)，保證多跟蹤器的實時性數(shù)據(jù)采集同時避免數(shù)據(jù)沖突；
[0008]⑵Harris角點檢測CRF優(yōu)化方法，對CRF算法進行改進，完成自然特征無標(biāo)記目標(biāo)的特征點精確提??；
[0009](3)基于GPU并行進程機制實現(xiàn)對Harris角點的檢測，側(cè)重闡述了在多設(shè)備控制條件下Harris角點檢測并行算法的實現(xiàn)方法；
[0010](4)基于CPU的P-KLT并行特征跟蹤算法，給出相鄰幀中特征點的位移偏差；
[0011](5) 二次匹配優(yōu)化算法，采用BGNCC初始粗匹配和RANSAC精匹配提高匹配魯棒性。
[0012]所述步驟(I)中，本發(fā)明提出了一種面向可穿戴設(shè)備的特征跟蹤方法，使用多傳感器 SCAAT-EKF(single-constraint-at-a-timeExtendedKalman Filtering)互補式融合的數(shù)據(jù)采集數(shù)據(jù)方式，最大程度降低模塊的局限性，將不同類型的姿態(tài)信息進行整合與分析，從而避免跟蹤失敗，增強跟蹤魯棒性和穩(wěn)定性。
[0013]所述步驟(2)中，針對原始的Harris算法單一閾值設(shè)定、定位精度低等缺點，對原始的Harris算法進行了改進。原始Harris算法中角點響應(yīng)函數(shù)中的k值是一個經(jīng)驗常數(shù)，隨意性比較大，會造成Harris角點提取可靠性的降低，在圖片不一樣的情況下，很容易影響到角點提取的準(zhǔn)確性，改進的算法根據(jù)角點響應(yīng)CRF函數(shù)計算原圖像上對應(yīng)的每個像素的CRF。具體包括以下步驟:
[0014]步驟A:建立與圖像X方向一階導(dǎo)數(shù)和Y方向-階導(dǎo)數(shù)局部自相關(guān)函數(shù)相聯(lián)系的2*2自相關(guān)對稱矩陣M。
[0015]步驟B:將2*2自相關(guān)對稱矩陣M代入Harris算子角點響應(yīng)函數(shù)CRF。
[0016]步驟C:根據(jù)像素點的CRF值判斷是否為提取出的角點。
[0017]所述步驟(3)中，本發(fā)明中選擇的方法摒棄了之前廣為運用的CPU角點檢測算法而選取了另一種基于GPU的并行Harris角點檢測算法。該算法依據(jù)GPU計算特點和任務(wù)劃分的特點，采用CPU+GPU協(xié)作計算模式，將任務(wù)劃分成多個子任務(wù)，并對劃分的子任務(wù)給出合理的并行調(diào)度算法，使GPU和CPU各自發(fā)揮特點，從而充分挖掘GPU通用計算能力。
[0018]所述步驟(4)中，理論上的KLT算法是基于窗口內(nèi)小而連貫運動假設(shè)，然而面向可穿戴設(shè)備的視頻跟蹤器拍攝的是大而不連貫運動，因此普通KLT算法在實際跟蹤中實時性差、失敗率高。因此借助圖像金字塔方式來解決:首先根據(jù)SACCT算法在較大的空間尺度上進行跟蹤獲取圖像幀，再通過求解SSD函數(shù)得到窗口位移d = (dx, dy)，最后使用P-KLT迭代結(jié)構(gòu)算法對圖像金字塔自下向上采樣并對圖像像素進行處理，由此可保證KLT算法在對于縮放變換的有效性。
[0019]所述步驟(5)中，根據(jù)以上步驟采用Harris算子提取出的目標(biāo)角點，利用BGNCC方法進行角點粗匹配，使用RANSAC方法進行錯誤匹配角點的剔除，最后再根據(jù)互相的匹配角點，計算其方差，根據(jù)方差排序，排除掉偏移量比較大的點，利用計算排序后的匹配角點的偏移均值，從而得到目標(biāo)物體的位置。具體包括以下兩部分:(I)采用BGNCC算法進行特征點初步匹配。(2)使用RANSAC算法消除BGNCC算法的錯誤匹配角點，采用角點均值方差的方法排除偏移值比較大的一些角點，通過計算其偏移均值的方法，計算目標(biāo)的跟蹤窗口。
[0020]本發(fā)明的有益效果在于:這種面向可穿戴設(shè)備的跟蹤與匹配并行計算方法充分考慮了目標(biāo)追中的不穩(wěn)定性和匹配錯誤率高的缺點，在提高運算效率的同時，增強跟蹤魯棒性和穩(wěn)定性，克服了普通計算方法同步性低、計算速度慢的缺陷，解決了多傳感器跟蹤數(shù)據(jù)沖突與單一矩陣變換匹配率低的問題，滿足了面向可穿戴設(shè)備目標(biāo)跟蹤的高要求，尤其是在可穿戴設(shè)備視覺并行跟蹤中更能體現(xiàn)其優(yōu)勢。
【專利附圖】

【附圖說明】
[0021]圖1為SCAAT-EKF算法結(jié)構(gòu)示意附圖；
[0022]圖2為GPU并行Harris角點檢測算法流程附圖；
[0023]圖3為隨機采樣RANSAC算法結(jié)構(gòu)附圖。
【具體實施方式】
[0024]本發(fā)明的面向可穿戴設(shè)備的跟蹤與匹配并行計算方法，包括以下步驟:
[0025](I)面向可穿戴設(shè)備的混合跟蹤與特征提取技術(shù)；
[0026]⑵Harris角點檢測CRF優(yōu)化方法，對CRF算法進行改進，完成自然特征無標(biāo)記目標(biāo)的特征點精確提取；
[0027](3)基于GPU并行進程機制實現(xiàn)對Harris角點的檢測；
[0028](4)基于CPU的P-KLT并行特征跟蹤算法，給出兩幀中特征點的位移偏差；
[0029](5) 二次匹配優(yōu)化算法，采用BGNCC初始粗匹配和RANSAC精匹配提高匹配魯棒性。
[0030]一、面向可穿戴設(shè)備的混合跟蹤方法
[0031]可穿戴技術(shù)是在混合跟蹤技術(shù)基礎(chǔ)上發(fā)展而來，是體態(tài)跟蹤與監(jiān)測的核心技術(shù)，能夠提供高精度魯棒性的姿態(tài)與位置信息。當(dāng)前可穿戴設(shè)備包括智能眼鏡、智能手表、數(shù)據(jù)手套等可整合進用戶隨身配件的設(shè)備，在硬件上主要集成GPS定位、陀螺儀、朝向儀、加速度傳感器、慣性跟蹤器、壓力重力傳感器和視覺攝像機等模塊。特征跟蹤使用多傳感器SCAAT-EKF(single-constraint-at-a-timeExtended Kalman Filtering)互補式融合的數(shù)據(jù)米集方法，能夠最大程度降低模塊的局限性，將不同類型的姿態(tài)信息進行整合與分析，能夠避免跟蹤失敗，增強跟蹤魯棒性和穩(wěn)定性。SCAAT-EKF方法能夠高效融合異步串行傳感器測量數(shù)據(jù)，有效避免數(shù)據(jù)沖突而產(chǎn)生的錯誤。
[0032]SCAAT解決了在傳感器單個測量參數(shù)個數(shù)小于傳感器狀態(tài)估計參數(shù)個數(shù)條件下的退化解問題，其核心思想是單個傳感器測量只提供用戶狀態(tài)部分信息并能夠增量提高先驗狀態(tài)，從而在單個傳感器測量被迭代用于合并一個新傳感器的可測數(shù)據(jù)時獲得低延遲和高精度的估計值。面向可穿戴設(shè)備的跟蹤技術(shù)難點在于視頻攝像頭的跟蹤，需要根據(jù)采集到的畫面進行角點提取和匹配，從而完成對目標(biāo)的實時跟蹤。如圖1所示，當(dāng)使用EKF實現(xiàn)基于SCAAT的姿態(tài)跟蹤時，需要對所有跟蹤器構(gòu)建一個統(tǒng)一的過程模型，而對每個跟蹤器單獨構(gòu)建一個測量模型，以協(xié)調(diào)處理跟蹤器之間的測量不同步和不完整測量信息，這樣就能解決視頻跟蹤與其他傳感器測量信息的融合，利用多通道采集方法全方位跟蹤目標(biāo)動態(tài)特性。以下部分著重闡述了可穿戴設(shè)備視覺并行跟蹤算法的設(shè)計。
[0033]二、針對CRF改進的Harris角點提取優(yōu)化運算方法
[0034]Harris角點檢測是Moravec角點檢測算子的改進,特別是給出與自相關(guān)函數(shù)相聯(lián)系的矩陣M。M矩陣的特征值是自相關(guān)函數(shù)的一階曲率，根據(jù)曲率的大小就能判斷出該點是否為點特征。其具體實現(xiàn)原理為:在圖像中設(shè)計一個局部檢測窗口，通過判斷該窗口沿任一方向作微小偏移是否都會引起窗口的平均能量有很大變化且超過設(shè)定的閾值，如果是就將窗口的中心像素點提取為角點。根據(jù)以上原理簡列步驟如下:
[0035]首先，建立于圖像X方向一階導(dǎo)數(shù)和Y方向-階導(dǎo)數(shù)局部自相關(guān)函數(shù)相聯(lián)系的2*2自相關(guān)對稱矩陣M。根據(jù)Harris算法公式:
【權(quán)利要求】
1.一種面向可穿戴設(shè)備的跟蹤與匹配并行計算方法，其特征在于，面向可穿戴設(shè)備的混合跟蹤與特征提取、自然特征無標(biāo)記目標(biāo)的特征點精確提取、基于GPU并行進程機制實現(xiàn)對Harris角點的檢測、基于CPU的P-KLT并行特征跟蹤算法、二次匹配優(yōu)化算法等五個流程，其中: (I)提出一種面向可穿戴設(shè)備的混合跟蹤與特征提取技術(shù)，保證多跟蹤器的實時性數(shù)據(jù)采集和避免數(shù)據(jù)沖突； ⑵Harris角點檢測CRF優(yōu)化方法，對CRF算法進行改進，完成自然特征無標(biāo)記目標(biāo)的特征點精確提?。? (3)基于GPU并行進程機制實現(xiàn)對Harris角點的檢測，側(cè)重闡述了在多設(shè)備控制條件下Harris角點檢測并行算法的實現(xiàn)方法； (4)基于CPU的P-KLT并行特征跟蹤算法，給出相鄰幀中特征點的位移偏差； (5)二次匹配優(yōu)化算法，采用BGNCC初始粗匹配和RANSAC精匹配提高匹配魯棒性。
2.根據(jù)權(quán)利要求1所述的面向可穿戴設(shè)備的跟蹤與匹配并行計算方法，其特征在于:所述步驟(I)中提出了一種面向可穿戴設(shè)備的特征跟蹤方法，使用多傳感器SCAAT-EKF互補式融合的數(shù)據(jù)采集數(shù)據(jù)方式，最大程度降低模塊的局限性，將不同類型的姿態(tài)信息進行整合與分析。
3.根據(jù)權(quán)利要求1所述的面向可穿戴設(shè)備的跟蹤與匹配并行計算方法，其特征在于:所述步驟(2)中的針對原始Harris算法的閾值設(shè)定單一、定位精度低等缺點，對原始的Harris算法進行了改進，改進后的算法根據(jù)角點響應(yīng)CRF函數(shù)計算原圖像上對應(yīng)的每個像素的CRF值。具體包括以下步驟: A.建立與圖像X方向一階導(dǎo)數(shù)和Y方向一階導(dǎo)數(shù)局部自相關(guān)函數(shù)相聯(lián)系的2*2自相關(guān)對稱矩陣M ； B.將2*2自相關(guān)對稱矩陣M代入Harris算子角點響應(yīng)函數(shù)CRF； C.根據(jù)像素點的CRF值判斷是否為提取出的角點。
4.根據(jù)權(quán)利要求1所述的面向可穿戴設(shè)備的跟蹤與匹配并行計算方法，其特征在于:所述步驟(3)中的選取了一種基于GPU的并行Harris角點檢測算法，該算法依據(jù)GPU計算特點和任務(wù)劃分的特點，采用CPU+GPU協(xié)作計算模式，將任務(wù)劃分成多個子任務(wù)，并對劃分的子任務(wù)給出合理的并行調(diào)度算法。
5.根據(jù)權(quán)利要求1所述的面向可穿戴設(shè)備的跟蹤與匹配并行計算方法，其特征在于:所述步驟(4)中的采用圖像金字塔KLT (Pyrami dal KLT)方式，在較大的尺度上進行視覺跟蹤，通過金字塔結(jié)構(gòu)自上而下對圖像采樣處理，從而保證KLT算法在對處于縮放變換時的有效性，利用平移矩陣得到更理想的跟蹤效果。
6.根據(jù)權(quán)利要求1所述的面向可穿戴設(shè)備的跟蹤與匹配并行計算方法，其特征在于:所述步驟(5)中的二次匹配優(yōu)化算法，具體包括以下兩步驟: 步驟1:采用BGNCC算法進行特征點初步匹配； 步驟2:使用RANSAC算法消除BGNCC算法的錯誤匹配角點。
【文檔編號】G06T7/00GK103927745SQ201410127332
【公開日】2014年7月16日 申請日期:2014年3月28日 優(yōu)先權(quán)日:2014年3月28日
【發(fā)明者】于方杰, 馬純永, 田豐林, 韓勇, 陳戈, 吳合義, 范龍慶, 馬圣博 申請人:北京中海新圖科技有限公司, 青島經(jīng)緯藍(lán)圖信息技術(shù)有限公司