專利名稱：基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，特別涉及一種增強(qiáng)現(xiàn)實(shí)的方法及系統(tǒng)，應(yīng)用于虛擬現(xiàn)實(shí)與計(jì)算機(jī)視覺(jué)領(lǐng)域，利用模式識(shí)別與虛擬現(xiàn)實(shí)技術(shù)對(duì)視頻采集到的現(xiàn)實(shí)圖像幀起到添加內(nèi)容、增強(qiáng)效果的作用。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)(AR， Augmented Reality)是利用虛擬物體對(duì)真實(shí)場(chǎng)景進(jìn)行現(xiàn)實(shí)增強(qiáng)的技術(shù)。增強(qiáng)現(xiàn)實(shí)基于攝像頭等采集器件采集到的真實(shí)物理環(huán)境，通過(guò)將文本、二維圖像、三維模型等虛擬生成的信息標(biāo)注在顯示屏所顯示的真實(shí)物理環(huán)境中的物體上，從而實(shí)現(xiàn)對(duì)用戶身處的現(xiàn)實(shí)物理環(huán)境的注釋、說(shuō)明，或者增強(qiáng)、強(qiáng)調(diào)現(xiàn)實(shí)環(huán)境的某些效果。比如用戶戴上專用的增強(qiáng)現(xiàn)實(shí)顯示眼鏡，觀察某個(gè)復(fù)雜機(jī)械時(shí)，他不僅可以看到現(xiàn)實(shí)世界中存在的機(jī)械結(jié)構(gòu)本身，還可以同時(shí)看到通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)附加的多媒體信息如機(jī)械各個(gè)部分的介紹等。增強(qiáng)現(xiàn)實(shí)技術(shù)給用戶一種虛擬對(duì)象與現(xiàn)實(shí)環(huán)境兩相融合的體驗(yàn)，它能有效地幫助用戶認(rèn)知周圍環(huán)境，增添周圍環(huán)境的信息，實(shí)現(xiàn)用戶與周圍環(huán)境的交互。
"ARToolkit"是一種可用于增強(qiáng)現(xiàn)實(shí)的開(kāi)源軟件包。ARtoolkit使用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)計(jì)算真實(shí)攝像場(chǎng)景與標(biāo)記符號(hào)之間的相對(duì)位置關(guān)系。ARToolkit的主要算法流程為輸入實(shí)時(shí)捕獲的視頻圖像幀，通過(guò)可設(shè)定的閾值將其轉(zhuǎn)換成黑白二值圖；搜索場(chǎng)景中標(biāo)志物的黑框顏色所對(duì)應(yīng)的連通區(qū)域，作為標(biāo)志物黑框的候選對(duì)象；得到各連通區(qū)域的輪廓線，若能提取出四條相交的直邊，則作為可能的標(biāo)志物；利用四條直邊找到的角特征，進(jìn)行形變矯正，并計(jì)算出標(biāo)志物變換成前視圖的一個(gè)單應(yīng)性矩陣(homography)變換；利用該單應(yīng)性矩陣在標(biāo)志物的黑框內(nèi)部區(qū)域進(jìn)行采樣，采樣模板一般為16X16，共得到256個(gè)采樣點(diǎn)構(gòu)成一個(gè)采樣向量；將這個(gè)采樣向量與預(yù)先存放在標(biāo)志物數(shù)據(jù)庫(kù)的標(biāo)志物逐個(gè)進(jìn)行比較，計(jì)算標(biāo)志物上相應(yīng)點(diǎn)構(gòu)成的向量與采樣向量的歸一化向量點(diǎn)積，得到一個(gè)可信度值；如果可信度值低于一個(gè)閾值，就當(dāng)作是未匹配成功，否則就是匹配成功。根據(jù)匹配成功的標(biāo)志物查找到相對(duì)應(yīng)的虛擬物體，將虛擬物體按相機(jī)與標(biāo)志物的當(dāng)前相對(duì)方位進(jìn)行變換，使之與標(biāo)志物相吻合。
現(xiàn)有技術(shù)中，有基于ARToolKit包與二維可視編碼技術(shù)實(shí)現(xiàn)三維增強(qiáng)現(xiàn)實(shí)的方法和系統(tǒng)，用以實(shí)現(xiàn)虛實(shí)物體之間映射關(guān)系的建立。該系統(tǒng)具體包括視頻幀捕獲模塊、視頻跟蹤模塊、虛擬圖形系統(tǒng)模塊、虛實(shí)合成模塊以及視頻顯示模塊，各個(gè)部分功能具體為A、 視頻幀捕獲模塊，用于捕獲二維可視編碼標(biāo)志物的視頻幀，并將該視頻幀發(fā)送給視頻跟蹤模塊；
B、 視頻跟蹤模塊，用于計(jì)算處理獲得的標(biāo)志物視頻幀，根據(jù)計(jì)算處理結(jié)果獲得從標(biāo)志物坐標(biāo)系到相機(jī)坐標(biāo)系的變換矩陣；通過(guò)采樣二維可視編碼中編碼圖案，獲得標(biāo)志物編碼值，檢索出與該編碼值對(duì)應(yīng)的三維模型，并根據(jù)該三維模型的頂點(diǎn)數(shù)組與變換矩陣的乘積，得到該三維圖形在相機(jī)坐標(biāo)系下的坐標(biāo)數(shù)組。
C、 虛擬圖形系統(tǒng)模塊，用于根據(jù)獲得的三維圖形在相機(jī)坐標(biāo)系下的坐標(biāo)數(shù)組繪制對(duì)應(yīng)的三維圖形，并將該三維圖形存儲(chǔ)在幀緩存中，生成虛擬圖形幀。
D、 虛實(shí)合成模塊，用于將獲得的虛擬圖形幀與二維可視編碼標(biāo)志物的視頻幀進(jìn)行合成，得到合成視頻幀。
該技術(shù)方案的主要特點(diǎn)為
1、 在現(xiàn)有的三維增強(qiáng)現(xiàn)實(shí)技術(shù)中引入規(guī)范的二維可視化編碼圖像作為跟蹤所用標(biāo)志物，以代替現(xiàn)有技術(shù)中ARToolkit采用的任意形狀的標(biāo)志物，從而提高了 ARToolkit中的跟蹤算法速度以及可靠性、并且加快了模式匹配處理速度。
2、 在現(xiàn)有的二維可視化編碼基礎(chǔ)上引入對(duì)三維相對(duì)變換信息的計(jì)算與提取，檢索出相應(yīng)的三維媒體信息并且三維注冊(cè)合成的增強(qiáng)現(xiàn)實(shí)技術(shù)，該技術(shù)可識(shí)別出二維可視編碼，還能將得到的其對(duì)應(yīng)的三維空間位置，通過(guò)編碼檢索到的三維模型實(shí)時(shí)地增強(qiáng)顯示在編碼圖形上，進(jìn)而實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)功能。
3、 主要用于在計(jì)算資源相對(duì)有限的手持移動(dòng)計(jì)算設(shè)備上實(shí)施增強(qiáng)現(xiàn)實(shí)技術(shù)，拓展增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用領(lǐng)域。
其缺點(diǎn)是，對(duì)標(biāo)志物的要求較高，要求標(biāo)志物形態(tài)簡(jiǎn)單，形狀邊沿與背景色的反差非常清晰明顯，并且必須有四條直邊組成的四邊形邊框作為清晰邊界，否則會(huì)影響識(shí)別效果。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)方法及系統(tǒng)，以減少標(biāo)志物的限制條件。
本發(fā)明采用如下技術(shù)方案
一種基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)方法，包括以下步驟步驟10)、初始化系統(tǒng)環(huán)境、配置系統(tǒng)參數(shù)；
步驟20)、選擇或提取一幅標(biāo)志物正視圖，對(duì)標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)；
6步驟30)、計(jì)算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并進(jìn)行校正；
步驟40)、對(duì)攝像頭拍攝到的真實(shí)環(huán)境中的每一幀，利用步驟30)中的數(shù)據(jù)進(jìn)行校正，再基于步驟20)中的訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，若含有標(biāo)志物，則計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中的相對(duì)位置矩陣；
步驟50)、通過(guò)識(shí)別出的標(biāo)志物尋找對(duì)應(yīng)虛擬模型，利用提取出的標(biāo)志物位置矩陣確定模型的位置；
步驟60)、在真實(shí)拍攝的視頻幀上根據(jù)計(jì)算出的相對(duì)位置繪制虛擬模型。進(jìn)一步地，所述步驟20)具體包括以下步驟步驟21)、將彩色圖轉(zhuǎn)化為灰度步驟22)、初步提取特征點(diǎn)，具體提取特征點(diǎn)的方法如下
對(duì)于圖片上的每個(gè)象素m，若以m為中點(diǎn)、圍繞著m的八個(gè)象素中的任意兩個(gè)滿足以下兩個(gè)條件，則排除這個(gè)像素m-
a、 這兩個(gè)像素處于以m為中點(diǎn)的這圈像素的某條直徑兩端，
b、 這兩個(gè)像素的灰度值均與m接近；
步驟23)、把灰度圖進(jìn)行正視圖視角變換，在變換后的視圖中提取特征點(diǎn)，用來(lái)得到更為穩(wěn)定的特征點(diǎn)；
步驟24)、將所有經(jīng)不同角度的透視變換的正視圖中的同一個(gè)特征點(diǎn)取出，構(gòu)成一個(gè)"特定視點(diǎn)集合"，得到N個(gè)"特定視點(diǎn)集合"，每個(gè)"特定視點(diǎn)集合"對(duì)應(yīng)一個(gè)穩(wěn)定特征點(diǎn)；步驟25)、構(gòu)建隨機(jī)樹(shù)用以特征點(diǎn)分類和識(shí)別。進(jìn)一步地，所述步驟24)中"特定視點(diǎn)集合"的構(gòu)成方法為
將原始正視圖分別繞x軸、y軸按(-兀，+兀)的范圍旋轉(zhuǎn)進(jìn)行透視變換，將繞x軸的轉(zhuǎn)向均分為U個(gè)角度，將繞y軸的轉(zhuǎn)向均分為L(zhǎng)y個(gè)角度，得L-LxXLy幅變換視圖，將所有變換視圖中編號(hào)相同的特征點(diǎn)取出，得到N個(gè)集合V ={Vnl, v 2……vnlj， 1《n《N，每個(gè)V。就是對(duì)應(yīng)一個(gè)特征點(diǎn)的"特定視點(diǎn)集合"，該集合中的每個(gè)元素包含了在不同視角變換下同一特征點(diǎn)的不同位置。
進(jìn)一步地，所述步驟23)具體為
對(duì)于一幅給定的標(biāo)志物的正視圖，用步驟22)中的方法提取出M個(gè)特征點(diǎn)，按特征點(diǎn)的坐標(biāo)位置順序編號(hào)，構(gòu)成一個(gè)特征點(diǎn)集合K^b， k2……kM}，集合中每個(gè)元素表示相應(yīng)編號(hào)的一個(gè)特征點(diǎn)；
對(duì)該標(biāo)志物原始正視圖進(jìn)行多個(gè)不同角度的透視變換，并給變換后的正視圖加上白噪聲，之后再利用步驟22)爭(zhēng)的方法提取變換后的視圖的特征點(diǎn)，再利用反變換將提取出的特征點(diǎn)還原為相應(yīng)的正視圖特征點(diǎn)；統(tǒng)計(jì)多個(gè)經(jīng)過(guò)不同角度變換的視圖經(jīng)上述"變換-提取-還原"后的特征點(diǎn)仍能找到原始正視圖相對(duì)應(yīng)特征點(diǎn)的概率，概率最高的N個(gè)點(diǎn)被確認(rèn)為"穩(wěn)定"的特征點(diǎn)，集合K的元素?cái)?shù)由M減為N，即IHK!， K2……KN}。
進(jìn)一步地，所述步驟25)中構(gòu)建隨機(jī)樹(shù)用以特征點(diǎn)分類和識(shí)別，具體如下隨機(jī)樹(shù)采用二叉樹(shù)結(jié)構(gòu)，輸入的數(shù)據(jù)為32X32像素的面片，在訓(xùn)練時(shí)將大量包含"特定視點(diǎn)集合"中的特征點(diǎn)的面片輸入隨機(jī)樹(shù)，讓每個(gè)面片進(jìn)入某一片樹(shù)葉，當(dāng)所有的面片都進(jìn)入樹(shù)葉后，計(jì)算每片葉子對(duì)應(yīng)所有"穩(wěn)定"的特征點(diǎn)的概率分布，某片樹(shù)葉包含的概率分布可由如下公式表示
其中，p代表32X32像素的一塊面片，Y (p)是該面片所包含的特征點(diǎn)對(duì)應(yīng)的特征點(diǎn)標(biāo)
號(hào)，ce{-1, 1， 2……N}，其中-l表示不包含任何特征點(diǎn)的面片，l為隨機(jī)樹(shù)的編號(hào)，7代表
p面片投入第1棵樹(shù)所到達(dá)的那片樹(shù)葉；為每個(gè)結(jié)點(diǎn)選取的判斷公式如下，
^ 、 ^如果/(^附1)-/(>,/"2^/(/ ,附3)-/(^,附4)，進(jìn)入左節(jié)點(diǎn)
e(Wl'W2'W3'W4) = i 其他 ，進(jìn)入右節(jié)點(diǎn)
其中，/0 ,W)表示面片P在ffl點(diǎn)的亮度，附，,W2,M3，氣為面片P中隨機(jī)挑選的四個(gè)位置不同像素。
進(jìn)一步地，所述步驟40)具體包括以下步驟
將采集的一幀圖像分解為32X32像素的面片，將每片面片輸入步驟25)中構(gòu)建的不同的隨機(jī)樹(shù)；
f(戶)表示面片P所包含特征點(diǎn)經(jīng)估算得到的特征點(diǎn)標(biāo)號(hào)，f(/ )利用以下公式算得
一 1
F(/ ) = arg max pc (/ ) = arg max丁 2p) = c)
該公式是將面片p在不同樹(shù)中所到達(dá)的葉片的概率分布相加取平均值，得到一個(gè)平均概率分布，將這個(gè)平均概率分布中概率最大的那個(gè)穩(wěn)定特征點(diǎn)的標(biāo)號(hào)，作為面片p對(duì)應(yīng)的特征點(diǎn)
的標(biāo)號(hào)；利用該公式建立新采集圖像特征點(diǎn)和原始正視圖特征點(diǎn)的對(duì)應(yīng)。
本發(fā)明還提供一種基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，包括視頻幀訓(xùn)練模塊，用于選擇或提取一幅標(biāo)志物正視圖，對(duì)標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)丄 視頻幀校正模塊，與所述視頻幀訓(xùn)練模塊相連接，用于計(jì)算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并 進(jìn)行校正；
視頻幀捕獲模塊，與所述視頻幀訓(xùn)練模塊和所述視頻幀校正模塊相連接，用于對(duì)攝像頭拍 攝到的真實(shí)環(huán)境中的每一幀，利用所述視頻幀校正模塊中的數(shù)據(jù)進(jìn)行校正，再基于所述視頻 幀訓(xùn)練模塊中的訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，若含有標(biāo)志物，則計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中的 相對(duì)位置矩陣，并通過(guò)對(duì)已識(shí)別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對(duì)來(lái)估算標(biāo)志物所處環(huán) 境的光照信息；
虛實(shí)合成模塊，與視頻幀捕獲模塊相連接，用于通過(guò)識(shí)別出的標(biāo)志物尋找對(duì)應(yīng)虛擬模型， 利用提取出的標(biāo)志物位置矩陣確定模型的位置，在真實(shí)拍攝的視頻幀上根據(jù)計(jì)算出的相對(duì)位 置繪制虛擬模型。
相對(duì)于己有的其他發(fā)明，如ARTooIkit開(kāi)發(fā)包與華為的系統(tǒng)，本系統(tǒng)極大地減少了對(duì)標(biāo)志 物的限制，這些限制主要包括以下幾條
(1) 、要求標(biāo)志物色彩深而單一，與背景色反差大。
(2) 、標(biāo)志物形態(tài)為簡(jiǎn)單圖形。
(3) 、標(biāo)志物四周有四邊形的清晰邊框作為識(shí)別的邊界。 而本系統(tǒng)所對(duì)應(yīng)標(biāo)志物無(wú)需任何邊界，可截取任意二維圖像中包含一定紋理特征的任意四
邊形區(qū)域，主要面向真實(shí)環(huán)境中用攝像頭、照相機(jī)等攝取的含真實(shí)景物、具有照片特性的二 維圖像，圖形內(nèi)容可以極為復(fù)雜。系統(tǒng)的這些特性極大地?cái)U(kuò)展了增強(qiáng)現(xiàn)實(shí)的使用范圍。
本系統(tǒng)可用于對(duì)地圖與復(fù)雜二維圖像進(jìn)行標(biāo)示，也可在任意二維圖像上合成三維模型，形 成立體、生動(dòng)的效果。
以下結(jié)合附圖及實(shí)施例進(jìn)一步說(shuō)明本發(fā)明。


圖1為本發(fā)明基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)實(shí)施例示意圖； 圖2為本發(fā)明基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)方法實(shí)施例流程圖； 圖3為本發(fā)明方法實(shí)施例中對(duì)標(biāo)志物進(jìn)行訓(xùn)練的流程圖； 圖4為一頁(yè)書(shū)上特征點(diǎn)對(duì)應(yīng)的實(shí)際情況。
具體實(shí)施例方式
如圖1所示， 一種基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，包括 視頻幀訓(xùn)練模塊，用于選擇或提取一幅標(biāo)志物正視圖，對(duì)標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)； 視頻幀校正模塊，與所述視頻幀訓(xùn)練模塊相連接，用于計(jì)算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并 進(jìn)行校正；
視頻幀捕獲模塊，與所述視頻幀訓(xùn)練模塊和所述視頻幀校正模塊相連接，用于對(duì)攝像頭拍 攝到的真實(shí)環(huán)境中的每一幀，利用所述視頻幀校正模塊中的數(shù)據(jù)進(jìn)行校正，再基于所述視頻 幀訓(xùn)練模塊中的訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，若含有標(biāo)志物，則計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中的 相對(duì)位置矩陣；
虛實(shí)合成模塊，與視頻幀捕獲模塊相連接，用于通過(guò)識(shí)別出的標(biāo)志物尋找對(duì)應(yīng)虛擬模型， 利用提取出的標(biāo)志物位置矩陣確定模型的位置，在真實(shí)拍攝的視頻幀上根據(jù)計(jì)算出的相對(duì)位 置繪制虛擬模型。
如圖2所示， 一種基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)方法，包括以下步驟
步驟IO)、初始化系統(tǒng)環(huán)境、配置系統(tǒng)參數(shù)；主要包括搭建系統(tǒng)硬件平臺(tái)，設(shè)置能夠支持 二維和三維圖形的繪圖環(huán)境，分配圖像緩存空間，識(shí)別攝像頭等；
步驟20)、從文件中選擇一幅標(biāo)志物正視圖的圖像文件或者從攝像頭中提取標(biāo)志物正視 圖，對(duì)標(biāo)志物進(jìn)行訓(xùn)練。訓(xùn)練主要包括灰度處理與特征點(diǎn)處理等；
步驟30)、計(jì)算標(biāo)志物圖像的內(nèi)參并進(jìn)行校正。相機(jī)內(nèi)部參數(shù)是指攝像頭相機(jī)的焦距和形 變等內(nèi)部固有參數(shù)，該參數(shù)確定了攝像頭相機(jī)的投影變換矩陣，它取決于相機(jī)本身的屬性， 所以對(duì)同一個(gè)相機(jī)來(lái)說(shuō)其內(nèi)部參數(shù)是恒定不變的。本系統(tǒng)通過(guò)在多個(gè)不同角度拍攝標(biāo)志物， 通過(guò)對(duì)不同角度的標(biāo)志物與標(biāo)志物正視圖的比對(duì)，計(jì)算相機(jī)的內(nèi)參并讀入系統(tǒng)，用來(lái)對(duì)之后 虛實(shí)合成的每一幀圖形進(jìn)行校正；
步驟40)、對(duì)攝像頭拍攝到的真實(shí)環(huán)境中的每一幀，利用步驟30)中的數(shù)據(jù)進(jìn)行校正，再 基于步驟20)中的訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，若含有標(biāo)志物，則計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中 的相對(duì)位置矩陣與光照等信息；
標(biāo)志物在相機(jī)平面上成相的過(guò)程，相當(dāng)于構(gòu)成標(biāo)志物的每個(gè)象素點(diǎn)坐標(biāo)從三維坐標(biāo)系上變 換到相機(jī)坐標(biāo)系上，然后投影到相機(jī)平面上形成標(biāo)志物的二維圖像。這一變換可由相對(duì)位置 矩陣來(lái)表達(dá)。步驟40)即用來(lái)計(jì)算這一位置矩陣。之后通過(guò)對(duì)已識(shí)別標(biāo)志物和標(biāo)志物正視圖 的亮度進(jìn)行比對(duì)來(lái)估算標(biāo)志物所處環(huán)境的光照信息；
步驟5Q)、由識(shí)別出的標(biāo)志物尋找對(duì)應(yīng)虛擬模型，利用提取出的標(biāo)志物位置矩陣確定模型的價(jià)置；
步驟60)、在真實(shí)拍攝的視頻幀上根據(jù)計(jì)算出的相對(duì)位置繪制虛擬模型，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)。 進(jìn)一步地，如圖3所示，所述步驟20)具體包括以下步驟 步驟21)、將彩色圖轉(zhuǎn)化為灰度步驟22)、初步提取特征點(diǎn)，具體提取特征點(diǎn)的方法如下
對(duì)于圖片上的每個(gè)象素m，若以m為中點(diǎn)、圍繞著m的八個(gè)象素中的任意兩個(gè)滿足以下兩 個(gè)條件
1、 這兩個(gè)像素處于以m為中點(diǎn)的這圈像素的某條直徑兩端；
2、 這兩個(gè)像素的灰度值均與m接近。
則這個(gè)像素m被認(rèn)為是"不穩(wěn)定"的點(diǎn)。排除所有"不穩(wěn)定"的像素后，剩下的即為初步 提取出的"較穩(wěn)定"特征點(diǎn)。這樣可以很快地去除位于灰度值較平均的區(qū)域與位于邊緣上的 點(diǎn)；
步驟23)、把灰度圖進(jìn)行正視圖視角變換，在變換后的視圖中提取特征點(diǎn)，用來(lái)得到更為 穩(wěn)定的特征點(diǎn)，具體如下
對(duì)于一幅給定的標(biāo)志物的正視圖，用步驟22)中的方法提取出M個(gè)特征點(diǎn)，按特征點(diǎn)的 坐標(biāo)位置順序編號(hào)，構(gòu)成一個(gè)特征點(diǎn)集合K^1^， k2……kj，集合中每個(gè)元素表示相應(yīng)編號(hào)的 一個(gè)特征點(diǎn)。
對(duì)該標(biāo)志物原始正視圖進(jìn)行多個(gè)不同角度的透視變換，并給變換后的正視圖加上白噪聲， 之后再利用步驟22)中的方法提取變換后的視圖的特征點(diǎn)，再利用反變換將提取出的特征點(diǎn) 還原為相應(yīng)的正視圖特征點(diǎn)。統(tǒng)計(jì)多個(gè)經(jīng)過(guò)不同角度變換的視圖經(jīng)上述"變換-提取-還原" 后的特征點(diǎn)仍能找到原始正視圖相對(duì)應(yīng)特征點(diǎn)的概率，概率最高的N個(gè)點(diǎn)被最終確認(rèn)為"穩(wěn) 定"的特征點(diǎn)。通過(guò)該方法可對(duì)步驟22)中提取出的特征點(diǎn)進(jìn)行進(jìn)一步篩選，得到最為穩(wěn)定 的特征點(diǎn)。集合K的元素?cái)?shù)由M減為N，即IHK" K2……KN};
步驟24)、構(gòu)建"特定視點(diǎn)集合"，該"特定視點(diǎn)集合"用于步驟25)中訓(xùn)練與構(gòu)建"隨 機(jī)樹(shù)"；
本發(fā)明基于特征點(diǎn)提取與隨機(jī)樹(shù)分類對(duì)標(biāo)志物進(jìn)行識(shí)別且計(jì)算標(biāo)志物在攝像頭坐標(biāo)系中 的位置，其中一個(gè)最為關(guān)鍵的問(wèn)題是，判斷待識(shí)別幀中是否包含正視圖上的"穩(wěn)定特征點(diǎn)"， 以及包含的是哪個(gè)特征點(diǎn)。為實(shí)現(xiàn)此目的，構(gòu)建了 "特定視點(diǎn)集合"，對(duì)其的解釋如下
將所有經(jīng)不同角度的透視變換的正視圖中的同一個(gè)特征點(diǎn)取出，專門(mén)構(gòu)成一個(gè)集合，可得 到N個(gè)集合，每個(gè)集合對(duì)應(yīng)一個(gè)穩(wěn)定特征點(diǎn)，這些集合即所謂的"特定視點(diǎn)集合"。例如，將
11原始正視圖分，xl 。au 的范TO轉(zhuǎn)進(jìn)行JSH變換，將繞x軸的轉(zhuǎn)向均分
為L(zhǎng)x個(gè)角度，將繞y軸的轉(zhuǎn)向均分為L(zhǎng)y個(gè)角度，最終可得L=LxXLy幅變換視圖，將所有變 換視圖中編號(hào)相同的特征點(diǎn)取出，可得到N個(gè)集合Vn={Vnl, Vn2……vj， 1《n《N，每個(gè)K就是 對(duì)應(yīng)一個(gè)特征點(diǎn)的"特定視點(diǎn)集合"，該集合中的每個(gè)元素包含了在不同視角變換下同一特征 點(diǎn)的不同位置；
步驟25)、構(gòu)建隨機(jī)樹(shù)用以特征點(diǎn)分類和識(shí)別；
隨機(jī)樹(shù)分類法是一種快速簡(jiǎn)潔的分類法。其具體構(gòu)建方法如下-
隨機(jī)樹(shù)采用二叉樹(shù)結(jié)構(gòu)，只有一個(gè)樹(shù)冠，分出兩個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)再分出兩個(gè)節(jié)點(diǎn)，依次 遞歸，直到最底層的節(jié)點(diǎn)不再有分支，稱之為樹(shù)葉。每個(gè)節(jié)點(diǎn)都有一個(gè)判斷公式，當(dāng)一個(gè)數(shù) 據(jù)從樹(shù)冠輸入后，每個(gè)節(jié)點(diǎn)的判斷公式會(huì)對(duì)其進(jìn)行判斷，以決定將其放入左邊還是右邊的節(jié) 點(diǎn)，放入下一層節(jié)點(diǎn)后再進(jìn)行判斷，直到進(jìn)入某一個(gè)樹(shù)葉。本發(fā)明中，輸入的數(shù)據(jù)為32X32 像素的面片，每個(gè)面片可包含或不包含特征點(diǎn)。在訓(xùn)練時(shí)將大量包含"特定視點(diǎn)集合"中的 特征點(diǎn)的面片輸入隨機(jī)樹(shù)，讓每個(gè)面片進(jìn)入某一片樹(shù)葉，當(dāng)所有的面片都進(jìn)入樹(shù)葉后，便可 計(jì)算每片葉子對(duì)應(yīng)所有"穩(wěn)定"的特征點(diǎn)的概率分布，即數(shù)一下進(jìn)入這個(gè)葉片的每個(gè)編號(hào)的 特征點(diǎn)的總數(shù)占進(jìn)入這個(gè)葉片的總面片數(shù)的比例。這樣，每片葉子都包含各自的一組面向所 有"穩(wěn)定"特征點(diǎn)的概率分布。本實(shí)施例中使用了多棵隨機(jī)樹(shù)來(lái)增加識(shí)別的準(zhǔn)確性。某片樹(shù) 葉包含的概率分布可由如下公式表示
其中，P代表32X32像素的一塊面片，Y (p)是該面片所包含的特征點(diǎn)對(duì)應(yīng)的特征點(diǎn)標(biāo) 號(hào)，ce卜l， 1， 2……N}，其中-l表示不包含任何特征點(diǎn)的面片。l為隨機(jī)樹(shù)的編號(hào)，？7代表
p面片投入第1棵樹(shù)所到達(dá)的那片樹(shù)葉。
為每個(gè)結(jié)點(diǎn)選取的多種判斷公式，本實(shí)施例中為每個(gè)結(jié)點(diǎn)選取的判斷公式如下
" 、[如果/(>，附1)一/(^/ 2)《/(^，《3)-/(^附4)進(jìn)入左節(jié)點(diǎn)
h 2 & " 1 其他 進(jìn)入右節(jié)點(diǎn)
其中，/(A附)表示面片P在歷點(diǎn)的亮度，^,A^,/^,/^為面片p中隨機(jī)挑選的四個(gè)位置不
同像素。
這樣便構(gòu)建起了一棵隨機(jī)樹(shù)，其主要特征就是各個(gè)結(jié)點(diǎn)上的判斷公式以及各片葉子上不同 的概率分布。
通過(guò)以不同方式分割面片與計(jì)算每個(gè)像素不同方向的梯度值，可為每個(gè)節(jié)點(diǎn)設(shè)置不同的判斷公式，進(jìn)而構(gòu)建出多棵不同的隨機(jī)樹(shù)。
進(jìn)一步地，所述步驟40)具體包括以下步驟-
將攝像頭采集的一幀圖像分解為32X32像素的面片，將每片面片輸入步驟25)中構(gòu)建的 不同的隨機(jī)樹(shù)；
表示面片p所包含特征點(diǎn)經(jīng)估算得到的特征點(diǎn)標(biāo)號(hào)，#0 )可利用以下公式算得
一 1 JXp)-argmax; c(; )-argmax丁 Sp) (JO) = c)
c c厶,=i...L
該公式的含義是將面片P在不同樹(shù)中所到達(dá)的葉片的概率分布相加取平均值，得到一個(gè)平 均概率分布，將這個(gè)平均概率分布中概率最大的那個(gè)穩(wěn)定特征點(diǎn)的標(biāo)號(hào)，作為面片p對(duì)應(yīng)的 特征點(diǎn)的標(biāo)號(hào)。利用該公式便可以建立新采集圖像特征點(diǎn)和原始正視圖特征點(diǎn)的對(duì)應(yīng)。實(shí)驗(yàn)
表明，該對(duì)應(yīng)的正確率在90%以上。在建立了特征點(diǎn)的對(duì)應(yīng)之后，便可以利用計(jì)算機(jī)視覺(jué)中常 用的算法來(lái)計(jì)算標(biāo)志物在攝像頭坐標(biāo)系中的位置。圖4顯示了一頁(yè)書(shū)上特征點(diǎn)對(duì)應(yīng)的情況。
以上所述的實(shí)施例僅用于說(shuō)明本發(fā)明的技術(shù)思想及特點(diǎn)，其目的在使本領(lǐng)域內(nèi)的技術(shù)人 員能夠了解本發(fā)明的內(nèi)容并據(jù)以實(shí)施，當(dāng)不能僅以本實(shí)施例來(lái)限定本發(fā)明的專利范圍，即凡 依本發(fā)明所揭示的精神所作的同等變化或修飾，仍落在本發(fā)明的專利范圍內(nèi)。
權(quán)利要求
1、一種基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)方法，其特征在于包括以下步驟步驟10)、初始化系統(tǒng)環(huán)境、配置系統(tǒng)參數(shù)；步驟20)、選擇或提取一幅標(biāo)志物正視圖，對(duì)標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)；步驟30)、計(jì)算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并進(jìn)行校正；步驟40)、對(duì)攝像頭拍攝到的真實(shí)環(huán)境中的每一幀，利用步驟30)中的數(shù)據(jù)進(jìn)行校正，再基于步驟20)中的訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，若含有標(biāo)志物，則計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中的相對(duì)位置矩陣；步驟50)、通過(guò)識(shí)別出的標(biāo)志物尋找對(duì)應(yīng)虛擬模型，利用提取出的標(biāo)志物位置矩陣確定模型的位置；步驟60)、在真實(shí)拍攝的視頻幀上根據(jù)計(jì)算出的相對(duì)位置繪制虛擬模型。
2、 根據(jù)權(quán)利要求1所述的基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)方法，其特征在 于，所述步驟20)具體包括以下步驟步驟21)、將彩色圖轉(zhuǎn)化為灰度圖；步驟22)、初步提取特征點(diǎn)，具體提取特征點(diǎn)的方法如下對(duì)于圖片上的每個(gè)象素m，若以m為中點(diǎn)、圍繞著m的八個(gè)象素中的任意兩個(gè)滿足以下兩 個(gè)條件，則排除這個(gè)像素ra:a、 這兩個(gè)像素處于以m為中點(diǎn)的這圈像素的某條直徑兩端，b、 這兩個(gè)像素的灰度值均與m接近；步驟23)、把灰度圖進(jìn)行正視圖視角變換，在變換后的視圖中提取特征點(diǎn)，用來(lái)得到更為 穩(wěn)定的特征點(diǎn)；步驟24)、將所有經(jīng)不同角度的透視變換的正視圖中的同一個(gè)特征點(diǎn)取出，構(gòu)成一個(gè)"特 定視點(diǎn)集合"，得到N個(gè)"特定視點(diǎn)集合"，每個(gè)"特定視點(diǎn)集合"對(duì)應(yīng)一個(gè)穩(wěn)定特征點(diǎn)； 步驟25)、構(gòu)建隨機(jī)樹(shù)用以特征點(diǎn)分類和識(shí)別。
3、 根據(jù)權(quán)利要求2所述的基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)方法，其特征在 于，所述步驟24)中"特定視點(diǎn)集合"的構(gòu)成方法為將原始正視圖分別繞x軸、y軸按(-;r， 的范圍旋轉(zhuǎn)進(jìn)行透視變換，將繞x軸的轉(zhuǎn) 向均分為L(zhǎng)x個(gè)角度，將繞y軸的轉(zhuǎn)向均分為L(zhǎng)y個(gè)角度，得L=LxXLy幅變換視圖，將所有變 換視圖中編號(hào)相同的特征點(diǎn)取出，得到N個(gè)集合V^Wm，Vn2……vJ，l《n《N，每個(gè)Vn就是對(duì) 應(yīng)一個(gè)特征點(diǎn)的"特定視點(diǎn)集合"，該集合中的每個(gè)元素包含了在不同視角變換下同一特征點(diǎn) 的不同位置。
4、 根據(jù)權(quán)利要求3所述的基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)方法，其特征在 于，所述步驟23)具體為對(duì)于一幅給定的標(biāo)志物的正視圖，用步驟22)中的方法提取出M個(gè)特征點(diǎn)，按特征點(diǎn)的 坐標(biāo)位置順序編號(hào)，構(gòu)成一個(gè)特征點(diǎn)集合KHk， k2……W，集合中每個(gè)元素表示相應(yīng)編號(hào)的 一個(gè)特征點(diǎn)；對(duì)該標(biāo)志物原始正視圖進(jìn)行多個(gè)不同角度的透視變換，并給變換后的正視圖加上白噪聲， 之后再利用步驟22)中的方法提取變換后的視圖的特征點(diǎn)，再利用反變換將提取出的特征點(diǎn) 還原為相應(yīng)的正視圖特征點(diǎn)；統(tǒng)計(jì)多個(gè)經(jīng)過(guò)不同角度變換的視圖經(jīng)上述"變換-提取-還原" 后的特征點(diǎn)仍能找到原始正視圖相對(duì)應(yīng)特征點(diǎn)的概率，概率最高的N個(gè)點(diǎn)被確認(rèn)為"穩(wěn)定" 的特征點(diǎn)，集合K的元素?cái)?shù)由M減為N，即K^K,， K2……KJ。
5、 根據(jù)權(quán)利要求4所述的基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)方法，其特征在 于，所述步驟25)中構(gòu)建隨機(jī)樹(shù)用以特征點(diǎn)分類和識(shí)別，具體如下隨機(jī)樹(shù)采用二叉樹(shù)結(jié)構(gòu)，輸入的數(shù)據(jù)為32X32像素的面片，在訓(xùn)練時(shí)將大量包含"特定 視點(diǎn)集合"中的特征點(diǎn)的面片輸入隨機(jī)樹(shù)，讓每個(gè)面片進(jìn)入某一片樹(shù)葉，當(dāng)所有的面片都進(jìn) 入樹(shù)葉后，計(jì)算每片葉子對(duì)應(yīng)所有"穩(wěn)定"的特征點(diǎn)的概率分布，某片樹(shù)葉包含的概率分布 可由如下公式表示其中，p代表32X32像素的一塊面片，Y (P)是該面片所包含的特征點(diǎn)對(duì)應(yīng)的特征點(diǎn)標(biāo) 號(hào)，ce{-1， 1, 2……N}，其中-l表示不包含任何特征點(diǎn)的面片，l為隨機(jī)樹(shù)的編號(hào)，；/代表p面片投入第1棵樹(shù)所到達(dá)的那片樹(shù)葉； 為每個(gè)結(jié)點(diǎn)選取的判斷公式如下，其中，/0 ,w)表示面片p在仿點(diǎn)的亮度，W，m2，附3，附4為面片p中隨機(jī)挑選的四個(gè)位置不
6、根據(jù)權(quán)利要求5所述的基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)方法，其特征在 于，所述步驟40)具體包括以下步驟將采集的一幀圖像分解為32X32像素的面片，將每片面片輸入步驟25)中構(gòu)建的隨機(jī)樹(shù);'如果/0，M)—/(>,加2) W(A怖3) —Z0v 4)，進(jìn)入左節(jié)點(diǎn) 其他 ，進(jìn)入右節(jié)點(diǎn)同像素。表示面片p所包含特征點(diǎn)經(jīng)估算得到的特征點(diǎn)標(biāo)號(hào)，f (p)利用以下公式算得 <formula>formula see original document page 4</formula>該公式是將面片p在不同樹(shù)中所到達(dá)的葉片的概率分布相加取平均值，得到一個(gè)平均概率 分布，將這個(gè)平均概率分布中概率最大的那個(gè)穩(wěn)定特征點(diǎn)的標(biāo)號(hào)，作為面片p對(duì)應(yīng)的特征點(diǎn)的標(biāo)號(hào)；利用該公式建立新采集圖像特征點(diǎn)和原始正視圖特征點(diǎn)的對(duì)應(yīng)。
7、 一種基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，其特征在于包括 視頻幀訓(xùn)練模塊，用于選擇或提取一幅標(biāo)志物正視圖，對(duì)標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)； 視頻幀校正模塊，與所述視頻幀訓(xùn)練模塊相連接，用于計(jì)算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并進(jìn)行校正；視頻幀捕獲模塊，與所述視頻幀訓(xùn)練模塊和所述視頻幀校正模塊相連接，用于對(duì)攝像頭拍 攝到的真實(shí)環(huán)境中的每一幀，利用所述視頻幀校正模塊中的數(shù)據(jù)進(jìn)行校正，再基于所述視頻 幀訓(xùn)練模塊中的訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，若含有標(biāo)志物，則計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中的 相對(duì)位置矩陣，并通過(guò)對(duì)已識(shí)別標(biāo)志物和標(biāo)志物正視圖的亮度進(jìn)行比對(duì)來(lái)估算標(biāo)志物所處環(huán) 境的光照信息；虛實(shí)合成模塊，與視頻幀捕獲模塊相連接，用于通過(guò)識(shí)別出的標(biāo)志物尋找對(duì)應(yīng)虛擬模型， 利用提取出的標(biāo)志物位置矩陣確定模型的位置，在真實(shí)拍攝的視頻幀上根據(jù)計(jì)算出的相對(duì)位 置繪制虛擬模型。
全文摘要
基于圖像特征點(diǎn)提取與隨機(jī)樹(shù)分類的增強(qiáng)現(xiàn)實(shí)方法及系統(tǒng)，包括初始化系統(tǒng)環(huán)境、配置系統(tǒng)參數(shù)；選擇或提取一幅標(biāo)志物正視圖，對(duì)標(biāo)志物進(jìn)行訓(xùn)練，獲得訓(xùn)練數(shù)據(jù)；計(jì)算標(biāo)志物圖像的相機(jī)內(nèi)部參數(shù)并進(jìn)行校正；對(duì)攝像頭拍攝到的真實(shí)環(huán)境中的每一幀，進(jìn)行校正，基于訓(xùn)練數(shù)據(jù)識(shí)別標(biāo)志物，計(jì)算該標(biāo)志物在攝像頭坐標(biāo)系中的相對(duì)位置矩陣；通過(guò)識(shí)別出的標(biāo)志物尋找對(duì)應(yīng)虛擬模型，利用提取出的標(biāo)志物位置矩陣確定模型的位置，繪制虛擬模型。本發(fā)明極大地減少了對(duì)標(biāo)志物的限制，可用于對(duì)地圖與復(fù)雜二維圖像進(jìn)行標(biāo)示，也可在任意二維圖像上合成三維模型，形成立體、生動(dòng)的效果。
文檔編號(hào)G06K9/46GK101520849SQ20091004811
公開(kāi)日2009年9月2日 申請(qǐng)日期2009年3月24日 優(yōu)先權(quán)日2009年3月24日
發(fā)明者周暖云, 季斐翀, 晉 潘, 濤 陸 申請(qǐng)人:上海水晶石信息技術(shù)有限公司