專利名稱：基于增強現(xiàn)實的虛實碰撞檢測及響應方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種增強現(xiàn)實虛實碰撞技術(shù)，具體地說是一種基于增強現(xiàn)實應用的單目視覺的任意形狀虛擬物體對實際物體碰撞檢測及響應的方法。
背景技術(shù)：
隨著人們對交互體驗的要求不斷增強，增強現(xiàn)實(Augmented Reality，AR)應用已獲得快速發(fā)展。而基于視覺的AR系統(tǒng)因為對硬件要求不高已成為應用主流。在增強現(xiàn)實系統(tǒng)及應用中，真實物體與虛擬對象進行交互，虛實碰撞問題無可避免。準確的虛實碰撞檢測及響應能使AR應用更加自然、真實，從而使自由的虛實人機交互成為可能。早期的AR系統(tǒng)， 一般使用標記來幫助注冊定位。因為自然交互的要求，無標記的AR系統(tǒng)已有很大發(fā)展。并且將AR應用移植到移動設備上已成流行趨勢，這些都對虛實碰撞檢測及其響應算法提出了更高的要求。對于碰撞檢測研究，如中國專利其名稱為“一種基于平衡二叉樹的大規(guī)模虛擬場景碰撞檢測方法”，申請?zhí)朇N200910086719. 0 ；中國專利其名稱為“面向復雜場景實時交互操作的并行碰撞檢測方法”，申請?zhí)朇N200710043743. 7 ；中國專利其名稱為“一種在服務器端實現(xiàn)三維游戲碰撞檢測的方法”，申請?zhí)朇N200710117^6. 6。這些碰撞檢測方法首先是針對大規(guī)模復雜的虛擬場景的碰撞檢測方法，是虛擬物體對虛擬物體的碰撞檢測方法，不適合虛擬物體對實際物體的碰撞檢測。其次，這些碰撞檢測方法依靠硬件實現(xiàn)，不適合于移植到移動設備的要求。中國專利其名稱為“使用剪切的實時碰撞檢測”，申請?zhí)?CN200780048182.8 ；中國專利其名稱為“一種基于橢球體掃描的連續(xù)碰撞檢測方法”；申請?zhí)朇N200910087900. 3 ；中國專利其名稱為“一種基于四叉包圍盒樹的柔性織物自碰撞檢測方法”，申請?zhí)朇N200910087902. 2 ；中國專利其名稱為“一種基于剖分的并行碰撞檢測方法”，申請?zhí)朇N200810202774. 7。這些碰撞檢測算法主要針對的是虛擬場景中的虛擬物體對虛擬物體的碰撞檢測，不適合增強現(xiàn)實中的虛擬物體對實際物體的碰撞檢測。目前，國內(nèi)外還沒有利用基于單目視覺的三維虛實碰撞碰撞檢測及響應的研究和報道。上述專利及相關(guān)研究皆依靠硬件設備，或者僅針對虛擬現(xiàn)實進行研究，并未使用廉價的單攝像頭進行虛實碰撞研究。即使虛實碰撞的研究成果，也僅針對二維的情況，并且難以擴展到三維環(huán)境。

發(fā)明內(nèi)容
鑒于以上所述現(xiàn)有技術(shù)存在的問題和不足，本發(fā)明的目的在于提供一種基于增強現(xiàn)實的虛實碰撞檢測及響應方法，該方法能通過單攝像頭拍攝實際畫面，通過簡單的圖像分割、 特征點提取，獲得實際物體平面特征點坐標。再計算虛擬物體質(zhì)心到碰撞平面的距離進行碰撞檢測，最終估計出下一幀虛擬物體的運動。該方法能夠通過簡單的單一攝像頭處理三維虛實碰撞問題。為達到上述目的，本發(fā)明采用下述技術(shù)構(gòu)思根據(jù)攝影原理、計算機視覺技術(shù)和光學技術(shù)，將實時獲取實際物體的數(shù)據(jù)進行分析，將虛實物體進行對位，處理虛擬物體與實際物體碰撞三維問題。
根據(jù)上述技術(shù)構(gòu)思，本發(fā)明采用以下技術(shù)方案一種基于增強現(xiàn)實的虛實碰撞檢測及響應方法，其特征在于操作步驟為①對攝像頭獲得的實際物體進行預處理，②進行實際物體姿勢估計和運動估計，③根據(jù)虛擬物體質(zhì)心到碰撞平面的位置關(guān)系進行虛實碰撞檢測，④根據(jù)檢測結(jié)果進行虛實碰撞響應，⑤修改虛擬圖形并渲染輸出。上述步驟原理如下
①、通過攝像頭獲得實際物體的關(guān)鍵幀圖像，通過基于膚色的圖像分割、并通過根據(jù)手掌掌紋進行特征點提取，獲得屏幕坐標系中特征點的坐標
J1為、A2. A1,這些特征點數(shù)量為4點，分布規(guī)律呈正方形。②、通過世界坐標系到屏幕坐標系的轉(zhuǎn)換公式計算世界坐標系中的對應點 B" B” 5,、Ba。世界坐標系與屏幕坐標系坐標轉(zhuǎn)換公式如下
其中，rw是世界坐標系(Xlt,，K.，Zu.)到攝像頭坐標系(Xr ,Yr, Zr )的變換
矩陣。在Tcti中I^3x3為選擇矩陣，為平移矩陣。在獲得特征點后，通過獲得碰撞平面
的法向量 ζ ；獲得Bp B2、B3、B4后，計算出質(zhì)心C >t，Zc )。則求得t時刻的
實際物體的運動向量
權(quán)利要求
1.一種基于增強現(xiàn)實的虛實碰撞檢測及響應方法，其特征在于，操作步驟為①對攝像頭獲得的實際物體進行預處理，②進行實際物體姿勢估計和運動估計，③根據(jù)虛擬物體質(zhì)心到碰撞平面的位置關(guān)系進行虛實碰撞檢測，④根據(jù)檢測結(jié)果進行虛實碰撞響應，⑤修改虛擬圖形并渲染輸出。
2.根據(jù)權(quán)利要求1所述基于增強現(xiàn)實的虛實碰撞檢測及響應方法，其特征在于所述步驟①，對攝像頭獲得的實際物體預處理過程是對關(guān)鍵幀進行圖像分割、特征點提取，獲得屏幕坐標系中特征點的坐標集；具體步驟操作步驟如下(1)、通過單目攝像頭獲取實際物體的關(guān)鍵幀圖像；(2)、輸入捕獲的圖像；(3)、對圖像進行膚色檢測；(4)、對步驟(3)處理結(jié)果進行連通域檢測；(5)、計算連通域面積并去除小面積的區(qū)域；(6)、通過掌紋的特征，進行四個矩形分布的特征點提?。?7)、預處理過程結(jié)束。
3.根據(jù)權(quán)利要求1所述基于增強現(xiàn)實的虛實碰撞檢測及響應方法，其特征在于，所述步驟②進行實際物體姿勢估計和運動估計的方法是通過計算世界坐標系到屏幕坐標系的變換矩陣，獲得對應點的坐標，計算碰撞平面法向量進行實際物體姿勢估計，并對當前時刻的實際物體進行運動估計；具體操作步驟如下(8)、實際物體的姿勢估計和運動估計過程開始；(9)、根據(jù)步驟①獲得的特征點，計算變換矩陣；(10)、計算特征點在世界坐標系中的坐標；(11)、計算特征點構(gòu)成的碰撞平面的單位法向量S；；(12)、根據(jù)步驟(10)獲得結(jié)果，計算碰撞平面的質(zhì)心；(13)、根據(jù)碰撞平面的質(zhì)心計算實際物體的運動向量實；(14)、實際物體的姿勢估計和運動估計過程結(jié)束。
4.根據(jù)權(quán)利要求1所述基于增強現(xiàn)實的虛實碰撞檢測及響應方法，其特征在于，所述步驟③中進行虛實碰撞檢測的方法是將虛擬物體近似為一個球體，虛擬物體與實際物體碰撞近似為球與平面的碰撞；虛擬物體球的質(zhì)心到碰撞平面的距離即是質(zhì)心到特征點的向量在平面法向量上的投影，此時虛實碰撞檢測的前提條件就是此距離不大于球的半徑；如不滿足前提條件即可判定不產(chǎn)生虛實碰撞，當滿足此條件，則計算出質(zhì)心在碰撞平面的投影，并且判斷其是否在特征點所圍成的碰撞區(qū)域內(nèi)部；如果滿足條件，則碰撞點在碰撞區(qū)域內(nèi)部，未滿足條件則計算此質(zhì)心投影到碰撞區(qū)域邊緣的距離是否小于等于球的半徑；如果不滿足條件，則不發(fā)生虛實碰撞，如滿足條件，則計算虛擬物體的質(zhì)心的位置是否在兩特征點之間；滿足條件則碰撞點的位置在碰撞區(qū)域邊緣，如不滿足條件，則繼續(xù)計算虛擬物體的質(zhì)心到任意四個特征點之一的距離是否小于等于球的半徑；滿足條件，則發(fā)生碰撞，碰撞點位置在此特征點上，不滿足則不產(chǎn)生虛實碰撞；具體操作步驟如下(15)、碰撞檢測過程開始；(16)、虛擬物體質(zhì)心到碰撞平面的距離d是否滿足條件d≤τΓ？如果滿足，則轉(zhuǎn)步驟(17)，否則轉(zhuǎn)步驟(22)；(17)、計算虛擬物體質(zhì)心在碰撞平面的投影G’是否在四個特征點圍成的碰撞區(qū)域內(nèi)？ 如果是在碰撞區(qū)域內(nèi)，則轉(zhuǎn)步驟(21 )，否則轉(zhuǎn)步驟(18)；(18)、計算步驟(17)所得投影G’到碰撞區(qū)域邊緣的距離d1是否滿足條件d1≤τr ？如果滿足，則轉(zhuǎn)步驟(19)，否則轉(zhuǎn)步驟(22)；(19)、虛擬物體的質(zhì)心，在任意兩特征點組成的碰撞邊緣線上的投影，是否在兩特征點之間？是則轉(zhuǎn)步驟(21)，否則轉(zhuǎn)步驟(20)；(20)、虛擬物體的質(zhì)心到任意四個特征點之一的距離d2是否滿足條件d2≤τr？是則轉(zhuǎn)步驟(21)，否則轉(zhuǎn)步驟(22)；(21)、發(fā)生了虛實碰撞；(22)、碰撞檢測過程結(jié)束。
5.根據(jù)權(quán)利要求1所述基于增強現(xiàn)實的虛實碰撞檢測及響應方法，其特征在于，所述步驟④中的虛實碰撞響應的方法是如未發(fā)生虛實碰撞，則下一幀虛擬物體的運動向量與此幀虛擬物體的運動向量相同；如發(fā)生了虛實碰撞，計算碰撞平面的法向量與虛擬物體的運動向量夾角是否在90°到180°間，在此區(qū)間則下一幀虛擬物體的運動向量等于虛擬物體運動向量在碰撞平面法向量上的投影向量、虛擬物體運動向量與沖量之和；不在區(qū)間內(nèi)則下一幀虛擬物體的運動向量為此刻虛實物體運動向量之和；具體操作步驟如下(23)、碰撞響應過程開始；(M)、計算虛擬物體的運動向量
6.根據(jù)權(quán)利要求1所述基于增強現(xiàn)實的虛實碰撞檢測及響應方法，其特征在于，所述步驟⑤修改虛擬圖形并渲染輸出是根據(jù)虛實碰撞響應結(jié)果，計算虛擬物體的運動，根據(jù)增強現(xiàn)實技術(shù)進行虛擬物體注冊，最后進行渲染輸出。
全文摘要
本發(fā)明公開了一種基于增強現(xiàn)實的虛實碰撞檢測及響應方法。該方法的操作步驟為①對攝像頭獲得的實際物體進行預處理；②進行實際物體姿勢估計和運動估計；③根據(jù)虛擬物體質(zhì)心到碰撞平面的位置關(guān)系進行虛實碰撞檢測；④根據(jù)檢測結(jié)果進行虛實碰撞響應；⑤修改虛擬圖形并渲染輸出。該方法僅計算實際物體四個特征點的三維碰撞檢測方法，就能獲得較真實的三維虛實碰撞響應效果，計算復雜度較低，實現(xiàn)了基于單目視覺的三維虛實碰撞檢測與響應。
文檔編號G06T17/00GK102194248SQ20111011497
公開日2011年9月21日 申請日期2011年5月5日 優(yōu)先權(quán)日2011年5月5日
發(fā)明者凌晨, 張文俊, 陳明 申請人:上海大學