本發(fā)明涉及虛擬現(xiàn)實技術(shù)領(lǐng)域,尤其涉及一種確定待測對象的運動信息的方法及裝置。
背景技術(shù):
虛擬現(xiàn)實頭盔,是指一種通過利用頭盔顯示器將人的對外界的視覺、聽覺封閉,引導(dǎo)用戶產(chǎn)生一種身在虛擬環(huán)境中的感覺的頭盔。隨著電子技術(shù)的不斷發(fā)展,虛擬現(xiàn)實頭盔已經(jīng)允許用戶通過多種先進的傳感手段根據(jù)自己在虛擬環(huán)境中的視點和位置來控制虛擬畫面,具體來說,在用戶使用虛擬現(xiàn)實頭盔的過程中,通過感知用戶頭部的運動狀態(tài),從而為用戶呈現(xiàn)出不同的場景。虛擬現(xiàn)實頭盔一個重要的體驗就是沉浸感,因此,能否準(zhǔn)確快速感知到用戶頭部的運動狀態(tài)是影響虛擬現(xiàn)實頭盔性能的重要指標(biāo)。
目前,由于普通加速計無法準(zhǔn)確獲取空間平移向量,大部分虛擬現(xiàn)實頭盔只能通過陀螺儀等傳感器獲取旋轉(zhuǎn)姿態(tài),然而,采用這種方式,在用戶使用虛擬現(xiàn)實頭盔的過程中,缺乏對用戶頭部平移運動(也就是虛擬現(xiàn)實頭盔的平移運動)的感知,導(dǎo)致對虛擬現(xiàn)實頭盔的運動狀態(tài)的感知出現(xiàn)偏差,極大影響了用戶的實際體驗。
綜上,目前亟需一種能夠準(zhǔn)確快速地感知虛擬現(xiàn)實頭盔運動狀態(tài)的方法。
技術(shù)實現(xiàn)要素:
本發(fā)明實施例提供一種確定待測對象的運動信息的方法及裝置,用以實現(xiàn)準(zhǔn)確快速地感知虛擬現(xiàn)實頭盔運動狀態(tài)。
本發(fā)明實施例提供的一種確定待測對象的運動信息的方法,包括:
獲取連續(xù)采集到的待測對象在n個時刻的第一至第n幀圖像,每幀圖像至少包括所述待測對象的m個物理標(biāo)記點的標(biāo)記點影像,所述待測對象的各物理標(biāo)記點根據(jù)設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài);
針對m個標(biāo)記點影像中的每個標(biāo)記點影像,從所述第一至第n幀圖像中識別出所述標(biāo)記點影像在n個時刻的狀態(tài)信息,將所述標(biāo)記點影像在n個時刻的狀態(tài)信息與各物理標(biāo)記點設(shè)定的時序參數(shù)進行比較,確定所述第一至第n幀圖像中的標(biāo)記點影像與所述待測對象的物理標(biāo)記點的對應(yīng)關(guān)系;
根據(jù)所述m個標(biāo)記點影像與所述m個物理標(biāo)記點的對應(yīng)關(guān)系,確定所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息。
較佳地,獲取所述待測對象的m個物理標(biāo)記點在預(yù)設(shè)的世界坐標(biāo)系中的位置信息以及所述m個標(biāo)記點影像在預(yù)設(shè)的圖像坐標(biāo)系中的位置信息;
根據(jù)所述m個標(biāo)記點影像與所述m個物理標(biāo)記點的對應(yīng)關(guān)系,以及所述m個物理標(biāo)記點和所述m個標(biāo)記點影像的位置信息,確定所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息。
較佳地,所述獲取連續(xù)采集到的待測對象在n個時刻的第一至第n幀圖像之后,從所述第一至第n幀圖像中識別出所述標(biāo)記點影像在n個時刻的狀態(tài)信息之前,還包括:
根據(jù)如下方式確定第i幀圖像中的標(biāo)記點影像,i為正整數(shù),且1≤i≤n:
根據(jù)所述第i幀圖像的各個像素點的像素值,得到第一備選標(biāo)記點影像;所述第一備選標(biāo)記點影像的像素點的像素值大于等于第一閾值;
根據(jù)各個所述第一備選標(biāo)記點影像,確定與各個所述第一備選標(biāo)記點影像對應(yīng)的方形區(qū)域;與所述第一備選標(biāo)記點影像對應(yīng)的方形區(qū)域為包含所述第一備選標(biāo)記點影像的最小方形區(qū)域;
根據(jù)各個所述方形區(qū)域中像素點的個數(shù)以及方形區(qū)域邊界上的像素點的個數(shù),得到目標(biāo)方形區(qū)域;所述目標(biāo)方形區(qū)域的像素點的個數(shù)大于等于第二閾值,且邊界上的像素點的個數(shù)符合預(yù)設(shè)條件;
將與所述目標(biāo)方形區(qū)域?qū)?yīng)的第一備選標(biāo)記點影像確定為所述第i幀圖像中的標(biāo)記點影像。
較佳地,從所述第一至第n幀圖像中識別出所述標(biāo)記點影像在n個時刻的狀態(tài)信息,包括:
獲取所述標(biāo)記點影像在第i幀圖像中的識別信息以及在第i-1幀圖像中的識別信息;i為正整數(shù),且1≤i≤n;
根據(jù)所述標(biāo)記點影像在第i幀圖像中的的識別信息以及在第i-1幀圖像中的識別信息的比較結(jié)果,確定所述標(biāo)記點影像在第i幀圖像中的狀態(tài)信息。
較佳地,所述待測對象的各物理標(biāo)記點為紅外點;所述根據(jù)設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài)為根據(jù)設(shè)定的在不同時刻的亮度參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的亮度狀態(tài);所述標(biāo)記點影像在第一至第n幀圖像中的識別信息是根據(jù)所述物理標(biāo)記點在不同時刻的亮度狀態(tài)而得到的標(biāo)記點影像的面積;
根據(jù)所述標(biāo)記點影像在第i幀圖像中的的識別信息以及在第i-1幀圖像中的識別信息的比較結(jié)果,確定所述標(biāo)記點影像在第i幀圖像中的狀態(tài)信息,包括:
根據(jù)所述標(biāo)記點影像在第i幀圖像中的的面積與在第i-1幀圖像中的面積的比較結(jié)果,確定所述標(biāo)記點影像在第i幀圖像中的狀態(tài)信息。
較佳地,將所述標(biāo)記點影像在n個時刻的狀態(tài)信息與各物理標(biāo)記點設(shè)定的時序參數(shù)進行比較,確定所述第一至第n幀圖像中的標(biāo)記點影像與所述待測對象的物理標(biāo)記點的對應(yīng)關(guān)系,包括:
確定所述標(biāo)記點影像在n個時刻的狀態(tài)信息對應(yīng)的第一編碼信息;
確定所述各物理標(biāo)記點設(shè)定的時序參數(shù)對應(yīng)的第二編碼信息;
若所述標(biāo)記點影像的第一編碼信息與物理標(biāo)記點的第二編碼信息之間的相似度大于等于第一閾值,則將該標(biāo)記點影像確定為該物理標(biāo)記點對應(yīng)的標(biāo)記點影像,進而得到所述第一至第n幀圖像中的m個標(biāo)記點影像與所述待測對象的m個物理標(biāo)記點的對應(yīng)關(guān)系。
較佳地,通過以下方式得到各物理標(biāo)記點設(shè)定的時序參數(shù)對應(yīng)的第二編碼信息:
第一物理標(biāo)記點為所述待測對象的各物理標(biāo)記點中的任一個,通過以下方式確定所述第一物理標(biāo)記點設(shè)定的時序參數(shù)對應(yīng)的第二編碼信息:
根據(jù)所述待測對象的物理標(biāo)記點的個數(shù)建立編碼庫,所述編碼庫中的編碼信息的個數(shù)大于或等于所述待測對象的物理標(biāo)記點的個數(shù);
從所述編碼庫中選取一組編碼信息;
確定該組編碼信息與已確定的物理標(biāo)記點的第二編碼信息的漢明距離大于第二閾值后,將該組編碼信息確定為所述第一物理標(biāo)記點的編碼信息。
較佳地,根據(jù)所述標(biāo)記點影像與所述物理標(biāo)記點的對應(yīng)關(guān)系,以及所述各個物理標(biāo)記點和所述各個標(biāo)記點影像的位置信息,確定所述待測對象在所述第一至n幀圖像對應(yīng)時刻的運動信息,包括:
根據(jù)所述標(biāo)記點影像與所述物理標(biāo)記點的對應(yīng)關(guān)系,以及所述各個物理標(biāo)記點和所述各個標(biāo)記點影像的位置信息,利用pnp算法確定所述攝像裝置相對于所述待測對象的的旋轉(zhuǎn)量和平移量;
根據(jù)所述攝像裝置相對于所述待測對象的旋轉(zhuǎn)量和平移量,得到所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息;所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息為所述待測對象在所述第n幀圖像對應(yīng)時刻相對于所述攝像裝置的旋轉(zhuǎn)量和平移量。
較佳地,所述利用pnp算法確定所述攝像裝置相對于所述待測對象的的旋轉(zhuǎn)量和平移量之后,確定所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息之前,還包括:
采用lm算法對所述攝像裝置相對于所述待測對象的旋轉(zhuǎn)量和平移量進行優(yōu)化。
本發(fā)明實施例提供一種確定待測對象的運動信息的裝置,包括:
獲取模塊,用于獲取連續(xù)采集到的待測對象在n個時刻的第一至第n幀圖 像,每幀圖像至少包括所述待測對象的m個物理標(biāo)記點的標(biāo)記點影像,所述待測對象的各物理標(biāo)記點根據(jù)設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài);
確定模塊,用于針對m個標(biāo)記點影像中的每個標(biāo)記點影像,從所述第一至第n幀圖像中識別出所述標(biāo)記點影像在n個時刻的狀態(tài)信息,將所述標(biāo)記點影像在n個時刻的狀態(tài)信息與各物理標(biāo)記點設(shè)定的時序參數(shù)進行比較,確定所述第一至第n幀圖像中的標(biāo)記點影像與所述待測對象的物理標(biāo)記點的對應(yīng)關(guān)系;
處理模塊,用于根據(jù)所述m個標(biāo)記點影像與所述m個物理標(biāo)記點的對應(yīng)關(guān)系,確定所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息。
較佳地,所述獲取模塊還用于:
獲取所述待測對象的m個物理標(biāo)記點在預(yù)設(shè)的世界坐標(biāo)系中的位置信息以及所述m個標(biāo)記點影像在預(yù)設(shè)的圖像坐標(biāo)系中的位置信息;
所述處理模塊具體用于:
根據(jù)所述m個標(biāo)記點影像與所述m個物理標(biāo)記點的對應(yīng)關(guān)系,以及所述m個物理標(biāo)記點和所述m個標(biāo)記點影像的位置信息,確定所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息。
較佳地,所述確定模塊還用于:
根據(jù)如下方式確定第i幀圖像中的標(biāo)記點影像,i為正整數(shù),且1≤i≤n:
根據(jù)所述第i幀圖像的各個像素點的像素值,得到第一備選標(biāo)記點影像;所述第一備選標(biāo)記點影像的像素點的像素值大于等于第一閾值;
根據(jù)各個所述第一備選標(biāo)記點影像,確定與各個所述第一備選標(biāo)記點影像對應(yīng)的方形區(qū)域;與所述第一備選標(biāo)記點影像對應(yīng)的方形區(qū)域為包含所述第一備選標(biāo)記點影像的最小方形區(qū)域;
根據(jù)各個所述方形區(qū)域中像素點的個數(shù)以及方形區(qū)域邊界上的像素點的個數(shù),得到目標(biāo)方形區(qū)域;所述目標(biāo)方形區(qū)域的像素點的個數(shù)大于等于第二閾值,且邊界上的像素點的個數(shù)符合預(yù)設(shè)條件;
將與所述目標(biāo)方形區(qū)域?qū)?yīng)的第一備選標(biāo)記點影像確定為所述第i幀圖像中的標(biāo)記點影像。
較佳地,所述確定模塊具體用于:
獲取所述標(biāo)記點影像在第i幀圖像中的識別信息以及在第i-1幀圖像中的識別信息;i為正整數(shù),且1≤i≤n;
根據(jù)所述標(biāo)記點影像在第i幀圖像中的的識別信息以及在第i-1幀圖像中的識別信息的比較結(jié)果,確定所述標(biāo)記點影像在第i幀圖像中的狀態(tài)信息。
較佳地,所述待測對象的各物理標(biāo)記點為紅外點;所述根據(jù)設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài)為根據(jù)設(shè)定的在不同時刻的亮度參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的亮度狀態(tài);所述標(biāo)記點影像在第一至第n幀圖像中的識別信息是根據(jù)所述物理標(biāo)記點在不同時刻的亮度狀態(tài)而得到的標(biāo)記點影像的面積;
所述確定模塊具體用于:
根據(jù)所述標(biāo)記點影像在第i幀圖像中的的面積與在第i-1幀圖像中的面積的比較結(jié)果,確定所述標(biāo)記點影像在第i幀圖像中的狀態(tài)信息。
較佳地,所述確定模塊具體用于:
確定所述標(biāo)記點影像在n個時刻的狀態(tài)信息對應(yīng)的第一編碼信息;
確定所述各物理標(biāo)記點設(shè)定的時序參數(shù)對應(yīng)的第二編碼信息;
若所述標(biāo)記點影像的第一編碼信息與物理標(biāo)記點的第二編碼信息之間的相似度大于等于第一閾值,則將該標(biāo)記點影像確定為該物理標(biāo)記點對應(yīng)的標(biāo)記點影像,進而得到所述第一至第n幀圖像中的m個標(biāo)記點影像與所述待測對象的m個物理標(biāo)記點的對應(yīng)關(guān)系。
較佳地,所述確定模塊具體用于:
第一物理標(biāo)記點為所述待測對象的各物理標(biāo)記點中的任一個,通過以下方式確定所述第一物理標(biāo)記點設(shè)定的時序參數(shù)對應(yīng)的第二編碼信息:
根據(jù)所述待測對象的物理標(biāo)記點的個數(shù)建立編碼庫,所述編碼庫中的編碼 信息的個數(shù)大于或等于所述待測對象的物理標(biāo)記點的個數(shù);
從所述編碼庫中選取一組編碼信息;
確定該組編碼信息與已確定的物理標(biāo)記點的第二編碼信息的漢明距離大于第二閾值后,將該組編碼信息確定為所述第一物理標(biāo)記點的編碼信息。
較佳地,所述處理模塊具體用于:
根據(jù)所述標(biāo)記點影像與所述物理標(biāo)記點的對應(yīng)關(guān)系,以及所述各個物理標(biāo)記點和所述各個標(biāo)記點影像的位置信息,利用pnp算法確定所述攝像裝置相對于所述待測對象的的旋轉(zhuǎn)量和平移量;
根據(jù)所述攝像裝置相對于所述待測對象的旋轉(zhuǎn)量和平移量,得到所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息;所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息為所述待測對象在所述第n幀圖像對應(yīng)時刻相對于所述攝像裝置的旋轉(zhuǎn)量和平移量。
較佳地,所述處理模塊還用于:
利用pnp算法確定所述攝像裝置相對于所述待測對象的的旋轉(zhuǎn)量和平移量之后,確定所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息之前,采用lm算法對所述攝像裝置相對于所述待測對象的旋轉(zhuǎn)量和平移量進行優(yōu)化。
本發(fā)明的上述實施例中,獲取連續(xù)采集到的待測對象在n個時刻的第一至第n幀圖像,每幀圖像至少包括待測對象的m個物理標(biāo)記點的標(biāo)記點影像;針對m個標(biāo)記點影像中的每個標(biāo)記點影像,從第一至第n幀圖像中識別出標(biāo)記點影像在n個時刻的狀態(tài)信息,將m個標(biāo)記點影像在n個時刻的狀態(tài)信息與各物理標(biāo)記點設(shè)定的時序參數(shù)進行比較,確定第一至第n幀圖像中的標(biāo)記點影像與待測對象的物理標(biāo)記點的對應(yīng)關(guān)系;獲取待測對象的m個物理標(biāo)記點在預(yù)設(shè)的世界坐標(biāo)系中的位置信息以及第一至第n幀圖像的m個標(biāo)記點影像在預(yù)設(shè)的圖像坐標(biāo)系中的平均位置信息;根據(jù)m個標(biāo)記點影像與m個物理標(biāo)記點的對應(yīng)關(guān)系,以及m個物理標(biāo)記點和m個標(biāo)記點影像的位置信息,確定待測對象在第n幀圖像對應(yīng)時刻的運動信息。本發(fā)明實施例中,待測對象的各物理標(biāo)記點根據(jù) 設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài),從而使得第一至第n幀圖像中的m個物理標(biāo)記點的標(biāo)記點影像也具有不同的狀態(tài)信息,進而根據(jù)標(biāo)記點影像在n個時刻的狀態(tài)信息與各物理標(biāo)記點設(shè)定的時序參數(shù)的比較結(jié)果,更準(zhǔn)確快速地得到標(biāo)記點影像與物理標(biāo)記點的對應(yīng)關(guān)系,并基于標(biāo)記點影像的位置信息和物理標(biāo)記點的位置信息,確定出待測對象的運動信息,相對于現(xiàn)有技術(shù)中采用陀螺儀等傳感器獲取旋轉(zhuǎn)姿態(tài)的方法,本發(fā)明實施例能夠有效確定出待測對象的平移量,從而更準(zhǔn)確快速地感知待測對象的運動狀態(tài),實時性較高,能夠顯著改善用戶的實際體驗。
附圖說明
為了更清楚地說明本發(fā)明實施例中的技術(shù)方案,下面將對實施例描述中所需要使用的附圖作簡要介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領(lǐng)域的普通技術(shù)人員來講,在不付出創(chuàng)造性勞動性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實施例適用的系統(tǒng)架構(gòu)示意圖;
圖1a為本發(fā)明實施例中攝像裝置的結(jié)構(gòu)示意圖;
圖1b為本發(fā)明實施例中待測對象的結(jié)構(gòu)示意圖;
圖2為虛擬現(xiàn)實頭盔上各個側(cè)面紅外燈的布設(shè)示意圖;
圖3示出了本發(fā)明實施例提供的一種確定待測對象的運動信息的流程示意圖;
圖4為本發(fā)明實施例中確定標(biāo)記點影像在第i幀圖像中的狀態(tài)信息的流程示意圖;
圖5為本發(fā)明實施例提供的一種確定待測對象的運動信息的裝置的結(jié)構(gòu)示意圖。
具體實施方式
為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚,下面將結(jié)合附圖對本發(fā)明作進一步地詳細(xì)描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例,都屬于本發(fā)明保護的范圍。
本發(fā)明實施例中提供的確定待測對象的運動信息的方法可適用于多種應(yīng)用場景,圖1示例性呈現(xiàn)出本發(fā)明實施例適用的一種系統(tǒng)架構(gòu)示意圖。
如圖1所示,該系統(tǒng)架構(gòu)包括服務(wù)器101、攝像裝置102,待測對象103。其中,服務(wù)器101與攝像裝置102之間可進行有線或無線通信,即服務(wù)器101與攝像裝置102之間可通過有線傳輸或無線傳輸?shù)姆椒▊鬏斝畔ⅲ?,攝像裝置102可通過有線傳輸或無線傳輸?shù)姆椒▽⑴臄z到的圖像發(fā)送給服務(wù)器101;服務(wù)器101與待測對象103之間也可進行有線或無線通信,例如,服務(wù)器101通過有線傳輸或無線傳輸?shù)姆椒ㄏ虼郎y對象103發(fā)送場景渲染數(shù)據(jù)。
進一步地,本發(fā)明實施例中,服務(wù)器101可將預(yù)先設(shè)定的時序參數(shù)實時發(fā)送給待測對象103,以使待測對象根據(jù)預(yù)先設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài),同時,服務(wù)器101也實時向攝像裝置102發(fā)送拍攝指令,或者,待測對象在根據(jù)預(yù)先設(shè)定的時序參數(shù)展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài)后,實時向攝像裝置102發(fā)送拍攝指令,以使攝像裝置102拍攝待測對象103的各物理標(biāo)記點在不同時刻的狀態(tài)。例如,服務(wù)器在時刻a將設(shè)定的時序參數(shù)發(fā)送給待測對象103,待測對象103接收到設(shè)定的時序參數(shù)后,根據(jù)時序參數(shù)展現(xiàn)各物理標(biāo)記點的狀態(tài),同時,服務(wù)器在時刻a也向攝像裝置102發(fā)送拍攝指令,攝像裝置102接收到拍攝指令后,對待測對象進行拍攝,從而使得在時刻a拍攝到的圖像中包括待測對象的多個物理標(biāo)記點在時刻a的狀態(tài)。
優(yōu)選地,本發(fā)明實施例中,服務(wù)器101也可以預(yù)先將設(shè)定的不同時刻的時序參數(shù)發(fā)送給待測對象103,以使待測對象103在不同時刻按照不同時刻對應(yīng)的時序參數(shù)展現(xiàn)各物理標(biāo)記點的狀態(tài),例如,服務(wù)器將第一至第n時刻的時序參數(shù)一次性發(fā)送給待測對象103,同時服務(wù)器101向拍攝裝置102發(fā)送一條通 知指令,該通知指令中包括為拍攝裝置102設(shè)置的拍攝頻率,從而使得拍攝裝置按照預(yù)設(shè)的拍攝頻率拍攝待測對象的各物理標(biāo)記點在不同時刻(第一至第n時刻)的狀態(tài)。通過這種方式,可以降低服務(wù)器的處理負(fù)擔(dān)和傳輸資源,即無需實時向待測對象和攝像裝置發(fā)送時序參數(shù)和拍攝指令。
上述方式僅為示例性說明,本發(fā)明實施例對此不做限制。
本發(fā)明實施例中,服務(wù)器101可以為具有數(shù)據(jù)處理能力的pc主機。
待測對象103可以為虛擬現(xiàn)實頭盔,該虛擬現(xiàn)實頭盔包括第一至第六側(cè)面(假定虛擬現(xiàn)實頭盔的正常使用情況是戴在用戶的頭上,基于此,可以確定頭盔的第一至第六側(cè)面相對于攝像裝置分別為前面、后面、上面、下面、左面,右面)。各個側(cè)面上布設(shè)有紅外燈(也可稱為紅外點),其中,各個側(cè)面上紅外燈均是按照預(yù)先設(shè)置的布設(shè)規(guī)則進行布設(shè)的。具體地,為便于后續(xù)運算過程,本發(fā)明實施例中的布設(shè)規(guī)則可以為將各個側(cè)面上的紅外燈均按照凸多邊形陣列的方式進行布設(shè),針對不同的側(cè)面,也可以在基于上述布設(shè)規(guī)則的情況下,考慮不同的布設(shè),例如,左右兩面、上下兩面可以進行相同的布設(shè)。如圖2所示,為虛擬現(xiàn)實頭盔上各個側(cè)面紅外燈的布設(shè)示意圖。需要說明的是,圖2僅為紅外燈布設(shè)的一種示例性表示,具體實物可能存在比例上的差異。
攝像裝置102可以為紅外相機,主要用于拍攝虛擬現(xiàn)實頭盔上布設(shè)的紅外燈的狀態(tài)信息,并將拍攝的圖像傳送給服務(wù)器101,以使服務(wù)器通過相關(guān)計算確定出虛擬現(xiàn)實頭盔的運動信息(旋轉(zhuǎn)矩陣r和平移向量t)。
具體地,本發(fā)明實施例中,虛擬現(xiàn)實頭盔、紅外相機通過usb數(shù)據(jù)線連接到pc主機,usb2.0和usb3.0均可,優(yōu)選為usb3.0。虛擬現(xiàn)實頭盔還通過hdmi接口連接到pc主機,以便于獲取場景渲染數(shù)據(jù)。
進一步地,圖1a為本發(fā)明實施例中攝像裝置的結(jié)構(gòu)示意圖,如圖1a所示,待測對象包括主控制器1021、紅外圖像傳感器1022、圖像信號處理器1023、通訊電路1024。其中,主控制器1021可以為單片機,通過有線(如usb)或者無線(如藍牙)連接到服務(wù)器;可選地,在其它場景下,主控制器也可以為 fpga、cpld等可編程器件或者cpu微處理器等;紅外圖像傳感器1022可以是cmos圖像傳感器,在此不做限制;圖像信號處理器1023實現(xiàn)對紅外圖像傳感器采集到等圖像信號進行處理;通訊電路1024主要是實現(xiàn)系統(tǒng)通訊功能,實現(xiàn)方式可以是有線(如usb)或者是無線(如藍牙)等方式。
圖1b為本發(fā)明實施例中待測對象的結(jié)構(gòu)示意圖,如圖1b所示,待測對象包括主控制器1031、紅外燈控制電路1032、通訊電路1033。其中,主控制器1031可以為單片機,通過有線(如usb)或者無線(如藍牙)連接到服務(wù)器;可選地,在其它場景下,主控制器也可以為fpga、cpld等可編程器件或者cpu微處理器等;紅外燈控制電路1032主要實現(xiàn)對紅外燈的控制;通訊電路1033主要是實現(xiàn)系統(tǒng)通訊功能,實現(xiàn)方式可以是有線(如usb)或者是無線(如藍牙)等方式。
基于圖1所示的系統(tǒng)架構(gòu),圖3示出了本發(fā)明實施例提供的一種確定待測對象的運動信息的流程示意圖,基于服務(wù)器的角度,包括:
步驟301,獲取連續(xù)采集到的待測對象在n個時刻的第一至第n幀圖像,每幀圖像至少包括所述待測對象的m個物理標(biāo)記點的標(biāo)記點影像,所述待測對象的各物理標(biāo)記點根據(jù)設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài);
步驟302,針對m個標(biāo)記點影像中的每個標(biāo)記點影像,從所述第一至第n幀圖像中識別出所述標(biāo)記點影像在n個時刻的狀態(tài)信息,將所述m個標(biāo)記點影像在n個時刻的狀態(tài)信息與各物理標(biāo)記點設(shè)定的時序參數(shù)進行比較,確定所述第一至第n幀圖像中的標(biāo)記點影像與所述待測對象的物理標(biāo)記點的對應(yīng)關(guān)系;
步驟303,根據(jù)所述m個標(biāo)記點影像與所述m個物理標(biāo)記點的對應(yīng)關(guān)系,確定所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息。
本發(fā)明實施例中,待測對象的各物理標(biāo)記點根據(jù)設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài),從而使得第一至第n幀圖像中的m個物理標(biāo)記點的標(biāo)記點影像也具有不同的狀態(tài)信息,進而根據(jù)標(biāo)記點影像在n個時刻的狀態(tài)信息與各物理標(biāo)記點設(shè)定的時序參數(shù)的比較結(jié)果,更準(zhǔn)確快速地得到標(biāo)記 點影像與物理標(biāo)記點的對應(yīng)關(guān)系,并基于標(biāo)記點影像的位置信息和物理標(biāo)記點的位置信息,確定出待測對象的運動信息,相對于現(xiàn)有技術(shù)中采用陀螺儀等傳感器獲取旋轉(zhuǎn)姿態(tài)的方法,本發(fā)明實施例能夠有效確定出待測對象的平移量,從而更準(zhǔn)確快速地感知待測對象的運動狀態(tài),實時性較高,能夠顯著改善用戶的實際體驗。
本發(fā)明實施例中的物理標(biāo)記點可以為紅外點,標(biāo)記點影像為紅外點影像。
本發(fā)明實施例中,在虛擬現(xiàn)實頭盔的運動信息(空間平移量)光學(xué)追蹤過程中,始終只對頭盔上、下、左、右、前、后六個側(cè)面中能夠被攝像頭拍攝的物理標(biāo)記點進行處理。因此,下面針對確定虛擬現(xiàn)實頭盔的運動信息的過程給予具體說明。
本發(fā)明實施例中,由于攝像裝置在拍攝圖像時會存在環(huán)境燈以及其它因素的干擾,因此,在步驟301中,獲取到連續(xù)采集的待測對象的第一至第n幀圖像后,應(yīng)分別對第一至第n幀圖像進行預(yù)處理,,排除干擾影像,確定出標(biāo)記點影像。下面以第一至第n幀圖像中任一幀圖像(即第i幀圖像)的預(yù)處理為例進行說明。
具體地,根據(jù)所述第i幀圖像的各個像素點的像素值,得到第一備選標(biāo)記點影像;所述第一備選標(biāo)記點影像的像素點的像素值大于等于第一閾值;根據(jù)各個所述第一備選標(biāo)記點影像,確定與各個所述第一備選標(biāo)記點影像對應(yīng)的方形區(qū)域;與所述第一備選標(biāo)記點影像對應(yīng)的方形區(qū)域為包含所述第一備選標(biāo)記點影像的最小方形區(qū)域;根據(jù)各個所述方形區(qū)域中像素點的個數(shù)以及方形區(qū)域邊界上的像素點的個數(shù),得到目標(biāo)方形區(qū)域;所述目標(biāo)方形區(qū)域的像素點的個數(shù)大于等于第二閾值,且邊界上的像素點的個數(shù)符合預(yù)設(shè)條件;將與所述目標(biāo)方形區(qū)域?qū)?yīng)的第一備選標(biāo)記點影像確定為所述第i幀圖像中的標(biāo)記點影像。其中,第一閾值、第二閾值及預(yù)設(shè)條件均可由本領(lǐng)域技術(shù)人員根據(jù)經(jīng)驗設(shè)置。本發(fā)明實施例中的方形區(qū)域可以為長方形區(qū)域,包括長邊界和短邊界。此時,預(yù)設(shè)條件可以為長方形區(qū)域的短邊界上的像素點的個數(shù)與長邊界上的像素點 的個數(shù)之比大于等于3/4,且長方形區(qū)域中的像素點的個數(shù)大于等于長邊界和短邊界上的像素點個數(shù)的乘積的一半。本發(fā)明實施例中通過上述過程對第一至第n幀圖像進行預(yù)處理,從而快速準(zhǔn)確地排除環(huán)境中的干擾因素,確定出標(biāo)記點影像,為后續(xù)確定標(biāo)記點影像與標(biāo)記點之間的對應(yīng)關(guān)系奠定了良好基礎(chǔ)。
本發(fā)明實施例中,在步驟302中,從所述第一至第n幀圖像中識別出所述標(biāo)記點影像在n個時刻的狀態(tài)信息,包括:
獲取所述標(biāo)記點影像在第i幀圖像中的識別信息以及在第i-1幀圖像中的識別信息;i為正整數(shù),且1≤i≤n;
根據(jù)所述標(biāo)記點影像在第i幀圖像中的的識別信息以及在第i-1幀圖像中的識別信息的比較結(jié)果,確定所述標(biāo)記點影像在第i幀圖像中的狀態(tài)信息。
本發(fā)明實施例中,設(shè)定的時序參數(shù)與待測對象的物理標(biāo)記點的編碼信息相對應(yīng)。根據(jù)設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài)是指根據(jù)設(shè)定的在不同時刻的亮度參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的亮度狀態(tài)。
具體地,待測對象的物理標(biāo)記點的編碼信息是預(yù)先設(shè)置的,例如,待測對象具有7個紅外燈,分別編號紅外燈1至紅外燈7,也就是用二進制可以表示為:001,010,011,100,101,110,111,這些二進制即為各個紅外燈的編碼信息,而且,由于3位二進制便可以明確區(qū)分出7個紅外燈。時序參數(shù)即為各個紅外燈對應(yīng)的二進制編碼,以上述7個紅外燈為例,本發(fā)明實施例中的待測對象的各物理標(biāo)記點根據(jù)設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài)是指7個紅外燈按規(guī)律從第一個二進制位到第三個二進制位逐位閃燈,二進制位為1,則紅外燈閃亮,二進制為0,則紅外燈閃滅,閃三次就可以確定每個燈的編號。同理,本發(fā)明實施例中,虛擬現(xiàn)實頭盔上通常具有40個紅外燈,需要6位二進制位表示才能加以區(qū)分。
需要說明的是,一方面,常規(guī)上紅外燈有兩個狀態(tài),即亮和滅分別對應(yīng)二進制位1和0,即二進制位為1,則紅外燈閃亮,二進制為0,則紅外燈閃滅,然而,考慮到紅外燈閃滅時,攝像頭無法拍攝到標(biāo)記點影像,因此,本發(fā)明實 施例中可以將紅外燈的全亮和半亮分別對應(yīng)到二進制位1和0,即二進制位為1,則紅外燈閃亮,二進制為0,則紅外燈半亮。
另一方面,考慮到干擾或者遮擋的情況,例如,虛擬現(xiàn)實頭盔上通常具有40個紅外燈,采用6位二進制位表示加以區(qū)分,此時通過圖像上的紅外燈影像識別出的第一編碼信息應(yīng)與紅外燈的第二編碼信息完全一致,方可確定對應(yīng)關(guān)系。若連續(xù)6次紅外燈的狀態(tài)中的某一次被干擾或者遮擋,則通過拍攝到的圖像識別出的狀態(tài)無法與紅外燈進行對應(yīng),即該物理標(biāo)記點的標(biāo)記點影像的第一編碼信息和該物理標(biāo)記點的第二編碼信息不一致,從而使得不能正確得到物理標(biāo)記點與標(biāo)記點影像之間的對應(yīng)關(guān)系。本發(fā)明實施例中,為避免上述情況,結(jié)合通訊的理論,采用冗余二進制的方式來實現(xiàn)糾錯功能。具體實施方法是,以3個紅外燈為例,原理上采用2位二進制位就可以編碼表示,則為具有更強的糾錯功能,可選擇采用3位二進制編碼,分別表示三個紅外燈001、010、111,此時每個編碼中任一個二進制位識別錯誤,仍然可以區(qū)分三個紅外燈。應(yīng)用到本發(fā)明中,虛擬現(xiàn)實頭盔上通常具有40個紅外燈,則可以優(yōu)選采用10位二進制位編碼表示,或者也可以采用更多位二進制編碼表示,本發(fā)明實施例對此不做具體限定。
具體地,第一物理標(biāo)記點為待測對象的各物理標(biāo)記點中的任一個,本發(fā)明實施例中,通過以下方式確定第一物理標(biāo)記點設(shè)定的時序參數(shù)對應(yīng)的第二編碼信息:根據(jù)紅外燈的個數(shù),建立編碼庫,例如,若選擇10位二進制編碼,則建立一個10位二進制編碼的編碼庫,優(yōu)選編碼庫中的編碼信息的個數(shù)大于待測對象的物理標(biāo)記點的個數(shù);從編碼庫中選取一組編碼信息,確定該組編碼信息與已確定的物理標(biāo)記點的第二編碼信息的漢明距離大于第二閾值后,將該組編碼信息確定為第一物理標(biāo)記點的編碼信息。在信息論中,兩個等長字符串(字符串即本發(fā)明實施例中的編碼信息)之間的漢明距離是兩個字符串對應(yīng)位置的不同字符的個數(shù),即是指將一個字符串變換成另外一個字符串所需要替換的字符個數(shù),例如,編碼信息111000與111100之間的漢明距離為1。第二閾值可由本 領(lǐng)域技術(shù)人員根據(jù)經(jīng)驗設(shè)置,例如,可以設(shè)置為2,從而保證不同物理標(biāo)記點之間的漢明距離大于2。
在步驟302中,針對m個標(biāo)記點影像中的每個標(biāo)記點影像,獲取標(biāo)記點影像在第i幀圖像中的識別信息以及在第i-1幀圖像中的識別信息;i為正整數(shù),且1≤i≤n;根據(jù)標(biāo)記點影像在第i幀圖像中的的識別信息以及在第i-1幀圖像中的識別信息的比較結(jié)果,確定標(biāo)記點影像在第i幀圖像中的狀態(tài)信息。
具體地,標(biāo)記點影像在第一至第n幀圖像中的識別信息是根據(jù)物理標(biāo)記點在不同時刻的亮度狀態(tài)而得到的標(biāo)記點影像的面積;根據(jù)標(biāo)記點影像在第i幀圖像中的的面積與在第i-1幀圖像中的面積的比較結(jié)果,確定標(biāo)記點影像在第i幀圖像中的狀態(tài)信息。
圖4為本發(fā)明實施例中確定標(biāo)記點影像在第i幀圖像中的狀態(tài)信息的流程示意圖,下面以標(biāo)記點影像b為例,結(jié)合圖4對本發(fā)明實施例中確定標(biāo)記點影像在第i幀圖像中的狀態(tài)信息進行說明。
步驟401,確定標(biāo)記點影像b在第i幀圖像中的面積。
步驟402,確定標(biāo)記點影像b在第i-1幀圖像中的面積;具體地,由于本發(fā)明實施例中,拍攝頻率較快,在較短的拍攝時間間隔內(nèi),標(biāo)記點影像b在第i-1幀圖像中的位置和第i幀圖像中的位置十分接近,因此,可將第i-1幀圖像中與第i幀圖像中的標(biāo)記點影像b的位置十分接近的標(biāo)記點影像確定為標(biāo)記點影像b,從而得到標(biāo)記點影像b在第i-1幀圖像中的面積。
步驟403,判斷標(biāo)記點影像b在第i幀圖像中的面積(記為bi)與第i-1幀圖像中的面積(記為bi-1)的大小關(guān)系,若x*bi大于y*bi-1,則執(zhí)行步驟404,否則執(zhí)行步驟405。其中,x、y為權(quán)重值,可由本領(lǐng)域技術(shù)人員根據(jù)經(jīng)驗設(shè)置,例如,可設(shè)置x=12,y=13。
步驟404,確定標(biāo)記點影像b在第i幀圖像中的狀態(tài)信息為亮,并對應(yīng)編碼“1”。
步驟405,判斷p*bi是否小于q*bi-1,若是,則執(zhí)行步驟406,否則執(zhí)行步驟407。其中,p、q為權(quán)重值,可由本領(lǐng)域技術(shù)人員根據(jù)經(jīng)驗設(shè)置,例如,可 設(shè)置p=13,q=13。
步驟406,確定標(biāo)記點影像b在第i幀圖像中的狀態(tài)信息為半亮,并對應(yīng)編碼“0”。
步驟407,確定標(biāo)記點影像b在第i幀圖像中的狀態(tài)信息與第i-1幀圖像中的狀態(tài)信息相同,編碼也相同。
步驟408,判斷編碼信息的總位數(shù)是否大于等于10,若是,則執(zhí)行步驟409;若否,則循環(huán)至步驟401,獲取標(biāo)記點影像b在第i+1幀圖像中的面積。
步驟409,將該編碼信息確定為標(biāo)記點影像b的第一編碼信息
通過上述401至409可確定出標(biāo)記點影像b在第一至第n幀圖像的狀態(tài)信息,并得到標(biāo)記點影像b對應(yīng)的第一編碼信息,同理,可得到第一至第n幀圖像的m個標(biāo)記點影像的第一編碼信息。
在步驟302中,針對于第一至第n幀圖像的一個標(biāo)記點影像,將該標(biāo)記點影像的第一編碼信息與物理標(biāo)記點的第二編碼信息進行比較,若該標(biāo)記點影像的第一編碼信息與物理標(biāo)記點的第二編碼信息的相似度大于等于第一閾值,則將該標(biāo)記點影像確定為該物理標(biāo)記點對應(yīng)的標(biāo)記點影像,進而得到第一至第n幀圖像中的m個標(biāo)記點影像與待測對象的m個物理標(biāo)記點的對應(yīng)關(guān)系。其中,第一編碼信息和第二編碼信息之間的相似度可根據(jù)漢明距離得到,漢明距離越小,則相似度越大。
可選地,本發(fā)明實施例中,可根據(jù)相似度建立編碼信息的查找表,查找表中包括第一編碼信息和第二編碼信息之間的對應(yīng)關(guān)系。具體地,以一個物理標(biāo)記點a為例,與物理標(biāo)記點a的第二編碼信息的相似度大于等于第一閾值的第一編碼信息均為與物理標(biāo)記點a的第二編碼信息對應(yīng)的第一編碼信息。因此,在得到物理標(biāo)記點影像的第一編碼信息后,可直接查詢查找表,得到第一編碼信息對應(yīng)的第二編碼信息,進而根據(jù)第二編碼信息對應(yīng)的物理標(biāo)記點,得到標(biāo)記點影像與物理標(biāo)記點的對應(yīng)關(guān)系。
采用這種事先建立查找表的方式,在得到標(biāo)記點影像的第一編碼信息后, 可直接查詢查找表,而無需進行相似度的計算和比較,從而有效提高確定標(biāo)記點影像與物理標(biāo)記點的對應(yīng)關(guān)系的效率,節(jié)省處理時間。本發(fā)明實施例中基于上述編碼的方式來確定標(biāo)記點影像與物理標(biāo)記點的對應(yīng)關(guān)系,從而使得該對應(yīng)關(guān)系的確定更為準(zhǔn)確快速,為后續(xù)確定待測對象的運動信息奠定了良好的基礎(chǔ)。
在步驟303中,仍以標(biāo)記點影像b為例,考慮標(biāo)記點影像b在第一至第n幀圖像中的位置信息有可能會存在小的差異,本發(fā)明實施例中,可將標(biāo)記點影像b在第一至第n幀圖像中的位置信息的平均值確定為標(biāo)記點影像b最終的位置信息。
基于步驟302中得到的標(biāo)記點影像與物理標(biāo)記點的對應(yīng)關(guān)系,以及步驟303中得到的各個物理標(biāo)記點和各個標(biāo)記點影像的位置信息,利用pnp算法確定攝像裝置相對于待測對象的的旋轉(zhuǎn)量和平移量,并采用lm算法對攝像裝置相對于待測對象的的旋轉(zhuǎn)量和平移量進行優(yōu)化;根據(jù)攝像裝置相對于待測對象優(yōu)化后的的旋轉(zhuǎn)量和平移量,得到待測對象在第n幀圖像對應(yīng)時刻的運動信息;待測對象在第n幀圖像對應(yīng)時刻的運動信息為待測對象在第n幀圖像對應(yīng)時刻相對于攝像裝置的旋轉(zhuǎn)量和平移量。
本發(fā)明的上述實施例中,獲取連續(xù)采集到的待測對象在n個時刻的第一至第n幀圖像,每幀圖像至少包括待測對象的m個物理標(biāo)記點的標(biāo)記點影像;針對m個標(biāo)記點影像中的每個標(biāo)記點影像,從第一至第n幀圖像中識別出標(biāo)記點影像在n個時刻的狀態(tài)信息,將m個標(biāo)記點影像在n個時刻的狀態(tài)信息與各物理標(biāo)記點設(shè)定的時序參數(shù)進行比較,確定第一至第n幀圖像中的標(biāo)記點影像與待測對象的物理標(biāo)記點的對應(yīng)關(guān)系;獲取待測對象的m個物理標(biāo)記點在預(yù)設(shè)的世界坐標(biāo)系中的位置信息以及第一至第n幀圖像的m個標(biāo)記點影像在預(yù)設(shè)的圖像坐標(biāo)系中的平均位置信息;根據(jù)m個標(biāo)記點影像與m個物理標(biāo)記點的對應(yīng)關(guān)系,以及m個物理標(biāo)記點和m個標(biāo)記點影像的位置信息,確定待測對象在第n幀圖像對應(yīng)時刻的運動信息。本發(fā)明實施例中,待測對象的各物理標(biāo)記點根據(jù)設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài),從而使得第一至第n 幀圖像中的m個物理標(biāo)記點的標(biāo)記點影像也具有不同的狀態(tài)信息,進而根據(jù)標(biāo)記點影像在n個時刻的狀態(tài)信息與各物理標(biāo)記點設(shè)定的時序參數(shù)的比較結(jié)果,更準(zhǔn)確快速地得到標(biāo)記點影像與物理標(biāo)記點的對應(yīng)關(guān)系,并基于標(biāo)記點影像的位置信息和物理標(biāo)記點的位置信息,確定出待測對象的運動信息,相對于現(xiàn)有技術(shù)中采用陀螺儀等傳感器獲取旋轉(zhuǎn)姿態(tài)的方法,本發(fā)明實施例能夠有效確定出待測對象的平移量,從而更準(zhǔn)確快速地感知待測對象的運動狀態(tài),實時性較高,能夠顯著改善用戶的實際體驗。
針對上述方法流程,本發(fā)明實施例還提供一種確定待測對象的運動信息的裝置,該裝置的具體內(nèi)容可以參照上述方法實施。
基于相同構(gòu)思,圖5為本發(fā)明實施例提供的一種確定待測對象的運動信息的裝置的結(jié)構(gòu)示意圖,該裝置包括:
獲取模塊501,用于獲取連續(xù)采集到的待測對象在n個時刻的第一至第n幀圖像,每幀圖像至少包括所述待測對象的m個物理標(biāo)記點的標(biāo)記點影像,所述待測對象的各物理標(biāo)記點根據(jù)設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài);
確定模塊502,用于針對m個標(biāo)記點影像中的每個標(biāo)記點影像,從所述第一至第n幀圖像中識別出所述標(biāo)記點影像在n個時刻的狀態(tài)信息,將所述標(biāo)記點影像在n個時刻的狀態(tài)信息與各物理標(biāo)記點設(shè)定的時序參數(shù)進行比較,確定所述第一至第n幀圖像中的標(biāo)記點影像與所述待測對象的物理標(biāo)記點的對應(yīng)關(guān)系;
處理模塊503,用于根據(jù)所述m個標(biāo)記點影像與所述m個物理標(biāo)記點的對應(yīng)關(guān)系,確定所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息。
較佳地,獲取模塊501還用于:
獲取所述待測對象的m個物理標(biāo)記點在預(yù)設(shè)的世界坐標(biāo)系中的位置信息以及所述m個標(biāo)記點影像在預(yù)設(shè)的圖像坐標(biāo)系中的位置信息;
所述處理模塊503具體用于:
根據(jù)所述m個標(biāo)記點影像與所述m個物理標(biāo)記點的對應(yīng)關(guān)系,以及所述m個物理標(biāo)記點和所述m個標(biāo)記點影像的位置信息,確定所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息。
較佳地,所述確定模塊502還用于:
根據(jù)如下方式確定第i幀圖像中的標(biāo)記點影像,i為正整數(shù),且1≤i≤n:
根據(jù)所述第i幀圖像的各個像素點的像素值,得到第一備選標(biāo)記點影像;所述第一備選標(biāo)記點影像的像素點的像素值大于等于第一閾值;
根據(jù)各個所述第一備選標(biāo)記點影像,確定與各個所述第一備選標(biāo)記點影像對應(yīng)的方形區(qū)域;與所述第一備選標(biāo)記點影像對應(yīng)的方形區(qū)域為包含所述第一備選標(biāo)記點影像的最小方形區(qū)域;
根據(jù)各個所述方形區(qū)域中像素點的個數(shù)以及方形區(qū)域邊界上的像素點的個數(shù),得到目標(biāo)方形區(qū)域;所述目標(biāo)方形區(qū)域的像素點的個數(shù)大于等于第二閾值,且邊界上的像素點的個數(shù)符合預(yù)設(shè)條件;
將與所述目標(biāo)方形區(qū)域?qū)?yīng)的第一備選標(biāo)記點影像確定為所述第i幀圖像中的標(biāo)記點影像。
較佳地,所述確定模塊502具體用于:
獲取所述標(biāo)記點影像在第i幀圖像中的識別信息以及在第i-1幀圖像中的識別信息;i為正整數(shù),且1≤i≤n;
根據(jù)所述標(biāo)記點影像在第i幀圖像中的的識別信息以及在第i-1幀圖像中的識別信息的比較結(jié)果,確定所述標(biāo)記點影像在第i幀圖像中的狀態(tài)信息。
較佳地,所述待測對象的各物理標(biāo)記點為紅外點;所述根據(jù)設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài)為根據(jù)設(shè)定的在不同時刻的亮度參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的亮度狀態(tài);所述標(biāo)記點影像在第一至第n幀圖像中的識別信息是根據(jù)所述物理標(biāo)記點在不同時刻的亮度狀態(tài)而得到的標(biāo)記點影像的面積;
所述確定模塊502具體用于:
根據(jù)所述標(biāo)記點影像在第i幀圖像中的的面積與在第i-1幀圖像中的面積的比較結(jié)果,確定所述標(biāo)記點影像在第i幀圖像中的狀態(tài)信息。
較佳地,所述確定模塊502具體用于:
確定所述標(biāo)記點影像在n個時刻的狀態(tài)信息對應(yīng)的第一編碼信息;
確定所述各物理標(biāo)記點設(shè)定的時序參數(shù)對應(yīng)的第二編碼信息;
若所述標(biāo)記點影像的第一編碼信息與物理標(biāo)記點的第二編碼信息之間的相似度大于等于第一閾值,則將該標(biāo)記點影像確定為該物理標(biāo)記點對應(yīng)的標(biāo)記點影像,進而得到所述第一至第n幀圖像中的m個標(biāo)記點影像與所述待測對象的m個物理標(biāo)記點的對應(yīng)關(guān)系。
較佳地,所述確定模塊502具體用于:
第一物理標(biāo)記點為所述待測對象的各物理標(biāo)記點中的任一個,通過以下方式確定所述第一物理標(biāo)記點設(shè)定的時序參數(shù)對應(yīng)的第二編碼信息:
根據(jù)所述待測對象的物理標(biāo)記點的個數(shù)建立編碼庫,所述編碼庫中的編碼信息的個數(shù)大于或等于所述待測對象的物理標(biāo)記點的個數(shù);
從所述編碼庫中選取一組編碼信息;
確定該組編碼信息與已確定的物理標(biāo)記點的第二編碼信息的漢明距離大于第二閾值后,將該組編碼信息確定為所述第一物理標(biāo)記點的編碼信息。
較佳地,所述處理模塊503具體用于:
根據(jù)所述標(biāo)記點影像與所述物理標(biāo)記點的對應(yīng)關(guān)系,以及所述各個物理標(biāo)記點和所述各個標(biāo)記點影像的位置信息,利用pnp算法確定所述攝像裝置相對于所述待測對象的的旋轉(zhuǎn)量和平移量;
根據(jù)所述攝像裝置相對于所述待測對象的旋轉(zhuǎn)量和平移量,得到所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息;所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息為所述待測對象在所述第n幀圖像對應(yīng)時刻相對于所述攝像裝置的旋轉(zhuǎn)量和平移量。
較佳地,所述處理模塊503還用于:
利用pnp算法確定所述攝像裝置相對于所述待測對象的的旋轉(zhuǎn)量和平移量之后,確定所述待測對象在所述第n幀圖像對應(yīng)時刻的運動信息之前,采用lm算法對所述攝像裝置相對于所述待測對象的旋轉(zhuǎn)量和平移量進行優(yōu)化。
從上述內(nèi)容可以看出:本發(fā)明實施例中,獲取連續(xù)采集到的待測對象在n個時刻的第一至第n幀圖像,每幀圖像至少包括待測對象的m個物理標(biāo)記點的標(biāo)記點影像;針對m個標(biāo)記點影像中的每個標(biāo)記點影像,從第一至第n幀圖像中識別出標(biāo)記點影像在n個時刻的狀態(tài)信息,將m個標(biāo)記點影像在n個時刻的狀態(tài)信息與各物理標(biāo)記點設(shè)定的時序參數(shù)進行比較,確定第一至第n幀圖像中的標(biāo)記點影像與待測對象的物理標(biāo)記點的對應(yīng)關(guān)系;獲取待測對象的m個物理標(biāo)記點在預(yù)設(shè)的世界坐標(biāo)系中的位置信息以及第一至第n幀圖像的m個標(biāo)記點影像在預(yù)設(shè)的圖像坐標(biāo)系中的平均位置信息;根據(jù)m個標(biāo)記點影像與m個物理標(biāo)記點的對應(yīng)關(guān)系,以及m個物理標(biāo)記點和m個標(biāo)記點影像的位置信息,確定待測對象在第n幀圖像對應(yīng)時刻的運動信息。本發(fā)明實施例中,待測對象的各物理標(biāo)記點根據(jù)設(shè)定的時序參數(shù)來展現(xiàn)各物理標(biāo)記點在不同時刻的狀態(tài),從而使得第一至第n幀圖像中的m個物理標(biāo)記點的標(biāo)記點影像也具有不同的狀態(tài)信息,進而根據(jù)標(biāo)記點影像在n個時刻的狀態(tài)信息與各物理標(biāo)記點設(shè)定的時序參數(shù)的比較結(jié)果,更準(zhǔn)確快速地得到標(biāo)記點影像與物理標(biāo)記點的對應(yīng)關(guān)系,并基于標(biāo)記點影像的位置信息和物理標(biāo)記點的位置信息,確定出待測對象的運動信息,相對于現(xiàn)有技術(shù)中采用陀螺儀等傳感器獲取旋轉(zhuǎn)姿態(tài)的方法,本發(fā)明實施例能夠有效確定出待測對象的平移量,從而更準(zhǔn)確快速地感知待測對象的運動狀態(tài),實時性較高,能夠顯著改善用戶的實際體驗。
本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白,本發(fā)明的實施例可提供為方法、或計算機程序產(chǎn)品。因此,本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且,本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、cd-rom、光學(xué)存儲器等)上實施的計算機程序產(chǎn)品的形式。
本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合??商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器,使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些計算機程序指令也可存儲在能引導(dǎo)計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理,從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
盡管已描述了本發(fā)明的優(yōu)選實施例,但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念,則可對這些實施例作出另外的變更和修改。所以,所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。
顯然,本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣,倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi),則本發(fā)明也意圖包含這些改動和變型在內(nèi)。