本發(fā)明涉及相機(jī)標(biāo)定技術(shù)領(lǐng)域,尤其涉及其中使用圖像中的一些約束對(duì)相機(jī)進(jìn)行標(biāo)定的相機(jī)自標(biāo)定法,具體指一種基于目標(biāo)平面運(yùn)動(dòng)特征的相機(jī)位姿自標(biāo)定方法。
背景技術(shù):
運(yùn)動(dòng)軌跡提供了豐富的物體運(yùn)動(dòng)的時(shí)空信息,在航空航天、工業(yè)機(jī)器人和人機(jī)交互等領(lǐng)域具有重要價(jià)值。傳統(tǒng)的運(yùn)動(dòng)軌跡識(shí)別方法有聚類、神經(jīng)網(wǎng)絡(luò)、HMM及相應(yīng)的改進(jìn)方法等。但是一些外在的因素阻礙著軌跡識(shí)別技術(shù)的發(fā)展,重點(diǎn)是要求行為平面與相機(jī)平面平行,這在現(xiàn)實(shí)生活中是很難實(shí)現(xiàn)的。當(dāng)行為平面與相機(jī)平面不平行時(shí),相機(jī)的位姿決定拍攝到的軌跡圖像。如何針對(duì)目標(biāo)動(dòng)態(tài)運(yùn)動(dòng)特征,對(duì)相機(jī)位姿進(jìn)行標(biāo)定,實(shí)現(xiàn)與視角無關(guān)的軌跡識(shí)別,是物體運(yùn)動(dòng)軌跡分析中亟待解決的一個(gè)關(guān)鍵問題。
從圖像中標(biāo)定相機(jī)位姿的方法主要有:(1)模板標(biāo)定法。主要有Tsai標(biāo)定法(見文獻(xiàn)Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].Robotics&Automation IEEE Journal of,1987,3(4):323-344.)與張正友標(biāo)定法(見文獻(xiàn)Zhang Z.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2000,22(11):1330-1334.)。(2)主動(dòng)標(biāo)定法。關(guān)云博(見文獻(xiàn)關(guān)云博.序列圖像中對(duì)象位姿及運(yùn)動(dòng)軌跡分析[D].沈陽工業(yè)大學(xué),2014.)提出了一個(gè)基于橢圓特征的平面位姿定位方法,利用圓的透視投影特性,將確定空間平面的姿態(tài)問題轉(zhuǎn)化為確定橢圓的姿態(tài)問題,從而確定空間平面位姿來解決視角問題。但是主動(dòng)標(biāo)定實(shí)驗(yàn)條件要求高,受標(biāo)定物的影響較大。(3)自標(biāo)定法。使用圖像中的一些約束,靈活性好。如使用極點(diǎn)變換法(見文獻(xiàn)楊必武,倪志斌.基于廣義平面校正的圖像對(duì)最小化畸變重投影[J].光子學(xué)報(bào),2008,37(3):621-624.)、基于鏡像與正交性約束(見文獻(xiàn)Takahashi K,Nobuhara S,Matsuyama T.Mirror-based Camera Pose Estimation Using an Orthogonality Constraint[J].Ipsj Transactions on Computer Vision&Applications,2016,8:11-19.)、基于透視圖中的滅點(diǎn)(見文獻(xiàn)Liu T,Xu W,Yin X,et al.Planar metric rectification from perspective image via vertical vanishing point[C].International Congress on Image and Signal Processing,2015:951–957.)估計(jì)相機(jī)的位姿信息,進(jìn)行圖像校正。但是以上的標(biāo)定法均使用靜態(tài)圖片進(jìn)行相機(jī)標(biāo)定,不適用于軌跡分析中,目標(biāo)特征運(yùn)態(tài)變化的具體情況。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的是提供一種基于目標(biāo)平面運(yùn)動(dòng)特征的相機(jī)位姿自標(biāo)定方法。
本發(fā)明是基于目標(biāo)平面運(yùn)動(dòng)特征的相機(jī)位姿自標(biāo)定方法,其特征在于,包括如下步驟:
(1)對(duì)視頻預(yù)處理,提取穩(wěn)定的平面運(yùn)動(dòng)目標(biāo)特征點(diǎn)m表示穩(wěn)定的目標(biāo)特征點(diǎn)集中特征點(diǎn)的個(gè)數(shù),N為總的視頻中圖像幀的個(gè)數(shù),p(t)表示t時(shí)刻的圖像幀中的特征點(diǎn);
(2)從穩(wěn)定的目標(biāo)特征點(diǎn)集中,提取n(n≥4)個(gè)時(shí)刻的相機(jī)位姿標(biāo)定特征點(diǎn)對(duì)ps(i)(xs(i),y s(i)),p′s(i)(x′s(i),y′s(i)),s(i)為選取的幀時(shí)刻,其中i=1~n;
(3)使用n(n≥4)個(gè)時(shí)刻,提取出的相機(jī)位姿標(biāo)定特征點(diǎn)對(duì)建立相機(jī)位姿自標(biāo)定模型;
(4)對(duì)建立的位姿自標(biāo)定模型使用遺傳算法進(jìn)行求解,得到運(yùn)動(dòng)目標(biāo)平面的法向量A,B,C;
(5)使用得到的目標(biāo)運(yùn)動(dòng)平面法向量A,B,C,對(duì)穩(wěn)定的目標(biāo)特征點(diǎn)運(yùn)動(dòng)軌跡進(jìn)行平面校正,得到校正后的目標(biāo)特征點(diǎn)運(yùn)動(dòng)軌跡
本發(fā)明的有益之處為:與現(xiàn)有的很多相機(jī)標(biāo)定方法相比,現(xiàn)有方法都是基于靜態(tài)標(biāo)定圖片中的標(biāo)定特征,但是本發(fā)明使用的是目標(biāo)運(yùn)動(dòng)視頻中,目標(biāo)的運(yùn)動(dòng)特征點(diǎn)特征;當(dāng)使用的特征點(diǎn)對(duì)數(shù)目n較大時(shí),相機(jī)標(biāo)定的結(jié)果精度高,魯棒性好,優(yōu)于經(jīng)典的張正友標(biāo)定法;與現(xiàn)有的運(yùn)動(dòng)物體特征分析方法相比,本發(fā)明可以將運(yùn)動(dòng)平面校正為正投影下的,實(shí)現(xiàn)與視角無關(guān)的特征分析。主要是因?yàn)椋?/p>
(1)本發(fā)明在運(yùn)動(dòng)視頻中,分析運(yùn)動(dòng)特征點(diǎn)運(yùn)動(dòng)過程中所滿足的運(yùn)動(dòng)約束,并結(jié)合相機(jī)成像的原理,建立相機(jī)位姿自標(biāo)定模型,所以本發(fā)明使用的是目標(biāo)運(yùn)動(dòng)視頻中,目標(biāo)的運(yùn)動(dòng)特征點(diǎn)特征;
(2)由于圖像預(yù)處理、特征提取過程中的誤差,現(xiàn)有的很多標(biāo)定方法對(duì)相機(jī)位姿進(jìn)行標(biāo)定時(shí),總是存在一定的誤差,而本發(fā)明使用n組方向不同的特征點(diǎn)對(duì)矢量,當(dāng)n的數(shù)量增加時(shí),模型的解的誤差將會(huì)趨向于最小,所以相機(jī)標(biāo)定的結(jié)果精度高;由于n較大,特征集中個(gè)別特征對(duì)整個(gè)模型求解影響不大,故魯棒性好。
(3)本發(fā)明在分析目標(biāo)運(yùn)動(dòng)的過程中,對(duì)相機(jī)的位姿進(jìn)行標(biāo)定,然后通過標(biāo)定的相對(duì)位姿將運(yùn)動(dòng)平面校正到正投影下,因此可以實(shí)現(xiàn)與視角無關(guān)的特征分析。
實(shí)驗(yàn)結(jié)果表明,本發(fā)明可以通過獲取的運(yùn)動(dòng)特征,對(duì)相機(jī)的位姿進(jìn)行標(biāo)定。當(dāng)獲取標(biāo)定特征較多時(shí),標(biāo)定結(jié)果優(yōu)于張正友標(biāo)定法,更適用于運(yùn)動(dòng)目標(biāo)為剛體的情況。同時(shí)可實(shí)現(xiàn)與視角無關(guān)的手勢(shì)軌跡特征提取,進(jìn)而在多視角環(huán)境下提高動(dòng)態(tài)手勢(shì)的識(shí)別率。該模型可普遍用于相機(jī)外參標(biāo)定與軌跡分析。
附圖說明
圖1為相機(jī)位姿自標(biāo)定模型示意圖,圖2目標(biāo)平面與成像平面下觀察到的運(yùn)動(dòng)軌跡,圖3相機(jī)位姿與軌跡平面校正的結(jié)果,圖4.提取出與視角無關(guān)的運(yùn)動(dòng)軌跡,圖5簡(jiǎn)易的標(biāo)定圖像,圖6選取的標(biāo)定特征點(diǎn),圖7相機(jī)自標(biāo)定模型恢復(fù)出的80個(gè)特征點(diǎn)三維圖,圖8圖像平面校正的結(jié)果,圖9本發(fā)明與張正友方法平面校正對(duì)比圖,圖10平面法向量及其對(duì)比,圖11解的誤差及其對(duì)比。
具體實(shí)施方式
本發(fā)明是基于目標(biāo)平面運(yùn)動(dòng)特征的相機(jī)位姿自標(biāo)定方法,包括如下步驟:
(1)對(duì)視頻預(yù)處理,提取穩(wěn)定的平面運(yùn)動(dòng)目標(biāo)特征點(diǎn)m表示穩(wěn)定的目標(biāo)特征點(diǎn)集中特征點(diǎn)的個(gè)數(shù),N為總的視頻中圖像幀的個(gè)數(shù),p(t)表示t時(shí)刻的圖像幀中的特征點(diǎn);
(2)從穩(wěn)定的目標(biāo)特征點(diǎn)集中,提取n(n≥4)個(gè)時(shí)刻的相機(jī)位姿標(biāo)定特征點(diǎn)對(duì)ps(i)(xs(i),ys(i)),p′s(i)(x′s(i),y′s(i)),s(i)為選取的幀時(shí)刻,其中i=1~n;
(3)使用n(n≥4)個(gè)時(shí)刻,提取出的相機(jī)位姿標(biāo)定特征點(diǎn)對(duì)建立相機(jī)位姿自標(biāo)定模型;
(4)對(duì)建立的位姿自標(biāo)定模型使用遺傳算法進(jìn)行求解,得到運(yùn)動(dòng)目標(biāo)平面的法向量A,B,C;
(5)使用得到的目標(biāo)運(yùn)動(dòng)平面法向量A,B,C,對(duì)穩(wěn)定的目標(biāo)特征點(diǎn)運(yùn)動(dòng)軌跡進(jìn)行平面校正,得到校正后的目標(biāo)特征點(diǎn)運(yùn)動(dòng)軌跡
以上所述的基于目標(biāo)平面運(yùn)動(dòng)特征的相機(jī)位姿自標(biāo)定方法,其特征在于,步驟(1)對(duì)視頻預(yù)處理,提取穩(wěn)定的平面運(yùn)動(dòng)目標(biāo)特征點(diǎn)的具體步驟包括:
(1)對(duì)目標(biāo)平面運(yùn)動(dòng)的圖像視頻分幀,使用Harris特征提取方法提取每一幀中運(yùn)動(dòng)目標(biāo)上的特征點(diǎn);
(2)求相鄰兩幀的特征點(diǎn)之間的兩兩歐式距離,形成距離矩陣;
(3)用貪婪算法從距離矩陣中依次尋找最小距離值,依次將最小距離值對(duì)應(yīng)的特征點(diǎn)對(duì)加入特征點(diǎn)匹配集合,同時(shí)從距離矩陣中刪除最小距離值所在的行與列,直到距離矩陣中所有的元素值都大于所設(shè)定的閾值ζ(與運(yùn)動(dòng)速度有關(guān),一般ζ取3),得到序列圖像特征點(diǎn)對(duì)的集合p(t)表示t時(shí)刻的圖像幀中的特征點(diǎn),mt為t時(shí)刻與t+1時(shí)刻背景特征點(diǎn)對(duì)的個(gè)數(shù)(mt≥2),N為總的視頻中圖像幀的個(gè)數(shù),(p(t),p(t+1))i表示t時(shí)刻與t+1時(shí)刻第i個(gè)特征點(diǎn)對(duì);
(4)以的特征點(diǎn)對(duì)中,p(1)j作為初始特征點(diǎn),與后面的N-1幀中的特征點(diǎn)進(jìn)行匹配,如果每一幀中都有與p(1)j相匹配的特征點(diǎn),則此采集此特征點(diǎn)為穩(wěn)定的目標(biāo)特征點(diǎn),屬于目標(biāo)特征點(diǎn)集m表示穩(wěn)定的目標(biāo)特征點(diǎn)集中特征點(diǎn)的個(gè)數(shù)。
以上所述的基于目標(biāo)平面運(yùn)動(dòng)特征的相機(jī)位姿自標(biāo)定方法,其特征在于,步驟(2)從穩(wěn)定的目標(biāo)特征點(diǎn)集中,提取相機(jī)位姿標(biāo)定特征點(diǎn)對(duì)的具體步驟包括:
(1)在穩(wěn)定的目標(biāo)特征點(diǎn)集中,求解第1幀中特征點(diǎn)之間的兩兩歐式距離,形成距離矩陣m表示穩(wěn)定目標(biāo)特征點(diǎn)集中特征點(diǎn)的個(gè)數(shù),d(k,s)表示第1幀中,第k個(gè)點(diǎn)與第s個(gè)點(diǎn)之間的距離;
(2)從距離矩陣中,選取最大的距離值則k′,s′點(diǎn)即為初始的相機(jī)位姿標(biāo)定特征點(diǎn);
(3)在初始的相機(jī)位姿標(biāo)定特征點(diǎn)中,計(jì)算每個(gè)時(shí)刻的特征點(diǎn)對(duì)矢量,選取n≥4個(gè)方向不同的矢量(方向不同是指矢量之間的夾角大于等于2°),s(i)為選取的幀時(shí)刻,i=1~n,其特征點(diǎn)對(duì)ps(i)(xs(i),ys(i)),p′s(i)(x′s(i),y′s(i))即為最終選取的相機(jī)位姿標(biāo)定特征點(diǎn)對(duì)。
以上所述的基于目標(biāo)平面運(yùn)動(dòng)特征的相機(jī)位姿自標(biāo)定方法,其特征在于,步驟(3)中建立相機(jī)位姿自標(biāo)定模型時(shí),相機(jī)位姿自標(biāo)定模型可通過下列方程組合確定:
(1)目標(biāo)特征點(diǎn)滿足相機(jī)小孔成像模型其中X,Y,Z是目標(biāo)特征點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo),x,y是目標(biāo)特征點(diǎn)在圖像坐標(biāo)系下的坐標(biāo),fx,fy是兩個(gè)不同方向的焦距參數(shù),Cx,Cy是光軸在圖像平面上可能存在的偏移;
(2)目標(biāo)特征點(diǎn)滿足平面方程AXi+BYi+CZi+D=0
其中Xi,Yi,Zi表示i時(shí)刻的運(yùn)動(dòng)物體特征點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo),A,B,C,D表示平面方程的在攝像機(jī)坐標(biāo)系下的位置參數(shù);
(3)目標(biāo)運(yùn)動(dòng)過程中,特征點(diǎn)之間的距離不變|PiP′i|=|PjP′j|
其中Pi,P′i,Pj,P′j分別表示i時(shí)刻的2個(gè)特征點(diǎn)與j時(shí)刻相應(yīng)的2個(gè)特征點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo),PiP′i與PjP′j分別表示i時(shí)刻與j時(shí)刻2個(gè)特征點(diǎn)之間的距離。
以上所述的基于目標(biāo)平面運(yùn)動(dòng)特征的相機(jī)位姿自標(biāo)定方法,其特征在于,步驟(4)中所述為了得到運(yùn)動(dòng)目標(biāo)平面的法向量,求解遺傳算法的具體步驟包括:
(1)使用遺傳優(yōu)化算法,求相機(jī)位姿標(biāo)定模型的最優(yōu)解,設(shè)計(jì)優(yōu)化的參數(shù)為A,B,C,D;
(2)適應(yīng)度函數(shù)為min d=var(PP′(i)),其中,|PP′(i)|表示選取的n個(gè)時(shí)刻中,P點(diǎn)與P′點(diǎn)之間的距離序列,var表示求距離序列的方差;
(3)為了使模型求出的目標(biāo)平面不致于陷入原點(diǎn)附近的局部最小,增加參數(shù)之間的約束條件為
Φ為一個(gè)不太小的常數(shù),可以設(shè)為1,對(duì)求解不影響。
以上所述的基于目標(biāo)平面運(yùn)動(dòng)特征的相機(jī)位姿自標(biāo)定方法,其特征在于,步驟(5)中圖像對(duì)運(yùn)動(dòng)平面進(jìn)行平面校正的具體步驟包括:
(1)結(jié)合式與式AXi+BYi+CZi+D=0,計(jì)算攝像機(jī)坐標(biāo)系下,二維特征點(diǎn)的三維坐標(biāo)其中D的值可以使用遺傳算法計(jì)算出的值,也可以任意指定;
(2)P1(X1,Y1,Z1)為三維坐標(biāo)中的一個(gè)特征點(diǎn),作為新坐標(biāo)系的原點(diǎn),構(gòu)造坐標(biāo)平移矩陣
(3)P1(X1,Y1,Z1)與P2(X2,Y2,Z2)為三維坐標(biāo)中,2個(gè)不同的特征點(diǎn),構(gòu)造坐標(biāo)旋轉(zhuǎn)矩陣坐標(biāo)軸方向分別為uy=(A,B,C),uz=ux×uy,×表示向量叉積,將坐標(biāo)軸向量(ux,uy,uz)單位化,得(u′x,u′y,u′z),
(4)求為變換后新的目標(biāo)三維坐標(biāo)系下的三維軌跡坐標(biāo),就為變換后的目標(biāo)平面上的二維軌跡坐標(biāo),二維軌跡坐標(biāo)的連接就為求出的與視角無關(guān)的運(yùn)動(dòng)軌跡
本發(fā)明的優(yōu)點(diǎn)可通過以下仿真實(shí)驗(yàn)進(jìn)一步說明:
實(shí)驗(yàn)平臺(tái):硬件環(huán)境是Inter(R)Core(TM)i3-2120,4G,3.30GHz,軟件環(huán)境是Windows7操作系統(tǒng)下的MATLAB R2013a。
圖1為相機(jī)位姿自標(biāo)定模型示意圖,光心為C,其中目標(biāo)運(yùn)動(dòng)平面為π1,圖像平面為π2。圖像坐標(biāo)系下,圖像平面上有運(yùn)動(dòng)物體的特征點(diǎn)pi(xi,yi),p′i(x′i,y′i),其中i表示運(yùn)動(dòng)物體處于i時(shí)刻。在攝像機(jī)坐標(biāo)系下,圖像上運(yùn)動(dòng)物體的特征點(diǎn)分別為pi(xi,yi,f),p′i(x′i,y′i,f),真實(shí)目標(biāo)上的軌跡點(diǎn)分別為P(Xi,Yi,Zi),P(X′i,Y′i,Z′i)。最終求得滿足模型的目標(biāo)運(yùn)動(dòng)平面與真實(shí)的目標(biāo)運(yùn)動(dòng)平面平行,即滿足模型的參數(shù)與相機(jī)和目標(biāo)平面之間的距離尺度無關(guān)。
(1)仿真實(shí)驗(yàn)分析
使用MATLAB對(duì)本發(fā)明提出的相機(jī)位姿自標(biāo)定模型進(jìn)行仿真實(shí)驗(yàn)。在世界坐標(biāo)系下,目標(biāo)運(yùn)動(dòng)平面為z=5。運(yùn)動(dòng)目標(biāo)為正方形,其初始特征點(diǎn)有9個(gè),在目標(biāo)平面上,分別為(-1,-1),(-1,0),(-1,1),(0,-1),(0,0),(0,1),(1,-1),(1,0),(1,1)。相機(jī)內(nèi)部參數(shù)矩陣為[600 0 300;0 600 300;0 0 1],外參變換矩陣為[0.5 0 0.87;0 1 0;-0.87 0 0.5]。目標(biāo)的運(yùn)動(dòng)定義為,旋轉(zhuǎn)角度θ,平移為(Sx,Sy)。運(yùn)動(dòng)的時(shí)刻為1~6。當(dāng)目標(biāo)運(yùn)動(dòng)θ=0.5,Sx=1,Sy=1時(shí),在手勢(shì)平面與成像平面下,觀察到的運(yùn)動(dòng)軌跡見圖2(a),(b)所示。取初始特征點(diǎn)中的兩個(gè)(-1,-1),(-1,0)作為相機(jī)位姿標(biāo)定特征點(diǎn),使用相機(jī)位姿自標(biāo)定模型對(duì)相機(jī)與目標(biāo)平面的位姿關(guān)系進(jìn)行標(biāo)定,相機(jī)位姿與軌跡平面校正的結(jié)果如圖3所示的三維圖。經(jīng)過視角標(biāo)準(zhǔn)化,最終準(zhǔn)確地恢復(fù)出目標(biāo)在平面上的運(yùn)動(dòng)軌跡,如圖4所示。從圖3和圖4中可以看出,在理想的狀態(tài)下,通過本模型可以準(zhǔn)確地估計(jì)相機(jī)位姿,并恢復(fù)出目標(biāo)平面上的運(yùn)動(dòng)軌跡,其中平面坐標(biāo)軸產(chǎn)生了一定角度的旋轉(zhuǎn),由此間接地證明了模型的正確性。
(2)標(biāo)定板實(shí)驗(yàn)分析
使用本發(fā)明的相機(jī)位姿自標(biāo)定模型對(duì)標(biāo)定板與相機(jī)之間的位姿進(jìn)行標(biāo)定,然后與Matlab標(biāo)定工具箱中的張正友標(biāo)定法進(jìn)行對(duì)比。
簡(jiǎn)易的標(biāo)定圖片如圖5所示。圖中的標(biāo)定圖有9×7個(gè)方格組成,共有80個(gè)特征點(diǎn)。假設(shè)圖中有8個(gè)時(shí)刻得到的特征點(diǎn)對(duì)(pi(xi,yi),p′i(x′i,y′i)),在80個(gè)特征點(diǎn)中,分別為(80,79),(71,61),(70,59),(63,54),(68,56),(48,27),(10,39),(1,14),如圖6所示。其中使用的8個(gè)特征點(diǎn)對(duì)為在特征點(diǎn)對(duì)矢量上標(biāo)記的序號(hào)為1~8的特征點(diǎn)對(duì)。圖5中的坐標(biāo)系為圖像像素坐標(biāo)系。
由圖6知,使用8組特征點(diǎn),建立相機(jī)位姿自標(biāo)定模型,由于這8組特征點(diǎn)之間的實(shí)際距離不同,可設(shè)距離分別為|PP′(i)|,i=1~8。根據(jù)實(shí)際距離關(guān)系,在原距離上除以不同的比例因子,可構(gòu)造新的距離序列可表示為(|PP′(1)|,|PP′(2)|,|PP′(3)|/20.5,|PP′(4)|/20.5,|PP′(5)|/50.5,|PP′(6)|/50.5,|PP′(7)|/100.5,|PP′(8)|/100.5),在得到的距離序列中,理論上距離特征的值都應(yīng)該相同,現(xiàn)構(gòu)造適應(yīng)度函數(shù)為
使用遺傳算法求得相機(jī)與平面之間的相對(duì)位姿,得到的攝像機(jī)坐標(biāo)系下,把第一維歸一化為1的目標(biāo)平面法向量見下表1,使用此法向量,恢復(fù)圖像中的80個(gè)特征點(diǎn)的空間坐標(biāo)如圖7所示,其中目標(biāo)平面與原點(diǎn)之間的距離是尺度無關(guān)的。然后經(jīng)過平面校正,將圖5的原圖像及80個(gè)特征點(diǎn)校正到正投影下,得到如圖8的圖像??梢钥吹?,經(jīng)過平面校正,可以得到較為理想的結(jié)果。圖8中在平面上出現(xiàn)的黑點(diǎn)及黑塊的原因在于:對(duì)于圖5的像平面上的點(diǎn)與圖8正投影像平面上的點(diǎn),它們之間的關(guān)系為單射關(guān)系,但不是滿射。并且當(dāng)相機(jī)處于不同視角時(shí),所拍攝得到的視野是不同的。故對(duì)于如圖8的正投影圖像中,存在部分像素點(diǎn),在圖5的原始像平面上,無對(duì)應(yīng)點(diǎn),在圖像上表現(xiàn)出來為黑點(diǎn)。
與張正友標(biāo)定法的對(duì)比:
定性比較:使用張正友標(biāo)定法標(biāo)定出相機(jī)的位姿,轉(zhuǎn)換得到攝像機(jī)坐標(biāo)系下,目標(biāo)平面的法向量,其對(duì)比數(shù)據(jù)如表1所示,可以看出它們是很接近的。使用兩種法向量對(duì)原始圖像中80個(gè)特征點(diǎn)進(jìn)行平面校正,得到的校正結(jié)果如圖9所示。圖9中使用了平移與縮放,將兩種校正后的特征點(diǎn)中,第1個(gè)特征點(diǎn)與第80個(gè)特征點(diǎn)對(duì)齊,可以看到校正后的結(jié)果也是很接近的。
定量比較:對(duì)校正后的80個(gè)特征點(diǎn),與標(biāo)定板原始特征點(diǎn)的形狀相近度進(jìn)行比較。根據(jù)正方形標(biāo)定板的特點(diǎn),所有小正方形直邊長度相等,斜邊長度相等。設(shè)計(jì)比較參數(shù)為直邊長度誤差與對(duì)角線長度誤差。直邊長度誤差:求80個(gè)特征點(diǎn)中,所有的小矩形直邊長度,作為直邊長度序列A,直邊長度誤差=var(A)/mean(A),var為求序列的方差,mean為求序列的均值。對(duì)角線長度誤差:求80個(gè)特征點(diǎn)中,所有的小矩形對(duì)角線的長度,作為對(duì)角線長度序列B,對(duì)角線長度誤差=var(B)/mean(B)。誤差對(duì)比結(jié)果如表1所示,可以看到本模型得到的誤差更小。
表1標(biāo)定板實(shí)驗(yàn)結(jié)果及誤差
模型魯棒性分析:
模型設(shè)計(jì)時(shí),認(rèn)為只要已知n≥4組幀間特征點(diǎn)對(duì),就可以求出模型的解,現(xiàn)在做實(shí)驗(yàn)來對(duì)模型的解的魯棒性進(jìn)行分析。
模型求解時(shí),已經(jīng)選取8個(gè)時(shí)刻的特征點(diǎn)對(duì),現(xiàn)在再增加8個(gè)時(shí)刻的特征點(diǎn)對(duì),共形成16個(gè)時(shí)刻的特征點(diǎn)對(duì),如圖6所示,增加的8個(gè)特征點(diǎn)對(duì)為在特征點(diǎn)對(duì)矢量上標(biāo)記的序號(hào)為8~16的特征點(diǎn)對(duì)。當(dāng)然,新增加的特征點(diǎn)對(duì)在計(jì)算特征點(diǎn)間的距離時(shí),也要在原距離上除以不同的比例因子,變換后特征點(diǎn)對(duì)之間的理論距離相等,序號(hào)為8~16的距離計(jì)算時(shí),比例因子分別從圖6中可以看出,選取的16個(gè)特征點(diǎn)對(duì)矢量方向是不同的?,F(xiàn)在依次選取序號(hào)為1~n的特征點(diǎn)對(duì),n=4~16,對(duì)模型進(jìn)行求解,并對(duì)得到的解與誤差進(jìn)行對(duì)比。
如圖10所示,當(dāng)n不同時(shí),得到的攝像機(jī)坐標(biāo)系下,平面法向量及其對(duì)比。在對(duì)比過程中,將平面法向量的x坐標(biāo)都轉(zhuǎn)化為1,這樣我們只對(duì)比其y坐標(biāo)與z坐標(biāo)。從圖10中可以看出,當(dāng)n較小,個(gè)別樣本的選取會(huì)影響解的魯棒性,如當(dāng)n=11或n=12時(shí);但當(dāng)n增大時(shí),法向量的x與y坐標(biāo)趨于穩(wěn)定,即得到的法向量趨于穩(wěn)定,與張正友標(biāo)定法得到的結(jié)果接近。從此分析中可以得出,在n較大時(shí),模型是魯棒的。
如圖11所示,當(dāng)n不同時(shí),得到的解的誤差及其對(duì)比。從圖11中可以看出,當(dāng)n增大時(shí),解的直邊誤差與對(duì)角線誤差均有減小的趨勢(shì);當(dāng)n較小,個(gè)別樣本的選取會(huì)影響解的誤差,如當(dāng)n=11或n=12時(shí),誤差有增加;但是在n較大時(shí),它的誤差就會(huì)趨于穩(wěn)定;當(dāng)特征點(diǎn)對(duì)矢量n>12時(shí),得到的誤差就會(huì)小于張正友標(biāo)定法得到的誤差。從此分析中可以得出,在n較大時(shí),模型是魯棒的。從圖10中看到誤差的趨勢(shì)是>0.02的。它沒有趨向于0的原因是,圖片拍攝的過程中,圖片理論上應(yīng)該是嚴(yán)格屬于同一平面上的,但是從圖5中可以看出,圖片的紙張有輕微的不平整;并且圖像預(yù)處理與圖像特征點(diǎn)坐標(biāo)提取也有一定的誤差,因此,無法使模型誤差趨向于0,即得到一個(gè)理論上精確的解。
綜上所述,本發(fā)明很適合運(yùn)動(dòng)目標(biāo)為剛體的情況,可以通過獲取的運(yùn)動(dòng)特征,對(duì)相機(jī)的位姿進(jìn)行標(biāo)定。當(dāng)獲取標(biāo)定特征較多時(shí),標(biāo)定結(jié)果優(yōu)于張正友標(biāo)定法。