專利名稱：：一種基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于數(shù)字圖像處理與空間科學(xué)技術(shù)交叉的
技術(shù)領(lǐng)域：
，具體涉及一種基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法。該方法通過序列圖像處理和雙目光流計(jì)算，來估計(jì)空間目標(biāo)的旋轉(zhuǎn)軸及質(zhì)心，可應(yīng)用于觀測(cè)衛(wèi)星對(duì)在太空中處于自旋運(yùn)動(dòng)或姿態(tài)調(diào)節(jié)過程中的空間物體的特性測(cè)量及觀測(cè)衛(wèi)星與空間物體在逐漸靠近過程中的自主圖像導(dǎo)航。
背景技術(shù)：
：視覺運(yùn)動(dòng)分析是研究從場(chǎng)景的圖像序列中提取場(chǎng)景中目標(biāo)物體的結(jié)構(gòu)、位置和運(yùn)動(dòng)信息的理論和方法。這項(xiàng)技術(shù)被廣泛的應(yīng)用于機(jī)器人導(dǎo)航、汽車智能交通、非接觸物體測(cè)量等領(lǐng)域。在未知環(huán)境中，自主導(dǎo)航系統(tǒng)面臨的技術(shù)困難已不僅僅是規(guī)避靜止物體，而且需要根據(jù)環(huán)境的變化來跟蹤、觀測(cè)、規(guī)避運(yùn)動(dòng)的物體。比如機(jī)器人導(dǎo)航、太空衛(wèi)星跟蹤編隊(duì)等。很多場(chǎng)合需要視覺系統(tǒng)自動(dòng)地跟蹤和觀測(cè)未知物體。對(duì)未知目標(biāo)進(jìn)行近距離的特性觀測(cè)和相對(duì)導(dǎo)航，需要處理的核心問題就是估計(jì)視覺系統(tǒng)與目標(biāo)物體之間的相對(duì)位置和相對(duì)姿態(tài)，建立相對(duì)導(dǎo)航的運(yùn)動(dòng)方程。為此，首先就要估計(jì)目標(biāo)物體的質(zhì)心或旋轉(zhuǎn)軸。目前的光流技術(shù)通常是基于單目觀測(cè)的，即分析單個(gè)成像傳感器上的光流來估計(jì)物體的速度、距離。女nYairBarniv在文獻(xiàn)"passiverangingusingimageexpansion"(YairBarniv，正EETRANSACTIONSONAEROSPACEANDELECTRONICSYSTEMSVOL.31，NO.1JANUARY1995)中通過光流的變化來估計(jì)立方體由遠(yuǎn)及近的速度和距離。該文介紹了幾種光流檢測(cè)的方法，它只簡(jiǎn)單分析了利用單目光流場(chǎng)來估計(jì)立方體相對(duì)相機(jī)的接近速度和相對(duì)距離，并沒有分析其他復(fù)雜的運(yùn)動(dòng)模型，如剛體的旋轉(zhuǎn)，也沒有結(jié)合雙目立體視覺來進(jìn)行相關(guān)研究。由于在進(jìn)行衛(wèi)星編隊(duì)飛行或者交會(huì)時(shí)需要對(duì)目標(biāo)的質(zhì)心進(jìn)行準(zhǔn)確定位，因此準(zhǔn)確估計(jì)衛(wèi)星的質(zhì)心是非常必要的。目前國(guó)內(nèi)外對(duì)空間目標(biāo)進(jìn)行質(zhì)心估計(jì)的研究還停留在針對(duì)合作目標(biāo)(能夠與目標(biāo)進(jìn)行實(shí)時(shí)通訊交流)和具備先驗(yàn)知識(shí)的目標(biāo)(已知目標(biāo)的三維特征或其他信息)階段。對(duì)于非合作目標(biāo)和未知目標(biāo)的質(zhì)心估計(jì)，國(guó)內(nèi)外還沒有相關(guān)文獻(xiàn)報(bào)道。而本發(fā)明中介紹的方法可適用于非合作的未知目標(biāo)。
發(fā)明內(nèi)容本發(fā)明的目的是提供一種基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，該方法可有效估計(jì)空間自旋目標(biāo)的旋轉(zhuǎn)軸和質(zhì)心，從而解決觀察衛(wèi)星與目標(biāo)的相對(duì)導(dǎo)航與定位問題。本發(fā)明提供的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，其步驟包括(1)對(duì)左、右視圖進(jìn)行特征點(diǎn)檢測(cè)，左、右視圖分別由左、右相機(jī)同時(shí)拍攝，并且包括至少五個(gè)時(shí)刻的圖像對(duì)；(2)相隔至少一幀按時(shí)序依次分別計(jì)算左、各視圖的光流，得到特征點(diǎn)的雙目光流。(3)根據(jù)特征點(diǎn)的雙目光流進(jìn)行單位時(shí)間內(nèi)三維運(yùn)動(dòng)矢量的重建。(4)由單個(gè)特征點(diǎn)的三維運(yùn)動(dòng)矢量序列對(duì)旋轉(zhuǎn)軸進(jìn)行單次估計(jì)，并計(jì)算出該特征點(diǎn)運(yùn)動(dòng)軌跡半徑。(5)根據(jù)各特征點(diǎn)擬合軌跡的半徑，將各軌跡平面的法矢量以及軌跡圓心進(jìn)行加權(quán)平均，得到最終的旋轉(zhuǎn)軸的空間方程。(6)在另外的時(shí)間段，當(dāng)目標(biāo)的旋轉(zhuǎn)軸改變后，重復(fù)步驟(1)(5)，得到另一條旋轉(zhuǎn)軸的空間方程，與前一次求出的旋轉(zhuǎn)軸的方程聯(lián)立，求解出目標(biāo)的質(zhì)心空間坐標(biāo)。根據(jù)運(yùn)動(dòng)力學(xué)原理，空間自旋目標(biāo)的質(zhì)心必然在其旋轉(zhuǎn)軸上，針對(duì)這一物理特性，本發(fā)明通過目標(biāo)特征點(diǎn)在兩個(gè)成像傳感器獲取的序列圖像上形成的光流，估計(jì)其運(yùn)動(dòng)軌跡，進(jìn)而估計(jì)目標(biāo)的旋轉(zhuǎn)軸，通過估計(jì)不同時(shí)段的多條旋轉(zhuǎn)軸，從而估計(jì)目標(biāo)的質(zhì)心。本發(fā)明的優(yōu)點(diǎn)在于不需要目標(biāo)物體的先驗(yàn)信息，也不需要在目標(biāo)物體上設(shè)置星標(biāo)，而是通過兩個(gè)成像傳感器(如雙目可見光相機(jī)或紅外相機(jī))獲取的序列圖像，根據(jù)物體運(yùn)動(dòng)特征點(diǎn)在兩個(gè)成像面上形成的光流來估計(jì)目標(biāo)物體的旋轉(zhuǎn)軸和質(zhì)心。由該方法估計(jì)的自旋運(yùn)動(dòng)目標(biāo)(包括調(diào)姿過程中的短暫自旋運(yùn)動(dòng))質(zhì)心的相對(duì)誤差小于10%。圖1是本發(fā)明方法的處理流程圖2是對(duì)同一特征點(diǎn)在運(yùn)動(dòng)過程中逐幀計(jì)算光流；圖3是對(duì)同一特征點(diǎn)在運(yùn)動(dòng)過程中采取隔n-l幀計(jì)算光流；圖4是三維運(yùn)動(dòng)矢量到雙目成像系統(tǒng)的投影模型；圖5是特征點(diǎn)圓弧軌跡示意圖6是估計(jì)的特征點(diǎn)空間運(yùn)動(dòng)軌跡有拐點(diǎn)時(shí)，對(duì)旋轉(zhuǎn)軸估計(jì)的影響；圖7是目標(biāo)在不同時(shí)刻的三個(gè)旋轉(zhuǎn)軸的估計(jì)(A、A、^分別為目標(biāo)在z;、T2、石時(shí)刻的實(shí)際旋轉(zhuǎn)軸，/,、/2、/3分別為相應(yīng)的估計(jì)旋轉(zhuǎn)軸)；圖8是7;時(shí)間段，檢測(cè)得到的4個(gè)特征點(diǎn)，L為旋轉(zhuǎn)軸；圖9是7;時(shí)間段，隔1幀計(jì)算的4個(gè)特征點(diǎn)在觀測(cè)時(shí)間內(nèi)的光流軌跡；圖IO是目標(biāo)繞第一個(gè)軸旋轉(zhuǎn)時(shí)，最終估計(jì)的旋轉(zhuǎn)軸L'(虛線)與實(shí)際旋轉(zhuǎn)軸L(實(shí)線)比較；圖11是7;時(shí)間段，對(duì)目標(biāo)特征點(diǎn)B以相鄰幀計(jì)算光流后，估計(jì)的旋轉(zhuǎn)軸L，(虛線)與實(shí)際旋轉(zhuǎn)軸L(實(shí)線)的比較；圖12是A時(shí)間段，對(duì)目標(biāo)特征點(diǎn)B按時(shí)序依次隔一幀計(jì)算光流后，估計(jì)的旋轉(zhuǎn)軸L'(虛線)與實(shí)際旋轉(zhuǎn)軸L(實(shí)線)的比較；圖13是K時(shí)間段，檢測(cè)得到的4個(gè)特征點(diǎn)，L為旋轉(zhuǎn)軸；圖14是目標(biāo)繞第二個(gè)軸旋轉(zhuǎn)時(shí)，最終估計(jì)的旋轉(zhuǎn)軸L'(虛線)與實(shí)際旋轉(zhuǎn)軸L(實(shí)線)比較；圖15是^時(shí)間段，檢測(cè)得到的4個(gè)特征點(diǎn)，L為旋轉(zhuǎn)軸；圖16是目標(biāo)繞第三個(gè)軸旋轉(zhuǎn)時(shí)，最終估計(jì)的旋轉(zhuǎn)軸L，(虛線)與實(shí)際旋軸L(實(shí)線)比較；圖17是表示三條估計(jì)軸與實(shí)際軸的誤差角度隨計(jì)算光流所隔幀數(shù)的變化(A、丄2、A分別對(duì)應(yīng)7;、T2、石三個(gè)時(shí)刻)；圖18是表示三條估計(jì)軸與實(shí)際軸的誤差距離隨計(jì)算光流所隔幀數(shù)的變化(A、z2、A分別對(duì)應(yīng)j;、r2、5三個(gè)時(shí)刻)。具體實(shí)施例方式下面結(jié)合附圖和實(shí)例對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明。本發(fā)明利用兩個(gè)可見光相機(jī)形成雙目立體視覺系統(tǒng)拍攝自轉(zhuǎn)的目標(biāo)，目標(biāo)的形殊點(diǎn)(如角點(diǎn))會(huì)在兩個(gè)相機(jī)的像面上形成三維運(yùn)動(dòng)軌跡的二維投影，這些三維運(yùn)動(dòng)軌跡在像面上的二維投影稱為"光流"。同一個(gè)點(diǎn)在兩個(gè)相機(jī)上形成的光流稱作光流立體像對(duì)，本發(fā)明的主要方法就是根據(jù)自轉(zhuǎn)目標(biāo)上多個(gè)形殊點(diǎn)在兩相機(jī)上的光流立體像對(duì)，估計(jì)出目標(biāo)的旋轉(zhuǎn)軸，由于物體自轉(zhuǎn)的旋轉(zhuǎn)軸經(jīng)過物體的質(zhì)心，所以當(dāng)目標(biāo)在不同時(shí)段繞不同旋轉(zhuǎn)軸旋轉(zhuǎn)時(shí)，就可以根據(jù)兩次(或多次)旋轉(zhuǎn)的旋轉(zhuǎn)軸估計(jì)出物體的質(zhì)心位置。如圖1所示，本發(fā)明方法包括以下步驟(1)對(duì)左、右視圖進(jìn)行特征點(diǎn)檢測(cè)，左、右視圖分別由左、右相機(jī)同時(shí)拍攝，并且包括至少五個(gè)時(shí)刻的圖像對(duì)；通常目標(biāo)表面結(jié)構(gòu)豐富，特別是多面體構(gòu)成的衛(wèi)星物體，完全可以選擇符合條件的特征點(diǎn)來進(jìn)行光流檢測(cè)。可以用Canny或其它邊緣算子提取目標(biāo)的邊緣信息，再根據(jù)Hough變換檢測(cè)直線段并計(jì)算相鄰直線段的交點(diǎn)的方法，檢測(cè)出目標(biāo)的角點(diǎn)，另夕卜，可利用Harris角點(diǎn)檢測(cè)或者SUSAN角點(diǎn)檢測(cè)法輔助檢測(cè)目標(biāo)角點(diǎn)，以提高角點(diǎn)檢測(cè)的精度。(2)相隔至少一幀按時(shí)序依次分別計(jì)算左、各視圖的光流，得到特征點(diǎn)的雙目光流。計(jì)算光流的圖像對(duì)可以是非相鄰幀的。如圖2所示，相鄰幀計(jì)算光流得到的每個(gè)光流較小，這使得后面重建三維運(yùn)動(dòng)矢量的誤差較大。因此，為了提高重建三維運(yùn)動(dòng)矢量的精度，本發(fā)明推出了按時(shí)序依次隔至少一幀計(jì)算特征點(diǎn)光流的方法。如圖3所示，圖中的序號(hào)表示時(shí)刻數(shù)，各序號(hào)所對(duì)應(yīng)的點(diǎn)表示特征點(diǎn)在該時(shí)刻在圖像中的位置。那么，為了得到較大的光流，可以延遲n-l幀計(jì)算光流，這樣，以第l幀為起點(diǎn)，第n幀為終點(diǎn)可得到一條光流，依此類推，第2幀為起點(diǎn)，第n+l為終點(diǎn)，可得到第二條光流……在具體操作時(shí)，可根據(jù)實(shí)際情況調(diào)整相隔的幀數(shù)，若目標(biāo)在圖像中的區(qū)域較小，那么可以適當(dāng)增大相隔的幀數(shù)。(3)根據(jù)特征點(diǎn)的雙目光流進(jìn)行單位時(shí)間內(nèi)三維運(yùn)動(dòng)矢量的重建。三維運(yùn)動(dòng)矢量到雙目成像系統(tǒng)的投影模型如圖4所示，在該模型中，一立方體繞旋轉(zhuǎn)軸做旋轉(zhuǎn)運(yùn)動(dòng)，實(shí)線所示的立方體為旋轉(zhuǎn)之前的狀態(tài)，虛線所示的立方體是旋轉(zhuǎn)之后的狀態(tài)，旋轉(zhuǎn)之前的P點(diǎn)對(duì)應(yīng)于旋轉(zhuǎn)之后的P，點(diǎn)，^"'即為立方體上某一點(diǎn)的三維運(yùn)動(dòng)矢量。(9J，"Z,為左相機(jī)坐標(biāo)系，02義2}^2為右相機(jī)坐標(biāo)系，0,1/^為左相機(jī)的成像平面坐標(biāo)系，0;t/,K平面與0^^平面平行，"t/^為右相機(jī)的成像平面坐標(biāo)系，02(/72平面與0212^平面平行。兩相機(jī)均采用針孔模型，而0,和02分別為左右相機(jī)的"針孔"，0々;和0^分別為左右相機(jī)的焦距，大小都為f。兩相機(jī)的光軸與02Z2平行，且基線距離0々2大小為6。。不失一般性，為了計(jì)算的簡(jiǎn)便，不妨定義空間坐標(biāo)系與左相機(jī)坐標(biāo)系QZ^Z,重合。在該定義下，左相機(jī)坐標(biāo)系相對(duì)空間坐標(biāo)系不發(fā)生旋轉(zhuǎn)或平移運(yùn)動(dòng)，而右相機(jī)坐標(biāo)系相對(duì)空間坐標(biāo)系只發(fā)生水平方向的偏移，偏移量即為兩相機(jī)的基線距離6。。P點(diǎn)在左相機(jī)成像平面的投影為A，尸'點(diǎn)在左相機(jī)成像平面的投影為/r，那么三維運(yùn)動(dòng)矢量^^'在左相機(jī)成像平面投影形成的光流即為^"'，同理，^"'在右相機(jī)成像平面投影形成的光流為圖4中的^"'在左相機(jī)成像平面坐標(biāo)系(9,T/《中，令《的坐標(biāo)為(^A)，/r的坐標(biāo)為在右相機(jī)成像平面坐標(biāo)系O，A中，令尸2的坐標(biāo)為("，。，？2'的坐標(biāo)為(^',^);在世界坐標(biāo)系中，令P點(diǎn)的坐標(biāo)為(U,z)，P'點(diǎn)的坐標(biāo)為(x',r,z')。由相機(jī)針孔模型可得<formula>formulaseeoriginaldocumentpage11</formula>O/t/^坐標(biāo)系中，]^"'所在直線的方程為CVf/^坐標(biāo)系中，^"'所在直線的方程為7,-K/(4)根據(jù)圖4所示的三維運(yùn)動(dòng)矢量到雙目成像系統(tǒng)的投影模型，可以由三維運(yùn)動(dòng)矢量在兩個(gè)相機(jī)成像平面上投影形成的光流，通過直線重建的方法，估計(jì)出三維運(yùn)動(dòng)矢量所在空間直線的方程?？臻g三維運(yùn)動(dòng)矢量^^'所在直線在空間坐標(biāo)系中的方程可以寫為，(一)(5)設(shè)左相機(jī)成像平面上的光流s/r所在的直線為,右相機(jī)成像平面上的光流戶72所在的直線為/2，根據(jù)式(5)以及式(3)、(4)/，，/2分別在各自成像平面坐標(biāo)系的方程可以寫為/,:《")-M=/(叫-)，(6)/2:(p+60;n/H-6(一0)]，(7)其中/>。和/分別為兩個(gè)相機(jī)之間的基線長(zhǎng)度和焦距。由于光流可直接在圖像序列中檢測(cè)得到，因此光流所在直線的斜率和截距也可以計(jì)算得到，設(shè)/，的斜率為A,，截距為m,，/2的斜率為&，截距為m2(這里斜率的定義為*=^)分別為Av/2:U2-W=m2(8)聯(lián)立式(5)式(7)可得*2=(《+60)，附,=/("《-印)/<，由(10)解出fl,M,《，得到直線方程(適用于《^0情況):(10)附,A'-附2)附,一附2&7—Al求出了"，;^后，代入方程(5)，就可求出三維運(yùn)動(dòng)矢量i^'所在的直線在空間坐標(biāo)系中的方程。當(dāng)q=0，p*0時(shí)，空間直線在兩相機(jī)成像平面的投影相同/2:^=》由于兩幅圖像在U方向沒有差異(即不存在視差)，無法重建直線。當(dāng)p=0,q=0時(shí)(即空間直線經(jīng)過坐標(biāo)原點(diǎn))，由于針孔模型為仿射投影，直線在圖像上的投影為一個(gè)點(diǎn)，此時(shí)將不能重建空間直線。(4)由單個(gè)特征點(diǎn)的三維運(yùn)動(dòng)矢量序列對(duì)旋轉(zhuǎn)軸進(jìn)行單次估計(jì)，并計(jì)算出該特征點(diǎn)運(yùn)動(dòng)軌跡半徑。如圖5所示，目標(biāo)上某點(diǎn)繞旋轉(zhuǎn)軸在單位時(shí)間t內(nèi)由A點(diǎn)運(yùn)動(dòng)到B點(diǎn)，圓弧軌跡的半徑為R，旋轉(zhuǎn)的角度為"，線速度為5，單位時(shí)間t內(nèi)，由A點(diǎn)到B點(diǎn)的平均速度為"^與卩的矢量夾角為^。那么^與^的大小關(guān)系就如式(12)所示令目標(biāo)旋轉(zhuǎn)的角速度為5-2/，且Q-叾<formula>formulaseeoriginaldocumentpage13</formula>(12)因目標(biāo)旋轉(zhuǎn)的角速度為^，且^=5，那么由式(12)可得:<formula>formulaseeoriginaldocumentpage14</formula>(13)以上分析了^與卩的模的關(guān)系，矢量卩可看作是矢量^旋轉(zhuǎn)^后再進(jìn)行模的放縮得到，令《為^旋轉(zhuǎn)到；的旋轉(zhuǎn)矩陣，又令矩陣^的表達(dá)式如下<formula>formulaseeoriginaldocumentpage14</formula>其中，5=)7'，1a1《=/+singW"+[1_cos(三根據(jù)以上分析，可得到^與卩的關(guān)系如下-化0為5的單位向(14)那么smv=々0(15)又由于^:5x^i-Q:'.^，因此可得:A8=v'/=sin|—Q/丄。/2《v。'？={sin(i"20<y'+[1—cos(f^)]'S'2}.Si令矩陣M-sin(Qf);+卩-c。s(Qf)〗；'2，展開后可得(16)-(l-cos。00-"/2)(1-cosQ0w/w,-<sinQf(1-cosQf)+sin(1-cos)<+<y/sin-(1-cos—"/2)(1-cosQf)《"/-《sin(1—cosQf)-sin(1-cosQf)"一/+<sin-(1-cos。0(1-z'2)(17)令A(yù)點(diǎn)的坐標(biāo)為(x力,h，zJ，0點(diǎn)的坐標(biāo)為(x。,j;。，z。)、設(shè)^二(x,少，zf，向量25可由雙目立體光流場(chǎng)重建得到，而A點(diǎn)的坐標(biāo)為向量的起始點(diǎn)，也可由雙目立體光流場(chǎng)重建得到，那么由式(16)可得到<formula>formulaseeoriginaldocumentpage15</formula>(18)將參數(shù)作如下變量代換:<formula>formulaseeoriginaldocumentpage15</formula>可得到:<formula>formulaseeoriginaldocumentpage15</formula>(19)如果只觀測(cè)特征點(diǎn)在一個(gè)時(shí)間段的空間位置變化(由A運(yùn)動(dòng)到B)，可以得到上述3個(gè)方程，若觀測(cè)該特征點(diǎn)在多個(gè)時(shí)間段的運(yùn)動(dòng)變化(至少四個(gè)時(shí)間段)，使方程的系數(shù)矩陣的行數(shù)大于12，即可以解出^到212。由于<formula>formulaseeoriginaldocumentpage15</formula>所以可解出O點(diǎn)的坐標(biāo)(x。,;;。,z。)7。而<formula>formulaseeoriginaldocumentpage15</formula>(21)又由于；=~/,^是個(gè)單位矢量，所以有<2+<2+<2=1，結(jié)合式(21)可以解出/，a^7。由于旋轉(zhuǎn)軸的方向與^"'的方向相同，又解出了該旋轉(zhuǎn)軸經(jīng)過點(diǎn)(&,&,&)7'，所以空間坐標(biāo)系中，旋轉(zhuǎn)軸的方程為Z-x0=7-^0=Z-z0(22)<<<另外，還可以根據(jù)Q-"rcsin^"arcsin^"arcsin^求出物體旋轉(zhuǎn)的角速度的大小。由于己求出Q和^、、f，所以根據(jù)式(17)可求出式(18)中的矩陣M，而由式(20)已求出(;c。^。,z。)7'，因此可根據(jù)式(18)得到<formula>formulaseeoriginaldocumentpage16</formula>所以可求得圓弧軌跡的半徑為<formula>formulaseeoriginaldocumentpage16</formula>根據(jù)上述原理，我們基于目標(biāo)繞同一個(gè)旋轉(zhuǎn)軸旋轉(zhuǎn)的左右視圖序列，獲得目標(biāo)上某一點(diǎn)在一系列時(shí)刻的離散運(yùn)動(dòng)場(chǎng)投影到左右相機(jī)的光流，并且對(duì)這一系列光流進(jìn)行重建，獲得重建后的三維運(yùn)動(dòng)矢量，對(duì)每個(gè)特征點(diǎn)檢測(cè)4組(或4組以上)的光流立體像對(duì)，將重建后的三維運(yùn)動(dòng)矢量代入式(1S)，可分別得到由不同的特征點(diǎn)的運(yùn)動(dòng)軌跡估計(jì)的旋轉(zhuǎn)軸的方向，以及軌跡的半徑和圓心。某些時(shí)刻，當(dāng)三維運(yùn)動(dòng)矢量在兩相機(jī)成像面投影得到的光流大小遠(yuǎn)小于三維運(yùn)動(dòng)矢量本身的大小時(shí)(即三維運(yùn)動(dòng)矢量與成像平面的角度較大時(shí))，由于光流的雙目視差較小，所以在重建三維運(yùn)動(dòng)矢量時(shí)，深度信息的損失較大，所以重建誤差也較大，因此在重建三維運(yùn)動(dòng)矢量的空間軌跡時(shí)，就會(huì)表現(xiàn)出在某些時(shí)刻重建的軌跡中會(huì)出現(xiàn)明顯的拐點(diǎn)(如圖6中A、B兩處所示)?；谝陨戏治?，在單次估計(jì)過程中應(yīng)特別注意在對(duì)旋轉(zhuǎn)軸進(jìn)行單次估計(jì)之前，應(yīng)首先估計(jì)重建的三維運(yùn)動(dòng)矢量序列的平滑度，若不對(duì)拐點(diǎn)處進(jìn)行平滑處理，會(huì)嚴(yán)重影響旋轉(zhuǎn)軸的估計(jì)精度。圖6中，L為實(shí)際旋轉(zhuǎn)軸，L'為估計(jì)的旋轉(zhuǎn)軸，P點(diǎn)為估計(jì)錯(cuò)誤的圓弧軌跡的圓心。(5)根據(jù)各特征點(diǎn)的擬合軌跡的半徑，將各軌跡平面的法矢量以及軌跡圓心進(jìn)行加權(quán)平均，得到最終的旋轉(zhuǎn)軸的空間方程。由一個(gè)點(diǎn)的運(yùn)動(dòng)軌跡，可以確定該點(diǎn)的圓弧軌跡的圓心以及垂直于該圓平面的法線方向，而在理論上，而該物體旋轉(zhuǎn)軸的方向和各個(gè)點(diǎn)的圓弧軌跡所在平面的法線方向相同，且經(jīng)過圓弧的圓心，所以將不同的點(diǎn)的運(yùn)動(dòng)軌跡所確定的旋轉(zhuǎn)軸的方向和圓心的坐標(biāo)加權(quán)平均，就可以最終估計(jì)出一個(gè)誤差較小的旋轉(zhuǎn)軸的方向，和旋轉(zhuǎn)軸所經(jīng)過的一點(diǎn)(該點(diǎn)就是各個(gè)圓弧軌跡圓心加權(quán)平均的結(jié)果)。由于旋轉(zhuǎn)半徑大的點(diǎn)所形成的光流的檢測(cè)誤差相對(duì)較小，因此在加權(quán)平均時(shí)，半徑較大的運(yùn)動(dòng)軌跡所確定的圓心坐標(biāo)和法線方向所占的權(quán)重應(yīng)該較大。令每個(gè)圓弧軌跡的圓心坐標(biāo)為(x,，乂,z,)，半徑為i,，軌跡擬合平面的法線方向?yàn)?A,c,)，那么最終估計(jì)的圓心坐標(biāo)(S，；，S)和法線方向^，^，^的計(jì)算公式如下所示<formula>formulaseeoriginaldocumentpage17</formula>(25)(26)因此最終估計(jì)的旋轉(zhuǎn)軸的方程為:<formula>formulaseeoriginaldocumentpage17</formula>(6)在另外的時(shí)間段，當(dāng)目標(biāo)的旋轉(zhuǎn)軸改變后，重復(fù)步驟(1)(5)，得到另一條旋轉(zhuǎn)軸的空間方程，與前一次求出的旋轉(zhuǎn)軸的方程聯(lián)立，求解出目標(biāo)的質(zhì)心空間坐標(biāo)。實(shí)例下面結(jié)合仿真實(shí)例來詳細(xì)說明本發(fā)明方法的正確性和有效性。假設(shè)仿真衛(wèi)星在a、r2、7^三個(gè)時(shí)段分別繞三個(gè)不同的旋轉(zhuǎn)軸丄,、丄2、a旋轉(zhuǎn)。圖7中給出了三個(gè)旋轉(zhuǎn)軸在空間中的相對(duì)位置，其中/,、/2、/3是用本方法估計(jì)的仿真衛(wèi)星在三個(gè)不同時(shí)段的旋轉(zhuǎn)軸。在7時(shí)段，仿真衛(wèi)星與相機(jī)相距20m，相機(jī)的視場(chǎng)角為10度，衛(wèi)星的旋轉(zhuǎn)軸為圖8中的L，檢測(cè)得到的特征點(diǎn)為圖8中的A、B、C、D。在s時(shí)段，仿真衛(wèi)星與相機(jī)相距20m，相機(jī)的視場(chǎng)角為20度，衛(wèi)星的旋轉(zhuǎn)軸為圖13中的L，檢測(cè)得到的特征點(diǎn)如圖13中的A、B、C、D。在7^時(shí)段，仿真衛(wèi)星與相機(jī)相距20m，相機(jī)的視場(chǎng)角為20度，衛(wèi)星的旋轉(zhuǎn)軸為圖15中的L，檢測(cè)得到的特征點(diǎn)如圖21中的A、B、C、D。為簡(jiǎn)化運(yùn)算，設(shè)幀間的時(shí)間間隔為1秒，在以上三個(gè)時(shí)段中，衛(wèi)星的自轉(zhuǎn)角速度均為15度/秒，即每幀相對(duì)于前一幀物體在世界坐標(biāo)系中繞軸旋轉(zhuǎn)了15度。圖9(a)-(d)分別畫出了A、B、C、D各特征點(diǎn)在《時(shí)間段隔1幀計(jì)算得到的光流的軌跡。根據(jù)步驟(2)和步驟(3)所述，重建衛(wèi)星主體上4個(gè)特征點(diǎn)在空間中的三維運(yùn)動(dòng)場(chǎng)。圖10畫出了在7;時(shí)間段4個(gè)特征點(diǎn)的估計(jì)運(yùn)動(dòng)軌跡與這些軌跡擬合圓的圓心("*"所示)，圖中M點(diǎn)("A"標(biāo)注)為各個(gè)圓心加權(quán)平均后的點(diǎn)，該點(diǎn)在估計(jì)的旋轉(zhuǎn)軸L，(圖中虛線所示)上，實(shí)線為實(shí)際的旋轉(zhuǎn)軸L。各個(gè)點(diǎn)的運(yùn)動(dòng)軌跡所在平面的法線方向與實(shí)際旋轉(zhuǎn)軸的方向的夾角記為A^，運(yùn)動(dòng)軌跡擬合圓的圓心距離實(shí)際旋轉(zhuǎn)軸的距離記為d，運(yùn)動(dòng)軌跡擬合圓的半徑記為R，下表列出了由4個(gè)特征點(diǎn)的運(yùn)動(dòng)軌跡計(jì)算出的轉(zhuǎn)軸的方向矢量、^、d與R。表1由隔1幀計(jì)算的光流估計(jì)第一個(gè)旋轉(zhuǎn)軸的誤差分析<table>tableseeoriginaldocumentpage19</column></row><table>加權(quán)平均后，最終的估計(jì)軸的方向矢量為{1,-0.08，-0.32}與軸真實(shí)的方向矢量{1，-0.07，-0.37}的誤差?yuàn)A角為2.2。，估計(jì)軸與真實(shí)軸的空間距離誤差為O.lm。表2由隔2幀計(jì)算的光流估計(jì)第一個(gè)旋轉(zhuǎn)軸的誤差分析<table>tableseeoriginaldocumentpage19</column></row><table>加權(quán)平均后，最終的估計(jì)軸的方向矢量為{1,-0.08,-0.34}與軸真實(shí)的方向矢量{1，-0.07，-0.37}的誤差?yuàn)A角為2.2度，估計(jì)軸與真實(shí)軸的空間距離誤差為O.lm。表3由隔3幀計(jì)算的光流估計(jì)第一個(gè)旋轉(zhuǎn)軸的誤差分析<table>tableseeoriginaldocumentpage19</column></row><table>加權(quán)平均后，最終的估計(jì)軸的方向矢量為{1,-0.08，-0.36}與軸真實(shí)的方向矢量{1，-0.07，-0.37}的誤差?yuàn)A角為2.0度，估計(jì)軸與真實(shí)軸的空間距離誤差為0.1m。表4由隔4幀計(jì)算的光流估計(jì)第一個(gè)旋轉(zhuǎn)軸的誤差分析<table>tableseeoriginaldocumentpage20</column></row><table>加權(quán)平均后，最終的估計(jì)軸的方向矢量為{1,-0.07，-0.33}與軸真實(shí)的方向矢量U，-0.07，-0.37}的誤差?yuàn)A角為1.9度，估計(jì)軸與真實(shí)軸的空間距離誤差為O.lm。為了說明隔若干幀計(jì)算光流能提高旋轉(zhuǎn)軸的估計(jì)精度，我們將本實(shí)例中B點(diǎn)的光流分別用逐幀取點(diǎn)計(jì)算和隔一幀取點(diǎn)計(jì)算進(jìn)行比較。圖11為以相鄰幀計(jì)算光流后，由B點(diǎn)三維運(yùn)動(dòng)矢量估計(jì)旋轉(zhuǎn)軸的情況，其中實(shí)線L為實(shí)際旋轉(zhuǎn)軸，虛線L'為估計(jì)旋轉(zhuǎn)軸，P點(diǎn)為估計(jì)的圓弧軌跡的圓心，用逐幀取點(diǎn)估計(jì)的旋轉(zhuǎn)軸與實(shí)際旋轉(zhuǎn)軸的誤差?yuàn)A角為10.3度，估計(jì)軸與旋轉(zhuǎn)軸的空間距離誤差為0.53m。圖12為按時(shí)序依次隔一幀計(jì)算光流后，由B點(diǎn)三維運(yùn)動(dòng)矢量估計(jì)旋轉(zhuǎn)軸的情況，其中實(shí)線L為實(shí)際旋轉(zhuǎn)軸，虛線L'為估計(jì)旋轉(zhuǎn)軸，P點(diǎn)為估計(jì)的圓弧軌跡的圓心，用隔一幀幀取點(diǎn)估計(jì)的旋轉(zhuǎn)軸與實(shí)際旋轉(zhuǎn)軸的誤差?yuàn)A角為2.6度，估計(jì)軸與旋轉(zhuǎn)軸的空間距離誤差為0.15m。由此可見，隔幀計(jì)算光流，確實(shí)能在很大程度上提高旋轉(zhuǎn)軸的估計(jì)精度。根據(jù)步驟(2)和步驟(3)所述，重建衛(wèi)星帆板上4個(gè)特征點(diǎn)在空間中的三維運(yùn)動(dòng)場(chǎng)。圖14畫出了在^時(shí)間段4個(gè)特征點(diǎn)的估計(jì)運(yùn)動(dòng)軌跡與這些軌跡擬合圓的圓心("*"所示)，圖中的"A"為各個(gè)圓心加權(quán)平均后的點(diǎn)，該點(diǎn)在估計(jì)的旋轉(zhuǎn)軸(圖中虛線所示)上，實(shí)線為真實(shí)的旋轉(zhuǎn)軸。各個(gè)點(diǎn)的運(yùn)動(dòng)軌跡所在平面的法線方向與實(shí)際旋轉(zhuǎn)軸的方向的夾角記為AS，運(yùn)動(dòng)軌跡擬合圓的圓心距離實(shí)際旋轉(zhuǎn)軸的距離記為d，運(yùn)動(dòng)軌跡擬合圓的半徑記為R，下表列出了由4個(gè)特征點(diǎn)的運(yùn)動(dòng)軌跡計(jì)算出的轉(zhuǎn)軸的方向矢量、△「d與R。表5由隔1幀計(jì)算的光流估計(jì)第二個(gè)旋轉(zhuǎn)軸的誤差分析<table>tableseeoriginaldocumentpage21</column></row><table>加權(quán)平均后，最終的估計(jì)軸的方向矢量為{1,-3.14，3.14}，與軸真實(shí)的方向矢量{1，-3.19，3.26}的誤差?yuàn)A角為2.3度，估計(jì)軸與真實(shí)軸的空間距離誤差為0.4m。表6由隔2幀計(jì)算的光流估計(jì)第二個(gè)旋轉(zhuǎn)軸的誤差分析<table>tableseeoriginaldocumentpage21</column></row><table>加權(quán)平均后，最終的估計(jì)軸的方向矢量為{1，-3.16，3.18}，與軸真實(shí)的方向矢量U，-3.19，3.26}的誤差?yuàn)A角為2.2度，估計(jì)軸與真實(shí)軸的空間距離誤差為0.3m。表7由隔3幀計(jì)算的光流估計(jì)第二個(gè)旋轉(zhuǎn)軸的誤差分析<table>tableseeoriginaldocumentpage21</column></row><table><table>tableseeoriginaldocumentpage22</column></row><table>加權(quán)平均后，最終的估計(jì)軸的方向矢量為{1,-3.15,3.21}，與軸真實(shí)的方向矢量U，-3.19，3.26}的誤差?yuàn)A角為2.2度，估計(jì)軸與真實(shí)軸的空間距離誤差為0.3m。表8由隔4幀計(jì)算的光流估計(jì)第二個(gè)旋轉(zhuǎn)軸的誤差分析<table>tableseeoriginaldocumentpage22</column></row><table>加權(quán)平均后，最終的估計(jì)軸的方向矢量為{1,-3.16,3.22}，與軸真實(shí)的方向矢量U，-3.19，3.26}的誤差?yuàn)A角為2.1度，估計(jì)軸與真實(shí)軸的空間距離誤差為0.2m。根據(jù)步驟(2)和步驟(3)所述，重建衛(wèi)星帆板上4個(gè)特征點(diǎn)在空間中的三維運(yùn)動(dòng)場(chǎng)。圖16畫出了在r;時(shí)間段4個(gè)特征點(diǎn)的估計(jì)運(yùn)動(dòng)軌跡與這些軌跡擬合圓的圓心("*"所示)，圖中的"A"為各個(gè)圓心加權(quán)平均后的點(diǎn)，該點(diǎn)在估計(jì)的旋轉(zhuǎn)軸(圖中虛線所示)上，實(shí)線為實(shí)際的旋轉(zhuǎn)軸。各個(gè)點(diǎn)的運(yùn)動(dòng)軌跡所在平面的法線方向與實(shí)際旋轉(zhuǎn)軸的方向的夾角記為A^，運(yùn)動(dòng)軌跡擬合圓的圓心距離實(shí)際旋轉(zhuǎn)軸的距離記為d，運(yùn)動(dòng)軌跡擬合圓的半徑記為R，下表列出了由4個(gè)特征點(diǎn)的運(yùn)動(dòng)軌跡計(jì)算出的轉(zhuǎn)軸的方向矢量、△d與R。表9由隔l幀計(jì)算的光流估計(jì)第三個(gè)旋轉(zhuǎn)軸的誤差分析<table>tableseeoriginaldocumentpage22</column></row><table><table>tableseeoriginaldocumentpage23</column></row><table>加權(quán)平均后，最終的估計(jì)軸的方向矢量為{1,-0.09，-1.33}，與軸真實(shí)的方向矢量{1，-0.11，-1.19}的誤差?yuàn)A角為4.4度，估計(jì)軸與真實(shí)軸的空間距離誤差為0.3m。<table>tableseeoriginaldocumentpage23</column></row><table>加權(quán)平均后，最終的估計(jì)軸的方向矢量為{1,-0.09,-1.26}，與軸真實(shí)的方向矢量U，-0.11，-1.19}的誤差?yuàn)A角為4.0度，估計(jì)軸與真實(shí)軸的空間距離誤差為0.2m。<table>tableseeoriginaldocumentpage23</column></row><table>加權(quán)平均后，最終的估計(jì)軸的方向矢量為{1，-0.10,-1.26}，與軸真實(shí)的方向矢量{1，-0.11，-1.19}的誤差?yuàn)A角為4.0度，估計(jì)軸與真實(shí)軸的空間距離誤差為0.2m。<table>tableseeoriginaldocumentpage23</column></row><table><table>tableseeoriginaldocumentpage24</column></row><table>加權(quán)平均后，最終的估計(jì)軸的方向矢量為{1，-0.10,-1.23}，與軸真實(shí)的方向矢量{1，-0.11，-1.19}的誤差?yuàn)A角為3.8度，估計(jì)軸與真實(shí)軸的空間距離誤差為0.2m。圖17表示三條估計(jì)軸與實(shí)際軸的誤差角度隨計(jì)算光流所隔幀數(shù)的變化(A、Z2、A分別對(duì)應(yīng)7;、T2、石三個(gè)時(shí)刻)。圖18表示三條估計(jì)軸與實(shí)際軸的誤差距離隨計(jì)算光流所隔幀數(shù)的變化(A、丄2、A分別對(duì)應(yīng)7;、r2、73三個(gè)時(shí)刻)。最終估計(jì)的質(zhì)心與實(shí)際質(zhì)心的絕對(duì)誤差為O.lm。根據(jù)以上實(shí)驗(yàn)結(jié)果，總結(jié)出在運(yùn)用本發(fā)明對(duì)空間目標(biāo)進(jìn)行旋轉(zhuǎn)軸估計(jì)時(shí)應(yīng)注意以下幾點(diǎn)(1)可適當(dāng)減小相機(jī)的視場(chǎng)角，使目標(biāo)的感興趣部分在圖像中占的比例較大，特征點(diǎn)運(yùn)動(dòng)時(shí)在圖像中形成的光流較大，提高估計(jì)精度。(2)可適當(dāng)增加計(jì)算光流時(shí)所隔的幀數(shù)，以得到較大的光流，提高估計(jì)精度。(3)選擇特征點(diǎn)時(shí)，應(yīng)選取旋轉(zhuǎn)半徑較大的特征點(diǎn)，以得到較大的光流，若旋轉(zhuǎn)半徑都過小，特征點(diǎn)的運(yùn)動(dòng)在圖像中形成的光流較小，將會(huì)影響對(duì)旋轉(zhuǎn)軸方向的估計(jì)。權(quán)利要求1.一種基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，包括步驟(1)對(duì)左、右視圖進(jìn)行特征點(diǎn)檢測(cè)，左、右視圖分別由左、右相機(jī)同時(shí)拍攝，并且包括至少五個(gè)時(shí)刻的圖像對(duì)；(2)相隔至少一幀按時(shí)序依次分別計(jì)算左、各視圖的光流，得到特征點(diǎn)的雙目光流；(3)根據(jù)特征點(diǎn)的雙目光流，通過直線重建的方法，進(jìn)行特征點(diǎn)單位時(shí)間內(nèi)三維運(yùn)動(dòng)矢量的重建；(4)由單個(gè)特征點(diǎn)的三維運(yùn)動(dòng)矢量序列對(duì)旋轉(zhuǎn)軸進(jìn)行單次估計(jì)，并計(jì)算出該特征點(diǎn)運(yùn)動(dòng)軌跡半徑；(5)將各軌跡平面的法矢量以及軌跡圓心進(jìn)行加權(quán)平均，得到估計(jì)的旋轉(zhuǎn)軸的空間方程；(6)當(dāng)目標(biāo)的旋轉(zhuǎn)軸改變后，重復(fù)步驟(1)～(5)，得到第二條旋轉(zhuǎn)軸的空間方程，與前一次求出的旋轉(zhuǎn)軸的方程合并，估計(jì)出目標(biāo)的質(zhì)心空間坐標(biāo)。2.根據(jù)權(quán)利要求1所述的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，其特征在于，步驟(3)具體包括下述過程如說明書附圖4所示，設(shè)旋轉(zhuǎn)之前的尸點(diǎn)對(duì)應(yīng)于旋轉(zhuǎn)之后的尸'點(diǎn)，]^F'即為立方體上某一點(diǎn)的三維運(yùn)動(dòng)矢量；d,l^為左相機(jī)坐標(biāo)系，02&]^2為右相機(jī)坐標(biāo)系，則空間三維運(yùn)動(dòng)矢量？F'所在直線在空間坐標(biāo)系中的方程為式(I):<formula>formulaseeoriginaldocumentpage3</formula>(I)其中，a、b、p、q由下式(II)計(jì)算:<formula>formulaseeoriginaldocumentpage3</formula>(II)其中6。和/分別為兩個(gè)相機(jī)之間的基線長(zhǎng)度和焦距，A、m,分別為直線/,的斜率和截距，&、附2分別為直線/2的斜率和截距，^為左相機(jī)成像平面上的光流]^"'所在的直線，/2為右相機(jī)成像平面上的光流巧巧所在的直線。3.根據(jù)權(quán)利要求2所述的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，其特征在于，步驟(4)包括下述過程設(shè)任一時(shí)段t內(nèi)，由雙目立體光流場(chǎng)重建得到三維運(yùn)動(dòng)矢量:^二0cj,O7'，以及A點(diǎn)的坐標(biāo)(x」，h,^f，將Q、込……仏作為待求解參數(shù)建立如下方程組<formula>formulaseeoriginaldocumentpage3</formula>觀測(cè)該特征點(diǎn)在至少四個(gè)時(shí)間段的運(yùn)動(dòng)變化，使方程的系數(shù)矩陣的行數(shù)大于12，解出Q……212;再由式(IV):<formula>formulaseeoriginaldocumentpage4</formula>(IV)解出該特征點(diǎn)的旋轉(zhuǎn)中心O點(diǎn)的坐標(biāo)0C。,&，Z。)7';令旋轉(zhuǎn)軸的單位矢量^=~,>/</'，該矢量三個(gè)分量的比例關(guān)系如式(V)所示<formula>formulaseeoriginaldocumentpage4</formula>(v)而單位矢量的分量滿足方程<2+<2+<2=1，因此結(jié)合式(v)解出f<，^>zf，由于旋轉(zhuǎn)軸的方向與7的方向相同，而0c。，y。，z。f已由式(IV)解出，所以得到單次估計(jì)的旋轉(zhuǎn)軸的方程<formula>formulaseeoriginaldocumentpage4</formula>(VI)另外，根據(jù)求得的O點(diǎn)坐標(biāo)(x。j。,z。)7'和由雙目立體光流場(chǎng)重建得到的A點(diǎn)坐標(biāo)(x,山，^f，計(jì)算圓弧軌跡的半徑i為<formula>formulaseeoriginaldocumentpage4</formula>(vn)4.根據(jù)權(quán)利要求1或2所述的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，其特征在于，步驟(5)為最終估計(jì)的旋轉(zhuǎn)軸的方程為<formula>formulaseeoriginaldocumentpage4</formula>(vm)其中，最終估計(jì)的圓心坐標(biāo)(；，^，s)和法線方向^，^，^的計(jì)算公式如式(IX)和(X)所示<formula>formulaseeoriginaldocumentpage5</formula>全文摘要一種基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，包括①分別對(duì)左右視圖進(jìn)行特征點(diǎn)的檢測(cè)；②按時(shí)序依次隔若干幀計(jì)算光流；③根據(jù)特征點(diǎn)的雙目光流進(jìn)行單位時(shí)間內(nèi)三維運(yùn)動(dòng)矢量的重建；④根據(jù)每個(gè)特征點(diǎn)的三維運(yùn)動(dòng)矢量序列對(duì)旋轉(zhuǎn)軸進(jìn)行單次估計(jì)，并計(jì)算出該特征點(diǎn)運(yùn)動(dòng)軌跡半徑；⑤將各軌跡平面的法矢量以及軌跡圓心進(jìn)行加權(quán)平均，得到估計(jì)的旋轉(zhuǎn)軸的空間方程；⑥待目標(biāo)的旋轉(zhuǎn)軸改變后，重復(fù)步驟①～⑤，得到第二條旋轉(zhuǎn)軸的空間方程，求解出目標(biāo)的質(zhì)心空間坐標(biāo)。隨著觀測(cè)衛(wèi)星與空間目標(biāo)的逐步逼近，本發(fā)明的估計(jì)精度逐漸增加，錯(cuò)誤逐漸減少，可靠性逐漸增加，實(shí)時(shí)性與準(zhǔn)確性均得到保證；可運(yùn)用于在未知環(huán)境下相對(duì)于多面體空間物體的自主圖像導(dǎo)航。文檔編號(hào)G01M1/00GK101435732SQ200810236729公開日2009年5月20日申請(qǐng)日期2008年12月9日優(yōu)先權(quán)日2008年12月9日發(fā)明者鑫萬,余白石,楠凍,坤張,張?zhí)煨?瑩楊申請(qǐng)人:華中科技大學(xué)