一種魯棒的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法
【專利摘要】本發(fā)明提供了一種基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，包括：依次分別提取雙目序列圖像中的特征點(diǎn)，計(jì)算形成的雙目光流；從特征點(diǎn)的雙目光流中剔除非有效重建三維運(yùn)動(dòng)軌跡的區(qū)域，得到有效區(qū)域約束的雙目光流，重建出空間目標(biāo)的三維運(yùn)動(dòng)軌跡；多次迭代剔除重建三維運(yùn)動(dòng)矢量誤差較大的光流區(qū)域，根據(jù)得到每個(gè)特征點(diǎn)的三維運(yùn)動(dòng)矢量序列估計(jì)旋轉(zhuǎn)軸，將多個(gè)特征點(diǎn)估計(jì)結(jié)果進(jìn)行加權(quán)平均，得到估計(jì)的旋轉(zhuǎn)軸的空間方程,根據(jù)估計(jì)的兩條旋轉(zhuǎn)軸聯(lián)立求解出質(zhì)心目標(biāo)的空間坐標(biāo)。本方法流程可用于觀測(cè)自旋運(yùn)動(dòng)或調(diào)姿狀態(tài)中的空間目標(biāo)，準(zhǔn)確有效重建這些空間目標(biāo)的三維旋轉(zhuǎn)軌跡，估計(jì)自旋運(yùn)動(dòng)的空間目標(biāo)的旋轉(zhuǎn)軸和質(zhì)心。
【專利說明】—種魯棒的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)字圖像處理與空間科學(xué)技術(shù)交叉領(lǐng)域，具體涉及一種魯棒的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法。
【背景技術(shù)】
[0002]從相機(jī)獲取的二維圖像信息出發(fā)計(jì)算三維空間中目標(biāo)物體的結(jié)構(gòu)信息，位置信息和運(yùn)動(dòng)信息，并由此重建，識(shí)別和跟蹤目標(biāo)是計(jì)算機(jī)視覺的基本任務(wù)之一，空間目標(biāo)表面特征點(diǎn)的運(yùn)動(dòng)軌跡與其在序列圖像中對(duì)應(yīng)特征點(diǎn)之間存在著對(duì)應(yīng)關(guān)系。基于空間任務(wù)的要求，比如航天器空間交會(huì)對(duì)接，雙星編隊(duì)繞飛、伴飛，多星編隊(duì)伴飛導(dǎo)航，需要對(duì)空間目標(biāo)進(jìn)行探測(cè)、識(shí)別和跟蹤等，并對(duì)空間目標(biāo)進(jìn)行運(yùn)動(dòng)分析和姿態(tài)估計(jì)，迫切需要具有精度高、不依賴外部信息、較好的感知復(fù)雜環(huán)境的視覺系統(tǒng)和算法，重建空間目標(biāo)的姿態(tài)，運(yùn)動(dòng)軌跡。為此，需要對(duì)目標(biāo)的結(jié)構(gòu)、運(yùn)動(dòng)軌跡、空間位置和三維姿態(tài)等進(jìn)行高精度的定量測(cè)量?；谛蛄袌D像的分析是獲取這些信息的重要手段，但是現(xiàn)有的重建方法存在很多局限性，由于離散化的誤差，雙目光流的重建過程中，存在著非有效重建三維運(yùn)動(dòng)矢量的光流區(qū)域。目前如何提高對(duì)空間目標(biāo)觀測(cè)，跟蹤，重建的準(zhǔn)確性和穩(wěn)定性，我們?cè)谶@里提出了一種魯棒的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，可以有效地提高對(duì)于空間目標(biāo)的軌跡進(jìn)行跟蹤和重建的精度，準(zhǔn)確的重建空間目標(biāo)的運(yùn)動(dòng)信息。
[0003]運(yùn)動(dòng)結(jié)構(gòu)重建是研究從場(chǎng)景的圖像序列中提取場(chǎng)景中目標(biāo)物體的結(jié)構(gòu)、位置和運(yùn)動(dòng)信息的理論和方法。這項(xiàng)技術(shù)被廣泛的應(yīng)用機(jī)器人導(dǎo)航、汽車智能交通、非接觸物體測(cè)量等領(lǐng)域。在未知環(huán)境中，自主導(dǎo)航系統(tǒng)面臨的技術(shù)困難已不僅僅是規(guī)避靜止物體，而且需要適應(yīng)變化的環(huán)境，跟蹤、觀測(cè)、規(guī)避運(yùn)動(dòng)的物體。比如機(jī)器人導(dǎo)航、太空衛(wèi)星跟蹤編隊(duì)等。很多場(chǎng)合需要視覺系統(tǒng)自動(dòng)地跟蹤和觀測(cè)未知物體。對(duì)未知目標(biāo)進(jìn)行近距離的特性觀測(cè)和相對(duì)導(dǎo)航，需要處理的核心問題就是估計(jì)視覺系統(tǒng)與目標(biāo)物體之間的相對(duì)位置和相對(duì)姿態(tài)，建立相對(duì)導(dǎo)航的運(yùn)動(dòng)方程。為此，首先就要估計(jì)目標(biāo)物體的質(zhì)心或旋轉(zhuǎn)軸。
[0004]針對(duì)專利《一種基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法》存在的問題，提出了一種有效區(qū)域約束的雙目光流重建三維運(yùn)動(dòng)矢量，并根據(jù)得到的三維運(yùn)動(dòng)矢量估計(jì)空間目標(biāo)旋轉(zhuǎn)軸和質(zhì)心的方法，專利《一種基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法》在重建的過程中可能存在誤差，而沒有分析誤差產(chǎn)生的原因和沒有相應(yīng)的解決的方法，本發(fā)明則分析了這些存在的問題，提出了解決方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是在未知目標(biāo)物體其它先驗(yàn)信息的情況下，提供一種魯棒的基于雙目光流估計(jì)非合作物體旋轉(zhuǎn)軸和質(zhì)心的方法。該方法通過雙目相機(jī)捕獲得到基于時(shí)間的場(chǎng)景圖像序列，從場(chǎng)景的圖像序列中提取場(chǎng)景中目標(biāo)物體的特征點(diǎn)，得到目標(biāo)跟蹤點(diǎn)的雙目光流，剔除非有效重建三維運(yùn)動(dòng)矢量的光流軌跡，得到有效區(qū)域約束的光流軌跡段，多次迭代重建目標(biāo)的實(shí)際三維運(yùn)動(dòng)矢量，目的在于估計(jì)目標(biāo)物體的旋轉(zhuǎn)軸和質(zhì)心?？臻g物體的旋轉(zhuǎn)可以發(fā)生在兩種情況，一種是自旋穩(wěn)定的衛(wèi)星，另一種是衛(wèi)星在調(diào)姿過程中。
[0006]假定在兩個(gè)不同時(shí)間段Tl和T2，物體繞兩個(gè)不同的軸旋轉(zhuǎn)。按動(dòng)力學(xué)的規(guī)律，這兩個(gè)旋轉(zhuǎn)軸是通過物體質(zhì)心的。我們估計(jì)兩個(gè)時(shí)間段的旋轉(zhuǎn)軸位置，求得這兩個(gè)軸的交點(diǎn)，就可得到物體的質(zhì)心。步驟如下:
[0007]( I)分別提取立體圖像對(duì)中的特征點(diǎn)；
[0008](2)依次計(jì)算序列圖像中各特征點(diǎn)形成的雙目光流；
[0009](3)從各特征點(diǎn)的雙目光流中剔除非有效重建三維運(yùn)動(dòng)軌跡的區(qū)域，得到有效區(qū)域約束的雙目光流；
[0010](4)根據(jù)(3)得到的有效區(qū)域約束的雙目光流，重建出各特征點(diǎn)的三維運(yùn)動(dòng)軌跡；
[0011](5)計(jì)算出各特征點(diǎn)的三維運(yùn)動(dòng)軌跡平面的法矢量，依次計(jì)算各特征點(diǎn)法矢量與各特征點(diǎn)每段運(yùn)動(dòng)軌跡方向矢量的余弦距離，剔除各特征點(diǎn)的余弦距離模最大的那段軌跡；
[0012](6)將各特征點(diǎn)的剔除后的軌跡重新計(jì)算軌跡平面的法矢量，求解各特征點(diǎn)的兩次法矢量的余弦距離，判斷各特征點(diǎn)兩次法矢量的余弦距離是否大于設(shè)置的余弦距離閾值，如果大于則返回步驟(5)根據(jù)各特征點(diǎn)剔除后的軌跡重新計(jì)算；
[0013](7)估計(jì)各特征點(diǎn)的運(yùn)動(dòng)軌跡所在平面，以及各特征點(diǎn)的運(yùn)動(dòng)軌跡的圓心和半徑;
[0014](8)根據(jù)各特征點(diǎn)的運(yùn)動(dòng)軌跡的半徑，將各軌跡平面的法矢量以及軌跡圓心進(jìn)行加權(quán)平均，得到最終的旋轉(zhuǎn)軸的空間方程；
[0015](9)當(dāng)空間目標(biāo)的旋轉(zhuǎn)軸改變后，重復(fù)步驟(I)?(8)，得到第二條旋轉(zhuǎn)軸的空間方程，與前一次求出的旋轉(zhuǎn)軸的方程合并，計(jì)算出空間目標(biāo)的質(zhì)心坐標(biāo)。
[0016]本發(fā)明提出并設(shè)計(jì)了一種估計(jì)空間目標(biāo)自旋運(yùn)動(dòng)旋轉(zhuǎn)軸和質(zhì)心的方法。針對(duì)空間目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行準(zhǔn)確的重建，不需要在空間目標(biāo)物體上設(shè)置標(biāo)記，用邊緣檢測(cè)，線檢測(cè)結(jié)合角點(diǎn)檢測(cè)算法來確定目標(biāo)物體上的特征點(diǎn)作為光流的跟蹤點(diǎn)。目標(biāo)物體在旋轉(zhuǎn)過程中在左右相機(jī)中形成不同的光流，本發(fā)明提取出重建三維運(yùn)動(dòng)矢量的有效雙目光流，根據(jù)有效區(qū)域約束的光流重建出特征點(diǎn)的三維運(yùn)動(dòng)矢量，根據(jù)一系列三維運(yùn)動(dòng)矢量擬合出特征點(diǎn)的三維運(yùn)動(dòng)軌跡，再多次迭代剔除誤差較大的光流軌跡，重新重建出特征點(diǎn)的三維運(yùn)動(dòng)矢量擬合的三維運(yùn)動(dòng)軌跡。物體旋轉(zhuǎn)時(shí)特征點(diǎn)在兩個(gè)傳感器成像面上形成的光流是有差異的，本發(fā)明根據(jù)這些光流差異重建出特征點(diǎn)的三維運(yùn)動(dòng)矢量，根據(jù)一系列三維運(yùn)動(dòng)矢量擬合出特征點(diǎn)的三維運(yùn)動(dòng)軌跡，再根據(jù)圓弧運(yùn)動(dòng)軌跡半徑的不同，將多個(gè)特征點(diǎn)的三維運(yùn)動(dòng)軌跡所在平面的法矢量以及圓心作加權(quán)平均，確定本次自旋運(yùn)動(dòng)的旋轉(zhuǎn)軸的空間方程，再利用同樣方法估計(jì)另一時(shí)間段的不同的旋轉(zhuǎn)軸。根據(jù)動(dòng)力學(xué)的規(guī)律，物體旋轉(zhuǎn)時(shí)，旋轉(zhuǎn)軸是通過質(zhì)心的，計(jì)算兩個(gè)時(shí)間段的旋轉(zhuǎn)軸交點(diǎn)就可得到物體的質(zhì)心的空間位置坐標(biāo)。
【專利附圖】

【附圖說明】
[0017]圖1為本發(fā)明空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法流程圖；
[0018]圖2為三維運(yùn)動(dòng)矢量到雙目成像系統(tǒng)的投影模型；
[0019]圖3為特征點(diǎn)圓弧軌跡示意圖；[0020]圖4為雙目光流重建空間目標(biāo)三維運(yùn)動(dòng)矢量軌跡示意圖；
[0021]圖5為光流軌跡無法重建的區(qū)域形成的拐點(diǎn)示意圖；
[0022]圖6為估計(jì)的特征點(diǎn)空間運(yùn)動(dòng)軌跡有拐點(diǎn)時(shí)，對(duì)旋轉(zhuǎn)軸估計(jì)的影響示意圖；
[0023]圖7為Tl時(shí)間段，檢測(cè)得到的4個(gè)特征點(diǎn)示意圖；
[0024]圖8(a)為目標(biāo)繞第一個(gè)軸旋轉(zhuǎn)時(shí)，由隔I幀計(jì)算的光流估計(jì)的A特征點(diǎn)的運(yùn)動(dòng)軌跡(實(shí)線)與實(shí)際圓弧軌跡(虛線)的比較示意圖；
[0025]圖8 (b)為目標(biāo)繞第一個(gè)軸旋轉(zhuǎn)時(shí)，由隔I幀計(jì)算的光流估計(jì)的B特征點(diǎn)的運(yùn)動(dòng)軌跡(實(shí)線)與實(shí)際圓弧軌跡(虛線)的比較示意圖；
[0026]圖8(c)為目標(biāo)繞第一個(gè)軸旋轉(zhuǎn)時(shí)，由隔I幀計(jì)算的光流估計(jì)的C特征點(diǎn)的運(yùn)動(dòng)軌跡(實(shí)線)與實(shí)際圓弧軌跡(虛線)的比較示意圖；
[0027]圖8 (d)為目標(biāo)繞第一個(gè)軸旋轉(zhuǎn)時(shí)，由隔I幀計(jì)算的光流估計(jì)的D特征點(diǎn)的運(yùn)動(dòng)軌跡(實(shí)線)與實(shí)際圓弧軌跡(虛線)的比較示意圖；
[0028]圖9為目標(biāo)繞第一個(gè)軸旋轉(zhuǎn)時(shí)，最終估計(jì)的旋轉(zhuǎn)軸L’(虛線)與實(shí)際旋轉(zhuǎn)軸L (實(shí)線)比較示意圖；
[0029]圖10為空間目標(biāo)在旋轉(zhuǎn)過程中形成的理想的三維運(yùn)動(dòng)軌跡示意圖；
[0030]圖11(a)為雙目相機(jī)拍攝到的場(chǎng)景序列圖像中的一幀左圖像；
[0031]圖11(b)為雙目相機(jī)拍攝到的場(chǎng)景序列圖像中的一幀右圖像；
[0032]圖12為立體相機(jī)在目標(biāo)物體旋轉(zhuǎn)時(shí)得到的序列圖像的光流軌跡以及雙目光流無法重建的區(qū)域示意圖；
[0033]圖13為雙目光流存在非有效重建區(qū)域情況下，根據(jù)雙目光流軌跡重建出的目標(biāo)物體三維運(yùn)動(dòng)軌跡的運(yùn)動(dòng)矢量示意圖；
[0034]圖14為在未剔除雙目光流非有效重建的區(qū)域的情況下，雙目光流的重建軌跡的X，Y, Z分量的分析示意圖；
[0035]圖15為在剔除雙目光流的非有效重建區(qū)域后，根據(jù)雙目光流軌跡重建出的目標(biāo)物體三維運(yùn)動(dòng)軌跡的運(yùn)動(dòng)矢量示意圖；
[0036]圖16為剔除無法重建的雙目光流段和誤差較大的光流段時(shí)，迭代計(jì)算重建出的光流軌跡示意圖；
[0037]圖17為立體相機(jī)在目標(biāo)物體旋轉(zhuǎn)時(shí)得到的序列圖像的光流軌跡以及雙目光流段中存在多個(gè)無法重建的區(qū)域示意圖；
[0038]圖18為在未分割出雙目光流的多個(gè)無法重建區(qū)域情況下，根據(jù)雙目光流軌跡重建出的目標(biāo)物體三維運(yùn)動(dòng)軌跡的運(yùn)動(dòng)矢量示意圖；
[0039]圖19為雙目光流段中存在多個(gè)無法重建區(qū)域的情況下，重建軌跡的X，Y, Z分量的分析示意圖；
[0040]圖20為剔除多個(gè)非有效重建的雙目光流段和誤差較大的光流段時(shí)，迭代計(jì)算重建出的光流軌跡示意圖；；
[0041]圖21為目標(biāo)旋轉(zhuǎn)軸與質(zhì)心估計(jì)結(jié)果示意圖；。
【具體實(shí)施方式】
[0042]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
[0043]為清楚地理解本發(fā)明，首先對(duì)本發(fā)明中有關(guān)概念和術(shù)語(yǔ)加以說明:機(jī)器視覺中的三個(gè)坐標(biāo)系:圖像坐標(biāo)系(U，V)、攝像機(jī)坐標(biāo)系和世界坐標(biāo)系。機(jī)器視覺采集得到的圖像數(shù)據(jù)是直接用圖像坐標(biāo)系表示的，即圖像上的像素行和列位置。而被測(cè)物體對(duì)象的客觀位置、大小、相互關(guān)系必須通過世界坐標(biāo)系才能正確描述。這兩個(gè)坐標(biāo)系間的轉(zhuǎn)換又要通過攝像機(jī)坐標(biāo)系。
[0044]1.圖像坐標(biāo)系
[0045]攝像機(jī)采集的數(shù)字圖像在計(jì)算機(jī)內(nèi)可以存儲(chǔ)為數(shù)組，數(shù)組中的每一個(gè)元素的值即是圖像點(diǎn)的亮度。在圖像上定義直角坐標(biāo)系U-V，每一象素的坐標(biāo)(U，V)分別是該象素在數(shù)組中的列數(shù)和行數(shù)。故(U，V)是以象素為單位的圖像坐標(biāo)系坐標(biāo).在UV坐標(biāo)系中。原點(diǎn)O定義在攝像機(jī)光軸和圖像平面的相交處，成為圖像的主點(diǎn)。
[0046]2.攝像機(jī)坐標(biāo)系
[0047]攝像機(jī)成像幾何關(guān)系如圖2表示，其中01，02分別為左右攝像機(jī)的光心，Xl與Yl軸與成像平面坐標(biāo)系的Ul軸和Vl軸平行，Zl軸為攝像機(jī)的光軸與圖像平面垂直，光軸與圖像平面的交點(diǎn)為圖像主點(diǎn)01’，X2與Y2軸與成像平面坐標(biāo)系的U2軸和V2軸平行，Z2軸為攝像機(jī)的光軸與圖像平面垂直，光軸與圖像平面的交點(diǎn)為圖像主點(diǎn)02’，點(diǎn)01與X1、YUZl軸組成的直角坐標(biāo)系稱為左攝像機(jī)坐標(biāo)系，0101’為左攝像頭的焦距，點(diǎn)02與X2、Y2、Z2軸組成的直角坐標(biāo)系稱為右攝像機(jī)坐標(biāo)系，0202’為右攝像頭的焦距。
[0048]3.世界坐標(biāo)系
[0049]在環(huán)境中選擇一個(gè)參考坐標(biāo)系來描述攝像機(jī)和物體的位置，該坐標(biāo)系稱為世界坐標(biāo)系.攝像機(jī)坐標(biāo)系和世界坐標(biāo)系之間的關(guān)系可用旋轉(zhuǎn)矩陣與平移向量來描述.本文中選擇左攝像機(jī)的坐標(biāo)系作為世界坐標(biāo)系。
[0050]本發(fā)明實(shí)施例中，利用可見光雙目相機(jī)組成的雙目立體視覺系統(tǒng)，拍攝自轉(zhuǎn)的目標(biāo)，總體流程圖如圖1所示:
[0051 ] 本發(fā)明中目標(biāo)的特征點(diǎn)(比如角點(diǎn)，邊緣點(diǎn)，拐點(diǎn)，暗區(qū)域的亮點(diǎn)以及亮區(qū)域的暗點(diǎn))會(huì)在雙目相機(jī)的成像平面上形成空間目標(biāo)運(yùn)動(dòng)軌跡的二維投影，這些三維運(yùn)動(dòng)軌跡在像面上的二維投影稱為“光流”。同一個(gè)點(diǎn)在兩個(gè)相機(jī)上形成的光流稱作光流立體像對(duì)，本發(fā)明的主要方法就是根據(jù)自轉(zhuǎn)目標(biāo)上多個(gè)特征點(diǎn)在雙目相機(jī)上的光流立體像對(duì)，精確的估計(jì)空間目標(biāo)的運(yùn)動(dòng)軌跡。
[0052]( I)分別提取立體圖像對(duì)中的特征點(diǎn)
[0053]空間目標(biāo)表面結(jié)構(gòu)豐富,包含大量點(diǎn)基元,線基元,如星主體有棱柱、立方體、正八面體等幾何形狀；太陽(yáng)能帆板一般是長(zhǎng)方體結(jié)構(gòu)。許多目標(biāo)由直線或曲線構(gòu)成，尤其是直線，是組成目標(biāo)最基礎(chǔ)的幾何單元之一；許多人造目標(biāo)是由平行線和垂直線構(gòu)成的方體、柱體等基本幾何形狀組合而成的?？梢杂眠吘壦阕犹崛?chǎng)景圖像中目標(biāo)的邊緣信息，再根據(jù)Hough變換檢測(cè)直線段，并計(jì)算相鄰直線段的交點(diǎn)，檢測(cè)出目標(biāo)物體的特征點(diǎn)，也可利用Harris角點(diǎn)檢測(cè)或者SUSAN角點(diǎn)檢測(cè)的算法輔助檢測(cè)目標(biāo)角點(diǎn)，以提高特征點(diǎn)檢測(cè)的精度。[0054](2)依次計(jì)算序列圖像中特征點(diǎn)形成的雙目光流
[0055]不失一般性，將目標(biāo)物體做勻速轉(zhuǎn)動(dòng)，得到基于時(shí)間的場(chǎng)景序列圖像，將步驟(1)中得到的特征點(diǎn)作為光流跟蹤點(diǎn)，依次計(jì)算出場(chǎng)景序列圖像對(duì)中的后續(xù)每一幀圖像的特征點(diǎn)，得到序列圖像中特征點(diǎn)形成的雙目光流，控制目標(biāo)物體勻速轉(zhuǎn)動(dòng)的速度，可以得到較大的光流或較小的光流。在實(shí)際操作時(shí)，可以根據(jù)具體的情況調(diào)整目標(biāo)物體的自轉(zhuǎn)速度。
[0056](3)根據(jù)特征點(diǎn)的雙目光流剔除不能重建出三維運(yùn)動(dòng)軌跡的區(qū)域，得到有效區(qū)域約束的雙目光流
[0057]某些時(shí)刻，空間目標(biāo)運(yùn)動(dòng)形成的三維運(yùn)動(dòng)矢量在兩相機(jī)成像面投影得到的光流，無法準(zhǔn)確有效重建出三維運(yùn)動(dòng)矢量，或者信息的損失較大，導(dǎo)致重建誤差也較大，局部誤差嚴(yán)重影響后續(xù)對(duì)于目標(biāo)運(yùn)動(dòng)的分析與估計(jì)，這段區(qū)域?yàn)榉怯行е亟ㄈS運(yùn)動(dòng)矢量的雙目光流區(qū)域，因此在重建三維運(yùn)動(dòng)矢量的空間軌跡時(shí)，就需要剔除非有效重建三維運(yùn)動(dòng)矢量的光流段，得到的就是有效區(qū)域約束的雙目光流。
[0058]如圖2，P點(diǎn)在左相機(jī)成像平面的投影為P1, P'點(diǎn)在左相機(jī)成像平面的投影為P/，那么三維運(yùn)動(dòng)矢量@在左相機(jī)成像平面的投影形成的光流即為R，同理，@在
右相機(jī)成像平面的投影形成的光流即為兩。
[0059]在左相機(jī)成像平面坐標(biāo)系0/ U1V1中，記P1的坐標(biāo)為(U1J1), P/的坐標(biāo)為(U' !,V/ );在右相機(jī)成像平面坐標(biāo)系O' 2%￥2中，記己的坐標(biāo)為出2，￥2)，己'的坐標(biāo)為(U' 2，V )。
[0060]光流所在直線的斜率和截距也可以計(jì)算得到，設(shè)I1的斜率為Ic1，截距為Hi1, I2的




/\j ,
斜率為k2，截距為叫(這里定義斜率為々=:)，所以I1,12也可以表示為=I1 = Ufk1V1 = HI1,l2:U2-k2V2 = m2。
[0061]當(dāng)光流在U方向上沒有視差時(shí)，Au = 0,得Ii1 = k2 = O,當(dāng)光流在V方向上沒有視差時(shí)，Λ V = 0，得匕=k2 =C?，在這兩種情況下，無法通過光流段重建出空間目標(biāo)特征點(diǎn)的運(yùn)動(dòng)矢量，如圖5，在沒有剔除非有效重建三維運(yùn)動(dòng)軌跡的雙目光流區(qū)域時(shí)重建出來的軌跡，存在明顯的拐點(diǎn)，圖中A標(biāo)記的區(qū)域即為非有效重建三維運(yùn)動(dòng)軌跡的雙目光流區(qū)域。
[0062]對(duì)于目標(biāo)物體特征點(diǎn)P的η段光流，在左圖像中的光流為P1P1 ’，Ρ’Λ’’，P1' ’ P1' ’ ’ ……p/nop/n)，在右圖像中的光流為 P2P2’，P’ 2P2’ ’，P2’ ’ P2’ ’ ’ ……ρΛ1)?,)，分別
計(jì)算每一段光流p/Hy⑴，Ρ2(?_?Ρ2⑴，(i = 1，2...η)其在U方向和V方向的差值，當(dāng)/f Pi1
或P2(?_?Ρ2ω在U或V方向上的差值為O時(shí)，剔除該段光流。
[0063](4)根據(jù)(3)得到的有效雙目光流，重建出空間目標(biāo)的三維運(yùn)動(dòng)軌跡
[0064]三維運(yùn)動(dòng)矢量到雙目成像系統(tǒng)的投影模型如圖2所示，在該模型中，目標(biāo)物體繞旋轉(zhuǎn)軸做旋轉(zhuǎn)運(yùn)動(dòng)，實(shí)線所示的目標(biāo)物體為旋轉(zhuǎn)之前的狀態(tài)，虛線所示的目標(biāo)物體是旋轉(zhuǎn)之后的狀態(tài)，旋轉(zhuǎn)之前的P點(diǎn)對(duì)應(yīng)于旋轉(zhuǎn)之后的P’點(diǎn)，PP'即為目標(biāo)物體上某一點(diǎn)的三維運(yùn)動(dòng)矢量。 [0065]O1X1Y1Z1為左相機(jī)坐標(biāo)系，O2X2Y2Z2為右相機(jī)坐標(biāo)系，O’ ^1V1為左相機(jī)的成像平面坐標(biāo)系，O’ ^1V1平面與O1X1Y1平面平行，O’ 2U2V2為右相機(jī)的成像平面坐標(biāo)系，O’ 2U2V2平面與O2X2Y2平面平行。兩相機(jī)均采用針孔模型，而O1和O2分別為左右相機(jī)的“針孔”，O1O'!和020’ 2分別為左右相機(jī)的焦距，大小都為f。兩相機(jī)的光軸O1Z1與O2Z2平行，且基線距離O1O2大小為b。
[0066]不失一般性，為了計(jì)算的簡(jiǎn)便，不妨定義空間坐標(biāo)系與左相機(jī)坐標(biāo)系O1X1Y1Z1重合。在該定義下，左相機(jī)坐標(biāo)系相對(duì)空間坐標(biāo)系不發(fā)生旋轉(zhuǎn)或平移運(yùn)動(dòng)，而右相機(jī)坐標(biāo)系相對(duì)空間坐標(biāo)系只發(fā)生水平方向的偏移，偏移量即為兩相機(jī)的基線距離b。
[0067]P點(diǎn)在左相機(jī)成像平面的投影為P1, P'點(diǎn)在左相機(jī)成像平面的投影為P/，那么
三維運(yùn)動(dòng)矢量#在左相機(jī)成像平面的投影形成的光流即為P1P1'，同理，W在右相機(jī)成像平面的投影形成的光流即為P2P2’。
[0068]在左相機(jī)成像平面坐標(biāo)系O' W1V1中，記P1的坐標(biāo)為(U1J1), P/的坐標(biāo)為(U' !,V/ );在右相機(jī)成像平面坐標(biāo)系O' 2%￥2中，記己的坐標(biāo)為出2，￥2)，己'的坐標(biāo)為(U' 2，V );在世界坐標(biāo)系中，記P點(diǎn)的坐標(biāo)為(X，Y，Z)，P'點(diǎn)的坐標(biāo)為(X' ,V ,V )。
[0069]由相機(jī)針孔模型可得:
【權(quán)利要求】
1.一種基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，其特征在于，包括以下步驟: (1)分別提取立體圖像對(duì)中的特征點(diǎn)； (2)依次計(jì)算序列圖像中各特征點(diǎn)形成的雙目光流； (3)從各特征點(diǎn)的雙目光流中剔除非有效重建三維運(yùn)動(dòng)軌跡的區(qū)域，得到有效區(qū)域約束的雙目光流； (4)根據(jù)(3)得到的各特征點(diǎn)有效區(qū)域約束的雙目光流，重建出各特征點(diǎn)的三維運(yùn)動(dòng)軌跡； (5)計(jì)算出各特征點(diǎn)的三維運(yùn)動(dòng)軌跡平面的法矢量，依次計(jì)算各特征點(diǎn)法矢量與各特征點(diǎn)每段運(yùn)動(dòng)軌跡方向矢量的余弦距離，剔除各特征點(diǎn)的余弦距離模最大的那段軌跡； (6)將各特征點(diǎn)的剔除后的軌跡重新計(jì)算軌跡平面的法矢量，計(jì)算各特征點(diǎn)的兩次法矢量的余弦距離，判斷各特征點(diǎn)兩次法矢量的余弦距離是否大于設(shè)置的余弦距離閾值，如果大于則返回步驟(5)根據(jù)各特征點(diǎn)剔除后的軌跡重新計(jì)算； (7)估計(jì)各特征點(diǎn)的運(yùn)動(dòng)軌跡所在平面，以及各特征點(diǎn)的運(yùn)動(dòng)軌跡的圓心和半徑； (8)根據(jù)各特征點(diǎn)的運(yùn) 動(dòng)軌跡的半徑，將各軌跡平面的法矢量以及軌跡圓心進(jìn)行加權(quán)平均，得到最終的旋轉(zhuǎn)軸的空間方程； (9)當(dāng)空間目標(biāo)的旋轉(zhuǎn)軸改變后，重復(fù)步驟(1)~(8)，得到第二條旋轉(zhuǎn)軸的空間方程，與前一次求出的旋轉(zhuǎn)軸的方程合并，計(jì)算出空間目標(biāo)的質(zhì)心坐標(biāo)。
2.根據(jù)權(quán)利要求1所述的魯棒的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，其特征在于，所述步驟(3)中從各特征點(diǎn)的雙目光流中剔除非有效重建三維運(yùn)動(dòng)軌跡的區(qū)域具體為: 對(duì)于目標(biāo)物體特征點(diǎn)P的η段光流，在左圖像中的光流為P1P1 ’，Ρ’ Λ’ ’，P/ ’ P/ ’ ’……P1^P1 (n)，在右圖像中的光流為P2P2’，P’ 2P2’ ’，P2’ ’ P； ’ ’……Ρ2(η_?Ρ2(η)，分別計(jì)算每一段光流 P1 (H)P1 ⑴，P2(H)P2⑴，(i = 1，2...η)在 U 方向和 V 方向的差值，當(dāng) P1(H)P^)或 P2(H)P,)在U或V方向上的差值為O時(shí)，剔除該段光流。
3.根據(jù)權(quán)利要求1或2所述的魯棒的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，其特征在于，所述步驟(4)中根據(jù)步驟(3)得到的各特征點(diǎn)有效區(qū)域約束的雙目光流，重建出各特征點(diǎn)的三維運(yùn)動(dòng)軌跡具體為: 在左右圖像中得到特征點(diǎn)P的η段光流，重建出空間目標(biāo)上該特征點(diǎn)繞旋轉(zhuǎn)軸旋轉(zhuǎn)的η段運(yùn)動(dòng)矢量，其在左圖像中的投影為P1，在右圖像中的投影為P2，左圖像中形成的η段光流從匕到？/1"，右圖像中形成的η段光流從己到己(11)，重建出的運(yùn)動(dòng)矢量為TpFF......η⑷，從而得到該特征點(diǎn)的三維運(yùn)動(dòng)軌跡， 其中運(yùn)動(dòng)矢量^F1，i = 1，2...n，在空間坐標(biāo)系中的方程為:
i X = UZ + P
=bz + q, (q 關(guān) O)
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的魯棒的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，其特征在于，步驟(5 )具體包括: 根據(jù)步驟(4)中得到的各特征點(diǎn)的每一段空間目標(biāo)的三維運(yùn)動(dòng)矢量
5.根據(jù)權(quán)利要求4所述的魯棒的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，其特征在于，所述步驟(6)具體包括: 重新計(jì)算各特征點(diǎn)k-Ι段雙目光流估計(jì)的法矢量
6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的魯棒的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，其特征在于，所述步驟(7)中: 各特征點(diǎn)的運(yùn)動(dòng)軌跡的圓心坐標(biāo)為其利用下式計(jì)算:
7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的魯棒的基于雙目光流的空間目標(biāo)旋轉(zhuǎn)軸及質(zhì)心估計(jì)方法，其特征在于，所述步驟(8)具體包括: 最終的圓心坐標(biāo)(?, S)和法線方向{? ?>，「丨的計(jì)算公式如下所示:
【文檔編號(hào)】G06T7/00GK103745458SQ201310736940
【公開日】2014年4月23日 申請(qǐng)日期:2013年12月26日 優(yōu)先權(quán)日:2013年12月26日
【發(fā)明者】張?zhí)煨? 凡速飛, 陳一夢(mèng), 鄭亞云, 陳昌勝, 王正, 吳歡, 何旭東 申請(qǐng)人:華中科技大學(xué)