專利名稱：雙介質下基于雙目視覺的目標姿態(tài)測量方法
技術領域：
本發(fā)明屬于圖像信息技術領域，涉及在不同介質中光線傳播會產生折射的雙介質條件下，對目標物體位姿的測量方法，可用于航天器在水下模擬太空環(huán)境中進行實驗時，對航天器姿態(tài)的測量。
背景技術：
航天員進行太空活動是我國載人航天技術發(fā)展的一個關鍵步驟。利用航天員的出艙活動可以完成觀測地面目標、在軌維修和組裝大型空間設施等任務。但是，航天員的出艙活動又是極其昂貴和帶有極大風險性的空間作業(yè)任務。美國航宇局的資料表明，空間出艙活動I小時，在地面至少要完成100多小時的模擬練習。在失重狀態(tài)下，人體不能保持平衡，動作姿態(tài)完全失控，全身也難以穩(wěn)定，呈現飄浮的自由態(tài)，身體任何局部姿態(tài)的改變，都將有可能引起全身的轉動，并且由于航天員進行出艙活動時要通過繩索與航天器連接在一起的，因此航天員的出艙活動會對航天器的運動姿態(tài)產生影響。本發(fā)明主要研究的是航天員在進行模擬實驗時的航天器姿態(tài)的測量，并通過分析研究得出的數據對航天員的活動做進一步指導，同時對航天器的姿態(tài)進行修正。一般來說，所謂人機整合艙外活動的模擬失重試驗是在地面條件下模擬出一種微重力的環(huán)境后，將人、艙外航天服和載人航天器看作為一個系統(tǒng)整體，分析影響人和航天器運動姿態(tài)的因素，據此提出相關的設計措施。評價載人航天器采用的各種機構在失重環(huán)境下能否工作正常、性能是否可靠、運動姿態(tài)是否符合要求等，但是若要在水下完全逼真地再現空間失重，必須提供六自由度運動，模型和空間物體在大小和形狀上要相似，模型的質量和慣性矩必須復現空間運動體的質量和慣性矩，水下模擬的影響因素必須減至可接受的水平。所以對航天器位姿的測量研究，不僅可以檢驗中性浮力水槽所提供的模擬環(huán)境是否符合要求，同時得出的位姿數據對真實情況下航天員的出艙活動，航天器的運行狀況分析都具有極為重要的指導意義。當前對航天器姿態(tài)研究的主要方法有(I)利用GPS進行目標載體的姿態(tài)測量方法，如Interferometric attitude determination with the Global Positioning System, Guidance and Control Conference, Palo Alto, Calif，August 7-9，1978，Technical Papers. A78-50159 22-01 New York， American Institute of Aeronautics and Astronautics， Inc.，1978， p. 96-102. Research supported by Lockheed Missiles and Space ；但是利用GPS對目標載體進行姿態(tài)測量時，由于信號在傳播過程中受到電離層， 對流層，多路徑和相對論效應等多方面的影響，對目標載體的定位精度一直很難達到理想的情況。(2)利用激光雷達跟蹤與測量方法，如Ulf Larsson, Johan Forsberg, Ake Wernersson, On Robot Navigation Using Identical Landmarks !Integrating Measurements from a Time—of—Flight Laser， Proceedings of InternationalConference on Multi-sensor Fusion for Intelligent Systems，pp.17—26，1994 ;但是利用激光雷達跟蹤方法對目標進行姿態(tài)測量時，由于激光雷達的波束極窄， 在空間搜索目標非常困難，直接影響對非合作目標的截獲概率和探測效率，只能在較小的范圍內搜索、捕獲目標，并對目標姿態(tài)進行測量。(3)利用雙目視覺測量方法，如張慶君胡修林-基于雙目視覺的航天器間相對位置和姿態(tài)的測量方法，宇航學報第29卷第I期，文章編號1000. 1328(2008)。雙目視覺的測量方法，是根據特征點在CCD成像平面上的投影，測出每個特征像點在攝像機成像平面上的二維坐標，經過計算和坐標轉換推算出航天器上特征點的三維世界坐標，進而求出航天器姿態(tài)。該方法具有結構簡單，非接觸，精度較高等特點，并且其成本低，處理信息量大，速度快等優(yōu)點，在反求工程、在線檢測、定位導航和姿態(tài)測量等領域有著廣泛的應用；另外，利用這種方法在當有一個攝像機出現故障后，另一個攝像機可利用單目算法完成測量任務，從而能夠提高系統(tǒng)可靠性。但是，目前這種雙目視覺測量都是在相同介質下對目標航天器姿態(tài)的研究，當在雙介質條件下，即雙目攝像機在空氣中，而目標航天器在水中時，由于光線在不同介質間產生折射，使得測出的目標航天器上特征點的三維坐標值不準確，因而計算出目標物體的姿態(tài)也是不準確的，從而無法對航天器進行進一步研究。

發(fā)明內容
本發(fā)明的目的在于利用折射原理，克服上述目標航天器上特征點的三維坐標測量不準確的問題，提出一種雙介質下基于雙目視覺的目標姿態(tài)測量方法，以準確測量出目標特征點的三維坐標，為后續(xù)的航天器姿態(tài)計算和研究提供數據。實現本發(fā)明目的的技術方案是首先通過攝像機標定算法對雙目攝像機進行標定，得到攝像機的內外參數，然后利用雙目攝像機拍攝出目標航天器的左右兩幅圖像，對兩幅圖像進行預處理，角點檢測和立體匹配，并找出空間特征點在兩幅圖像中相匹配的特征點，得出特征點在兩幅圖像中的像素坐標，通過三維重建方法求出目標特征點在空間中的三維坐標，根據特征點所處的不同位置建立折射模型，利用折射模型修正原有的三維坐標值，通過修正的特征點三維坐標值并利用RANSAC算法計算目標航天器的姿態(tài)。具體步驟包括如下(I)對左右攝像機進行標定，得出攝像機的內參數和外參數，根據該內外參數計算出左攝像機的內參數矩陣Mu、外參數矩陣M12和投影矩陣M1，右攝像機內參數矩陣Mrt、外參數矩陣凡2和投影矩陣凡；通過左右兩個攝像機采集目標物體的圖像設左攝像機采集到的圖像為I1^y),右攝像機采集到的圖像為IrV ’Y,)，并對兩幅圖像依次進行對比度增強和灰度降低處理；(2)采用Harris角點檢測的方法，找出空間目標在左圖像I1(Xj)中的特征點，并得出左圖像中每個特征點的圖像坐標P1 = (X，y)T ；(3)利用極限約束方法對特征點進行匹配，并通過金字塔匹配算法加快匹配過程， 以左圖像特征點為模板中心，找出空間目標點在右圖像IrU'，1')中與左圖像特征點相匹配的特征點，得出特征點在右圖像的圖像坐Pr= (X' ,1' Y ■,(4)根據左右攝像機的參數和得到的多對匹配特征點的圖像坐標進行三維重建， 得出空間特征點在世界坐標系下的三維坐標；
(5)根據折射原理，建立三維坐標值的修正模型，利用該修正模型對世界坐標系下特征點的三維坐標進行修正，得出準確的三維坐標值，在目標物體上建立目標坐標系，得出目標坐標系下的三維坐標值；(6)利用特征點在世界坐標系和目標坐標系下的三維坐標值，通過求解目標坐標系到世界坐標系的旋轉矩陣，并采用RANSAC算法確定目標物體的三個姿態(tài)角，即俯仰角 Θ，偏航角Φ和滾動角Ψ，因此就得到空間目標物體的姿態(tài)。本發(fā)明具有如下優(yōu)點(I)本發(fā)明采用雙介質下的測量方法，通過建立折射模型能準確計算出水中目標航天器上的特征點的三維坐標值，進而能準確計算出目標航天器的姿態(tài)。(2)本發(fā)明由于采用雙目立體視覺的測量方法，能夠準確地測量出目標位置和姿態(tài)參數，并且對于運動的物體，雙目立體視覺測量除了能夠對單幅圖進行分析定位，通常還將考慮運動約束，對物體進行運動估計，既測量得到物體對象的靜態(tài)三維信息，也能夠測量得到物體對象在時空中的變化信息，這是雙目視覺測量的最重要優(yōu)勢之一。(3)本發(fā)明采用harris角點提取方法提取特征點，如攝像機標定、三維重建等，都是基于特征點的提取，由于不受攝像機姿態(tài)及光照的影響，同時計算簡單，算子中只用到灰度的一階差分，因而操作簡單，即使存在有圖像的旋轉、灰度的變化、噪音影響和視點的變換，它也是最穩(wěn)定的一種點特征提取算法。(4)本發(fā)明采用金字塔加速匹配方法，它是一種減少匹配時間的有效方法，通過從低分辨率圖像進行模板匹配，找出粗匹配點，逐步找到原始圖像的精確匹配點，故能夠提高匹配效率；(5)本發(fā)明利用RANSAC算法，提取出所有位于目標航天器同一平面內的特征點對，克服了由于隨機提取的特征點對不在同一平面內計算姿態(tài)而產生的錯誤，能夠精確計算姿態(tài)參數。


圖I是本發(fā)明的目標航天器姿態(tài)的測量流程圖；圖2是本發(fā)明的使用的金字塔匹配結構圖；圖3是本發(fā)明使用的空間特征點在左右圖像上投影圖；圖4是本發(fā)明建立的折射模型圖；圖5是用本發(fā)明方法采集的雙目攝像機拍攝的目標衛(wèi)星圖像對；圖6是用本發(fā)明方法對目標衛(wèi)星圖像對的預處理結果；圖7是用本發(fā)明方法對左圖像進行harris角點檢測結果；圖8是用本發(fā)明方法得出的右圖與左圖某一特征點相匹配特征點的結果圖；圖9是用本發(fā)明方法得到的右圖像的匹配特征點的圖像；圖10是從多對匹配特征點中隨機抽取的四組匹配特征點圖像。
具體實施例方式參照圖I，本發(fā)明的實現步驟如下步驟I.標定雙目攝像機內外參數，并采集目標圖像對。
標定攝像機內外參數的目的是確定圖像坐標系UV與空間三維世界坐標系 Off-XffYffZff之間的對應關系，利用該對應關系，從已知空間特征點在圖像坐標系UV下的像素坐標來恢復其在世界坐標系下的三維坐標值，其實現步驟是(I. I)采用平板標定法對雙目攝像機進行標定，得出左右攝像機的內參數和外參數，并根據內外參數計算出左攝像機的內參數矩陣Mu、外參數矩陣M12和投影矩陣M1，右攝像機內參數矩陣Mrt、外參數矩陣Mr2和投影矩陣
權利要求
1.一種雙介質下基于雙目視覺的目標姿態(tài)測量方法，包括如下步驟(1)對左右攝像機進行標定，得出攝像機的內參數和外參數，根據該內外參數計算出左攝像機的內參數矩陣Mn、外參數矩陣M12和投影矩陣M1，右攝像機內參數矩陣Mn、外參數矩陣凡2和投影矩陣凡；通過左右兩個攝像機采集目標物體的圖像設左攝像機采集到的圖像為I1(^y)，右攝像機采集到的圖像為Ir (X')，并對兩幅圖像依次進行對比度增強和灰度降低處理；(2)采用Harris角點檢測的方法，找出空間目標在左圖像I1(^y)中的特征點，并得出左圖像中每個特征點的圖像坐標P1 = U，y)T ；(3)采用極線約束方法進行特征點匹配，并利用金字塔快速匹配方法，以左圖像特征點為模板中心，找出空間目標點在右圖像IrV ,1')中與左圖像特征點相匹配的特征點，得出特征點在右圖像的圖像坐標Pr= (X' ,1' Y ■,(4)根據左右攝像機的參數和多對匹配特征點的圖像坐標進行三維重建，得出特征點在空間中世界坐標系下的三維坐標；(5)根據折射原理，建立三維坐標值的修正模型，利用該修正模型對世界坐標系下的三維坐標進行修正，得出準確的三維坐標值，在目標物體上建立目標坐標系，計算目標坐標系下的三維坐標值；(6)根據RANSAC隨機采樣算法篩選出同一平面內的所有特征點，利用這些特征點在世界坐標系和目標坐標系下的三維坐標值，求解空間目標物體的姿態(tài)。
2.根據權利要求I所述的雙介質下基于雙目視覺的目標姿態(tài)測量方法，其中步驟(2) 所述的采用Harris角點檢測的方法，找出空間目標在左圖像I1U, y)中的特征點，按如下步驟進行(2a)利用式τ計算左圖像I1U, Y)梯度圖像，其中表示卷積運算，
3.根據權利要求I所述的雙介質下基于雙目視覺的目標姿態(tài)測量方法，其中步驟(3) 所述的金字塔加速匹配方法，按如下步驟進行(3a)對待匹配的兩幅原圖像中2X2領域內的像點灰度值取平均，得到分辨率比原圖像低一級的圖像；(3b)對得出的低一級圖像中2X2領域內的像點灰度值再取平均，得到分辨率更低一級的圖像，依次處理，得到一組呈金字塔式的圖像，假設有N級，其中N = O為原圖像；(3c)從待匹配的兩幅圖的第三級金字塔圖像開始進行匹配搜索，取MXM的鄰域窗口， 將左圖特征點作為鄰域窗口的中心，在右圖全圖范圍內尋找匹配的特征點，特征點匹配采用相關系數C(x，y)作為匹配關系是否成立的度量，其中
4.根據權利要求I所述的雙介質下基于雙目視覺的目標姿態(tài)測量方法，其中步驟(4)， 按如下步驟進行(4a)從左右圖像的多對匹配投影特征點中，提取一對特征點P1, Pr ；P1； Pr對應的空間特征點是Pi,根據攝像機標定得到左攝像機的投影矩陣為M1，利用Harris角點檢測方法提取出空間特征APi在左圖像中的投影特征點P1的圖像坐標U，y)，得出左圖像中，空間特征點Pi的世界坐標(Xi, Yi, Zi)與投影點P1的圖像坐標(X，y)的關系為
5.根據權利要求I所述的雙介質下基于雙目視覺的目標姿態(tài)測量方法，其中步驟(5) 所述的利用修正模型對世界坐標系下的三維坐標進行修正，按如下步驟進行(5a)根據已經計算出的空間特征APi的三維世界坐標(Ui, Zi),計算該點的修正的三維坐標值(Xwi，Ywi，Zwi)(5al)計算X軸方向的修正坐標為Xwi = B1-W^W3,其中W1是ai在折射平面的投影，W1 = ai X (c/h) ;&1是已經測量出的空間點P的 X坐標值，c = h-b, h是已經測量出的空間點P的Z坐標值，b是右攝像機光心O1到折射平面的距離；w3是右攝像機光線經過折射后空間點P沿X軸方向坐標的偏移量，W3 = tan ( β 6) / (tan ( β 5) +tan ( β 6)) X (WfW2), β 5是右攝像機反射光線經折射后的出射角， β 5 = arcsin[sin(P 3)/1· 33], L 33是光從空氣進入水中的折射率，@3是入射角，β3 = (/2)-β 1； β :是右攝像機反射光線同兩攝像機光心O1 O2連線的夾角，@i = arctan(h/ a) ； β 6是左攝像機反射光線經折射后的出射角，β 6 = arcsin[sin (β 4)/1· 33]，I. 33是光從空氣進入水中的折射率，β4是入射角，β4= (η/2)-β2，β2是左攝像機反射光線同兩攝像機光心O1 O2連線的夾角，β 2 = arctan (h/a2) ；w2 = a2X (c/h)，w2是a2在折射平面的投影距離，a2 = Cl-B1, d是兩個攝像機光心O1 O2之間的距離；(5a2) Y軸方向修正值不發(fā)生改變，即Ywi = Y ;(5a3)計算Z軸方向修正坐標為Zwi = hi+b,其中hi = w3/tan ( β 5)，Ill是折射后P點到折射平面的距離，通過上面計算得到特征點 P的三維修正坐標(Xwi，Ywi，Zwi)；(5b)重復利用上面步驟，計算出目標物體上其余空間特征點的三維修正坐標。
6.根據權利要求I所述的雙介質下基于雙目視覺的目標姿態(tài)測量方法，步驟(6)所述的根據RANSAC隨機采樣算法篩選出同一平面內的所有特征點，按如下步驟進行(6a)根據已知的置信概率P和數據錯誤率ε，樣本點個數m計算出需要進行抽樣數量M M= 叫1 —尸)■ ln(l-(l-￡)m) ’(6b)從已知目標平面上的N個特征點中隨機選擇同一平面且線性不相關的三個特征點組成一個抽樣集合，N > 3,并計算出旋轉矩陣RWT = At A/,其中At = [P12-P13, Pt3-Pti, (Pt2-Pt3) X (Pt3-Pti) ] Pti，PT2，Pt3 分別是三個特征點在目標坐標系下的坐標，Aff = [Pff2-Pff3, Pw3-Pwi，(Pw2-Pw3) X (Pff3-Pwi) ]，Pm，PW2，Pw3 分別是三個特征點在世界坐標系下的坐標；(6c)從剩余特征點對中隨機選擇一組點對，計算該點與旋轉矩陣Rwt與Xw乘積的殘差其中Xt是該點在目標坐標系下坐標，Xff是該點在世界坐標系下的坐標；(6d)設定閾值Tl = O. 05，如果α < Tl，則認為步驟(6b)中所選的點為滿足位于同一平面內的點；如果α > Tl，則認為(6c)中所選的點為不滿足估計的點，即離群外點；(6e)重復步驟^c)至^d)直到完成M組抽樣，即可篩選出位于同一平面內的所有特征點。
全文摘要
本發(fā)明公開了一種雙介質下基于雙目視覺的目標姿態(tài)測量方法，主要解決航天器在水下模擬實驗時，無法對目標航天器的姿態(tài)進行測量的問題。具體過程包括通過雙目攝像機采集目標航天器圖像對；對采集的左圖像進行harris角點檢測，找到投影特征點；采用極線約束法則和金字塔快速匹配方法，找出右圖像的匹配投影特征點；利用左右圖像的投影特征點計算出對應空間特征點的三維坐標；建立折射模型，根據折射模型修正空間特征點的三維坐標；篩選出位于同一平面的特征點，并根據這些特征點三維坐標準確計算出目標航天器的姿態(tài)。本發(fā)明用于在航天器水下模擬實驗時，通過建立折射模型，準確計算出目標航天器上特征點的三維坐標，并實現對航天器姿態(tài)的準確測算。
文檔編號G01C11/00GK102607526SQ201210008620
公開日2012年7月25日 申請日期2012年1月3日 優(yōu)先權日2012年1月3日
發(fā)明者任龍, 孫偉, 胡博, 郭寶龍, 陳龍 申請人:西安電子科技大學