折反射全景相機與激光雷達數(shù)據(jù)融合標定方法
【技術領域】
[0001] 本發(fā)明屬于環(huán)境感知系統(tǒng)數(shù)據(jù)融合技術領域，特別涉及折反射全景相機與激光雷 達數(shù)據(jù)融合標定方法。
【背景技術】
[0002] 環(huán)境感知系統(tǒng)一直是移動機器人核心技術研究的一大熱點，是實現(xiàn)移動機器人自 動化、智能化的關鍵。為了能實現(xiàn)移動機器人的自我環(huán)境感知，自主行走功能，測距定位平 臺的搭建起著重要的作用。
[0003] 激光雷達和攝像機是現(xiàn)階段最常使用的兩種測距傳感元件。其中，攝像機可以快 速獲取空間中的圖像通過數(shù)字圖像處理，標定算法實現(xiàn)定位;激光雷達可以直接獲取方位 和距離信息。然而移動機器人在未知的復雜環(huán)境中行走，僅僅通過單一種類的傳感器很難 對環(huán)境進行準確的定位，將多種類傳感器得到的數(shù)字信息進行合理的融合，成為機器人環(huán) 境感知系統(tǒng)研究的一個重要發(fā)展方向。其中，通過激光雷達是主要的測距手段，結(jié)合攝像機 實現(xiàn)聯(lián)合標定是一種合理可行的聯(lián)合標定方法。
[0004] 攝像機的標定一般基于單目、雙目或多目。其標定方法大致可分為三類:傳統(tǒng)攝像 機標定方法、主動視覺攝像機標定方法、攝像機自標定方法。傳統(tǒng)的攝像機利用已知物體的 結(jié)構(gòu)信息如標定板或標定快，優(yōu)點是可以使用任意攝像機模型，標定精度高，但標定過程較 為復雜，需要標定物具有較高精度;主動視覺攝像機利用已知攝像機的相關運動信息，通過 線性求解標定，其魯棒性較高但不能用于攝像機運動未知和無法控制的場合;攝像機自標 定方法是依靠多幅圖像之間的相對關系進行標定，其靈活性強，僅需建立圖像與圖像之間 的轉(zhuǎn)換關系便可進行標定，但這種標定方法屬于非線性標定，魯棒性不高。目前較為常用的 是傳統(tǒng)的攝像機標定方法。
[0005] 隨著攝像機技術、數(shù)字圖像處理技術的快速發(fā)展，普通攝像機受到成像范圍的影 響，在面對大視場的應用時往往需要多個攝像機進行拼接。這給成像系統(tǒng)的穩(wěn)定性上造成 影響，同時也會增加攝像機標定的難度。近年來全景相機的引入解決了這一硬件問題。全景 相機的成像系統(tǒng)主要有旋轉(zhuǎn)拼接全景成像、魚眼鏡頭成像、折反射全景成像?；趥鹘y(tǒng)拼接 技術的全景成像與多目相機的標定技術較為類似，形成的柱面全景圖其標定方法較為復 雜，處理圖像數(shù)據(jù)量比較大，不易進行聯(lián)合標定;采用魚眼鏡頭的全景成像圖像，使用超廣 角物鏡，畸變模型不滿足透視投影，設計加工成本大，標定難度高，也較為不適用于聯(lián)合標 定;折反射式的全景相機利用折反射成像法，結(jié)構(gòu)簡單，成本適中，分辨率也可根據(jù)需求設 計，適合于聯(lián)合標定。在折反射式的全景相機中按照反射面的形狀又可分為兩類:錐面、球 面等反射面屬于第一類折反射全景相機，其入射光線不相交于一點，稱為非單視點折反射 全景相機;反射面是拋物面、雙曲面、橢球面的屬于第二類，其入射光線相交于一點，稱為單 視點折反射全景相機。
[0006] 激光測距的方法主要分為:相位法、脈沖法、三角法、干涉法。工程上常使用的是脈 沖和相位法。激光雷達探測可分為直接探測和相干探測，市面上絕大多數(shù)的激光雷達采用 的是直接探測的方法。探測器有單元、面、陣列三種。成像方法上又可分為無掃描和有掃描， 其中，有掃描的激光雷達會增大體積降低了可靠性與穩(wěn)定性，它使得雷達只能用于低傾率， 小視場的情況下。無掃描激光雷達，可以避開很多機械運動部分，從而達到體積小、緊湊、大 視場、高可靠性。激光雷達已廣泛應用于頂U、AGV、LGV等系統(tǒng)中。
[0007] 現(xiàn)有技術存在的問題有：1)單一的傳感器無法準確完整的獲取環(huán)境信息，2)傳統(tǒng) 的攝像機無法完整顯示360度范圍內(nèi)的圖像信息；3)傳統(tǒng)拼接技術的全景成像與采用魚眼 鏡頭的全景成像圖像不易進行聯(lián)合標定。

【發(fā)明內(nèi)容】

[0008] 為了獲得較高的成像效果，從而得到較高精度的數(shù)字圖像數(shù)據(jù)進行聯(lián)合標定，本 發(fā)明提供折反射全景相機與激光雷達數(shù)據(jù)融合標定方法。
[0009 ]為實現(xiàn)上述目的，本發(fā)明通過以下技術方案來實現(xiàn)：
[0010]折反射全景相機與激光雷達數(shù)據(jù)融合標定方法
[0011] 采用單視點折反射式全景相機與激光雷達進行聯(lián)合標定，首先建立全景標定模型 坐標系：世界坐標系、折反射鏡面坐標系、攝像機鏡頭坐標系和圖像成像坐標系，分別定義 為：Iw、Im、I。、Ip ;世界坐標系原點0w;折反射鏡面坐標系原點0m和攝像機坐標系0。原點分別 為鏡面二次曲面的上下焦點；圖像成像坐標系的原點〇 P為其圖像中心點，定義OmOcOp共線； 空間點Q在四個坐標系下的位置分別為:QjXDYwAKQjX^Y^Zd'QcIXc^Yc^ZcJ'QpUp， YP，ZP]T;
[0012] 標定過程包括以下步驟：
[0013 ] 1)單獨二維攝像機標定，由圖像成像坐標系點和世界坐標點關系Qp = KQC，得到攝 像機內(nèi)參矩陣K;對攝像機進行內(nèi)參標定；
[0014] 2)折反射鏡面成像點壓縮，按照各= 求解得到折反射鏡面折射點參數(shù) Xm、Ym、Zm;
[0015 ] 3)按照Qm=AMmwQw對折反射全景相機反求世界坐標點參數(shù)Xw、Yw、Zw;
[0016] 4)建立二維激光雷達的三維數(shù)據(jù)模型，由激光雷達獲取參數(shù)q、0、Θ，得到
[0017] 5)構(gòu)建全景相機與激光雷達數(shù)據(jù)融合標定模型，通過修正全景相機坐標系與激光 雷達坐標系下的共同的世界坐標系，由芯=求解兩坐標之間的轉(zhuǎn)換矩陣，得到最終 的全景相機與激光雷達聯(lián)合標定矩陣：
[0018]
[0019] A(c,p,Xm,Ym,Zm)
[0020]
[0021] 其中，XP，YP，ZP為空間一點Q其在圖像成像坐標系下的位置參數(shù);f x，f y，cx，cy為攝 像機內(nèi)參矩陣K的相關系數(shù)；^為折反射鏡面成像點壓縮比例系數(shù);c全景相機折反射鏡面 安裝高度;Xm，Ym，Zm為空間一點Q求解得到的折反射鏡面折射點參數(shù);P為全景相機折反射鏡 面安裝位置參數(shù);λ為關于(3，!)3^￥^2"這幾個鏡面參數(shù)的系數(shù)4、貧、0為激光雷達獲得 的相關參數(shù)，其中，q為激光雷達所測得的距離數(shù)值，爐:為激光雷達的Ζ方向旋轉(zhuǎn)角度，Θ為激 光雷達的掃描角度。
[0022] 作為本發(fā)明的進一步改進，步驟1)具體包括：
[0023] 1.1)建立針孔攝像機模型:Q為世界坐標系下的物點，q為圖像平面上的成像點，在 針孔模型下有下式成立：
[0024]
[0025]其中，XP，YP為世界中點0?[乂1，￥|，2|]7以偏移方式投影于圖像成像平面坐標參數(shù)汀 為焦距，引入兩個不同焦距fx，fy使單個像素點在成像設備成正方形;cx和c y分別為X和Υ方 向上的相對光軸偏移量，F(xiàn)為物理焦距長度，S為成像儀單元尺寸；
[0026] 1.2)棋盤標定板進行標定:對棋盤的多個視場提取旋轉(zhuǎn)和平移信息，得到世界坐 標系與圖像坐標系的轉(zhuǎn)換方程：
[0027]
[0028] 其中，RPW，TPW為成像坐標系向世界坐標系轉(zhuǎn)換的旋轉(zhuǎn)矩陣和平移矩陣；
[0029] 1.3)獲得內(nèi)參矩陣K，
[0030]
[0031]其中，S為畸變參數(shù)，在不考慮畸變的時候S = 0;
[0032]由Qp = KQc完成全景相機白盒標定的攝像機內(nèi)參標定，具體為：
[0033]
[0034] 其中，XP，YP，ZP為空間一點Q在圖像成像坐標系下的位置參數(shù);X。，Y c，Zc為空間一點 Q投影于圖像成像平面坐標參數(shù);Xm，Ym，Zm為空間一點Q求解得到的折反射鏡面折射點參數(shù)； fX，fy，CX，Cy為攝像機的四個內(nèi)參。
[0035] 所述的棋盤至少10幅7X8的棋盤。
[0036] 作為本發(fā)明的進一步改進，步驟2)具體包括：
[0037] 2.1)單視點成像數(shù)學模型建立:得到下面幾何關系式：
[0038]
[0039]其中，f為攝像機焦距;c為折反射鏡安裝高度;XC，YC，ZC為空間一點Q投影于圖像成 像平面坐標參數(shù);Xm，Ym，Zm為空間一點Q求解得到的折反射鏡面折射點參數(shù)；
[0040] 2.改寫為I:由于f相對于C很小，為簡化計算可以通過改寫得到下式：
[0041]
[0042] 其中，Qc、Qm為空間一點Q在圖像成像坐標系下與全景相機折反射鏡面坐標系下的 投影點；^為折反射鏡面成像點壓縮比例系數(shù);M?為圖像成像坐標系與全景相機折反射鏡 面坐標系之間的轉(zhuǎn)換矩陣；