一種全自動(dòng)的結(jié)構(gòu)光手眼三維測量系統(tǒng)標(biāo)定方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種結(jié)構(gòu)光手眼三維測量系統(tǒng)及其標(biāo)定方法，具體是指由線結(jié)構(gòu)光、 攝像機(jī)和機(jī)器人構(gòu)成的結(jié)構(gòu)光手眼三維測量系統(tǒng)的全自動(dòng)標(biāo)定方法。 技術(shù)背景
[0002] 隨著計(jì)算機(jī)技術(shù)和機(jī)器視覺的興起和發(fā)展，以及工業(yè)自動(dòng)化程度的不斷提高，傳 統(tǒng)的測量技術(shù)已遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)代化的生產(chǎn)需求，視覺測量以其速度快、精度高、非接觸、 自動(dòng)化程度高等優(yōu)勢，在非接觸測量領(lǐng)域發(fā)揮越來越大的作用。視覺測量技術(shù)應(yīng)用的關(guān)鍵 是在工業(yè)現(xiàn)場建立簡單有效的視覺測量系統(tǒng)，目前集機(jī)械、電子、光學(xué)和計(jì)算機(jī)技術(shù)于一體 的結(jié)構(gòu)光三維測量與目標(biāo)重建系統(tǒng)在工業(yè)現(xiàn)場正得到越來越廣泛的應(yīng)用，如模具外形檢 測、風(fēng)輪葉片檢測、軍事測量以及軍事制導(dǎo)跟蹤、文物保護(hù)、汽車輪廓、以及機(jī)器人手眼定位 系統(tǒng)。在結(jié)構(gòu)光中，激光以其單色性、單向性的優(yōu)點(diǎn)而成為應(yīng)用的主流。
[0003] 激光結(jié)構(gòu)光三維視覺測量是一種利用圖像和可控光源的測量技術(shù)，其主要原理是 采集系統(tǒng)采集可控光源照射在被測物體上的圖像，并根據(jù)該圖像恢復(fù)物體幾何信息。根據(jù) 可控光源投射出的光束模式的區(qū)別，結(jié)構(gòu)光視覺測量可分為點(diǎn)結(jié)構(gòu)光測量、單線結(jié)構(gòu)光測 量、多線結(jié)構(gòu)光測量和網(wǎng)格結(jié)構(gòu)光測量。其中單線結(jié)構(gòu)光法，由光源投射出一條條形的光 紋，通過圖像處理手段提取到該光條紋，根據(jù)光條紋的形狀來恢復(fù)該物體光截面上的空間 物理幾何尺寸，可以完成對物體表面三維信息的全部掃描。因其掃描效率高，是目前運(yùn)用的 最成熟的結(jié)構(gòu)光視覺測量技術(shù)。將單線結(jié)構(gòu)光和攝像機(jī)構(gòu)成的視覺傳感器安裝在機(jī)械手末 端可構(gòu)成線結(jié)構(gòu)光手眼三維測量系統(tǒng)，以其測量精度高，機(jī)械手工業(yè)執(zhí)行性好，廣泛應(yīng)用于 焊接，裝配，高精度搬運(yùn)等工業(yè)測量領(lǐng)域。結(jié)構(gòu)光手眼測量系統(tǒng)在制造業(yè)技術(shù)改造、提高產(chǎn) 品質(zhì)量、減少工人勞動(dòng)強(qiáng)度、改善工人勞動(dòng)條件、等方面有明顯的優(yōu)越性。
[0004] 實(shí)現(xiàn)該測量系統(tǒng)自動(dòng)化工作的前提是系統(tǒng)的標(biāo)定問題，標(biāo)定參數(shù)包括結(jié)構(gòu)光光平 面參數(shù)、攝像機(jī)參數(shù)和手眼矩陣參數(shù)?，F(xiàn)有的標(biāo)定方法大多基于高精度靶標(biāo)的標(biāo)定，標(biāo)定過 程復(fù)雜且標(biāo)定板易磨損，在一些無法使用標(biāo)定板的環(huán)境無法完成系統(tǒng)標(biāo)定任務(wù)。本發(fā)明給 出一種基于環(huán)境特征點(diǎn)的全自動(dòng)標(biāo)定方法，給定機(jī)器人2個(gè)位姿，控制機(jī)器人進(jìn)行五次平 移運(yùn)動(dòng)即可實(shí)現(xiàn)結(jié)構(gòu)光手眼三維測量系統(tǒng)的標(biāo)定，提高結(jié)構(gòu)光手眼三維測量系統(tǒng)使用的自 動(dòng)化程度。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明針對現(xiàn)有標(biāo)定結(jié)構(gòu)光手眼測量系統(tǒng)方法中存在的標(biāo)定精度對靶標(biāo)精度依 賴度高，標(biāo)定過程復(fù)雜，提出一種基于三個(gè)環(huán)境特征點(diǎn)的全自動(dòng)標(biāo)定方法。該標(biāo)定方法無需 使用特制高精度靶標(biāo)，可使用工業(yè)現(xiàn)場常見的非等腰直角三角形工件，以工件的角點(diǎn)作為 標(biāo)定特征點(diǎn)。
[0006] 按照本發(fā)明提供的技術(shù)方案，所述結(jié)構(gòu)光手眼三維測量系統(tǒng)全自動(dòng)標(biāo)定方法如 下：
[0007] 第一步：給定機(jī)器人一個(gè)初始位姿
【主權(quán)項(xiàng)】
1. 一種全自動(dòng)的結(jié)構(gòu)光手眼三維測量系統(tǒng)標(biāo)定方法，其特征是，該標(biāo)定方法只需給定 機(jī)器人2個(gè)位姿7；，使用場景中的3個(gè)特征點(diǎn)，并控制機(jī)器人在4位姿進(jìn)行5次平移運(yùn) 動(dòng)，即可實(shí)現(xiàn)結(jié)構(gòu)光手眼三維測量系統(tǒng)的攝像機(jī)內(nèi)參數(shù)尤手眼矩陣兄（和線結(jié)構(gòu)光平面方 程的標(biāo)定；整個(gè)方法包括以下幾個(gè)模塊 ： 給定機(jī)器人一個(gè)初始位姿
將標(biāo)定工件放置在攝像機(jī)視野區(qū)域1〇中，采 集一幅圖像，提取三角形工件的三個(gè)角點(diǎn)作為標(biāo)定特征像點(diǎn)碼i(i=l，2, 3)，而后精確控制機(jī) 器人進(jìn)行5次平移運(yùn)動(dòng)，分別為并在每次運(yùn)動(dòng)后拍攝包含標(biāo)定特征點(diǎn)的圖像，提取 圖像特征像點(diǎn); 根據(jù)結(jié)構(gòu)光手眼測量系統(tǒng)中特征像點(diǎn)運(yùn)動(dòng)前后關(guān)系，建立每個(gè)特征點(diǎn)關(guān)于攝像機(jī)內(nèi)參 數(shù)辟P手眼矩陣旋轉(zhuǎn)部分礎(chǔ)勺最小二程方程，標(biāo)定出攝像機(jī)內(nèi)參數(shù)辟P手眼矩陣旋轉(zhuǎn)部分 兄同時(shí)得到三個(gè)特征點(diǎn)在攝像機(jī)坐標(biāo)系的三維坐標(biāo)xe(li，進(jìn)一步求解三個(gè)點(diǎn)構(gòu)成的平面方 程曷； 給定位I
7；位姿為在^位姿下的純旋轉(zhuǎn)運(yùn)動(dòng)，旋轉(zhuǎn)矩陣為氣= ，可求解平面，旋轉(zhuǎn)后的方程，；對場景中標(biāo)定特征點(diǎn)取像，像點(diǎn)為％i，根據(jù)內(nèi)參數(shù)矩陣求 解像點(diǎn)在攝像機(jī)坐標(biāo)系下深度信息未知的Xai，將其帶入方程* ,得到各點(diǎn)三維坐標(biāo)，依據(jù) 結(jié)構(gòu)光手眼關(guān)系方程構(gòu)建手眼矩陣平移部分（和三個(gè)標(biāo)定點(diǎn)在機(jī)器人末端坐標(biāo)系坐標(biāo)信 息的線性方程，通過最小二程法求解； 打開激光器分別在位姿7；處拍攝帶激光條圖像提取激光條直線，擬合光條直線方 程，兩條直線即為光平面與特征點(diǎn)構(gòu)成平面的交線，取直線上點(diǎn)并將其轉(zhuǎn)換到攝像機(jī)坐標(biāo) 系，通過系列點(diǎn)在攝像機(jī)坐標(biāo)系的坐標(biāo)擬合光平面方程。
2. 如權(quán)利要求1所述線性無關(guān)的平移運(yùn)動(dòng)自動(dòng)選取，具有如下特征： 設(shè)攝像機(jī)CCD尺寸為M*N，區(qū)域10范圍為：
將標(biāo) 定工件放置在區(qū)域10中，< ￡根據(jù)三角標(biāo)定工件在圖像視野中所處的位置確定；確定方 法如下：
若編號(hào)1點(diǎn)在區(qū)則預(yù)給定'在機(jī) 器人末端坐標(biāo)系或攝像機(jī)坐標(biāo)系的方向向量為：4=(1，〇, 〇)，4=(1，1，〇)，4=(〇, 1，〇)， 辦4=(1，1，1)，4=(〇，M)，機(jī)器人沿上述方向4運(yùn)動(dòng)距離Zca，根據(jù)特征點(diǎn)像素坐標(biāo) 的變化與實(shí)際距離4的比例關(guān)系確定運(yùn)動(dòng)向量距離大小；設(shè)特征點(diǎn)1沿&方向運(yùn) 動(dòng)前后坐標(biāo)為（ul,vl)和丨iV丨，則A方向運(yùn)動(dòng)距離為
由此<..I^為
同理，若編號(hào)1點(diǎn)在區(qū)域
W預(yù)給定- 4的方 向向量為：4=(_1，〇, 〇)，4=(_1，1，〇)，《=(〇, 1，〇)，4=(_1，1，1)，4=(〇, 1，1)，^A:為
若編號(hào)1點(diǎn)在區(qū)_
則預(yù)給定的方向 向量為：A=(i，〇, 〇)，4=(1，-1，〇)，4=(〇, _1，〇)，4=(1，-1，1)，4=(〇, _1，1)，氛為
若編號(hào)1點(diǎn)在區(qū)域
，則預(yù)給定￡的方向向 量為：4=(_1，〇,
〇)，4=(_1，-1，〇)，《=(〇, _1，〇)，4=(_1，-1，1)，4=(〇, _1，1),氨 '' 4 為
3. 如權(quán)利要求1所述標(biāo)定攝像機(jī)內(nèi)參數(shù)辟P手眼矩陣旋轉(zhuǎn)部分兄具有如下特征： 根據(jù)Zijffiij- (I, 1, 2, 3;j=l, 2,…，5)，建立5次運(yùn)動(dòng)前后特征像點(diǎn)》n~?5i 關(guān)于內(nèi)參數(shù)辟P手眼矩陣旋轉(zhuǎn)部分礎(chǔ)勺最小二程方程，分別求解出攝像機(jī)的內(nèi)參數(shù)辟P手眼 矩陣的旋轉(zhuǎn)部分后取均值。
4. 如權(quán)利要求1所述求解三個(gè)點(diǎn)構(gòu)成的平面方程& ,具有如下特征： 求解內(nèi)參數(shù)辟P手眼矩陣的旋轉(zhuǎn)部分礎(chǔ)勺同時(shí)可得三個(gè)特征點(diǎn)在攝像機(jī)坐標(biāo)系坐標(biāo) 二&if1%,三個(gè)特征點(diǎn)構(gòu)成的平面方程為￥分7_7允，+7=6?,將三個(gè)點(diǎn)坐標(biāo)帶入方程式求 解，=(:斗
5. 如權(quán)利要求1所述標(biāo)定手眼矩陣平移部分（，具有如下特征： 乃位姿為在4位姿下的純旋轉(zhuǎn)運(yùn)動(dòng)，旋轉(zhuǎn)矩陣為' ,可求解平面露,旋轉(zhuǎn)后 的方程=麗; 求解特征像點(diǎn)帶參數(shù)的攝像機(jī)坐標(biāo)系坐標(biāo)為石4f1%/，同時(shí)點(diǎn)在光平面％上， 將其帶入&方程，可求解深度信息進(jìn)而得到各點(diǎn)在攝像機(jī)坐標(biāo)系的三維坐標(biāo)； 根據(jù)攝像機(jī)坐標(biāo)系和機(jī)器人末端坐標(biāo)系坐標(biāo)關(guān)系：不=7?不+ (，可得
，又石i=疋石U，寫成矩陣形3
通過最小二乘求解手眼矩陣平移 部分（和每個(gè)位姿下每個(gè)標(biāo)足特祉點(diǎn)在機(jī)器人禾爾坐稱糸坐標(biāo)，并將該坐標(biāo)轉(zhuǎn)換到機(jī)器人 基坐標(biāo)系，關(guān)系為
進(jìn)而得到三個(gè)特征點(diǎn)構(gòu)成平面在機(jī)器人基坐標(biāo)系 平面方程*J。
6. 如權(quán)利要求1所述擬合光條直線方程，具有如下特征： 在位姿7；處拍攝帶激光條圖像，如圖4所示，在2位姿下，結(jié)構(gòu)光平面與特征點(diǎn)構(gòu) 成的平面相交于2條直線，2條直線反映在結(jié)構(gòu)光平面上即為2條相交直線，通過2條直線 上點(diǎn)的坐標(biāo)擬合光平面方程；首先對采集到的光條直線進(jìn)行處理，擬合直線方程，具體流程 為：（1)對采集到的焊縫圖像進(jìn)行中值濾波；（2)大津法進(jìn)行二值化；（3)取光條重心的方 法對光條進(jìn)行細(xì)化；(4)Hough變換擬合光條直線方程；以擬合的光條直線上點(diǎn)代替原特征 點(diǎn)，減少誤差。
7. 如權(quán)利要求1所述取光條直線上點(diǎn)，并將其轉(zhuǎn)換到攝像機(jī)坐標(biāo)系，具有如下特征： 取光條直線上在10區(qū)域中的點(diǎn)，分別為/^b)，其中（i=l，2, 3)表示機(jī)器人三 個(gè)位姿，（j=l，2,…，10)表示每個(gè)位姿下在光條上處于10區(qū)域中的部分均勻選取10點(diǎn)， 將各點(diǎn)坐標(biāo)代入機(jī)器人手眼關(guān)〕
得到深度信息\未知的 Iwij，并將其代入三個(gè)標(biāo)定特征點(diǎn)構(gòu)成平面的方程％中，可求解各點(diǎn)深度信息進(jìn)而求解 各點(diǎn)I」后，代入手眼關(guān)系得到該點(diǎn)在攝像機(jī)坐標(biāo)系的坐標(biāo)石,7。
8. 如權(quán)利要求1所述擬合光平面方程，具有如下特征： 光平面方程為ar分將20個(gè)點(diǎn)的坐標(biāo)帶入，通過最小二乘法擬合光平面方 程，得到 c, 1)。
【專利摘要】本發(fā)明通過深入分析線結(jié)構(gòu)光手眼三維測量系統(tǒng)工作原理，設(shè)計(jì)了一種基于3個(gè)環(huán)境特征點(diǎn)和2個(gè)給定位姿的全自動(dòng)標(biāo)定方法。該標(biāo)定方法對場景中三個(gè)特征點(diǎn)取像，通過精確控制機(jī)器人進(jìn)行5次平移運(yùn)動(dòng)，標(biāo)定攝像機(jī)內(nèi)參數(shù)和手眼矩陣旋轉(zhuǎn)部分；通過給定機(jī)器人2個(gè)不同位姿，結(jié)合特征點(diǎn)構(gòu)成平面在不同坐標(biāo)系的參數(shù)方程信息，標(biāo)定手眼矩陣平移部分和結(jié)構(gòu)光平面在攝像機(jī)坐標(biāo)系下平面方程。該標(biāo)定方法簡單，特征選取容易，對結(jié)構(gòu)光手眼三維測量系統(tǒng)在實(shí)際工業(yè)現(xiàn)場使用有重要意義。
【IPC分類】G01B11-25
【公開號(hào)】CN104613899
【申請?zhí)枴緾N201510067011
【發(fā)明人】郭新年, 白瑞林, 周紅標(biāo)
【申請人】淮陰工學(xué)院
【公開日】2015年5月13日
【申請日】2015年2月9日