一種視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法
【專利摘要】本發(fā)明涉及一種視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法，包括以下步驟，步驟一：對目標(biāo)物體所在的環(huán)境進(jìn)行圖像采集；步驟二：建立視覺單元中的像素坐標(biāo)系和目標(biāo)物體所在的世界坐標(biāo)系；步驟三：獲取目標(biāo)物體在像素坐標(biāo)系中的像素單元尺度的多個點(diǎn)的坐標(biāo)值和在世界坐標(biāo)系中對應(yīng)點(diǎn)的坐標(biāo)值；步驟四：根據(jù)所確定的像素坐標(biāo)系的坐標(biāo)值和世界坐標(biāo)系的坐標(biāo)值，建立像素坐標(biāo)系與世界坐標(biāo)系的映射關(guān)系；步驟五：獲取在像素鄰域內(nèi)的點(diǎn)所在像素坐標(biāo)系的坐標(biāo)值；根據(jù)映射關(guān)系，計(jì)算其世界坐標(biāo)系的坐標(biāo)值；步驟六：重復(fù)步驟三到步驟五，直至完成整個像素坐標(biāo)系的每個像素單元坐標(biāo)值與世界坐標(biāo)系對應(yīng)坐標(biāo)值的映射關(guān)系。
【專利說明】一種視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于先進(jìn)制造及機(jī)器人控制領(lǐng)域，具體涉及一種視覺智能數(shù)控系統(tǒng)數(shù)據(jù)融合方法。

【背景技術(shù)】
[0002]機(jī)器視覺系統(tǒng)與數(shù)控系統(tǒng)相結(jié)合，并應(yīng)用于機(jī)器人和數(shù)控裝備形成智能機(jī)器人及智能數(shù)控裝備。根據(jù)現(xiàn)場需要，機(jī)器視覺系統(tǒng)(智能相機(jī))將采集的像素坐標(biāo)進(jìn)行處理轉(zhuǎn)換為世界坐標(biāo)系下物點(diǎn)坐標(biāo)。一般通過采用多臺智能相機(jī)對視野范圍內(nèi)移動物體進(jìn)行定位測量，常見于傳送帶輸送工件的加工處理，采用機(jī)器人或者數(shù)控裝備實(shí)現(xiàn)工件分揀或加工。
[0003]采用與機(jī)器人有關(guān)聯(lián)的機(jī)器視覺系統(tǒng)對目標(biāo)工件進(jìn)行拍攝，結(jié)合機(jī)器人、固定工作環(huán)境參數(shù)和視覺系統(tǒng)內(nèi)、外參數(shù)，分別進(jìn)行攝像機(jī)標(biāo)定和目標(biāo)工件標(biāo)定，用以確認(rèn)工件位姿，采用立體視覺的方法，從工件特征點(diǎn)二維定位信息獲取三維空間位姿信息。無論是固定于機(jī)器人末端手-眼模式(單臺)還是固定于工作環(huán)境某點(diǎn)(多臺)的視覺系統(tǒng)，對目標(biāo)工件的定位(標(biāo)定)包含:視覺系統(tǒng)安裝關(guān)系標(biāo)定、視覺系統(tǒng)標(biāo)定，用以完成工件空間位姿標(biāo)定，為后續(xù)機(jī)器人加工提供基準(zhǔn)坐標(biāo)系。
[0004]請參閱圖1，其為拍攝圖像的畸變圖。相機(jī)鏡頭產(chǎn)生的線性和非線性畸變，目前已知影響透視與畸變原因包括焦距f、攝像機(jī)角度Θ、攝像機(jī)架設(shè)位置等。相機(jī)近距離拍攝直線結(jié)構(gòu)時(shí)，例如建筑物或樹木，就會產(chǎn)生失真。在拍攝時(shí)將照相機(jī)稍稍向上對準(zhǔn)，就可以近距離把整個物體拍攝下來。但是由于失真，平行的線條會不平行而有逐漸聚攏的趨勢導(dǎo)致建筑物或樹木在圖像中向前傾，這種失真現(xiàn)象被稱為線性畸變。這種近大遠(yuǎn)小的感覺也稱為透視感。鏡頭的非線性畸變可分為徑向畸變、離心畸變與薄棱鏡畸變。其中后兩類畸變既產(chǎn)生徑向畸變也產(chǎn)生切向畸變，光學(xué)鏡頭徑向曲率的變化是產(chǎn)生徑向畸變的主要成因。鏡頭的徑向畸變有兩種趨勢:一是像點(diǎn)的畸變呈離開中心的趨勢，稱為鞍形畸變；另一種是像點(diǎn)的畸變朝中心聚縮，稱為桶形畸變。離心畸變是指由于裝配原因，組成光學(xué)系統(tǒng)的多個光學(xué)鏡頭的光軸不可能完全共線弓I起的畸變。這種畸變是由徑向畸變分量和切向畸變分量共同構(gòu)成。薄棱鏡畸變是指由于光學(xué)鏡頭制作造成的誤差和成像敏感陣列制作造成的誤差產(chǎn)生的圖像變形，這種畸變也由徑向畸變分量和切向畸變分量共同構(gòu)成。
[0005]現(xiàn)有技術(shù)中，通過在視覺系統(tǒng)自身標(biāo)定需要建立相機(jī)系統(tǒng)成像幾何模型，同時(shí)需要精確估計(jì)出相機(jī)模型中的各種參數(shù)，這種相機(jī)建模及標(biāo)定過程已有多種文獻(xiàn)公開方法；視覺系統(tǒng)坐標(biāo)系與其安裝末端軸坐標(biāo)系之間的關(guān)系同樣需要標(biāo)定獲得，用來間接獲取視覺系統(tǒng)在所處坐標(biāo)系中的位姿數(shù)據(jù)。為獲得精確的目標(biāo)位置數(shù)據(jù)，需要大量標(biāo)定運(yùn)算，采用目前文獻(xiàn)公開的方法，可實(shí)現(xiàn)較精確的理論求解。
[0006]然而，常用的視覺系統(tǒng)集成于機(jī)器人或數(shù)控裝備的方式是采用相互獨(dú)立的子系統(tǒng)，以通信線路連接實(shí)現(xiàn)信息交互，而視覺系統(tǒng)內(nèi)部坐標(biāo)與世界坐標(biāo)系坐標(biāo)的轉(zhuǎn)換處理依賴于相機(jī)內(nèi)、外參數(shù)，參數(shù)矩陣計(jì)算繁雜，且存在無解可能。
[0007]同時(shí)，在這種方式下，無論單目還是多目相機(jī)處理起來，受相機(jī)本身、工作環(huán)境等約束較大，造成應(yīng)用推廣難度大。開發(fā)過程所涉及建模、求解、轉(zhuǎn)換、輸出等環(huán)節(jié)沒有標(biāo)準(zhǔn)模式，需依賴控制對象訂制開發(fā)，一旦對象構(gòu)型、參數(shù)、位姿、配置等發(fā)生改變，則需重新進(jìn)行標(biāo)定，甚至處理算法也會做出相應(yīng)調(diào)整。經(jīng)典的攝影測量方法一般采用基于多目攝像機(jī)的交匯測量、基于單目攝像機(jī)對已知若干特征的合作物體進(jìn)行估計(jì)，這些方法雖定位精度高，但較復(fù)雜且計(jì)算時(shí)間長，難以在現(xiàn)場應(yīng)用。


【發(fā)明內(nèi)容】

[0008]本發(fā)明在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法。
[0009]本發(fā)明是通過以下的技術(shù)方案實(shí)現(xiàn)的:一種視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法，包括以下步驟:
[0010]步驟一:對目標(biāo)物體所在的環(huán)境進(jìn)行圖像采集；
[0011]步驟二:對圖像中的目標(biāo)物體進(jìn)行識別，并建立視覺單元中的像素坐標(biāo)系和目標(biāo)物體所在的世界坐標(biāo)系；
[0012]步驟三:獲取目標(biāo)物體在像素坐標(biāo)系中的一像素單元的多個點(diǎn)的坐標(biāo)值和在世界坐標(biāo)系中對應(yīng)點(diǎn)的坐標(biāo)值；
[0013]步驟四:根據(jù)所確定的像素坐標(biāo)系的坐標(biāo)值和世界坐標(biāo)系的坐標(biāo)值，建立像素坐標(biāo)系與世界坐標(biāo)系的映射關(guān)系；
[0014]步驟五:在該像素單元的鄰域內(nèi)，獲取在該鄰域內(nèi)的點(diǎn)所在像素坐標(biāo)系的坐標(biāo)值；根據(jù)映射關(guān)系，計(jì)算其世界坐標(biāo)系的坐標(biāo)值；
[0015]步驟六:重復(fù)步驟三到步驟五，直至完成整個像素坐標(biāo)系的每個像素單元坐標(biāo)值與世界坐標(biāo)系對應(yīng)坐標(biāo)值的映射關(guān)系。
[0016]相比于現(xiàn)有技術(shù)，本發(fā)明適用于采用智能相機(jī)對目標(biāo)工件的平面位置測定。將多臺視覺子系統(tǒng)拍攝的坐標(biāo)數(shù)據(jù)與拍攝目標(biāo)實(shí)際的位置信息融合處理，從而獲得已知目標(biāo)鄰域附近的目標(biāo)物坐標(biāo)信息。本發(fā)明前期運(yùn)算完成物-相兩方映射關(guān)系對應(yīng)，逐點(diǎn)算得目標(biāo)物體位置數(shù)據(jù)，將積累的融合估算結(jié)果——“偽已知點(diǎn)”充滿物方區(qū)域和相方區(qū)域的分格點(diǎn)。后期可停止數(shù)據(jù)融合估算，采用直接查表的方法實(shí)現(xiàn)各相機(jī)采集相點(diǎn)所對應(yīng)的物點(diǎn)位置數(shù)據(jù)，各相機(jī)估算結(jié)果采用加權(quán)平均處理。本發(fā)明有效避開相機(jī)標(biāo)定過程中內(nèi)外參數(shù)計(jì)算，數(shù)據(jù)融合過程簡潔，處理精度較好，可應(yīng)用于視覺與數(shù)控聯(lián)合開發(fā)過程，適合多行業(yè)數(shù)控裝備和機(jī)器人應(yīng)用。
[0017]作為本發(fā)明的進(jìn)一步改進(jìn)，在完成步驟六后，還包括步驟:建立像素坐標(biāo)系與世界坐標(biāo)系的映射列表，該映射列表中包括像素坐標(biāo)系中的所有點(diǎn)的坐標(biāo)值，以及與其對應(yīng)的世界坐標(biāo)系中的所有點(diǎn)的坐標(biāo)值。
[0018]作為本發(fā)明的進(jìn)一步改進(jìn)，在步驟一中，通過多個相機(jī)對目標(biāo)物體進(jìn)行圖像采集；在步驟二中，所述像素坐標(biāo)系在該相機(jī)中形成，通過網(wǎng)格劃分，且在該像素坐標(biāo)系中的點(diǎn)為相點(diǎn)，其坐標(biāo)設(shè)為;世界坐標(biāo)系通過網(wǎng)格劃分，與該像素坐標(biāo)系相對應(yīng)，世界坐標(biāo)系中的點(diǎn)為物點(diǎn)，其坐標(biāo)設(shè)為(χο,Υο)。
[0019]作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟五中在獲取像素單元的坐標(biāo)值時(shí)，包括以下步驟:通過多臺相機(jī)對目標(biāo)物體的點(diǎn)進(jìn)行采集，并將所采集的相點(diǎn)的坐標(biāo)值進(jìn)行加權(quán)平均，并作為在像素坐標(biāo)系中的坐標(biāo)值。
[0020]作為本發(fā)明的進(jìn)一步改進(jìn)，根據(jù)映射列表查找目標(biāo)物體的實(shí)際位置時(shí)，包括步驟:通過多臺相機(jī)對目標(biāo)物體的點(diǎn)進(jìn)行采集，并將所采集的相點(diǎn)的坐標(biāo)值進(jìn)行加權(quán)平均；根據(jù)加權(quán)平均后的坐標(biāo)值，查找出對應(yīng)的物點(diǎn)的坐標(biāo)值。
[0021]作為本發(fā)明的進(jìn)一步改進(jìn)，所述像素單元的領(lǐng)域?yàn)樵撓袼貑卧谙袼刈鴺?biāo)系中相鄰的網(wǎng)格。
[0022]作為本發(fā)明的進(jìn)一步改進(jìn)，在所述步驟四中，在建立映射關(guān)系時(shí)，包括步驟:
[0023]構(gòu)建一階函數(shù)，其為 ,

【權(quán)利要求】
1.一種視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法，其特征在于，包括以下步驟: 步驟一:對目標(biāo)物體所在的環(huán)境進(jìn)行圖像采集； 步驟二:對圖像中的目標(biāo)物體進(jìn)行識別，并建立視覺單元中的像素坐標(biāo)系和目標(biāo)物體所在的世界坐標(biāo)系； 步驟三:獲取目標(biāo)物體在像素坐標(biāo)系中的像素單元尺度的若干個點(diǎn)的坐標(biāo)值和在世界坐標(biāo)系中對應(yīng)點(diǎn)的坐標(biāo)值； 步驟四:根據(jù)所確定的像素坐標(biāo)系的坐標(biāo)值和世界坐標(biāo)系的坐標(biāo)值，建立像素坐標(biāo)系與世界坐標(biāo)系的映射關(guān)系； 步驟五:在該像素單元的鄰域內(nèi)，獲取在該鄰域內(nèi)的點(diǎn)在像素坐標(biāo)系中的坐標(biāo)值；根據(jù)映射關(guān)系，計(jì)算其在世界坐標(biāo)系中的坐標(biāo)值； 步驟六:重復(fù)步驟三到步驟五，直至完成整個像素坐標(biāo)系的每個像素單元坐標(biāo)值與世界坐標(biāo)系對應(yīng)坐標(biāo)值的映射關(guān)系。
2.根據(jù)權(quán)利要求1所述視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法，其特征在于:在完成步驟六后，還包括步驟:建立像素坐標(biāo)系與世界坐標(biāo)系的映射列表，該映射列表中包括像素坐標(biāo)系中的所有點(diǎn)的坐標(biāo)值，以及與其對應(yīng)的世界坐標(biāo)系中的所有點(diǎn)的坐標(biāo)值。
3.根據(jù)權(quán)利要求2所述視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法，其特征在于:在步驟一中，通過多個相機(jī)對目標(biāo)物體進(jìn)行圖像采集；在步驟二中，所述像素坐標(biāo)系在該相機(jī)中形成，通過網(wǎng)格劃分，且在該像素坐標(biāo)系中的點(diǎn)為相點(diǎn)，其坐標(biāo)設(shè)為(1?,%);世界坐標(biāo)系通過網(wǎng)格劃分，與該像素坐標(biāo)系相對應(yīng)，世界坐標(biāo)系中的點(diǎn)為物點(diǎn)，其坐標(biāo)設(shè)為(X(l，yQ)。
4.根據(jù)權(quán)利要求3所述視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法，其特征在于:所述步驟五中在獲取像素單元的坐標(biāo)值時(shí)，包括以下步驟:通過多臺相機(jī)對目標(biāo)物體的點(diǎn)進(jìn)行采集，并將所采集的相點(diǎn)的坐標(biāo)值進(jìn)行加權(quán)平均，并作為在像素坐標(biāo)系中的坐標(biāo)值。
5.根據(jù)權(quán)利要求3所述視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法，其特征在于:根據(jù)映射列表查找目標(biāo)物體的實(shí)際位置時(shí)，包括步驟:通過多臺相機(jī)對目標(biāo)物體的點(diǎn)進(jìn)行采集，并將所采集的相點(diǎn)的坐標(biāo)值進(jìn)行加權(quán)平均；根據(jù)加權(quán)平均后的坐標(biāo)值，查找出對應(yīng)的物點(diǎn)的坐標(biāo)值。
6.根據(jù)權(quán)利要求3-5任意一項(xiàng)所述視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法，其特征在于:所述像素單元的領(lǐng)域?yàn)樵撓袼貑卧谙袼刈鴺?biāo)系中相鄰的網(wǎng)格。
7.根據(jù)權(quán)利要求2所述視覺智能數(shù)控系統(tǒng)的數(shù)據(jù)融合方法，其特征在于:在所述步驟四中，在建立映射關(guān)系時(shí)，包括步驟:
構(gòu)建三階函數(shù)，其為:
，其中，(Xi，Yi)為物點(diǎn)坐標(biāo)，(Utl, V0)為相點(diǎn)坐標(biāo)，Bi和bi為常數(shù)； 選取最合適的函數(shù)作為像素坐標(biāo)系到世界坐標(biāo)系的映射關(guān)系式； 將所對應(yīng)的相點(diǎn)(UpVi)和物點(diǎn)(Xi，yi)分別代入上述方程，求解對應(yīng)的函數(shù)關(guān)系式；其中i為正整數(shù)。
【文檔編號】G06T7/00GK104200469SQ201410436174
【公開日】2014年12月10日 申請日期:2014年8月29日 優(yōu)先權(quán)日:2014年8月29日
【發(fā)明者】王高, 柳寧, 葉文生, 蘇啟林 申請人:暨南大學(xué)韶關(guān)研究院