本發(fā)明屬于單目視覺(jué)鈑金測(cè)量系統(tǒng)中提升測(cè)量精度領(lǐng)域，具體涉及提升輪廓精度方法。

背景技術(shù)：

鈑金是在工業(yè)中被加工成平面薄片的一種金屬，具有強(qiáng)度高、屏蔽性強(qiáng)、成本低、易于批量生產(chǎn)等特點(diǎn)，在工業(yè)、航天業(yè)、汽車業(yè)、電子通信、醫(yī)療甚至家居等領(lǐng)域有著廣泛的應(yīng)用，是空調(diào)、冰箱、手機(jī)、電視的必不可少的原料之一。鈑金經(jīng)常被加工成各式各樣的形狀以滿足產(chǎn)品的外觀和功能需求。通常，同一鈑金零件的厚度是均勻的，厚度范圍在1mm到5mm之間且為整數(shù)，大多數(shù)鈑金零件的外輪廓呈矩形。鈑金零件加工是否合格一個(gè)重要的判別標(biāo)準(zhǔn)是其加工尺寸和設(shè)計(jì)尺寸的偏差程度。

傳統(tǒng)的檢測(cè)做法是使用游標(biāo)卡尺等測(cè)量工具進(jìn)行測(cè)量。工業(yè)中使用的游標(biāo)卡尺精度大多為0.05mm，也有部分使用的精度為0.02mm，對(duì)于小型的部件(尺寸在500mm×500mm以下)，可以使用游標(biāo)卡尺較為準(zhǔn)確的測(cè)量其外部輪廓和關(guān)鍵點(diǎn)的信息，經(jīng)驗(yàn)豐富的生產(chǎn)線工人對(duì)這類零件的尺寸測(cè)量可將精度保持在0.1mm左右。然而，尺寸較大的鈑金零件通常無(wú)法進(jìn)行一次性測(cè)量，即使使用市面上3m及3m以上量程的游標(biāo)卡尺，其測(cè)量效率也十分低下，并會(huì)很大程度的影響測(cè)量精度。

單目視覺(jué)在目前的圖像處理領(lǐng)域應(yīng)用廣泛，它使用一臺(tái)視覺(jué)傳感器來(lái)進(jìn)行拍攝，這種方法結(jié)構(gòu)簡(jiǎn)單，相機(jī)標(biāo)定簡(jiǎn)單，算法也相對(duì)比較簡(jiǎn)單，而且能得到較好的效果，甚至在某些領(lǐng)域效果更加顯著?；趩文恳曈X(jué)的鈑金零件測(cè)量系統(tǒng)就是用來(lái)避免傳統(tǒng)使用游標(biāo)卡尺進(jìn)行測(cè)量的諸多弊端。國(guó)內(nèi)外近年來(lái)出現(xiàn)了很多的基于該類技術(shù)的商業(yè)產(chǎn)品，技術(shù)成熟，功能也十分的全面。這類產(chǎn)品配套的硬件設(shè)備操作簡(jiǎn)單方便，測(cè)量時(shí)間較快，測(cè)量結(jié)果也較為精確。并且考慮了相機(jī)模型、鏡頭畸變、光照強(qiáng)度等因素，通過(guò)各類模型真實(shí)的還原了鈑金輪廓。

機(jī)器學(xué)習(xí)作為近年來(lái)人工智能領(lǐng)域，乃至計(jì)算機(jī)領(lǐng)域相當(dāng)熱門的技術(shù)，在許多領(lǐng)域有著十分廣泛的應(yīng)用。目前機(jī)器學(xué)習(xí)的理論研究和相關(guān)技術(shù)都非常的成熟。它是一種多領(lǐng)域交叉學(xué)科，擬在研究出利用機(jī)器來(lái)模擬與人類學(xué)習(xí)行為相似的行為，使得機(jī)器有著自我學(xué)習(xí)和優(yōu)化的功能，并可以獲得新的知識(shí)，不斷完善自身。作為人工智能的核心，機(jī)器學(xué)習(xí)會(huì)利用現(xiàn)有數(shù)據(jù)和先驗(yàn)的經(jīng)驗(yàn)來(lái)優(yōu)化自身。一般情況下，機(jī)器學(xué)習(xí)的過(guò)程就是，首先我們把學(xué)習(xí)的信息提供給系統(tǒng)的學(xué)習(xí)部分，接著計(jì)算機(jī)通過(guò)對(duì)訓(xùn)練集的學(xué)習(xí)來(lái)修改自身的知識(shí)庫(kù)，增進(jìn)自身的各項(xiàng)效能，最后，更好地執(zhí)行根據(jù)知識(shí)庫(kù)完成的任務(wù)，并將結(jié)果反饋給訓(xùn)練部分。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明基于單目視覺(jué)的鈑金測(cè)量系統(tǒng)中獲取鈑金零件的二維真實(shí)輪廓，針對(duì)拍攝圖的單雙邊緣共存、鈑金區(qū)域與背景區(qū)域分離、存在畸變現(xiàn)象、拍攝平面與鈑金平面不完全平行等特點(diǎn)，利用邊緣檢測(cè)算法但又不限于以此作為鈑金零件的真實(shí)邊界。本發(fā)明的主要內(nèi)容如下：

1)使用單目視覺(jué)鈑金測(cè)量系統(tǒng)獲取到的圖像為二維圖像，受拍攝角度、拍攝距離以及相機(jī)本身的影響，帶有一定的畸變并且無(wú)法表示真實(shí)的尺寸信息。本發(fā)明利用相機(jī)標(biāo)定所得到的的相機(jī)內(nèi)參和外參等信息對(duì)畸變圖像進(jìn)行校正，并利用真實(shí)相機(jī)坐標(biāo)系和虛擬相機(jī)坐標(biāo)系之間的轉(zhuǎn)換還原輪廓的真實(shí)尺寸和輪廓點(diǎn)的真實(shí)位置。

2)采用圖像處理的方式提取高精度輪廓點(diǎn)。針對(duì)鈑金檢測(cè)中拍攝圖像的背景區(qū)域與鈑金區(qū)域分離的特殊性，提出了基于高斯影響的亞像素偏移算法，在已知背景區(qū)域和鈑金區(qū)域的灰度值的前提下，利用像素點(diǎn)的灰度值和灰度梯度方向使用該算法快速高效的對(duì)像素級(jí)邊緣點(diǎn)進(jìn)行亞像素級(jí)定位。

3)采用機(jī)器學(xué)習(xí)進(jìn)一步提高輪廓點(diǎn)提取精度。為了能夠讓提取到的輪廓點(diǎn)達(dá)到更好的精度，分析輪廓提取過(guò)程中使用到的模型和計(jì)算所帶來(lái)的誤差，對(duì)可能對(duì)輪廓點(diǎn)造成偏移的因素進(jìn)行分析建模，以此作為特征空間，引入softmax回歸來(lái)對(duì)輪廓提取的結(jié)果進(jìn)行優(yōu)化。

附圖說(shuō)明

圖1為空間坐標(biāo)系矯正示意圖。

圖2為二值函數(shù)增加高斯影響的示意圖。

圖3為本發(fā)明的softmax回歸訓(xùn)練運(yùn)行過(guò)程示意圖。

圖4為本發(fā)明的效果對(duì)比示意圖。

具體實(shí)施方式

1)空間坐標(biāo)系矯正

如圖1所示，已知輪廓點(diǎn)p(u,v)，首先需要求得其在三維坐標(biāo)系中的位置，若要對(duì)二維點(diǎn)進(jìn)行三維空間的映射，需要借助平面f，相機(jī)坐標(biāo)系的o點(diǎn)與p連線過(guò)平面f的焦點(diǎn)即為p的三維坐標(biāo)系中的位置。令f為以相機(jī)坐標(biāo)系為基準(zhǔn)的鈑金平臺(tái)平面，現(xiàn)要求得其表達(dá)式。在此引入方格標(biāo)定板作為輔助工具來(lái)檢測(cè)，用于獲取f平面上的物理標(biāo)尺以及與成像平面的夾角信息，也即平移向量t和旋轉(zhuǎn)矩陣r。在此建立世界坐標(biāo)系，以標(biāo)定板的左下角角點(diǎn)為原點(diǎn)，角點(diǎn)向右方向?yàn)閤方向，角點(diǎn)向上方向?yàn)閥方向，垂直于標(biāo)定板平面向上的方向?yàn)閦方向。

在此默認(rèn)已經(jīng)對(duì)相機(jī)的內(nèi)參進(jìn)行標(biāo)定并求得相應(yīng)的內(nèi)參。點(diǎn)p(u,v)在成像平面上的物理坐標(biāo)為：在點(diǎn)o與點(diǎn)p連接線上與其延長(zhǎng)線op上的任意一點(diǎn)m(xc,yc,zc)都可以講圖像物理坐標(biāo)映射為(x,y)，當(dāng)且僅當(dāng)

將op與面f的交點(diǎn)作為輪廓點(diǎn)p在三維坐標(biāo)系中的映射點(diǎn)。將該點(diǎn)利用進(jìn)行平移旋轉(zhuǎn)的逆操作得到其在世界坐標(biāo)系中的坐標(biāo)p(xw,yw,zw)。由于m(xc,yc,zc)是在f平面上，而f平面正好是世界坐標(biāo)系中的xoy平面，因此求得的zw＝0，也即世界坐標(biāo)系坐標(biāo)為p(xw,yw,1)。此時(shí)令p′為p點(diǎn)在xoy平面的映射點(diǎn)，則p′＝((xw,yw)。p′即為經(jīng)過(guò)空間坐標(biāo)系校正后的點(diǎn)。

2)輪廓計(jì)算

初始化變量鈑金區(qū)域灰度值lsum和背景區(qū)域灰度值hsum以及相應(yīng)的像素個(gè)數(shù)和hn，并引入狀態(tài)變量state。state表示當(dāng)前正在背景區(qū)域中1或是在鈑金區(qū)域中0，初始化為1。對(duì)灰度圖ggray自左向右、自上向下進(jìn)行遍歷，若state＝1，則lsum增加當(dāng)前像素的灰度值，且ln自增1，否則hsum增加當(dāng)前像素的灰度值，且hn自增1。遍歷過(guò)程中，當(dāng)前后兩個(gè)像素坐標(biāo)在圖gcanny分別為輪廓點(diǎn)和非輪廓點(diǎn)時(shí)，反轉(zhuǎn)state的值。重復(fù)此過(guò)程，直到遍歷完整張灰度圖，得到h＝hsum/hn和l＝lsum/ln。將l和h的值分別作為二值曲線的下限和上限，分段函數(shù)表達(dá)式為將高斯的影響加入真實(shí)邊緣的二值函數(shù)，如圖2，則邊緣處的灰度值沿梯度方向的變化函數(shù)g(n)表達(dá)式為g(d)＝l+(h-l)·其中自變量d表示梯度方向上的像素坐標(biāo)和亞像素坐標(biāo)的直線距離，l和h表示鈑金區(qū)域和背景區(qū)域的灰度值平均值，sgn(x)為標(biāo)準(zhǔn)0-1分段函數(shù)，σ表示高斯影響因子，σ值越大，對(duì)目標(biāo)像素點(diǎn)提取時(shí)，周圍灰度值對(duì)其灰度值的影響越大。

由于圖像的gr(x)的分布值是離散的，可取有限的x的取值集合，令每一個(gè)x滿足g(x-d)＝gr(x)，求得d，最后將所有的d值取平均值dave。則p在灰度梯度方向α上移動(dòng)的坐標(biāo)為從而，求得亞像素坐標(biāo)(x+diffx,y+diffy)。

3)softmax回歸優(yōu)化。

由于受到輪廓提取模型本身的限制以及計(jì)算過(guò)程中帶來(lái)的一些的誤差，并不能完全保證提取到的輪廓與真實(shí)值完全相等。而我們除了擁有大量的標(biāo)準(zhǔn)鈑金件的拍攝圖作為原始數(shù)據(jù)，還擁有相應(yīng)的設(shè)計(jì)圖，在這里可以理解為真實(shí)值，利用機(jī)器視覺(jué)測(cè)量出圖像中的鈑金輪廓便有了“最終目標(biāo)”。經(jīng)過(guò)圖形匹配后建立了鈑金輪廓與相應(yīng)cad圖形元素的對(duì)應(yīng)關(guān)系，可以認(rèn)為通過(guò)圖像提取到的輪廓點(diǎn)有理論上的真實(shí)坐標(biāo)位置。值得注意的是：在實(shí)際應(yīng)用的過(guò)程中，雖然每一張鈑金的拍攝圖都有其對(duì)應(yīng)的cad圖，但并不能主觀的將每一個(gè)輪廓點(diǎn)貼近c(diǎn)ad圖，這是由于受加工工藝限制，鈑金的實(shí)際輪廓并不一定能和cad圖完全重合。

使用softmax回歸進(jìn)行優(yōu)化的目的是提高鈑金輪廓與cad圖的匹配度，即令式取得最小值。輪廓提取的過(guò)程使用的策略為使用畸變模型、針孔模型以及邊緣檢測(cè)等方法盡可能的還原由鈑金到圖像的整個(gè)變換過(guò)程，讓輪廓上的所有的點(diǎn)接近真實(shí)值。將以每一個(gè)輪廓點(diǎn)及其相應(yīng)真實(shí)點(diǎn)作為訓(xùn)練單元，將真實(shí)點(diǎn)和偏差點(diǎn)之間的距離作為訓(xùn)練集中的輸出空間，將影響真實(shí)點(diǎn)移動(dòng)到偏差點(diǎn)的因素一個(gè)作為訓(xùn)練集中的特征，依次對(duì)每幅圖中每組訓(xùn)練單元進(jìn)行訓(xùn)練并建立模型，具體過(guò)程如圖3所示。也就是說(shuō)，為了使所有輪廓點(diǎn)與cad圖形元素的距離之和盡可能的最小，采用單點(diǎn)的方式讓輪廓點(diǎn)接近c(diǎn)ad圖，即減小n個(gè)點(diǎn)中每一個(gè)距離dist(mi,minmi(c))。

4)回歸優(yōu)化效果展示

圖4為經(jīng)過(guò)對(duì)訓(xùn)練集訓(xùn)練之后對(duì)測(cè)試集的校正效果數(shù)據(jù)。訓(xùn)練過(guò)程耗時(shí)55.806s，測(cè)試集的計(jì)算過(guò)程耗時(shí)0.238s。測(cè)試集的計(jì)算結(jié)果分為兩組：第一組為當(dāng)θ的取值范圍為(-π/2,π/2)時(shí)的輪廓點(diǎn)集，第二組為θ取值范圍為(-π/2,π/2)之外的輪廓點(diǎn)集。對(duì)比指標(biāo)中，sdiv為測(cè)試集中輪廓點(diǎn)到cad圖的輸出值的平均值，mae為對(duì)測(cè)試集利用模型計(jì)算出的預(yù)測(cè)值的平均值與sdiv的差值，而masr表示回歸優(yōu)化對(duì)結(jié)果優(yōu)化的比率，公式為mse為測(cè)試集利用模型計(jì)算出的預(yù)測(cè)值與輪廓點(diǎn)到cad圖的輸出值的平局值差值的平均方差，rmse為測(cè)試集利用模型計(jì)算出的預(yù)測(cè)值與輪廓點(diǎn)到cad圖的輸出值的平局值差值的平均方差的平方。accu為對(duì)輪廓點(diǎn)偏移亞像素值的預(yù)測(cè)準(zhǔn)確率，假設(shè)為隨機(jī)預(yù)測(cè)，該值應(yīng)為1/(2/pr+1)＝4.76％。結(jié)果顯示，使用回歸優(yōu)化之后，對(duì)輪廓點(diǎn)的精度定位有一定的提高，并且，對(duì)相機(jī)可以拍攝到鈑金輪廓側(cè)面的部分，使用softmax回歸之后效果要優(yōu)于拍攝不到輪廓側(cè)面的部分。