一種面向模具保護(hù)的基于回聲狀態(tài)網(wǎng)絡(luò)估計(jì)圖像雅克比矩陣的無(wú)標(biāo)定視覺(jué)伺服控制方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種面向模具保護(hù)的基于回聲狀態(tài)網(wǎng)絡(luò)估計(jì)圖像雅克比矩陣的無(wú)標(biāo) 定視覺(jué)伺服控制方法。
【背景技術(shù)】
[0002] 隨著圖像處理技術(shù)飛速發(fā)展，特別是計(jì)算機(jī)處理速度的顯著提高，大規(guī)模存儲(chǔ)器 的出現(xiàn)，模具的自動(dòng)識(shí)別報(bào)警系統(tǒng)被大量引入注塑行業(yè)中，通過(guò)CCD視頻圖像的動(dòng)態(tài)采集， 借助計(jì)算機(jī)數(shù)字圖像處理技術(shù)，對(duì)生產(chǎn)過(guò)程中模具存在的殘留、滑塊錯(cuò)位、脫模不良等異常 情況進(jìn)行實(shí)時(shí)監(jiān)控以實(shí)現(xiàn)對(duì)模具的自動(dòng)保護(hù)。這種基于圖像的實(shí)時(shí)監(jiān)控系統(tǒng)極大提高了注 塑模具的安全性，降低了修模成本，提升了工作效率，降低了工作人員的勞動(dòng)強(qiáng)度。因此，基 于圖像處理的模具保護(hù)器成為目前眾多注塑機(jī)必備的配套設(shè)備。然而，目前引入的模具保 護(hù)器功能都比較單一，只能實(shí)現(xiàn)異常狀態(tài)下的報(bào)警，報(bào)警后采用人工方式對(duì)注塑件次品或 者模具殘留物進(jìn)行拾取。這種方式的缺點(diǎn)是生產(chǎn)效率低，勞動(dòng)力成本高，無(wú)法實(shí)現(xiàn)真正意義 上的無(wú)人值守和自動(dòng)化，拾取過(guò)程中安全性較差，直接影響到企業(yè)的經(jīng)濟(jì)效益和社會(huì)效應(yīng)。 將伺服機(jī)械手引入模具保護(hù)系統(tǒng)，利用圖像檢測(cè)與機(jī)器人無(wú)標(biāo)定視覺(jué)伺服技術(shù)進(jìn)行注塑件 殘留物的實(shí)時(shí)檢測(cè)、定位和抓取，具有速度快，精度高與重復(fù)性好的優(yōu)點(diǎn)?？梢燥@著提高生 產(chǎn)效率，在無(wú)人值守的情況下仍能保證產(chǎn)品質(zhì)量和機(jī)器的正常運(yùn)轉(zhuǎn)，降低操作者勞動(dòng)強(qiáng)度， 這將是注塑機(jī)模具保護(hù)行業(yè)發(fā)展的必然趨勢(shì)。隨著近年來(lái)多傳感器融合、圖像處理以及計(jì) 算機(jī)控制技術(shù)的迅速發(fā)展，多學(xué)科間的交叉應(yīng)用研宄逐漸深入，視覺(jué)伺服控制技術(shù)在智能 機(jī)器人領(lǐng)域快速發(fā)展，為解決模具保護(hù)這類(lèi)實(shí)際問(wèn)題提供一種切實(shí)可行的方法?；跇?biāo)定 技術(shù)的視覺(jué)伺服控制方法是目前工業(yè)上應(yīng)用的主流方法，然而，注塑機(jī)是一種大功率、強(qiáng)噪 聲并且具有較大振動(dòng)的設(shè)備。因此，攝像機(jī)標(biāo)定的精度在實(shí)際運(yùn)行過(guò)程中難以保證。另外， 模具保護(hù)主要針對(duì)動(dòng)模部分，必須獲取目標(biāo)準(zhǔn)確的深度信息，而完成立體視覺(jué)的標(biāo)定通常 需要雙目視覺(jué)。但由于注塑機(jī)上攝像機(jī)安裝位置的限制，固定的雙目視覺(jué)仍然受機(jī)械手遮 擋的影響，因此本發(fā)明擬采用無(wú)標(biāo)定視覺(jué)伺服技術(shù)開(kāi)展研宄。無(wú)標(biāo)定視覺(jué)伺服方法的提出， 解決了以往攝像機(jī)內(nèi)外參數(shù)及機(jī)器人運(yùn)動(dòng)學(xué)模型無(wú)法精確標(biāo)定的問(wèn)題。根據(jù)攝像機(jī)的配置 不同劃分，當(dāng)前的無(wú)標(biāo)定視覺(jué)伺服研宄主要針對(duì)三種攝像機(jī)配置方式，即固定攝像機(jī)（固 定視覺(jué)），安裝在機(jī)械手上，隨手一起運(yùn)動(dòng)的攝像機(jī)（手眼視覺(jué)）以及兩種類(lèi)型的混合配置。 對(duì)于模具保護(hù)器這種應(yīng)用背景，手眼視覺(jué)和固定視覺(jué)兩種配置方式都存在一定的問(wèn)題。首 先因?yàn)槟繕?biāo)檢測(cè)的需要，固定眼是必備的，但固定眼受限的安裝位置容易導(dǎo)致其被機(jī)械手 遮擋而失去目標(biāo)。另一方面，機(jī)械手在不夾取產(chǎn)品或異物時(shí)，必須離開(kāi)注塑機(jī)腔體，這時(shí)手 上眼由于視野的限制，無(wú)法觀測(cè)到目標(biāo)。為了結(jié)合手眼視覺(jué)和固定視覺(jué)兩種視覺(jué)配置各自 的優(yōu)勢(shì)，本發(fā)明擬采用固定視覺(jué)與手眼視覺(jué)結(jié)合的混合視覺(jué)系統(tǒng)。通過(guò)混合視覺(jué)系統(tǒng)，伺服 系統(tǒng)首先利用固定視覺(jué)攝像機(jī)將機(jī)械臂粗定位到目標(biāo)區(qū)域附近，再通過(guò)手眼視覺(jué)實(shí)現(xiàn)對(duì)手 爪的精確定位并完成抓取任務(wù)。根據(jù)反饋信號(hào)形式的不同，視覺(jué)伺服可分為：基于位置的視 覺(jué)伺服（position-based visual servoing，PBVS)和基于圖像的視覺(jué)伺服（image-based visual servoing，IBVS)。由于一般的PBVS需要標(biāo)定攝像機(jī)的內(nèi)、外部參數(shù)，因此無(wú)標(biāo)定視 覺(jué)伺服控制通常采用IBVS的方案。對(duì)于IBVS方法，圖像空間雖然能保證最短路徑，但是缺 乏笛卡爾空間的直接控制，在處理大范圍旋轉(zhuǎn)伺服的情況時(shí)，會(huì)發(fā)生諸如攝像機(jī)退化的笛 卡爾軌跡偏移現(xiàn)象。為了消除攝像機(jī)回退的影響，必須要保證圖像雅可比矩陣的非奇異性。 目前解決圖像雅可比奇異值問(wèn)題的最常見(jiàn)的辦法是雅可比偽逆陣的直接估計(jì)法，因此圖像 雅可比矩陣的估計(jì)是無(wú)標(biāo)定視覺(jué)伺服控制中最重要的問(wèn)題之一。為了保證雅可比矩陣的穩(wěn) 定性，特征點(diǎn)的選擇非常重要，圖像特征點(diǎn)的選擇不僅要滿(mǎn)足魯棒性、完整性和唯一性等圖 像識(shí)別方面的基本準(zhǔn)則，還需要滿(mǎn)足可控性和敏感性等控制準(zhǔn)則，以滿(mǎn)足后續(xù)視覺(jué)伺服環(huán) 節(jié)的需要。更重要的是，注塑機(jī)所在的工業(yè)現(xiàn)場(chǎng)環(huán)境一般都較為惡劣，對(duì)生產(chǎn)效率又有嚴(yán)格 的要求，用于抓取目標(biāo)的機(jī)械臂具有很強(qiáng)的非線性動(dòng)力學(xué)特征，同時(shí)需要抓取的對(duì)象形式 多樣。本項(xiàng)目綜合以上問(wèn)題，采用無(wú)標(biāo)定視覺(jué)伺服技術(shù)，對(duì)模具保護(hù)器報(bào)警后模具內(nèi)殘留物 的跟蹤和抓取控制展開(kāi)研宄，主要就圖像雅可比矩陣估計(jì)，提出先進(jìn)的控制算法和完整的 設(shè)計(jì)實(shí)現(xiàn)。該發(fā)明將進(jìn)一步豐富無(wú)標(biāo)定視覺(jué)伺服的研宄成果，推動(dòng)視覺(jué)伺服技術(shù)的實(shí)際應(yīng) 用，為該領(lǐng)域的廣泛應(yīng)用提供一個(gè)解決方案。

【發(fā)明內(nèi)容】

[0003] 為了保證在無(wú)人值守的情況下仍能保證產(chǎn)品質(zhì)量和機(jī)器的正常運(yùn)轉(zhuǎn)，降低操作者 勞動(dòng)強(qiáng)度，本發(fā)明提供一種與回聲狀態(tài)網(wǎng)絡(luò)（ESN)結(jié)合的基于運(yùn)動(dòng)學(xué)的自適應(yīng)無(wú)標(biāo)定視覺(jué) 伺服控制方法，主要是估計(jì)圖像雅克比逆矩陣。
[0004] 本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：
[0005] 一種面向模具保護(hù)的基于回聲狀態(tài)網(wǎng)絡(luò)估計(jì)圖像雅克比矩陣的無(wú)標(biāo)定視覺(jué)伺服 控制方法，所述方法包括以下步驟：
[0006] 1)、建立模具的圖像索引區(qū)域及目標(biāo)圖像樣本庫(kù)；
[0007] 2)、特征提取及降維；
[0008] 3)、采用多項(xiàng)式插值的方法進(jìn)行空間約束條件下的逆運(yùn)動(dòng)學(xué)規(guī)劃；
[0009] 4)、實(shí)現(xiàn)基于回聲狀態(tài)網(wǎng)絡(luò)估計(jì)雅克比偽逆矩陣，包含以下步驟：
[0010] Step4. 1 :讓機(jī)械手在起始位置做小幅度隨機(jī)運(yùn)動(dòng)，機(jī)械手?jǐn)[動(dòng)角度不超過(guò)30度， 記錄連續(xù)η個(gè)周期的k維圖像特征差分矢量（Clf1, df2,…dfk)，和m維機(jī)械手末端位置差分 矢量（dri，Clr 2，…drm)，圖像差分矢量指前后兩個(gè)采樣點(diǎn)的圖像灰度值之差，機(jī)械手末端位 置差分矢量指前后兩個(gè)采樣點(diǎn)機(jī)械手末端位置的之差，則得到圖像特征差分矢量矩陣和末 端位置差分矢量矩陣，兩者通過(guò)反除法得出圖像雅可比逆矩陣的起始位置估計(jì)值Λ4;
[0011] Step4. 2 :通過(guò)規(guī)劃關(guān)節(jié)空間的軌跡來(lái)控制機(jī)械臂的運(yùn)動(dòng)，離線訓(xùn)練中Θ d的軌跡 根據(jù)實(shí)際需要給出，盡量覆蓋機(jī)械臂在抓取過(guò)程中可能移動(dòng)到的工作空間。記錄100對(duì)以 上的k維圖像特征差分矢量（dfp df2,…dfk)和m維機(jī)械手末端位置差分矢量（Clr1, Clr2，… drj數(shù)據(jù)對(duì)。
[0012] Step4. 3 :將數(shù)據(jù)劃分為訓(xùn)練樣本和測(cè)試樣本，k維圖像特征差分矢量（Clf1, df2，… dfk)和初始雅可比逆矩陣Λ1的輸出作為回聲狀態(tài)網(wǎng)絡(luò)的輸入，m維機(jī)械手末端位置差分矢 量（(Irudr2，…drm)作為回聲狀態(tài)網(wǎng)絡(luò)的輸出。
[0013] 進(jìn)一步，所述步驟1)中，通過(guò)固定視覺(jué)引導(dǎo)機(jī)械手到達(dá)抓取目標(biāo)區(qū)域，因此在離 線狀態(tài)下，讓機(jī)械手運(yùn)動(dòng)到各個(gè)索引區(qū)域上方，保證目標(biāo)出現(xiàn)在手眼視覺(jué)范圍內(nèi)，然后通過(guò) 固定視覺(jué)采集對(duì)應(yīng)的圖像存為目標(biāo)圖像樣本。
[0014] 再進(jìn)一步，所述步驟1)中，通過(guò)手眼視覺(jué)引導(dǎo)機(jī)械手靠近并對(duì)準(zhǔn)目標(biāo)，實(shí)現(xiàn)抓取 在某一有產(chǎn)品的區(qū)域上，讓機(jī)械手?？吭诋a(chǎn)品正上方，即可抓取到目標(biāo)的地方，通過(guò)手眼視 覺(jué)采集對(duì)應(yīng)的圖像存為目標(biāo)圖像樣本。
[0015] 更進(jìn)一步，所述步驟3)中，多項(xiàng)式插值的方法包括以下步驟：
[0016] Step3. 1 :通過(guò)機(jī)械臂的逆運(yùn)動(dòng)學(xué)模型得到逆運(yùn)動(dòng)學(xué)等式；
[0017] Step3. 2 :根據(jù)逆運(yùn)動(dòng)學(xué)等式構(gòu)造基礎(chǔ)方程；
[0018] Step3. 3 :通過(guò)矢量運(yùn)算和符號(hào)運(yùn)算對(duì)方程降階；
[0019] Step3. 4 :根據(jù)實(shí)際工作情況確定插值的樣條曲線，將約束條件和起始位置代入并 計(jì)算得到曲線參數(shù)；
[0020] St印3. 5 :若存在多重解，則用歐氏距離作為比較準(zhǔn)則，選擇與當(dāng)前位置最接近的 一組解。
[0021] 本發(fā)明的有益效果為：（1)、針對(duì)固定視覺(jué)和手眼視覺(jué)引導(dǎo)的不同階段，分別設(shè)計(jì) 無(wú)標(biāo)定視覺(jué)伺服控制算法。針對(duì)固定視覺(jué)引導(dǎo)過(guò)程中運(yùn)動(dòng)范圍大、采用樣條曲線對(duì)逆運(yùn)動(dòng) 學(xué)進(jìn)行插值規(guī)劃，并機(jī)械臂逆運(yùn)動(dòng)學(xué)規(guī)劃與ESN網(wǎng)絡(luò)結(jié)合來(lái)構(gòu)建運(yùn)動(dòng)學(xué)視覺(jué)伺服控制器， 可以解決圖像雅可比奇異值問(wèn)題，關(guān)節(jié)角多解問(wèn)題，既避免了與環(huán)境的碰撞，還可以保證運(yùn) 動(dòng)軌跡的平滑性；（2)、提出將ESN網(wǎng)絡(luò)用于雅可比逆矩陣的在線辨識(shí)和控制，可以有效解 決傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)存在局部極小的問(wèn)題，利用ESN網(wǎng)絡(luò)在權(quán)值不變情況下的自適應(yīng)性和計(jì) 算的高效率特點(diǎn)，解決一般動(dòng)態(tài)網(wǎng)絡(luò)在線計(jì)算網(wǎng)絡(luò)輸出權(quán)值，實(shí)時(shí)性不好的問(wèn)題。
【附圖說(shuō)明】
[0022] 圖1是面向模具保護(hù)的無(wú)標(biāo)定視覺(jué)伺服控制方法總體方案
[0023] 圖2是回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)
[0024] 圖3是ESN網(wǎng)絡(luò)離線訓(xùn)練框圖
[0025] 圖4是基于ESN在線估計(jì)的無(wú)標(biāo)定視覺(jué)伺服控制框圖（固定視覺(jué)）
[0026] 圖5是基于ESN在線估計(jì)的無(wú)標(biāo)定視覺(jué)伺服控制框圖（手眼視覺(jué)）
【具體實(shí)施方式】
[0027] 下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。
[0028] 參照?qǐng)D1~圖5, 一種面向模具保護(hù)的基于回聲狀態(tài)網(wǎng)絡(luò)估計(jì)圖像雅克比矩陣的 無(wú)標(biāo)定視覺(jué)伺服控制方法，包括以下步驟：
[0029] 1)、建立圖像索引區(qū)域及目標(biāo)圖像樣本庫(kù)。建立圖像索引區(qū)域及目標(biāo)圖像樣本庫(kù) 第一階段的任務(wù)就是通過(guò)固定視覺(jué)引導(dǎo)機(jī)械手到達(dá)抓取目標(biāo)區(qū)域，因此可在離線狀態(tài)下， 讓機(jī)械手運(yùn)動(dòng)到各個(gè)索引區(qū)域上方，不需要精確對(duì)準(zhǔn)，只要保證目標(biāo)可出現(xiàn)在手眼視覺(jué)范 圍內(nèi)即可，然后通過(guò)固定視覺(jué)采集對(duì)應(yīng)的圖像存為目標(biāo)圖像樣本。第二階段的任務(wù)是通過(guò) 手眼視覺(jué)引導(dǎo)機(jī)械手靠近并對(duì)準(zhǔn)目標(biāo)，實(shí)現(xiàn)抓取在某一有產(chǎn)品的區(qū)域上，讓機(jī)械手?？吭?產(chǎn)品正上方（可抓取到目標(biāo)的地方），通過(guò)手眼視覺(jué)采集對(duì)應(yīng)的圖像存為目標(biāo)圖像樣本。
[0030] 2)、特征提取及降維方法。系統(tǒng)報(bào)警后，通過(guò)固定視覺(jué)檢測(cè)到目標(biāo)區(qū)域索引后，就 開(kāi)始了第一階段固定視覺(jué)引導(dǎo)機(jī)械手到達(dá)索引目標(biāo)區(qū)域的過(guò)程，為了