本發(fā)明涉及機(jī)械臂路徑規(guī)劃，具體為基于視覺(jué)的物品分揀機(jī)械臂路徑規(guī)劃方法及系統(tǒng)。

背景技術(shù)：

1、機(jī)械臂路徑規(guī)劃是指在機(jī)器人操作中，利用正逆運(yùn)動(dòng)學(xué)原理及采樣規(guī)劃算法，對(duì)機(jī)械臂的運(yùn)動(dòng)軌跡進(jìn)行規(guī)劃與優(yōu)化的過(guò)程。這一過(guò)程旨在確保機(jī)械臂在運(yùn)動(dòng)過(guò)程中能夠避開(kāi)障礙物、保證速度與精度，從而順利到達(dá)指定位置并完成任務(wù)。路徑規(guī)劃在機(jī)械臂的操作中起著至關(guān)重要的作用，它廣泛應(yīng)用于工業(yè)、醫(yī)療、服務(wù)等眾多領(lǐng)域，提高了生產(chǎn)效率，降低了手術(shù)風(fēng)險(xiǎn)，同時(shí)也提升了人們的生活質(zhì)量。

2、在申請(qǐng)公布號(hào)為cn117506909a的中國(guó)發(fā)明專利中，公開(kāi)了基于改進(jìn)蟻群算法的物料分揀機(jī)械臂路徑規(guī)劃方法及系統(tǒng)，包括構(gòu)建機(jī)械臂的三維空間平面，采用等分空間法從三維空間抽取三維路徑所需的柵格點(diǎn)；對(duì)環(huán)境中的威脅和地形障礙進(jìn)行建模；構(gòu)建機(jī)械臂運(yùn)行過(guò)程中的目標(biāo)函數(shù)；構(gòu)建預(yù)備檢查點(diǎn)集合，并計(jì)算切面數(shù)量；根據(jù)機(jī)械臂軌跡路徑的起始點(diǎn)和終點(diǎn)得到機(jī)械臂理論最短路徑；以y軸和z軸組成的切面，對(duì)理論最短路徑與切面的交點(diǎn)進(jìn)行取整，并以取整后的交點(diǎn)為中心構(gòu)建若干矩形平面，在每個(gè)矩形范圍內(nèi)均勻選取若干個(gè)預(yù)備檢查點(diǎn)；構(gòu)建改進(jìn)螞蟻算法，對(duì)機(jī)械臂軌跡路徑進(jìn)行尋優(yōu)。本發(fā)明解決現(xiàn)有方法中機(jī)械臂的運(yùn)行軌跡較長(zhǎng)，路徑尋優(yōu)性能不佳的問(wèn)題。

3、在由分揀機(jī)器人的機(jī)械臂對(duì)分揀傳送帶上的物品進(jìn)行抓取時(shí)，抓取效率及抓取的準(zhǔn)確性是兩個(gè)重要的反饋指標(biāo)，現(xiàn)有的物品分揀機(jī)器人主要借助于采集分揀區(qū)域內(nèi)的圖像數(shù)據(jù)，通過(guò)對(duì)圖像進(jìn)行檢測(cè)識(shí)別和分割，確定待分揀品的位置、種類等信息后，配合由光電傳感器、距離傳感器等構(gòu)建的傳感器網(wǎng)絡(luò)采集距離數(shù)據(jù)等相關(guān)數(shù)據(jù)后，以此作為反饋，輔助分揀機(jī)器人進(jìn)行分揀及抓取決策，完成對(duì)物品的抓取及分揀。

4、但這種基于視覺(jué)的分揀方法中，在分揀前為機(jī)械臂進(jìn)行抓取路徑規(guī)劃時(shí)，對(duì)分揀區(qū)域內(nèi)的光線條件及后續(xù)的圖像成像質(zhì)量要求較高，因此，在分揀區(qū)域內(nèi)的光線條件較差時(shí)，特別是，傳送帶的速度較快，物品在高速運(yùn)動(dòng)中位置變化快的這一抓取場(chǎng)景下，機(jī)械臂的抓取難度會(huì)進(jìn)一步地增加，若不能及時(shí)調(diào)整機(jī)械臂的抓取路徑，機(jī)器人的抓取效率會(huì)受到較大程度的影響。

5、為此，本發(fā)明提供了基于視覺(jué)的物品分揀機(jī)械臂路徑規(guī)劃方法及系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、（一）解決的技術(shù)問(wèn)題

2、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了基于視覺(jué)的物品分揀機(jī)械臂路徑規(guī)劃方法及系統(tǒng)，通過(guò)對(duì)光源自動(dòng)控制后采集分揀區(qū)域內(nèi)的圖像數(shù)據(jù)，將檢測(cè)的物品區(qū)分為障礙物和待分揀品，在分揀區(qū)域的實(shí)時(shí)環(huán)境地圖上標(biāo)記，在規(guī)劃獲取抓取路徑后，使分揀機(jī)器人的機(jī)械臂依據(jù)目標(biāo)路徑對(duì)待分揀品進(jìn)行抓取，以抓取場(chǎng)景數(shù)據(jù)作為反饋，對(duì)分揀機(jī)器人機(jī)械臂的運(yùn)動(dòng)速度及抓取路徑進(jìn)行優(yōu)化；由抓取反饋數(shù)據(jù)構(gòu)建抓取反饋值及反饋閾值，依據(jù)抓取反饋值與反饋閾值間的關(guān)系采取相應(yīng)的分揀處理策略。提高實(shí)際抓取過(guò)程中的效率，減少無(wú)效抓取或低效率抓取，從而解決了背景技術(shù)中記載的技術(shù)問(wèn)題。

3、（二）技術(shù)方案

4、為實(shí)現(xiàn)以上目的，本發(fā)明通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)：

5、基于視覺(jué)的物品分揀機(jī)械臂路徑規(guī)劃方法，包括，

6、分析抓取區(qū)域內(nèi)的抓取場(chǎng)景后，由抓取場(chǎng)景數(shù)據(jù)生成場(chǎng)景復(fù)雜度，若場(chǎng)景復(fù)雜度超過(guò)預(yù)期，在分揀區(qū)域內(nèi)均勻布置若干個(gè)光源；

7、對(duì)光源自動(dòng)控制后采集分揀區(qū)域內(nèi)的圖像數(shù)據(jù)，在其中篩選出目標(biāo)圖像后，通過(guò)圖像檢測(cè)識(shí)別對(duì)傳送帶上各個(gè)物品進(jìn)行區(qū)分；

8、將檢測(cè)的物品區(qū)分為障礙物和待分揀品，在分揀區(qū)域的實(shí)時(shí)環(huán)境地圖上標(biāo)記，更新物品的運(yùn)動(dòng)軌跡和速度信息并對(duì)其速度及位置進(jìn)行預(yù)測(cè)；

9、在規(guī)劃獲取抓取路徑后，使分揀機(jī)器人的機(jī)械臂依據(jù)目標(biāo)路徑對(duì)待分揀品進(jìn)行抓取，并以采集的抓取場(chǎng)景數(shù)據(jù)作為反饋，對(duì)分揀機(jī)器人機(jī)械臂的運(yùn)動(dòng)速度及抓取路徑進(jìn)行優(yōu)化；

10、采集抓取過(guò)程中的抓取反饋數(shù)據(jù)后，由抓取反饋數(shù)據(jù)構(gòu)建抓取反饋值及反饋閾值，依據(jù)抓取反饋值與反饋閾值間的關(guān)系采取相應(yīng)的分揀處理策略。

11、進(jìn)一步的，分析分揀區(qū)域內(nèi)當(dāng)前分揀周期的抓取場(chǎng)景，其中，記錄物品位置變化速度、傳送帶上的物品密度、分揀區(qū)域內(nèi)的光線環(huán)境變化數(shù)據(jù)，匯總生成抓取場(chǎng)景數(shù)據(jù)集合；由抓取場(chǎng)景數(shù)據(jù)集合生成場(chǎng)景復(fù)雜度的方式如下：

12、；

13、式中：為時(shí)間時(shí)的特征向量，，包含物品速度、密度及光線條件，為特征向量的權(quán)重矩陣；及為權(quán)重系數(shù)，取值在0到1之間，兩者之和為1；為常數(shù)項(xiàng)的偏置向量；為卷積操作的權(quán)重矩陣，，為卷積運(yùn)算。

14、進(jìn)一步的，以實(shí)時(shí)光線條件數(shù)據(jù)作為輸入，使用訓(xùn)練后的光線自動(dòng)控制模型對(duì)led光源的光線方向及強(qiáng)度進(jìn)行自動(dòng)控制；由圖像采集裝置對(duì)分揀區(qū)域進(jìn)行實(shí)時(shí)圖像數(shù)據(jù)采集，并在同一時(shí)間區(qū)間內(nèi)獲取多個(gè)相同的分揀圖像數(shù)據(jù)；

15、以獲取的分揀圖像數(shù)據(jù)作為輸入，使用訓(xùn)練后圖像質(zhì)量評(píng)價(jià)模型對(duì)其進(jìn)行圖像質(zhì)量評(píng)價(jià)，依據(jù)評(píng)價(jià)結(jié)果選出高質(zhì)量分揀圖像后作為目標(biāo)圖像。

16、進(jìn)一步的，依據(jù)圖像質(zhì)量評(píng)價(jià)結(jié)果對(duì)光線條件的調(diào)節(jié)頻率進(jìn)行約束，約束方式如下：

17、；

18、其中， n為圖像個(gè)數(shù)，是第 i個(gè)圖像質(zhì)量分與第 j個(gè)圖像質(zhì)量分的差值，為差值的平均值，為調(diào)節(jié)頻率；權(quán)重系數(shù)：，，且。

19、進(jìn)一步的，以目標(biāo)圖像作為輸入，使用預(yù)訓(xùn)練的yolov4算法對(duì)目標(biāo)圖像進(jìn)行物品檢測(cè)，框出每個(gè)物品的位置；

20、使用深度相機(jī)獲取物品的3d深度數(shù)據(jù)，將深度相機(jī)與普通攝像頭的圖像進(jìn)行對(duì)齊和融合后形成rgb-d圖像，并在經(jīng)過(guò)預(yù)處理后基于深度值的變化，利用聚類算法對(duì)深度圖中的物品區(qū)域進(jìn)行分割，實(shí)現(xiàn)傳送帶上各個(gè)物品的區(qū)分。

21、進(jìn)一步的，將獲取的圖像數(shù)據(jù)的測(cè)繪數(shù)據(jù)進(jìn)行融合，由融合后數(shù)據(jù)構(gòu)建覆蓋分揀區(qū)域的實(shí)時(shí)環(huán)境地圖，將各個(gè)物品在實(shí)時(shí)環(huán)境地圖上標(biāo)記；將高質(zhì)量圖依據(jù)時(shí)間戳連續(xù)排列后獲取連續(xù)圖像幀，對(duì)圖像內(nèi)的物品進(jìn)行檢測(cè)后，使用光流法進(jìn)行物品移動(dòng)方向和速度估計(jì)并獲取實(shí)時(shí)估計(jì)數(shù)據(jù)。

22、進(jìn)一步的，依據(jù)實(shí)時(shí)估計(jì)數(shù)據(jù)，在實(shí)時(shí)環(huán)境地圖上更新物品的運(yùn)動(dòng)軌跡和速度信息；

23、若當(dāng)前物品為待分揀品，則將剩余物品作障礙物，依據(jù)運(yùn)動(dòng)軌跡和速度信息，由長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)對(duì)待分揀品和障礙物分別進(jìn)行位置預(yù)測(cè)，并將獲取的位置預(yù)測(cè)數(shù)據(jù)在實(shí)時(shí)環(huán)境地圖上標(biāo)記和更新。

24、進(jìn)一步的，依據(jù)障礙物和待分揀物品的位置數(shù)據(jù)、移動(dòng)速度數(shù)據(jù)，使用預(yù)訓(xùn)練的路徑規(guī)劃算法規(guī)劃?rùn)C(jī)器人機(jī)械臂對(duì)待分揀品的抓取路徑；

25、由機(jī)器人的規(guī)格性能數(shù)據(jù)、傳送帶運(yùn)行數(shù)據(jù)及光線條件數(shù)據(jù)等構(gòu)建機(jī)器人分揀數(shù)字孿生模型，由機(jī)器人分揀數(shù)字孿生模型驗(yàn)證抓取路徑，若分揀機(jī)器人在預(yù)計(jì)時(shí)間內(nèi)完成分揀，則將其作為目標(biāo)路徑，若相反，則對(duì)其進(jìn)行優(yōu)化。

26、進(jìn)一步的，使分揀機(jī)器人機(jī)械臂依據(jù)目標(biāo)路徑對(duì)物品進(jìn)行抓取，由傳感器網(wǎng)絡(luò)和圖像采集裝置實(shí)時(shí)監(jiān)控分揀過(guò)程，獲取相應(yīng)分揀機(jī)器人的機(jī)器臂移動(dòng)、抓取和投放狀態(tài)數(shù)據(jù)，匯總后生成抓取場(chǎng)景數(shù)據(jù)集合。

27、進(jìn)一步的，分析當(dāng)前抓取場(chǎng)景和預(yù)期抓取場(chǎng)景間的相似度，若相似度低于預(yù)期，采集物品的位置及速度數(shù)據(jù)、物品的規(guī)格屬性數(shù)據(jù)，以其作為反饋數(shù)據(jù)，以提高分揀效率作為優(yōu)化目標(biāo)，由預(yù)訓(xùn)練的遺傳算法對(duì)機(jī)械臂的運(yùn)動(dòng)速度及抓取路徑進(jìn)行優(yōu)化。

28、進(jìn)一步的，在當(dāng)前分揀周期結(jié)束后，采集抓取過(guò)程中的抓取反饋數(shù)據(jù)，由分揀反饋數(shù)據(jù)構(gòu)建抓取反饋值，方式如下：

29、；

30、式中：為分揀周期的長(zhǎng)度，為時(shí)刻的抓取速度，為時(shí)刻的抓取正確率，為時(shí)刻的抓取錯(cuò)誤率，、及為權(quán)重系數(shù)，取值落入0至1之間，，取值落入0至1之間。

31、進(jìn)一步的，若抓取反饋值超出反饋閾值，不再繼續(xù)做出處理；

32、若抓取反饋值在反饋閾值之內(nèi)，以提供抓取反饋值作為優(yōu)化目標(biāo)，使用預(yù)訓(xùn)練的遺傳算法對(duì)傳送帶的傳送速度進(jìn)行優(yōu)化；

33、若抓取反饋值低于反饋閾值，在當(dāng)前的抓取場(chǎng)景條件下，增加分揀機(jī)器人的啟用數(shù)量，并使用協(xié)同規(guī)劃算法進(jìn)行任務(wù)分配和路徑協(xié)調(diào)。

34、基于視覺(jué)的物品分揀機(jī)械臂路徑規(guī)劃系統(tǒng)，包括，場(chǎng)景分析單元，分析抓取區(qū)域內(nèi)的抓取場(chǎng)景后，由抓取場(chǎng)景數(shù)據(jù)生成場(chǎng)景復(fù)雜度，若場(chǎng)景復(fù)雜度超過(guò)預(yù)期，在分揀區(qū)域內(nèi)均勻布置若干個(gè)光源；

35、圖像檢測(cè)單元，對(duì)光源自動(dòng)控制后采集分揀區(qū)域內(nèi)的圖像數(shù)據(jù)，在其中篩選出目標(biāo)圖像后，通過(guò)圖像檢測(cè)識(shí)別對(duì)傳送帶上各個(gè)物品進(jìn)行區(qū)分；

36、位置預(yù)測(cè)單元，將檢測(cè)的物品區(qū)分為障礙物和待分揀品，在分揀區(qū)域的實(shí)時(shí)環(huán)境地圖上標(biāo)記，更新物品的運(yùn)動(dòng)軌跡和速度信息并對(duì)其速度及位置進(jìn)行預(yù)測(cè)；

37、路徑規(guī)劃單元，在規(guī)劃獲取抓取路徑后，使分揀機(jī)器人的機(jī)械臂依據(jù)目標(biāo)路徑對(duì)待分揀品進(jìn)行抓取，并以采集的抓取場(chǎng)景數(shù)據(jù)作為反饋，對(duì)分揀機(jī)器人機(jī)械臂的運(yùn)動(dòng)速度及抓取路徑進(jìn)行優(yōu)化；

38、反饋優(yōu)化單元，采集抓取過(guò)程中的抓取反饋數(shù)據(jù)后，由抓取反饋數(shù)據(jù)構(gòu)建抓取反饋值及反饋閾值，依據(jù)抓取反饋值與反饋閾值間的關(guān)系采取相應(yīng)的分揀處理策略。

39、（三）有益效果

40、本發(fā)明提供了基于視覺(jué)的物品分揀機(jī)械臂路徑規(guī)劃方法及系統(tǒng)，具備以下有益效果：

41、1、由采集記錄的數(shù)據(jù)構(gòu)建當(dāng)前抓取場(chǎng)景的復(fù)雜度，對(duì)分揀機(jī)器人的當(dāng)前的分揀難度進(jìn)行分析和判斷，通過(guò)安裝的光源對(duì)分揀區(qū)域內(nèi)的光線條件進(jìn)行實(shí)時(shí)控制和調(diào)節(jié)，通過(guò)改善光條件，在由機(jī)器視覺(jué)對(duì)物品進(jìn)行識(shí)別時(shí)可以對(duì)識(shí)別的準(zhǔn)確性。

42、2、通過(guò)依據(jù)當(dāng)前階段內(nèi)的圖像質(zhì)量對(duì)光線條件的調(diào)節(jié)頻率進(jìn)行約束，使調(diào)節(jié)頻率和實(shí)際的圖像質(zhì)量相適應(yīng)，避免過(guò)度調(diào)節(jié)優(yōu)化當(dāng)前抓取場(chǎng)景的影響過(guò)大，對(duì)當(dāng)前的抓取狀態(tài)帶來(lái)干擾，對(duì)當(dāng)前的分揀圖像進(jìn)行篩選后，可以提高接下來(lái)的路徑規(guī)劃及抓取效果；通過(guò)對(duì)待抓取的物品進(jìn)行檢測(cè)和分割區(qū)分，可以避免分揀時(shí)導(dǎo)致分布錯(cuò)誤，提高分布效率。

43、3、通過(guò)對(duì)物品的移動(dòng)速度及移動(dòng)方向進(jìn)行估計(jì)，在抓取時(shí)提前進(jìn)行處理，提高抓取的準(zhǔn)確性和效率性；通過(guò)機(jī)器人分揀數(shù)字孿生模型驗(yàn)證抓取路徑的可行性，可以提高實(shí)際抓取過(guò)程中的效率，避免由于多次的無(wú)效抓取或低效率抓取，以影響分揀機(jī)器人整體的抓取效率。

44、4、在采集反饋數(shù)據(jù)的基礎(chǔ)上對(duì)機(jī)械臂的運(yùn)動(dòng)速度及抓取路徑進(jìn)行優(yōu)化，提高當(dāng)前階段的分揀效率；由采集的反饋數(shù)據(jù)構(gòu)建抓取反饋值，可以對(duì)當(dāng)前的機(jī)械臂的抓取效果是否得到改進(jìn)進(jìn)行判斷，可以為后續(xù)的分揀過(guò)程采取針對(duì)性處理措施，在當(dāng)前的物品分揀效果不佳時(shí)，及時(shí)進(jìn)行處理。

45、5、通過(guò)對(duì)傳送帶的速度進(jìn)行優(yōu)化和調(diào)整，使待分揀物品的移動(dòng)速度相適應(yīng)，通過(guò)降低待分揀物品的移動(dòng)速度，降低后續(xù)機(jī)械臂的抓取壓力，可以提高分揀及抓取的準(zhǔn)確性，額外引入新的分揀機(jī)器人，通過(guò)對(duì)分揀機(jī)器人之間進(jìn)行協(xié)調(diào)，確保當(dāng)前的分揀任務(wù)可以有效完成。