本發(fā)明涉及機(jī)器人控制領(lǐng)域，具體涉及一種機(jī)器人分揀商品的運(yùn)動(dòng)規(guī)劃與控制方法及系統(tǒng)。

背景技術(shù)：

1、隨著科技的飛速發(fā)展，機(jī)器人技術(shù)已經(jīng)深入到各個(gè)行業(yè)。機(jī)器人分揀系統(tǒng)通常由機(jī)器人本體、傳感器、控制系統(tǒng)和計(jì)算機(jī)視覺等技術(shù)組成。在分揀過(guò)程中，機(jī)器人通過(guò)傳感器獲取貨物信息，利用計(jì)算機(jī)視覺技術(shù)識(shí)別貨物種類和位置，然后通過(guò)控制系統(tǒng)驅(qū)動(dòng)機(jī)器人本體進(jìn)行精準(zhǔn)抓取和分揀。整個(gè)過(guò)程實(shí)現(xiàn)了高度自動(dòng)化和智能化，大大提高了分揀效率和準(zhǔn)確性。

2、在現(xiàn)有技術(shù)中，機(jī)器人對(duì)商品抓取過(guò)程中一般采用yo?l?ov8和densefus?i?on進(jìn)行運(yùn)動(dòng)規(guī)劃與控制。yo?l?ov8的主要作用是對(duì)商品進(jìn)行準(zhǔn)確識(shí)別，幫助機(jī)器人準(zhǔn)確的識(shí)別各種不一樣的商品類別。densefus?ion的主要作用是進(jìn)行物體的6d姿態(tài)估計(jì)(6d?pose?estimat?ion)，幫助機(jī)器人準(zhǔn)確地定位和抓取物體。

3、然而，現(xiàn)有的yo?l?ov8和densefus?ion的結(jié)合方法對(duì)機(jī)器人的運(yùn)動(dòng)規(guī)劃與控制，在檢測(cè)出目標(biāo)位姿后將目標(biāo)信息與已知三維模型的對(duì)象進(jìn)行匹配，通過(guò)匹配得到抓取位姿，但實(shí)際場(chǎng)景中的目標(biāo)物體復(fù)雜多變，并且機(jī)器人搭載的相機(jī)通常只能獲得單一視圖的目標(biāo)信息，這導(dǎo)致匹配的成功率并不高，且軌跡規(guī)劃算法易陷入局部最優(yōu)化，因此無(wú)法實(shí)現(xiàn)目標(biāo)物體的準(zhǔn)確快速抓取。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種機(jī)器人分揀商品的運(yùn)動(dòng)規(guī)劃與控制方法及系統(tǒng)，以解決上述至少一個(gè)技術(shù)問(wèn)題。

2、本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下：一種機(jī)器人分揀商品的運(yùn)動(dòng)規(guī)劃與控制方法，包括：

3、s1，利用單目相機(jī)拍攝分揀區(qū)域中的待分揀商品，得到待分揀圖像；

4、s2，基于立體網(wǎng)格對(duì)所述待分揀圖像進(jìn)行映射，得到所述立體網(wǎng)格中各網(wǎng)格點(diǎn)初始特征；

5、s3，基于特征校正方法以及體渲染方法，根據(jù)所述立體網(wǎng)格中各網(wǎng)格點(diǎn)初始特征，計(jì)算出相機(jī)深度圖；

6、s4，根據(jù)機(jī)械臂末端的靈巧手的當(dāng)前位置信息與所述單目相機(jī)的位置信息對(duì)所述相機(jī)深度圖進(jìn)行校正，得到校正深度圖；

7、s5，采用自適應(yīng)技術(shù)，通過(guò)引入改進(jìn)的勢(shì)場(chǎng)因子和虛擬障礙物對(duì)鯨魚優(yōu)化算法進(jìn)行改進(jìn)，得到改進(jìn)的鯨魚優(yōu)化算法；

8、s6,利用位姿估計(jì)方法從所述待分揀圖像中計(jì)算出待分揀商品的位姿信息；基于改進(jìn)的鯨魚優(yōu)化算法，根據(jù)所述校正深度圖和所述位姿信息規(guī)劃出機(jī)械臂的運(yùn)動(dòng)軌跡以及靈巧手的抓取姿態(tài)，以控制機(jī)械臂末端的靈巧手對(duì)分揀區(qū)域中的待分揀商品進(jìn)行分揀。

9、在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。

10、進(jìn)一步，所述s2具體為：

11、s21，對(duì)所述待分揀圖像進(jìn)行特征提取，得到二維特征圖；

12、s22，利用所述單目相機(jī)的內(nèi)外參數(shù)，將立體網(wǎng)格中各網(wǎng)格點(diǎn)投影到所述二維特征圖中，得到所述立體網(wǎng)格中各網(wǎng)格點(diǎn)初始特征。

13、進(jìn)一步，在所述s21中，具體利用cnn卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述待分揀圖像進(jìn)行特征提取。

14、進(jìn)一步，所述s3具體為：

15、s31，將所述立體網(wǎng)格中各網(wǎng)格點(diǎn)初始特征輸入至占用概率預(yù)測(cè)模型中，得到所述立體網(wǎng)格中各網(wǎng)格點(diǎn)的初始占用概率；

16、s32，根據(jù)所述立體網(wǎng)格中各網(wǎng)格點(diǎn)的初始占用概率計(jì)算出所述立體網(wǎng)格中各網(wǎng)格點(diǎn)初始特征的校正參數(shù)；

17、s33，基于所述立體網(wǎng)格中各網(wǎng)格點(diǎn)初始特征的校正參數(shù)校正所述立體網(wǎng)格中各網(wǎng)格點(diǎn)初始特征，得到所述立體網(wǎng)格中各網(wǎng)格點(diǎn)校正特征；

18、s34，根據(jù)所述立體網(wǎng)格中各網(wǎng)格點(diǎn)校正特征判斷是否繼續(xù)進(jìn)行校正流程；若是，執(zhí)行s35；若否，則執(zhí)行s36；

19、s35，將所述立體網(wǎng)格中各網(wǎng)格點(diǎn)校正特征作為所述立體網(wǎng)格中各網(wǎng)格點(diǎn)初始特征并返回s31循環(huán)迭代執(zhí)行，直至所述立體網(wǎng)格中各網(wǎng)格點(diǎn)校正特征滿足預(yù)設(shè)條件；

20、s36，將所述立體網(wǎng)格中各網(wǎng)格點(diǎn)校正特征輸入至所述占用概率預(yù)測(cè)模型中，得到所述立體網(wǎng)格中各網(wǎng)格點(diǎn)的占用概率；

21、基于體渲染方法，根據(jù)所述立體網(wǎng)格中各網(wǎng)格點(diǎn)的占用概率對(duì)所述待分揀圖像進(jìn)行渲染，得到相機(jī)深度圖。

22、進(jìn)一步，在所述s31中，所述占用概率預(yù)測(cè)模型具體為occupancy模型。

23、進(jìn)一步，在所述s32中，所述細(xì)化度的計(jì)算公式為：

24、

25、其中，ti表示所述立體網(wǎng)格中第i個(gè)網(wǎng)格點(diǎn)的初始占用概率，δ表示預(yù)設(shè)細(xì)化參數(shù)，p表示所述細(xì)化度。

26、進(jìn)一步，所述s33具體為：

27、構(gòu)建特征插值模型，并根據(jù)所述立體網(wǎng)格中各網(wǎng)格點(diǎn)初始特征的校正參數(shù)調(diào)整所述特征插值模型的模型參數(shù)；

28、將所述立體網(wǎng)格中各網(wǎng)格點(diǎn)校正特征代入到模型參數(shù)調(diào)整后的特征插值模型中,以輸出特征函數(shù)；

29、將所述立體網(wǎng)格中各網(wǎng)格點(diǎn)的坐標(biāo)代入所述特征函數(shù)中，得到所述立體網(wǎng)格中各網(wǎng)格點(diǎn)校正特征。

30、進(jìn)一步，所述s34具體為：

31、計(jì)算所述立體網(wǎng)格中所有網(wǎng)格點(diǎn)校正特征的平均值，得到平均校正特征；

32、將所述立體網(wǎng)格中各網(wǎng)格點(diǎn)校正特征分別與所述平均校正特征做差處理，得到所述立體網(wǎng)格中各網(wǎng)格點(diǎn)校正特征差值；

33、判斷所述立體網(wǎng)格中各網(wǎng)格點(diǎn)校正特征差值是否在預(yù)設(shè)特征差值閾值范圍內(nèi)，并統(tǒng)計(jì)校正特征差值不在預(yù)設(shè)特征差值閾值范圍內(nèi)的網(wǎng)格點(diǎn)的點(diǎn)數(shù)值；

34、根據(jù)所述點(diǎn)數(shù)值判斷是否繼續(xù)進(jìn)行校正流程；若是，執(zhí)行s35；若否，則執(zhí)行s36；

35、其中，若所述點(diǎn)數(shù)值大于或等于預(yù)設(shè)點(diǎn)數(shù)值，則執(zhí)行s35；若所述點(diǎn)數(shù)值小于預(yù)設(shè)點(diǎn)數(shù)值，則執(zhí)行s36。

36、進(jìn)一步，所述s4具體為：

37、根據(jù)所述單目相機(jī)的位置信息和內(nèi)外參數(shù)構(gòu)建相機(jī)坐標(biāo)系，根據(jù)所述機(jī)械臂末端的靈巧手的當(dāng)前位置信息和位姿構(gòu)建靈巧手坐標(biāo)系；

38、根據(jù)所述相機(jī)坐標(biāo)系和所述靈巧手坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，計(jì)算出所述單目相機(jī)與所述靈巧手之間的校正矩陣；

39、根據(jù)所述校正矩陣對(duì)所述相機(jī)深度圖進(jìn)行校正，得到校正深度圖。

40、基于上述一種機(jī)器人分揀商品的運(yùn)動(dòng)規(guī)劃與控制方法，本發(fā)明還提供一種機(jī)器人分揀商品的運(yùn)動(dòng)規(guī)劃與控制系統(tǒng)。

41、一種機(jī)器人分揀商品的運(yùn)動(dòng)規(guī)劃與控制系統(tǒng)，包括從上至下依次設(shè)置的單目相機(jī)、機(jī)械臂和工具箱；所述單目相機(jī)通過(guò)彎管懸置于所述工具箱上方；所述機(jī)械臂安裝在所述工具箱上，所述機(jī)械臂上安裝有吸抓一體靈巧手；所述工具箱上設(shè)有一個(gè)顯示器，所述工具箱底部設(shè)有四個(gè)可滾動(dòng)滑輪，所述工具箱內(nèi)部設(shè)有工控機(jī)；

42、所述單目相機(jī)用于拍攝分揀區(qū)域中的待分揀商品，得到待分揀圖像；

43、所述工控機(jī)用于基于立體網(wǎng)格對(duì)所述待分揀圖像進(jìn)行映射，得到所述立體網(wǎng)格中各網(wǎng)格點(diǎn)初始特征；基于特征校正方法以及體渲染方法，根據(jù)所述立體網(wǎng)格中各網(wǎng)格點(diǎn)初始特征，計(jì)算出相機(jī)深度圖；根據(jù)機(jī)械臂末端的靈巧手的當(dāng)前位置信息與所述單目相機(jī)的位置信息對(duì)所述相機(jī)深度圖進(jìn)行校正，得到校正深度圖；采用自適應(yīng)技術(shù)，通過(guò)引入改進(jìn)的勢(shì)場(chǎng)因子和虛擬障礙物對(duì)鯨魚優(yōu)化算法進(jìn)行改進(jìn)，得到改進(jìn)的鯨魚優(yōu)化算法；利用位姿估計(jì)方法從所述待分揀圖像中計(jì)算出待分揀商品的位姿信息；基于改進(jìn)的鯨魚優(yōu)化算法，根據(jù)所述校正深度圖和所述位姿信息規(guī)劃出機(jī)械臂的運(yùn)動(dòng)軌跡以及靈巧手的抓取姿態(tài)，以控制機(jī)械臂末端的靈巧手對(duì)分揀區(qū)域中的待分揀商品進(jìn)行分揀。

44、本發(fā)明的有益效果是：本發(fā)明一種機(jī)器人分揀商品的運(yùn)動(dòng)規(guī)劃與控制方法及系統(tǒng)，通過(guò)將二維圖像映射值三維空間中以獲取三維特征，進(jìn)而基于特征校正方法以及體渲染方法可以精確的計(jì)算出相機(jī)深度圖，由于靈巧手與相機(jī)在不同的坐標(biāo)系中，因此對(duì)相機(jī)深度圖進(jìn)行校正，可以獲得相對(duì)于靈巧手的校正深度圖，從而可以控制靈巧手快速準(zhǔn)確的抓取商品；同時(shí)，本發(fā)明的方法簡(jiǎn)單，因此可以節(jié)省計(jì)算機(jī)計(jì)算內(nèi)存，提高計(jì)算速度，進(jìn)而大大提高了機(jī)器人的抓取速度；另外，本發(fā)明采用改進(jìn)的鯨魚優(yōu)化算法，可以克服軌跡規(guī)劃算法易陷入局部最優(yōu)化的問(wèn)題，從而提高規(guī)劃精度，進(jìn)而保證目標(biāo)物體的準(zhǔn)確抓取。