本發(fā)明涉及煙草濾棒生產(chǎn)及物流自動化領(lǐng)域，尤其涉及一種煙草濾棒盒的抓取方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)：

1、碼垛機(jī)器人作為一種用于自動碼垛操作的機(jī)器人系統(tǒng)，在煙草生產(chǎn)行業(yè)中的原料煙包碼垛、半成品煙絲箱碼垛、成品件煙自動碼垛、紙箱折疊碼垛、輔料自動配盤等生產(chǎn)環(huán)節(jié)中發(fā)揮著至關(guān)重要的作用。

2、卷煙濾棒全自動生產(chǎn)過程包括：自動導(dǎo)向車（automated?guided?vehicle，agv），簡稱agv小車，將空的煙草濾棒盒運(yùn)送至指定生產(chǎn)機(jī)臺的托架上；碼垛機(jī)器人從空的煙草濾棒盒上方沿垂直方向往下抓取，送至自動裝盒機(jī)入口的輸送機(jī)上完成自動裝料；碼垛機(jī)器人將滿料的煙草濾棒盒裝抓取送至生產(chǎn)機(jī)臺附近的托架上；agv小車將滿料的煙草濾棒盒運(yùn)送出生產(chǎn)區(qū)域。在這一整個生產(chǎn)流程中，煙草濾棒盒在托架區(qū)和自動裝盒機(jī)出入口的輸送機(jī)上的方向是固定的，未裝配攝像頭的碼垛機(jī)器人按固定程序沿平齊煙草濾棒盒方向開展抓取工作。

3、針對上述卷煙濾棒全自動生產(chǎn)過程，當(dāng)生產(chǎn)區(qū)域出現(xiàn)煙草濾棒盒在托架區(qū)和自動裝盒機(jī)出入口輸送機(jī)上放置的位置方向發(fā)生較大偏移的情況時，未裝配攝像頭的碼垛機(jī)器人依舊按固定程序工作，這將無法正常抓取煙草濾棒盒，或會破壞煙草濾棒盒，只能人為及時發(fā)現(xiàn)異常情況，暫停碼垛機(jī)器人工作，擺正煙草濾棒盒的位置方向，再重新給碼垛機(jī)器人開始工作的命令，此類異常情況極大影響了生產(chǎn)安全，大大降低了生產(chǎn)效率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種煙草濾棒盒的抓取方法、裝置、電子設(shè)備及介質(zhì)，用以解決現(xiàn)有技術(shù)中當(dāng)生產(chǎn)區(qū)域出現(xiàn)煙草濾棒盒在托架區(qū)和自動裝盒機(jī)出入口輸送機(jī)上放置的位置方向發(fā)生較大偏移的情況時，未裝配攝像頭的碼垛機(jī)器人無法正常抓取煙草濾棒盒的缺陷，實(shí)現(xiàn)對任意方向煙草濾棒盒的檢測，碼垛機(jī)器人對應(yīng)調(diào)整抓取方向，保障生產(chǎn)安全，提高生產(chǎn)效率。

2、本發(fā)明提供一種煙草濾棒盒的抓取方法，包括如下步驟。

3、獲取碼垛機(jī)器人當(dāng)前待抓取的目標(biāo)煙草濾棒盒的圖像數(shù)據(jù)；

4、將所述圖像數(shù)據(jù)輸入至煙草濾棒盒旋轉(zhuǎn)目標(biāo)檢測模型中，以使所述煙草濾棒盒旋轉(zhuǎn)目標(biāo)檢測模型對所述圖像數(shù)據(jù)中的煙草濾棒盒進(jìn)行旋轉(zhuǎn)框定位，得到定位結(jié)果；

5、基于所述定位結(jié)果調(diào)整所述碼垛機(jī)器人的抓手朝向?qū)Υト〉哪繕?biāo)煙草濾棒盒進(jìn)行抓?。?/p>

6、其中，所述煙草濾棒盒旋轉(zhuǎn)目標(biāo)檢測模型基于以下步驟訓(xùn)練得到：

7、獲取不同旋轉(zhuǎn)姿態(tài)的煙草濾棒盒樣本圖像；

8、基于煙草濾棒盒的旋轉(zhuǎn)姿態(tài)對所述煙草濾棒盒樣本圖像進(jìn)行旋轉(zhuǎn)框標(biāo)注，并將標(biāo)注完成的煙草濾棒盒樣本圖像劃分為模型訓(xùn)練集、模型驗(yàn)證集和模型測試集；

9、通過所述模型訓(xùn)練集對yolov7目標(biāo)檢測模型進(jìn)行訓(xùn)練，以使所述yolov7目標(biāo)檢測模型學(xué)習(xí)所述模型訓(xùn)練集中的煙草濾棒盒的旋轉(zhuǎn)姿態(tài)和對應(yīng)的旋轉(zhuǎn)框位置，并通過所述模型驗(yàn)證集對訓(xùn)練后的yolov7目標(biāo)檢測模型的模型性能進(jìn)行評估，得到模型評估結(jié)果；

10、當(dāng)所述模型評估結(jié)果滿足第一預(yù)設(shè)條件時，通過所述模型測試集對評估后的yolov7目標(biāo)檢測模型進(jìn)行測試，得到模型測試結(jié)果；

11、當(dāng)所述模型測試結(jié)果滿足第二預(yù)設(shè)條件時，確定所述yolov7目標(biāo)檢測模型訓(xùn)練完成，將訓(xùn)練完成的所述yolov7目標(biāo)檢測模型作為煙草濾棒盒旋轉(zhuǎn)目標(biāo)檢測模型。

12、根據(jù)本發(fā)明提供的方法，所述方法還包括：

13、采用長邊表示法對旋轉(zhuǎn)框進(jìn)行定義；

14、基于煙草濾棒盒的旋轉(zhuǎn)姿態(tài)和定義方式對所述煙草濾棒盒樣本圖像進(jìn)行旋轉(zhuǎn)框標(biāo)注。

15、根據(jù)本發(fā)明提供的方法，所述方法還包括：

16、通過所述模型訓(xùn)練集對yolov7目標(biāo)檢測模型進(jìn)行訓(xùn)練，并計(jì)算每次訓(xùn)練后的目標(biāo)旋轉(zhuǎn)框回歸損失函數(shù)；

17、當(dāng)所述目標(biāo)旋轉(zhuǎn)框回歸損失函數(shù)趨于穩(wěn)定時，將所述模型驗(yàn)證集輸入至訓(xùn)練后的yolov7目標(biāo)檢測模型中，得到模型輸出的煙草濾棒盒的第一預(yù)測旋轉(zhuǎn)框；

18、采用環(huán)形平滑標(biāo)簽方法對比所述第一預(yù)測旋轉(zhuǎn)框和所述模型驗(yàn)證集的標(biāo)注旋轉(zhuǎn)框之間的角度距離；

19、基于所述角度距離對訓(xùn)練后的yolov7目標(biāo)檢測模型的模型性能進(jìn)行評估，得到模型評估結(jié)果。

20、根據(jù)本發(fā)明提供的方法，所述方法還包括：

21、當(dāng)所述角度距離小于預(yù)設(shè)閾值時，確定所述模型評估結(jié)果滿足第一預(yù)設(shè)條件；

22、將所述模型測試集輸入至評估后的yolov7目標(biāo)檢測模型中，得到模型輸出的煙草濾棒盒的第二預(yù)測旋轉(zhuǎn)框；

23、基于所述第二預(yù)測旋轉(zhuǎn)框和所述模型測試集的標(biāo)注旋轉(zhuǎn)框確定模型測試結(jié)果。

24、根據(jù)本發(fā)明提供的方法，所述方法還包括：

25、當(dāng)所述第二預(yù)測旋轉(zhuǎn)框與所述模型測試集的標(biāo)注旋轉(zhuǎn)框之間的角度距離小于所述預(yù)設(shè)閾值時，確定所述yolov7目標(biāo)檢測模型訓(xùn)練完成，將訓(xùn)練完成的所述yolov7目標(biāo)檢測模型作為煙草濾棒盒旋轉(zhuǎn)目標(biāo)檢測模型。

26、根據(jù)本發(fā)明提供的方法，所述方法還包括：

27、當(dāng)所述角度距離大于預(yù)設(shè)閾值時，調(diào)整所述yolov7目標(biāo)檢測模型的權(quán)重參數(shù)，重新通過所述模型訓(xùn)練集對yolov7目標(biāo)檢測模型進(jìn)行訓(xùn)練。

28、本發(fā)明還提供一種煙草濾棒盒的抓取裝置，包括如下模塊：

29、獲取模塊，用于獲取碼垛機(jī)器人當(dāng)前待抓取的目標(biāo)煙草濾棒盒的圖像數(shù)據(jù)；

30、定位模塊，用于將所述圖像數(shù)據(jù)輸入至煙草濾棒盒旋轉(zhuǎn)目標(biāo)檢測模型中，以使所述煙草濾棒盒旋轉(zhuǎn)目標(biāo)檢測模型對所述圖像數(shù)據(jù)中的煙草濾棒盒進(jìn)行旋轉(zhuǎn)框定位，得到定位結(jié)果；

31、抓取模塊，用于基于所述定位結(jié)果調(diào)整所述碼垛機(jī)器人的抓手朝向?qū)Υト〉哪繕?biāo)煙草濾棒盒進(jìn)行抓?。?/p>

32、模型訓(xùn)練模塊，用于獲取不同旋轉(zhuǎn)姿態(tài)的煙草濾棒盒樣本圖像；基于煙草濾棒盒的旋轉(zhuǎn)姿態(tài)對所述煙草濾棒盒樣本圖像進(jìn)行旋轉(zhuǎn)框標(biāo)注，并將標(biāo)注完成的煙草濾棒盒樣本圖像劃分為模型訓(xùn)練集、模型驗(yàn)證集和模型測試集；通過所述模型訓(xùn)練集對yolov7目標(biāo)檢測模型進(jìn)行訓(xùn)練，以使所述yolov7目標(biāo)檢測模型學(xué)習(xí)所述模型訓(xùn)練集中的煙草濾棒盒的旋轉(zhuǎn)姿態(tài)和對應(yīng)的旋轉(zhuǎn)框位置，并通過所述模型驗(yàn)證集對訓(xùn)練后的yolov7目標(biāo)檢測模型的模型性能進(jìn)行評估，得到模型評估結(jié)果；當(dāng)所述模型評估結(jié)果滿足第一預(yù)設(shè)條件時，通過所述模型測試集對評估后的yolov7目標(biāo)檢測模型進(jìn)行測試，得到模型測試結(jié)果；當(dāng)所述模型測試結(jié)果滿足第二預(yù)設(shè)條件時，確定所述yolov7目標(biāo)檢測模型訓(xùn)練完成，將訓(xùn)練完成的所述yolov7目標(biāo)檢測模型作為煙草濾棒盒旋轉(zhuǎn)目標(biāo)檢測模型。

33、本發(fā)明還提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)如上述任一種所述煙草濾棒盒的抓取方法。

34、本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上述任一種所述煙草濾棒盒的抓取方法。

35、本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上述任一種所述煙草濾棒盒的抓取方法。

36、本發(fā)明提供的煙草濾棒盒的抓取方法、裝置、電子設(shè)備及介質(zhì)，通過獲取碼垛機(jī)器人當(dāng)前待抓取的目標(biāo)煙草濾棒盒的圖像數(shù)據(jù)；將所述圖像數(shù)據(jù)輸入至煙草濾棒盒旋轉(zhuǎn)目標(biāo)檢測模型中，以使所述煙草濾棒盒旋轉(zhuǎn)目標(biāo)檢測模型對所述圖像數(shù)據(jù)中的煙草濾棒盒進(jìn)行旋轉(zhuǎn)框定位，得到定位結(jié)果；基于所述定位結(jié)果調(diào)整所述碼垛機(jī)器人的抓手朝向?qū)Υト〉哪繕?biāo)煙草濾棒盒進(jìn)行抓取；其中，所述煙草濾棒盒旋轉(zhuǎn)目標(biāo)檢測模型基于以下步驟訓(xùn)練得到：獲取不同旋轉(zhuǎn)姿態(tài)的煙草濾棒盒樣本圖像；基于煙草濾棒盒的旋轉(zhuǎn)姿態(tài)對所述煙草濾棒盒樣本圖像進(jìn)行旋轉(zhuǎn)框標(biāo)注，并將標(biāo)注完成的煙草濾棒盒樣本圖像劃分為模型訓(xùn)練集、模型驗(yàn)證集和模型測試集；通過所述模型訓(xùn)練集對yolov7目標(biāo)檢測模型進(jìn)行訓(xùn)練，以使所述yolov7目標(biāo)檢測模型學(xué)習(xí)所述模型訓(xùn)練集中的煙草濾棒盒的旋轉(zhuǎn)姿態(tài)和對應(yīng)的旋轉(zhuǎn)框位置，并通過所述模型驗(yàn)證集對訓(xùn)練后的yolov7目標(biāo)檢測模型的模型性能進(jìn)行評估，得到模型評估結(jié)果；當(dāng)所述模型評估結(jié)果滿足第一預(yù)設(shè)條件時，通過所述模型測試集對評估后的yolov7目標(biāo)檢測模型進(jìn)行測試，得到模型測試結(jié)果；當(dāng)所述模型測試結(jié)果滿足第二預(yù)設(shè)條件時，確定所述yolov7目標(biāo)檢測模型訓(xùn)練完成，將訓(xùn)練完成的所述yolov7目標(biāo)檢測模型作為煙草濾棒盒旋轉(zhuǎn)目標(biāo)檢測模型。相比于現(xiàn)有技術(shù)中當(dāng)生產(chǎn)區(qū)域出現(xiàn)煙草濾棒盒在托盤區(qū)和自動裝盒輸送機(jī)上放置的位置方向發(fā)生較大偏移的情況時，未裝配攝像頭的碼垛機(jī)器人無法正常抓取煙草濾棒盒的缺陷。由此，實(shí)現(xiàn)對任意方向煙草濾棒盒的檢測，碼垛機(jī)器人對應(yīng)調(diào)整抓取方向，保障生產(chǎn)安全，提高生產(chǎn)效率。