本發(fā)明涉及噴涂機器人，尤其涉及一種應(yīng)用于噴涂機器人的工件噴涂方法、裝置及存儲介質(zhì)。

背景技術(shù)：

1、噴涂機器人需要按照預設(shè)要求對噴涂對象進行噴涂，傳統(tǒng)噴涂機器人系統(tǒng)多采用預定路徑、固定速度和噴涂姿態(tài)來執(zhí)行任務(wù)，但對于不同的環(huán)境變化和復雜的噴涂要求，在需要實時調(diào)整路徑和速度時表現(xiàn)不佳，噴涂精確度低。同時，結(jié)合深度學習的噴涂機器人通常需要大量的訓練數(shù)據(jù)，且功能單一，難以適應(yīng)多樣化的工業(yè)需求，適用性低。

2、綜上，相關(guān)技術(shù)中存在的技術(shù)問題有待得到改善。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例提供了一種應(yīng)用于噴涂機器人的工件噴涂方法、裝置及存儲介質(zhì)，有效地提高了噴涂精確度和適用性。

2、一方面，本發(fā)明實施例提供了一種應(yīng)用于噴涂機器人的工件噴涂方法，包括以下步驟：

3、獲取噴涂工件圖像和待分類演示視頻；

4、將所述噴涂工件圖像輸入目標工件檢測模型，得到目標工件檢測結(jié)果，所述目標工件檢測結(jié)果包括工件邊界框坐標和工件類別；

5、根據(jù)所述目標工件檢測結(jié)果，生成物體模型；

6、將所述待分類演示視頻輸入噴涂視頻分類模型，得到噴涂視頻分類結(jié)果；

7、根據(jù)多模態(tài)提示模板、所述物體模型和所述噴涂視頻分類結(jié)果，生成目標多模態(tài)提示；

8、將所述目標多模態(tài)提示輸入運動軌跡預測模型，得到機器人運動軌跡；

9、根據(jù)所述機器人運動軌跡，進行工件噴涂。

10、在一些實施例中，所述目標工件檢測模型通過以下步驟得到：

11、獲取噴涂工件的深度圖像和三通道彩色圖像；

12、將所述深度圖像和所述三通道彩色圖像進行融合處理，得到融合圖像；

13、根據(jù)所述深度圖像，計算像素坐標高度；

14、在所述融合圖像標注圖像標簽后，將所述融合圖像和所述像素坐標高度輸入預設(shè)目標檢測模型中，以使所述預設(shè)深度學習模型進行訓練，得到所述目標工件檢測模型。

15、在一些實施例中，所述噴涂視頻分類模型通過以下步驟得到：

16、獲取噴涂演示視頻；

17、在所述噴涂演示視頻標注任務(wù)類別標簽后，對所述噴涂演示視頻進行格式預處理，所述任務(wù)類別標簽包括移動物體、翻轉(zhuǎn)物體、旋轉(zhuǎn)物體和噴涂物體；

18、將格式預處理后的所述噴涂演示視頻中的每一幀圖像分別進行圖像劃分，得到若干個圖像塊；

19、根據(jù)自注意力機制和類別概率分布目標函數(shù)，將所述若干個圖像塊輸入預設(shè)分類模型中，以使所述預設(shè)分類模型進行訓練，得到所述噴涂視頻分類模型。

20、在一些實施例中，所述運動軌跡預測模型通過以下步驟得到：

21、獲取待訓練多模態(tài)提示和運動軌跡訓練數(shù)據(jù)；

22、根據(jù)路徑優(yōu)化成本函數(shù)和路徑預測函數(shù)，將所述待訓練多模態(tài)提示和所述運動軌跡訓練數(shù)據(jù)輸入預設(shè)多模態(tài)機器人代理模型，以使所述預設(shè)多模態(tài)機器人代理模型進行訓練，得到所述運動軌跡預測模型。

23、在一些實施例中，所述根據(jù)所述機器人運動軌跡，進行工件噴涂，包括：

24、將所述機器人運動軌跡轉(zhuǎn)換為運動指令序列文本；

25、將所述運動指令序列文本發(fā)送到噴涂機器人；

26、所述噴涂機器人用于將所述運動指令序列文本轉(zhuǎn)換為參數(shù)列表，并根據(jù)所述參數(shù)列表，通過控制器生成電機控制信號；

27、所述電機控制信號用于控制所述噴涂機器人執(zhí)行工件噴涂操作。

28、在一些實施例中，所述自注意力機制的表達式為：

29、

30、式中，attention為所述自注意力機制，softmax為歸一化指數(shù)函數(shù)，q為查詢矩陣，k為鍵矩陣，v為值矩陣，dk為鍵向量的維度。

31、在一些實施例中，所述類別概率分布目標函數(shù)的表達式為：

32、

33、式中，為所述類別概率分布目標函數(shù)，n為任務(wù)類別數(shù)量，p(c|x)為在輸入x下任務(wù)類別c的概率，c為任務(wù)類別，x為視頻樣本。

34、另一方面，本發(fā)明實施例提供了一種應(yīng)用于噴涂機器人的工件噴涂裝置，包括：

35、第一模塊，用于獲取噴涂工件圖像和待分類演示視頻；

36、第二模塊，用于將所述噴涂工件圖像輸入目標工件檢測模型，得到目標工件檢測結(jié)果，所述目標工件檢測結(jié)果包括工件邊界框坐標和工件類別；

37、第三模塊，用于根據(jù)所述目標工件檢測結(jié)果，生成物體模型；

38、第四模塊，用于將所述待分類演示視頻輸入噴涂視頻分類模型，得到噴涂視頻分類結(jié)果；

39、第五模塊，用于根據(jù)多模態(tài)提示模板、所述物體模型和所述噴涂視頻分類結(jié)果，生成目標多模態(tài)提示；

40、第六模塊，用于將所述目標多模態(tài)提示輸入運動軌跡預測模型，得到機器人運動軌跡；

41、第七模塊，用于根據(jù)所述機器人運動軌跡，進行工件噴涂。

42、另一方面，本發(fā)明實施例提供了一種計算機裝置，包括：

43、至少一個處理器；

44、至少一個存儲器，用于存儲至少一個程序；

45、當所述至少一個程序被所述至少一個處理器執(zhí)行，使得所述至少一個處理器實現(xiàn)所述的方法。

46、另一方面，本發(fā)明實施例提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)所述的方法。

47、本發(fā)明所具有的有益效果如下：

48、本發(fā)明實施例首先獲取噴涂工件圖像和待分類演示視頻，將噴涂工件圖像輸入目標工件檢測模型，得到目標工件檢測結(jié)果，并根據(jù)目標工件檢測結(jié)果，生成物體模型，然后將待分類演示視頻輸入噴涂視頻分類模型，得到噴涂視頻分類結(jié)果，并根據(jù)多模態(tài)提示模板、物體模型和噴涂視頻分類結(jié)果，生成目標多模態(tài)提示，再將目標多模態(tài)提示輸入運動軌跡預測模型，得到機器人運動軌跡，最后根據(jù)機器人運動軌跡，進行工件噴涂，從而能夠通過預測運動軌跡來實現(xiàn)工件噴涂，進而提高了噴涂精確度和適用性。

49、本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。

技術(shù)特征：

1.一種應(yīng)用于噴涂機器人的工件噴涂方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標工件檢測模型通過以下步驟得到：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述噴涂視頻分類模型通過以下步驟得到：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述運動軌跡預測模型通過以下步驟得到：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述機器人運動軌跡，進行工件噴涂，包括：

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述自注意力機制的表達式為：

7.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述類別概率分布目標函數(shù)的表達式為：

8.一種應(yīng)用于噴涂機器人的工件噴涂裝置，其特征在于，包括：

9.一種計算機裝置，其特征在于，包括：

10.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7中任一項所述的方法。

技術(shù)總結(jié)
本發(fā)明公開了一種應(yīng)用于噴涂機器人的工件噴涂方法、裝置及存儲介質(zhì)，方法包括：獲取噴涂工件圖像和待分類演示視頻；將所述噴涂工件圖像輸入目標工件檢測模型，得到目標工件檢測結(jié)果，所述目標工件檢測結(jié)果包括工件邊界框坐標和工件類別；根據(jù)所述目標工件檢測結(jié)果，生成物體模型；將所述待分類演示視頻輸入噴涂視頻分類模型，得到噴涂視頻分類結(jié)果；根據(jù)多模態(tài)提示模板、所述物體模型和所述噴涂視頻分類結(jié)果，生成目標多模態(tài)提示；將所述目標多模態(tài)提示輸入運動軌跡預測模型，得到機器人運動軌跡；根據(jù)所述機器人運動軌跡，進行工件噴涂。本發(fā)明實現(xiàn)了工件噴涂，提高了噴涂精確度和適用性。本發(fā)明可廣泛應(yīng)用于噴涂機器人技術(shù)領(lǐng)域。

技術(shù)研發(fā)人員：俞狄青,李涵,金宇翱,席寧,陳和平,李耀楠,李橋康,范興剛
受保護的技術(shù)使用者：嘉興市敏碩智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9