本發(fā)明涉及一種基于具身智能的機械臂果蔬采摘方法，屬于果蔬采摘。

背景技術(shù)：

1、隨著機器人技術(shù)的發(fā)展，機械臂在果蔬采摘領(lǐng)域中變得越來越重要。在執(zhí)行采摘任務(wù)前，需要先生成采摘任務(wù)指令并發(fā)送至機械臂。

2、現(xiàn)有的果蔬采摘技術(shù)依賴于手動編寫任務(wù)指令，并且在復(fù)雜環(huán)境中面臨采摘精度不足、操作僵化及易損壞果蔬等問題。機械臂通常使用單一傳感器，難以動態(tài)調(diào)整路徑和避障，操作靈活性有限。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于具身智能的機械臂果蔬采摘方法，使機械臂能夠在復(fù)雜、多變的環(huán)境中自適應(yīng)調(diào)整采摘動作，從而解決現(xiàn)有技術(shù)中采摘精度不足、操作難度大的問題。

2、為達到上述目的，本發(fā)明是采用下述技術(shù)方案實現(xiàn)的：

3、第一方面，本發(fā)明提供了一種基于具身智能的機械臂果蔬采摘方法，包括：

4、獲取果蔬采摘描述信息，所述果蔬采摘描述信息包括待采摘果蔬的特征描述和采摘需求；

5、根據(jù)所述果蔬采摘描述信息，采用基于大語言模型的任務(wù)指令理解模型進行分析，生成控制機械臂的控制信號；

6、根據(jù)所述控制信號，利用具身智能的果蔬智能感知模型，通過深度相機采集的圖像確定果蔬類別和抓取位姿，并結(jié)合實時反饋調(diào)整采摘動作；

7、根據(jù)所述控制信號，在機械臂執(zhí)行采摘任務(wù)的過程中，通過具身智能技術(shù)進行實時的環(huán)境感知，并通過智能避障神經(jīng)網(wǎng)絡(luò)模型動態(tài)調(diào)整運動軌跡以避開障礙物。

8、進一步的，所述根據(jù)所述果蔬采摘描述信息，采用基于大語言模型的任務(wù)指令理解模型進行分析，生成控制機械臂的控制信號，包括：

9、接收用戶輸入的自然語言描述的果蔬采摘描述信息；

10、將所述自然語言描述轉(zhuǎn)化為多個詞向量，并保持上下文關(guān)系；

11、利用自注意力機制識別所述描述中的重要信息；

12、基于預(yù)訓(xùn)練的大語言模型，結(jié)合微調(diào)過程，生成用于控制機械臂執(zhí)行采摘任務(wù)的控制信號。

13、進一步的，所述果蔬智能感知模型包括transformer層，卷積神經(jīng)網(wǎng)絡(luò)層以及全連接層。

14、進一步的，所述利用具身智能的果蔬智能感知模型，通過深度相機采集的圖像確定果蔬類別和抓取位姿，包括：

15、通過所述果蔬智能感知模型的transformer層對所述rgb圖像和所述深度圖像進行特征提取，獲取所述待采摘果蔬的全局視覺特征；

16、通過所述果蔬智能感知模型的卷積神經(jīng)網(wǎng)絡(luò)層對所述rgb圖像和所述深度圖像進行特征提取，獲取所述待采摘果蔬的局部視覺特征；

17、根據(jù)所述全局視覺特征和所述局部視覺特征，通過所述果蔬智能感知模型的全連接層確定所述采摘果蔬的類別和所述抓取位姿。

18、進一步的，所述通過具身智能技術(shù)進行實時的環(huán)境感知，并通過智能避障神經(jīng)網(wǎng)絡(luò)模型動態(tài)調(diào)整運動軌跡以避開障礙物，包括：

19、控制預(yù)先設(shè)置在機械臂周圍的多個深度相機，對所述機械臂的活動空間進行不同角度的掃描，獲取所述機械臂周圍的不通角度物理環(huán)境的體素數(shù)據(jù)；

20、通過多模態(tài)傳感器數(shù)據(jù)融合，將視覺傳感器、深度傳感器、力覺傳感器從不同緯度采集到的信息協(xié)同處理，與所述機械臂周圍的不同角度物理環(huán)境的體素數(shù)據(jù)進行融合處理，輸入到具身智能感知模型中進行三維空間的特征提取，將這些多模態(tài)特征通過加權(quán)機制進行融合，最終得到綜合感知結(jié)果以及三維空間結(jié)構(gòu)；

21、基于得到的綜合感知結(jié)果以及三維空間結(jié)構(gòu)，通過智能避障神經(jīng)網(wǎng)絡(luò)模型動態(tài)調(diào)整運動軌跡以避開障礙物。

22、進一步的，所述智能避障神經(jīng)網(wǎng)絡(luò)模型的架構(gòu)包括三維卷積層、transformer層、力覺傳感器信息處理層、多模態(tài)特征融合層以及全連接層，用于動態(tài)感知和重建機械臂周圍的三維物理環(huán)境，并結(jié)合力覺傳感器反饋，實時調(diào)整機械臂的運動路徑和抓取力度。

23、第二方面，本發(fā)明提供一種基于具身智能的機械臂果蔬采摘裝置，包括：

24、接收模塊，用于獲取果蔬采摘描述信息，所述果蔬采摘描述信息包括待采摘果蔬的特征描述和采摘需求；

25、處理模塊，用于根據(jù)所述果蔬采摘描述信息，采用基于大語言模型的任務(wù)指令理解模型進行分析，生成控制機械臂的控制信號；

26、感知模塊，用于根據(jù)所述控制信號，利用具身智能的果蔬智能感知模型，通過深度相機采集的圖像確定果蔬類別和抓取位姿，并結(jié)合實時反饋調(diào)整采摘動作；

27、執(zhí)行模塊，用于根據(jù)所述控制信號，在機械臂執(zhí)行采摘任務(wù)的過程中，通過具身智能技術(shù)進行實時的環(huán)境感知，并通過智能避障神經(jīng)網(wǎng)絡(luò)模型動態(tài)調(diào)整運動軌跡以避開障礙物。

28、第三方面，本發(fā)明提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)前述中任一項所述方法的步驟。

29、第四方面，本發(fā)明提供一種計算機設(shè)備，包括：

30、存儲器，用于存儲計算機程序/指令；

31、處理器，用于執(zhí)行所述計算機程序/指令以實現(xiàn)前述中任一項所述方法的步驟。

32、第五方面，本發(fā)明提供一種計算機程序產(chǎn)品，包括計算機程序/指令，該計算機程序/指令被處理器執(zhí)行時實現(xiàn)前述中任一項所述方法的步驟。

33、與現(xiàn)有技術(shù)相比，本發(fā)明所達到的有益效果：

34、本發(fā)明提供一種基于具身智能的機械臂果蔬采摘方法，通過具身智能技術(shù)通為機械臂提供實時環(huán)境感知，確保在復(fù)雜環(huán)境中動態(tài)調(diào)整采摘動作。同時，它允許基于力反饋靈活調(diào)整抓取力，避免損壞果蔬。具身智能還結(jié)合強化學(xué)習(xí)，使機械臂能夠持續(xù)優(yōu)化采摘策略，提高采摘效率與精度，降低操作難度；具身智能的優(yōu)勢大大提升了機械臂的環(huán)境適應(yīng)性、操作靈活性和采摘效率，解決了傳統(tǒng)采摘技術(shù)中的局限性。

技術(shù)特征：

1.一種基于具身智能的機械臂果蔬采摘方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于具身智能的機械臂果蔬采摘方法，其特征在于，所述根據(jù)所述果蔬采摘描述信息，采用基于大語言模型的任務(wù)指令理解模型進行分析，生成控制機械臂的控制信號，包括：

3.根據(jù)權(quán)利要求1所述的基于具身智能的機械臂果蔬采摘方法，其特征在于，所述果蔬智能感知模型包括transformer層，卷積神經(jīng)網(wǎng)絡(luò)層以及全連接層。

4.根據(jù)權(quán)利要求3所述的基于具身智能的機械臂果蔬采摘方法，其特征在于，所述利用具身智能的果蔬智能感知模型，通過深度相機采集的圖像確定果蔬類別和抓取位姿，包括：

5.根據(jù)權(quán)利要求1所述的基于具身智能的機械臂果蔬采摘方法，其特征在于，所述通過具身智能技術(shù)進行實時的環(huán)境感知，并通過智能避障神經(jīng)網(wǎng)絡(luò)模型動態(tài)調(diào)整運動軌跡以避開障礙物，包括：

6.根據(jù)權(quán)利要求5所述的基于具身智能的機械臂果蔬采摘方法，其特征在于，所述智能避障神經(jīng)網(wǎng)絡(luò)模型的架構(gòu)包括三維卷積層、transformer層、力覺傳感器信息處理層、多模態(tài)特征融合層以及全連接層，用于動態(tài)感知和重建機械臂周圍的三維物理環(huán)境，并結(jié)合力覺傳感器反饋，實時調(diào)整機械臂的運動路徑和抓取力度。

7.一種基于具身智能的機械臂果蔬采摘裝置，其特征在于，包括：

8.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于：該程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-6中任一項所述方法的步驟。

9.一種計算機設(shè)備，其特征在于，包括：

10.一種計算機程序產(chǎn)品，包括計算機程序/指令，其特征在于，該計算機程序/指令被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-6中任一項所述方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種基于具身智能的機械臂果蔬采摘方法，屬于果蔬采摘技術(shù)領(lǐng)域，所述方法包括獲取果蔬采摘描述信息；根據(jù)所述果蔬采摘描述信息，采用基于大語言模型的任務(wù)指令理解模型進行分析，生成控制機械臂的控制信號；根據(jù)所述控制信號，利用具身智能的果蔬智能感知模型，通過深度相機采集的圖像確定果蔬類別和抓取位姿，并結(jié)合實時反饋調(diào)整采摘動作；根據(jù)所述控制信號，在機械臂執(zhí)行采摘任務(wù)的過程中，通過具身智能技術(shù)進行實時的環(huán)境感知，并通過智能避障神經(jīng)網(wǎng)絡(luò)模型動態(tài)調(diào)整運動軌跡以避開障礙物，本發(fā)明提供的果蔬采摘方法無需用戶手動編寫采摘指令代碼，顯著降低了機械臂的操作復(fù)雜度，并提升了采摘任務(wù)的準(zhǔn)確性和效率。

技術(shù)研發(fā)人員：劉坤,黃程菲,吉宏亞,耿亮
受保護的技術(shù)使用者：南京工程學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6