本發(fā)明涉及模仿學習，特別涉及一種基于多模態(tài)體感數(shù)據(jù)的機器人模仿學習系統(tǒng)及方法。

背景技術：

1、在機器人領域，為了使機器人可以根據(jù)指令做出相應的動作，需要機器人對人類的動作進行學習。傳統(tǒng)模仿學習方法通常依賴于遙操機器人手臂或手來收集操作數(shù)據(jù)，該過程不僅步驟繁瑣、成本較高，而且效率低下。此外，這種方法通常難以精確捕捉人類操作的細節(jié)和微妙動作，導致學習效果有限。

技術實現(xiàn)思路

1、本發(fā)明提供一種基于多模態(tài)體感數(shù)據(jù)的機器人模仿學習系統(tǒng)及方法，不僅簡化了數(shù)據(jù)采集過程，提高了效率，還保持了很高的模仿學習精度，使得機器人能夠更加精確地復現(xiàn)人類的復雜動作。

2、本發(fā)明第一方面實施例提供一種基于多模態(tài)體感數(shù)據(jù)的機器人模仿學習系統(tǒng)，包括：

3、體感數(shù)據(jù)采集模塊，用于采集多模態(tài)體感數(shù)據(jù)；

4、數(shù)據(jù)處理和轉(zhuǎn)換模塊，用于將所述模態(tài)體感數(shù)據(jù)進行重定位，以使機器人的各身體關節(jié)動作與人類動作在空間中保持一致，將重定位后的多模態(tài)體感數(shù)據(jù)轉(zhuǎn)換為點云數(shù)據(jù)，并將機器人的感知狀態(tài)加入點云數(shù)據(jù)中進行點云擴散，得到機器人的動作策略以及機器人動作的指令序列；

5、訓練模塊，用于利用機器人的動作策略以及機器人動作的指令序列訓練機器人模型，以使訓練好的機器人模型模仿人類動作。

6、可選地，在本發(fā)明的一個實施例中，所述體感數(shù)據(jù)采集模塊包括數(shù)據(jù)采集手套和全身體感設備；

7、所述數(shù)據(jù)采集手套上設置有多種傳感器，采集手部各關節(jié)位置的運動數(shù)據(jù)；

8、所述全身體感設備包括多種傳感器和攝像頭，用于采集全身動作和姿態(tài)的運動數(shù)據(jù)。

9、可選地，在本發(fā)明的一個實施例中，所述數(shù)據(jù)處理和轉(zhuǎn)換模塊具體用于利用逆運動學算法將全多模態(tài)體感數(shù)據(jù)映射到機器人的姿態(tài)中以及將人手的指尖位置和六自由度的手掌姿態(tài)映射到機器人手中。

10、可選地，在本發(fā)明的一個實施例中，所述數(shù)據(jù)處理和轉(zhuǎn)換模塊具體用于將重定位后的多模態(tài)體感數(shù)據(jù)轉(zhuǎn)換為點云數(shù)據(jù)，通過前向運動學將機器人模型的虛擬點云融入到轉(zhuǎn)換后的點云數(shù)據(jù)中。

11、可選地，在本發(fā)明的一個實施例中，所述數(shù)據(jù)處理和轉(zhuǎn)換模塊具體用于根據(jù)處理后的點云數(shù)據(jù)，并結合機器人的感知狀態(tài)生成動作策略，將點云觀測和機器人的狀態(tài)數(shù)據(jù)轉(zhuǎn)化為一系列預設的目標位置，輸出作為機器人動作的指令序列。

12、本發(fā)明第二方面實施例提供一種基于多模態(tài)體感數(shù)據(jù)的機器人模仿學習方法，包括以下步驟：

13、采集多模態(tài)體感數(shù)據(jù)；

14、將所述模態(tài)體感數(shù)據(jù)進行重定位，以使機器人的各身體關節(jié)動作與人類動作在空間中保持一致，將重定位后的多模態(tài)體感數(shù)據(jù)轉(zhuǎn)換為點云數(shù)據(jù)，并將機器人的感知狀態(tài)加入點云數(shù)據(jù)中進行點云擴散，得到機器人的動作策略以及機器人動作的指令序列；

15、利用機器人的動作策略以及機器人動作的指令序列訓練機器人模型，以使訓練好的機器人模型模仿人類動作。

16、可選地，在本發(fā)明的一個實施例中，所述采集多模態(tài)體感數(shù)據(jù)包括采集手部各關節(jié)位置的運動數(shù)據(jù)和全身動作和姿態(tài)的運動數(shù)據(jù)。

17、可選地，在本發(fā)明的一個實施例中，將所述模態(tài)體感數(shù)據(jù)進行重定位包括：

18、利用逆運動學算法將全多模態(tài)體感數(shù)據(jù)映射到機器人的姿態(tài)中以及將人手的指尖位置和六自由度的手掌姿態(tài)映射到機器人手中。

19、可選地，在本發(fā)明的一個實施例中，將重定位后的多模態(tài)體感數(shù)據(jù)轉(zhuǎn)換為點云數(shù)據(jù)，包括：

20、將重定位后的多模態(tài)體感數(shù)據(jù)轉(zhuǎn)換為點云數(shù)據(jù)，通過前向運動學將機器人模型的虛擬點云融入到轉(zhuǎn)換后的點云數(shù)據(jù)中。

21、可選地，在本發(fā)明的一個實施例中，將機器人的感知狀態(tài)加入點云數(shù)據(jù)中進行點云擴散，得到機器人的動作策略以及機器人動作的指令序列，包括：

22、根據(jù)處理后的點云數(shù)據(jù)，并結合機器人的感知狀態(tài)生成動作策略，將點云觀測和機器人的狀態(tài)數(shù)據(jù)轉(zhuǎn)化為一系列預設的目標位置，輸出作為機器人動作的指令序列。

23、本發(fā)明實施例的基于多模態(tài)體感數(shù)據(jù)的機器人模仿學習系統(tǒng)及方法，通過多模態(tài)體感數(shù)據(jù)進行模仿學習，不僅簡化了數(shù)據(jù)采集過程，提高了效率，還保持了很高的模仿學習精度，使得機器人能夠更加精確地復現(xiàn)人類的復雜動作。

24、本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

技術特征：

1.一種基于多模態(tài)體感數(shù)據(jù)的機器人模仿學習系統(tǒng)，其特征在于，包括：

2.根據(jù)權利要求1所述的系統(tǒng)，其特征在于，所述體感數(shù)據(jù)采集模塊包括數(shù)據(jù)采集手套和全身體感設備；

3.根據(jù)權利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理和轉(zhuǎn)換模塊具體用于利用逆運動學算法將全多模態(tài)體感數(shù)據(jù)映射到機器人的姿態(tài)中以及將人手的指尖位置和六自由度的手掌姿態(tài)映射到機器人手中。

4.根據(jù)權利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理和轉(zhuǎn)換模塊具體用于將重定位后的多模態(tài)體感數(shù)據(jù)轉(zhuǎn)換為點云數(shù)據(jù)，通過前向運動學將機器人模型的虛擬點云融入到轉(zhuǎn)換后的點云數(shù)據(jù)中。

5.根據(jù)權利要求4所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)處理和轉(zhuǎn)換模塊具體用于根據(jù)處理后的點云數(shù)據(jù)，并結合機器人的感知狀態(tài)生成動作策略，將點云觀測和機器人的狀態(tài)數(shù)據(jù)轉(zhuǎn)化為一系列預設的目標位置，輸出作為機器人動作的指令序列。

6.一種基于多模態(tài)體感數(shù)據(jù)的機器人模仿學習方法，其特征在于，包括以下步驟：

7.根據(jù)權利要求6所述的方法，其特征在于，所述采集多模態(tài)體感數(shù)據(jù)包括采集手部各關節(jié)位置的運動數(shù)據(jù)和全身動作和姿態(tài)的運動數(shù)據(jù)。

8.根據(jù)權利要求6所述的方法，其特征在于，將所述模態(tài)體感數(shù)據(jù)進行重定位包括：

9.根據(jù)權利要求6所述的方法，其特征在于，將重定位后的多模態(tài)體感數(shù)據(jù)轉(zhuǎn)換為點云數(shù)據(jù)，包括：

10.根據(jù)權利要求9所述的方法，其特征在于，將機器人的感知狀態(tài)加入點云數(shù)據(jù)中進行點云擴散，得到機器人的動作策略以及機器人動作的指令序列，包括：

技術總結
本發(fā)明公開了一種基于多模態(tài)體感數(shù)據(jù)的機器人模仿學習系統(tǒng)及方法，屬于模仿學習領域，本發(fā)明利用體感數(shù)據(jù)采集裝置，實時捕捉并分析人體在執(zhí)行特定任務時的多模態(tài)數(shù)據(jù)，并基于這些數(shù)據(jù)進行模仿學習訓練，得到機器人可執(zhí)行相同任務的策略。由此，本發(fā)明不僅簡化了數(shù)據(jù)采集過程，提高了效率，還保持了很高的模仿學習精度，使得機器人能夠更加精確地復現(xiàn)人類的復雜動作。

技術研發(fā)人員：陳張,羅謙,吳澤文,張晉博,程敏
受保護的技術使用者：億嘉和科技股份有限公司
技術研發(fā)日：
技術公布日：2025/1/9