本發(fā)明涉及人工智能，具體涉及一種機器人草莓采摘擬人操作數據收集設備及其數據處理方法。

背景技術：

1、雖然自1998年以來，許多研究人員已經研究了草莓的機器人收獲，設計了多種根據程序來進行自動化草莓采摘的機器人，但目前還沒有商業(yè)化的草莓收獲機器人系統(tǒng)。其中很重要的原因是農業(yè)機器人在進行草莓采摘時面臨在復雜的非結構化生物環(huán)境下操作可形變操作對象，在這樣充滿剛柔混合障礙物并無法精準的操作空間下安全操作的是非常困難的。不僅要感知目標果實，還要感知整個復雜場景，充分理解葉子、蒸汽、果實、障礙物以及它們之間的空間關系，所有物體的物理性質也需要最終計算出一種策略，避免障礙物，推開雜亂的軟物體，并到達目標果實莖上正上方花萼的精確采摘點。這在機器人各個方面都提出了巨大的挑戰(zhàn)，包括場景理解、深度估計、軌跡規(guī)劃和控制，這些都處于或超越了當前最先進的機器人系統(tǒng)的水平。然而，最近出現的新一代模仿學習方法，包括動作分塊transformer(act)和擴散策略方法(dp)革命性地解決了機器人操縱的長期難題，該難題需要與非標準非剛性物體進行細粒度的視覺閉環(huán)交互。以前非常困難的機器人技能，如折疊衣服、穿線束、倒醬汁和在披薩面團上涂抹，現在可以通過學習人的示教操作來讓機器人掌握復雜的技能，這也為通過模仿人類操作來讓機器人學會草莓采摘提供了新的可能。

2、但是在這一類模仿學習的中，人的示教數據的獲取至為關鍵，當前的業(yè)界和學術界一般通過孿生的機械臂進行數據收集，這樣的數據收集裝置具有和機械臂相同的尺寸和自由度，由人直接在現場進行遙操作來進行機器人操作的數據收集，好處在于這套系統(tǒng)能夠完全復刻機器人操作并且獲取每一個關節(jié)的角度信息以利于之后的模仿學習過程，但是這樣的系統(tǒng)受限于成本、提及和數據采集的方便性，只能進行小范圍小規(guī)模的數據采集，并且這樣的系統(tǒng)很難走出實驗室空間到狹小逼仄且復雜的農業(yè)場景進行使用。

3、另一類的數據收集方法是通過vr設備進行遙操作，機器人示教員佩戴vr頭顯，通過vr設備識別人的手臂及手指(或者vr手柄)位姿并且映射到機器人的執(zhí)行器姿態(tài)來收集機器人操作數據。這一類的遙操作數據收集系統(tǒng)具備體積小且可商品化的優(yōu)點，但是其也存在著力反饋缺失、操作員空間感受與實際存在差距、只適配人形機器人的缺點，并且目前精度足夠的vr設備價格依然很高(一般為apple?vision?pro)。

4、因此目前需要一套能夠實現低成本、輕便且能夠大規(guī)模在農業(yè)場景中收集能夠提供給機器人學習的人工操作數據的收集裝置。這套裝置的目標是能夠不與具體的機器人綁定，能夠通過大批量的分發(fā)給草莓采摘工人，大量草莓采摘工人通過該設備實際的進行草莓采摘，采摘的操作數據在這個過程中被記錄下來并且通過一系列的數據處理方法恢復成三維空間的機械臂執(zhí)行器末端軌跡數據及執(zhí)行器開度數據，從而使得這樣的數據能夠作為機器人模仿學習草莓采摘的可用數據，通過這種設備能夠構建一個遠大于當前模仿學習數據集所擁有數據數量級的機器人草莓采摘動作數據集，從而通過數據驅動讓機器人學會草莓采摘操作。

技術實現思路

1、本發(fā)明目的在于通過創(chuàng)新的硬件和算法方案構建一套用于訓練機器人進行草莓采摘作業(yè)的擬人模仿學習數據采集裝置，該裝置和對應算法的目標是能夠低成本大規(guī)模的通過實際人工草莓采摘的工作收集并且處理產生大量三維空間的機械臂執(zhí)行器末端軌跡數據及執(zhí)行器開度數據作為機器人模仿學習草莓采摘的可用數據，從而驅動機器人具身智能算法訓練。

2、基于上述的目的，本發(fā)明提供了一種機器人草莓采摘擬人操作數據收集設備，包括：安裝平臺；手持握把，設于所述安裝平臺的下方；

3、采摘執(zhí)行器結構，設于所述安裝平臺的上方前端，包括一對伸出所述安裝平臺的采摘指，每個采摘指通過一個安裝座與所述安裝平臺滑動連接，所述安裝平臺上設有兩組滑軌，兩個安裝座上分別設有與其中一組滑軌配合的滑塊；兩個安裝座各設有一個向下伸過所述安裝平臺的操作桿；每個安裝座上還設有一個執(zhí)行器開度定位輔助標簽；

4、雙目相機，設于所述安裝平臺上，所述雙目相機的視場角度能夠看到所述采摘指和執(zhí)行器開度定位輔助標簽；所述雙目相機中內置慣性測量單元(imu)，用于采集慣性測量單元數據；

5、使用時，操作者手持所述手持握把，并通過操作桿控制兩個采摘指移動，再由所述雙目相機采集所述采摘指的開度和空間姿態(tài)信息。

6、本設備裝備空間姿態(tài)傳感器：1、雙目相機；2、imu。imu內置在雙目相機的內部，所以采集的初級數據為雙目視頻+imu數據，經過處理后獲得的次級信息為：1.開度信息；2.空間位姿信息。

7、優(yōu)選的，所述雙目相機設于所述安裝平臺的上方后端。可以確保相機具有更好的視野來捕捉采摘指和執(zhí)行器開度定位輔助標簽的動態(tài)變化。這種布局有助于減少視野盲區(qū)，提高數據采集的準確性和完整性。

8、進一步地，所述雙目相機通過雙目相機安裝座安裝在所述安裝平臺上，所述雙目相機安裝座包括水平安裝板和豎直安裝板；

9、所述安裝平臺上設有第一固定螺孔，所述水平安裝板上設有沿前后方向延伸的第一腰型孔，所述雙目相機安裝座通過穿過所述第一腰型孔并與所述第一固定螺孔配合的第一螺栓固定；

10、所述雙目相機背面設有第二固定螺孔，所述豎直安裝板上設有沿豎直方向延伸的第二腰型孔，所述雙目相機安裝座通過穿過所述第二腰型孔并與所述第二固定螺孔配合的第二螺栓固定。

11、上述設置提供了更大的靈活性和可調節(jié)性，通過腰型孔和螺栓的配合，可以方便地固定和調整雙目相機的位置，同時保證安裝的牢固性。這種設計既提供了靈活性，又確保了采集過程中的穩(wěn)定性。

12、優(yōu)選的，每組所述滑軌為一條，兩條所述滑軌成線性排列成一排，并且兩條所述滑軌相連在一起或兩條之間具有間隔；

13、所述安裝平臺上還設有擋塊，所述擋塊位于兩個安裝座中間、用于對兩個安裝座在相互靠近方向進行限位，限制了采摘指過度靠近，防止了潛在的損壞或干擾。

14、優(yōu)選的，兩個所述操作桿位于所述手持握把的上前方，使用時，操作者單手手持所述手持握把并操作兩個所述操作桿移動，提高了操作的便捷性和效率，使得數據采集過程更加流暢。

15、優(yōu)選的，在本發(fā)明中所述安裝平臺上還設有用于將兩個所述操作桿自動復位到相互遠離位置的復位牛筋或復位彈簧，減少人工干預，提高了數據采集的連續(xù)性和效率。

16、優(yōu)選的，每個所述安裝座上具有一個向上伸出的標簽設置板，所述標簽設置板朝向所述雙目相機一側設有執(zhí)行器開度定位輔助標簽。

17、本發(fā)明所述機器人草莓采摘擬人操作數據收集設備還包括數據處理儀，所述數據處理儀通過數據線連接所述雙目相機并存儲雙目相機采集到的信息。

18、本發(fā)明還提供了一種機器人草莓采摘擬人操作數據處理方法，使用所述機器人草莓采摘擬人操作數據收集設備來采集草莓采摘擬人操作數據，收集的數據處理獲得兩個所述采摘指的開度信息以及空間位姿信息，再加上所述雙目相機采集的視頻信息、imu數據信息，四方面數據信息均打上對應的時間戳后組成草莓采摘機器人訓練所需要的數據。

19、本發(fā)明的有益效果：

20、采用本發(fā)明套機器人草莓采摘擬人操作數據收集設備及其數據處理方法可以極大的提高機器人擬人數據的采集效率，與孿生臂相比，單人采集數據的效率提升十倍以上，并且可以低成本復制該采集設計并分發(fā)多人眾包采集數據而無需機器人實體。該設備的實時性也滿足實時同步遙控機器人?？偟膩碚f該擬人操作數據收集設備及其數據處理方法對構建大規(guī)模的農業(yè)草莓采摘機器人訓練數據以及獲取具身智能機器人具有重要效率提升意義。