本文描述的技術(shù)的各方面涉及將機器人配置成與設(shè)備對接。特別地,本文描述的技術(shù)涉及使用計算機視覺技術(shù)來促進將機器人對準(zhǔn)到設(shè)備,使得機器人可以與設(shè)備對接以執(zhí)行任務(wù)。
背景技術(shù):
1、機器人在各種各樣的工業(yè)環(huán)境(諸如例如,制造設(shè)施、工廠、倉庫、組裝線和履行中心)中被用于范圍廣泛的應(yīng)用。一些機器人具有機械臂,這些機械臂可以用于對物體執(zhí)行任務(wù)。例如,機械臂可以在一個位置中拾取物體(例如,使用夾持器、真空吸力等)并且將其放置在另一個位置中(例如,將物體放置在擱架、可移動平臺、組裝線等上)。作為另一個示例,機械臂可以將工具(例如,鉆機、螺絲刀、焊接機等)施加到物體(例如,機械臂可以配備有鉆機并且可以在物體中鉆出孔)。
2、在工業(yè)環(huán)境中由機器人執(zhí)行的許多任務(wù)可以是協(xié)作的,并且可以涉及機器人與設(shè)備對接,且因而可能需要將機器人和/或其部件相對于設(shè)備移動到特定位置和/或取向以執(zhí)行任務(wù)。例如,具有機械臂的機器人可以通過拾取物體并且將其放置在輸送帶上來與具有輸送帶的設(shè)備對接。例如,機器人可以將物體(例如,瓶子)放置在貼標(biāo)簽機器(或任何其他合適的機器)的輸送帶上,使得貼標(biāo)簽機器可以將標(biāo)簽施加在物體上(或?qū)ξ矬w執(zhí)行任何其他合適的動作)。作為另一個示例,具有機械臂的機器人可以將工具(例如,鉆機)施加到由另一個機械臂固持的物體。作為又一示例,機械臂可以將物體放置到移動的自主引導(dǎo)車輛(agv)上。作為又一示例,具有機械臂的機器人可以將物體放置到托盤上。
3、為了使機器人通過與設(shè)備對接來執(zhí)行協(xié)作任務(wù),機器人首先必須對準(zhǔn)到設(shè)備(有時稱為“配準(zhǔn)到設(shè)備”或“校準(zhǔn)到設(shè)備”),使得機器人能夠在機器人的坐標(biāo)系中獲取相對于設(shè)備的、機器人將在執(zhí)行協(xié)作任務(wù)期間使其部件中的一個或多個移動到的精確位置。例如,如果機器人將要使用其機械臂將物體放置在具有輸送帶的機器上,則將機器人與機器對準(zhǔn)使得機器人能夠在其自身的坐標(biāo)系(例如,機器人在其中控制其機械臂的坐標(biāo)系)中確定輸送帶的位置以及輸送帶上將放置物體的位置,且因此確定機械臂的端部執(zhí)行器為執(zhí)行這項任務(wù)而要移動到的精確位置。
4、另外,將機器人對準(zhǔn)到設(shè)備使得機器人能夠?qū)⑵錂C械臂相對于設(shè)備移動到目標(biāo)位置,同時避免機器人與設(shè)備(或其他事物)之間的無意中接觸,以避免對機器人、設(shè)備、正處理的物體等造成損壞。例如,在用于給瓶子(例如,制藥公司組裝線中的小瓶)貼標(biāo)簽的組裝線中,機器人需要與貼標(biāo)簽機器對準(zhǔn),使得機械臂可以將瓶子從機器處的一個位置(例如,儲存托盤)移動到另一個位置(例如,輸送帶)。
5、需要機器人與它所對接的任何設(shè)備之間的精確對準(zhǔn),因為機器人的操作會引入風(fēng)險,特別是如果機器人未被監(jiān)督。例如,機器人與貼標(biāo)簽機器之間的未對準(zhǔn)可能導(dǎo)致機械臂對瓶子的處理不當(dāng),這可能引起瓶子破損、對機器人造成損壞和/或?qū)N標(biāo)簽機器造成損壞。
技術(shù)實現(xiàn)思路
1、一些實施例提供了一種用于將機器人配置成與設(shè)備對接以執(zhí)行任務(wù)的系統(tǒng),該機器人包括機械臂,該系統(tǒng)包括:至少一個成像傳感器;以及至少一個處理器,該至少一個處理器被配置成:(a)獲取設(shè)備的由該至少一個成像傳感器捕獲的至少一個圖像;(b)確定至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的至少一個當(dāng)前位置,其中,該至少一個對準(zhǔn)特征是設(shè)備的一部分或在設(shè)備上;(c)使用該至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的該至少一個當(dāng)前位置來確定機器人和設(shè)備的當(dāng)前對準(zhǔn)相對于機器人和設(shè)備的先前對準(zhǔn)之間的對準(zhǔn)差異;以及(d)基于對準(zhǔn)差異將機器人配置成與設(shè)備對接。
2、一些實施例提供了一種用于將機器人配置成使用至少一個成像傳感器與設(shè)備對接以執(zhí)行任務(wù)的方法,該機器人包括機械臂,該方法包括使用至少一個處理器來執(zhí)行:(a)獲取設(shè)備的由該至少一個成像傳感器捕獲的至少一個圖像;(b)確定至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的至少一個當(dāng)前位置,其中,該至少一個對準(zhǔn)特征是設(shè)備的一部分或在設(shè)備上;(c)使用該至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的該至少一個當(dāng)前位置來確定機器人和設(shè)備的當(dāng)前對準(zhǔn)相對于機器人和設(shè)備的先前對準(zhǔn)之間的對準(zhǔn)差異;以及(d)基于對準(zhǔn)差異將機器人配置成與設(shè)備對接。
3、一些實施例提供了存儲處理器可執(zhí)行指令的至少一個非暫時性計算機可讀介質(zhì),這些處理器可執(zhí)行指令在由至少一個計算機硬件處理器執(zhí)行時引起該至少一個計算機硬件處理器執(zhí)行一種用于將機器人配置成使用至少一個成像傳感器與設(shè)備對接以執(zhí)行任務(wù)的方法,該機器人包括機械臂,該方法包括使用至少一個處理器來執(zhí)行:(a)獲取設(shè)備的由該至少一個成像傳感器捕獲的至少一個圖像;(b)確定至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的至少一個當(dāng)前位置,其中,該至少一個對準(zhǔn)特征是設(shè)備的一部分或在設(shè)備上;(c)使用該至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的該至少一個當(dāng)前位置來確定機器人和設(shè)備的當(dāng)前對準(zhǔn)相對于機器人和設(shè)備的先前對準(zhǔn)之間的對準(zhǔn)差異;以及(d)基于對準(zhǔn)差異將機器人配置成與設(shè)備對接。
4、一些實施例提供了一種用于將第一設(shè)備配置成與第二設(shè)備對接以執(zhí)行任務(wù)的系統(tǒng),該系統(tǒng)包括:至少一個成像傳感器;以及至少一個處理器,該至少一個處理器被配置成:(a)獲取第二設(shè)備的由該至少一個成像傳感器捕獲的至少一個圖像;(b)確定至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的至少一個當(dāng)前位置,其中,該至少一個對準(zhǔn)特征是第二設(shè)備的一部分或在第二設(shè)備上;(c)使用該至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的該至少一個當(dāng)前位置來確定第一設(shè)備和第二設(shè)備的當(dāng)前對準(zhǔn)相對于第一設(shè)備和第二設(shè)備的先前對準(zhǔn)之間的對準(zhǔn)差異;以及(d)基于對準(zhǔn)差異將第一設(shè)備配置成與第二設(shè)備對接。
5、一些實施例提供了一種用于將第一設(shè)備配置成與第二設(shè)備對接以執(zhí)行任務(wù)的方法,該方法包括使用至少一個處理器來執(zhí)行:(a)獲取第二設(shè)備的由該至少一個成像傳感器捕獲的至少一個圖像;(b)確定至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的至少一個當(dāng)前位置,其中,該至少一個對準(zhǔn)特征是第二設(shè)備的一部分或在第二設(shè)備上;(c)使用該至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的該至少一個當(dāng)前位置來確定第一設(shè)備和第二設(shè)備的當(dāng)前對準(zhǔn)相對于第一設(shè)備和第二設(shè)備的先前對準(zhǔn)之間的對準(zhǔn)差異;以及(d)基于對準(zhǔn)差異將第一設(shè)備配置成與第二設(shè)備對接。
6、一些實施例提供了存儲處理器可執(zhí)行指令的至少一個非暫時性計算機可讀介質(zhì),這些處理器可執(zhí)行指令在由至少一個計算機硬件處理器執(zhí)行時引起該至少一個計算機硬件處理器執(zhí)行一種用于將第一設(shè)備配置成與第二設(shè)備對接以執(zhí)行任務(wù)的方法,該方法包括使用至少一個處理器來執(zhí)行:(a)獲取第二設(shè)備的由該至少一個成像傳感器捕獲的至少一個圖像;(b)確定至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的至少一個當(dāng)前位置,其中,該至少一個對準(zhǔn)特征是第二設(shè)備的一部分或在第二設(shè)備上;(c)使用該至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的該至少一個當(dāng)前位置來確定第一設(shè)備和第二設(shè)備的當(dāng)前對準(zhǔn)相對于第一設(shè)備和第二設(shè)備的先前對準(zhǔn)之間的對準(zhǔn)差異;以及(d)基于對準(zhǔn)差異將第一設(shè)備配置成與第二設(shè)備對接。
7、一些實施例提供了一種用于將機器人配置成使用兩階段對準(zhǔn)程序與設(shè)備對接以執(zhí)行任務(wù)的方法,該機器人包括機械臂,該方法包括:(1)使用一個或多個機械裝置和/或一個或多個傳感器來將機器人與設(shè)備初始地對準(zhǔn);以及(2)使用設(shè)備的由至少一個成像傳感器捕獲的至少一個圖像來將機器人與設(shè)備進一步對準(zhǔn),該進一步對準(zhǔn)包括使用至少一個處理器來執(zhí)行:(a)獲取設(shè)備的由至少一個成像傳感器捕獲的至少一個圖像;(b)確定至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的至少一個當(dāng)前位置,其中,該至少一個對準(zhǔn)特征是設(shè)備的一部分或在設(shè)備上;(c)使用該至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的該至少一個當(dāng)前位置來確定機器人和設(shè)備的當(dāng)前對準(zhǔn)相對于機器人和設(shè)備的先前對準(zhǔn)之間的對準(zhǔn)差異;以及(d)基于對準(zhǔn)差異將機器人配置成與設(shè)備對接。
8、一些實施例提供了存儲處理器可執(zhí)行指令的至少一個非暫時性計算機可讀介質(zhì),這些處理器可執(zhí)行指令在由至少一個計算機硬件處理器執(zhí)行時引起該至少一個計算機硬件處理器執(zhí)行一種用于將機器人配置成使用兩階段對準(zhǔn)程序與設(shè)備對接以執(zhí)行任務(wù)的方法,該機器人包括機械臂,該方法包括:(1)使用一個或多個機械裝置和/或一個或多個傳感器來將機器人與設(shè)備初始地對準(zhǔn);以及(2)使用設(shè)備的由至少一個成像傳感器捕獲的至少一個圖像來將機器人與設(shè)備進一步對準(zhǔn),該進一步對準(zhǔn)包括使用至少一個處理器來執(zhí)行:(a)獲取設(shè)備的由至少一個成像傳感器捕獲的至少一個圖像;(b)確定至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的至少一個當(dāng)前位置,其中,該至少一個對準(zhǔn)特征是設(shè)備的一部分或在設(shè)備上;(c)使用該至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的該至少一個當(dāng)前位置來確定機器人和設(shè)備的當(dāng)前對準(zhǔn)相對于機器人和設(shè)備的先前對準(zhǔn)之間的對準(zhǔn)差異;以及(d)基于對準(zhǔn)差異將機器人配置成與設(shè)備對接。
9、一些實施例提供了一種用于將機器人配置成使用兩階段對準(zhǔn)程序與設(shè)備對接以執(zhí)行任務(wù)的系統(tǒng),該機器人包括機械臂,該系統(tǒng)包括:至少一個成像傳感器;以及至少一個處理器,該至少一個處理器被配置成:在使用一個或多個機械裝置和/或一個或多個傳感器來將機器人與設(shè)備初始地對準(zhǔn)之后,執(zhí)行使用設(shè)備的由至少一個成像傳感器捕獲的至少一個圖像來將機器人與設(shè)備進一步對準(zhǔn),該進一步對準(zhǔn)包括:(a)獲取設(shè)備的由至少一個成像傳感器捕獲的至少一個圖像;(b)確定至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的至少一個當(dāng)前位置,其中,該至少一個對準(zhǔn)特征是設(shè)備的一部分或在設(shè)備上;(c)使用該至少一個對準(zhǔn)特征在該至少一個被捕獲圖像中的該至少一個當(dāng)前位置來確定機器人和設(shè)備的當(dāng)前對準(zhǔn)相對于機器人和設(shè)備的先前對準(zhǔn)之間的對準(zhǔn)差異;以及(d)基于對準(zhǔn)差異將機器人配置成與設(shè)備對接。