本發(fā)明涉及一種靈巧手位姿檢測(cè)系統(tǒng)。具體地，是一種基于數(shù)字光柵投影的靈巧手三維位姿檢測(cè)系統(tǒng)。

背景技術(shù)：

1、機(jī)器人靈巧手，具身機(jī)器人與環(huán)境交互的末端執(zhí)行器，是人形機(jī)器人的重要部件，屬于深度仿生、柔性感知、微機(jī)電系統(tǒng)、高性能材料等前沿技術(shù)的交叉領(lǐng)域，是實(shí)現(xiàn)智能機(jī)器人技術(shù)變革躍遷的關(guān)鍵突破口。靈巧手以人手的結(jié)構(gòu)和功能為模仿對(duì)象，在機(jī)器人與環(huán)境的交互中起著關(guān)鍵作用。機(jī)器人靈巧手從結(jié)構(gòu)和功能上參考人手，能夠靈活操作對(duì)象，實(shí)現(xiàn)對(duì)物體的靈活抓取，滿足多種工作需求。多指靈巧手最普遍的手指數(shù)目為3-5個(gè)，各手指具有3個(gè)關(guān)節(jié)，手指關(guān)節(jié)的運(yùn)動(dòng)副都是采用轉(zhuǎn)動(dòng)副。

2、靈巧性、抓取能力、可靠性是衡量靈巧手性能的三大要素，應(yīng)用場(chǎng)景各有側(cè)重。

3、靈巧手的靈巧性，主要由靈巧手的自由度和執(zhí)行器數(shù)目共同決定，自由度數(shù)目越高則意味著靈巧手能實(shí)現(xiàn)更多樣的抓取動(dòng)作?，F(xiàn)有靈巧手方案主要實(shí)現(xiàn)的是各手指關(guān)節(jié)的旋轉(zhuǎn)自由度和拇指向內(nèi)閉合的自由度，執(zhí)行器數(shù)目決定能獨(dú)立控制的自由度數(shù)目的多少。

4、靈巧手的可靠性，是指靈巧手在長(zhǎng)時(shí)間運(yùn)作和在各種條件下的性能穩(wěn)定性和故障率特性，也是靈巧手各機(jī)構(gòu)裝置綜合性能的體現(xiàn)。以目前大多數(shù)使用的繩驅(qū)方式為例，其在大負(fù)載下的功能實(shí)現(xiàn)和使用壽命都和實(shí)踐的人手有很大的差距，若實(shí)現(xiàn)高可靠性需要使用更多的執(zhí)行器或更為復(fù)雜的傳感方案。

5、但是，如何評(píng)估靈巧手的性能優(yōu)劣，目前國(guó)內(nèi)外并沒(méi)有標(biāo)準(zhǔn)規(guī)范，更沒(méi)有滿足靈巧手性能檢測(cè)的技術(shù)手段與設(shè)備。其中，每個(gè)手指指尖的三維位置與姿態(tài)的實(shí)時(shí)同步檢測(cè)，是最大的技術(shù)難點(diǎn)。。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)現(xiàn)有機(jī)器人靈巧手行業(yè)缺少符合要求的指尖三維位姿檢測(cè)手段的現(xiàn)狀，提出一種基于數(shù)字光柵投影的靈巧手三維位姿檢測(cè)系統(tǒng)。該檢測(cè)系統(tǒng)采用兩個(gè)相機(jī)和一個(gè)數(shù)字光柵投影儀實(shí)現(xiàn)雙目立體結(jié)構(gòu)光測(cè)量，投影儀居中，兩個(gè)相機(jī)分列左右。投影儀向靈巧手連續(xù)投射一幅具有相移的多色編碼圖案，左右兩個(gè)相機(jī)同步獲取靈巧手區(qū)域圖像。采用rgb分量分離和多步相移法，獲取靈巧手上各點(diǎn)的圖像像素坐標(biāo)。根據(jù)結(jié)構(gòu)光三角測(cè)量原理實(shí)現(xiàn)像素-高度映射，得到個(gè)點(diǎn)的空間三維坐標(biāo)值。采用圖像閾值與三維模型融合分類(lèi)方法，對(duì)各個(gè)手指進(jìn)行分割，提取每個(gè)手指的三位輪廓。采用數(shù)據(jù)擬合方法提取每個(gè)手指指尖的三維輪廓模型，通過(guò)計(jì)算獲得每個(gè)指尖的三維位置及其姿態(tài)信息。最后，對(duì)左右兩個(gè)相機(jī)圖像獲得的每個(gè)指尖的三維位置及其姿態(tài)信息進(jìn)行融合，得到最終的每個(gè)指尖的三維位置及其姿態(tài)信息，實(shí)現(xiàn)靈巧手的靈活性與穩(wěn)定性檢測(cè)。由于可以拍攝一幅圖像，即可獲得多幅相移圖像，實(shí)現(xiàn)目標(biāo)三維檢測(cè)，因而具有速度快、分辨率高、穩(wěn)定性強(qiáng)的突出優(yōu)勢(shì)。

2、本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

3、本發(fā)明的基于數(shù)字光柵投影的靈巧手三維位姿檢測(cè)系統(tǒng)的特殊之處在于，所述的檢測(cè)系統(tǒng)包括檢測(cè)器和控制器兩個(gè)部分，二者通過(guò)電纜相連，所述的檢測(cè)器含有相機(jī)、鏡頭、投影儀、濾光片、同步器幾個(gè)部分，其中：

4、所述的相機(jī)為工業(yè)級(jí)彩色面陣相機(jī)，共有兩個(gè)，分別位于檢測(cè)器內(nèi)部的左右兩側(cè)，具有外觸發(fā)功能，負(fù)責(zé)獲取視場(chǎng)內(nèi)的彩色圖像；

5、所述的鏡頭為工業(yè)級(jí)鏡頭，共有兩個(gè)，分布安裝于左右兩個(gè)相機(jī)之上，負(fù)責(zé)將視場(chǎng)圖像成像到相機(jī)的像面之上；

6、所述的投影儀為工業(yè)級(jí)數(shù)字光柵投影儀，可以投射一幅多種顏色的相移編碼圖案，每一種顏色對(duì)應(yīng)一種相移，以便實(shí)現(xiàn)結(jié)構(gòu)光三維檢測(cè)；

7、所述的濾光片為多帶通濾光片，通帶的數(shù)量與投影儀投射的相移編碼圖案的顏色一致，每個(gè)通帶的中心波長(zhǎng)與投影儀投射的相移編碼圖案顏色中心波長(zhǎng)一致，以便濾除環(huán)境光干擾，對(duì)檢測(cè)器起到保護(hù)、密封、防塵、防水的作用；

8、所述的同步器為純邏輯電路，同步觸發(fā)左右兩個(gè)相機(jī)捕獲圖像，減小同步誤差；

9、所述的控制器為高性能一體式工控機(jī)，具有觸摸屏，向投影儀發(fā)送多種顏色的相移編碼圖案信息，并同步讀取左右兩個(gè)相機(jī)的圖像數(shù)據(jù)，通過(guò)rgb分量分離與數(shù)據(jù)處理分別得到所有手指的三維輪廓與姿態(tài)信息，最后，對(duì)左右兩個(gè)相機(jī)圖像獲得的每個(gè)指尖的三維位置及其姿態(tài)信息進(jìn)行融合，得到最終的每個(gè)指尖的三維位置及其姿態(tài)信息。

10、本發(fā)明的基于數(shù)字光柵投影的靈巧手三維位姿檢測(cè)系統(tǒng)的工作過(guò)程如下：首先，在控制器的控制下，投影儀向靈巧手所在的區(qū)域投射一幅多種顏色的相移編碼圖案。然后，控制器控制同步器同時(shí)觸發(fā)左右兩個(gè)相機(jī)，同步將視場(chǎng)圖像傳送至控制器。此后，控制器通過(guò)rgb分量分離和結(jié)構(gòu)光相移輪廓原理，分別得到所有手指的三維輪廓與姿態(tài)信息。最后，對(duì)左右兩個(gè)相機(jī)圖像獲得的每個(gè)指尖的三維位置及其姿態(tài)信息進(jìn)行融合，得到最終的每個(gè)指尖的三維位置及其姿態(tài)信息。

11、本發(fā)明的基于數(shù)字光柵投影的靈巧手三維位姿檢測(cè)系統(tǒng)的特殊之處還在于，所述的濾光片為多帶通濾光片，通帶的數(shù)量與投影儀投射的相移編碼圖案的顏色一致，每個(gè)通帶的中心波長(zhǎng)與投影儀投射的相移編碼圖案顏色中心波長(zhǎng)一致，以便濾除環(huán)境光干擾，對(duì)檢測(cè)器起到保護(hù)、密封、防塵、防水的作用。

12、本發(fā)明提出一種基于上述的基于數(shù)字光柵投影的靈巧手三維位姿檢測(cè)系統(tǒng)的靈巧手指尖三維位姿檢測(cè)方法，具體如下：

13、（1）在控制器的控制下，投影儀向靈巧手所在區(qū)域投射一幅多種顏色的相移編碼圖案，每一種顏色對(duì)應(yīng)一種相移；

14、（2）控制器控制同步器同時(shí)觸發(fā)左右兩個(gè)鏡頭，同步將視場(chǎng)圖像成像到兩個(gè)相機(jī)的像面之上，并將圖像傳送至控制器；

15、（3）控制器分別提取左右兩個(gè)相機(jī)捕獲的圖像，提取rgb分量數(shù)據(jù)，獲得多福相移編碼圖案的圖像；

16、（4）控制器采用多步相移法，獲取靈巧手上各特征點(diǎn)的圖像像素坐標(biāo)；

17、（5）控制器根據(jù)結(jié)構(gòu)光三角測(cè)量原理實(shí)現(xiàn)像素-高度映射，得到每個(gè)點(diǎn)的空間三維坐標(biāo)值；

18、（6）控制器采用圖像閾值與三維模型融合分類(lèi)方法，對(duì)各個(gè)手指進(jìn)行分割，提取每個(gè)手指的三位輪廓；

19、（7）控制器采用數(shù)據(jù)擬合方法提取每個(gè)手指指尖的三維輪廓模型，通過(guò)計(jì)算獲得每個(gè)指尖的三維位置及其姿態(tài)信息；

20、（8）對(duì)左右兩個(gè)相機(jī)圖像獲得的每個(gè)指尖的三維位置及其姿態(tài)信息進(jìn)行平均處理，得到最終的每個(gè)指尖的三維位置及其姿態(tài)信息。

技術(shù)特征：

1.一種基于數(shù)字光柵投影的靈巧手三維位姿檢測(cè)系統(tǒng)的特殊之處在于，所述的檢測(cè)系統(tǒng)包括檢測(cè)器和控制器兩個(gè)部分，二者通過(guò)電纜相連，所述的檢測(cè)器含有相機(jī)、鏡頭、投影儀、濾光片、同步器幾個(gè)部分，其中：

2.根據(jù)權(quán)利要求1所述的基于數(shù)字光柵投影的靈巧手三維位姿檢測(cè)系統(tǒng)，其特征還在于：所述的濾光片為多帶通濾光片，通帶的數(shù)量與投影儀投射的相移編碼圖案的顏色一致，每個(gè)通帶的中心波長(zhǎng)與投影儀投射的相移編碼圖案顏色中心波長(zhǎng)一致。

3.本發(fā)明提出一種基于上述的基于數(shù)字光柵投影的靈巧手三維位姿檢測(cè)系統(tǒng)的檢測(cè)方法，具體如下：

技術(shù)總結(jié)
本發(fā)明公開(kāi)一種基于數(shù)字光柵投影的靈巧手三維位姿檢測(cè)系統(tǒng)。投影儀向靈巧手連續(xù)投射一幅具有相移的多色編碼圖案，左右兩個(gè)相機(jī)同步獲取靈巧手區(qū)域圖像。采用RGB分量分離和多步相移法，獲取靈巧手上各點(diǎn)的圖像像素坐標(biāo)。根據(jù)結(jié)構(gòu)光三角測(cè)量原理實(shí)現(xiàn)像素?高度映射，得到個(gè)點(diǎn)的空間三維坐標(biāo)值。采用圖像閾值與三維模型融合分類(lèi)方法，對(duì)各個(gè)手指進(jìn)行分割，提取每個(gè)手指的三位輪廓。采用數(shù)據(jù)擬合方法提取每個(gè)手指指尖的三維輪廓模型，通過(guò)計(jì)算獲得每個(gè)指尖的三維位置及其姿態(tài)信息。最后，對(duì)左右兩個(gè)相機(jī)圖像獲得的每個(gè)指尖的三維位置及其姿態(tài)信息進(jìn)行融合，得到最終的每個(gè)指尖的三維位置及其姿態(tài)信息，實(shí)現(xiàn)靈巧手的靈活性與穩(wěn)定性檢測(cè)。

技術(shù)研發(fā)人員：趙輝
受保護(hù)的技術(shù)使用者：上海釗晟傳感技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9