本發(fā)明涉及分揀機器人領域，特別涉及非剛性物體分揀方法和裝置。

背景技術(shù)：

近年來，視覺輔助系統(tǒng)在工業(yè)現(xiàn)場中的應用越來越多，3d相機也逐步在生活和工業(yè)中進行相應的使用。stein等人使用kinect完成數(shù)據(jù)的采集工作，并在深度圖上進行物體的分割和抓取工作，但是該論文中主要針對的是在邊緣上有較明顯變化的剛性物體，而對于一些如毛絨玩具、數(shù)據(jù)線、耳機線等易形變的非剛性物體則沒有進行相關處理和研究。在工業(yè)現(xiàn)場中，無法對不規(guī)則、無cad模型、易形變的物料進行有效的分揀，不利于生產(chǎn)自動化的實現(xiàn)。

技術(shù)實現(xiàn)要素：

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供非剛性物體分揀方法和裝置，其能解決現(xiàn)有的分揀方法和裝置無法對不規(guī)則、無cad模型、易形變的物料進行有效的分揀，不利于生產(chǎn)自動化的實現(xiàn)的問題。

本發(fā)明的目的采用以下技術(shù)方案實現(xiàn)：

非剛性物體分揀方法，包括以下步驟：

獲取標定數(shù)據(jù)，所述標定數(shù)據(jù)包括臂端相機、3d相機的外參數(shù)；

將3d相機采集的深度圖像處理為初始點云數(shù)據(jù)；

根據(jù)所述標定數(shù)據(jù)將所述初始點云數(shù)據(jù)進行坐標轉(zhuǎn)換，得到基礎點云數(shù)據(jù)；

對所述基礎點云數(shù)據(jù)進行初始分割；

對所述初始分割的結(jié)果進行位姿估計；

根據(jù)所述位姿估計的結(jié)果對物體進行抓取。

優(yōu)選的，所述非剛性物體分揀方法還包括以下步驟：

如果所述位姿估計的結(jié)果不滿足非重疊條件，則對所述基礎點云數(shù)據(jù)進行z軸濾波分割，并對所述z軸濾波分割的結(jié)果進行位姿估計。

優(yōu)選的，所述對所述基礎點云數(shù)據(jù)進行z軸濾波分割，并對所述z軸濾波分割的結(jié)果進行位姿估計，具體的，包括以下子步驟：

對所述基礎點云數(shù)據(jù)進行z軸濾波分割時，記錄z軸濾波分割的次數(shù)與濾波分割的高度值；

對所述z軸濾波分割的結(jié)果進行位姿估計時，根據(jù)所述z軸濾波分割的次數(shù)與濾波分割的高度值進行位姿的恢復。

優(yōu)選的，所述非重疊條件具體為：所述位姿估計的結(jié)果中物體的尺寸不大于預設尺寸，所述預設尺寸是根據(jù)所述非剛性物體的尺寸計算的。

優(yōu)選的，所述非剛性物體分揀方法還包括以下步驟：

如果所述位姿估計的結(jié)果不滿足可抓取條件，則對所述物體進行撥動。

優(yōu)選的，所述可抓取條件具體為：所述位姿估計的結(jié)果中物體的尺寸小于限制尺寸，所述限制尺寸是根據(jù)所述非剛性物體的尺寸計算的。

優(yōu)選的，所述對所述物體進行撥動，具體的，包括以下子步驟：

計算撥動起始點；

判斷所述撥動起始點是否滿足撥動安全條件；

若滿足所述撥動安全條件，則對所述物體進行撥動；

若不滿足所述撥動安全條件，則調(diào)整所述撥動起始點。

優(yōu)選的，所述撥動安全條件具體為：所述撥動起始點的z軸坐標不低于撥動安全高度，所述撥動安全高度是根據(jù)撥動起始點沿z軸方向在所述位姿估計的結(jié)果中物體上投影的z軸坐標計算的。

優(yōu)選的，所述根據(jù)所述位姿估計的結(jié)果對物體進行抓取，具體的，包括以下子步驟：

根據(jù)所述位姿估計的結(jié)果計算抓取點；

判斷所述抓取點是否滿足抓取安全條件；

若滿足所述抓取安全條件，則對所述物體進行抓取。

優(yōu)選的，所述抓取安全條件具體為：所述抓取點的z軸坐標不低于抓取安全高度，所述抓取安全高度是根據(jù)抓取點沿z軸方向在所述位姿估計的結(jié)果中物體上投影的z軸坐標計算的。

本發(fā)明的目的還采可采用非剛性物體分揀裝置實現(xiàn)：

非剛性物體分揀裝置，其特征在于，包括：

獲取模塊，用于獲取標定數(shù)據(jù)，所述標定數(shù)據(jù)包括臂端相機、3d相機的外參數(shù)；

點云模塊，用于將3d相機采集的深度圖像處理為初始點云數(shù)據(jù)；

轉(zhuǎn)換模塊，用于根據(jù)所述標定數(shù)據(jù)將所述初始點云數(shù)據(jù)進行坐標轉(zhuǎn)換，得到基礎點云數(shù)據(jù)；

初始分割模塊，用于對所述基礎點云數(shù)據(jù)進行初始分割；

位姿估計模塊，用于對所述初始分割的結(jié)果進行位姿估計；

抓取模塊，用于根據(jù)所述位姿估計的結(jié)果對物體進行抓取。

優(yōu)選的，所述非剛性物體分揀裝置還包括：

濾波模塊，用于如果所述位姿估計的結(jié)果不滿足非重疊條件，則對所述基礎點云數(shù)據(jù)進行z軸濾波分割，并對所述z軸濾波分割的結(jié)果進行位姿估計。

優(yōu)選的，所述濾波模塊包括：

紀錄單元，用于對所述基礎點云數(shù)據(jù)進行z軸濾波分割時，記錄z軸濾波分割的次數(shù)與濾波分割的高度值；

恢復單元，用于對所述z軸濾波分割的結(jié)果進行位姿估計時，根據(jù)所述z軸濾波分割的次數(shù)與濾波分割的高度值進行位姿的恢復。

優(yōu)選的，所述抓取模塊包括：

第一計算單元，用于根據(jù)所述位姿估計的結(jié)果計算抓取點；

第一判斷單元，用于判斷所述抓取點是否滿足抓取安全條件；

抓取單元，用于若滿足所述抓取安全條件，則對所述物體進行抓取。

優(yōu)選的，所述非剛性物體分揀裝置還包括：

撥動模塊，用于如果所述位姿估計的結(jié)果不滿足可抓取條件，則對所述物體進行撥動。

優(yōu)選的，所述撥動模塊包括：

第二計算單元，用于計算撥動起始點；

第二判斷單元，用于判斷所述撥動起始點是否滿足撥動安全條件；

撥動單元，用于若滿足所述撥動安全條件，則對所述物體進行撥動；

第二調(diào)整單元，用于若不滿足所述撥動安全條件，則調(diào)整所述撥動起始點。

本發(fā)明的目的還采可采用如下非剛性物體分揀裝置實現(xiàn)：

非剛性物體分揀裝置，包括：

處理器以及用于存儲處理器可執(zhí)行的指令的存儲器；

所述處理器被配置為：

獲取標定數(shù)據(jù)，所述標定數(shù)據(jù)包括臂端相機、3d相機的外參數(shù)；

將3d相機采集的深度圖像處理為初始點云數(shù)據(jù)；

根據(jù)所述標定數(shù)據(jù)將所述初始點云數(shù)據(jù)進行坐標轉(zhuǎn)換，得到基礎點云數(shù)據(jù)；

對所述基礎點云數(shù)據(jù)進行初始分割；

對所述初始分割的結(jié)果進行位姿估計；

根據(jù)所述位姿估計的結(jié)果對物體進行抓取。

相比現(xiàn)有技術(shù)，本發(fā)明的有益效果在于：通過3d相機獲取基礎點云數(shù)據(jù)，然后對基礎點云數(shù)據(jù)進行初始分割，并對分割后的物體進行位姿估計，最后根據(jù)位姿估計結(jié)果抓取非剛性物體。基礎點云數(shù)據(jù)包含非剛性物體的表面法向量、曲率、距離等特征，更好的實現(xiàn)非剛性物體的分離，解決了非剛性物體的位姿估計和抓取問題。

附圖說明

圖1是一種典型的分揀系統(tǒng)的結(jié)構(gòu)示意圖。

圖2是本發(fā)明實施例一提供的非剛性物體分揀方法的流程示意圖。

圖3是本發(fā)明實施例二提供的非剛性物體分揀方法的流程示意圖。

圖4是本發(fā)明實施例三提供的非剛性物體分揀裝置的結(jié)構(gòu)示意圖。

圖5是本發(fā)明實施例四提供的非剛性物體分揀裝置的結(jié)構(gòu)示意圖。

具體實施方式

上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其他目的、特征和優(yōu)點能夠更明顯易懂，以下特舉較佳實施例，并配合附圖，詳細說明如下。

本發(fā)明所述的非剛性物體分揀方法和裝置可以用在由3d相機、機械臂、夾爪、臂端相機等設備組成的分揀系統(tǒng)。如圖1所示，一種典型的分揀系統(tǒng)包括分揀工作臺10、3d相機20、六自由度機械臂30、氣動夾爪40、臂端相機50。其中3d相機20固定在分揀工作臺10上，能夠完成工作臺面物體所在區(qū)域的數(shù)據(jù)采集工作；六自由度機械臂30能夠在分揀區(qū)域視野覆蓋區(qū)域進行有效空間的移動；氣動夾爪40固定在六自由度機械臂30末端，能夠完成物體的抓取；臂端相機50設置在六自由度機械臂30末端，完成機械臂末端與標定板之間的標定，臂端相機50可以采用rgb相機。此外，3d相機20處設有條形光源(圖未示)，為3d相機20的標定進行光照補償；在臂端相機50處設有環(huán)形光源(圖未示)，能夠?qū)Ρ鄱讼鄼C50進行光照補償，環(huán)形光源和條形光源的燈光控制可以利用公知的光源控制器實現(xiàn)。

由于臂端相機50設在六自由度機械臂30的末端，為保證其所受光照均勻，并且減少六自由度機械臂30運動引起的干擾，在臂端相機50外圍設置環(huán)形光源。環(huán)形光源通過球形漫反射后，光線均勻，適合對表面反光、曲面的物體進行分析。

在分揀系統(tǒng)投入應用之前，需要完成分揀系統(tǒng)的初始化。分為離線階段、部署階段。其中，離線階段主要是獲取機械臂移動了也不會變得參數(shù)，如3d相機和臂端相機的內(nèi)參、拖盤的示教點位、臂端相機和機械臂末端的標定。

由于機械臂在運動的過程中，會在工作空間發(fā)生碰撞，所以需要離線示教幾個中間點。機械臂運動的點分為：起始點、中間點、抓取初始點和抓取點，其中起始點、中間點和抓取初始點為離線示教點；抓取點為分揀系統(tǒng)進行分揀工作時獲得的點。抓取初始點到計算得到的抓取點運動過程中不會發(fā)生碰撞，所以在此過程中不斷示教，直至找到合適的示教點，之后就不必重復該操作，只需要計算對應的抓取點完成抓取即可。

部署階段要獲取的是指機械臂移動一次后會發(fā)生變化的相關參數(shù)，如3d相機的外參和臂端相機的外參；因為需要完成分揀，所以還需要知道機械臂末端和3d相機之間的關系，需要通過世界坐標的轉(zhuǎn)換，所以機械臂發(fā)生移動后，需要對外參進行重新標定。

內(nèi)部參數(shù)是指攝像機的焦距、光軸與圖像平面的交點坐標、每個像素在、軸的物理尺寸，畸變系數(shù)等，外參數(shù)即攝像機坐標系與世界坐標系之間的相對位置矩陣，包括旋轉(zhuǎn)矩陣與平移矩陣。這些參數(shù)一般通過實驗計算得到，這個過程被稱為是攝像機定標。攝像機定標通過現(xiàn)有技術(shù)即可實現(xiàn)，不再贅述，下面著重對通過分揀系統(tǒng)實現(xiàn)對非剛性物體分揀的方法進行介紹。

實施例一：

如圖2所示的非剛性物體分揀方法，包括以下步驟：

s110，獲取標定數(shù)據(jù)，所述標定數(shù)據(jù)包括臂端相機、3d相機的外參數(shù)。

標定數(shù)據(jù)包括攝像機坐標系與世界坐標系之間的相對位置矩陣，包括旋轉(zhuǎn)矩陣與平移矩陣?？梢詫崿F(xiàn)數(shù)據(jù)在攝像機坐標系與世界坐標系之間的相互轉(zhuǎn)換。

s120，將3d相機采集的深度圖像處理為初始點云數(shù)據(jù)。

3d相機主要采集分揀工作臺的深度圖像。通過3d相機標定后，將深度圖像根據(jù)3d相機內(nèi)參轉(zhuǎn)換為點云數(shù)據(jù)。如果工作臺場景復雜，可以先將工作臺背景濾除，只留下物體點云信息。工作臺深度圖像的獲取和轉(zhuǎn)換為點云數(shù)據(jù)，工作臺背景分割、濾除均可由現(xiàn)有技術(shù)實現(xiàn)。

s130，根據(jù)所述標定數(shù)據(jù)將所述初始點云數(shù)據(jù)進行坐標轉(zhuǎn)換，得到基礎點云數(shù)據(jù)。

一般的，將攝像機坐標系的所述初始點云數(shù)據(jù)轉(zhuǎn)換到世界坐標系下，即桌面坐標系，對應于工作臺。以工作臺為x-y平面，工作臺的上下方向即為z軸方向。

s140，對所述基礎點云數(shù)據(jù)進行初始分割。

先將基礎點云數(shù)據(jù)的冗余、噪聲干擾通過連通域的計算進行濾除，然后對剩下的點進行相應的特征提取，如表面法向量、曲率、距離等，進而通過區(qū)域增長完成點云的初始分割，將離散的點云分成一個一個物體。

具體的，3d相機采集得到當前視角下環(huán)境的點云pc＝{p1，p2，...，pn}，由于已經(jīng)完成了相機外參的標定twcs，將攝像機坐標系轉(zhuǎn)換到世界坐標系pw＝{p′1，p′2，...，p′n}，將桌面的點云進行濾除，只留下物體部分的點云，對該部分點云進行相關參數(shù)的計算，提取點p′i對應的法向量用于其特征描述，其在半徑σ組成的鄰近點集合為則法向量與鄰域的夾角均值為：

其與鄰近點的距離均值為若點p′i與p′j滿足：

則將其歸為一類，否則為新的種子，直至99％的點都歸并完成，停止增長，由此完成了基礎點云數(shù)據(jù)的分割。其中thresh表示綜合物體點之間法向量夾角、距離等參數(shù)的閾值，根據(jù)經(jīng)驗、有限次實驗可以得知。

s150，對所述初始分割的結(jié)果進行位姿估計。

通過位姿估計得到上一步驟初始分割得到的物體的長度、寬度，在x-y平面上的坐標和在z軸上的坐標等信息。為下一步數(shù)據(jù)處理或分揀操作提供依據(jù)。位姿估計可以由現(xiàn)有的最小包圍盒(boundingbox)估計算法實現(xiàn)。

s160，根據(jù)所述位姿估計的結(jié)果對物體進行抓取。

引入“置信度”作為評價分割出物體可抓取可能性的參數(shù)。置信度可以根據(jù)夾爪尺寸和位姿估計得到的物體的長度、寬度的大小關系、物體在z軸上的坐標計算。夾爪尺寸與物體寬度、長度越吻合，置信度越高；物體在z軸上的坐標值越高，即離工作臺表面高度越高，置信度越高。根據(jù)所述位姿估計的結(jié)果對物體進行抓取，指的是優(yōu)先抓取置信度高的物體。

具體的，在另一實施例中，所述根據(jù)所述位姿估計的結(jié)果對物體進行抓取，包括以下子步驟：

s161，根據(jù)所述位姿估計的結(jié)果計算抓取點；抓取點指的是位姿估計得到的包圍盒的中心點的坐標以及包圍盒三個面的法向量，可以理解為將坐標系平移旋轉(zhuǎn)到包圍盒中心點去，具體的，可以設定包圍盒最小面的法向量為抓取點的x方向、最大面的法向量為抓取點的z方向，然后依據(jù)右手坐標系得到抓取點的y方向。

s162，判斷所述抓取點是否滿足抓取安全條件；具體的，所述抓取安全條件為：所述抓取點的z軸坐標不低于抓取安全高度，所述抓取安全高度是根據(jù)抓取點沿z軸方向在所述位姿估計的結(jié)果中物體上投影的z軸坐標計算的。如果抓取安全高度等于抓取點沿z軸方向在物體上投影的z軸坐標，如果抓取點的z軸坐標低于該抓取安全高度，則機械臂末端的夾爪在抓取過程中會戳到物體上表面，不僅無法有效抓取，還可能損傷物體。

s163，若滿足所述抓取安全條件，則對所述物體進行抓取。機械臂動作和夾爪抓取物體均為現(xiàn)有技術(shù)，不再贅述。

s164，若不滿足所述抓取安全條件，則對所述物體進行撥動。之后重新執(zhí)行步驟s110-s160。

具體的，所述對所述物體進行撥動，包括以下子步驟：

s1641，計算撥動起始點；撥動起始點可以由所述位姿估計得到的物體在x-y平面上的坐標、在z軸上的坐標計算。

s1642，判斷所述撥動起始點是否滿足撥動安全條件；具體的，所述撥動安全條件為：所述撥動起始點的z軸坐標不低于撥動安全高度，所述撥動安全高度是根據(jù)撥動起始點沿z軸方向在所述位姿估計的結(jié)果中物體上投影的z軸坐標計算的。

撥動起始點的撥動安全條件與步驟s162中抓取點的抓取安全條件類似，不再贅述。

s1643，若滿足所述撥動安全條件，則對所述物體進行撥動；控制機械臂動作和夾爪動作撥動物體均為現(xiàn)有技術(shù)，不再贅述。

s1644，若不滿足所述撥動安全條件，則調(diào)整所述撥動起始點。典型的，調(diào)整撥動起始點就是將撥動起始點沿平行于x-y平面移動，如改變撥動起始點的x坐標或y坐標；當然，也可以根據(jù)需要改變撥動起始點的z坐標。

本發(fā)明提供的非剛性物體分揀方法，通過3d相機獲取基礎點云數(shù)據(jù)，然后對基礎點云數(shù)據(jù)進行初始分割，并對分割后的物體進行位姿估計，最后根據(jù)位姿估計結(jié)果抓取非剛性物體?；A點云數(shù)據(jù)包含非剛性物體的表面法向量、曲率、距離等特征，更好的實現(xiàn)非剛性物體的分離，解決了非剛性物體的位姿估計和抓取問題。

實施例二：

如圖4所示的非剛性物體分揀方法，包括以下步驟：

s210，獲取標定數(shù)據(jù)，所述標定數(shù)據(jù)包括臂端相機、3d相機的外參數(shù)；

s220，將3d相機采集的深度圖像處理為初始點云數(shù)據(jù)；

s230，根據(jù)所述標定數(shù)據(jù)將所述初始點云數(shù)據(jù)進行坐標轉(zhuǎn)換，得到基礎點云數(shù)據(jù)；

s240，對所述基礎點云數(shù)據(jù)進行初始分割；

s250，對所述初始分割的結(jié)果進行位姿估計；

步驟s210-s250，分別對應實施例一中的s110-s150，不再贅述。

進一步，非剛性物體分揀方法，還包括以下步驟：

s251，如果所述位姿估計的結(jié)果不滿足非重疊條件，則對所述基礎點云數(shù)據(jù)進行z軸濾波分割，并對所述z軸濾波分割的結(jié)果進行位姿估計。具體的，所述非重疊條件為：所述位姿估計的結(jié)果中物體的尺寸不大于預設尺寸。位姿估計的結(jié)果中物體的尺寸指的是最小包圍盒的長、寬、高；所述預設尺寸是根據(jù)實際要分揀的所述非剛性物體的長、寬、高尺寸計算的。所述位姿估計的結(jié)果中物體的尺寸不大于預設尺寸，具體為位姿估計的結(jié)果中物體的長、寬、高相應的均不大于預設尺寸的長、寬、高。

一般情況下，工作臺上的抓取物體都是確定的，如毛絨玩具、數(shù)據(jù)線、耳機線等，其尺寸大小都是預知的，將位姿估計的結(jié)果中物體的尺寸與抓取物體的尺寸比較可以評估位姿估計的準確程度。預設尺寸可以是工作臺上非剛性物體的實際尺寸，也可以由非剛性物體的實際尺寸乘以一個小于1的參數(shù)得到的預設尺寸。

如果位姿估計的結(jié)果中物體的尺寸大于預設尺寸，就表示位姿估計的結(jié)果中物體是有重疊的部分的，分割的還不夠完全。用預設尺寸來衡量，是因為非剛性物體的邊緣不確定，可以考慮忽略部分邊緣，以增大抓取的幾率，減小計算量和計算時間。

由于工作臺上的物體會存在一定程度的重疊，并且本發(fā)明的分揀對象是非剛性、無cad模型易形變的物體，所以在邊緣特征上并不是很穩(wěn)定，所以在進行區(qū)域增長時可能不能分割完全，導致一定程度上的欠分割，從而將多個物體劃分為一個。由于物體位于在工作臺平面，物體的重疊往往因為其在z軸上有一定的重疊，并且已將點云數(shù)據(jù)由攝像機坐標系轉(zhuǎn)換為世界坐標系(桌面坐標系)，所以可以通過對點云數(shù)據(jù)在z軸上進行濾波處理，來減少物體之間的關聯(lián)，進而對濾波后的點云數(shù)據(jù)進行分割和位姿估計。分割、位姿估計可以分別采用實施例一中的初始分割、位姿估計的方法來實現(xiàn)。

優(yōu)選的，對所述基礎點云數(shù)據(jù)進行z軸濾波分割，并對所述z軸濾波分割的結(jié)果進行位姿估計，具體的，包括以下子步驟：

s2511，對所述基礎點云數(shù)據(jù)進行z軸濾波分割時，記錄z軸濾波分割的次數(shù)fn與濾波的高度值δz；

s2512，對所述z軸濾波分割的結(jié)果進行位姿估計時，根據(jù)所述z軸濾波分割的次數(shù)fn與濾波的高度值δz進行位姿的恢復。

如果經(jīng)過多次z軸濾波分割后能夠?qū)c云數(shù)據(jù)有效的分割，則在位姿估計時可以對物體進行恢復，因為只使用多次z軸濾波分割后的局部信息進行位姿估計，可能會導致不準確。所以需要記錄下濾波的次數(shù)fn和每次濾波的高度δz來完成物體位姿的恢復，即按照fn倒序一次次將對應高度δz的點云疊加回來。

作為本發(fā)明的進一步改進，非剛性物體分揀方法還包括以下步驟：

s252，如果所述位姿估計的結(jié)果不滿足可抓取條件，則對所述物體進行撥動。具體的，所述可抓取條件為：所述位姿估計的結(jié)果中物體的尺寸小于限制尺寸，所述限制尺寸是根據(jù)所述非剛性物體的實際尺寸計算的，如工作臺上非剛性物體的尺寸乘以0.5或0.3。

如果經(jīng)過多次z軸濾波分割后，濾波后的點云數(shù)據(jù)點數(shù)已經(jīng)很少了，不能繼續(xù)計算，即所述位姿估計的結(jié)果中物體的尺寸小于限制尺寸，則不再進行z軸濾波分割，且此時工作臺上沒有找到可以抓取的物體。因此，可以通過撥動物體，獲取新的工作臺深度圖像，進行后續(xù)處理。可能經(jīng)過撥動之后，物體的擺放關系改變會利于找到可抓取的物體，然后分揀。

具體的，所述對所述物體進行撥動，包括以下子步驟：

s2521，計算撥動起始點；撥動起始點可以由某次位姿估計得到的物體在x-y平面上的坐標、在z軸上的坐標計算。

s2522，判斷所述撥動起始點是否滿足撥動安全條件；

s2523，若滿足所述撥動安全條件，則對所述物體進行撥動；

s2524，若不滿足所述撥動安全條件，則調(diào)整所述撥動起始點。

步驟s2521-s2524分別對應于實施例一中的步驟s1641-s1644，不再贅述。

s260，根據(jù)所述位姿估計的結(jié)果對物體進行抓取。

步驟s260，對應于實施例一中的s160，不再贅述。

實施例三：

如圖4所示的非剛性物體分揀裝置，包括：

獲取模塊110，用于獲取標定數(shù)據(jù)，所述標定數(shù)據(jù)包括臂端相機、3d相機的外參數(shù)；

點云模塊120，用于將3d相機采集的深度圖像處理為初始點云數(shù)據(jù)；

轉(zhuǎn)換模塊130，用于根據(jù)所述標定數(shù)據(jù)將所述初始點云數(shù)據(jù)進行坐標轉(zhuǎn)換，得到基礎點云數(shù)據(jù)；

初始分割模塊140，用于對所述基礎點云數(shù)據(jù)進行初始分割；

位姿估計模塊150，用于對所述初始分割的結(jié)果進行位姿估計；

抓取模塊160，用于根據(jù)所述位姿估計的結(jié)果對物體進行抓取。

典型的，抓取模塊160包括：

第一計算單元，用于根據(jù)所述位姿估計的結(jié)果計算抓取點；

第一判斷單元，用于判斷所述抓取點是否滿足抓取安全條件；

抓取單元，用于若滿足所述抓取安全條件，則對所述物體進行抓取；

第一調(diào)整單元，用于若不滿足所述抓取安全條件，則調(diào)整所述抓取點。

在另一實施例中，非剛性物體分揀裝置，還包括：

濾波模塊151，用于如果所述位姿估計的結(jié)果不滿足非重疊條件，則對所述基礎點云數(shù)據(jù)進行z軸濾波分割，并對所述z軸濾波分割的結(jié)果進行位姿估計。

濾波模塊151具體的包括：

紀錄單元，用于對所述基礎點云數(shù)據(jù)進行z軸濾波分割時，記錄z軸濾波分割的次數(shù)與濾波分割的高度值；

恢復單元，用于對所述z軸濾波分割的結(jié)果進行位姿估計時，根據(jù)所述z軸濾波分割的次數(shù)與濾波分割的高度值進行位姿的恢復。

作為本發(fā)明的進一步改進，非剛性物體分揀裝置，還包括：

撥動模塊152，用于如果所述位姿估計的結(jié)果不滿足可抓取條件，則對所述物體進行撥動。

撥動模塊152具體的包括：

第二計算單元，用于計算撥動起始點；

第二判斷單元，用于判斷所述撥動起始點是否滿足撥動安全條件；

撥動單元，用于若滿足所述撥動安全條件，則對所述物體進行撥動；

第二調(diào)整單元，用于若不滿足所述撥動安全條件，則調(diào)整所述撥動起始點。

本實施例中的裝置與前述實施例中的方法是基于同一發(fā)明構(gòu)思下的兩個方面，在前面已經(jīng)對方法實施過程作了詳細的描述，所以本領域技術(shù)人員可根據(jù)前述描述清楚地了解本實施中的系統(tǒng)的結(jié)構(gòu)及實施過程，為了說明書的簡潔，在此就不再贅述。

為了描述的方便，描述以上裝置時以功能分為各種模塊分別描述。當然，在實施本發(fā)明時可以把各模塊的功能在同一個或多個軟件和/或硬件中實現(xiàn)。

通過以上的實施方式的描述可知，本領域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品可以存儲在存儲介質(zhì)中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例或者實施例的某些部分所述的方法。

描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的模塊或單元可以是或者也可以不是物理上分開的，作為模塊或單元示意的部件可以是或者也可以不是物理模塊，既可以位于一個地方，或者也可以分布到多個網(wǎng)絡模塊上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。本領域普通技術(shù)人員在不付出創(chuàng)造性勞動的情況下，即可以理解并實施。

本發(fā)明可用于眾多通用或?qū)Ｓ玫挠嬎阆到y(tǒng)環(huán)境或配置中。例如：個人計算機、服務器計算機、手持設備或便攜式設備、平板型設備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機頂盒、可編程的消費電子設備、網(wǎng)絡pc、小型計算機、大型計算機、包括以上任何系統(tǒng)或設備的分布式計算環(huán)境等等，如實施例四。

實施例四：

如圖5所示的非剛性物體分揀裝置，包括：處理器200以及用于存儲處理器200可執(zhí)行的指令的存儲器300；

所述處理器200被配置為：

獲取標定數(shù)據(jù)，所述標定數(shù)據(jù)包括臂端相機、3d相機的外參數(shù)；

將3d相機采集的深度圖像處理為初始點云數(shù)據(jù)；

根據(jù)所述標定數(shù)據(jù)將所述初始點云數(shù)據(jù)進行坐標轉(zhuǎn)換，得到基礎點云數(shù)據(jù)；

對所述基礎點云數(shù)據(jù)進行初始分割；

對所述初始分割的結(jié)果進行位姿估計；

根據(jù)所述位姿估計的結(jié)果對物體進行抓取。

本實施例中的裝置與前述實施例中的方法是基于同一發(fā)明構(gòu)思下的兩個方面，在前面已經(jīng)對方法實施過程作了詳細的描述，所以本領域技術(shù)人員可根據(jù)前述描述清楚地了解本實施中的系統(tǒng)的結(jié)構(gòu)及實施過程，為了說明書的簡潔，在此就不再贅述。

本發(fā)明實施例提供的裝置，可以通過3d相機獲取基礎點云數(shù)據(jù)，然后對基礎點云數(shù)據(jù)進行初始分割，并對分割后的物體進行位姿估計，最后根據(jù)位姿估計結(jié)果抓取非剛性物體?；A點云數(shù)據(jù)包含非剛性物體的表面法向量、曲率、距離等特征，更好的實現(xiàn)非剛性物體的分離，解決了非剛性物體的位姿估計和抓取問題。

對于本領域的技術(shù)人員來說，可根據(jù)以上描述的技術(shù)方案以及構(gòu)思，做出其它各種相應的改變以及變形，而所有的這些改變以及變形都應該屬于本發(fā)明權(quán)利要求的保護范圍之內(nèi)。