機(jī)器人、機(jī)器人系統(tǒng)、控制裝置、以及控制方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及機(jī)器人、機(jī)器人系統(tǒng)、控制裝置、以及控制方法。
【背景技術(shù)】
[0002] 在機(jī)器人進(jìn)行的作業(yè)中有逐個(gè)地取出雜亂地堆積的對象物并向其他的物體進(jìn)行 組裝的動(dòng)作。在這樣的動(dòng)作中例如有銷拾取，是工業(yè)上重要的工序。在取出對象物時(shí)，使用 夾具、專用的裝置來使機(jī)器人臂把持雜亂地堆積的對象物，并重新碼放以取得恒定的位置、 姿勢。但是，由于需要根據(jù)對象物的形狀、大小來安裝各自不同的專用的夾具、專用的裝置， 所以經(jīng)濟(jì)上以及時(shí)間上的成本增大。
[0003] 為了消除或者減少這樣的問題，嘗試通過使用投影儀、激光發(fā)生器等光源向?qū)ο?物照射光線并處理來自對象物的反射光來獲取對象物的三維信息。雖然獲取的三維信息用 于求出對象物的位置、姿勢的處理，但并不通用。另外，該處理所花費(fèi)的時(shí)間較多。
[0004] 于是，嘗試使用照相機(jī)那樣更為通用的設(shè)備來獲取包括對象物的縱濃信息的三維 信息，并使用獲取的三維信息來獲取對象物的位置以及姿勢。三維信息例如是由表示對象 物的形狀的三維點(diǎn)云形成的圖像數(shù)據(jù)。在求位置、姿勢時(shí)，進(jìn)行規(guī)定的對象物的模板與三維 點(diǎn)云的匹配。但是三維點(diǎn)云的匹配與二維圖像的匹配相比，應(yīng)運(yùn)算的維數(shù)增加。換句話說， 與匹配的對象從二維增加至三維相應(yīng)地，求對象物的位置、姿勢時(shí)的維數(shù)從三維增加至六 維。在使用同種計(jì)算方法的情況下，計(jì)算量、計(jì)算時(shí)間與對象物的維數(shù)相應(yīng)地呈指數(shù)函數(shù)增 加。因此，對于針對三維點(diǎn)云的位置、姿勢的推斷，依然需要龐大的計(jì)算量、計(jì)算時(shí)間。
[0005] 為了解決該問題，提出有在位置、姿勢的推斷中使用對象物所具有的形狀的特征 的方法。例如，在專利文獻(xiàn)1中記載有能夠針對同一形狀的部件雜亂地堆積的部件群進(jìn)行 銷拾取的具備位置姿勢識別裝置等的銷拾取系統(tǒng)。在該銷拾取系統(tǒng)中，從拍攝圖像提取拍 攝圖像中的亮區(qū)域單獨(dú)地以直線狀延伸的直線狀亮區(qū)域。更具體而言，使用閾值從拍攝圖 像提取亮區(qū)域，并從提取出的各亮區(qū)域提取亮區(qū)域不交叉且單獨(dú)地以直線狀延伸的直線狀 亮區(qū)域。
[0006] 專利文獻(xiàn)1 :日本特開2009 - 128201號公報(bào)
[0007] 然而，在工廠等作業(yè)現(xiàn)場中使用的對象物的形狀各不相同。例如，存在很多像螺 釘、螺栓等那樣平面占據(jù)表面的區(qū)域較少的物體。那樣的物體被裝入由塑料膜構(gòu)成的袋中 進(jìn)行運(yùn)輸、存庫，很少被碼放在作業(yè)空間內(nèi)。因此，在使機(jī)器人作為對象物操作那樣的物體 的任意一個(gè)時(shí)，需要分別決定該物體的位置和姿勢。
[0008] 對此，也考慮從散亂地堆積的物體群的三維點(diǎn)云信息分離出屬于認(rèn)為是一個(gè)物體 的區(qū)域的點(diǎn)云，并從分離出的點(diǎn)云表示的物體的形狀獲取表示該物體的位置以及姿勢的位 置姿勢信息。在決定認(rèn)為是一個(gè)物體的區(qū)域時(shí)，若使用散亂地堆積的物體群的三維點(diǎn)云信 息的整體，則用于決定該區(qū)域的處理量、處理時(shí)間增多。另外，存在若錯(cuò)誤地判定認(rèn)為是一 個(gè)物體的區(qū)域，則從屬于錯(cuò)誤地判定出的區(qū)域的點(diǎn)云確定出物體的位置、姿勢，確定出本來 不存在的物體的位置、姿勢。

【發(fā)明內(nèi)容】

[0009] 因此，本發(fā)明是鑒于上述問題而成的，本發(fā)明的課題在于提供一種能夠在對象物 的位置、姿勢的推斷中減少處理時(shí)間并使檢測精度提高的機(jī)器人、機(jī)器人系統(tǒng)、控制裝置、 以及控制方法。
[0010] 本發(fā)明的一方式是一種機(jī)器人，該機(jī)器人包括：手；以及控制部，使上述手動(dòng)作， 上述控制部針對構(gòu)成拍攝部拍攝得到的拍攝圖像的圖像的一部分生成三維點(diǎn)云信息，并使 上述手把持上述圖像的一部分所包括的物體。
[0011] 若對拍攝圖像整體進(jìn)行三維點(diǎn)云處理，則運(yùn)算處理增加，但根據(jù)上述結(jié)構(gòu)，對部分 圖像進(jìn)行三維點(diǎn)云處理，從而能夠削減運(yùn)算處理并高速地進(jìn)行作業(yè)。
[0012] 本發(fā)明的一方式是上述的機(jī)器人，上述控制部從上述拍攝圖像決定出表現(xiàn)上述物 體的第一區(qū)域和包括上述第一區(qū)域且具有規(guī)定的形狀的第二區(qū)域，并從上述拍攝圖像生成 與上述第一區(qū)域?qū)?yīng)的第一三維點(diǎn)云信息和與上述第二區(qū)域?qū)?yīng)的第二三維點(diǎn)云信息，并 選擇出由上述第一三維點(diǎn)云信息所包括的兩點(diǎn)構(gòu)成的多個(gè)組中的兩點(diǎn)間的線段的長度為 規(guī)定的長度的范圍內(nèi)的組，并從上述第二三維點(diǎn)云信息提取距形成選擇出的組的兩點(diǎn)間的 線段在預(yù)先決定的范圍內(nèi)的點(diǎn)，并選擇出至從上述第二三維點(diǎn)云信息提取出的各點(diǎn)的距離 與規(guī)定的閾值的差在預(yù)先決定的范圍內(nèi)的中心軸。
[0013] 根據(jù)該結(jié)構(gòu)，基于拍攝圖像將與第一區(qū)域?qū)?yīng)的第一三維點(diǎn)云信息和與第二區(qū)域 對應(yīng)的第二三維點(diǎn)云信息決定為處理對象，所以能夠使處理量降低。另外，確定出表現(xiàn)對象 物的圖像的點(diǎn)，該點(diǎn)由距連結(jié)長度在規(guī)定的范圍內(nèi)的兩點(diǎn)的中心軸的半徑在規(guī)定的范圍內(nèi) 的點(diǎn)形成。因此，作為具有曲面的對象物，能夠推斷出形狀具有曲面的對象物的位置以及姿 勢。另外，由于基于比選擇用于本中心軸的推斷的兩點(diǎn)的組的第一三維點(diǎn)云信息所涉及的 第一區(qū)域廣泛的第二區(qū)域所涉及的第二三維點(diǎn)云信息的點(diǎn)來選擇中心軸，所以能夠使推斷 對象物的位置以及姿勢時(shí)需要的處理量降低，能夠不損害精度地使處理高速化。
[0014] 本發(fā)明的一方式是上述的機(jī)器人，上述控制部從上述拍攝圖像檢測亮度比預(yù)先決 定的閾值大的區(qū)域，并將表示檢測出的區(qū)域的形狀的指標(biāo)值在規(guī)定的范圍內(nèi)的區(qū)域決定為 上述第一區(qū)域。
[0015] 根據(jù)該結(jié)構(gòu)，由于選擇清晰地表現(xiàn)被拍攝體的區(qū)域作為第一區(qū)域，所以能夠可靠 地把握表現(xiàn)于選擇出的第一區(qū)域的物體。
[0016] 本發(fā)明的一方式是上述的機(jī)器人，上述第二區(qū)域的形狀是矩形，上述控制部從上 述拍攝圖像決定比上述第二區(qū)域的長邊方向的長度長的第三區(qū)域，并從上述拍攝圖像提取 與上述第三區(qū)域?qū)?yīng)的第三三維點(diǎn)云信息，并基于上述第三三維點(diǎn)云信息所包括的點(diǎn)向上 述中心軸的方向的分布來計(jì)算上述物體的上述中心軸的方向的長度。
[0017] 根據(jù)該結(jié)構(gòu)，能夠比第二三維點(diǎn)云信息廣泛地獲取中心軸的方向的第三三維點(diǎn)云 信息的點(diǎn)的分布。因此，即使在由于不同的長度的物體混在而確定出較長的物體的情況下， 也能夠不遺漏表示該物體的點(diǎn)地求出向中心軸的方向的長度，能夠分別識別出不同的長度 的物體。
[0018] 本發(fā)明的一方式是一種控制裝置，該控制裝置包括：圖像受理部，受理拍攝部拍攝 多個(gè)物體得到的拍攝圖像；以及處理部，使機(jī)器人動(dòng)作，上述處理部針對構(gòu)成上述拍攝圖 像的圖像的一部分生成三維點(diǎn)云信息，并使上述機(jī)器人把持上述圖像的一部分所包括的物 體。
[0019] 若針對拍攝圖像整體進(jìn)行三維點(diǎn)云處理，則運(yùn)算處理增加，但根據(jù)上述結(jié)構(gòu)，針對 部分圖像進(jìn)行三維點(diǎn)云處理，從而能夠削減運(yùn)算處理并高速地進(jìn)行作業(yè)。
[0020] 本發(fā)明的一方式是一種機(jī)器人系統(tǒng)，該機(jī)器人系統(tǒng)包括：拍攝部，拍攝多個(gè)物體； 機(jī)器人；以及控制部，使上述機(jī)器人動(dòng)作，上述控制部針對構(gòu)成上述拍攝部拍攝得到的拍攝 圖像的圖像的一部分生成三維點(diǎn)云信息，并使上述機(jī)器人把持上述圖像的一部分所包括的 物體。
[0021] 若針對拍攝圖像整體進(jìn)行三維點(diǎn)云處理，則運(yùn)算處理增加，但根據(jù)上述結(jié)構(gòu)，針對 部分圖像進(jìn)行三維點(diǎn)云處理，從而能夠削減運(yùn)算處理并高速地進(jìn)行作業(yè)。
[0022] 本發(fā)明的一方式是一種控制方法，該控制方法包括拍攝多個(gè)物體；針對構(gòu)成拍攝 上述多個(gè)物體得到的拍攝圖像的圖像的一部分生成三維點(diǎn)云信息；以及使用生成的上述三 維點(diǎn)云信息來使機(jī)器人把持上述圖像的一部分所包括的物體。
[0023] 若針對拍攝圖像整體進(jìn)行三維點(diǎn)云處理，則運(yùn)算處理增加，但根據(jù)上述結(jié)構(gòu)，針對 部分圖像進(jìn)行三維點(diǎn)云處理，從而能夠削減運(yùn)算處理并高速地進(jìn)行作業(yè)。
【附圖說明】
[0024] 圖1是本發(fā)明的實(shí)施方式所涉及的機(jī)器人系統(tǒng)的簡要立體圖。
[0025] 圖2是表示本實(shí)施方式所涉及的控制部的結(jié)構(gòu)的簡要框圖。
[0026] 圖3是表示二維圖像的一個(gè)例子的圖。
[0027] 圖4是表示近似對象物的形狀的模型的一個(gè)例子的圖。
[0028] 圖5是表示關(guān)注區(qū)域設(shè)定部決定關(guān)注區(qū)域的處理的流程圖。
[0029] 圖6是表不二值化圖像的一個(gè)例子的圖。
[0030] 圖7是表示膨脹收縮處理的一個(gè)例子的圖。
[0031] 圖8是表示分選出的亮區(qū)域的一個(gè)例子的圖。
[0032] 圖9是由關(guān)注區(qū)域設(shè)定部生成的直方圖的一個(gè)例子。
[0033] 圖10是表示關(guān)注區(qū)域的例子的圖。
[0034] 圖11是表示選擇出的點(diǎn)對的例子的圖。
[0035] 圖12是表示屬于線段的樣本點(diǎn)的例子的圖。
[0036] 圖13是表示選擇出的中心軸的一個(gè)例子的剖視圖。
[0037] 圖14是表示中心軸與樣本點(diǎn)的一個(gè)例子的立體圖。
[0038] 圖15是由空間數(shù)據(jù)生成部生成的直方圖的一個(gè)例子。
[0039] 圖16是表示本實(shí)施方式所涉及的機(jī)器人控制的流程圖。
[0040] 圖17是表示本實(shí)施方式的變形例所涉及的機(jī)器人系統(tǒng)的結(jié)構(gòu)的圖。
【具體實(shí)施方式】
[0041] 以下，參照附圖對本發(fā)明的實(shí)施方式進(jìn)行詳細(xì)地說明。
[0042] 圖1是本實(shí)施方式所涉及的機(jī)器人系統(tǒng)1的簡要立體圖。
[0043] 如圖1所示，機(jī)器人系統(tǒng)1具備拍攝裝置10、控制裝置20以及機(jī)器人30。應(yīng)予說 明，為了使圖清晰，存在使圖1中的部件、構(gòu)造等的比例尺與實(shí)際的比例尺不同的情況。
[0044] 拍攝裝置10拍攝被拍攝體的三維的形狀，并生成表示拍攝得到的三維的形狀的 三維圖像數(shù)據(jù)。生成的三維圖像數(shù)據(jù)例如是由以規(guī)定的分辨率對拍攝得到的三維的形狀進(jìn) 行取樣得到的多個(gè)各樣本點(diǎn)的位置信息形成的數(shù)據(jù)。各樣本點(diǎn)表示對被拍攝體的表面進(jìn)行 取樣得到的三維的歐幾里得空間內(nèi)的正交坐標(biāo)（X，Y，Z)。換句話說，生成的圖像數(shù)據(jù)是包 括多個(gè)樣本點(diǎn)數(shù)據(jù)的點(diǎn)云數(shù)據(jù)。樣本點(diǎn)數(shù)據(jù)是表示對被拍攝體的表面進(jìn)行取樣得到的各樣 本點(diǎn)的位置的數(shù)據(jù)。另外，各樣本點(diǎn)數(shù)據(jù)也可以包括表示該點(diǎn)處的明亮度的亮度值。樣本 點(diǎn)與二維的圖像數(shù)據(jù)中的像素相當(dāng)，以由多個(gè)樣本點(diǎn)伸展的面表現(xiàn)被拍攝體的表面。圖像 數(shù)據(jù)表示的圖像也被稱作點(diǎn)云圖像。
[0045] 應(yīng)予說明，在圖1所示的例子中，X方向?yàn)樽蠓剑琘方向?yàn)榭v濃方向，Z方向?yàn)橄路健?br>[0046] 拍攝裝置10例如是形狀檢查用三維傳感器。拍攝裝置10設(shè)置在能夠光學(xué)觀察被 拍攝體的位置，例如設(shè)置在能夠光學(xué)觀察成為機(jī)器人30的操作對象的物體（以下稱作對象 物）Wk堆積的區(qū)域的位置。如下所述，對象物Wk是表面具有曲面的圓柱物體。作業(yè)臺(tái)Tb 的表面