專利名稱：確定場景中的對象的三維姿態(tài)的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明總體上涉及三維對象的檢測和識別，更具體地說，涉及確定
對象的姿態(tài)(pose)。本方法的實際輸出(即，對象的姿態(tài))使得能夠進 行多種有用的應用，尤其是用于制造現(xiàn)場(setting)的料箱提取機械(bin picking machine)。
背景技術：
工業(yè)機器人通常被設計用來以高準確度和高精確度來重復執(zhí)行相同 任務。在多種工業(yè)應用中(諸如制造和裝配中)，機器人用于從料箱中 '提取'零件(零件獲取)，并以正確的位置和方向(姿態(tài))來放置這 些零件，用于后續(xù)處理。
機器人依賴于要提取的零件的一致姿態(tài)。任何偏差都會導致機器人 或者零件的損壞，這會增加成本。通常，定制設計的機械及機電系統(tǒng)用 于以特定的姿態(tài)向機器人供給零件。在有些情況下，零件是由人工預先 定位的，使得機器人能夠容易地提取零件。
最近，計算機視覺技術已經(jīng)被用于使零件定位及提取的過程自動化。 大多數(shù)傳統(tǒng)的自動化技術只能提取單個非封閉(non-occluding)零件，或 者彼此間隔放置的零件(例如，零散地分散在傳送帶上的零件)。
雖然一些視覺輔助系統(tǒng)能夠提取堆疊(stacked)的零件，但是這只 能在使用復雜的機械系統(tǒng)或者人工干預的情況下實現(xiàn)。大多數(shù)視覺輔助 系統(tǒng)缺乏可靠性、準確度和魯棒性，并且使用昂貴的視覺傳感器和硬件。 當零件被隨機放置、被以隨意的方式彼此上下放置成一堆或放置在料箱 中時，傳統(tǒng)的視覺輔助系統(tǒng)缺乏三維零件獲取的能力。
三維姿態(tài)估計及零件獲取的問題是公知的。手工零件獲取包括人工 地進行獲取、放置以進行裝配。對于對沉重的零件進行工作的人是存在風險的。另外，要求人類操作者具備特定水平的一系列技巧。期望通過 取代人類操作者來降低成本。
自動的零件獲取系統(tǒng)通常使用機電裝置，諸如裝備有特別設計的用
于提取零件的抓取器(gmsper)的機械手。然而，機器人需要了解要提 取零件的姿態(tài)。諸如精確固定(precision fixturing)的一些方法能夠用于 以特定的姿態(tài)將零件遞交給機械手。這些系統(tǒng)是昂貴的，缺乏互操作性 (即，需要針對特定的零件專門地設計這些系統(tǒng))，而且不能處理成箱的 隨機堆疊的零件。
計算機視覺系統(tǒng)能夠用于確定對象的姿態(tài)。這些系統(tǒng)通常使用一個 或更多個照相機。能夠對由這些照相機所獲取的圖像進行分析，以對這 些對象進行定位，并為機械手提供用于進行后續(xù)操作的反饋。大多數(shù)視 覺系統(tǒng)是二維的，并且只能用于二維的任務，諸如檢查和簡單的零件獲 取。那些系統(tǒng)只能夠確定該零件在平面內的方向和位置，但是不能確定 在平面外的任何旋轉和到該零件的距離。通常，那些二維系統(tǒng)要求零件 沒有交疊，并且放置在平坦的表面上。所以，那些系統(tǒng)不能對成堆(pile) 的隨機放置的對象進行操作。
一些系統(tǒng)通過使得到該對象的距離基于在圖像中該對象的尺寸，來 改進二維視覺系統(tǒng)。但是，那些2.5維系統(tǒng)不能估計平面外的旋轉，而且 它們的距離估計通常不可靠。
三維視覺系統(tǒng)通常使用傳感器來估計場景(scene)的三維幾何尺寸。 立體(stereo)系統(tǒng)使用兩個照相機來估計到對象的距離。首先，相應的 特征都位于立體圖像中。這些照相機之間的幾何關系能夠用于識別這些 特征的深度(距離)。然而，對相應的特征進行定位本身就是一個挑戰(zhàn)性 的問題，尤其是對于在外表上通常具有高反射性并相似(homogeneous) 的機器零件。如果圖像關于特征是嘈雜的，則立體系統(tǒng)可能會錯誤地估 計深度。立體系統(tǒng)的另一個問題在于，只針對特征、而不是覆蓋整個對 象來恢復深度。所降低的準確度不足以進行準確的料箱提取。
激光三角測量(triangulation)使用結構光(structured light)來生成 其全部圖像都通過照相機獲取的對象表面的模型(pattem)。激光三角測量能夠恢復該對象表面的三維形狀。這種技術例如已經(jīng)被用于包括對柔
性的且尺寸不穩(wěn)定的零件進行焊接(wdding)、密封(sealing)、膠漿淀 積(glue deposition )、研磨(grinding )、水射流切割(waterjet cutting )以 及去毛剌(deburring)的邊緣跟蹤(edge tracking)的應用。
激光三角測量要求圖像配準(image registration),并考慮陰影 (shadow)和遮擋(occlusion)。那些系統(tǒng)對于一般、隨機的料箱提取應 用還不夠完善。另外，當在人類操作者附近設置激光時經(jīng)常會引起安全 問題。

發(fā)明內容
本發(fā)明的實施方式提供一種用于檢測和識別在場景中的對象的系統(tǒng) 和方法。此外，這些實施方式確定了各個對象的三維姿態(tài)。這里將姿態(tài) 定義為對象的三維位置和方向。
在實際應用的示例中，這些對象在料箱中彼此上下成堆。距離照相 機最近的對象位于堆的頂部，并且能夠從料箱中被提取出來而不干擾其 它對象。
當使用光源對該場景進行照明時，照相機獲取該場景的圖像。光源 投下陰影。這些陰影用于獲得該場景中的對象的深度邊緣和陰影邊緣。 使用深度邊緣與陰影邊緣之間的物理及幾何約束來將這些深度邊緣連接 起來，得到閉合輪廓(contour)。這些輪廓用于將該圖像場景劃分成多個 區(qū)域。
構造一個"遮擋圖(occlusiongraph)"。該圖針對每個所劃分的區(qū)域 都具有一個節(jié)點。如果與一個節(jié)點相關的區(qū)域將陰影投到(遮擋)與另 一節(jié)點相關的區(qū)域上，則將這兩個節(jié)點通過邊(edge)連接起來。遮擋 圖標識出該場景中的未被遮擋對象。未被遮擋對象對應于該堆頂部的對 象，該對象具有完整的連接輪廓。
使用這些對象的三維計算機輔助設計(CAD)模型來生成對象廓影 (silhouette)的數(shù)據(jù)庫(存儲器)。這些廓影針對不同的視角。該數(shù)據(jù)庫 還包括針對不同視角的該對象的部分廓影。這些廓影也表示為深度邊緣。對該遮擋圖進行遍歷以找到潛在的候選未被遮擋對象。將頂層(未 遮擋)對象的輪廓與該數(shù)據(jù)庫的這些廓影進行匹配，以估計該未被遮擋 對象的三維位置和方向(三維姿態(tài))。
可以將所估計的三維姿態(tài)與機械手一起用于多種機器人任務，包括 用于處理或裝配的零件獲取。該系統(tǒng)使得能夠進行沒有約束的三維料箱 提取。


圖1是示出根據(jù)本發(fā)明實施方式的定位和提取對象的系統(tǒng)和方法的
框圖2是示出根據(jù)本發(fā)明實施方式的一個對象及該對象所投下陰影的 示意圖；以及
圖3是示出根據(jù)本發(fā)明一個實施方式的遮擋圖。
具體實施方式
系統(tǒng)結構
圖1示出了根據(jù)本發(fā)明實施方式的定位和提取對象的系統(tǒng)和方法。 在本發(fā)明的一個實施方式中，這些對象在外觀和形狀上相似。在另一實 施方式中，這些對象不同。
料箱101裝有機器人103要提取的對象102。由多個光源104對該 料箱進行照明。這些光源在該料箱上投下多個陰影。照相機105獲取110 當照明發(fā)生變化時該料箱中的這些對象的一組(多個)圖像lll。例如， 如圖2中所示，根據(jù)光源104的位置，陰影201-202可以是對象102的任
確定120由于圖像111中的陰影201-202而造成的深度邊緣121及 陰影邊緣122。連接深度邊緣121以形成130經(jīng)連接的輪廓131。這些輪 廓用于將該圖像劃分140成多個區(qū)域141。然后，將這些區(qū)域141用于構 造150遮擋圖151。
該圖用于對預先存儲在數(shù)據(jù)庫(存儲器)162中的廓影161進行定位160。這些廓影也采用深度邊緣的形式。各個廓影都具有相關的姿態(tài)
106。選擇170該數(shù)據(jù)庫中的與根據(jù)該圖的未被遮擋對象的輪廓131最佳 匹配的廓影161的姿態(tài)106，作為該料箱中的對象的姿態(tài)。機器人103使 用這些姿態(tài)來從該料箱中提取對象，用于進一步處理。
方法操作
圖像獲取
通過一個或者更多個照相機105獲取110—組(多個)圖像lll。這 些照相機可以是攝像機或者是靜態(tài)照相機。這些照相機可以被設置在機 械手107上，或者被固定在靠近該機器人及料箱的工作空間內。使用光 源104來獲取這些圖像。這些光源可以是放置在照相機附近或者工作空 間中的發(fā)光二極管(LED)或其它類型的發(fā)光裝置。出于校準的目的， 確定這些光源相對于這些照相機的設置。在目前的實現(xiàn)中，我們使用多 閃光燈(m扁ash)照相機，參見授予Raskar的美國專利7，218，792，以 引用的方式將該專利合并于此。
當只由環(huán)境(ambient)光對該場景進行照明時，還獲取環(huán)境圖像。 從該組圖像中的每一個圖像中減去該環(huán)境圖像，以消除環(huán)境光的影響。
確定深度邊緣及陰影邊緣
在獲取這些圖像之后，我們確定該料箱中的這些對象的深度邊緣121 和陰影邊緣122。深度邊緣被定義為對象的邊界與背景之間的不連續(xù)性 (discontinuity)。陰影邊緣被定義為對象所投下的陰影與背景之間的不連 續(xù)性。
通常，工業(yè)對象具有非朗伯反射(non-Lambertian reflectance)及鏡 面反射(specularity),這導致噪聲及偽深度邊緣。因為亮度隨著視角發(fā) 生改變，所以很難處理非朗伯表面。本方法也能夠處理具有孔的對象。 與自投影(self-shadowing)類似，當存在由于鏡面反射而產(chǎn)生的偽深度 邊緣時，本方法能夠通過去除偽深度邊緣而忽略鏡面輝亮(specular highlight)的影響。
為了簡化該描述，這組圖像包括通過將這些光源放置在該照相機的 上方、下方、左方、右方而獲得的四個不同照明的圖像A、 /2、 /3、 /4。我們通過確定在各個像素處的梯度的中值并根據(jù)這些梯度重構回去，來從
這組圖像中確定本征圖像(intrinsic image) /me￡tol,參見Raskar。
然后，用/i-min(4 /^^")來替換各個圖像/i。也就是說，在圖像/i
中的各個像素處，用亮度值或者中值4w。n中的最小值來替換該亮度11。
然后，我們獲得比值圖像^=/// ^,。 。這個操作的作用在于使這些圖像中
的鏡面反射最小化。
在這些比值圖像中檢測邊緣。根據(jù)對該圖像照明的方向，這些邊緣
對應于深度邊緣或陰影邊緣。 輪廓形成
深度邊緣121可能是不完整的，g卩，由于軟陰影(soft shadow)或 者缺少陰影而可能缺少深度邊緣和陰影邊緣的某些部分。使用格式塔規(guī) 則(Gestaltrule)的用于連接邊緣的啟發(fā)式方法(heuristic method)是公 知的。但是，我們使用物理及幾何約束來進行邊緣連接，而不使用啟發(fā) 式方法。這些約束是在深度邊緣與陰影邊緣之間。所投下的陰影具有半 陰影區(qū)(penumbra region),以上所定義的深度邊緣對應于位于該半陰影 的一側的不連續(xù)性，而陰影邊緣對應于該半陰影的另一側的不連續(xù)性。 因此，我們定義兩個約束
1) 對于每一個深度邊緣，存在平行的陰影邊緣；以及
2) 深度邊緣和陰影邊緣不能在同一像素處共存。 這兩個約束使得我們能夠完成(complete)缺失的深度邊緣，以形成
閉合輪廓。我們通過使線段與深度邊緣擬合(fit)并且延長各條線段， 來實現(xiàn)該處理。將符合上述約束的各條延長線段保留為輪廓131。 劃分
由深度邊緣121形成的輪廓131將該圖像劃分成多個區(qū)域141。如 下面所述，通過合并對過度劃分進行修正。 遮擋圖構造
如圖3中所示，遮擋圖被定義為節(jié)點301、 303及有向弧302的二維 有向圖。在該圖中，這些節(jié)點表示區(qū)域，而當由第一節(jié)點所代表的區(qū)域 在由第二節(jié)點所代表的區(qū)域上投下陰影時，有向弧從第一節(jié)點前進到第二節(jié)點。對于一個圖像，可能存在一組圖。例如，如果有兩堆單獨的對 象，則我們構造兩個遮擋圖，每一堆一個遮擋圖。
如下來構造該遮擋圖。令^和S表示一對區(qū)域。將這對區(qū)域作為節(jié) 點插入到該圖中。然后，我們確定區(qū)域^(是否在區(qū)域B上投下陰影，反 之亦然。如果是，貝'J由有向弧以投下陰影的方向來連接節(jié)點^和萬。如 果否，則可以將這些區(qū)域合并，并合并這些節(jié)點。
定位未被遮擋對象
該遮擋圖標識出該料箱里的未被遮擋對象。源節(jié)點303是沒有入 (incoming)有向弧的節(jié)點。源節(jié)點必須表示未被遮擋對象的區(qū)域。 姿態(tài)估計
姿態(tài)估計是兩階段處理，第一階段處理是粗處理，第二階段處理是 精處理。姿態(tài)估計使用預先存儲在數(shù)據(jù)庫中的廓影的深度邊緣。 預處理
將在不同視角下的對象的廓影預先存儲在數(shù)據(jù)庫中。針對各個視角， 還將對象的部分廓影存儲在數(shù)據(jù)庫中。視角得到相應的姿態(tài)。這些部分 廓影有助于對存在自投影及自遮擋(selfocclusion)的對象進行匹配。假 定在制造和裝配應用中很容易獲得對象的CAD模型。
粗姿態(tài)估計
將與根據(jù)該圖的未被遮擋對象相關的輪廓與存儲在數(shù)據(jù)庫中的廓影 進行匹配，以獲得最佳匹配姿態(tài)。這種匹配可以使用任何已知的技術， 諸如斜面(chamfer)匹配或者匹配圖像矩(moment)。由于存儲在數(shù)據(jù) 庫中的廓影的數(shù)量是有限的，所以我們只能獲得粗姿態(tài)估計。
精姿態(tài)估計
我們使用整個三維CAD模型來細化該三維姿態(tài)。使用通過將該三維 CAD模型的廓影與給定區(qū)域進行匹配而對旋轉及位移(translation)進行 優(yōu)化的傳統(tǒng)技術，來對姿態(tài)進行細化。這種優(yōu)化從粗姿態(tài)估計開始，并 收斂于正確的姿態(tài)。
對象提取
機器人可以使用該姿態(tài)來從該料箱中提取最上層的對象。如果具體的圖像顯示出多個未被遮擋對象，則可以依次提取這些對象。 多個對象類型
當該數(shù)據(jù)庫存儲了不同對象的對應廓影時，針對類似的對象描述了 以上方法。
多個圖像獲取
針對位于固定視角的單個照相機描述了以上方法。但是，該系統(tǒng)也 可以工作于多個照相機視角。然后，額外的圖像可以用于驗證劃分以及 姿態(tài)估計結果。另選的是，可以組合來自多個圖像的信息，以提高姿態(tài) 估計的準確度。
本發(fā)明的效果
根據(jù)本發(fā)明的實施方式的系統(tǒng)和方法確定料箱中的未被遮擋零件的姿態(tài)。該系統(tǒng)使用裝備有廉價發(fā)光二極管(LED)的單個照相機?？梢?br> 將姿態(tài)饋送給機械手，以在制造應用中從料箱中提取出這些零件。由于 本方法相對簡單而且執(zhí)行快捷，所以它可用于實時應用。
本發(fā)明執(zhí)行三維對象識別和姿態(tài)估計而不使用三維獲取設備(諸如 立體攝像機、激光或者結構光)。重構場景的深度圖是費時而昂貴的，尤 其是對具有鏡面反射及非朗伯表面的發(fā)亮的工業(yè)零件。本發(fā)明的系統(tǒng)不 對三維深度進行估計。而是根據(jù)所投下的陰影獲得深度邊緣。與一般所 用的特征(諸如亮度邊緣、角部和接合點)不同，可以將深度邊緣用作 用于劃分場景和估計姿態(tài)的特征。
使用深度邊緣使得本系統(tǒng)能夠對有紋理的(textured)對象、沒有紋 理的(non-textured)對象、發(fā)亮的或者鏡面的對象進行操作。使用基于 亮度邊緣的特征的系統(tǒng)很難處理發(fā)亮的金屬工業(yè)零件和無紋理的對象。
本發(fā)明提供了一種新穎的邊緣連接處理，以完成場景中缺失的深度 邊緣。傳統(tǒng)的邊緣連接處理試圖通過使用啟發(fā)式方法來完成亮度邊緣， 以從亮度圖像獲得封閉輪廓。我們使用實際的物理及幾何約束連接深度 邊緣，而不使用任何啟發(fā)式方法。
我們還提供了一種新穎的場景遮擋圖。從被深度邊緣包圍的區(qū)域構 造該遮擋圖。該遮擋圖中的各個節(jié)點對應于被深度邊緣所包圍的二維區(qū)域。如果區(qū)域A在區(qū)域B上投下陰影，則在節(jié)點A與節(jié)點B之間存在有 向弧。該遮擋圖的源節(jié)點對應于該場景中的未被遮擋對象。
該圖減少了將對象與它們的廓影進行匹配所需執(zhí)行的匹配次數(shù)。 雖然通過優(yōu)選實施方式的示例的方式對本發(fā)明進行了描述，但是可 以理解的是，可以在本發(fā)明的精神和范圍內作出各種其它改動和修改。 因此，所附權利要求的目的在于覆蓋落入本發(fā)明真實的精神和范圍內的 所有這些變形和修改。
權利要求
1、一種用于確定場景中的對象的三維姿態(tài)的方法，該方法包括以下步驟在變化包括多個對象的場景中的照明時根據(jù)所獲取的所述場景的一組圖像確定多個深度邊緣；連接所述深度邊緣，來形成多個輪廓；根據(jù)所述輪廓來將所述圖像劃分成多個區(qū)域；使用所述區(qū)域來構造遮擋圖，其中，所述遮擋圖包括源節(jié)點，該源節(jié)點代表在所述場景中的未被遮擋對象的未被遮擋區(qū)域；將與所述未被遮擋區(qū)域相關的輪廓與所述多個對象的一組廓影進行比較，其中，每一個廓影都具有已知的姿態(tài)；以及選擇最佳匹配的廓影的已知姿態(tài)，作為所述未被遮擋對象的姿態(tài)。
2、 根據(jù)權利要求1所述的方法，該方法還包括以下步驟 根據(jù)所述姿態(tài)將所述未被遮擋對象從所述場景中提取出來。
3、 根據(jù)權利要求2所述的方法，其中，由機械手執(zhí)行所述提取的步驟。
4、 根據(jù)權利要求1所述的方法，其中，所述多個對象在外表和形狀 上類似。
5、 根據(jù)權利要求1所述的方法，其中，所述多個對象具有非朗伯表面。
6、 根據(jù)權利要求1所述的方法，其中，所述變化的照明來自位于照 相機上方、下方、左方及右方的光源。
7、 根據(jù)權利要求6所述的方法，其中，所述照相機是攝像機。
8、 根據(jù)權利要求3所述的方法，其中，照相機被設置在所述機械手上。
9、 根據(jù)權利要求1所述的方法，該方法還包括以下步驟-將所述深度邊緣定義為所述對象的邊界與所述場景中的背景之間的不連續(xù)性；以及將所述陰影邊緣定義為由所述對象投下的陰影與所述背景之間的不 連續(xù)性。
10、 根據(jù)權利要求1所述的方法，其中，所述多個對象包括鏡面反射。
11、 根據(jù)權利要求10所述的方法，其中，所述一組圖像為^，并且該方法還包括以下步驟-根據(jù)所述一組圖像中的各個像素處的梯度的中值來確定對于各個圖像/,的本征圖像4e細；用/產(chǎn)m/"(J,，/^^J來替代各個圖像/, ; 獲得比值圖像i/4^^;以及根據(jù)所述比值圖像來確定所述深度邊緣，以使所述鏡面反射最小化。
12、 根據(jù)權利要求9所述的方法，其中，所述連接的步驟具有以下 的約束對于每一個深度邊緣存在平行的陰影邊緣，并且所述深度邊緣 和所述陰影邊緣不能在所述一組圖像中的同一像素處共存。
13、 根據(jù)權利要求1所述的方法，其中，當由第一節(jié)點所代表的第 一區(qū)域在由第二節(jié)點所代表的第二區(qū)域上投下陰影時，有向弧從所述第 一節(jié)點前進到所述第二節(jié)點，并且所述源節(jié)點沒有入有向弧。
14、 根據(jù)權利要求13所述的方法，該方法還包括以下步驟 如果所述第一節(jié)點與所述第二節(jié)點之間沒有有向弧，則將所述第一節(jié)點與所述第二節(jié)點合并。
15、 根據(jù)權利要求1所述的方法，其中，所述廓影及已知姿態(tài)都預 先存儲在存儲器或數(shù)據(jù)庫中。
16、 根據(jù)權利要求1所述的方法，其中，從所述多個對象的不同視 角的計算機輔助設計模型來獲得所述廓影及已知姿態(tài)。
17、 根據(jù)權利要求l所述的方法，其中，所述廓影包括部分廓影。
18、 根據(jù)權利要求1所述的方法，其中，由多個照相機獲取所述一 組圖像。
19、 一種用于確定場景中的對象的三維姿態(tài)的系統(tǒng)，該系統(tǒng)包括 照相機，該照相機被設置為在改變包括多個對象的場景中的照明時獲取所述場景的一組圖像；用于根據(jù)所述一組圖像來確定多個深度邊緣的裝置； 用于連接所述深度邊緣來形成多個輪廓的裝置； 用于根據(jù)所述輪廓來將所述圖像劃分成多個區(qū)域的裝置； 用于使用所述區(qū)域來構造遮擋圖的裝置，其中，該遮擋圖包括源節(jié)點，該源節(jié)點代表所述場景中的未被遮擋對象的未被遮擋區(qū)域；用于存儲所述多個對象的一組廓影的數(shù)據(jù)庫，其中，每一個廓影都具有己知姿態(tài)；用于將對應于所述遮擋圖的子圖的深度邊緣與所述一組廓影進行比 較的裝置；以及用于選擇最佳匹配的廓影的已知姿態(tài)作為所述未被遮擋對象的姿態(tài) 的裝置。
20、根據(jù)權利要求19所述的系統(tǒng)，該系統(tǒng)還包括 用于根據(jù)所述姿態(tài)從所述場景提取出所述未被遮擋對象的裝置。
全文摘要
本發(fā)明涉及確定場景中的對象的三維姿態(tài)的方法和系統(tǒng)。根據(jù)在改變包括多個對象的場景中的照明時所獲取的所述場景的一組圖像確定多個深度邊緣。連接所述深度邊緣來形成多個輪廓。根據(jù)所述輪廓來將所述圖像劃分成多個區(qū)域。使用所述區(qū)域來構造遮擋圖。所述遮擋圖包括代表場景中的未被遮擋對象的未被遮擋區(qū)域的源節(jié)點。將與所述未被遮擋區(qū)域相關的輪廓與所述多個對象的一組廓影進行比較，其中，每一個廓影都具有已知姿態(tài)。選擇最佳匹配的廓影的已知姿態(tài)作為所述未被遮擋對象的姿態(tài)。
文檔編號G01B11/24GK101430192SQ20081017561
公開日2009年5月13日 申請日期2008年10月17日 優(yōu)先權日2007年11月7日
發(fā)明者拉梅什·拉什卡爾, 阿米特·K·阿格拉瓦爾 申請人:三菱電機株式會社