信息處理裝置及信息處理方法
【專利摘要】本發(fā)明提供信息處理裝置及信息處理方法。為了即使在存在噪聲的情形下，也進行魯棒的位置和姿態(tài)測量，獲取由攝像裝置拍攝的、包括測量對象物體的圖像；設置指示構成所述測量對象物體的三維模型的任一個幾何特征、或從所述圖像中檢測到的多個圖像特征是否與所述測量對象物體的陰影相對應的標志；基于所述測量對象物體的近似位置和姿態(tài)以及所述標志，將所述多個幾何特征與從所述圖像中檢測到的所述多個圖像特征相關聯(lián)；并基于關聯(lián)單元的關聯(lián)結果，推導所述測量對象物體的位置和姿態(tài)。
【專利說明】
信息處理裝置及信息處理方法
技術領域
[0001] 本發(fā)明涉及測量已知三維形狀的物體的位置和姿態(tài)的技術。
【背景技術】
[0002] 在生產(chǎn)現(xiàn)場，已引入機器人自動化來提高生產(chǎn)效率。在機器人裝配工作中，需要識 別對象物體以獲取精確的位置和姿態(tài)。作為用于實現(xiàn)這種操作的方法，開發(fā)出了使用通過 拍攝對象物體獲得的灰度圖像和距離圖像的方法。由于各種因素而生成的噪聲混合在灰度 圖像和距離圖像中。因此，期望對噪聲具有高魯棒性(robustness)的方法。
[0003] 例如，已知如下方法:使用用于將根據(jù)通過拍攝對象物體獲得的灰度圖像和距離 圖像而獲得的測量數(shù)據(jù)擬合為形狀模型的模型擬合方法，來測量照相機的位置和姿態(tài)。具 體的示例是如下方法:給出對象物體的近似位置和姿態(tài)，并且以使得從灰度圖像中提取的 邊緣和從距離圖像中獲得的距離值被更加準確地擬合為形狀模型的方式，最優(yōu)化位置和姿 態(tài)。作為用于使照相機的位置和姿態(tài)的測量魯棒的手段，已知如下方法:在能夠取得照相機 的位置和姿態(tài)的范圍內以預定采樣間隔，生成多個近似位置和姿態(tài);在各近似位置和姿態(tài) 處進行用于擬合的重復計算;并將最好的擬合結果設置為最終擬合結果。
[0004] 作為用于使存在于通過拍攝對象物體獲得的灰度圖像和距離圖像中的陰影魯棒 的方法，提出了進行如下處理的方法:在獲取的圖像中評估關于對象物體的陰影區(qū)域的信 息之后，不與陰影區(qū)域中的偽輪廓錯誤地關聯(lián)。在日本特開2012-42396號公報中，在將距離 圖像中的距離值包括缺損(deficit)的區(qū)域確定為陰影區(qū)域之后，在用于擬合的最優(yōu)化計 算期間，根據(jù)在陰影區(qū)域中是否存在相互關聯(lián)的點，來使用不同的權重系數(shù)。
[0005] 日本特開2012-42396號公報中討論的方法以生成陰影的部分在距離圖像中被明 確反映為缺損部的情況為前提，因此無法應對由于諸如二次反射光的影響而在距離圖像中 具有距離值的陰影。

【發(fā)明內容】

[0006] 根據(jù)本發(fā)明的第一方面，提供了一種信息處理裝置，其包括:獲取單元，其被構造 為獲取由攝像裝置拍攝的、包括測量對象物體的圖像;存儲單元，其被構造為存儲關于構成 所述測量對象物體的三維模型的多個幾何特征的信息；設置單元，其被構造為在所述多個 幾何特征與所述圖像中的多個圖像特征相關聯(lián)的情況下，針對可能與由所述測量對象物體 的陰影引起的圖像特征相對應的幾何特征，設置標志;關聯(lián)單元，其被構造為基于所述測量 對象物體的近似位置和姿態(tài)以及由所述設置單元設置的所述標志，將所述多個幾何特征與 從所述圖像中檢測到的所述多個圖像特征相關聯(lián)；以及推導單元，其被構造為基于所述關 聯(lián)單元的關聯(lián)結果，推導所述測量對象物體的位置和姿態(tài)。
[0007] 根據(jù)本發(fā)明的另一方面，提供了一種信息處理裝置，其包括:獲取單元，其被構造 為獲取由攝像裝置拍攝的、包括測量對象物體的圖像;存儲單元，其被構造為存儲關于構成 所述測量對象物體的三維模型的多個幾何特征的信息；設置單元，其被構造為針對從所述 圖像中檢測到的多個圖像特征當中由所述測量對象物體的陰影引起的圖像特征，設置標 志;關聯(lián)單元，其被構造為基于所述測量對象物體的近似位置和姿態(tài)以及所述標志，將所述 多個幾何特征與從所述圖像中檢測到的所述多個圖像特征相關聯(lián)；以及推導單元，其被構 造為基于所述關聯(lián)單元的關聯(lián)結果，推導所述測量對象物體的位置和姿態(tài)。
[0008] 根據(jù)本發(fā)明的又一方面，提供了一種信息處理裝置，其包括:獲取單元，其被構造 為獲取由攝像裝置拍攝的、包括測量對象物體的圖像;存儲單元，其被構造為存儲關于構成 所述測量對象物體的三維模型的多個幾何特征的信息；第一設置單元，其被構造為在所述 多個幾何特征與所述圖像中的多個圖像特征相關聯(lián)的情況下，針對可能與由所述測量對象 物體的陰影引起的圖像特征相對應的幾何特征，設置第一標志;第二設置單元，其被構造為 針對從所述圖像中檢測到的所述多個圖像特征當中由所述測量對象物體的陰影引起的圖 像特征，設置第二標志;關聯(lián)單元，其被構造為基于所述測量對象物體的近似位置和姿態(tài)以 及所述第一標志和所述第二標志，將所述多個幾何特征與從所述圖像中檢測到的所述多個 圖像特征相關聯(lián)；以及推導單元，其被構造為基于所述關聯(lián)單元的關聯(lián)結果，推導所述測量 對象物體的位置和姿態(tài)。
[0009] 根據(jù)本說明書中描述的技術，即使包括物體的圖像包括陰影，也能夠以高精度測 量物體的位置和姿態(tài)。
[0010] 通過以下參照附圖對示例性實施例的描述，本發(fā)明的其他特征將變得清楚。
【附圖說明】
[0011] 圖1例示了根據(jù)第一至第三示例性實施例的系統(tǒng)的構造。
[0012] 圖2是例示根據(jù)第一至第三示例性實施例的各程序的模塊構造的框圖。
[0013] 圖3是例示根據(jù)第一和第二示例性實施例的位置和姿態(tài)計算處理的過程的流程 圖。
[0014] 圖4是例示根據(jù)第一示例性實施例的錯誤關聯(lián)點檢測處理的具體過程的流程圖。
[0015] 圖5是例示根據(jù)第一和第二示例性實施例的位置和姿態(tài)計算處理的具體過程的流 程圖。
[0016] 圖6A和圖6B例示了根據(jù)第一至第三示例性實施例的搜索對應點的原理。
[0017] 圖7例示了根據(jù)第一至第三示例性實施例的邊緣的投影圖像與檢測邊緣之間的關 系。
[0018] 圖8是例示根據(jù)第二示例性實施例的錯誤關聯(lián)點檢測處理的具體過程的流程圖。
[0019] 圖9A是例示根據(jù)第二示例性實施例的通過拍攝測量對象物體而獲得的灰度圖像 與測量對象物體之間的關系的概念圖，圖9B例示了根據(jù)第二示例性實施例的灰度圖像中的 邊緣點附近的各像素的亮度值。
[0020] 圖10是例示根據(jù)第三示例性實施例的位置和姿態(tài)計算處理的過程的流程圖。
[0021] 圖11是例示根據(jù)第三示例性實施例的位置和姿態(tài)計算處理的具體過程的流程圖。
[0022] 圖12是例示根據(jù)第二示例性實施例的陰影方向計算處理的具體過程的流程圖。
[0023] 圖13A和圖13B例示了根據(jù)第一示例性實施例的三維模型的近似位置和姿態(tài)與攝 像裝置的像平面之間在虛擬空間上的關系。
[0024]圖14是例示根據(jù)變型例2-1的位置和姿態(tài)計算處理的具體過程的流程圖。
[0025] 圖15是例示根據(jù)本發(fā)明的示例性實施例的信息處理裝置的硬件構造的示例的框 圖。
【具體實施方式】
[0026] 下面將參照附圖具體描述本發(fā)明的示例性實施例。
[0027] 下面將具體描述根據(jù)本發(fā)明的示例性實施例的信息處理裝置。
[0028] 在描述示例性實施例之前，將參照圖15來描述安裝有根據(jù)本發(fā)明的各示例性實施 例的信息處理裝置的硬件構造。
[0029]圖15例示了根據(jù)本示例性實施例的信息處理裝置104的硬件構造。在圖15中，中央 處理單元(CPU) 1510整體控制經(jīng)由總線1500相互連接的設備。CPU 1510讀出并執(zhí)行存儲在 只讀存儲器(R〇M)1520中的處理步驟或程序。包括操作系統(tǒng)(0S)的根據(jù)本示例性實施例的 各處理程序和設備驅動器被存儲在ROM 1520中，被臨時存儲到隨機存取存儲器(RAM) 1530 中，并在必要時由CPU 1510執(zhí)行。輸入接口（I/F)1540以信息處理裝置104能處理的形式，從 外部裝置(攝像裝置、顯示裝置、操作裝置等)輸入輸入信號。輸出I/F 1550以外部裝置能處 理的形式，向外部裝置(顯示裝置等)輸出輸出信號。
[0030] 根據(jù)第一示例性實施例，針對三維模型提取容易錯誤相互對應的點。圖1是使用根 據(jù)第一示例性實施例的信息處理裝置104的系統(tǒng)構造的示意圖。
[0031] 測量對象物體101是要測量位置和姿態(tài)的物體。在本示例性實施例中，為了簡化描 述，如圖1所示，在某一位置處僅放置一個用作位置和姿態(tài)測量對象的測量對象物體101。然 而，以下描述的位置和姿態(tài)測量處理并非很大程度上取決于測量對象物體101的形狀、數(shù)量 和放置形式。本示例性實施例還適用于如下情況:例如在混合并堆疊各自具有不同形狀的 多個測量對象物體的狀態(tài)下，測量給定測量對象物體的位置和姿態(tài)。
[0032] 圖2例示了使用根據(jù)第一示例性實施例的信息處理裝置104的系統(tǒng)構造。
[0033]信息處理裝置104與攝像裝置102和投影裝置103相連接，并控制投影裝置103和攝 像裝置102的各操作，同時使用從攝像裝置102獲得的拍攝圖像來獲得測量對象物體101的 位置和姿態(tài)。
[0034] 攝像裝置102拍攝現(xiàn)實空間中的靜止圖像或運動圖像，并用來拍攝已由根據(jù)本示 例性實施例的投影裝置103利用光照射的測量對象物體101。攝像裝置102將拍攝圖像發(fā)送 至信息處理裝置104。例如使用下面描述的Zhang的方法來預先校正攝像裝置102的內在參 數(shù)(焦距、主點位置和透鏡畸變參數(shù)）。
[0035] 投影裝置103用來利用預定光照射測量對象物體101。投影裝置103是液晶投影器。 例如使用非專利文獻（Z.Zhang，〃A flexible new technique for camera calibration，'' IEEE Transactions on Pattern Analysis and Machine Intelligence?vol.22?no.11? pp. 1330-1334,2000)中討論的方法來預先校正投影裝置103的內在參數(shù)(焦距、主點位置和 透鏡畸變參數(shù)）?？梢允褂贸队把b置103以外的裝置，只要其能夠投影狹縫光即可。例如， 可以使用采用數(shù)字鏡器件(DMD)或硅基液晶(LC0S)的投影器。
[0036]下面將描述信息處理裝置104的功能構造示例。測量信息獲取單元201將已由攝像 裝置102獲取的灰度圖像和距離圖像作為測量信息，收入信息處理裝置104中（圖像獲取）。 [0037]裝置信息獲取單元202獲取投影裝置103與攝像裝置102之間的位置關系信息作為 先驗信息(prior information)。通過投影裝置103發(fā)出圖案光、照相機拍攝投影圖案、然后 例如使用以下描述的文獻（M.Kimura/'Projector Calibration using Arbitrary Planes and Calibrated Camera〃Computer Vision and Pattern Recognition，CVPR，2007)中討 論的方法，來獲得投影裝置103與攝像裝置102之間的位置關系信息。
[0038]近似位置和姿態(tài)獲取單元203獲取測量對象物體101相對于攝像裝置102的位置和 姿態(tài)的近似值(近似位置和姿態(tài)獲?。＝o出輸入的近似位置和姿態(tài)，作為用于獲得測量對 象物體101的位置和姿態(tài)的迭代計算的初始值。在本示例性實施例中，假設在時間軸方向上 連續(xù)進行測量，信息處理裝置104使用預先獲得(在先前時間獲得）的測量值作為近似位置 和姿態(tài)。
[0039] 然而，用于輸入位置和姿態(tài)的近似值的方法不限于此。例如，可以使用時間序列濾 波器基于過去的位置和姿態(tài)的測量來評估物體的速度和角速度，以根據(jù)過去的位置和姿 態(tài)、以及評估的速度和角速度來預測當前的位置和姿態(tài)?？梢酝ㄟ^將以各種姿態(tài)拍攝的對 象物體的圖像分別存儲為模板、并針對輸入圖像進行模板匹配（圖案匹配），來評估測量對 象物體101的近似位置和姿態(tài)。另選地，如果其他傳感器能夠測量測量對象物體101的位置 和姿態(tài)，則可以使用該傳感器的輸出值作為位置和姿態(tài)的近似值。
[0040] 傳感器可以是通過例如使用物體上安裝的接收器檢測由發(fā)送器發(fā)出的磁場，來測 量位置和姿態(tài)的磁性傳感器。另選地，傳感器可以是通過利用固定到場景的照相機拍攝物 體上布置的標記，來測量位置和姿態(tài)的光學傳感器。另外，傳感器可以是任何傳感器，只要 其測量6自由度的位置和姿態(tài)即可。如果預先獲知放置物體的近似位置和姿態(tài)，則可以使用 其值作為近似值。
[0041]模型信息獲取單元204存儲關于測量對象物體101的三維模型信息。三維模型信息 是三維計算機輔助設計(CAD)軟件能夠處理的CAD模型本身、或者是將三維CAD模型轉換而 成的在計算機圖形領域中使用的多個多邊形元素。在本示例性實施例中，使用模仿測量對 象物體101的形狀并由多邊形元素構成的三維幾何模型。然而，形狀模型不限于此。形狀模 型可以是代表包括邊緣的形狀的任何模型。
[0042]邊緣檢測單元205從獲取的測量信息、裝置信息、近似位置和姿態(tài)信息以及模型信 息中，檢測要在以下描述的陰影方向計算單元206、錯誤關聯(lián)點檢測單元207、以及位置和姿 態(tài)計算單元208中使用的邊緣信息。要檢測的邊緣信息包括關于三維模型的信息和關于灰 度圖像的信息。要檢測的邊緣信息包括三維模型中的邊緣上的點的三維坐標、虛擬設置的 像平面上的邊緣點的二維坐標、以及灰度圖像上的邊緣點的二維坐標。然而，要檢測的邊緣 信息不僅可以是點，還可以是例如代表各邊緣點所屬的邊緣的方向（直線的方向或與曲線 相切的方向）的向量。
[0043]陰影方向計算單元206針對已經(jīng)由邊緣檢測單元205計算出的三維模型中的各邊 緣或者在邊緣上設置的各點，計算陰影方向，并給出計算出的陰影方向。陰影方向是指在通 過投影裝置103和攝像裝置102與虛擬設置了位置和姿態(tài)的三維模型之間的相對位置關系 計算出的、假定會在測量對象物體101的給定邊緣附近生成的陰影的方向。在本示例性實施 例中，要計算的陰影方向向量是二維平面上的向量。陰影方向向量的示例包括如在以下描 述的步驟S302中，通過將從投影裝置103指向虛擬設置的近似位置和姿態(tài)的三維模型的方 向向量，投影到攝像裝置102的像平面上而獲得的陰影方向向量。
[0044] 然而，要計算的陰影方向向量不限于此。例如，陰影方向向量可以是三維向量。作 為三維向量的示例，也可以采用從投影裝置103指向從投影裝置103虛擬設置的近似位置和 姿態(tài)的三維模型的各邊緣的方向向量本身。在本示例性實施例中，針對三維模型上的各邊 緣點計算要給出的陰影方向向量，以獲得關于最嚴謹?shù)年幱吧煞较虻男畔?。然而，當多個 邊緣點存在于形成一個邊緣的直線或曲線上時，為了簡化計算處理，可以針對各邊緣將邊 緣點作為實體成組，并被賦予典型陰影方向向量。另選地，三維模型中的邊緣點可以被賦予 一個典型陰影方向向量。
[0045] 錯誤關聯(lián)點檢測單元207基于關于陰影方向的信息提取錯誤關聯(lián)點。錯誤關聯(lián)點 是指在位置和姿態(tài)計算期間，可能與源于陰影的邊緣錯誤地關聯(lián)的部分。在本示例性實施 例中，當要提取的部分是位于三維模型的邊緣上設置的點時，如上所述，可以提取邊緣點成 組的邊緣。
[0046] 除了獲取的測量信息、裝置信息、以及近似位置和姿態(tài)信息之外，位置和姿態(tài)計算 單元208還使用關于檢測到的錯誤關聯(lián)點的信息，來推導出（計算)測量對象物體101的位置 和姿態(tài)。更具體地說，在關于錯誤關聯(lián)點的信息被反映在關于三維模型的邊緣的信息上之 后，關聯(lián)單元(未例示)通過重復進行三維模型的邊緣與灰度圖像的邊緣的關聯(lián)、以及使用 相應點之間的距離的總和達到最小的位置和姿態(tài)的最小二乘法的最優(yōu)化計算，來推導出測 量對象物體101的位置和姿態(tài)。
[0047]以上描述了信息處理裝置104的構造的示例。
[0048] 當CPU 1510將存儲在ROM 1520中的程序加載到RAM 1530中并根據(jù)以下描述的各 流程圖進行處理時，實現(xiàn)構成信息處理裝置104的各功能單元。例如，如果使用硬件作為使 用CPU 1510的軟件處理的替代，則可以構造與各功能單元的處理相對應的計算單元或電 路。
[0049] 下面將描述根據(jù)本示例性實施例的位置和姿態(tài)計算處理的過程。圖3是例示根據(jù) 本示例性實施例的位置和姿態(tài)計算處理的過程的流程圖。
[0050] 在步驟S301中，獲取稍后的位置和姿態(tài)計算所需的信息。更具體地說，獲取測量信 息、裝置信息、近似位置和姿態(tài)以及模型信息。測量信息獲取單元201、裝置信息獲取單元 202、近似位置和姿態(tài)獲取單元203以及模型信息獲取單元204分別獲取信息。所獲取的信息 被發(fā)送至邊緣檢測單元205。用作測量信息的灰度圖像是，通過攝像裝置102拍攝已通過使 用投影裝置103的照明照射的測量對象物體101而獲得的圖像。然而，灰度圖像可以是預先 存儲在外部存儲器或網(wǎng)絡上并由測量信息輸入單元201讀取的灰度圖像。依據(jù)信息處理裝 置104的處理速度性能，可以同時或依次獲取在步驟S301中獲取的信息，或者可以按照任何 順序獲取該信息。
[0051 ]在步驟S302中，邊緣檢測單元205計算關于三維模型和灰度圖像的各邊緣的信息。 [0052]在本示例性實施例中，以如下方式具體獲得邊緣。
[0053]針對三維模型，在三維模型的邊緣上生成點，以獲得關于各邊緣點（幾何特征）的 三維信息。三維模型的邊緣是指當在攝像裝置102的虛擬設置的像平面上觀看三維模型時， 形成近似位置和姿態(tài)的三維模型的輪廓的部分。盡管用于在邊緣上生成點的方法包括在虛 擬三維空間中布置的三維模型的邊緣上生成等間隔的多個點的方法，但是并非一定使用該 方法。例如，可以通過反算來生成近似位置和姿態(tài)的三維模型的邊緣上的三維坐標，使得當 在攝像裝置102的虛擬設置的像平面上觀看三維模型時，邊緣點在該像平面上等間隔。當計 算在相同邊緣上生成的邊緣點之間的向量時，還能夠計算代表邊緣的方向的三維向量。 [0054]然后在將近似位置和姿態(tài)的三維模型上的邊緣點投影到攝像裝置102的虛擬設置 的像平面上時，獲得在像平面上看到的邊緣點的二維坐標。將計算出的邊緣點的二維坐標 在與關于三維模型的相應邊緣點的信息相鏈接的情況下進行存儲。
[0055]針對灰度圖像，參照灰度圖像中的亮度值，并且針對任意搜索方向上的周邊像素， 將亮度值取極值的像素的二維坐標確定為邊緣點（圖像特征），以存儲信息。可以為邊緣點 的確定準則配設閾值?？梢詫⒘炼戎祷蛄炼忍荻戎禐殚撝祷蚋笄胰O值的灰度圖像中的 像素確定為邊緣點。如以下在步驟S503中所描述的，可以預先進行如下處理：以投影到像平 面上的三維模型上的邊緣點作為起始點進行搜索，并檢測位于其附近的灰度圖像上的邊緣 點。
[0056]然后，在步驟S303中，陰影方向計算單元206計算假定針對模型信息的邊緣會生成 陰影的方向，并將該方向賦予模型信息。在本示例性實施例中，通過將從投影裝置103指向 虛擬設置的近似位置和姿態(tài)的三維模型的方向向量投影到攝像裝置102的像平面上，來獲 得要計算的陰影方向向量。
[0057]在本示例性實施例中，以如下方式具體獲得陰影方向。
[0058]首先，獲得用于將虛擬設置的三維模型的近似位置和姿態(tài)的邊緣點的三維位置 (父〇3〇,2〇)、以及投影裝置1〇3的三維位置0口，￥口，2口），投影到攝像裝置1〇2的像平面上的 投影矩陣P。要使用的三維模型的三維位置是測量對象物體相對于照相機的近似位置和姿 態(tài)的位置分量?；谌S模型相對于攝像裝置102的近似位置和姿態(tài)、以及作為預先信息的 關于投影裝置103與攝像裝置102之間的位置關系的信息，獲得投影裝置103的三維位置。通 過照相機參數(shù)K(公式1)與從世界坐標系到照相機坐標系的轉換矩陣RT(公式2)的積KXRT， 來代表投影矩陣P:
[0061]將照相機坐標系設置為世界坐標系。因此，通過(公式3)來表示投影矩陣P。照相機 參數(shù)K中的元素 a、b、c、d和e是照相機固有的參數(shù)，并且如上所述被預先獲得：
[0063]根據(jù)投影矩陣P、三維模型的三維位置的齊次坐標(Xo，Yo，Zo，1)、攝像裝置102的 三維位置的齊次坐標(Xp，Yp，Zp，1 )、以及通過將三維位置投影到像平面上獲得的點的各齊 次坐標(uo，vo，l)和(up，vp，l)的關系式(公式4)和(公式5)，來獲得三維模型的像平面上的 位置( uo，vo)和投影裝置103的像平面上的位置(up，vp)。獲得從三維模型的像平面上的位 置(uo，vo)至Ij投影裝置103的像平面上的位置(up，vp)的向量r' = (up-uo，vp-vo)，并將該向 量進一步轉換為單位向量r = r'/|r' |作為陰影方向：
[0066]然后將像平面上的三維模型的邊緣點與陰影方向相關聯(lián)。通過該關聯(lián)能夠提取在 后續(xù)步驟S304中的錯誤關聯(lián)點。
[0067]在步驟S304中，錯誤關聯(lián)點檢測單元207基于關于在步驟S303中已針對三維模型 上的各邊緣點計算出的陰影方向的信息，提取可能與源于陰影的邊緣（由陰影引起的邊緣） 錯誤地關聯(lián)的邊緣點作為錯誤關聯(lián)點。
[0068]圖4是例示本示例性實施例中的處理過程的流程圖。下面將描述步驟S304中的各 步驟。
[0069]首先，錯誤關聯(lián)點檢測單元207將基于近似位置和姿態(tài)虛擬設置的三維模型的平 面上的任意點投影到攝像裝置102的像平面上。用于在三維模型的平面上設置點的方法的 優(yōu)選示例可以包括用于在平面上等間隔地設置點的方法?？梢酝ㄟ^反算來獲得三維模型的 平面上的點，以使得在投影有這些點的像平面上等間隔。
[0070] 然后，在步驟S402中，錯誤關聯(lián)點檢測單元207計算從像平面上設置的點到三維模 型上的相應點的距離。要作為距離計算對象的點包括與在步驟S401中設置的三維模型的平 面相對應的點、以及與在步驟S302中設置的三維模型的邊緣相對應的點二者。更具體地說， 在步驟S402中，進行與獲取跟虛擬設置的空間上的三維模型有關的距離圖像等效的處理， 使得攝像裝置102獲取測量對象物體101的距離圖像。將計算出的距離值與像平面上的相應 點相鏈接地存儲。
[0071] 在步驟S403中，錯誤關聯(lián)點檢測單元207針對關注邊緣點，在像平面上的陰影方向 上搜索像平面上的附近點，并獲取相應的距離值。要獲取的距離值是已在步驟S402中獲得 的距離值。
[0072] 圖13A和圖13B分別是針對邊緣上的給定點例示當在陰影方向上搜索像平面上的 附近點時的點與距離值之間的關系的概念圖。圖13A和圖13B分別例示了不同的三維模型。 在圖13A和圖13B中，點Pa和Pb被分別例示為關注邊緣點。分別與點Pa和Pb對應的距離值被 指示為d_d Pb。此外，在圖13B中，與當在陰影方向上進行搜索時獲得的附近點Pb+1相對應 的距離值被指示為dPb+1。
[0073]在步驟S404中，錯誤關聯(lián)點檢測單元207針對關注邊緣點，確定是否滿足以下兩個 條件中的任一個。在該條件下，以關注邊緣點作為邊界，確定在陰影方向上是否存在大的階 差。換句話說，當確定在虛擬設置的空間上的關注邊緣點的附近是否能夠生成陰影時，在以 下描述的位置和姿態(tài)計算處理中確定是否存在錯誤關聯(lián)的可能性。
[0074]條件A:不存在陰影方向上的附近點；
[0075]條件B:對應于關注邊緣點的距離值與對應于附近點的距離值之間的差是閾值或 更大。
[0076]如果滿足條件A(作為在陰影方向上搜索預定范圍的結果，如果從投影點Pa(關注 幾何特征)處開始，檢測不到點Pa以外(關注幾何特征以外）的邊緣點），則點Pa和背景看上 去在像平面上彼此接觸，并且可能在從點Pa看到的陰影方向上生成陰影。圖13A例示了滿足 條件A的示例。另一方面，如果滿足條件B，則三維模型是具有大階差的形狀，并且點Pb可能 是階差的邊緣。另外，在這種情況下，可以在從點Pb看到的陰影方向上生成陰影。圖13B例示 了滿足條件B的示例。在這種情況下，要與閾值進行比較的值是加 +1與加之間的差。如果滿 足條件A或條件B(步驟S404中的是），則處理進行到步驟S405。否則(步驟S404中的否），處理 進行到步驟S406。
[0077]如果滿足條件A或條件B(步驟S404中的是），則可能在關注邊緣點(關注幾何特征） 的附近生成陰影。因此，當計算測量對象物體101的位置和姿態(tài)時，可能進行錯誤關聯(lián)。相應 地，在步驟S405中，錯誤關聯(lián)點檢測單元207向可能被確定為錯誤關聯(lián)點的邊緣點新賦予標 志信息。
[0078]在步驟S406中，錯誤關聯(lián)點檢測單元207確認是否針對所有的邊緣點都確定了是 否為錯誤關聯(lián)點。如果針對所有的邊緣點都已確定了是否為錯誤關聯(lián)點（步驟S406中的 是），則步驟S304中的處理結束，并且處理進行到步驟S305。另一方面，如果存在尚未確定是 否為錯誤關聯(lián)點的邊緣點（步驟S406中的否），則處理進行到步驟S403,并且重復從步驟 S404至步驟S406的處理。
[0079]當執(zhí)行從步驟S401至步驟S406的處理時，提取錯誤關聯(lián)點。
[0080]在步驟S305中，錯誤關聯(lián)點檢測單元207使用關于已在步驟S304中提取的邊緣點 的信息，通過以下描述的處理來計算測量對象物體101的位置和姿態(tài)。
[0081]圖5是例示如步驟S305中例示的、通過使用近似位置和姿態(tài)的最優(yōu)化計算來計算 位置和姿態(tài)的位置和姿態(tài)計算處理的具體過程的流程圖。
[0082]在本示例性實施例中，通過使用高斯牛頓(Gauss-Newton)方法的迭代運算來重復 校正測量對象物體的位置和姿態(tài)（下文中由s指示）的近似位置和姿態(tài)，以計算位置和姿態(tài) s。最優(yōu)化位置和姿態(tài)，以使在灰度圖像上檢測到的邊緣與基于要估算的位置和姿態(tài)s而投 影到圖像上的三維模型的邊緣之間的距離的總和最小。更具體地說，通過對灰度圖像上的 點與直線之間的符號距離的一次泰勒展開，將測量對象物體的位置和姿態(tài)s表示為物體的 位置和姿態(tài)s的微小變化的一次函數(shù)。通過求解與位置和姿態(tài)s的微小變化有關的線性聯(lián)立 方程，使得符號距離為〇，以發(fā)現(xiàn)物體的位置和姿態(tài)s的微小變化，來重復校正位置和姿態(tài)s。 [0083] 在步驟S501中，位置和姿態(tài)計算單元208進行初始化。已在步驟S301中獲取的近似 位置和姿態(tài)被設置為三維模型的位置和姿態(tài)s。還獲取關于三維模型上的邊緣點的信息、關 于灰度圖像上的邊緣點的信息、以及關于錯誤關聯(lián)點的信息。
[0084] 在步驟S502中，位置和姿態(tài)計算單元208進行如下處理:將三維模型上的邊緣點當 中的、已在步驟S304中提取的被確定為錯誤關聯(lián)點的邊緣點，反映到后續(xù)計算中。因為被賦 予了標志信息，所以能夠容易地提取這些邊緣點。作為反映方法，在本示例性實施例中，被 確定為錯誤關聯(lián)點的邊緣點是非活動的并且不用于后續(xù)計算。因此，針對被賦予標志信息 的邊緣點，在步驟S503中不進行關聯(lián)。然而，被確定為錯誤關聯(lián)點的邊緣點不必須是非活動 的。作為非活動化（inactivation)以外的反映方法，例如，可以在以下描述的步驟S503中， 將被確定為錯誤關聯(lián)點的邊緣點反映在用于位置和姿態(tài)測量的權重系數(shù)的值上。更具體地 說，當與被確定為錯誤關聯(lián)點的邊緣點相對應的權重系數(shù)的值被設置為低于與被確定為錯 誤關聯(lián)點的邊緣點以外的邊緣點相對應的權重系數(shù)時，能夠減小錯誤關聯(lián)點對位置和姿態(tài) 計算結果的貢獻。
[0085] 在步驟S503中，位置和姿態(tài)計算單元208關聯(lián)邊緣。圖6A和圖6B例示了用于關聯(lián)邊 緣的方法。圖6A是三維模型的邊緣到灰度圖像上的投影圖。首先，針對投影到圖像上(到圖 像中）的邊緣601上的各控制點602,在邊緣601的法線方向上設置搜索線603。以控制點602 作為原點，在搜索線603的預定范圍內檢測一維邊緣，并將檢測到的邊緣中最接近控制點 602的點存儲為相應點604。圖6B是以控制點602作為原點、并分別以搜索線603和亮度梯度 的絕對值作為橫軸和縱軸的圖。在先前圖像上，邊緣被檢測為像素的亮度梯度的絕對值的 極值。亮度梯度的絕對值的極值大于預定閾值605并且最接近控制點602的點604，被確定為 相應點。
[0086]如上所述，三維模型上的已在步驟S502中被確定為錯誤關聯(lián)點的邊緣點具有標 志。因此，針對具有標志的邊緣點可以不進行關聯(lián)。即使針對邊緣點進行了關聯(lián)，也可以在 以下描述的步驟S505中的計算中減小權重。
[0087]在本示例性實施例中，不僅針對灰度圖像而且針對獲取的距離圖像進行關聯(lián)。針 對距離圖像的關聯(lián)，從三維模型的平面中提取任意數(shù)量的點，并基于近似位置和姿態(tài)將這 些點投影到距離圖像上?？梢詫⑼队包c與投影點附近的測量點關聯(lián)。
[0088]在步驟S504中，位置和姿態(tài)計算單元208計算用于求解線性聯(lián)立方程的系數(shù)矩陣 和誤差向量。系數(shù)矩陣中的各元素是相對于位置和姿態(tài)的評估值的微小變化的一次偏導 數(shù)，具體地是圖像坐標的偏導數(shù)。誤差向量是投影邊緣與檢測邊緣之間的圖像上的距離。
[0089] 圖7例示了邊緣的投影圖像與檢測邊緣之間的關系。在圖7中，圖像的水平方向和 垂直方向分別為u軸和v軸?？刂泣c（用于均等分割圖像上的各投影邊緣的點)在圖像上的位 置由(uq， Vq)代表，控制點所屬的邊緣在圖像上的傾角由相對于u軸的傾角0代表。傾角0被計 算為連接基于位置和姿態(tài)s而投影到圖像上的邊緣的兩端的各三維坐標的直線的傾角。邊 緣在圖像上的法線向量為(sin0，-cos0)。與控制點相對應的點在圖像上的坐標為(u'，v'）。 通過以下公式來表示穿過點(u'，v'）并具有傾角0(常量)的直線上的點(u，v):
[0090] u sin9-v cos9 = d ???(公式6)
[0091] 其中，d是通過以下公式表示的常量：
[0092] d = u7 sinQ-v7 cos9 ???(公式 7)
[0093] 控制點在圖像上的位置依據(jù)測量對象物體101的位置和姿態(tài)s而改變。測量對象物 體101的位置和姿態(tài)s的自由度是6自由度。也就是說，位置和姿態(tài)s是六維向量，并且包括代 表測量對象物體101的位置的三個元素、以及代表測量對象物體101的姿態(tài)的三個元素。代 表姿態(tài)的三個元素由例如歐拉角(Eulerian angle)代表，或者由方向代表旋轉軸、大小代 表旋轉角的三維向量代表。如由（公式8)所示，可以使用坐標(UQ， V())附近的一次泰勒展開來 近似依據(jù)位置和姿態(tài)s而改變的控制點在圖像上的坐標(u，v)，其中，ASl(I = l，2，...，6) 代表位置和姿態(tài)s的各分量的微小變化。
[0096] 可以假設在通過（公式6)所表示的直線上存在通過正確的位置和姿態(tài)s獲得的控 制點在圖像上的位置。當通過(公式8)近似的4PV被代入到(公式7)時，獲得(公式9):
[0098]其中，r是通過以下公式所表示的常量：
[0100]能夠通過測量對象物體101的位置和姿態(tài)s，將信息處理裝置104的坐標系中的三 維坐標轉換為模型坐標系中的三維坐標(x，y，z)。使用位置和姿態(tài)s的評估值，將點轉換為 模型坐標系中的點(XQ，yo，ZQ)。三維坐標(x，y，z)依據(jù)測量對象物體101的位置和姿態(tài)s而改 變，并且如由（公式9)所表示的，可以使用點( XQ，yQ，ZQ)附近的一次泰勒展開來近似：
[0104](公式9)針對在步驟S502中已進行關聯(lián)的所有邊緣成立。因此，與A Si有關的線性 聯(lián)立方程成立，如(公式11)所表示的。
[0106] (公式11)被表現(xiàn)為(公式12)。
[0107] JAS = E ???(公式 12)
[0108] 例如，使用文獻（V.Lepetit and P.Fua，〃Keypoint recognition using randomized trees"，IEEE Transactions on Pattern Analysis and Machine Intelligence，vol. 28，no.9,2006)中討論的方法來計算用于計算線性聯(lián)立方程(公式12) 中的系數(shù)矩陣J的偏導數(shù)。
[0109]在步驟S505中，位置和姿態(tài)計算單元208基于（公式12)，使用矩陣J的廣義逆矩陣 (/ ? J)-1 ? /，來獲得校正值A S。
[0110]然而，許多邊緣是誤檢測的異常值。因此，使用如下所述的魯棒評估方法。通常，在 用作異常值的邊緣中，誤差d_r增大。因此，對聯(lián)立方程(公式11)和(公式12)的貢獻度增大， 并且作為結果而獲得的校正值As的精度減小。向具有大誤差d-r的數(shù)據(jù)賦予小的權重，向 具有小誤差d-r的數(shù)據(jù)賦予大的權重。例如，如(公式13)所表示的，通過Tukey函數(shù)來給出權 重。
[0112] 其中，CdPC2分別是常量。用于給出權重的函數(shù)不一定是Tukey函數(shù)，而可以是向具 有大誤差的數(shù)據(jù)賦予小的權重、向具有小誤差的數(shù)據(jù)賦予大的權重的任何函數(shù)，例如Huber 函數(shù)。
[0113] 與各數(shù)據(jù)(邊緣)相對應的權重是^。如(公式14)所表示的，定義權重矩陣W:
[0115] 權重矩陣W是除了對角分量之外的所有分量為0的正方矩陣，并且權重^被插入到 對角分量。使用權重矩陣W將(公式11)變形為(公式14)。
[0116] ffJAs=WE ???(公式 15)
[0117] 求解(公式15)，以獲得校正值AS，如(公式16)所表示的：
[0118] as = (JtWJ)-YWE ???(公式 16)
[0119]當還針對在步驟S504中已獲得的距離圖像的關聯(lián)進行上述計算時，能夠不僅使用 灰度圖像而且使用距離圖像來獲得高精度校正值。更具體地說，通過同時使用距離圖像，能 夠獲得如下效果:不僅針對平面方向，而且針對深度方向，提高了位置和姿態(tài)s的計算精度。 [0120] 在步驟S506中，位置和姿態(tài)計算單元208使用在步驟S505中計算出的校正值AS， 將位置和姿態(tài)s更新為s+ A s。
[0121 ] 在步驟S507中，位置和姿態(tài)計算單元208確定位置和姿態(tài)s是否已收斂。如果確定 位置和姿態(tài)s已收斂(步驟S507中的是），則將此時的位置和姿態(tài)s設置為擬合結果，并且處 理結束。如果確定位置和姿態(tài)s尚未收斂(步驟S507中的否），則重復進行從步驟S502至步驟 S506的處理直到位置和姿態(tài)s收斂為止。在收斂確定中，如果確定步驟S506中的校正值A s 是預定值或更小并且?guī)缀醪蛔儯瑒t確定位置和姿態(tài)s已收斂。用于收斂確定的方法不限于 此。如果重復次數(shù)達到預定次數(shù)，則可以確定位置和姿態(tài)s已收斂。
[0122] 如上所述，通過從步驟S501至步驟S507的處理來計算測量對象物體101的位置和 姿態(tài)s。
[0123] 雖然以上計算了三維位置和姿態(tài)，但是以上可以計算二維位置和姿態(tài)。在這種情 況下，向量s是包括代表位置的兩個元素和代表姿態(tài)的元素的三維向量。
[0124] 在本示例性實施例中計算測量對象物體101的位置和姿態(tài)的方法不限于高斯牛頓 方法。例如，可以使用計算更加魯棒的Levenberg-Marquardt方法來計算位置和姿態(tài)，或者 可以使用作為更簡單的方法的最速下降法來計算位置和姿態(tài)?？梢允褂弥T如共輒梯度方法 或不完全Cholesky共輒梯度(ICCG)方法的其他非線性最優(yōu)化計算方法。
[0125] (變型例1-1)
[0126] 作為第一示例性實施例的其他變型例，作為提取錯誤關聯(lián)點的方法，可以通過預 先計算能夠針對近似位置和姿態(tài)的三維模型上的各邊緣點生成陰影的陰影方向，并確定陰 影方向連同關于陰影方向的信息，來提取錯誤關聯(lián)點。
[0127] 更具體地說，首先，陰影方向計算單元206計算陰影方向。用于計算陰影方向的方 法類似于上述步驟S303中的方法。然后，錯誤關聯(lián)點檢測單元207針對三維模型上的各邊緣 點，計算邊緣方向的法線方向。邊緣方向是指構成三維模型的各線段的行進方向。更具體地 說，將三維模型上的各邊緣點投影到二維平面上。獲取三維模型上的各投影邊緣點的邊緣 方向的法線方向。邊緣方向的法線方向可以被分為朝向三維模型內部的方向和朝向三維模 型外部的方向。然而，在本變型例中，朝向外部的法線方向被計算為能夠生成陰影的方向。 然后，針對各邊緣點，計算法線方向與陰影方向的內積，以確定邊緣點是否為錯誤關聯(lián)點。 確定內積是預定值或更大的邊緣點為錯誤關聯(lián)點。當內積較大時，指示陰影方向與法線方 向比較接近。因此，在這些方向上彼此鏈接的邊緣點可能彼此錯誤地關聯(lián)。在該變型例中， 后續(xù)處理方法類似于第一示例性實施例中的方法。
[0128] (變型例1-2)
[0129] 在第一示例性實施例中，假設每當進行用于獲得測量對象物體101的位置和姿態(tài) 的計算時，近似位置和姿態(tài)獲取單元203獲取任意近似位置和姿態(tài)，并且每當進行計算時， 陰影方向計算單元206需要新計算陰影方向。另一方面，如果依據(jù)測量對象物體的形狀和布 置方法來確定測量對象物體101的幾個位置和姿態(tài)，則能夠提取針對預先假設的近似位置 和姿態(tài)可能彼此錯誤地關聯(lián)的邊緣點。
[0130]更具體地說，針對預先假設的近似位置和姿態(tài)重復步驟S301至S304,并將關于錯 誤關聯(lián)點的信息在與各近似位置和姿態(tài)相鏈接的情況下進行存儲。然后，使用由測量信息 獲取單元201獲取的灰度圖像以及關于近似位置和姿態(tài)的信息，執(zhí)行用于計算測量對象物 體101的位置和姿態(tài)的計算處理(從步驟S501至步驟S506)。此時，在步驟S501中設置上述預 先假設的近似位置和姿態(tài)，并在步驟S502中調用在與各近似位置和姿態(tài)相鏈接的情況下存 儲的錯誤關聯(lián)點。在該變型例中，針對各近似位置和姿態(tài)，僅進行一次從步驟S301至步驟 S304的處理即可。因此，能夠使得用于計算處理的時間段比每次進行計算的情況的時間段 更短。
[0131] 在第一示例性實施例中，針對在步驟S302中已針對三維模型計算出的邊緣點，提 取錯誤關聯(lián)點。
[0132] 本發(fā)明的第二示例性實施例與第一示例性實施例的區(qū)別在于，針對在步驟S302中 已針對灰度圖像檢測出的邊緣，提取錯誤關聯(lián)點。作為用于提取錯誤關聯(lián)點的方法，使用邊 緣點和關于其附近像素的亮度值的信息，來確定邊緣點是否是錯誤關聯(lián)點。
[0133] 圖9A和圖9B分別是針對通過拍攝處于某位置和姿態(tài)的測量對象物體101而獲取的 灰度圖像，例示測量對象物體101的位置和姿態(tài)與獲取的灰度圖像的樣子之間的關系、以及 灰度圖像與亮度值分布之間的關系的概念圖。如圖9A所示，如果攝像裝置102拍攝處于其位 置和姿態(tài)的測量對象物體101，則在獲取的灰度圖像中，除了測量對象物體101的邊緣以外， 還反映了基于陰影的邊緣。在基于陰影的邊緣附近，亮度值改變?yōu)檠刂幱胺较蛞欢葴p小， 然后增大。
[0134] 例如，如果如圖9B所示獲得灰度圖像并且關注從灰度圖像中提取出的邊緣點當中 的、源于陰影的邊緣點P，則在陰影方向上邊緣點P附近的像素P+1和P-1處的各亮度值Lp+1和 L^1以邊緣點P的亮度值Lp作為邊界在陰影方向上增大。此時，邊緣點P'在陰影方向附近的 像素P'+l和P'-l處的各亮度值L p'+1和LpM以邊緣點P'的亮度值Lp'作為邊界在陰影方向上 減小，邊緣點P'存在于邊緣點P附近、源于測量對象物體101。如果在灰度圖像上觀看邊緣點 P附近的部分，則該部分看起來是在陰影方向上按照"明"、"暗"、"明"的順序改變。具體地 說，當從步驟S802至步驟S805參照灰度圖像中的關注邊緣點附近的陰影方向上的亮度值的 變化時，能夠確定邊緣點是否源于陰影。
[0135] 下面將描述本示例性實施例中的位置和姿態(tài)計算處理的過程。
[0136] 雖然首先獲取測量信息、裝置信息、近似位置和姿態(tài)以及模型信息，然后檢測邊 緣，但是一系列方法與根據(jù)第一示例性實施例的方法類似，因此不重復其描述。
[0137] 然后計算陰影方向。圖12是例示根據(jù)本示例性實施例的陰影方向計算處理的過程 的流程圖。下面將描述圖12中的例示的各步驟。
[0138] 首先，在步驟S1201中，陰影方向計算單元206針對三維模型上的邊緣點計算陰影 方向。在步驟S1201中計算陰影方向的方法類似于在第一示例性實施例中的步驟S303中的 方法。將計算出的陰影方向在與三維模型的邊緣點相鏈接的情況下進行存儲。
[0139] 然后，在步驟S1202中，陰影方向計算單元206將已經(jīng)計算出陰影方向的三維模型 上的邊緣點與灰度圖像上的邊緣點相關聯(lián)。步驟S1202中的用于關聯(lián)的方法類似于第一示 例性實施例中的步驟S503中的方法。
[0140] 然后，在步驟S1203中，陰影方向計算單元206存儲已在步驟S1202中與三維模型上 的邊緣點相關聯(lián)的灰度圖像上的邊緣點，同時將其與在步驟S1201中計算出的陰影方向相 鏈接。
[0141] 然后，在步驟S1204中，陰影方向計算單元206確認是否針對三維模型上的所有邊 緣點完成了從步驟S1201至步驟S1203的處理。如果針對三維模型上的所有邊緣點完成了處 理(步驟S1204中的是），則處理進行到步驟S1205。另一方面，如果存在尚未處理的三維模型 上的邊緣點，則重復從步驟S1201至步驟S1204的處理。
[0142] 然后，在步驟S1205中，陰影方向計算單元206確定是否殘留未與三維模型上的邊 緣點相關聯(lián)的灰度圖像上的邊緣點。如果未殘留邊緣點（步驟S1205中的否），則省略后續(xù)處 理，并結束陰影計算處理。如果殘留邊緣點（步驟S1205中的是），則處理進行到步驟S1206。
[0143] 在步驟S1206中，陰影方向計算單元206通過參照關于已經(jīng)與三維模型上的邊緣點 相關聯(lián)的附近邊緣點的陰影方向的信息，來確定尚未與三維模型上的邊緣點相關聯(lián)的灰度 圖像上的邊緣點的陰影方向。例如，作為確定陰影方向的方法，可以將陰影方向確定為與已 經(jīng)跟三維模型上的邊緣點相關聯(lián)的邊緣點當中的、附近的最近邊緣點相鏈接的陰影方向。 如果在其附近的預定區(qū)域中存在已經(jīng)與三維模型上的邊緣點相關聯(lián)的多個邊緣點，則可以 將陰影方向確定為與邊緣點鏈接的陰影方向的平均值。在步驟S1206中確定陰影方向之后， 處理返回到步驟S1205。
[0144]陰影方向計算單元206通過執(zhí)行上述處理來計算陰影方向。
[0145] 然后提取錯誤關聯(lián)點。圖8是例示本示例性實施例的錯誤關聯(lián)點提取處理的過程 的流程圖。下面將描述圖8中例示的各步驟。
[0146] 首先，在步驟S801中，錯誤關聯(lián)點檢測單元207搜索灰度圖像中的關注邊緣點的陰 影方向附近(周邊）的像素，并獲取它們的亮度值(像素值）。要使用的灰度圖像可以與在第 一示例性實施例中用于三維模板的位置和姿態(tài)計算的灰度圖像相同。
[0147] 然后，在步驟S802中，以關注邊緣點為邊界，錯誤關聯(lián)點檢測單元207確定獲取的 亮度值是否在陰影方向上逐漸增大。具體地說，如果獲得了如圖9B所示的亮度分布，則錯誤 關聯(lián)點檢測單元207將與存在于關注邊緣點P的陰影方向附近的像素P+1和P-1相對應的亮 度值L p+1和廣1相互比較，并確定亮度值Lp+1和廣1是否具有關系L P+1>LP'如果作為確定結 果、亮度值逐漸增大(步驟S802中的是），則將關注邊緣點P設置為錯誤關聯(lián)點的候選，并且 處理進行到步驟S803。否則(步驟S802中的否），省略從步驟S803至步驟S806的處理，并且處 理進行到步驟S807。
[0148] 在步驟S803中，錯誤關聯(lián)點檢測單元207以關注邊緣點P作為起始點，在與陰影方 向相反的方向上搜索其他邊緣點，并輸出搜索結果。更具體地說，錯誤關聯(lián)點檢測單元207 以圖9B中例示的邊緣點P作為起始點，在與陰影方向相反的方向上搜索其他邊緣點，并且在 搜索到的邊緣點是邊緣點P'的情況下，新賦予標志信息并輸出邊緣點。
[0149] 在步驟S804中，錯誤關聯(lián)點檢測單元207參照步驟S803中的搜索結果，并確定是否 發(fā)現(xiàn)其他邊緣點。如果確定已發(fā)現(xiàn)其他邊緣點（步驟S804中的是），則錯誤關聯(lián)點檢測單元 207獲取邊緣點P'的陰影方向附近的像素的亮度值，并且處理進行到步驟S805。如果在邊緣 點P附近未發(fā)現(xiàn)其他邊緣點（步驟S804中的否），則確定從錯誤關聯(lián)點的候選中排除關注邊 緣點P。在這種情況下，省略步驟S805和S806中的處理，并且處理進行到步驟S807。
[0150] 在步驟S805中，以在步驟S803中發(fā)現(xiàn)的其他邊緣點作為邊界，錯誤關聯(lián)點檢測單 元207確定獲取的亮度值是否在陰影方向逐漸減小。具體地說，錯誤關聯(lián)點檢測單元207將 與存在于圖9B中例示的邊緣點P'的陰影方向附近的像素P'+l和P'-l相對應的亮度值L p'+1 和LpM相互比較，并確定亮度值Lp'+1和LpM是否具有關系L p'+1 <LpM。如果作為確定結果、亮 度值逐漸減?。ú襟ES805中的是），則將邊緣點P'設置為錯誤關聯(lián)點，并且處理進行到步驟 S806。否則(步驟S805中的否），確定從錯誤關聯(lián)點的候選中排除關注邊緣點P'，并且處理進 行到步驟S807。
[0151] 在步驟S806中，錯誤關聯(lián)點檢測單元207向在步驟S805中已被確定為錯誤關聯(lián)點 的邊緣點新賦予標志信息。步驟S806中的處理內容類似于第一示例性實施例中的步驟S405 中的處理內容。
[0152]在步驟S807中，錯誤關聯(lián)點檢測單元207確認是否針對所有的邊緣點都確定了是 否為錯誤關聯(lián)點。如果針對所有的邊緣點都已確定了是否為錯誤關聯(lián)點（步驟S807中的 是），則錯誤關聯(lián)點檢測單元207結束用于錯誤關聯(lián)點提取的處理，并且進行到用于位置和 姿態(tài)計算的處理。另一方面，如果存在尚未確定是否為錯誤關聯(lián)點的邊緣點（步驟S807中的 否），則處理進行到步驟S801，并且重復從步驟S801至步驟S807的處理。步驟S807中的處理 內容類似于第一示例性實施例中的步驟S406中的處理內容。
[0153] 當執(zhí)行上述處理時，提取錯誤關聯(lián)點。
[0154] 然后計算位置和姿態(tài)。用于計算位置和姿態(tài)的方法類似于第一示例性實施例中的 方法，因此不再重復其描述。
[0155] 當執(zhí)行上述處理時，能夠計算測量對象物體101的位置和姿態(tài)。
[0156] (變型例2-1)
[0157] 在本示例性實施例中，確定與三維模型上的邊緣點相關聯(lián)的灰度圖像上的邊緣點 是否是錯誤關聯(lián)點。如果確定灰度圖像上的邊緣點是錯誤關聯(lián)點，則進行將錯誤關聯(lián)點反 映在后續(xù)位置和姿態(tài)計算中的處理，如第一示例性實施例中那樣。作為位置和姿態(tài)計算的 變型例，可以使用如下方法:不將灰度圖像上的錯誤關聯(lián)點反映在后續(xù)計算中，而將錯誤關 聯(lián)點與三維模型上的邊緣點相關聯(lián)，并且在將灰度圖像上的錯誤關聯(lián)點與三維模型上的邊 緣點相關聯(lián)的情況下，利用附近的其他邊緣點來代替錯誤關聯(lián)點。
[0158] 圖14是例示該變型例中的位置和姿態(tài)計算處理的過程的流程圖。雖然圖14中例示 的步驟S1401和S1402中的各處理內容類似于第一示例性實施例和第二示例性實施例中的 步驟S501和S503中的處理內容，但是在步驟S1402中與三維模型上的邊緣點相關聯(lián)的灰度 圖像上的邊緣點包括錯誤關聯(lián)點。在步驟S1403中，確定在步驟S1402中與三維模型上的邊 緣點相關聯(lián)的灰度圖像上的邊緣點是否是錯誤關聯(lián)點。如果確定邊緣點是錯誤關聯(lián)點（步 驟S1403中的是），則在步驟S1404中，利用附近點代替錯誤關聯(lián)點。
[0159] 在步驟S1404中用來代替錯誤關聯(lián)點的附近點需要是錯誤關聯(lián)點以外的邊緣點。 具體示例優(yōu)選為存在于與在步驟S803中搜索到的陰影方向相反的方向上的邊緣點，因為這 種邊緣點可能是源于測量對象物體101的邊緣的點。
[0160] 后續(xù)步驟S1405至S1408中的處理內容類似于第一示例性實施例和第二示例性實 施例中的步驟S504至S507中的處理內容。在該變型例中，當關聯(lián)的錯誤關聯(lián)點在被可能源 于測量對象物體101的其他邊緣點代替之后用于后續(xù)計算時，能夠防止錯誤關聯(lián)。
[0161] 在第一示例性實施例中，針對三維模型上的邊緣點提取錯誤關聯(lián)點。另一方面，在 第二示例性實施例中，針對已在測量信息獲取單元201中獲取的灰度圖像上的邊緣點提取 錯誤關聯(lián)點。另一方面，在本發(fā)明的第三示例性實施例中，在針對三維模型上的邊緣點和灰 度圖像上的邊緣點中的各個提取錯誤關聯(lián)點之后進行位置和姿態(tài)計算。在本示例性實施例 中，通過組合第一和第二示例性實施例，能夠互相彌補可能在第一示例性實施例和第二示 例性實施例中出現(xiàn)的問題。
[0162] 在第一示例性實施例中，針對三維模型上的邊緣點提取可能與源于陰影的邊緣錯 誤關聯(lián)的點。在該方法中，以如下情況為前提進行計算:在虛擬三維空間中，測量對象物體 101具有如同三維模型的理想形狀，并且攝像裝置102與投影裝置103之間的相對位置關系 是理想布置。然而，實際進行攝像的情形不一定是理想的。即使提取三維模型上的邊緣點作 為錯誤關聯(lián)點，由于測量對象物體101的形狀誤差、以及攝像裝置102與投影裝置103之間的 位置關系的誤差，在與錯誤關聯(lián)點相關聯(lián)的灰度圖像上的邊緣點附近也可能不存在源于陰 影的邊緣。更具體地說，在這種情況下，即使用于位置和姿態(tài)計算也沒有問題的邊緣點被多 余地排除了。相應地，通過新添加如下處理能夠解決這種問題，所述處理為確定針對三維模 型上的邊緣點提取的錯誤關聯(lián)點是否包括在根據(jù)關于通過實際進行攝像獲取的灰度圖像 的f目息而提取的錯誤關聯(lián)點中。
[0163] 另一方面，在第二示例性實施例中，針對灰度圖像上的邊緣參照亮度值，并且提取 源于陰影的邊緣點。在該方法中，針對所有提取出的邊緣點中的各個，確定其附近的像素的 亮度是否滿足條件"明、暗、明"。因此，依據(jù)測量對象物體101的材料和形狀以及位置和姿 態(tài)，非源于陰影的邊緣點也可以是非活動的。在這種情況下，減少了用于位置和姿態(tài)計算的 邊緣點的數(shù)量。因此，位置和姿態(tài)計算的精度可能劣化。相應地，通過新添加如下處理能夠 解決這種問題，所述處理為確定針對灰度圖像上的邊緣點提取的錯誤關聯(lián)點是否包括在根 據(jù)三維模型和關于近似位置和姿態(tài)的信息而提取的錯誤關聯(lián)點中。
[0164] 下面將描述根據(jù)第三示例性實施例的位置和姿態(tài)計算的方法。圖10是例示本示例 性實施例的位置和姿態(tài)計算處理的過程的流程圖。在圖10中，步驟S1001和S1002類似于第 一示例性實施例的步驟S301和S303。步驟S1003和S1004二者是提取錯誤關聯(lián)點的步驟，并 且對應于第一示例性實施例、第二示例性實施例、以及它們的變型例中的步驟S304。然而， 在步驟S1003中針對三維模型提取錯誤關聯(lián)點，而在步驟S1004中針對灰度圖像提取錯誤關 聯(lián)點?？梢圆⑿袌?zhí)行步驟S1003和S1004。另選地，可以在執(zhí)行步驟S1003和S1004中的任一步 驟之后，執(zhí)行另一步驟。在步驟S1005中，在反映了關于提取出的錯誤關聯(lián)點的信息之后進 行位置和姿態(tài)計算。然而，本示例性實施例與第一和第二示例性實施例的區(qū)別在于，使用分 別從三維模型上的邊緣點和灰度圖像上的邊緣點二者提取的錯誤關聯(lián)點。
[0165] 圖11是例示根據(jù)本示例性實施例的步驟S1005的具體處理的過程的流程圖。下面 將描述圖11中例示的步驟。
[0166] 在步驟S1101中，位置和姿態(tài)計算單元208進行初始化。本示例性實施例與第一和 第二示例性實施例類似之處在于，提取關于近似位置和姿態(tài)的信息以及關于邊緣點的信 息。然而，本示例性實施例與其他示例性實施例的區(qū)別在于，獲取針對三維模型上的邊緣點 提取的錯誤關聯(lián)點和針對灰度圖像上的邊緣點提取的錯誤關聯(lián)點二者。
[0167] 在步驟S1102中，位置和姿態(tài)計算單元208將從三維模型上的邊緣點提取的錯誤關 聯(lián)點的位置與從灰度圖像上的邊緣點提取的錯誤關聯(lián)點的位置相比較，并確定在像平面上 錯誤關聯(lián)點的位置是否相互匹配。即使這兩種錯誤關聯(lián)點的位置不完全相互匹配，如果關 注邊緣點之間的距離在容許范圍內，則可以認為這些點相互匹配。在這種情況下，需要預先 設置邊緣點之間的距離的容許范圍，并且需要單獨提供用于計算邊緣點之間的距離的步 驟。如果確定這兩種錯誤關聯(lián)點相互匹配(步驟S1102中的是），則處理進行到步驟S1103。否 貝1J(步驟S1102中的否），確定邊緣點不是錯誤關聯(lián)點并且處理進行到步驟S1104。
[0168] 在步驟S1103中，位置和姿態(tài)計算單元208進行如下處理:將在步驟S1102中相互匹 配的錯誤關聯(lián)點反映到后續(xù)計算中。雖然要反映針對三維模型上的邊緣點和灰度圖像上的 邊緣點二者的錯誤關聯(lián)點，但是如果關于一個邊緣點的反映對位置和姿態(tài)計算的結果具有 充分的效果，則可以使用用于反映針對任一邊緣點的錯誤關聯(lián)點的處理。
[0169] 步驟S1104至步驟S1108的處理類似于第一和第二示例性實施例的步驟S503至步 驟S507的處理，因此不重復其描述。
[0170] (變型例3-1)
[0171] 雖然在本示例性實施例中獨立進行針對三維模型上的邊緣點的錯誤關聯(lián)點的檢 測、以及針對灰度圖像上的邊緣點的錯誤關聯(lián)點的檢測，但是為了縮短處理時間，不是必需 獨立檢測錯誤關聯(lián)點。例如，在預先檢測到一個錯誤關聯(lián)點之后，進行關聯(lián)。只要作為關聯(lián) 的結果、存在與錯誤關聯(lián)點相關聯(lián)的邊緣點，就可以確定邊緣點是否是錯誤關聯(lián)點。在該變 型例中，不需要確定兩個錯誤關聯(lián)點是否相互匹配。因此，能夠預料到縮短處理時間的效 果。
[0172] 〈各示例性實施例的效果〉
[0173] 在第一示例性實施例中，通過使用關于生成陰影的方向以及近似位置和姿態(tài)的信 息，來確定三維模型上的邊緣點是否可能與源于陰影的邊緣錯誤地關聯(lián)，并將關于錯誤關 聯(lián)點的信息反映到位置和姿態(tài)計算中，提高了位置和姿態(tài)測量的穩(wěn)定性，從而使得位置和 姿態(tài)測量具有高魯棒性。
[0174] 在第二示例性實施例中，通過使用關于生成陰影的方向和亮度值的信息，來確定 灰度圖像上的邊緣點是否是源于陰影的邊緣，并將關于錯誤關聯(lián)點的信息反映到位置和姿 態(tài)計算中，提高了位置和姿態(tài)測量的穩(wěn)定性，從而使得位置和姿態(tài)測量具有高魯棒性。
[0175] 在第三示例性實施例中，通過確定針對三維模型上的邊緣點和灰度圖像上的邊緣 點分別提取的錯誤關聯(lián)點是否相互匹配，并將錯誤關聯(lián)點反映到位置和姿態(tài)計算中，提高 了位置和姿態(tài)測量的穩(wěn)定性，從而使得位置和姿態(tài)測量具有高魯棒性。
[0176] 其他實施例
[0177] 本發(fā)明的實施例還可以通過如下的方法來實現(xiàn)，即，通過網(wǎng)絡或者各種存儲介質 將執(zhí)行上述實施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計算機或是中 央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。
[0178] 根據(jù)本發(fā)明，即使包括物體的圖像包括陰影，也能夠以高精度測量物體的位置和 姿態(tài)。
[0179]雖然參照示例性實施例對本發(fā)明進行了描述，但是應當理解，本發(fā)明并不限于所 公開的示例性實施例。應當對所附權利要求的范圍給予最寬的解釋，以使其涵蓋所有這些 變型例以及等同的結構和功能。
【主權項】
1. 一種信息處理裝置，其包括： 獲取單元，其被構造為獲取由攝像裝置拍攝的、包括測量對象物體的圖像； 存儲單元，其被構造為存儲關于構成所述測量對象物體的三維模型的多個幾何特征的 信息； 設置單元，其被構造為在所述多個幾何特征與所述圖像中的多個圖像特征相關聯(lián)的情 況下，針對可能與由所述測量對象物體的陰影引起的圖像特征相對應的幾何特征，設置標 志； 關聯(lián)單元，其被構造為基于所述測量對象物體的近似位置和姿態(tài)、以及由所述設置單 元設置的所述標志，將所述多個幾何特征與從所述圖像中檢測到的所述多個圖像特征相關 聯(lián)；以及 推導單元，其被構造為基于所述關聯(lián)單元的關聯(lián)結果，推導所述測量對象物體的位置 和姿態(tài)。2. 根據(jù)權利要求1所述的信息處理裝置，其中，所述設置單元基于所述測量對象物體的 所述近似位置和姿態(tài)，確定所述多個幾何特征當中可能與由所述測量對象物體的陰影引起 的圖像特征相對應的幾何特征，并針對可能與由陰影引起的圖像特征相對應的幾何特征， 設置所述標志。3. 根據(jù)權利要求1所述的信息處理裝置，其中，所述推導單元以使得相互關聯(lián)的圖像特 征與幾何特征之間的差減小的方式更新所述近似位置和姿態(tài)，以推導所述測量對象物體的 位置和姿態(tài)。4. 根據(jù)權利要求1所述的信息處理裝置，所述信息處理裝置還包括： 第二設置單元，其被構造為針對從所述圖像中檢測到的所述多個圖像特征當中可能由 所述測量對象物體的陰影引起的圖像特征，設置第二標志， 其中，所述關聯(lián)單元還基于所述第二標志，將所述多個幾何特征與所述多個圖像特征 相互關聯(lián)。5. 根據(jù)權利要求1所述的信息處理裝置，其中，所述關聯(lián)單元不將設置了所述標志的幾 何特征與圖像特征相關聯(lián)。6. 根據(jù)權利要求1所述的信息處理裝置，所述信息處理裝置還包括： 估算單元，其被構造為基于所述攝像裝置的位置以及將光投影到所述測量對象物體上 的投影裝置的位置，來估算所述圖像中的所述測量對象物體的陰影方向， 其中，所述設置單元基于所述測量對象物體的所述近似位置和姿態(tài)以及所述陰影方 向，設置所述標志。7. 根據(jù)權利要求6所述的信息處理裝置，其中，所述設置單元基于所述近似位置和姿態(tài) 將所述多個幾何特征投影到二維平面上，作為在投影的所述多個幾何特征當中的關注幾何 特征處開始、搜索所述陰影方向上的預定范圍的結果，在未檢測到所述關注幾何特征以外 的幾何特征的情況下，確定所述關注幾何特征可能與由所述測量對象物體的陰影引起的圖 像特征相對應，從而設置所述標志。8. 根據(jù)權利要求6所述的信息處理裝置，其中，所述設置單元基于所述近似位置和姿態(tài) 來將布置在三維空間中的所述多個幾何特征投影到二維平面上，基于所述二維平面上的、 投影的所述多個幾何特征當中的關注幾何特征的方向以及所述陰影方向，來確定所述關注 幾何特征可能與由所述測量對象物體的陰影引起的圖像特征相對應，從而設置所述標志。9. 一種信息處理裝置，其包括： 獲取單元，其被構造為獲取由攝像裝置拍攝的、包括測量對象物體的圖像； 存儲單元，其被構造為存儲關于構成所述測量對象物體的三維模型的多個幾何特征的 信息； 設置單元，其被構造為針對從所述圖像中檢測到的多個圖像特征當中由所述測量對象 物體的陰影引起的圖像特征，設置標志； 關聯(lián)單元，其被構造為基于所述測量對象物體的近似位置和姿態(tài)以及所述標志，將所 述多個幾何特征與從所述圖像中檢測到的所述多個圖像特征相關聯(lián);以及 推導單元，其被構造為基于所述關聯(lián)單元的關聯(lián)結果，推導所述測量對象物體的位置 和姿態(tài)。10. 根據(jù)權利要求9所述的信息處理裝置，其中，所述推導單元以使得相互關聯(lián)的圖像 特征與幾何特征之間的差減小的方式更新所述近似位置和姿態(tài)，以推導所述測量對象物體 的位置和姿態(tài)。11. 根據(jù)權利要求9所述的信息處理裝置，其中，所述關聯(lián)單元不將設置了所述標志的 圖像特征與幾何特征相關聯(lián)。12. 根據(jù)權利要求9所述的信息處理裝置，其中，在針對與幾何特征相關聯(lián)的第一圖像 特征設置所述標志的情況下，所述關聯(lián)單元將不同于所關聯(lián)的第一圖像特征的第二圖像特 征與幾何特征相關聯(lián)。13. 根據(jù)權利要求9所述的信息處理裝置，其中，所述設置單元針對檢測到的所述多個 圖像特征，基于圖像特征附近的像素值，來確定圖像特征是否由所述測量對象物體的陰影 引起，并且在圖像特征被確定為由陰影引起的情況下，針對圖像特征設置所述標志。14. 一種信息處理裝置，其包括： 獲取單元，其被構造為獲取由攝像裝置拍攝的、包括測量對象物體的圖像； 存儲單元，其被構造為存儲關于構成所述測量對象物體的三維模型的多個幾何特征的 信息； 第一設置單元，其被構造為在所述多個幾何特征與所述圖像中的多個圖像特征相關聯(lián) 的情況下，針對可能與由所述測量對象物體的陰影引起的圖像特征相對應的幾何特征，設 置第一標志； 第二設置單元，其被構造為針對從所述圖像中檢測到的所述多個圖像特征當中由所述 測量對象物體的陰影引起的圖像特征，設置第二標志； 關聯(lián)單元，其被構造為基于所述測量對象物體的近似位置和姿態(tài)以及所述第一標志和 所述第二標志，將所述多個幾何特征與從所述圖像中檢測到的所述多個圖像特征相關聯(lián)； 以及 推導單元，其被構造為基于所述關聯(lián)單元的關聯(lián)結果，推導所述測量對象物體的位置 和姿態(tài)。15. -種信息處理方法，其包括： 獲取由攝像裝置拍攝的、包括測量對象物體的圖像； 在構成所述測量對象物體的三維模型的多個幾何特征與所述圖像中的多個圖像特征 相關聯(lián)的情況下，針對可能與由所述測量對象物體的陰影引起的圖像特征相對應的幾何特 征，設置標志； 基于所述測量對象物體的近似位置和姿態(tài)以及所設置的標志，將所述多個幾何特征與 從所述圖像中檢測到的所述多個圖像特征相關聯(lián);以及 基于關聯(lián)的結果，推導所述測量對象物體的位置和姿態(tài)。16. -種信息處理方法，其包括： 獲取由攝像裝置拍攝的、包括測量對象物體的圖像； 針對從所述圖像中檢測到的多個圖像特征當中由所述測量對象物體的陰影引起的圖 像特征，設置標志； 基于所述測量對象物體的近似位置和姿態(tài)以及所述標志，將構成所述測量對象物體的 三維模型的多個幾何特征與從所述圖像中檢測到的所述多個圖像特征相關聯(lián);以及 基于關聯(lián)的結果，推導所述測量對象物體的位置和姿態(tài)。17. -種信息處理方法，其包括： 獲取由攝像裝置拍攝的、包括測量對象物體的圖像； 在構成所述測量對象物體的三維模型的多個幾何特征與所述圖像中的多個圖像特征 相關聯(lián)的情況下，針對可能與由所述測量對象物體的陰影引起的圖像特征相對應的幾何特 征，設置第一標志； 針對從所述圖像中檢測到的所述多個圖像特征當中由所述測量對象物體的陰影引起 的圖像特征，設置第二標志； 基于所述測量對象物體的近似位置和姿態(tài)以及所述第一標志和所述第二標志，將所述 多個幾何特征與從所述圖像中檢測到的所述多個圖像特征相關聯(lián);以及 基于關聯(lián)的結果，推導所述測量對象物體的位置和姿態(tài)。
【文檔編號】G01C11/00GK106052646SQ201610191851
【公開日】2016年10月26日
【申請日】2016年3月30日 公開號201610191851.8, CN 106052646 A, CN 106052646A, CN 201610191851, CN-A-106052646, CN106052646 A, CN106052646A, CN201610191851, CN201610191851.8
【發(fā)明人】庭山潤
【申請人】佳能株式會社