三維測(cè)定方法、裝置及系統(tǒng)、以及圖像處理裝置制造方法
【專利摘要】容易且高精度地進(jìn)行三維測(cè)定。三維測(cè)定裝置(10)具備基線長(zhǎng)BL的第一攝像部(11)及第二攝像部(12)、從圖像中檢測(cè)特征點(diǎn)的特征點(diǎn)檢測(cè)部(21)、檢測(cè)特征點(diǎn)的對(duì)應(yīng)點(diǎn)的對(duì)應(yīng)點(diǎn)檢測(cè)部(22)、旋轉(zhuǎn)矩陣計(jì)算部(23)、平移矩陣計(jì)算部(24)、平移距離計(jì)算部(25)及三維數(shù)據(jù)計(jì)算部(26)。旋轉(zhuǎn)矩陣計(jì)算部(23)基于特征點(diǎn)和對(duì)應(yīng)點(diǎn)，以第一拍攝位置為基準(zhǔn)，計(jì)算表示第二拍攝位置的旋轉(zhuǎn)方向及旋轉(zhuǎn)量的旋轉(zhuǎn)矩陣。平移矩陣計(jì)算部(24)基于特征點(diǎn)和對(duì)應(yīng)點(diǎn)，以第一拍攝位置為基準(zhǔn)，計(jì)算表示第二拍攝位置的平移移動(dòng)方向的平移矩陣。平移距離計(jì)算部(25)基于旋轉(zhuǎn)矩陣、平移矩陣及基線長(zhǎng)，計(jì)算以第一拍攝位置為基準(zhǔn)的第二拍攝位置的平移距離。三維數(shù)據(jù)計(jì)算部(26)使用平移距離來(lái)計(jì)算三維數(shù)據(jù)。
【專利說(shuō)明】三維測(cè)定方法、裝置及系統(tǒng)、以及圖像處理裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種用于根據(jù)拍攝的圖像來(lái)求出被攝體的三維數(shù)據(jù)的三維測(cè)定方法、 裝置及系統(tǒng)、以及圖像處理裝置。

【背景技術(shù)】
[0002] 已知有基于從兩地點(diǎn)拍攝被攝體而得到的兩個(gè)圖像來(lái)計(jì)算被攝體的三維數(shù)據(jù) (例如尺寸）的三維測(cè)定裝置。三維測(cè)定裝置例如由左右隔開(kāi)預(yù)定間隔（以下，稱為基線 長(zhǎng)）而配置的兩個(gè)相機(jī)和根據(jù)通過(guò)這兩個(gè)相機(jī)而得到的具有視差的圖像來(lái)計(jì)算三維數(shù)據(jù) 的處理裝置等形成。
[0003] 三維測(cè)定所需的兩個(gè)圖像只要是拍攝同一被攝體且相互存在視差的圖像即可，因 此例如可以使用通過(guò)具有兩個(gè)攝影鏡頭的立體相機(jī)得到的圖像。然而，三維測(cè)定裝置的三 維數(shù)據(jù)的測(cè)定精度取決于被攝體的大小與基線長(zhǎng)的長(zhǎng)度的關(guān)系，因此在測(cè)定的被攝體的大 小大于立體相機(jī)的基線長(zhǎng)時(shí)，即使能夠得到大致的三維數(shù)據(jù)誤差也較大，無(wú)法得到可靠的 值。因此，在高精度地測(cè)定建筑物等大小比較大的被攝體的三維數(shù)據(jù)的情況下，需要延長(zhǎng)基 線長(zhǎng)。例如，專利文獻(xiàn)1的三維測(cè)定裝置通過(guò)在機(jī)動(dòng)車上安裝2臺(tái)相機(jī)，作為整體而形成巨 大的立體相機(jī)。
[0004] 另外，為了高精度地進(jìn)行三維測(cè)定，需要準(zhǔn)確地獲知基線長(zhǎng)。在通常的立體相機(jī) 中，在制造時(shí)刻以使基線長(zhǎng)成為預(yù)定長(zhǎng)度的方式預(yù)先高精度地進(jìn)行對(duì)位。然而，如專利文獻(xiàn) 1那樣使用2臺(tái)相機(jī)來(lái)形成巨大的立體相機(jī)的情況下，不容易使基線長(zhǎng)準(zhǔn)確地符合預(yù)定值、 預(yù)先準(zhǔn)確地測(cè)定基線長(zhǎng)。因此，專利文獻(xiàn)1公開(kāi)了一種用于預(yù)先準(zhǔn)確地測(cè)定基線長(zhǎng)的校準(zhǔn) 的方法。而且，在專利文獻(xiàn)2中也記載有用于預(yù)先準(zhǔn)確地測(cè)定基線長(zhǎng)的校準(zhǔn)方法。
[0005] 而且，近年來(lái)，也已知有一種利用基線長(zhǎng)較短的立體相機(jī)從兩個(gè)拍攝位置拍攝被 攝體、且能夠使用在各拍攝位置得到的圖像高精度地測(cè)定三維數(shù)據(jù)的三維測(cè)定裝置。但是， 專利文獻(xiàn)3的三維測(cè)定裝置為了獲知兩個(gè)拍攝位置間的距離，將形狀、尺寸等已知的基準(zhǔn) 被攝體與測(cè)定三維數(shù)據(jù)的被攝體一起拍攝。若將移動(dòng)前后的立體相機(jī)的整體作為巨大的1 個(gè)立體相機(jī)，則兩個(gè)拍攝位置間的距離相當(dāng)于該巨大的立體相機(jī)的基線長(zhǎng)。因此，專利文獻(xiàn) 3的三維測(cè)定裝置也以已知基線長(zhǎng)為前提的情況與專利文獻(xiàn)1、2的三維測(cè)定裝置相同。
[0006] 現(xiàn)有技術(shù)文獻(xiàn)
[0007] 專利文獻(xiàn)
[0008] 專利文獻(xiàn)1 :日本特開(kāi)2007-263669號(hào)公報(bào)
[0009] 專利文獻(xiàn)2 :日本特開(kāi)2005-241323號(hào)公報(bào)
[0010] 專利文獻(xiàn)3 :日本特開(kāi)2011-232330號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0011] 發(fā)明要解決的課題
[0012] 在使用兩個(gè)相機(jī)來(lái)形成基線長(zhǎng)（相機(jī)間距離）較長(zhǎng)的巨大的立體相機(jī)而進(jìn)行三維 測(cè)定的情況下，如專利文獻(xiàn)1、2公開(kāi)那樣，必須預(yù)先高精度地求出基線長(zhǎng)，但是若為了將被 攝體良好地收進(jìn)拍攝范圍內(nèi)而變更各相機(jī)的配置，則當(dāng)然必須再次進(jìn)行繁雜的校準(zhǔn)。例如 像專利文獻(xiàn)1那樣將兩個(gè)相機(jī)安裝于機(jī)動(dòng)車時(shí)，為了利用兩個(gè)相機(jī)良好地捕捉被攝體而必 須改變機(jī)動(dòng)車的朝向，但是在必須從道寬較窄的道路進(jìn)行拍攝的情況下或必須在車輛禁止 駛?cè)氲膱?chǎng)所進(jìn)行拍攝的情況下等，不得不改變相機(jī)的配置。
[0013] 也考慮了不將基線長(zhǎng)較長(zhǎng)的巨大的立體相機(jī)安裝于機(jī)動(dòng)車而進(jìn)行搬運(yùn)的情況，但 是由于巨大而并不現(xiàn)實(shí)。而且，不將兩個(gè)相機(jī)分別搬運(yùn)、進(jìn)行校準(zhǔn)而以使基線長(zhǎng)成為預(yù)定值 的方式進(jìn)行再配置的情況基本不可能。這樣，在使用基線長(zhǎng)較長(zhǎng)的巨大的立體相機(jī)的情況 下，必須重新進(jìn)行校準(zhǔn)的情況較多，非常不便。
[0014] 另外，在使用通常尺寸的基線長(zhǎng)較短的立體相機(jī)進(jìn)行三維測(cè)定的情況下，雖然如 專利文獻(xiàn)3那樣能夠挪動(dòng)基準(zhǔn)被攝體并配置在適當(dāng)?shù)奈恢脕?lái)拍攝被攝體，但非常不便。例 如，必須以不會(huì)成為被攝體的三維測(cè)定的干擾的方式對(duì)基準(zhǔn)被攝體的配置想辦法，而且在 想要獲知處于高位置的被攝體的尺寸等的情況下等，在無(wú)法將基準(zhǔn)被攝體與被攝體一起良 好地配置于拍攝范圍時(shí)，存在無(wú)法進(jìn)行三維測(cè)定的情況。不依賴于拍攝時(shí)的狀況而用于隨 時(shí)能夠高精度地計(jì)算巨大的立體相機(jī)的基線長(zhǎng)的基準(zhǔn)被攝體的形狀、材質(zhì)等的選定并不容 易。
[0015] 這樣，在以往的裝置中，由于需要校準(zhǔn)而操作比較麻煩，而且在省略校準(zhǔn)或未準(zhǔn)確 地測(cè)定基線長(zhǎng)的情況下，無(wú)法進(jìn)行高精度的三維測(cè)定。
[0016] 本發(fā)明目的在于提供一種操作容易且能夠進(jìn)行高精度的三維測(cè)定的三維測(cè)定方 法、裝置及系統(tǒng)、以及圖像處理裝置。
[0017] 用于解決課題的方案
[0018] 本發(fā)明的三維測(cè)定裝置具備第一攝像部、第二攝像部、特征點(diǎn)檢測(cè)部、對(duì)應(yīng)點(diǎn)檢測(cè) 部、旋轉(zhuǎn)矩陣計(jì)算部、平移矩陣計(jì)算部、平移距離計(jì)算部及三維數(shù)據(jù)計(jì)算部。第一攝像部和 第二攝像部隔開(kāi)預(yù)定的基線長(zhǎng)配置，第二攝像部拍攝包含第一攝像部拍攝的被攝體的至少 一部分的范圍。特征點(diǎn)檢測(cè)部從在第一拍攝位置通過(guò)第一攝像部及第二攝像部拍攝被攝體 而得到的兩張圖像中的至少任一張圖像檢測(cè)多個(gè)特征點(diǎn)。對(duì)應(yīng)點(diǎn)檢測(cè)部分別對(duì)于在與第一 拍攝位置不同的第二拍攝位置通過(guò)第一攝像部及第二攝像部拍攝被攝體而得到的兩張圖 像，檢測(cè)與特征點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。旋轉(zhuǎn)矩陣計(jì)算部基于特征點(diǎn)和對(duì)應(yīng)點(diǎn)，以第一拍攝位置的 第一攝像部或第二攝像部的朝向?yàn)榛鶞?zhǔn)，計(jì)算表示第二拍攝位置的第一攝像部的旋轉(zhuǎn)方向 及旋轉(zhuǎn)量的第一旋轉(zhuǎn)矩陣和表示第二拍攝位置的第二攝像部的旋轉(zhuǎn)方向及旋轉(zhuǎn)量的第二 旋轉(zhuǎn)矩陣。平移矩陣計(jì)算部基于特征點(diǎn)和對(duì)應(yīng)點(diǎn)，以第一拍攝位置的第一攝像部或第二攝 像部的位置為基準(zhǔn)，計(jì)算表示第二拍攝位置的第一攝像部的平移移動(dòng)方向的第一平移矩陣 和表示第二拍攝位置的第二攝像部的平移移動(dòng)方向的第二平移矩陣。平移距離計(jì)算部基于 第一旋轉(zhuǎn)矩陣、第二旋轉(zhuǎn)矩陣、第一平移矩陣、第二平移矩陣及基線長(zhǎng)，計(jì)算以第一拍攝位 置的第一攝像部或第二攝像部為基準(zhǔn)的第二拍攝位置的第一攝像部或第二攝像部的平移 距離。三維數(shù)據(jù)計(jì)算部基于平移距離，計(jì)算被攝體的三維數(shù)據(jù)。
[0019] 優(yōu)選的是，平移距離計(jì)算部求出基線長(zhǎng)向量的前端與第一方向或第二方向中的另 一方的距離最小的基線長(zhǎng)向量的位置，基于處于該位置的基線長(zhǎng)向量的基端及前端的位 置，計(jì)算各自的平移距離?；€長(zhǎng)向量具有基線長(zhǎng)的長(zhǎng)度，并將通過(guò)第一旋轉(zhuǎn)矩陣及第二旋 轉(zhuǎn)矩陣確定的基線長(zhǎng)向量的基端放置在第一平移矩陣所表示的第一方向或第二平移矩陣 所表示的第二方向中的一方上。
[0020] 優(yōu)選的是，平移距離計(jì)算部將第一方向和第二方向中的另一方的方向與基線長(zhǎng)向 量的前端的距離的最小值和預(yù)定閾值進(jìn)行比較，在最小值比預(yù)定閾值小時(shí)，改變條件并再 計(jì)算平移距離。
[0021] 優(yōu)選的是，平移距離計(jì)算部在使用在第一拍攝位置及第二拍攝位置得到的四張圖 像中任意組合的多個(gè)圖像而計(jì)算出的第一平移距離和使用與計(jì)算第一平移距離時(shí)使用的 多個(gè)圖像不同的組合的多個(gè)圖像而計(jì)算出的表示與第一平移距離相同的攝像部間的距離 的第二平移距離之差比預(yù)定閾值大時(shí)，改變條件并再計(jì)算平移距離。
[0022] 優(yōu)選的是，在平移距離計(jì)算部再計(jì)算平移距離時(shí)，對(duì)應(yīng)點(diǎn)檢測(cè)部改變用于檢測(cè)對(duì) 應(yīng)點(diǎn)的條件，再檢測(cè)對(duì)應(yīng)點(diǎn)，旋轉(zhuǎn)矩陣計(jì)算部、平移矩陣計(jì)算部及平移距離計(jì)算部基于特征 點(diǎn)和再檢測(cè)到的對(duì)應(yīng)點(diǎn)，再計(jì)算旋轉(zhuǎn)矩陣、平移矩陣及平移距離。
[0023] 優(yōu)選的是，在再檢測(cè)對(duì)應(yīng)點(diǎn)時(shí)改變的條件是特征點(diǎn)的組合。
[0024] 對(duì)應(yīng)點(diǎn)檢測(cè)部通過(guò)塊匹配法進(jìn)行對(duì)應(yīng)點(diǎn)的檢測(cè)，該塊匹配法將包含特征點(diǎn)的在第 一拍攝位置拍攝到的圖像中的包含特征點(diǎn)的部分圖像與在第二拍攝位置拍攝到的圖像按 照各部分進(jìn)行比較而將一致度高的部分設(shè)為對(duì)應(yīng)點(diǎn)。并且，優(yōu)選的是，再檢測(cè)對(duì)應(yīng)點(diǎn)時(shí)改變 的條件中包括將部分圖像與在第二拍攝位置拍攝到的圖像按照各部分進(jìn)行比較時(shí)的部分 圖像的放大縮小率和旋轉(zhuǎn)角度中的任一個(gè)。
[0025] 優(yōu)選的是，特征點(diǎn)檢測(cè)部改變特征點(diǎn)的檢測(cè)條件并再檢測(cè)特征點(diǎn)，對(duì)應(yīng)點(diǎn)檢測(cè)部、 旋轉(zhuǎn)矩陣計(jì)算部、平移矩陣計(jì)算部及平移距離計(jì)算部基于再檢測(cè)到的特征點(diǎn)，再計(jì)算對(duì)應(yīng) 點(diǎn)的檢測(cè)、旋轉(zhuǎn)矩陣、平移矩陣及平移距離。
[0026] 旋轉(zhuǎn)矩陣計(jì)算部基于第一攝像部的平移距離即假定值、第一旋轉(zhuǎn)矩陣及第一平移 矩陣，再計(jì)算第二旋轉(zhuǎn)矩陣，平移矩陣計(jì)算部基于假定值、第一旋轉(zhuǎn)矩陣及第一平移矩陣， 再計(jì)算第二平移矩陣，平移距離計(jì)算部基于假定值和再計(jì)算出的第二旋轉(zhuǎn)矩陣及第二平移 矩陣，在第二拍攝位置得到的圖像上計(jì)算至少一個(gè)對(duì)特征點(diǎn)確定的核線，在核線上求出與 特征點(diǎn)的一致度。并且，優(yōu)選的是，變更假定值并反復(fù)進(jìn)行一致度的計(jì)算，通過(guò)選出一致度 最高的核線來(lái)確定第二拍攝位置，再計(jì)算平移距離。
[0027] 優(yōu)選的是，平移距離計(jì)算部以多個(gè)特征點(diǎn)中的檢測(cè)對(duì)應(yīng)點(diǎn)的特征點(diǎn)的組合、或用 于檢測(cè)對(duì)應(yīng)點(diǎn)的條件不同的多個(gè)條件來(lái)預(yù)先計(jì)算平移距離，三維數(shù)據(jù)計(jì)算部對(duì)第一方向和 第二方向中的另一方的方向與基線長(zhǎng)向量的前端的距離的最小值進(jìn)行比較，使用以最小值 小的條件計(jì)算出的平移距離。
[0028] 三維數(shù)據(jù)例如是被攝體的實(shí)際空間上的尺寸或被攝體的三維模型數(shù)據(jù)。
[0029] 本發(fā)明的圖像處理裝置具備存儲(chǔ)部、特征點(diǎn)檢測(cè)部、對(duì)應(yīng)點(diǎn)檢測(cè)部、旋轉(zhuǎn)矩陣計(jì)算 部、平移矩陣計(jì)算部、平移距離計(jì)算部及三維數(shù)據(jù)計(jì)算部。存儲(chǔ)部存儲(chǔ)通過(guò)一個(gè)或兩個(gè)立體 相機(jī)在第一拍攝位置和第二拍攝位置分別拍攝到的圖像，該立體相機(jī)具有對(duì)被攝體進(jìn)行拍 攝的第一攝像部和相對(duì)于第一攝像部隔開(kāi)預(yù)定的基線長(zhǎng)配置且對(duì)包含第一攝像部拍攝的 被攝體的至少一部分的范圍進(jìn)行拍攝的第二攝像部。特征點(diǎn)檢測(cè)部從在第一拍攝位置通過(guò) 第一攝像部及第二攝像部拍攝被攝體而得到的兩張圖像中的至少任一張圖像檢測(cè)多個(gè)特 征點(diǎn)。對(duì)應(yīng)點(diǎn)檢測(cè)部分別對(duì)于在第二拍攝位置通過(guò)第一攝像部及第二攝像部拍攝被攝體而 得到的兩張圖像，檢測(cè)與特征點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。旋轉(zhuǎn)矩陣計(jì)算部基于特征點(diǎn)和對(duì)應(yīng)點(diǎn)，以第 一拍攝位置的第一攝像部或第二攝像部的朝向?yàn)榛鶞?zhǔn)，計(jì)算表示第二拍攝位置的第一攝像 部的旋轉(zhuǎn)方向及旋轉(zhuǎn)量的第一旋轉(zhuǎn)矩陣和表示第二拍攝位置的第二攝像部的旋轉(zhuǎn)方向及 旋轉(zhuǎn)量的第二旋轉(zhuǎn)矩陣。平移矩陣計(jì)算部基于特征點(diǎn)和對(duì)應(yīng)點(diǎn)，以第一拍攝位置的第一攝 像部或第二攝像部的位置為基準(zhǔn)，計(jì)算表示第二拍攝位置的第一攝像部的平移移動(dòng)方向的 第一平移矩陣和表示第二拍攝位置的第二攝像部的平移移動(dòng)方向的第二平移矩陣。平移距 離計(jì)算部基于第一旋轉(zhuǎn)矩陣、第二旋轉(zhuǎn)矩陣、第一平移矩陣、第二平移矩陣及基線長(zhǎng)，計(jì)算 以第一拍攝位置的第一攝像部或第二攝像部為基準(zhǔn)的第二拍攝位置的第一攝像部或第二 攝像部的平移距離。三維數(shù)據(jù)計(jì)算部基于平移距離，計(jì)算被攝體的三維數(shù)據(jù)。
[0030] 本發(fā)明的三維測(cè)定系統(tǒng)具備一個(gè)或兩個(gè)立體相機(jī)和上述圖像處理裝置。立體相機(jī) 具有對(duì)被攝體進(jìn)行拍攝的第一攝像部和相對(duì)于第一攝像部隔開(kāi)預(yù)定的基線長(zhǎng)配置且對(duì)包 含第一攝像部拍攝的被攝體的至少一部分的范圍進(jìn)行拍攝的第二攝像部。
[0031] 優(yōu)選的是，立體相機(jī)是車載相機(jī)。
[0032] 本發(fā)明的三維測(cè)定方法使用一個(gè)或兩個(gè)立體相機(jī)來(lái)求出被攝體的三維數(shù)據(jù)，該立 體相機(jī)具有對(duì)被攝體進(jìn)行拍攝的第一攝像部和相對(duì)于第一攝像部隔開(kāi)預(yù)定的基線長(zhǎng)配置 且對(duì)包含第一攝像部拍攝的被攝體的至少一部分的范圍進(jìn)行拍攝的第二攝像部，三維測(cè)定 方法具備特征點(diǎn)檢測(cè)步驟、對(duì)應(yīng)點(diǎn)檢測(cè)步驟、旋轉(zhuǎn)矩陣計(jì)算步驟、平移矩陣計(jì)算步驟、平移 距離計(jì)算步驟及三維數(shù)據(jù)計(jì)算步驟。在特征點(diǎn)檢測(cè)步驟中，從在第一拍攝位置通過(guò)第一攝 像部及第二攝像部拍攝被攝體而得到的兩張圖像中的至少任一張圖像檢測(cè)多個(gè)特征點(diǎn)。立 體相機(jī)是具有對(duì)被攝體進(jìn)行拍攝的第一攝像部和相對(duì)于第一攝像部隔開(kāi)預(yù)定的基線長(zhǎng)配 置且對(duì)包含第一攝像部拍攝的被攝體的至少一部分的范圍進(jìn)行拍攝的第二攝像部的相機(jī)。 在對(duì)應(yīng)點(diǎn)檢測(cè)步驟中，分別對(duì)于通過(guò)立體相機(jī)在與第一拍攝位置不同的第二拍攝位置拍攝 被攝體而得到的兩張圖像，檢測(cè)與特征點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。在旋轉(zhuǎn)矩陣計(jì)算步驟中，基于特征 點(diǎn)和對(duì)應(yīng)點(diǎn)，以第一拍攝位置的第一攝像部或第二攝像部的朝向?yàn)榛鶞?zhǔn)，計(jì)算表示第二拍 攝位置的第一攝像部的旋轉(zhuǎn)方向及旋轉(zhuǎn)量的第一旋轉(zhuǎn)矩陣和表示第二拍攝位置的第二攝 像部的旋轉(zhuǎn)方向及旋轉(zhuǎn)量的第二旋轉(zhuǎn)矩陣。在平移矩陣計(jì)算步驟中，基于特征點(diǎn)和對(duì)應(yīng)點(diǎn)， 以第一拍攝位置的第一攝像部或第二攝像部的位置為基準(zhǔn)，計(jì)算表示第二拍攝位置的第一 攝像部的平移移動(dòng)方向的第一平移矩陣和表示第二拍攝位置的第二攝像部的平移移動(dòng)方 向的第二平移矩陣。在平移距離計(jì)算步驟中，基于第一旋轉(zhuǎn)矩陣、第二旋轉(zhuǎn)矩陣、第一平移 矩陣、第二平移矩陣及基線長(zhǎng)，計(jì)算以第一拍攝位置的第一攝像部或第二攝像部為基準(zhǔn)的 第二拍攝位置的第一攝像部或第二攝像部的平移距離。在三維數(shù)據(jù)計(jì)算步驟中，基于平移 距離，計(jì)算被攝體的三維數(shù)據(jù)。
[0033] 發(fā)明效果
[0034] 根據(jù)本發(fā)明，從使用基線長(zhǎng)確定的兩個(gè)攝像部在兩個(gè)拍攝位置分別拍攝而得到的 圖像，計(jì)算拍攝它們的各攝像部間的距離（相當(dāng)于巨大的立體相機(jī)的基線長(zhǎng)），因此不進(jìn)行 校準(zhǔn)，而且，不使用基準(zhǔn)被攝體，僅通過(guò)拍攝要測(cè)定三維數(shù)據(jù)的被攝體而得到的圖像，就能 夠進(jìn)行高精度的三維測(cè)定。

【專利附圖】

【附圖說(shuō)明】
[0035] 圖1是三維測(cè)定裝置的說(shuō)明圖。
[0036] 圖2是測(cè)定部的框圖。
[0037] 圖3是表示旋轉(zhuǎn)矩陣、平移矩陣、及平移距離的說(shuō)明圖。
[0038] 圖4是表示平移距離的任意性的說(shuō)明圖。
[0039] 圖5是表示三維測(cè)定的步驟的流程圖。
[0040] 圖6是表示特征點(diǎn)的概要的說(shuō)明圖。
[0041 ] 圖7是表示對(duì)應(yīng)點(diǎn)檢測(cè)的概要的說(shuō)明圖。
[0042] 圖8是表示檢索第二拍攝位置B的原理的說(shuō)明圖。
[0043] 圖9是表示將三維數(shù)據(jù)顯示于顯示器的情況的說(shuō)明圖。
[0044] 圖10是表不基線長(zhǎng)向量與Tla-T2J面的關(guān)系的說(shuō)明圖。
[0045] 圖11是表示第二實(shí)施方式的三維測(cè)定的步驟的流程圖。
[0046] 圖12是表示在第三實(shí)施方式中計(jì)算的旋轉(zhuǎn)矩陣及平移矩陣和平移距離的說(shuō)明 圖。
[0047] 圖13是表示在第三實(shí)施方式中檢索第二拍攝位置的原理的說(shuō)明圖。
[0048] 圖14是表示第三實(shí)施方式的更優(yōu)選的三維測(cè)定步驟的流程圖。
[0049] 圖15是表示第三實(shí)施方式的更優(yōu)選的三維測(cè)定步驟的流程圖。
[0050] 圖16是表示第三實(shí)施方式的變形例的三維測(cè)定步驟的流程圖。
[0051] 圖17是表示第三實(shí)施方式的變形例的三維測(cè)定步驟的流程圖。
[0052] 圖18是表示另一三維測(cè)定步驟的流程圖。
[0053] 圖19是表示核線的例子的說(shuō)明圖。
[0054] 圖20是表示沿著核線計(jì)算一致度的情況的說(shuō)明圖。
[0055] 圖21是表示進(jìn)行使用了核線的三維測(cè)定時(shí)的測(cè)定部的結(jié)構(gòu)的框圖。
[0056] 圖22是表示三維測(cè)定系統(tǒng)的框圖。
[0057] 圖23是表示具備多個(gè)立體相機(jī)的三維測(cè)定系統(tǒng)的框圖。
[0058] 圖24是表不使用車載相機(jī)作為立體相機(jī)的例子的說(shuō)明圖。

【具體實(shí)施方式】
[0059] [第一實(shí)施方式]
[0060] 如圖1所示，三維測(cè)定裝置10具備第一攝像部11、第二攝像部12、測(cè)定部15、顯示 器16等。即，三維測(cè)定裝置10在所謂的立體相機(jī)上搭載測(cè)定部15,根據(jù)拍攝到的圖像能夠 計(jì)算被攝體的三維數(shù)據(jù)。而且，三維測(cè)定裝置10緊湊地形成為簡(jiǎn)單地挪動(dòng)的程度（以往的 簡(jiǎn)單的立體相機(jī)程度）。
[0061 ] 第一攝像部11和第二攝像部12分別在三維測(cè)定裝置10的左右配置，拍攝光軸Ln L2平行?；€長(zhǎng)BL的長(zhǎng)度在三維測(cè)定裝置10的制造時(shí)精密地確定，在進(jìn)行使用了基于第 一、第二攝像部11、12的拍攝圖像的三維測(cè)定的情況下，基線長(zhǎng)BL為已知量。此外，基線長(zhǎng) BL是第一攝像部11與第二攝像部12的配置間隔，更具體而言，是拍攝光軸U、1^2的間隔。 在拍攝光軸U、L 2為非平行的情況下，例如各攝像部11、12的主點(diǎn)的間隔為基線長(zhǎng)BL。
[0062] 另外，第一攝像部11與第二攝像部12的拍攝范圍至少一部分重復(fù)，第一攝像部 11與第二攝像部12在重復(fù)的拍攝范圍內(nèi)同時(shí)拍攝同一被攝體，輸出左右存在視差的1對(duì) 圖像。此外，在本說(shuō)明書(shū)中，被攝體表示測(cè)定三維數(shù)據(jù)的對(duì)象。因此，以下，在通過(guò)第一攝像 部11和第二攝像部12分別得到的圖像中均映現(xiàn)出測(cè)定三維數(shù)據(jù)的被攝體，但是也可以在 重復(fù)的拍攝范圍內(nèi)捕捉其他的結(jié)構(gòu)物（建筑物等），并以此為基準(zhǔn)，而計(jì)算僅映現(xiàn)于通過(guò)第 一攝像部11 (或第二攝像部12)得到的圖像中的被攝體的三維數(shù)據(jù)。
[0063] 第一攝像部11具備攝像透鏡11a、影像傳感器Ilb等。攝像透鏡Ila使被攝體的 圖像成像于影像傳感器lib。雖然省略圖示，但是在攝像透鏡Ila中包含光圈、可動(dòng)透鏡及 用于使它們動(dòng)作的凸輪、齒輪等，能夠進(jìn)行AF或變倍。影像傳感器Ilb例如是CMOS或CCD 等，將通過(guò)攝像透鏡Ila而成像在攝像面上的被攝體的像按照各像素進(jìn)行光電轉(zhuǎn)換，由此 將被攝體的圖像向測(cè)定部15輸出。
[0064] 第二攝像部12具備攝像透鏡12a、影像傳感器12b等。攝像透鏡12a、影像傳感器 12b與第一攝像部11的攝像透鏡11a、影像傳感器Ilb相同。但是，第一攝像部11和第二 攝像部12的各部無(wú)需為嚴(yán)格相同的結(jié)構(gòu)，可以分別不同。第二攝像部12將拍攝而得到的 圖像向測(cè)定部15輸出的情況也與第一攝像部11同樣。
[0065] 此外，第一攝像部11及第二攝像部12的各部的動(dòng)作由未圖示的CPU等按照預(yù)定 的程序來(lái)控制。而且，三維測(cè)定裝置10具備未圖示的圖像處理電路、存儲(chǔ)器、A/D轉(zhuǎn)換電路 等，第一攝像部11及第二攝像部12輸出的圖像在實(shí)施了 A/D轉(zhuǎn)換、白平衡校正、γ校正等 各種圖像處理之后向測(cè)定部15輸入。
[0066] 測(cè)定部15在至少兩個(gè)不同的拍攝位置處，基于通過(guò)第一攝像部11及第二攝像部 12拍攝而得到的4種圖像，計(jì)算被攝體的三維數(shù)據(jù)。測(cè)定部15計(jì)算的三維數(shù)據(jù)例如是2點(diǎn) 間距離（長(zhǎng)度、高度、寬度等）、曲線的長(zhǎng)度、曲率、面積、體積、位置坐標(biāo)等實(shí)際空間內(nèi)的尺 寸等、將被攝體由線框或多邊形表示的假想空間上的三維模型數(shù)據(jù)。測(cè)定部15按照設(shè)定而 計(jì)算它們中的1個(gè)或多個(gè)來(lái)作為三維數(shù)據(jù)。而且，測(cè)定部15按照設(shè)定將計(jì)算的三維數(shù)據(jù)顯 示于顯示器16。例如，測(cè)定部15將實(shí)際空間內(nèi)的被攝體的尺寸等與拍攝到的圖像重疊地顯 示于顯示器16。而且，測(cè)定部15將拍攝到的圖像與計(jì)算的三維數(shù)據(jù)建立關(guān)聯(lián)地存儲(chǔ)于存儲(chǔ) 裝置（未圖示的存儲(chǔ)器或拆裝自如的媒體卡等）。向顯示器16的顯示是任意的，在將計(jì)算 的三維數(shù)據(jù)預(yù)先存儲(chǔ)以便在其他裝置（計(jì)算機(jī)等）中能夠使用的情況下，可以不在顯示器 16上顯示三維數(shù)據(jù)。
[0067] 此外，測(cè)定部15對(duì)三維數(shù)據(jù)的計(jì)算需要通過(guò)在至少2個(gè)以上的不同的拍攝位置拍 攝被攝體的圖像。因此，以下，在第一拍攝位置A和第二拍攝位置B這兩個(gè)部位進(jìn)行被攝體 的拍攝，得到4種圖像Ρ ΑρΡΑΚ、Ρ%、Pbk。第一下標(biāo)表示拍攝位置，第二下標(biāo)表示攝像部（第 一攝像部11產(chǎn)生的圖像為L(zhǎng)，第二攝像部12產(chǎn)生的圖像為R)。例如，圖像Ρ&是在第一拍 攝位置A通過(guò)第一攝像部11得到的圖像，圖像P ak是在第一拍攝位置A通過(guò)第二攝像部12 得到的圖像。同樣，圖像P%是在第二拍攝位置B通過(guò)第一攝像部11得到的圖像，圖像P BK 是在第二拍攝位置B通過(guò)第二攝像部12得到的圖像。在測(cè)定部15中，使用這4種圖像 ΡΑΚ、Ρ%、ΡΒΚΦ的至少3個(gè)圖像來(lái)計(jì)算被攝體的三維數(shù)據(jù)。
[0068] 如圖2所示，測(cè)定部15具備特征點(diǎn)檢測(cè)部21、對(duì)應(yīng)點(diǎn)檢測(cè)部22、旋轉(zhuǎn)矩陣計(jì)算部 23、平移矩陣計(jì)算部24、平移距離計(jì)算部25、三維數(shù)據(jù)計(jì)算部26。
[0069] 特征點(diǎn)檢測(cè)部21檢測(cè)多個(gè)被輸入的圖像的特征點(diǎn)，將坐標(biāo)等特征點(diǎn)的信息向?qū)?應(yīng)點(diǎn)檢測(cè)部22、旋轉(zhuǎn)矩陣計(jì)算部23、平移矩陣計(jì)算部24輸入。特征點(diǎn)例如是被攝體的角 (拐角）、線段的端點(diǎn)、交叉點(diǎn)、分支點(diǎn)等。檢測(cè)它們中的哪個(gè)等特征點(diǎn)檢測(cè)部21檢測(cè)的特 征點(diǎn)的具體的種類任意。而且，特征點(diǎn)檢測(cè)部21進(jìn)行的特征點(diǎn)檢測(cè)處理的算法任意，例如， 為了檢測(cè)拐角作為特征點(diǎn)，可以使用例如Moravec或Harris算法。
[0070] 此外，三維數(shù)據(jù)的計(jì)算需要至少8點(diǎn)的特征點(diǎn)，因此以檢測(cè)8點(diǎn)以上的特征點(diǎn)的方 式選定特征點(diǎn)的種類。而且，在檢測(cè)到的特征點(diǎn)小于8點(diǎn)的情況下，特征點(diǎn)檢測(cè)部21變更 檢測(cè)的特征點(diǎn)的種類或用于檢測(cè)特征點(diǎn)的算法，必然檢測(cè)8點(diǎn)以上的特征點(diǎn)。當(dāng)然，在即使 變更特征點(diǎn)的種類或檢測(cè)算法也無(wú)法檢測(cè)8點(diǎn)的特征點(diǎn)的情況下，通知出錯(cuò)，催促使用的 圖像的變更（或拍攝的重新進(jìn)行）。
[0071] 雖然也受到具體的被攝體的形狀等的影響，但是在多數(shù)情況下，特征點(diǎn)檢測(cè)部21 檢測(cè)8點(diǎn)以上的多個(gè)特征點(diǎn)。因此，特征點(diǎn)檢測(cè)部21從檢測(cè)到的多個(gè)特征點(diǎn)選出使用的特 征點(diǎn)為8點(diǎn)?十幾點(diǎn)左右。在檢測(cè)到多個(gè)特征點(diǎn)時(shí)，特征點(diǎn)檢測(cè)部21選出的特征點(diǎn)的個(gè)數(shù) 只要為8點(diǎn)以上即可，可以任意。雖然可以使用檢測(cè)到的全部的特征點(diǎn)，但是之后進(jìn)行的對(duì) 應(yīng)點(diǎn)的檢測(cè)等需要較長(zhǎng)的時(shí)間，因此優(yōu)選在能夠確保精度的范圍內(nèi)如上所述地選出少數(shù)的 特征點(diǎn)來(lái)使用。
[0072] 對(duì)應(yīng)點(diǎn)檢測(cè)部22當(dāng)從特征點(diǎn)檢測(cè)部21接受到特征點(diǎn)的信息時(shí)，從與檢測(cè)到特征 點(diǎn)的圖像不同的圖像分別檢測(cè)與各特征點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。對(duì)應(yīng)點(diǎn)檢測(cè)部22進(jìn)行的對(duì)應(yīng)點(diǎn) 檢測(cè)處理的算法任意，可以使用例如塊匹配法或KLT跟蹤法等。通過(guò)塊匹配法，在檢測(cè)對(duì)應(yīng) 點(diǎn)的情況下，從檢測(cè)到特征點(diǎn)的圖像切出包含特征點(diǎn)的預(yù)定尺寸的部分圖像，一邊將該部 分圖像進(jìn)行放大（縮?。┗蚴乖摬糠謭D像旋轉(zhuǎn)，一邊與檢測(cè)對(duì)應(yīng)點(diǎn)的圖像進(jìn)行比較，將一致 度（也稱為類似度）高的部位檢測(cè)為對(duì)應(yīng)點(diǎn)。將對(duì)應(yīng)點(diǎn)檢測(cè)部22檢測(cè)到的對(duì)應(yīng)點(diǎn)的坐標(biāo) 等對(duì)應(yīng)點(diǎn)的信息向旋轉(zhuǎn)矩陣計(jì)算部23和平移矩陣計(jì)算部24輸入。
[0073] 另外，對(duì)應(yīng)點(diǎn)檢測(cè)部22在1次三維測(cè)定中，從兩個(gè)圖像來(lái)檢測(cè)對(duì)應(yīng)點(diǎn)。例如，在通 過(guò)特征點(diǎn)檢測(cè)部21從圖像Pi或圖像P AK的一方來(lái)檢測(cè)到特征點(diǎn)的情況下，對(duì)應(yīng)點(diǎn)檢測(cè)部 22從圖像&及圖像PJt測(cè)對(duì)應(yīng)點(diǎn)。在本實(shí)施方式中，說(shuō)明與該模式對(duì)應(yīng)的例子。另一方 面，在通過(guò)特征點(diǎn)檢測(cè)部21從圖像Pi和圖像P AK分別檢測(cè)到特征點(diǎn)的情況下，從圖像P %或 圖像Pbk的任一方來(lái)檢測(cè)與圖像P &的特征點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)，從另一方的圖像來(lái)檢測(cè)與圖像 Pak的特征點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。這是后述的第三實(shí)施方式的情況（參照?qǐng)D14、圖15)。這些模 式的差異通過(guò)設(shè)定能夠變更。
[0074] 旋轉(zhuǎn)矩陣計(jì)算部23基于檢測(cè)到特征點(diǎn)的圖像及檢測(cè)到的特征點(diǎn)的信息、檢測(cè)到 對(duì)應(yīng)點(diǎn)的圖像及檢測(cè)到的對(duì)應(yīng)點(diǎn)的信息，以拍攝檢測(cè)到特征點(diǎn)的圖像的攝像部的位置為基 準(zhǔn)，計(jì)算表示拍攝檢測(cè)到對(duì)應(yīng)點(diǎn)的圖像的攝像部的旋轉(zhuǎn)方向及旋轉(zhuǎn)量的旋轉(zhuǎn)矩陣。
[0075] 例如圖3所示，旋轉(zhuǎn)矩陣計(jì)算部23基于圖像Pi的特征點(diǎn)和圖像P %的對(duì)應(yīng)點(diǎn)，計(jì) 算表示以第一拍攝位置A的第一攝像部11為基準(zhǔn)的第二拍攝位置B的第一攝像部11的旋 轉(zhuǎn)方向及旋轉(zhuǎn)量的旋轉(zhuǎn)矩陣R la。
[0076] 旋轉(zhuǎn)矩陣Rla例如使用水平面內(nèi)的旋轉(zhuǎn)角Θ和從鉛垂方向的旋轉(zhuǎn)角φ這兩個(gè)參數(shù) 來(lái)表示。當(dāng)然也可以確定在實(shí)際空間上相互正交的X軸、Y軸、Z軸，使用繞上述各軸的旋轉(zhuǎn) 角α、β、γ來(lái)表示旋轉(zhuǎn)矩陣R la。由Θ及φ表示的旋轉(zhuǎn)矩陣Rla與由α?γ表示的旋轉(zhuǎn) 矩陣Rla雖然表示的方法不同但實(shí)質(zhì)上相同。
[0077] 同樣，旋轉(zhuǎn)矩陣計(jì)算部23基于圖像Ρ&的特征點(diǎn)和圖像B ΡΚ的對(duì)應(yīng)點(diǎn)，計(jì)算表示以 第一拍攝位置A的第一攝像部11為基準(zhǔn)的第二拍攝位置B的第二攝像部12的旋轉(zhuǎn)方向及 旋轉(zhuǎn)量的旋轉(zhuǎn)矩陣R2a。此外，在圖3中由于是俯視性地圖示，因此旋轉(zhuǎn)矩陣Rla、R2a可看做 表示相同的旋轉(zhuǎn)，但是三維測(cè)定裝置10在鉛垂方向上也旋轉(zhuǎn)時(shí)，旋轉(zhuǎn)矩陣R la、R2a不同，旋 轉(zhuǎn)矩陣R2a由與旋轉(zhuǎn)矩陣Rla不同的旋轉(zhuǎn)角θ 2、φ2表示。在僅沿水平方向旋轉(zhuǎn)的情況下旋 轉(zhuǎn)矩陣Rla、R 2a相等。這樣，將旋轉(zhuǎn)矩陣計(jì)算部23計(jì)算出的旋轉(zhuǎn)矩陣R la、R2a向平移距離計(jì) 算部25輸入。
[0078] 此外，根據(jù)檢測(cè)到特征點(diǎn)的圖像及檢測(cè)到的特征點(diǎn)的信息、檢測(cè)到對(duì)應(yīng)點(diǎn)的圖 像及檢測(cè)到的對(duì)應(yīng)點(diǎn)的信息來(lái)計(jì)算旋轉(zhuǎn)矩陣的具體的方法例如可以使用日本特開(kāi)平 9-237341號(hào)公報(bào)記載的方法。
[0079] 平移矩陣計(jì)算部24基于檢測(cè)到特征點(diǎn)的圖像及檢測(cè)到的特征點(diǎn)的信息、檢測(cè)到 對(duì)應(yīng)點(diǎn)的圖像及檢測(cè)到的對(duì)應(yīng)點(diǎn)的信息，以拍攝檢測(cè)到特征點(diǎn)的圖像的攝像部的位置為基 準(zhǔn)，計(jì)算表示拍攝檢測(cè)到對(duì)應(yīng)點(diǎn)的圖像的攝像部的平移移動(dòng)的方向的平移矩陣。
[0080] 具體而言，平移矩陣計(jì)算部24基于圖像Pm的特征點(diǎn)和圖像P %的對(duì)應(yīng)點(diǎn)，計(jì)算表 示以第一拍攝位置A的第一攝像部11為基準(zhǔn)的第二拍攝位置B的第一攝像部11的平移移 動(dòng)方向的平移矩陣T la(參照?qǐng)D3)。但是，平移矩陣Tla僅能夠計(jì)算標(biāo)準(zhǔn)化的信息而不包含 平移距離的信息。
[0081] 同樣，平移矩陣計(jì)算部24基于圖像Pm的特征點(diǎn)和圖像B ^的對(duì)應(yīng)點(diǎn)，計(jì)算表示以 第一拍攝位置A的第一攝像部11為基準(zhǔn)的第二拍攝位置B的第二攝像部12的方向的平移 矩陣T 2a。平移矩陣T2a表示第一攝像部11和第二攝像部12的位置關(guān)系，因此嚴(yán)格來(lái)說(shuō)未 表示第一攝像部11、第二攝像部12的移動(dòng)，但是在本說(shuō)明書(shū)中，將第一拍攝位置A的攝像 部（第一攝像部11或第二攝像部12)和第二攝像部B的攝像部的位置關(guān)系稱為平移移動(dòng)。 而且，將第一拍攝位置A和第二拍攝位置B的各攝像部間的距離稱為平移距離。平移矩陣 T2a被標(biāo)準(zhǔn)化且不包含平移距離的信息的情況與平移矩陣T la同樣。
[0082] 這樣，將平移矩陣計(jì)算部24計(jì)算出的平移矩陣Tla、T2a向平移距離計(jì)算部25輸入。
[0083] 根據(jù)檢測(cè)到特征點(diǎn)的圖像及檢測(cè)到的特征點(diǎn)的信息、檢測(cè)到對(duì)應(yīng)點(diǎn)的圖像及檢測(cè) 到的對(duì)應(yīng)點(diǎn)的信息來(lái)計(jì)算平移矩陣的具體的方法與旋轉(zhuǎn)矩陣的計(jì)算方法同樣，可以使用例 如日本特開(kāi)平9-237341號(hào)公報(bào)記載的方法。而且，在本說(shuō)明書(shū)中為了進(jìn)行說(shuō)明而分別設(shè)為 旋轉(zhuǎn)矩陣計(jì)算部23和平移矩陣計(jì)算部24,但旋轉(zhuǎn)矩陣和平移矩陣基本同時(shí)地成對(duì)地計(jì)算。 因此，旋轉(zhuǎn)矩陣計(jì)算部23和平移矩陣計(jì)算部24是作為整體而計(jì)算旋轉(zhuǎn)矩陣及平移矩陣的 一體的電路等。
[0084] 如上所述，旋轉(zhuǎn)矩陣表示旋轉(zhuǎn)方向和旋轉(zhuǎn)量，相對(duì)于此，平移矩陣僅表示平移移動(dòng) 的方向，因此僅用一組旋轉(zhuǎn)矩陣和平移矩陣（R 1JPTla、或R2a和T2a)無(wú)法確定與第一拍攝位 置A的攝像部相對(duì)的第二拍攝位置B的攝像部。具體而言，如圖4所示，通過(guò)平移矩陣T la 來(lái)確定第一攝像部11的平移移動(dòng)方向，通過(guò)旋轉(zhuǎn)矩陣Rla來(lái)確定第一攝像部11相對(duì)于平移 移動(dòng)方向的旋轉(zhuǎn)方向及旋轉(zhuǎn)角度，但是平移距離未定，因此第二拍攝位置B的位置存在任 意性。
[0085] 因此，三維測(cè)定裝置10具備使用2組旋轉(zhuǎn)矩陣和平移矩陣來(lái)計(jì)算第一拍攝位置A 的攝像部和第二拍攝位置B的攝像部間的平移距離的平移距離計(jì)算部25。平移距離計(jì)算部 25使用旋轉(zhuǎn)矩陣Rla和平移矩陣T la、及旋轉(zhuǎn)矩陣R2a和平移矩陣T 2a來(lái)計(jì)算以第一拍攝位置 A的第一攝像部11為基準(zhǔn)的第二拍攝位置B的第一攝像部11的平移距離Dla(參照?qǐng)D3)。 當(dāng)計(jì)算平移距離Dla時(shí)，通過(guò)平移距離D la、旋轉(zhuǎn)矩陣Rla、R2a及平移矩陣T la、T2a，第二拍攝位 置B的攝像部相對(duì)于第一拍攝位置A的攝像部的位置或朝向的任意性消失，因此以第一拍 攝位置A的第一攝像部11為基準(zhǔn)的第二拍攝位置B的第二攝像部12的平移距離D 2也自 動(dòng)確定。而且，以第一拍攝位置A的第二攝像部12為基準(zhǔn)的第二拍攝位置B的第一、第二 攝像部11、12的平移距離（未圖示）也同樣地自動(dòng)確定。雖然先計(jì)算平移距離D la，但是當(dāng) 然也可以先計(jì)算平移距離D2。將平移距離計(jì)算部25計(jì)算出的平移距離Dla、D 2向三維數(shù)據(jù) 計(jì)算部26輸入。
[0086] 三維數(shù)據(jù)計(jì)算部26基于下述數(shù)學(xué)式1的式子，將圖像Pi上的坐標(biāo)（u、V)與實(shí)際 空間上的坐標(biāo)（X、Y、Z)建立對(duì)應(yīng)。"w"是圖像P&與圖像P %的視差，"f"是拍攝圖像Pi時(shí) 的焦點(diǎn)距離，"P"是影像傳感器Ilb的像素間距。視差由特征點(diǎn)與對(duì)應(yīng)點(diǎn)的像素坐標(biāo)之差 來(lái)表示。例如，在第一拍攝位置A和第二拍攝位置B中僅使三維測(cè)定裝置10沿水平方向旋 轉(zhuǎn)的情況下，是特征點(diǎn)的U坐標(biāo)與對(duì)應(yīng)點(diǎn)的U坐標(biāo)之差（w = u# -U5fit )。此外，通過(guò)將平移 距離Dla、視差"W"、焦點(diǎn)距離"f"、像素間距"P"置換成適當(dāng)?shù)膮?shù)，使用數(shù)學(xué)式1能夠?qū)D 像圖像P bk上的坐標(biāo)轉(zhuǎn)換成實(shí)際空間上的坐標(biāo)。
[0087] [數(shù)學(xué)式1]

【權(quán)利要求】
1. 一種三維測(cè)定裝置，具備： 第一攝像部，對(duì)被攝體進(jìn)行拍攝； 第二攝像部，相對(duì)于所述第一攝像部隔開(kāi)預(yù)定的基線長(zhǎng)配置，對(duì)包含所述第一攝像部 拍攝的所述被攝體的至少一部分的范圍進(jìn)行拍攝； 特征點(diǎn)檢測(cè)部，從在第一拍攝位置通過(guò)所述第一攝像部及所述第二攝像部拍攝所述被 攝體而得到的兩張圖像中的至少任一張圖像檢測(cè)多個(gè)特征點(diǎn)； 對(duì)應(yīng)點(diǎn)檢測(cè)部，分別對(duì)于在與所述第一拍攝位置不同的第二拍攝位置通過(guò)所述第一攝 像部及所述第二攝像部拍攝所述被攝體而得到的兩張圖像，檢測(cè)與所述特征點(diǎn)對(duì)應(yīng)的對(duì)應(yīng) 占. 旋轉(zhuǎn)矩陣計(jì)算部，基于所述特征點(diǎn)和所述對(duì)應(yīng)點(diǎn)，以所述第一拍攝位置的所述第一攝 像部或所述第二攝像部的朝向?yàn)榛鶞?zhǔn)，計(jì)算表示所述第二拍攝位置的所述第一攝像部的旋 轉(zhuǎn)方向及旋轉(zhuǎn)量的第一旋轉(zhuǎn)矩陣和表示所述第二拍攝位置的所述第二攝像部的旋轉(zhuǎn)方向 及旋轉(zhuǎn)量的第二旋轉(zhuǎn)矩陣； 平移矩陣計(jì)算部，基于所述特征點(diǎn)和所述對(duì)應(yīng)點(diǎn)，以所述第一拍攝位置的所述第一攝 像部或所述第二攝像部的位置為基準(zhǔn)，計(jì)算表示所述第二拍攝位置的所述第一攝像部的平 移移動(dòng)方向的第一平移矩陣和表示所述第二拍攝位置的所述第二攝像部的平移移動(dòng)方向 的第二平移矩陣； 平移距離計(jì)算部，基于所述第一旋轉(zhuǎn)矩陣、所述第二旋轉(zhuǎn)矩陣、所述第一平移矩陣、所 述第二平移矩陣及所述基線長(zhǎng)，計(jì)算以所述第一拍攝位置的所述第一攝像部或所述第二攝 像部為基準(zhǔn)的所述第二拍攝位置的所述第一攝像部或所述第二攝像部的平移距離；以及 三維數(shù)據(jù)計(jì)算部，基于所述平移距離，計(jì)算所述被攝體的三維數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的三維測(cè)定裝置，其中， 所述平移距離計(jì)算部求出基線長(zhǎng)向量的前端與所述第一方向或所述第二方向中的另 一方的距離最小的所述基線長(zhǎng)向量的位置，基于處于該位置的所述基線長(zhǎng)向量的基端及前 端的位置，計(jì)算各自的所述平移距離， 所述基線長(zhǎng)向量具有所述基線長(zhǎng)的長(zhǎng)度，并將通過(guò)所述第一旋轉(zhuǎn)矩陣及所述第二旋轉(zhuǎn) 矩陣確定的基線長(zhǎng)向量的基端放置在所述第一平移矩陣所表示的第一方向或所述第二平 移矩陣所表示的第二方向中的一方上。
3. 根據(jù)權(quán)利要求2所述的三維測(cè)定裝置，其中， 所述平移距離計(jì)算部將所述第一方向和所述第二方向中的所述另一方的方向與所述 基線長(zhǎng)向量的前端的距離的最小值和預(yù)定閾值進(jìn)行比較，在所述最小值比所述預(yù)定閾值小 時(shí)，改變條件并再計(jì)算所述平移距離。
4. 根據(jù)權(quán)利要求1所述的三維測(cè)定裝置，其中， 所述平移距離計(jì)算部在使用在所述第一拍攝位置及所述第二拍攝位置得到的四張圖 像中任意組合的多個(gè)圖像而計(jì)算出的第一所述平移距離和使用與計(jì)算所述第一平移距離 時(shí)使用的所述多個(gè)圖像不同的組合的多個(gè)圖像而計(jì)算出的表示與所述第一平移距離相同 的攝像部間的距離的第二所述平移距離之差比預(yù)定閾值大時(shí)，改變條件并再計(jì)算所述平移 距離。
5. 根據(jù)權(quán)利要求3所述的三維測(cè)定裝置，其中， 在所述平移距離計(jì)算部再計(jì)算所述平移距離時(shí)，所述對(duì)應(yīng)點(diǎn)檢測(cè)部改變用于檢測(cè)所述 對(duì)應(yīng)點(diǎn)的條件，再檢測(cè)所述對(duì)應(yīng)點(diǎn)，所述旋轉(zhuǎn)矩陣計(jì)算部、所述平移矩陣計(jì)算部及所述平移 距離計(jì)算部基于所述特征點(diǎn)和再檢測(cè)到的所述對(duì)應(yīng)點(diǎn)，再計(jì)算所述旋轉(zhuǎn)矩陣、所述平移矩 陣及所述平移距離。
6. 根據(jù)權(quán)利要求5所述的三維測(cè)定裝置，其中， 在再檢測(cè)所述對(duì)應(yīng)點(diǎn)時(shí)改變的條件是所述特征點(diǎn)的組合。
7. 根據(jù)權(quán)利要求5所述的三維測(cè)定裝置，其中， 所述對(duì)應(yīng)點(diǎn)檢測(cè)部通過(guò)塊匹配法進(jìn)行所述對(duì)應(yīng)點(diǎn)的檢測(cè)，該塊匹配法將包含所述特征 點(diǎn)的在所述第一拍攝位置拍攝到的圖像中的包含所述特征點(diǎn)的部分圖像與在所述第二拍 攝位置拍攝到的圖像按照各部分進(jìn)行比較而將一致度高的所述部分設(shè)為所述對(duì)應(yīng)點(diǎn)， 再檢測(cè)所述對(duì)應(yīng)點(diǎn)時(shí)改變的條件中包括將所述部分圖像與在所述第二拍攝位置拍攝 到的圖像按照各部分進(jìn)行比較時(shí)的所述部分圖像的放大縮小率和旋轉(zhuǎn)角度中的任一個(gè)。
8. 根據(jù)權(quán)利要求3所述的三維測(cè)定裝置，其中， 所述特征點(diǎn)檢測(cè)部改變所述特征點(diǎn)的檢測(cè)條件并再檢測(cè)所述特征點(diǎn)，所述對(duì)應(yīng)點(diǎn)檢測(cè) 部、所述旋轉(zhuǎn)矩陣計(jì)算部、所述平移矩陣計(jì)算部及所述平移距離計(jì)算部基于再檢測(cè)到的所 述特征點(diǎn)，再計(jì)算所述對(duì)應(yīng)點(diǎn)的檢測(cè)、所述旋轉(zhuǎn)矩陣、所述平移矩陣及所述平移距離。
9. 根據(jù)權(quán)利要求3所述的三維測(cè)定裝置，其中， 所述旋轉(zhuǎn)矩陣計(jì)算部基于作為所述第一攝像部的平移距離的假定值、所述第一旋轉(zhuǎn)矩 陣及所述第一平移矩陣，再計(jì)算所述第二旋轉(zhuǎn)矩陣， 所述平移矩陣計(jì)算部基于所述假定值、所述第一旋轉(zhuǎn)矩陣及所述第一平移矩陣，再計(jì) 算所述第二平移矩陣， 所述平移距離計(jì)算部基于所述假定值和再計(jì)算出的所述第二旋轉(zhuǎn)矩陣及所述第二平 移矩陣，在所述第二拍攝位置得到的圖像上計(jì)算至少一個(gè)對(duì)所述特征點(diǎn)確定的核線，在所 述核線上求出與所述特征點(diǎn)的一致度，進(jìn)而變更所述假定值并反復(fù)進(jìn)行所述一致度的計(jì) 算，通過(guò)選出所述一致度最高的所述核線來(lái)確定所述第二拍攝位置，再計(jì)算所述平移距離。
10. 根據(jù)權(quán)利要求2所述的三維測(cè)定裝置，其中， 所述平移距離計(jì)算部以多個(gè)所述特征點(diǎn)中的檢測(cè)所述對(duì)應(yīng)點(diǎn)的所述特征點(diǎn)的組合或 用于檢測(cè)所述對(duì)應(yīng)點(diǎn)的條件不同的多個(gè)條件來(lái)預(yù)先計(jì)算所述平移距離， 所述三維數(shù)據(jù)計(jì)算部對(duì)所述第一方向和所述第二方向中的所述另一方的方向與所述 基線長(zhǎng)向量的前端的距離的最小值進(jìn)行比較，使用以所述最小值小的所述條件計(jì)算出的所 述平移距離。
11. 根據(jù)權(quán)利要求1所述的三維測(cè)定裝置，其中， 所述三維數(shù)據(jù)是所述被攝體的實(shí)際空間上的尺寸或所述被攝體的三維模型數(shù)據(jù)。
12. -種圖像處理裝置，具備： 存儲(chǔ)部，存儲(chǔ)通過(guò)一個(gè)或兩個(gè)立體相機(jī)在第一拍攝位置和第二拍攝位置分別拍攝到的 圖像，該立體相機(jī)具有對(duì)被攝體進(jìn)行拍攝的第一攝像部和相對(duì)于所述第一攝像部隔開(kāi)預(yù)定 的基線長(zhǎng)配置且對(duì)包含所述第一攝像部拍攝的所述被攝體的至少一部分的范圍進(jìn)行拍攝 的第二攝像部； 特征點(diǎn)檢測(cè)部，從在所述第一拍攝位置通過(guò)所述第一攝像部及所述第二攝像部拍攝所 述被攝體而得到的兩張圖像中的至少任一張圖像檢測(cè)多個(gè)特征點(diǎn)； 對(duì)應(yīng)點(diǎn)檢測(cè)部，分別對(duì)于在所述第二拍攝位置通過(guò)所述第一攝像部及所述第二攝像部 拍攝所述被攝體而得到的兩張圖像，檢測(cè)與所述特征點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)； 旋轉(zhuǎn)矩陣計(jì)算部，基于所述特征點(diǎn)和所述對(duì)應(yīng)點(diǎn)，以所述第一拍攝位置的所述第一攝 像部或所述第二攝像部的朝向?yàn)榛鶞?zhǔn)，計(jì)算表示所述第二拍攝位置的所述第一攝像部的旋 轉(zhuǎn)方向及旋轉(zhuǎn)量的第一旋轉(zhuǎn)矩陣和表示所述第二拍攝位置的所述第二攝像部的旋轉(zhuǎn)方向 及旋轉(zhuǎn)量的第二旋轉(zhuǎn)矩陣； 平移矩陣計(jì)算部，基于所述特征點(diǎn)和所述對(duì)應(yīng)點(diǎn)，以所述第一拍攝位置的所述第一攝 像部或所述第二攝像部的位置為基準(zhǔn)，計(jì)算表示所述第二拍攝位置的所述第一攝像部的平 移移動(dòng)方向的第一平移矩陣和表示所述第二拍攝位置的所述第二攝像部的平移移動(dòng)方向 的第二平移矩陣； 平移距離計(jì)算部，基于所述第一旋轉(zhuǎn)矩陣、所述第二旋轉(zhuǎn)矩陣、所述第一平移矩陣、所 述第二平移矩陣及所述基線長(zhǎng)，計(jì)算以所述第一拍攝位置的所述第一攝像部或所述第二攝 像部為基準(zhǔn)的所述第二拍攝位置的所述第一攝像部或所述第二攝像部的平移距離；以及 三維數(shù)據(jù)計(jì)算部，基于所述平移距離，計(jì)算所述被攝體的三維數(shù)據(jù)。
13. -種三維測(cè)定系統(tǒng)，具備： A. -個(gè)或兩個(gè)立體相機(jī)，具有對(duì)被攝體進(jìn)行拍攝的第一攝像部和相對(duì)于所述第一攝像 部隔開(kāi)預(yù)定的基線長(zhǎng)配置且對(duì)包含所述第一攝像部拍攝的所述被攝體的至少一部分的范 圍進(jìn)行拍攝的第二攝像部；和 B. 圖像處理裝置，具有存儲(chǔ)部、特征點(diǎn)檢測(cè)部、對(duì)應(yīng)點(diǎn)檢測(cè)部、旋轉(zhuǎn)矩陣計(jì)算部、平移矩 陣計(jì)算部、平移距離計(jì)算部及三維數(shù)據(jù)計(jì)算部，其中，所述存儲(chǔ)部存儲(chǔ)在第一拍攝位置和第 二拍攝位置分別拍攝到的圖像，所述特征點(diǎn)檢測(cè)部從在所述第一拍攝位置通過(guò)所述第一攝 像部及所述第二攝像部拍攝所述被攝體而得到的兩張圖像中的至少任一張圖像檢測(cè)多個(gè) 特征點(diǎn)，所述對(duì)應(yīng)點(diǎn)檢測(cè)部分別對(duì)于在所述第二拍攝位置通過(guò)所述第一攝像部及所述第二 攝像部拍攝所述被攝體而得到的兩張圖像，檢測(cè)與所述特征點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)，所述旋轉(zhuǎn)矩 陣計(jì)算部基于所述特征點(diǎn)和所述對(duì)應(yīng)點(diǎn)，以所述第一拍攝位置的所述第一攝像部或所述第 二攝像部的朝向?yàn)榛鶞?zhǔn)，計(jì)算表示所述第二拍攝位置的所述第一攝像部的旋轉(zhuǎn)方向及旋轉(zhuǎn) 量的第一旋轉(zhuǎn)矩陣和表示所述第二拍攝位置的所述第二攝像部的旋轉(zhuǎn)方向及旋轉(zhuǎn)量的第 二旋轉(zhuǎn)矩陣，所述平移矩陣計(jì)算部基于所述特征點(diǎn)和所述對(duì)應(yīng)點(diǎn)，以所述第一拍攝位置的 所述第一攝像部或所述第二攝像部的位置為基準(zhǔn)，計(jì)算表示所述第二拍攝位置的所述第一 攝像部的平移移動(dòng)方向的第一平移矩陣和表示所述第二拍攝位置的所述第二攝像部的平 移移動(dòng)方向的第二平移矩陣，所述平移距離計(jì)算部基于所述第一旋轉(zhuǎn)矩陣、所述第二旋轉(zhuǎn) 矩陣、所述第一平移矩陣、所述第二平移矩陣及所述基線長(zhǎng)，計(jì)算以所述第一拍攝位置的所 述第一攝像部或所述第二攝像部為基準(zhǔn)的所述第二拍攝位置的所述第一攝像部或所述第 二攝像部的平移距離，所述三維數(shù)據(jù)計(jì)算部基于所述平移距離，計(jì)算所述被攝體的三維數(shù) 據(jù)。
14. 根據(jù)權(quán)利要求13所述的三維測(cè)定系統(tǒng)，其中， 所述立體相機(jī)是車載相機(jī)。
15. -種三維測(cè)定方法，使用一個(gè)或兩個(gè)立體相機(jī)來(lái)求出被攝體的三維數(shù)據(jù)，該立體相 機(jī)具有對(duì)被攝體進(jìn)行拍攝的第一攝像部和相對(duì)于所述第一攝像部隔開(kāi)預(yù)定的基線長(zhǎng)配置 且對(duì)包含所述第一攝像部拍攝的所述被攝體的至少一部分的范圍進(jìn)行拍攝的第二攝像部， 所述三維測(cè)定方法的特征在于，具備： 特征點(diǎn)檢測(cè)步驟，從在第一拍攝位置通過(guò)所述第一攝像部及所述第二攝像部拍攝所述 被攝體而得到的兩張圖像中的至少任一張圖像檢測(cè)多個(gè)特征點(diǎn)； 對(duì)應(yīng)點(diǎn)檢測(cè)步驟，分別對(duì)于通過(guò)所述立體相機(jī)在與所述第一拍攝位置不同的第二拍攝 位置拍攝所述被攝體而得到的兩張圖像，檢測(cè)與所述特征點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)； 旋轉(zhuǎn)矩陣計(jì)算步驟，基于所述特征點(diǎn)和所述對(duì)應(yīng)點(diǎn)，以所述第一拍攝位置的所述第一 攝像部或所述第二攝像部的朝向?yàn)榛鶞?zhǔn)，計(jì)算表示所述第二拍攝位置的所述第一攝像部的 旋轉(zhuǎn)方向及旋轉(zhuǎn)量的第一旋轉(zhuǎn)矩陣和表示所述第二拍攝位置的所述第二攝像部的旋轉(zhuǎn)方 向及旋轉(zhuǎn)量的第二旋轉(zhuǎn)矩陣； 平移矩陣計(jì)算步驟，基于所述特征點(diǎn)和所述對(duì)應(yīng)點(diǎn)，以所述第一拍攝位置的所述第一 攝像部或所述第二攝像部的位置為基準(zhǔn)，計(jì)算表示所述第二拍攝位置的所述第一攝像部的 平移移動(dòng)方向的第一平移矩陣和表示所述第二拍攝位置的所述第二攝像部的平移移動(dòng)方 向的第二平移矩陣； 平移距離計(jì)算步驟，基于所述第一旋轉(zhuǎn)矩陣、所述第二旋轉(zhuǎn)矩陣、所述第一平移矩陣、 所述第二平移矩陣及所述基線長(zhǎng)，計(jì)算以所述第一拍攝位置的所述第一攝像部或所述第二 攝像部為基準(zhǔn)的所述第二拍攝位置的所述第一攝像部或所述第二攝像部的平移距離；以及 三維數(shù)據(jù)計(jì)算步驟，基于所述平移距離，計(jì)算所述被攝體的三維數(shù)據(jù)。
【文檔編號(hào)】G01C3/06GK104428624SQ201380034446
【公開(kāi)日】2015年3月18日 申請(qǐng)日期:2013年6月19日 優(yōu)先權(quán)日:2012年6月29日
【發(fā)明者】增田智紀(jì) 申請(qǐng)人:富士膠片株式會(huì)社