專利名稱：立體圖像的關(guān)聯(lián)方法和三維數(shù)據(jù)作成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及當(dāng)在攝影測(cè)量中使用立體圖像進(jìn)行三維測(cè)定的情況下將多幅圖像進(jìn)行關(guān)聯(lián)的立體圖像的關(guān)聯(lián)方法，此外本發(fā)明涉及根據(jù)多幅圖像作成三維數(shù)據(jù)的三維數(shù)據(jù)作成裝置。
背景技術(shù)：
立體圖像是立體式捕捉對(duì)象物體的圖像，根據(jù)對(duì)同一對(duì)象物體從不同拍攝方向拍攝所得的多幅圖像構(gòu)成；多幅圖像需要根據(jù)各幅圖像上的對(duì)應(yīng)點(diǎn)進(jìn)行關(guān)聯(lián)，通過關(guān)聯(lián)，能夠求取圖像中任意點(diǎn)的三維數(shù)據(jù)。
為了獲得可求取三維數(shù)據(jù)的立體圖像，需要進(jìn)行圖像之間的對(duì)應(yīng)(立體匹配)。因此，提供給攝影測(cè)量的圖像必須是可立體匹配圖像、圖像之間必須可立體匹配。
為了進(jìn)行立體匹配，對(duì)于各幅圖像來(lái)說，必須求得拍攝圖像時(shí)的照相機(jī)位置、圖像放大率、傾斜度(照相機(jī)光軸的水平角ω、照相機(jī)光軸的垂直角φ、以照相機(jī)光軸為中心的扭轉(zhuǎn)角r)參數(shù)。當(dāng)僅根據(jù)來(lái)自圖像(數(shù)字圖像)的信息處理這些參數(shù)時(shí)，在多幅圖像上表示相同位置的點(diǎn)(稱為標(biāo)定點(diǎn)或通過點(diǎn))需要6個(gè)點(diǎn)以上。
在作成立體圖像時(shí)，通過添加各幅圖像的拍攝時(shí)照相機(jī)位置數(shù)據(jù)、方位數(shù)據(jù)，能夠?qū)D像中任意點(diǎn)從圖像上的坐標(biāo)系變換為地面坐標(biāo)系，即能夠進(jìn)行三維測(cè)定。
構(gòu)成立體圖像的多幅圖像是對(duì)同一對(duì)象物體從不同拍攝方向拍攝所得的圖像。為了取得三維數(shù)據(jù)，在改變拍攝方向時(shí)最好保持恒定的拍攝條件以便于立體匹配，但手工操作很難保持照相機(jī)高度或照相機(jī)光軸傾斜度的恒定，需要大規(guī)模的裝置。
當(dāng)由人工操作從第1地點(diǎn)O1離開第2地點(diǎn)O2距離為D進(jìn)行拍攝時(shí)，通常拍攝放大率和拍攝姿勢(shì)會(huì)各式各樣，如圖8所示拍攝對(duì)象物體1的圖像2、3的圖像放大率、傾斜度(照相機(jī)光軸的水平角ω、照相機(jī)光軸的垂直角φ、以照相機(jī)光軸為中心的扭轉(zhuǎn)角r)就會(huì)各不相同。這種情況下，為了使圖像2、3之間可進(jìn)行立體匹配，必須針對(duì)各幅圖像以手動(dòng)來(lái)高精度地選出通過點(diǎn)。進(jìn)一步，由于拍攝條件形形色色，圖像2和圖像3的通過點(diǎn)P的選出和對(duì)應(yīng)是最費(fèi)時(shí)的探作，并要求熟練。

發(fā)明內(nèi)容
本發(fā)明的目的是簡(jiǎn)化多幅圖像之間的通過點(diǎn)的對(duì)應(yīng)，提高立體匹配的效率，進(jìn)而實(shí)現(xiàn)立體匹配的自動(dòng)化。
為達(dá)成上述目的，本發(fā)明的立體圖像的關(guān)聯(lián)方法具備從第1地點(diǎn)和第2地點(diǎn)取得對(duì)象物體的圖像、在對(duì)第1地點(diǎn)的圖像和第2地點(diǎn)的圖像進(jìn)行關(guān)聯(lián)時(shí)、從第1地點(diǎn)開始對(duì)上述對(duì)象物體邊拍攝邊移動(dòng)直到第2地點(diǎn)的步驟；在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)的步驟；對(duì)有時(shí)間上的前后順序的前圖像和后圖像進(jìn)行比較的步驟；在后圖像中檢索確定前圖像的通過點(diǎn)的步驟；針對(duì)上述第1地點(diǎn)的圖像到上述第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定的步驟；確定該第2地點(diǎn)的圖像的通過點(diǎn)的步驟；經(jīng)由通過點(diǎn)將上述第1地點(diǎn)的圖像與上述第2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)的步驟。另外，本發(fā)明的立體圖像的關(guān)聯(lián)方法具備對(duì)相對(duì)移動(dòng)的多個(gè)對(duì)象物體邊移動(dòng)邊拍攝的步驟；將捕捉了同一對(duì)象物體的圖像中的一幅作為第1地點(diǎn)的圖像的步驟；將通過移動(dòng)而離開第1地點(diǎn)的地點(diǎn)的圖像作為第2地點(diǎn)的圖像的步驟；在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)的步驟；對(duì)有時(shí)間上的前后順序的前圖像和后圖像進(jìn)行比較的步驟；在后圖像中檢索確定前圖像的通過點(diǎn)的步驟；針對(duì)上述第1地點(diǎn)的圖像到上述第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定的步驟；確定該第2地點(diǎn)的圖像的通過點(diǎn)的步驟；經(jīng)由通過點(diǎn)將上述第1地點(diǎn)的圖像與上述第2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)的步驟。另外，本發(fā)明的立體圖像的關(guān)聯(lián)方法在移動(dòng)中對(duì)上述對(duì)象物體進(jìn)行連續(xù)拍攝。另外，本發(fā)明的立體圖像的關(guān)聯(lián)方法在移動(dòng)中對(duì)上述對(duì)象物體以規(guī)定時(shí)間間隔進(jìn)行拍攝。另外，本發(fā)明的立體圖像的關(guān)聯(lián)方法以高分辨率拍攝第1地點(diǎn)的圖像和第2地點(diǎn)的圖像，在從第1地點(diǎn)到第2地點(diǎn)的移動(dòng)過程中以低分辨率進(jìn)行拍攝。另外，本發(fā)明的立體圖像的關(guān)聯(lián)方法附加了基于時(shí)間上處于后面的圖像的通過點(diǎn)檢索前面的圖像的通過點(diǎn)的工序。
另外，本發(fā)明的三維數(shù)據(jù)作成裝置具備可從第1地點(diǎn)開始直到第2地點(diǎn)邊移動(dòng)邊拍攝對(duì)象物體的攝像裝置、檢測(cè)該攝像裝置的位置坐標(biāo)的GPS裝置、檢測(cè)上述攝像裝置的拍攝方向的方位傳感器、以及對(duì)上述攝像裝置所捕捉的圖像進(jìn)行處理的控制運(yùn)算部；該控制運(yùn)算部在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)，對(duì)有時(shí)間上的前后順序的前圖像和后圖像進(jìn)行比較，在后圖像中檢索確定前圖像的通過點(diǎn)，針對(duì)上述第1地點(diǎn)的圖像到上述第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定，經(jīng)由通過點(diǎn)將上述笫1地點(diǎn)的圖像與上述第2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)，根據(jù)上述GPS裝置所檢測(cè)出的攝像裝置的坐標(biāo)位置數(shù)據(jù)和上述方位傳感器所檢測(cè)出的攝像裝置的拍攝方向數(shù)據(jù)，計(jì)算上述對(duì)象物體的三維數(shù)據(jù)。另外，本發(fā)明的三維數(shù)據(jù)作成裝置具備對(duì)相對(duì)移動(dòng)的多個(gè)對(duì)象物體邊移動(dòng)邊拍攝的攝像裝置、檢測(cè)該攝像裝置的位置坐標(biāo)的GPS裝置、檢測(cè)上述攝像裝置的拍攝方向的方位傳感器、以及對(duì)上述攝像裝置所拍攝的圖像進(jìn)行處理的控制運(yùn)算部；該控制運(yùn)算部將捕捉了同一對(duì)象物體的圖像中的一幅作為第1地點(diǎn)的圖像，將通過移動(dòng)而離開笫1地點(diǎn)的地點(diǎn)的圖像作為第2地點(diǎn)的圖像，在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)，對(duì)有時(shí)間上的前后順序的2幅圖像進(jìn)行比較，在后圖像中檢索確定前圖像的通過點(diǎn)，針對(duì)上述第1地點(diǎn)的圖像到上述第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定，確定該第2地點(diǎn)的圖像的通過點(diǎn)，經(jīng)由通過點(diǎn)將上述第1地點(diǎn)的圖像與上述第2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)，根據(jù)上述GPS裝置所檢測(cè)出的攝像裝置的坐標(biāo)位置數(shù)據(jù)和上述方位傳感器所檢測(cè)出的攝像裝置的拍攝方向數(shù)據(jù)，計(jì)算上述對(duì)象物體的三維數(shù)據(jù)。另外，本發(fā)明的三維數(shù)據(jù)作成裝置的上述控制運(yùn)算部將由第1地點(diǎn)的圖像的邊緣處理所得的交叉點(diǎn)設(shè)定為通過點(diǎn)。另外，本發(fā)明的三維數(shù)據(jù)作成裝置的上述攝像裝置能夠進(jìn)行全周拍攝。另外，本發(fā)明的三維數(shù)據(jù)作成裝置的上述攝像裝置在第1地點(diǎn)和第2地點(diǎn)以高分辨率進(jìn)行拍攝，在移動(dòng)過程中以低分辨率進(jìn)行拍攝。
根據(jù)本發(fā)明，具備從第1地點(diǎn)和第2地點(diǎn)取得對(duì)象物體的圖像、在對(duì)第1地點(diǎn)的圖像和第2地點(diǎn)的圖像進(jìn)行關(guān)聯(lián)時(shí)、從第1地點(diǎn)開始對(duì)上述對(duì)象物體邊拍攝邊移動(dòng)直到第2地點(diǎn)的步驟；在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)的步驟；對(duì)有時(shí)間上的前后順序的前圖像和后圖像進(jìn)行比較的步驟；在后圖像中檢索確定前圖像的通過點(diǎn)的步驟；針對(duì)上述第1地點(diǎn)的圖像到上述第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定的步驟；確定該第2地點(diǎn)的圖像的通過點(diǎn)的步驟；經(jīng)由通過點(diǎn)將上述第1地點(diǎn)的圖像與上述第2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)的步驟；因此，能夠通過比較第1地點(diǎn)的圖像與直到第2地點(diǎn)的圖像來(lái)進(jìn)行通過點(diǎn)的跟蹤，可實(shí)現(xiàn)立體匹配的自動(dòng)處理。
另外，根據(jù)本發(fā)明，具備對(duì)相對(duì)移動(dòng)的多個(gè)對(duì)象物體邊移動(dòng)邊拍攝的步驟；將捕捉了同一對(duì)象物體的圖像中的一幅作為第1地點(diǎn)的圖像的步驟；將通過移動(dòng)而離開第1地點(diǎn)的地點(diǎn)的圖像作為第2地點(diǎn)的圖像的步驟；在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)的步驟；對(duì)有時(shí)間上的前后順序的前圖像和后圖像進(jìn)行比較的步驟；在后圖像中檢索確定前圖像的通過點(diǎn)的步驟；針對(duì)上述第1地點(diǎn)的圖像到上述第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定的步驟；確定該第2地點(diǎn)的圖像的通過點(diǎn)的步驟；經(jīng)由通過點(diǎn)將上述第1地點(diǎn)的圖像與上述第2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)的步驟；因此，能夠通過比較第1地點(diǎn)的圖像與直到第2地點(diǎn)的圖像來(lái)進(jìn)行通過點(diǎn)的跟蹤，可實(shí)現(xiàn)立體匹配的自動(dòng)處理。
另外，本發(fā)明以高分辨率拍攝第1地點(diǎn)的圖像和第2地點(diǎn)的圖像，在從第1地點(diǎn)到第2地點(diǎn)的移動(dòng)過程中以低分辨率進(jìn)行拍攝，因此，通過點(diǎn)的跟蹤過程中的圖像處理變得簡(jiǎn)單，能夠?qū)崿F(xiàn)處理的高速化。
另外，本發(fā)明附加了基于時(shí)間上處于后面的圖像的通過點(diǎn)檢索前面的圖像的通過點(diǎn)的工序，因此，提高了通過點(diǎn)的確定精度。
另外，本發(fā)明具備可從第1地點(diǎn)開始直到第2地點(diǎn)邊移動(dòng)邊拍攝對(duì)象物體的攝像裝置、檢測(cè)該攝像裝置的位置坐標(biāo)的GPS裝置、檢測(cè)上述攝像裝置的拍攝方向的方位傳感器、以及對(duì)上述攝像裝置所捕捉的圖像進(jìn)行處理的控制運(yùn)算部；該控制運(yùn)算部在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)，對(duì)有時(shí)間上的前后順序的前圖像和后圖像進(jìn)行比較，在后圖像中檢索確定前圖像的通過點(diǎn)，針對(duì)上述第1地點(diǎn)的圖像到上述第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定，經(jīng)由通過點(diǎn)將上述第1地點(diǎn)的圖像與上述第2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)，根據(jù)上述GPS裝置所檢測(cè)出的攝像裝置的坐標(biāo)位置數(shù)據(jù)和上述方位傳感器所檢測(cè)出的攝像裝置的拍攝方向數(shù)據(jù)，計(jì)算上述對(duì)象物體的三維數(shù)據(jù)，因此，能夠通過比較第1地點(diǎn)的圖像與直到第2地點(diǎn)的圖像來(lái)進(jìn)行通過點(diǎn)的跟蹤，可實(shí)現(xiàn)立體匹配的自動(dòng)處理，同時(shí)，能夠?qū)⒘Ⅲw匹配后的圖像的構(gòu)成點(diǎn)變換為地面坐標(biāo)系，可取得圖像中任意對(duì)象物體的三維數(shù)據(jù)。
另外，本發(fā)明具備對(duì)相對(duì)移動(dòng)的多個(gè)對(duì)象物體邊移動(dòng)邊拍攝的攝像裝置、檢測(cè)該撮像裝置的位置坐標(biāo)的GPS裝置、檢測(cè)上述攝像裝置的拍攝方向的方位傳感器、以及對(duì)上述攝像裝置所捕捉的圖像進(jìn)行處理的控制運(yùn)算部；該運(yùn)算控制部將捕捉了同一對(duì)象物體的圖像中的一幅作為第1地點(diǎn)的圖像，將通過移動(dòng)而離開第1地點(diǎn)的地點(diǎn)的圖像作為第2地點(diǎn)的圖像，在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)，對(duì)有時(shí)間上的前后順序的2幅圖像進(jìn)行比較，在后圖像中檢索確定前圖像的通過點(diǎn)，針對(duì)上述第1地點(diǎn)的圖像到上述第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定，確定該第2地點(diǎn)的圖像的通過點(diǎn)，經(jīng)由通過點(diǎn)將上述第1地點(diǎn)的圖像與上述笫2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)，根據(jù)上述GPS裝置所檢測(cè)出的攝像裝置的坐標(biāo)位置數(shù)據(jù)和上述方位傳感器所檢測(cè)出的攝像裝置的拍攝方向數(shù)據(jù)，計(jì)算上述對(duì)象物體的三維數(shù)據(jù)，因此，能夠通過比較第1地點(diǎn)的圖像與直到第2地點(diǎn)的圖像來(lái)進(jìn)行通過點(diǎn)的跟蹤，可實(shí)現(xiàn)立體匹配的自動(dòng)處理，同時(shí)，能夠?qū)⒘Ⅲw匹配后的圖像的構(gòu)成點(diǎn)變換為地面坐標(biāo)系，可取得圖像中任意對(duì)象物體的三維數(shù)據(jù)。


圖1是表示本發(fā)明的實(shí)施例的概略圖。
圖2是表示本發(fā)明的實(shí)施例的概略框圖。
圖3是表示圖像數(shù)據(jù)的取得狀態(tài)的說明圖。
圖4A、4B是表示第1圖像和第2圖像的立體匹配的狀態(tài)的說明圖。
圖5是表示本發(fā)明的實(shí)施例的作用的流程圖。
圖6是表示本發(fā)明的另一實(shí)施例的概略圖。
圖7是表示本發(fā)明的另一實(shí)施例中的圖像修正部的概略圖。
圖8是表示在2個(gè)地點(diǎn)拍攝對(duì)象物體時(shí)的2幅圖像的狀態(tài)的說明圖。
具體實(shí)施例方式
下面，參照

本發(fā)明的實(shí)施方式。
在圖1、圖2中說明本發(fā)明的三維數(shù)據(jù)作成裝置4。
圖1中，5是數(shù)字相機(jī)、數(shù)字?jǐn)z像機(jī)等可將拍攝圖像以數(shù)字圖像信號(hào)輸出的攝像裝置，該攝像裝置5具備由CCD、CMOS傳感器等多個(gè)象素(pixel)的集合體構(gòu)成的攝像元件6，該攝像元件6能夠確定各個(gè)象素的地址(在攝像元件上的位置)。
上述攝像裝置5所拍攝的對(duì)象物體1的圖像利用上述攝像元件6通過控制運(yùn)算部7作為數(shù)字圖像信號(hào)保存到存儲(chǔ)部8。該存儲(chǔ)部8包括上述攝像裝置5內(nèi)置的半導(dǎo)體存儲(chǔ)器，或者是攝像裝置5中可拆裝的存儲(chǔ)介質(zhì)，例如存儲(chǔ)卡，對(duì)于上述攝像裝置5可拆裝的外部存儲(chǔ)裝置，例如FDD、MOD、CDD、DVD、HDD等。
上述攝像裝置5中設(shè)置了用來(lái)測(cè)定該攝像裝置5的位置的GPS裝置9、用來(lái)檢測(cè)拍攝方向的方位傳感器11、顯示部12和上述控制運(yùn)算部7。
上述存儲(chǔ)部8中保存了用來(lái)執(zhí)行圖像處理例如利用拉普拉斯算子法、Sobel算子法等提取(特別是角落部或交叉點(diǎn)(通過點(diǎn))的提取)圖像邊緣的處理的圖像處理程序；用來(lái)執(zhí)行如后述的檢索規(guī)定區(qū)域以確定通過點(diǎn)的處理等的圖像處理程序；以及根據(jù)上述GPS裝置9所得的位置數(shù)據(jù)和上述方位傳感器11所得的方向數(shù)據(jù)來(lái)計(jì)算圖像中的任意點(diǎn)在地面坐標(biāo)系中的三維數(shù)據(jù)的運(yùn)算程序等各種程序。另外，上述存儲(chǔ)部8具備圖像數(shù)據(jù)保存區(qū)域，用來(lái)按時(shí)間順序以1幀數(shù)據(jù)為單位或以所需時(shí)間為單位的1幀數(shù)據(jù)為單位保存來(lái)自上述攝像元件6的圖像數(shù)據(jù)；測(cè)量數(shù)據(jù)保存區(qū)域，用來(lái)進(jìn)一步保存上述GPS裝置9的位置數(shù)據(jù)、上述方位傳感器11的方位數(shù)據(jù)和計(jì)算出來(lái)的三維數(shù)據(jù)。
上述顯示部12中顯示拍攝圖像或測(cè)量數(shù)據(jù)等。
下面參照?qǐng)D3至圖5說明其作用。
如圖3所示，利用所述攝像裝置5一邊從笫1位置O1(x1，y1)的位置移動(dòng)到第2位置O2(x2，y2)的位置，一邊對(duì)例如對(duì)象物體1進(jìn)行連續(xù)拍攝(STEP01)。另外，以規(guī)定的時(shí)間間隔取得圖像，關(guān)于拍攝圖像的取得間隔，例如在1秒期間取得24幀的圖像數(shù)據(jù)，或者在1秒期間取得10幀的圖像數(shù)據(jù)。在1秒期間取得幾幀圖像數(shù)據(jù)，需要根據(jù)圖像放大率、攝像裝置5的移動(dòng)速度適當(dāng)選擇。
各幀圖像數(shù)據(jù)被保存到上述存儲(chǔ)部8，另外，至少針對(duì)第1位置的圖像數(shù)據(jù)、第2位置的圖像數(shù)據(jù)要將上述GPS裝置9所測(cè)定的位置數(shù)據(jù)、上述方位傳感器11所測(cè)定的方位數(shù)據(jù)關(guān)聯(lián)到圖像數(shù)據(jù)存儲(chǔ)起來(lái)。
上述第1圖像數(shù)據(jù)取得后，利用上述圖像處理程序提取所需數(shù)量的角落部或交叉點(diǎn)作為特征點(diǎn)(圖4A中以白圓所示的點(diǎn))。所提取的特征點(diǎn)設(shè)定為通過點(diǎn)(SETP02)。以角落部作為建筑物等的特征點(diǎn)，特征點(diǎn)就成了分布于畫面全體的多數(shù)個(gè)點(diǎn)，因此，能夠提高后述的相互標(biāo)定的精度。
所設(shè)定的通過點(diǎn)在攝像元件6上的位置作為檢索中心位置存儲(chǔ)起來(lái)，對(duì)于時(shí)間上的下一次所取得的下一圖像數(shù)據(jù)，在以上述檢索中心位置為中心所設(shè)定的檢索范圍內(nèi)檢索上述下一圖像數(shù)據(jù)中的通過點(diǎn)。如上所述，由于在移動(dòng)過程中連續(xù)拍攝，上一圖像數(shù)據(jù)和下一圖像數(shù)據(jù)的偏差很小，通過點(diǎn)存在于下一圖像數(shù)據(jù)的檢索范圍內(nèi)，能夠立即確定下一圖像數(shù)據(jù)中的通過點(diǎn)。在上述檢索范圍內(nèi)的檢索使用SSDA(Sequential Similarity Detection Algorithm時(shí)序相似性檢測(cè)算法)法或面積相關(guān)法等(STEP04)。
此外，以在下一圖像數(shù)據(jù)中確定的通過點(diǎn)為檢索中心位置，通過反向檢索(反向匹配)來(lái)檢查前圖像數(shù)據(jù)的通過點(diǎn)。通過反向檢索所得的通過點(diǎn)與已經(jīng)獲得的通過點(diǎn)不一致時(shí)，將該通過點(diǎn)刪除。通過實(shí)施反向檢索，能夠避免影子(閉塞物)或障礙物的影響。另外，求得3個(gè)以上圖像數(shù)據(jù)的通過點(diǎn)后，通過利用多幅圖像的集束調(diào)整計(jì)算，重復(fù)執(zhí)行坐標(biāo)檢查，刪除精度差的通過點(diǎn)。通過刪除精度差的通過點(diǎn)，提高了通過點(diǎn)的整體確定精度。
對(duì)前圖像數(shù)據(jù)和下一圖像數(shù)據(jù)進(jìn)行比較，將上述通過點(diǎn)按照時(shí)間順序依次檢索(通過點(diǎn)的跟蹤)各幀圖像數(shù)據(jù)，最后檢索、確定第2位置的圖像數(shù)據(jù)中的通過點(diǎn)。這樣，在第1圖像數(shù)據(jù)中確定的通過點(diǎn)能夠在第2圖像數(shù)據(jù)中確定(圖4B)(STEP05)。
根據(jù)第1圖像數(shù)據(jù)的通過點(diǎn)和第2圖像數(shù)據(jù)的通過點(diǎn)進(jìn)行相互標(biāo)定，計(jì)算出圖像的傾斜度、放大率(STEP06)。
根據(jù)計(jì)算出來(lái)的傾斜度、放大率，對(duì)第1圖像數(shù)據(jù)和第2圖像數(shù)據(jù)進(jìn)行偏離修正，作成立體圖像，執(zhí)行2幅圖像數(shù)據(jù)的對(duì)應(yīng)(立體匹配)(STEP07)。
通過執(zhí)行2幅圖像數(shù)據(jù)的對(duì)應(yīng)，可以取得以單幅圖像的光軸為基準(zhǔn)的圖像坐標(biāo)系的三維數(shù)據(jù)(STEP08)。
接著，將上述GPS裝置9所得的位置數(shù)據(jù)、上述方位傳感器11所得的方位數(shù)據(jù)追加到圖像坐標(biāo)系中，由此將圖像坐標(biāo)系的三維數(shù)據(jù)變換成地面坐標(biāo)系的數(shù)據(jù)(STEP09)。
通過指出圖像中的任意點(diǎn)，能夠立即獲得地面坐標(biāo)系的三維數(shù)據(jù)(STEP10)。
在以立體圖像為基礎(chǔ)的三維數(shù)據(jù)計(jì)測(cè)中，可以獲得構(gòu)成測(cè)定對(duì)象物體的圖像的各個(gè)點(diǎn)(即，攝像元件的各象素)的位置關(guān)系。形成了以第1圖像、第2圖像之一的光軸為基準(zhǔn)的坐標(biāo)系(圖像坐標(biāo)系)?；谠搱D像坐標(biāo)系，有可能在二維顯示器等上面進(jìn)行三維顯示。由于能夠容易地改變坐標(biāo)系，就有可能將圖像坐標(biāo)系變換成例如測(cè)量中使用的地面坐標(biāo)系。
通過GPS裝置9和方位傳感器11求取立體拍攝的場(chǎng)所和拍撮方向，基于這些數(shù)據(jù)，將圖像坐標(biāo)系變換成地面坐標(biāo)系。當(dāng)測(cè)定對(duì)象物體是建筑物時(shí)，其位置可求取。另外，當(dāng)圖像上存在基準(zhǔn)點(diǎn)時(shí)，通過添加實(shí)際坐標(biāo)已知的基準(zhǔn)點(diǎn)信息，能夠提高從圖像所得的三維數(shù)據(jù)的精度。
此外，也可以基于圖像坐標(biāo)系的三維數(shù)據(jù)(STEP08)作成TIN(不規(guī)則三角網(wǎng))，進(jìn)行結(jié)構(gòu)測(cè)繪等處理，取得基于TIN的三維數(shù)據(jù)(STEP11～STEP13)。
此外，在上述通過點(diǎn)跟蹤中，最初的圖像(第1圖像)和最后的圖像(第2圖像)設(shè)為高分辨率，跟蹤過程中的圖像由于只需確定通過點(diǎn)，因此設(shè)為低分辨率；這樣一來(lái)，圖像處理速度提高，通過點(diǎn)跟蹤速度也提高了。
另外，通過同時(shí)進(jìn)行集束調(diào)整和立體匹配，能夠準(zhǔn)確地檢測(cè)出通過點(diǎn)。
此外，也可以是，上述控制運(yùn)算部7使用PC等其它裝置，將存儲(chǔ)卡、外部存儲(chǔ)裝置用作上述存儲(chǔ)部8，將上述攝像裝置5所拍攝的圖像數(shù)據(jù)積蓄到上述存儲(chǔ)部8，以后利用上述控制運(yùn)算部7進(jìn)行運(yùn)算。
在圖6、圖7中，說明另一實(shí)施例、應(yīng)用實(shí)例。
在該另一實(shí)施方式中，三維數(shù)據(jù)作成裝置14搭載到汽車15等可移動(dòng)的移動(dòng)裝置中，三維數(shù)據(jù)作成裝置14與對(duì)象物體進(jìn)行相對(duì)移動(dòng)。上述三維數(shù)據(jù)作成裝置14的設(shè)置位置最好選擇房頂?shù)人闹苋靠梢姷奈恢谩?br> 該三維數(shù)據(jù)作成裝置14具備中心線與攝像裝置5的光軸一致的圓錐鏡16，通過該圓錐鏡16進(jìn)行拍攝。由于是通過該圓錐鏡16進(jìn)行拍攝，上述攝像裝置15能夠拍攝周圍的全部圖像。圖像數(shù)據(jù)被發(fā)送到控制運(yùn)算部7。該控制運(yùn)算部7具有失真修正程序，對(duì)發(fā)送的圖像失真進(jìn)行修正，將其作為無(wú)失真的全周圖像保存到存儲(chǔ)部8(參照?qǐng)D2)。
即使在取得了全周圖像的情況下，用來(lái)將第1圖像、第2圖像關(guān)聯(lián)起來(lái)的第1圖像中的通過點(diǎn)的設(shè)定以及從第1圖像至第2圖像的通過點(diǎn)的跟蹤等處理也與上述實(shí)施方式相同。此外，全周圖像中，多個(gè)對(duì)象物體被拍攝，通過點(diǎn)的設(shè)定是從全周圖像中選擇適當(dāng)?shù)膶?duì)象物體來(lái)設(shè)定的。
上述三維數(shù)據(jù)作成裝置14使用例如市場(chǎng)上銷售的拍攝全周影像的影像裝置，該影像裝置具備例如CCD攝像頭作為攝像裝置5。該攝像裝置5(CCD攝像頭)位于圓錐形的圓錐鏡16的下方，取得經(jīng)該圓錐鏡16反射的周圍的影像。取得影像的位置通過上述圓錐鏡16的上方或以已知間隔放置的GPS裝置9來(lái)求取。另外，移動(dòng)方向可由通過該GPS裝置9所求得的2地點(diǎn)的位置坐標(biāo)求得。
所拍攝的影像數(shù)據(jù)和拍攝地點(diǎn)數(shù)據(jù)轉(zhuǎn)移到例如個(gè)人電腦，執(zhí)行三維數(shù)據(jù)作成處理。
通過確定出測(cè)定對(duì)象物體、第1拍攝地點(diǎn)和第2拍攝地點(diǎn)，以與上述實(shí)施方式同一的過程作出三維數(shù)據(jù)?；谒鞒龅膱D像坐標(biāo)數(shù)據(jù)，通過添加利用GPS裝置9所得的攝像裝置的坐標(biāo)和方向，變換成地面坐標(biāo)系。
權(quán)利要求
1.一種立體圖像的關(guān)聯(lián)方法，其具備下述步驟從第1地點(diǎn)和第2地點(diǎn)取得對(duì)象物體的圖像，在對(duì)第1地點(diǎn)的圖像和第2地點(diǎn)的圖像進(jìn)行關(guān)聯(lián)時(shí)，從第1地點(diǎn)開始對(duì)上述對(duì)象物體邊拍攝邊移動(dòng)直到第2地點(diǎn)；在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)；對(duì)有時(shí)間上的前后順序的前圖像和后圖像進(jìn)行比較；在后圖像中檢索確定前圖像的通過點(diǎn)；針對(duì)上述第1地點(diǎn)的圖像到上述第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定；確定該第2地點(diǎn)的圖像的通過點(diǎn)；以及經(jīng)由通過點(diǎn)將上述第1地點(diǎn)的圖像與上述第2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)。
2.一種立體圖像的關(guān)聯(lián)方法，其具備下述步驟對(duì)相對(duì)移動(dòng)的多個(gè)對(duì)象物體邊移動(dòng)邊拍攝；將捕捉了同一對(duì)象物體的圖像中的一幅作為第1地點(diǎn)的圖像；將通過移動(dòng)而離開第1地點(diǎn)的地點(diǎn)的圖像作為第2地點(diǎn)的圖像；在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)；對(duì)有時(shí)間上的前后順序的前圖像和后圖像進(jìn)行比較；在后圖像中檢索確定前圖像的通過點(diǎn)；針對(duì)上述第1地點(diǎn)的圖像到上述第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定；確定該第2地點(diǎn)的圖像的通過點(diǎn)；以及經(jīng)由通過點(diǎn)將上述第1地點(diǎn)的圖像與上述第2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)。
3.如權(quán)利要求1或權(quán)利要求2所述的立體圖像的關(guān)聯(lián)方法，其在移動(dòng)中對(duì)上述對(duì)象物體進(jìn)行連續(xù)拍攝。
4.如權(quán)利要求1或權(quán)利要求2所述的立體圖像的關(guān)聯(lián)方法，其在移動(dòng)中對(duì)上述對(duì)象物體以規(guī)定時(shí)間間隔進(jìn)行拍攝。
5.如權(quán)利要求1或權(quán)利要求2所述的立體圖像的關(guān)聯(lián)方法，其以高分辨率拍攝第1地點(diǎn)的圖像和第2地點(diǎn)的圖像，在從第1地點(diǎn)到第2地點(diǎn)的移動(dòng)過程中以低分辨率進(jìn)行拍攝。
6.如權(quán)利要求1或權(quán)利要求2所述的立體圖像的關(guān)聯(lián)方法，其附加了下述工序，即基于時(shí)間上處于后面的圖像的通過點(diǎn)來(lái)檢索前面的圖像的通過點(diǎn)。
7.一種三維數(shù)據(jù)作成裝置，其具備可從第1地點(diǎn)開始直到第2地點(diǎn)邊移動(dòng)邊拍攝對(duì)象物體的攝像裝置、檢測(cè)該攝像裝置的位置坐標(biāo)的GPS裝置、檢測(cè)上述攝像裝置的拍攝方向的方位傳感器、以及對(duì)上述攝像裝置所捕捉的圖像進(jìn)行處理的控制運(yùn)算部；該控制運(yùn)算部在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)，對(duì)有時(shí)間上的前后順序的前圖像和后圖像進(jìn)行比較，在后圖像中檢索確定前圖像的通過點(diǎn)，針對(duì)上述第1地點(diǎn)的圖像到第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定，經(jīng)由通過點(diǎn)將上述第1地點(diǎn)的圖像與上述第2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)，根據(jù)上述GPS裝置所檢測(cè)出的攝像裝置的坐標(biāo)位置數(shù)據(jù)和上述方位傳感器所檢測(cè)出的攝像裝置的拍攝方向數(shù)據(jù)，計(jì)算上述對(duì)象物體的三維數(shù)據(jù)。
8.一種三維數(shù)據(jù)作成裝置，其具備可對(duì)相對(duì)移動(dòng)的多個(gè)對(duì)象物體邊移動(dòng)邊拍攝的攝像裝置、檢測(cè)該攝像裝置的位置坐標(biāo)的GPS裝置、檢測(cè)上述攝像裝置的拍攝方向的方位傳感器、以及對(duì)上述攝像裝置所捕捉的圖像進(jìn)行處理的控制運(yùn)算部；該控制運(yùn)算部將捕捉了同一對(duì)象物體的圖像中的一幅作為第1地點(diǎn)的圖像，將通過移動(dòng)而離開第1地點(diǎn)的地點(diǎn)的圖像作為第2地點(diǎn)的圖像，在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)，對(duì)有時(shí)間上的前后順序的2幅圖像進(jìn)行比較，在后圖像中檢索確定前圖像的通過點(diǎn)，針對(duì)上述第1地點(diǎn)的圖像到上述第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定，確定該第2地點(diǎn)的圖像的通過點(diǎn)，經(jīng)由通過點(diǎn)將上述第1地點(diǎn)的圖像與上述第2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)，根據(jù)上述GPS裝置所檢測(cè)出的攝像裝置的坐標(biāo)位置數(shù)據(jù)和上述方位傳感器所檢測(cè)出的攝像裝置的拍攝方向數(shù)據(jù)，計(jì)算上述對(duì)象物體的三維數(shù)據(jù)。
9.如權(quán)利要求7或權(quán)利要求8所述的三維數(shù)據(jù)作成裝置，上述控制運(yùn)算部將由第1地點(diǎn)的圖像的邊緣處理所得的交叉點(diǎn)設(shè)定為通過點(diǎn)。
10.如權(quán)利要求7或權(quán)利要求8所述的三維數(shù)據(jù)作成裝置，上述攝像裝置可進(jìn)行全周拍攝。
11.如權(quán)利要求7或權(quán)利要求8所述的三維數(shù)據(jù)作成裝置，上述攝像裝置在第1地點(diǎn)和第2地點(diǎn)以高分辨率進(jìn)行拍攝，在移動(dòng)過程中以低分辨率進(jìn)行拍攝。
全文摘要
一種立體圖像的關(guān)聯(lián)方法，其具備下述步驟從第1地點(diǎn)和第2地點(diǎn)取得對(duì)象物體的圖像，在對(duì)第1地點(diǎn)的圖像和第2地點(diǎn)的圖像進(jìn)行關(guān)聯(lián)時(shí)，從第1地點(diǎn)開始對(duì)上述對(duì)象物體邊拍攝邊移動(dòng)直到第2地點(diǎn)；在上述第1地點(diǎn)的圖像上設(shè)定多個(gè)通過點(diǎn)；對(duì)有時(shí)間上的前后順序的前圖像和后圖像進(jìn)行比較；在后圖像中檢索確定前圖像的通過點(diǎn)；針對(duì)上述第1地點(diǎn)的圖像到上述第2地點(diǎn)的圖像的各幀圖像數(shù)據(jù)依次執(zhí)行通過點(diǎn)的檢索確定；確定該第2地點(diǎn)的圖像的通過點(diǎn)；以及經(jīng)由通過點(diǎn)將上述第1地點(diǎn)的圖像與上述第2地點(diǎn)的圖像關(guān)聯(lián)起來(lái)。
文檔編號(hào)G06T1/00GK1712891SQ20051007866
公開日2005年12月28日 申請(qǐng)日期2005年6月23日 優(yōu)先權(quán)日2004年6月23日
發(fā)明者大友文夫, 大谷仁志 申請(qǐng)人:株式會(huì)社拓普康