專(zhuān)利名稱(chēng)：基于地基圖像和從天上拍攝的圖像的組合的三維模型方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于地基(ground based)圖像和從天上(from above)拍攝的圖像的組合的三維模型方法。在此上下文中，地基圖像將包含直接從地面拍攝的圖像以及例如通過(guò)低空飛行直升機(jī)從低高度拍攝的圖像。
背景技術(shù)：
將從地基設(shè)備拍攝的圖像與借助例如飛機(jī)從空中拍攝的圖像組合的基本思想例如尤其從US2008/0221843A1是已知的，并且從Fruhe C.等人在2003年IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition(CVPR' 03)的會(huì)議錄
中的文章〃Constructing 3D City Model by Merging Ground-Based and Airborn views〃也是已知的。根據(jù)這兩篇文獻(xiàn)的將從地基設(shè)備拍攝的圖像和從空中拍攝的圖像組合的解決方案是相當(dāng)復(fù)雜的，并且涉及手動(dòng)處理所述圖像信息。再者，沒(méi)有關(guān)于由遮擋(occlusion)引起的問(wèn)題的復(fù)雜度的討論。導(dǎo)致遮擋成為遮蔽(obscuration)的對(duì)象的示例為來(lái)自樹(shù)木、燈桿、汽車(chē)等的遮蔽。還可以注意到，目前有可用的解決方案以根據(jù)從街道拍攝的圖像建立視圖，并且所述圖像經(jīng)常稱(chēng)為〃街道視圖〃。這些解決方案是基于從具有已知方向的已知地理參考位置拍攝的圖像，該圖像經(jīng)常涵蓋了 360度。通過(guò)選擇例如在地圖上的特定點(diǎn)，有可能從該點(diǎn)查看環(huán)境。除了在觀察者的眼睛中進(jìn)行的解釋(interpretation),未建立其它的三維模型。本發(fā)明的目的是獲得一種三維模型方法，該三維模型方法實(shí)施起來(lái)較不復(fù)雜，自動(dòng)地實(shí)施，可以考慮到問(wèn)題的遮擋復(fù)雜度，并且該三維模型方法可以建立現(xiàn)實(shí)或真實(shí)三維世界的詳盡模型。

發(fā)明內(nèi)容
本發(fā)明的目的是通過(guò)根據(jù)第一段的三維方法來(lái)實(shí)現(xiàn)，該三維方法特征在于，基于從天上拍攝的圖像的現(xiàn)有3D模型與基于從地面水平拍攝的圖像的3D模型匹配從而改進(jìn)整個(gè)3D模型。從地面拍攝的圖像優(yōu)選地包含關(guān)于來(lái)自地面水平的圖像被拍攝時(shí)相機(jī)的位置和空間方位角以及每個(gè)像素的方向的信息?；趶奶焐吓臄z的圖像并且與從地面水平拍攝的圖像匹配的三維模型使能處理例如在樹(shù)木位于建筑物前方時(shí)通過(guò)分裂對(duì)樹(shù)木和建筑物的觀察從地基系統(tǒng)看到的多個(gè)深度。優(yōu)選地，基于從地面水平拍攝的圖像的3D模型是由基于從天上拍攝的圖像的現(xiàn)有3D模型控制。根據(jù)優(yōu)選方法，通過(guò)使用基于從地面水平拍攝的圖像的圖像來(lái)替換基本上豎直和向下傾斜的表面，具有高分辨紋理的從地面水平拍攝的圖像信息被用于增強(qiáng)基于從天上拍攝的圖像的現(xiàn)有3D模型的圖像。使用從地面拍攝的高分辨圖像作為整個(gè)模型中的紋理導(dǎo)致整個(gè)模型的增加的圖像質(zhì)量。根據(jù)又一優(yōu)選方法，基于從天上拍攝的圖像的現(xiàn)有3D模型與從地面水平拍攝的圖像的匹配是基于所拍攝的圖像的位置和空間方位角信息。根據(jù)另一優(yōu)選方法，所有從地面水平可得到的圖像以及從天上拍攝的圖像被考慮用于從幾何和紋理兩個(gè)方面評(píng)估三維模型。這種方法在建立最后三維模型中利用了最多的圖像信息。有利地，諸如屋頂?shù)母咚奖砻娓鶕?jù)從天上拍攝的圖像被評(píng)估和紋理化，并且諸如房屋立面的豎直表面根據(jù)從地面水平拍攝的可用圖像被評(píng)估并且根據(jù)這些圖像被紋理化。這種評(píng)估方式確保在建立最后三維模型中使用了高質(zhì)量圖像信息。 當(dāng)從地面水平以及從天上拍攝圖像時(shí)，圖像的確切位置和確切空間方位角之間很可能出現(xiàn)一些偏差。為了最小化這種偏差，提出將從地面拍攝的圖像互相關(guān)聯(lián)以補(bǔ)償位置和空間方位角偏差。還提出在3D模型中從地面拍攝的圖像與在3D模型中從天上拍攝的圖像關(guān)聯(lián)，從而補(bǔ)償位置和空間方位角偏差。用于來(lái)自地面水平的相互的圖像以及與來(lái)自天上的圖像組合的擬合過(guò)程是有可能的。


現(xiàn)在將參考附圖更詳細(xì)描述本發(fā)明，在附圖中
圖Ia-Id示意性說(shuō)明涉及遮蔽的遮擋問(wèn)題并且使得
圖Ia為說(shuō)明通過(guò)地基相機(jī)成像的來(lái)自天上的房屋的視圖，
圖Ib為圖Ia的房屋的地基視圖，
圖Ic為將從天上成像的圖Ia和Ib的房屋的從天上的視圖，以及 圖Id為房屋的地基視圖，說(shuō)明通過(guò)從天上進(jìn)行相機(jī)成像的成像。圖2示意性說(shuō)明從天上捕獲圖像。圖3a說(shuō)明用于收集數(shù)據(jù)的已知立體方案的示例。圖3b說(shuō)明將用于收集數(shù)據(jù)的提出的立體方案。圖4示意性說(shuō)明基于地基圖像和從天上拍攝的圖像的組合的模型方法的示例。
具體實(shí)施例方式現(xiàn)在將參考圖Ia-Id描述遮蔽問(wèn)題，圖Ia-Id示出了房屋I以及位于房屋I前方的樹(shù)木2。根據(jù)圖la，相機(jī)被定位以在位置3. 1-3. 4拍攝圖像并且圖像視場(chǎng)用角度指示
4.1-4. 4標(biāo)示。這些圖像用于形成三維地基模型。從所示的角度指示明顯看出，樹(shù)木2特別是通過(guò)其樹(shù)冠8擋住部分的房屋立面9。另外，取決于光照條件，樹(shù)木2將在房屋立面9上產(chǎn)生未示出的陰影。根據(jù)圖Ic和ld，說(shuō)明從天上成像。同樣，示出四個(gè)相機(jī)位置5. 1-5. 4，相應(yīng)角度指示6. 1-6. 4標(biāo)示所拍攝圖像的圖像視場(chǎng)。這些圖像用于形成從天上拍攝的三維模型。當(dāng)從空中(airborne)系統(tǒng)從天上成像時(shí),真實(shí)環(huán)境的某些部分被排除不被成像。這種情況下，樹(shù)木2的樹(shù)干7是不可見(jiàn)的。
然而通過(guò)組合來(lái)自地基圖像的圖像信息和來(lái)自空中系統(tǒng)的圖像，大多數(shù)遮擋和遮蔽問(wèn)題被滿(mǎn)足。如果基于空中圖像的三維模型是可用的，此先驗(yàn)知識(shí)可以用于處理樹(shù)木2的遮蔽，即在觀察方向上若干不同深度必須被處理。另一方面，從天上拍攝的三維模型無(wú)法觀察到樹(shù)木樹(shù)干7，該樹(shù)木樹(shù)干7可以從地基三維模型建模?，F(xiàn)在討論用于收集將用于立體成像的圖像的原理。根據(jù)圖2，設(shè)有相機(jī)12的飛機(jī)11在景觀13上方用實(shí)線在第一位置示出并且用虛線在第二位置示出。如圖中說(shuō)明，景觀高度不同并且存在諸如房屋的陡峭配置14以及諸如綿延山巒的更綿延的配置15。在第一位置的相機(jī)的位置用X、I、Z表示并且空間方位角用α、β、Y表示。因此,旋轉(zhuǎn)和位置的所有6個(gè)自由度是可用的。所示的第二相機(jī)位置的相應(yīng)位置和空間方位角用x’、y’、z’和α’、β’、Y’表示。相機(jī)12對(duì)景觀的覆蓋對(duì)于第一位置用線16、17標(biāo)示并且對(duì)于第二位置用線16’、17’標(biāo)示。當(dāng)比較景觀的從第一位置拍攝的圖像和從第二位置拍攝的圖像時(shí)，交疊部分18可以被識(shí)別。如果交疊18部分被觀察到，則可以看出從第一位置拍攝的圖像缺少有關(guān)陡峭配置14的豎直右部14. I的圖像信息，而相同的豎直右部14. I容易從第二位置成像。因此，擁有覆蓋同一場(chǎng)景位置的多個(gè)圖像增大了構(gòu)建與真實(shí)世界更一致的三維圖像的可能性。 圖3a示出已知立體方案的示例。通過(guò)在景觀上方飛行設(shè)有向下看的相機(jī)的飛機(jī)或其它空中交通工具，使得在飛行方向上存在大約50-60%的交疊，并且對(duì)于相鄰飛行大體上沒(méi)有交疊以及實(shí)踐中大約10%的交疊從而避免空洞，由此獲得這種方案。在圖中，上灰色條帶19說(shuō)明第一飛行的足印并且下灰色條帶20說(shuō)明第二飛行的足印。在條帶19、20中，來(lái)自每隔一個(gè)圖像的足印被說(shuō)明為實(shí)矩形23-30，而位于它們之間的來(lái)自每隔一個(gè)圖像的足印被說(shuō)明為由垂直于飛行方向22的虛線界定的矩形31-36。通過(guò)所示的方案，地面上的每個(gè)點(diǎn)用兩個(gè)圖像覆蓋并且根據(jù)這些圖像可以計(jì)算立體評(píng)估。圖3b示出可以使用的立體方案的另一提出的示例。在所提出的方案中，上和下條帶19、20說(shuō)明在飛行方向22上80%的交疊以及相鄰飛行之間60%的交疊。合適提議的交疊在飛行方向上為大約60-90%以及在相鄰飛行之間為大約60-80%。在不同條帶19、20中，5個(gè)不同矩形37-41可以被識(shí)別，說(shuō)明沿著飛行方向重復(fù)地存在的5個(gè)連續(xù)足印。5個(gè)矩形用垂直于飛行方向的5種不同界定線(實(shí)線、點(diǎn)劃線、短劃線、長(zhǎng)劃線和雙點(diǎn)劃線)標(biāo)示。通過(guò)如參考圖3b所示出和描述的方案，地面上的每個(gè)點(diǎn)用至少10個(gè)圖像覆蓋并且所有這些圖像可以對(duì)場(chǎng)景中每個(gè)點(diǎn)進(jìn)行立體評(píng)估有貢獻(xiàn)。現(xiàn)在參考圖4描述本發(fā)明的3D模型方法中涉及的圖像處理。參考圖2、3a和3b根據(jù)上述描述所收集的并且在存儲(chǔ)單元45中可獲得的圖像44被應(yīng)用到立體差異塊42，該立體差異塊計(jì)算覆蓋同一場(chǎng)景位置的每個(gè)可能圖像對(duì)η的立體差異。對(duì)于每個(gè)所涉及的圖像，圖像被拍攝的位置x、y、ζ和空間方位角α、β、Y是已知的，即旋轉(zhuǎn)和位置的所有6個(gè)自由度是已知的。另外，評(píng)估每個(gè)立體差異的確定性度量。此度量可以基于局部對(duì)比度、可見(jiàn)性和/或分辨率。在加權(quán)塊43中考慮到評(píng)估的確定性度量，對(duì)在立體差異塊42中計(jì)算的立體差異進(jìn)行加權(quán)處理。在加權(quán)之后作為加權(quán)塊43的輸出而可獲得高度模型46，該高度模型46作為格柵而可視化。根據(jù)此第一模型，將諸如可見(jiàn)性、局部對(duì)比度、分辨率和諸如遮蔽的可見(jiàn)性的信息考慮在內(nèi)，基于評(píng)估的3D模型的法向矢量而自動(dòng)且自適應(yīng)地對(duì)原始立體評(píng)估進(jìn)行重新加權(quán)。在此上下文中，例如從建筑物正上方拍攝的圖像被用于評(píng)估屋頂結(jié)構(gòu)，而不是用于評(píng)估建筑物的側(cè)面。另一示例可以是避免建筑物的正面和背面的混合。通過(guò)利用來(lái)自側(cè)面的圖像以及相關(guān)測(cè)量的迭代處理，獲得一種揭示被隱藏部分的更可靠3D模型。在加權(quán)處理中，界外值可以被挑選出來(lái)，并且作為直截了當(dāng)?shù)氖纠?，?chǎng)景的剩余立體差異通過(guò)求平均或者其它數(shù)學(xué)方法被一起加權(quán)，從而發(fā)現(xiàn)相似立體差異的濃度。在一種更簡(jiǎn)單的計(jì)算中，需要同一區(qū)域的僅僅兩個(gè)圖像的僅僅一個(gè)立體對(duì)是足夠的，并且加權(quán)可以被簡(jiǎn)化或者甚至略去。基于在加權(quán)塊43的輸出上的3D模型46，構(gòu)建三角形的線模型47，并且該三角形用適合(fit)觀看方向的圖像遮蓋。從地面水平進(jìn)行類(lèi)似的成像，并且用于立體處理的圖像54存儲(chǔ)在存儲(chǔ)單元55中以及在立體塊52中被處理。針對(duì)每個(gè)涉及的圖像，對(duì)于從天上的成像，圖像被拍攝的位置x、y、z以及空間方位角α、β、γ是已知的，即旋轉(zhuǎn)和位置的所有6個(gè)自由度是已知的。于 是在三維格柵模型56被構(gòu)建之前，立體差異可以在加權(quán)塊中進(jìn)行加權(quán)。當(dāng)將地基圖像與從天上拍攝的圖像組合時(shí)，在收到來(lái)自圖像模型的關(guān)于從天上拍攝的圖像的請(qǐng)求時(shí)，圖像信息從格柵模型56被提取，并且高分辨紋理從地基格柵模型被提取，從而利用從地基格柵模型得到的遮蓋完成三角形的線模型47。來(lái)自地基模型的紋理和基于從天上拍攝的圖像的模型的所有組合利用了這樣的事實(shí)，關(guān)于圖像被拍攝的位置x、y、ζ和空間方位角α、β、Y的完整信息對(duì)于所有圖像而言是已知的。在圖4中，對(duì)于從天上拍攝的圖像和從地面水平拍攝的圖像，通過(guò)不同處理信道來(lái)說(shuō)明所述圖像處理。然而有可能的是，至少一些所包含的塊對(duì)兩個(gè)信道是共用的。本發(fā)明不限于上文示例性描述的方法，而可以在所附權(quán)利要求的范圍中修改。
權(quán)利要求
1.一種基于地基圖像和從天上拍攝的圖像的組合的三維模型方法，其特征在于，基于從天上拍攝的圖像的現(xiàn)有3D模型與基于從地面水平拍攝的圖像的3D模型匹配，從而改進(jìn)整個(gè)3D模型。
2.如權(quán)利要求I所述的方法，其特征在于，基于從地面水平拍攝的圖像的3D模型是由基于從天上拍攝的圖像的現(xiàn)有3D模型控制。
3.如前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，所有從地面水平可得到的圖像以及從天上拍攝的圖像被考慮用于從幾何和紋理兩個(gè)方面評(píng)估三維模型。
4.如前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，基于從天上拍攝的圖像的現(xiàn)有3D模型與從地面水平拍攝的圖像的匹配是基于拍攝的圖像的位置和空間方位角信息。
5.如前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，通過(guò)使用基于從地面水平拍攝的圖像的圖像來(lái)替換基本上豎直和向下傾斜的表面，具有高分辨紋理的從地面水平拍攝的圖像信息被用于增強(qiáng)基于從天上拍攝的圖像的現(xiàn)有3D模型的圖像。
6.如前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，諸如屋頂?shù)母咚奖砻娓鶕?jù)從天上拍攝的圖像而被評(píng)估和紋理化。
7.如前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，諸如房屋立面的豎直表面根據(jù)從地面水平拍攝的可用圖像被評(píng)估并且根據(jù)這些圖像被紋理化。
8.如前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，從地面拍攝的圖像被互相關(guān)聯(lián)以補(bǔ)償位置和空間方位角偏差。
9.如前述權(quán)利要求中任意一項(xiàng)所述的方法，其特征在于，在3D模型中從地面拍攝的圖像與在3D模型中從天上拍攝的圖像關(guān)聯(lián)，從而補(bǔ)償位置和空間方位角偏差。
全文摘要
本發(fā)明涉及一種基于地基圖像(54)和從天上拍攝的圖像(44)的組合的三維模型方法。根據(jù)本發(fā)明，基于從天上拍攝的圖像(44)的現(xiàn)有3D模型(46)與從地面水平拍攝的圖像(54)匹配，所有圖像包含關(guān)于當(dāng)來(lái)自地面水平的圖像(54)和從天上拍攝的圖像(44)被拍攝時(shí)相機(jī)的位置和空間方位角以及每個(gè)像素的方向的信息。該方法提供了一種自動(dòng)實(shí)施的成像，從而解決或者至少減輕了遮擋問(wèn)題。
文檔編號(hào)G01C11/00GK102822874SQ201080062323
公開(kāi)日2012年12月12日 申請(qǐng)日期2010年1月26日 優(yōu)先權(quán)日2010年1月26日
發(fā)明者L.哈格倫, J.博格, I.安德森, F.伊薩克森 申請(qǐng)人:薩博股份公司