一種基于圖像內(nèi)容解析的室外三維場(chǎng)景組合構(gòu)建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺和三維場(chǎng)景建模領(lǐng)域，具體地說(shuō)是一種基于圖像內(nèi)容解析的室外三維場(chǎng)景組合構(gòu)建方法。
【背景技術(shù)】
[0002]三維場(chǎng)景建模是計(jì)算機(jī)領(lǐng)域的重要問題之一，目前已經(jīng)廣泛應(yīng)用于虛擬攝影和影視后期等方面，并且發(fā)揮了重要的作用。
[0003]虛擬攝影的使用可以追溯到冷戰(zhàn)時(shí)期，當(dāng)時(shí)部分國(guó)家基于國(guó)防訓(xùn)練的需要，而研發(fā)戰(zhàn)況模擬系統(tǒng)，可謂虛擬攝影棚的前身。而冷戰(zhàn)過(guò)后，由于沒有戰(zhàn)爭(zhēng)需求，所以便將這套系統(tǒng)加以改良而推出。虛擬攝影的優(yōu)點(diǎn)是可以使空間得到有效的運(yùn)用，同時(shí)還可以重復(fù)利用。虛擬攝影棚可以搭建比實(shí)際空間更大的場(chǎng)景，而不同的場(chǎng)景也可以共用同一個(gè)攝影棚，而不如傳統(tǒng)攝影棚般，需要空間囤放布景。雖然傳統(tǒng)攝影棚得以將部分布景回收再利用，但虛擬攝影棚卻可使用同一個(gè)攝影棚，并在極短的時(shí)間內(nèi)轉(zhuǎn)換布景，遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)攝影棚的再利用性。此外，虛擬攝影棚容易修改場(chǎng)景，降低拍攝成本，而傳統(tǒng)攝影棚的布景，在搭建完畢后不容易進(jìn)行大幅度的修改，而虛擬攝影棚因?yàn)椴季巴耆娔X化，所以修改極為容易。重復(fù)拆搭布景，更換攝影棚都耗費(fèi)大量成本，而虛擬攝影棚因?yàn)闆]有實(shí)體布景的需求，便能降低這部份的成本。虛擬攝影還有一個(gè)優(yōu)點(diǎn)就是它可以增強(qiáng)視覺效果，變化程度更高，利用電腦，虛擬攝影棚能讓演出者與電腦動(dòng)畫產(chǎn)生互動(dòng)，并以立體鮮艷的動(dòng)畫達(dá)成傳統(tǒng)攝影棚無(wú)法做到的效果。
[0004]虛擬攝影也存在著一些缺點(diǎn)，比如真實(shí)度有待提升。由于仍然在發(fā)展階段，許多設(shè)備產(chǎn)生的動(dòng)畫并無(wú)法與實(shí)際影像完全配合，而造成穿幫。此外，由于攝影棚大小限制，虛擬攝影棚太小，所以演出人員不易走位，但太大，則技術(shù)上(如攝影機(jī)追蹤)或經(jīng)費(fèi)上(添購(gòu)更多器材)都是一大困難。
[0005]虛擬攝影中有一個(gè)很大的問題，簡(jiǎn)單來(lái)說(shuō)就是時(shí)間長(zhǎng)，直覺差。在錄影前，由于不如傳統(tǒng)攝影棚“所見即所得”的錄影方式，不但需要注意與電腦動(dòng)畫配合，所有工作人員更需要熟悉整個(gè)場(chǎng)景，造成拍攝時(shí)間加長(zhǎng)。根據(jù)這一缺點(diǎn)，現(xiàn)在的虛擬攝影大部分都使用了實(shí)時(shí)預(yù)演的拍攝方法，來(lái)解決這一問題。然而傳統(tǒng)的三維場(chǎng)景建模一般由美術(shù)設(shè)計(jì)師手動(dòng)完成，耗時(shí)耗力且速度很慢。
[0006]因此，本發(fā)明提供了一種基于圖像內(nèi)容解析的室外三維場(chǎng)景組合構(gòu)建方法。

【發(fā)明內(nèi)容】

[0007]根據(jù)上述實(shí)際需求和關(guān)鍵問題，本發(fā)明的目的在于:提出一種基于圖像內(nèi)容解析的室外三維場(chǎng)景組合構(gòu)建方法，能夠?qū)?chǎng)景的圖像信息通過(guò)語(yǔ)義分割的方法進(jìn)行解析，在參考場(chǎng)景的自然規(guī)律進(jìn)行優(yōu)化，然后獲得場(chǎng)景對(duì)象信息的描述，再基于數(shù)據(jù)驅(qū)動(dòng)的方法依據(jù)解析出的場(chǎng)景對(duì)象信息進(jìn)行模型檢索，構(gòu)建整個(gè)場(chǎng)景三維模型;本方法面向快速的三維場(chǎng)景建模應(yīng)用，將用戶輸入的圖像對(duì)應(yīng)的場(chǎng)景進(jìn)行三維建模。
[0008]本發(fā)明采用的技術(shù)方案為:一種基于圖像內(nèi)容解析的室外三維場(chǎng)景組合構(gòu)建方法，包含以下步驟:
[0009]步驟(1)、通過(guò)語(yǔ)義分割將影像地圖中的場(chǎng)景對(duì)象布局解析出來(lái)；
[0010]步驟(2)、通過(guò)共分割方法將多角度的場(chǎng)景圖像中的場(chǎng)景對(duì)象幾何結(jié)構(gòu)信息解析出來(lái)；
[0011 ]步驟(3)、將場(chǎng)景對(duì)象的幾何結(jié)構(gòu)和布局信息結(jié)合獲得場(chǎng)景的三維信息描述；
[0012]步驟(4)、根據(jù)場(chǎng)景對(duì)象可能出現(xiàn)的對(duì)象類型構(gòu)建三維對(duì)象素材庫(kù)，并將庫(kù)中模型進(jìn)行標(biāo)準(zhǔn)化處理；
[0013]步驟(5)、根據(jù)三維信息檢索適合的模型；
[0014]步驟(6)、根據(jù)場(chǎng)景對(duì)象信息進(jìn)行模型的三維變換和組合，以及材質(zhì)綁定。
[0015]其中，步驟(I)的場(chǎng)景對(duì)象布局解析主要包括以下步驟:
[0016]步驟(1.1)、語(yǔ)義分割影像地圖獲得每個(gè)像素點(diǎn)的語(yǔ)義信息；
[0017]步驟(1.2)、將每個(gè)對(duì)象的像素點(diǎn)構(gòu)成的區(qū)域進(jìn)行輪廓計(jì)算；
[0018]步驟(1.3)、根據(jù)場(chǎng)景對(duì)象的自然規(guī)律對(duì)每個(gè)場(chǎng)景對(duì)象的輪廓進(jìn)行優(yōu)化；
[0019]步驟(1.4)、將二維的場(chǎng)景布局坐標(biāo)進(jìn)行坐標(biāo)轉(zhuǎn)換，變?yōu)槿S場(chǎng)景布局信息。
[0020]其中，步驟(2)的多角度場(chǎng)景幾何結(jié)構(gòu)信息解析主要包括以下步驟:
[0021]步驟(2.1)、對(duì)輸入的多角度的場(chǎng)景圖像進(jìn)行共分割；
[0022]步驟(2.2)、將二維圖像注冊(cè)到三維場(chǎng)景中；
[0023]步驟(2.3)、根據(jù)輪廓信息對(duì)三維對(duì)象進(jìn)行網(wǎng)格切割編輯，從而獲得場(chǎng)景對(duì)象的幾何結(jié)構(gòu)。
[0024]其中，步驟(3)的三維場(chǎng)景布局和幾何結(jié)構(gòu)的結(jié)合主要包括以下步驟:
[0025]步驟(3.1)、根據(jù)場(chǎng)景對(duì)象間的相對(duì)位置調(diào)整場(chǎng)景對(duì)象的語(yǔ)義信息；
[0026]步驟(3.2)、通過(guò)語(yǔ)義信息結(jié)合布局信息和幾何結(jié)構(gòu)信息。
[0027]其中，步驟(4)的三維模型檢索主要包括以下步驟:
[0028]步驟(4.1)、構(gòu)建三維對(duì)象素材庫(kù)，庫(kù)中素材進(jìn)行語(yǔ)義標(biāo)注，且都進(jìn)行標(biāo)準(zhǔn)化處理；
[0029]步驟(4.2)、計(jì)算庫(kù)中每個(gè)模型的特征信息；
[°03°]步驟(4.3)、計(jì)算場(chǎng)景對(duì)象的三維特征信息；
[0031]步驟(4.4)、檢索和匹配三維模型。
[0032]本發(fā)明的原理在于:
[0033]本方法的一個(gè)輸入為場(chǎng)景的影像地圖。影像地圖是一種帶有地面遙感影像的地圖，是利用航空像片或衛(wèi)星遙感影像，通過(guò)幾何糾正、投影變換和比例尺歸化，運(yùn)用一定的地圖符號(hào)、注記，直接反映制圖對(duì)象地理特征及空間分布的地圖。對(duì)于場(chǎng)景布局解析，影像地圖具有準(zhǔn)確、獲取便利等優(yōu)點(diǎn)，并且直接反應(yīng)場(chǎng)景布局的狀況，所以使用它來(lái)解析場(chǎng)景的布局狀況可以有效獲得比較準(zhǔn)確的結(jié)果。影像地圖的獲取主要通過(guò)遙感圖像和數(shù)字地圖。
[0034]對(duì)于輸入的影像地圖，首先對(duì)其使用語(yǔ)義分割方法得到圖像中每個(gè)像素點(diǎn)的語(yǔ)義信息，這里的語(yǔ)義包括場(chǎng)景對(duì)象的類型和實(shí)例。同一實(shí)例的像素去掉噪聲后連通的區(qū)域被認(rèn)為是一個(gè)場(chǎng)景對(duì)象。計(jì)算每個(gè)場(chǎng)景對(duì)象區(qū)域的輪廓，然后根據(jù)場(chǎng)景對(duì)象的自然規(guī)律對(duì)每個(gè)對(duì)象的輪廓進(jìn)行優(yōu)化。通過(guò)地圖標(biāo)尺計(jì)算出場(chǎng)景對(duì)象的實(shí)際尺寸，然后將場(chǎng)景對(duì)象在二維圖像上的坐標(biāo)進(jìn)過(guò)縮放和平移轉(zhuǎn)換為三維場(chǎng)景中的坐標(biāo)。每個(gè)對(duì)象的高度初始值通過(guò)對(duì)象的語(yǔ)義進(jìn)行設(shè)定，比如道路初始高度為零。場(chǎng)景中的每個(gè)對(duì)象都是多邊形柱體。
[0035]本方法的另一個(gè)輸入為場(chǎng)景的多角度圖像。本方法對(duì)于這些圖像沒有過(guò)多的要求，可以直接從互聯(lián)網(wǎng)獲得，很方便。首先使用判別聚類的共分割方法對(duì)這些圖像進(jìn)行分害J。從效果上看，圖像共分割比單張圖像的分割效果要好。
[0036]對(duì)于每個(gè)場(chǎng)景對(duì)象，每張圖像上都會(huì)對(duì)應(yīng)不同數(shù)量的像素點(diǎn)，然后計(jì)算出它的輪廓。將這些二維圖像根據(jù)相機(jī)參數(shù)等信息注冊(cè)到三維場(chǎng)景中，然后使用對(duì)象的輪廓對(duì)場(chǎng)景對(duì)象或?qū)ο蟛考M(jìn)行網(wǎng)格切割編輯。
[0037]將上述方法應(yīng)用于場(chǎng)景中的每個(gè)對(duì)象，這樣就得到了每個(gè)場(chǎng)景對(duì)象的幾何結(jié)構(gòu)描述信息。將場(chǎng)景對(duì)象根據(jù)布局信息進(jìn)行平移、旋轉(zhuǎn)和縮放即可獲得整個(gè)場(chǎng)景的布局信息和幾何結(jié)構(gòu)描述信息的結(jié)合結(jié)果。
[0038]構(gòu)建一個(gè)三維對(duì)象素材庫(kù)，庫(kù)中包含了室外場(chǎng)景可能出現(xiàn)的各種對(duì)象類別的模型，主要包括建筑、橋梁、植被、道路等。基于這些對(duì)象類別，也構(gòu)建了一個(gè)材質(zhì)素材庫(kù)，用于模型的材質(zhì)綁定。
[0039]三維對(duì)象素材庫(kù)中的所有模型都會(huì)進(jìn)行統(tǒng)一的處理。首先將模型都進(jìn)行三角化處理，然后對(duì)模型的方向進(jìn)行對(duì)齊，同類的模型統(tǒng)一方向，將所有模型的中心與世界坐標(biāo)原點(diǎn)重合，最后將所有模型統(tǒng)一進(jìn)行縮放，都縮放為統(tǒng)一的立方體包圍盒內(nèi)可容納的最大尺寸。此外，每個(gè)模型都提前進(jìn)行特征值計(jì)算，用于后續(xù)的模型檢索特征匹配計(jì)算。
[0040]以前面解析出的場(chǎng)景布局和幾何機(jī)構(gòu)信息為輸入，并在上述三維對(duì)象素材庫(kù)中檢索即可得到三維場(chǎng)景的建模結(jié)果。對(duì)于場(chǎng)景中的每個(gè)對(duì)象都先計(jì)算其特征值，然后在庫(kù)中檢索最相近的特征值，再加上語(yǔ)義信息，即可得到最接近的模型對(duì)象。模型的材質(zhì)也根據(jù)模型的語(yǔ)