場(chǎng)景重建方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明實(shí)施例涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種場(chǎng)景重建方法及裝置。
【背景技術(shù)】
[0002]—些歷史文化古跡，隨時(shí)間流逝慢慢的被消磨而風(fēng)采不再，甚至?xí)谧匀粸?zāi)難面前毀于一旦。隨著科技發(fā)展和旅游業(yè)的盛行，普通民眾通過(guò)消費(fèi)級(jí)別的相機(jī)搜集了特定時(shí)亥IJ、特定視角下這些歷史文化古跡的風(fēng)采，并且有很多人會(huì)選擇將拍攝內(nèi)容傳播到互聯(lián)網(wǎng)上，使每個(gè)人都可以領(lǐng)略他/她所看到的美景。
[0003]在這一背景下，反過(guò)來(lái)可通過(guò)強(qiáng)大的搜索引擎或特定的搜集方式，可以采集到眾多用戶拍攝的海量圖片，這些圖片會(huì)分布在一天的不同時(shí)刻，也會(huì)分布在一年的不同季節(jié)，甚至?xí)植荚诓煌哪攴堇铩；诖耍赏ㄟ^(guò)圖片篩選和重建，讓公眾從一個(gè)大的時(shí)間尺度和空間尺度上領(lǐng)略這些古跡的不同風(fēng)采。
[0004]但是，由于搜集到的圖片中存在大量雜圖和無(wú)效圖片，現(xiàn)有技術(shù)需要進(jìn)行人工剔除，這耗費(fèi)巨大的人力成本。并且，重建過(guò)程隨圖片數(shù)據(jù)量的增長(zhǎng)重建時(shí)間呈指數(shù)級(jí)增長(zhǎng)，重建效率較低。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供一種場(chǎng)景重建方法及裝置，能夠提高重建效率。
[0006]第一方面，本發(fā)明實(shí)施例提供了一種場(chǎng)景重建方法，包括:
[0007]獲取與待重建場(chǎng)景匹配的第一圖片集合；
[0008]采用特征提取算法提取所述第一圖片集合中圖片的至少一個(gè)特征區(qū)域；
[0009]對(duì)所述特征區(qū)域進(jìn)行識(shí)別得到圖片中的景物特征區(qū)域；
[0010]根據(jù)所述圖片中的景物特征區(qū)域?qū)λ龃亟▓?chǎng)景進(jìn)行三維重建，并渲染生成所述待重建場(chǎng)景。
[0011]第二方面，本發(fā)明實(shí)施例還提供一種場(chǎng)景重建裝置，包括:
[0012]圖片獲取模塊，用于獲取與待重建場(chǎng)景匹配的第一圖片集合；
[0013]特征提取模塊，用于采用特征提取算法提取所述第一圖片集合中圖片的至少一個(gè)特征區(qū)域；
[0014]特征識(shí)別模塊，用于對(duì)所述特征區(qū)域進(jìn)行識(shí)別得到圖片中的景物特征區(qū)域；
[0015]重建模塊，用于根據(jù)所述圖片中的景物特征區(qū)域?qū)λ龃亟▓?chǎng)景進(jìn)行三維重建，并渲染生成所述待重建場(chǎng)景。
[0016]本發(fā)明實(shí)施例的技術(shù)方案，濾掉了一些無(wú)效不穩(wěn)定的特征區(qū)域，僅根據(jù)與所述待重建場(chǎng)景相關(guān)聯(lián)的景物特征區(qū)域?qū)λ龃亟▓?chǎng)景進(jìn)行三維重建，從而提高了重建效率和準(zhǔn)確性。
【附圖說(shuō)明】
[0017]圖1為本發(fā)明實(shí)施例一提供的場(chǎng)景重建方法的流程示意圖；
[0018]圖2為本發(fā)明實(shí)施例二提供的場(chǎng)景重建裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0019]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明?？梢岳斫獾氖牵颂幩枋龅木唧w實(shí)施例僅僅用于解釋本發(fā)明，而非對(duì)本發(fā)明的限定。另外還需要說(shuō)明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。
[0020]本發(fā)明實(shí)施例提供的場(chǎng)景重建方法的執(zhí)行主體，可為本發(fā)明實(shí)施例提供的場(chǎng)景重建裝置，或者集成了所述場(chǎng)景重建裝置的服務(wù)器設(shè)備，該場(chǎng)景重建裝置可以采用硬件或軟件實(shí)現(xiàn)。
[0021]實(shí)施例一
[0022]圖1為本發(fā)明實(shí)施例一提供的場(chǎng)景重建方法的流程示意圖，如圖1所示，具體包括:
[0023]S11、獲取與待重建場(chǎng)景匹配的第一圖片集合；
[0024]其中，在本實(shí)施例中，所述待重建場(chǎng)景可為一些旅游景點(diǎn)、歷史古跡和建筑物等。所述第一圖片集合中包含至少一張與所述待重建場(chǎng)景匹配的圖片。具體可通過(guò)在互聯(lián)網(wǎng)上輸入與所述待重建場(chǎng)景相關(guān)的關(guān)鍵字搜索得到，也可從用戶生成內(nèi)容(User GeneratedContent，UGC)圖片庫(kù)中獲取。
[0025]其中，UGC圖片庫(kù)中保存了用戶在互聯(lián)網(wǎng)上分享的圖片內(nèi)容，這些圖片內(nèi)容大都來(lái)源于用戶拍攝的照片，也可以是用戶制作的圖片。由于市面上相機(jī)的多樣性，而且由于拍攝時(shí)間、地點(diǎn)以及方式的不同，UGC圖片庫(kù)中記錄了同一場(chǎng)景在不同的視點(diǎn)、時(shí)間(四季變換或早晚交替)、光照條件(陰、晴、雨或雪)下的不同外觀，隨著用戶上傳數(shù)據(jù)量的急速增長(zhǎng)，UGC圖片庫(kù)具備覆蓋面廣，數(shù)據(jù)獲取成本低等特點(diǎn)。因此，從所述UGC圖片庫(kù)中可獲取到比較有價(jià)值的圖片內(nèi)容。
[0026]S12、采用特征提取算法提取所述第一圖片集合中圖片的至少一個(gè)特征區(qū)域；
[0027]其中，可采用特征提取算法包括角點(diǎn)檢測(cè)算法和局部不變特征點(diǎn)提取方法等。
[0028]另外，為增強(qiáng)圖片中特征的獨(dú)立性和有效性，在對(duì)圖片特征提取之前，需要對(duì)圖片進(jìn)行的前期處理，主要的處理為圖片特征分割。即將圖片分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域，并提出目標(biāo)對(duì)象(例如，圖片中的人物區(qū)域、景色區(qū)域和景物區(qū)域等)。在本實(shí)施例中，可采用的圖像分割方法主要有基于閾值的分割方法、基于區(qū)域的分割方法、基于邊緣的分割方法以及基于特定理論的分割方法等。
[0029]S13、對(duì)所述特征區(qū)域進(jìn)行識(shí)別得到圖片中的景物特征區(qū)域；
[0030]在上述步驟S12中，提取出圖片中的特征區(qū)域之后，需要對(duì)特征區(qū)域進(jìn)行識(shí)別，以便后續(xù)區(qū)分特征區(qū)域，確定所述圖片中與所述待重建場(chǎng)景匹配的特征區(qū)域，即景物特征區(qū)域。在此步驟中可通過(guò)以下特征識(shí)別算法對(duì)圖片特征區(qū)域進(jìn)行識(shí)別:基于圖統(tǒng)計(jì)特征的圖像識(shí)別算法、基于HOG特征的目標(biāo)識(shí)別算法研究和基于局部特征的物體識(shí)別算法等。
[0031]S14、根據(jù)所述圖片中的景物特征區(qū)域?qū)λ龃亟▓?chǎng)景進(jìn)行三維重建，并渲染生成所述待重建場(chǎng)景。
[0032]其中，景物特征區(qū)域可以是與所述待重建場(chǎng)景中某景點(diǎn)匹配的場(chǎng)景的輪廓。以所述待重建場(chǎng)景中景點(diǎn)為龍門石窟為例，可以從龍門石窟中的佛像的多個(gè)對(duì)象(例如佛像的臉部、眼部、手部)的輪廓上選取特征區(qū)域。
[0033]具體三維重建過(guò)程可采用現(xiàn)有的一些重建方法，這里不再贅述。通過(guò)三維重建，已恢復(fù)出每張圖片所處空間位置信息，但這些圖片是靜態(tài)離散的不利于場(chǎng)景展示，為保證這些圖片空間上具有較好的延續(xù)性，更好的展現(xiàn)所述待重建場(chǎng)景的三維特征。本實(shí)施例圖片渲染技術(shù)，通過(guò)在待渲染的相鄰圖片間插入虛擬圖片，渲染生成所述待重建場(chǎng)景。
[0034]具體的，通過(guò)之前的圖片特征區(qū)域及三維重建技術(shù)，可恢復(fù)出其中兩張圖片拍照時(shí)的相機(jī)的真實(shí)位置信息，為實(shí)現(xiàn)虛擬的3D過(guò)度效果，需要在渲染時(shí)插入虛擬的相機(jī)位置，同時(shí)由于UGC相片的差異性，也需要對(duì)相機(jī)內(nèi)置參數(shù)進(jìn)行內(nèi)插處理。由于兩幀圖片間存在共有的三維點(diǎn)，這些點(diǎn)可以投影到虛擬的相機(jī)成像面上，如此就可以建立兩張圖片與虛擬圖片之間的映射關(guān)系。例如，在當(dāng)某一圖片A附近有較多在空間上相關(guān)聯(lián)的圖片B時(shí)，但圖片中的場(chǎng)景的三維結(jié)構(gòu)沒(méi)有明顯前后之分的時(shí)候，對(duì)于待渲染的兩個(gè)圖片A和B，將它們之間存在的公共三維點(diǎn)投射到虛擬的相機(jī)成像面上，而后分別在圖片A、B及虛擬的相機(jī)成像面上的特征區(qū)域進(jìn)行三角構(gòu)網(wǎng)，這樣圖片A、B及虛擬的相機(jī)成像面上會(huì)形成一一對(duì)應(yīng)的三角形區(qū)域，可以認(rèn)為三角形內(nèi)部是平面，而后在虛擬的相機(jī)成像面上，根據(jù)三角形區(qū)域的對(duì)應(yīng)關(guān)系，分別從圖片A、B上取像素點(diǎn)填充到虛擬的相機(jī)成像面上的三角形區(qū)域中，這樣就生成完整的虛擬圖片，如此過(guò)渡，可以生成三維空間結(jié)構(gòu)較準(zhǔn)確且細(xì)節(jié)豐富的過(guò)渡效果。
[0035]在渲染過(guò)程中，由于虛擬相機(jī)在兩個(gè)真實(shí)相機(jī)之間移動(dòng)，當(dāng)其靠近某一真實(shí)相機(jī)時(shí)，該相機(jī)投射到虛擬相機(jī)上產(chǎn)生的形變較小，可通過(guò)設(shè)置不同的權(quán)重，使虛擬過(guò)度的效果達(dá)到最佳。
[0036]本實(shí)施例濾掉了一些無(wú)效不穩(wěn)定的特征區(qū)域，僅根據(jù)與所述待重建場(chǎng)景相關(guān)聯(lián)的景物特征區(qū)域?qū)λ龃亟▓?chǎng)景進(jìn)行三維重建，從而提高了重建效率和準(zhǔn)確性。
[0037]示例性的，所述特征區(qū)域還包括:人物特征區(qū)域、物品特征區(qū)域和景色特征區(qū)域中的至少一種。
[0038]具體的，在對(duì)所述特征區(qū)域進(jìn)行識(shí)別的過(guò)程中，可對(duì)所述圖片包含的特征區(qū)域進(jìn)行分類，采用聚類算法將所述圖片包含的特征區(qū)域劃分為人物特征區(qū)域、物品特征區(qū)域、景色特征區(qū)域和景物特征區(qū)域中的至少一種。
[0039]其中，人物特征區(qū)域是指以人物為主題的特征區(qū)域