，物品特征區(qū)域是指以物品為主題的特征區(qū)域，景色特征區(qū)域是指以自然景色(例如，天空、云朵和樹木等)為主題的特征區(qū)域，景物特征區(qū)域是指位于所述待重建場景中且與所述待重建場景相關(guān)的特征區(qū)域，包括景點(diǎn)、建筑物等。
[0040]相應(yīng)的，為減小三維重建的數(shù)據(jù)量，提高重建效率，在根據(jù)所述圖片中的景物特征區(qū)域?qū)λ龃亟▓鼍斑M(jìn)行三維重建之前，還包括:
[0041]從圖片中，將人物特征區(qū)域、物品特征區(qū)域和景色特征區(qū)域刪除。
[0042]具體的，在提取出圖片中的特征區(qū)域之后，為減小三維重建的數(shù)據(jù)量，提高重建效率，需要對(duì)提取特征區(qū)域進(jìn)行過濾。具體來說，當(dāng)圖片上存在樹木、人物和云朵時(shí)，會(huì)在樹木、云朵、人物對(duì)應(yīng)的像素區(qū)域提取大量無效不穩(wěn)定的特征點(diǎn)，可將這些與所述待重建場景無關(guān)的特征去除，以減少三維重建消耗的時(shí)間。
[0043]示例性的，為進(jìn)一步減少處理處理數(shù)據(jù)量，可進(jìn)一步刪除獲取的圖片集合中的無效圖片，具體的，獲取與待重建場景匹配的第一圖片集合包括:
[0044]采用圖像識(shí)別技術(shù)從互聯(lián)網(wǎng)或用戶生成內(nèi)容UGC圖片庫中搜索與所述待重建場景相關(guān)的第二圖片集合；
[0045]刪除第二圖片集合中不符合預(yù)設(shè)要求的圖片，將剩余圖片作為與所述待重建場景匹配的第一圖片集合。
[0046]其中，所述不符合預(yù)設(shè)要求的圖片包括尺寸不符合要求的圖片、人物為主體的圖片、景色(例如樹木、云朵和天空等)為主體的圖片、以物品(景區(qū)紀(jì)念品)為主體的圖片、以小賣鋪為主體的圖片、及與所選景物無關(guān)的錯(cuò)誤標(biāo)記圖片等。
[0047]具體的，采用聚類算法對(duì)上述第二圖片集合中的圖片進(jìn)行分類，在分類過程中，由于圖片中包含場景的復(fù)雜性，一張圖片中可能包含多類信息，因此一張圖片可能會(huì)被歸為多個(gè)類別中。為避免刪除一些有用的圖片，確保分類的準(zhǔn)確性，本實(shí)施例首先采用如下文獻(xiàn)一中的方法對(duì)圖片做初步分割，刪除不符合預(yù)設(shè)要求的圖片，包括以天空、樹木、人物占主體的圖片。文獻(xiàn)一:Cheng M M, Zheng S，Lin ff Y, et al.1mageSpirit:Verbal guidedimage parsing[J].ACM Transact1ns on Graphics(TOG), 2014,34 (I):3.(Ming-MingCheng, Shuai Zheng, Wen-Yan Lin, Vibhav Vineet, Paul Sturgess, Nigel Crook, NiloyMitra, Philip Torr ；ImageSpirit:基于語義指導(dǎo)的圖像解析，美國計(jì)算機(jī)學(xué)會(huì)圖形學(xué)報(bào)(TOG) ；2014)
[0048]然后，采用如下文獻(xiàn)二中的方法在剩余圖片集合的圖片上提取特征區(qū)域，根據(jù)特征區(qū)域?qū)κＳ鄨D片集合的圖片再次做聚類處理，而后從中找出聚類最多的一組圖片集合，若該組圖片集合中的圖片數(shù)量超出設(shè)定的閾值范圍，可以認(rèn)為這一組圖片集合聚集了所述待重建場景的絕大多數(shù)圖片的內(nèi)容，可以直接用來做重建圖片。文獻(xiàn)二:Kim E，Li H, HuangX.A hierarchical image clustering cosegmentat1n framework[C]//Computer Vis1nand Pattern Recognit1n (CVPR), 2012IEEE Conference on.1EEE, 2012:686-693.(EdwardKim, Hongsheng Li, Xiaolei Huang ;基于多尺度圖像聚類的協(xié)同分割框架；計(jì)算機(jī)視覺與模式識(shí)別學(xué)術(shù)會(huì)議；2012)
[0049]但也有可能對(duì)于同一景物對(duì)應(yīng)多個(gè)拍攝視角，也就意味著有可能會(huì)出現(xiàn)多個(gè)聚類中心，此時(shí)需使用特征匹配算法判斷類別間的連接性，若某一組圖片集合中圖片的特征與上述聚類最多的一組圖片集合特征匹配的數(shù)目多出設(shè)定閾值，將該組圖片集合也用來做重建圖片。
[0050]示例性的，根據(jù)所述圖片中的景物特征區(qū)域?qū)λ龃亟▓鼍斑M(jìn)行三維重建之后，渲染生成所述待重建場景之前，還包括:
[0051]選取圖片中包括的景物特征區(qū)域的數(shù)量超過預(yù)設(shè)數(shù)量的圖片作為關(guān)鍵幀；
[0052]根據(jù)關(guān)鍵幀圖片中顯示場景的空間關(guān)系和圖片拍攝時(shí)間，確定關(guān)鍵幀的鄰近關(guān)系;
[0053]根據(jù)確定的鄰近關(guān)鍵幀對(duì)所述待重建場景進(jìn)行路徑規(guī)劃。
[0054]示例性的，根據(jù)確定的鄰近關(guān)鍵幀對(duì)所述待重建場景進(jìn)行路徑規(guī)劃，包括:
[0055]若相鄰關(guān)鍵幀之間存在時(shí)間上的差異，則在相鄰關(guān)鍵幀之間插入差異時(shí)間段內(nèi)的過渡圖片；
[0056]若相鄰關(guān)鍵幀之間存在空間上的差異，則選取與所述關(guān)鍵幀空間上相關(guān)聯(lián)圖片作為過渡圖片。
[0057]其中，圖片拍攝時(shí)間可通過解析所述圖片，從圖片頭信息中獲取。另外，對(duì)于一些圖片的原始拍攝信息在傳播過程中已經(jīng)損失掉，無法直接獲取圖片拍攝時(shí)間，本實(shí)施例可根據(jù)圖片亮度變化，通過機(jī)器學(xué)習(xí)方法，將圖片劃分成早、中、晚三類。
[0058]由于上述參與重建的圖片集合中的圖片，在空間上分布并不均勻，而且這些圖片在時(shí)間上也沒有明確分布規(guī)律。
[0059]為從大量圖片中選取一組在空間上展現(xiàn)最為豐富的圖片，本實(shí)施例通過計(jì)算圖片間的渲染代價(jià)，使用最短路徑規(guī)劃方法來選取。為此渲染代價(jià)不僅包含圖片的空間位置、視點(diǎn)方向、光場、形變率、分辨率等內(nèi)容，同時(shí)還計(jì)算圖片間在時(shí)間上的差異性。
[0060]具體的，首先需要從第一圖片集合中選出一些圖片作為關(guān)鍵幀，關(guān)鍵幀的選取規(guī)則是:選取圖片中包括的景物特征區(qū)域的數(shù)量超過預(yù)設(shè)數(shù)量的圖片，同時(shí)關(guān)鍵幀拍攝位置附近有大量的圖片，此外，關(guān)鍵幀也要分布在不同時(shí)間范圍內(nèi)。
[0061]關(guān)鍵幀選取方法具體如下:首先選取一幀圖片，該圖片上包含的三維點(diǎn)是最多的，而后以此為起始幀搜索下一幀圖像，下一幀圖像的被選為關(guān)鍵幀的條件是，新增加的三維點(diǎn)足夠多，同時(shí)需要計(jì)算該幀一定空間范圍內(nèi)是否有足夠多的其他圖片，之后計(jì)算該幀圖片與上一幀圖片在時(shí)間上的差異性，如果差異不大，可以盡量從該圖片附近找差異性較大的圖片替代當(dāng)前圖片作為關(guān)鍵幀，需要指出的是，由于搜集到的圖片內(nèi)容并不一定足夠豐富，因此各個(gè)約束條件重要性并不相同，其中關(guān)鍵幀需要包含足夠多的特征點(diǎn)最為重要。通過上述選取關(guān)鍵幀方法，以此類推，逐步增加關(guān)鍵幀數(shù)量，當(dāng)選取的關(guān)鍵幀數(shù)量滿足一定閾值后就結(jié)束關(guān)鍵幀的選取。
[0062]對(duì)于選取得到的關(guān)鍵幀，只能大致覆蓋重建場景，但相鄰關(guān)鍵幀之前并不能直接通過影像渲染技術(shù)進(jìn)行過渡，因此在關(guān)鍵幀之間需要找一組影像以實(shí)現(xiàn)關(guān)鍵幀之間的平滑過渡，另外由于關(guān)鍵幀之間有一定的差異性，在選取圖片時(shí)需盡量使用圖片間的差異性。
[0063]具體的，假定需要從關(guān)鍵幀A找出一組圖片渲染到關(guān)鍵幀B，選取的過渡圖片記為PU Ρ2...ρη，首先判斷關(guān)鍵幀A與B之間是否存在時(shí)間上的差異，假如A屬于早上的圖片，B屬于晚上，則選取的過渡圖片P需盡量處于這一段時(shí)間內(nèi)，這樣在視覺上可以保持較好的延續(xù)性，而不至于白天夜晚切換頻繁；而后如果A關(guān)鍵幀附近有足夠多圖片，則以為著A圖片附近可以展示較好的空間信息，因此可以在A圖片附近選取較多圖片，并使用較好的圖像渲染方法，突出場景的三維結(jié)構(gòu)。
[0064]示例性的，渲染生成所述待重建場景包括:
[0065]根據(jù)所述第一圖片集合中各圖片的拍攝時(shí)間，渲染生成不同時(shí)間的重建場景。
[0066]由于第一圖像集合中的圖片拍攝于不同時(shí)間，甚至于不同的時(shí)期，因此可以根據(jù)圖片的拍攝時(shí)間，渲染生成不同時(shí)間的重建場景。
[0067]上述各實(shí)施例同樣濾掉了一些無效不穩(wěn)定的特征區(qū)域，僅根據(jù)與所述待重建場景相關(guān)聯(lián)的景物特征區(qū)域?qū)λ龃亟▓鼍斑M(jìn)行三維重建，從而提高了重建效率和準(zhǔn)確性。
[0068]并且通過使用路徑規(guī)劃技術(shù)，進(jìn)一步保證了渲染時(shí)圖片的連續(xù)性，提高視覺效果。
[0069]實(shí)施例二
[0070]圖2為本發(fā)明實(shí)施例二提供的場景重建裝置的結(jié)構(gòu)示意圖，如圖2所示，具體包括:圖片獲取模塊21、特征提取模塊22、特征識(shí)別模塊23和重建模塊24 ;
[