交互式建模方法
【專利摘要】一種交互式建模方法，包括：一致分割步驟，對多視角圖片一致分割成數(shù)個區(qū)域；置信步驟，對每一個區(qū)域進行置信評價出置信度并與閾值進行比較；交互步驟，對低于閾值的區(qū)域，人工勾畫返回置信步驟；重復(fù)步驟，重復(fù)置信步驟與交互步驟直到數(shù)個區(qū)域中每個區(qū)域的置信度都符合閾值要求；建模步驟，根據(jù)符合閾值的數(shù)個區(qū)域生成建筑物。本發(fā)明不僅深入挖掘圖片信息，還充分結(jié)合建筑物結(jié)構(gòu)的先驗知識，從而能夠大量減少用戶交互，有效提高建模自動化程度。此外，基于圖片的交互式建筑物建模方法不僅可以用來進行三維重建，也能極大地輔助建筑設(shè)計以及實景的規(guī)劃設(shè)計等。
【專利說明】交互式建模方法
【【技術(shù)領(lǐng)域】】
[0001]本發(fā)明涉及一種圖像理解的一種應(yīng)用，尤其設(shè)計一種提取建筑物的交互式建模方法。
【【背景技術(shù)】】
[0002]隨著各種可拍照設(shè)備的普及，圖片獲取已非常容易，如何用圖片快速重建現(xiàn)實世界三維模型仍然是計算機圖形學(xué)和視覺領(lǐng)域的熱點和難點研究問題。建筑作為城市場景中最重要的組成部分，其三維模型的構(gòu)建受到學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。
[0003]現(xiàn)有基于圖片的建筑建模中，基本采用自動化和交互式兩種方法來建模。
[0004]針對基于圖片的自動化建模，其對輸入圖片的數(shù)量及拍攝角度有比較高的要求，受光照、建筑物結(jié)構(gòu)相互遮擋、墻面紋理等影響，往往很難獲取理想拍攝角度及足夠數(shù)量的圖片；另一方面，建筑物，特別是現(xiàn)代建筑，具有很強的規(guī)則性，自動化建模過程中多副圖片的匹配很容易產(chǎn)生歧義，自動化的方法很難消解這種歧義，從而導(dǎo)致建模結(jié)果欠佳。
[0005]而交互式方法需要用戶通過大量勾畫形成完整幾何結(jié)構(gòu)，效率低，實有待改善。
【
【發(fā)明內(nèi)容】
】
[0006]有鑒于現(xiàn)有技術(shù)中交互式方法的缺陷，有必要提供一種提高建模自動化程度，減少交互操作的交互式建模方法，讓用戶可以輕松地利用拍攝的照片創(chuàng)建三維模型。
[0007]為實現(xiàn)上述目的，本發(fā)明采用如下方案:
[0008]—種交互式建模方法，其中，該方法包括:
[0009]一致分割步驟，對多視角圖片一致分割成數(shù)個區(qū)域；
[0010]置信步驟，對每一個區(qū)域進行置信評價出置信度并與閾值進行比較；
[0011]交互步驟，對低于閾值的區(qū)域，人工勾畫返回置信步驟；
[0012]重復(fù)步驟，重復(fù)置信步驟與交互步驟直到數(shù)個區(qū)域中每個區(qū)域的置信度都符合閾值要求；
[0013]建模步驟，根據(jù)符合閾值的數(shù)個區(qū)域生成建筑物。
[0014]其中，置信度閾值由用戶指定，閾值小則傾向于產(chǎn)生精度更高的模型，但交互工作量也可能有所增加。
[0015]所述的交互式建模方法，其中，該交互式建模方法還包括，在一致分割步驟前的初始化步驟，將多張圖片變成多視角圖片。
[0016]所述的交互式建模方法，其中，該初始化步驟具體采用三維建模、點線對應(yīng)或人工交互中的至少一種。
[0017]所述的交互式建模方法，其中，該一致分割步驟中根據(jù)圖片線段進行一致分割。
[0018]所述的交互式建模方法，其中，該圖片線段為提取的建筑物幾何結(jié)構(gòu)的棱線。
[0019]所述的交互式建模方法，其中，該圖片線段為提取的建筑物紋理、墻面光照或顏色變化。[0020]所述的交互式建模方法，其中，該交互步驟采用多點觸摸方式交互。
[0021]相對有現(xiàn)有技術(shù)，本發(fā)明不僅深入挖掘圖片信息，還充分結(jié)合建筑物結(jié)構(gòu)的先驗知識，從而能夠大量減少用戶交互，有效提高建模自動化程度。此外，基于圖片的交互式建筑物建模方法不僅可以用來進行三維重建，也能極大地輔助建筑設(shè)計以及實景的規(guī)劃設(shè)計等。
【【具體實施方式】】
[0022]下面結(jié)合圖示，對本發(fā)明進行說明。
[0023]本發(fā)明的發(fā)明思想是從多幅圖片出發(fā)，通過用戶交互初步建立一些建筑物多面體的點線之間的連接和對應(yīng)關(guān)系，在此過程中不斷優(yōu)化求解配準以及建筑物幾何結(jié)構(gòu)，通過自動提取的圖片線段可以“擴展”現(xiàn)有的幾何結(jié)構(gòu)，即從現(xiàn)有幾何結(jié)構(gòu)出發(fā)結(jié)合圖片線段“智能”地推測周圍的幾何結(jié)構(gòu)，如此迭代重復(fù)。在這個過程中，用戶交互主要用于幫助系統(tǒng)消解自動推測過程中產(chǎn)生的歧義，用戶只需要確認或者否認系統(tǒng)自動推測得到的結(jié)果，因此，相比于現(xiàn)有技術(shù)，能夠大大減少交互量。
[0024]一種交互式建模方法，包括:初始化步驟、一致分割步驟、置信步驟、交互步驟，重復(fù)步驟以及建模步驟。
[0025]該初始化步驟將多張圖片變成多視角圖片。該初始化步驟具體采用三維建模、點線對應(yīng)或人工交互中的至少一種 。初始化步驟中，首先要解決的問題是多視角圖片的配準:當(dāng)圖片數(shù)量較多時可以使用三維建模對圖片進行自動配準，但該過程比較耗時。本發(fā)明優(yōu)選的方法是發(fā)現(xiàn)用戶交互指導(dǎo)多視角圖片一致分割的過程中，自然地會指出多視角圖片之間的一些對應(yīng)點線關(guān)系，可以通過這些對應(yīng)關(guān)系實現(xiàn)多視角圖片配準，因此，用戶只需要在引導(dǎo)下幫助實現(xiàn)多視角圖片的一致分割，本方法就能求解配準和建筑物的幾何結(jié)構(gòu)。
[0026]該一致分割步驟，對多視角圖片一致分割成數(shù)個區(qū)域?；诔杀?、建造工藝和美觀等多方面的考量，絕大多數(shù)建筑物墻面由簡單的多邊形結(jié)構(gòu)組成，如凸起的陽臺、鑲嵌的窗戶和掛載的空調(diào)等，因此多面體即能很好的表達建筑物墻面結(jié)構(gòu)。同時，建筑物多面體每個面的紋理相對單一，這成為本發(fā)明確定多面體各個面的重要依據(jù)。如果本發(fā)明按照建筑物多面體的棱對多視角的圖片進行分割，本發(fā)明得到的多視角分割結(jié)果應(yīng)該具有一致性，反過來，如果本發(fā)明能在圖片分割過程中保持多視角圖片分割結(jié)果的幾何一致性，本發(fā)明也就能夠有效地計算建筑物多面體，本發(fā)明稱該過程為多視角圖片的一致分割步驟。這種方法基于每一個面的紋理特征來確定三維空間面的存在性，而不像傳統(tǒng)方法中需要計算出的SfM點云作為支撐計算空間平面的位置，因此只需要非常少的圖片也能有效工作，是較傳統(tǒng)方法的一大優(yōu)勢。
[0027]該置信步驟，對每一個區(qū)域進行置信評價出置信度并與閾值進行比較。該交互步驟，對低于閾值的區(qū)域，人工勾畫返回置信步驟。本步驟可以對分割的一致性進行度量，本方法設(shè)定了一個閾值，如果低于該閾值，就認為一致分割性較差。如果一致分割性較差即證明很有可能在有棱線圖片線段缺失，在這種情況下，系統(tǒng)會將缺失可能性呈現(xiàn)給用戶，通過用戶引導(dǎo)找到缺失的幾何結(jié)構(gòu)棱線，形成完整的幾何結(jié)構(gòu)。通過多視角圖片一致分割，交互式建模系統(tǒng)能夠引導(dǎo)用戶通過少量交互迅速排除非建筑物幾何結(jié)構(gòu)棱線的圖片線段，同時也引導(dǎo)用戶勾畫缺失的建筑物幾何結(jié)構(gòu)棱線，而不用將大量用戶交互花費在勾畫能夠自動提取的圖片線段上。其中，置信度閾值由用戶指定，閾值小則傾向于產(chǎn)生精度更高的模型，但交互工作量也可能有所增加。
[0028]該重復(fù)步驟為重復(fù)置信步驟與交互步驟直到數(shù)個區(qū)域中每個區(qū)域的置信度都符合閾值要求。該建模步驟為根據(jù)符合閾值的數(shù)個區(qū)域生成建筑物。
[0029]該圖片線段為提取的建筑物幾何結(jié)構(gòu)的棱線。該圖片線段為提取的建筑物紋理、墻面光照或顏色變化。換句話說，圖片線段既包括建筑物幾何結(jié)構(gòu)的棱線，也包括由光照、墻面顏色變化等形成的非棱線的圖片線段。多視角圖片一致分割對圖片線段自動提取具有很強的魯棒性，棱線圖片線段和非棱線圖片線段可以不加區(qū)分地用于一致分割的過程中，然后根據(jù)共面特性可以很容易排除非棱線圖片線段，從而得到更簡潔和準確的幾何模型。
[0030]該交互步驟采用多點觸摸方式交互。多點觸控的出現(xiàn)是鼠標出現(xiàn)后用戶控制界面的又一次全新升級，這種全新的用戶界面通過創(chuàng)新的軟件支持和超大的多點觸控屏幕，能夠通過手指輕松地實現(xiàn)控制。多點觸控技術(shù)有望取代目前所使用的鍵盤、鼠標，將進一步體現(xiàn)出人性化操控接口的未來趨勢。目前，鮮有嘗試將多點觸控交互技術(shù)應(yīng)用到基于圖片的三維建模，本發(fā)明認為多點觸控交互技術(shù)非常有利于用戶在基于圖片的交互式建筑物建模過程中簡捷自然地先建模系統(tǒng)傳達控制指令。
[0031]綜上來說，使用初始化步驟、一致分割步驟后，將多個區(qū)域每個區(qū)域進行置信步驟與交互步驟，通過用戶的交互補充，通過重復(fù)步驟將每個區(qū)域進行置信步驟，在置信度較低的時候進行交互步驟讓用戶補充，等到所有區(qū)域都符合置信度后到建模步驟將建筑物生成。
[0032]以上對本發(fā)明進行了詳細介紹，本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在【具體實施方式】及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
【權(quán)利要求】
1.一種交互式建模方法,其特征在于,該方法包括: 一致分割步驟，對多視角圖片一致分割成數(shù)個區(qū)域； 置信步驟，對每一個區(qū)域進行置信評價出置信度并與閾值進行比較； 交互步驟，對低于閾值的區(qū)域，人工勾畫返回置信步驟； 重復(fù)步驟，重復(fù)置信步驟與交互步驟直到數(shù)個區(qū)域中每個區(qū)域的置信度都符合閾值要求； 建模步驟，根據(jù)符合閾值的數(shù)個區(qū)域生成建筑物。
2.根據(jù)權(quán)利要求1所述的交互式建模方法，其特征在于，該交互式建模方法還包括，在一致分割步驟前的初始化步驟，將多張圖片變成多視角圖片。
3.根據(jù)權(quán)利要求2所述的交互式建模方法，其特征在于，該初始化步驟具體采用三維建模、點線對應(yīng)或人工交互中的至少一種。
4.根據(jù)權(quán)利要求1所述的交互式建模方法，其特征在于，該一致分割步驟中根據(jù)圖片線段進行一致分割。
5.根據(jù)權(quán)利要求4所述的交互式建模方法，其特征在于，該圖片線段為提取的建筑物幾何結(jié)構(gòu)的棱線。
6.根據(jù)權(quán)利要求4所述的交互式建模方法，其特征在于，該圖片線段為提取的建筑物紋理、墻面光照或顏色變化。
7.根據(jù)權(quán)利要求1所述的交互式建模方法，其特征在于，該交互步驟采用多點觸摸方式交互。
【文檔編號】G06T17/00GK103886637SQ201210563599
【公開日】2014年6月25日 申請日期:2012年12月22日 優(yōu)先權(quán)日:2012年12月22日
【發(fā)明者】李揚彥, 陳寶權(quán) 申請人:中國科學(xué)院深圳先進技術(shù)研究院