面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，尤其涉及基于多圖像的三維重建系統(tǒng)以及激光掃描模型的自動(dòng)紋理映射，具體涉及一種面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法。
【背景技術(shù)】
[0002]目前常用的基于多圖像的三維重建系統(tǒng)利用圖像特征向量之間的匹配關(guān)系來達(dá)到求解三維場(chǎng)景中相機(jī)的內(nèi)參數(shù)矩陣、外參數(shù)矩陣以及三維點(diǎn)的世界坐標(biāo)系坐標(biāo)。
[0003]另一種常用的獲取場(chǎng)景三維數(shù)據(jù)的方法是激光掃描得到三維模型。為了得到場(chǎng)景盡可能豐富的細(xì)節(jié)，需要使用面著色替代現(xiàn)有三維模型的點(diǎn)著色方式，即三角網(wǎng)格模型上每個(gè)三角面片的像素取自紋理圖像上的一個(gè)三角形紋理區(qū)域。由于激光掃描三維模型的幾何結(jié)構(gòu)高度準(zhǔn)確，多圖像三維重建方法得到的相機(jī)參數(shù)誤差很小，可以結(jié)合激光掃描三維模型和基于多圖像三維重建得到的三維場(chǎng)景描述(每個(gè)相機(jī)的參數(shù))來計(jì)算得到紋理細(xì)節(jié)豐富的三角網(wǎng)格模型。
[0004]基于多圖像的三維重建系統(tǒng)的流程是提取每張圖像的特征向量，對(duì)圖像間的特征向量進(jìn)行匹配，把特征向量的匹配結(jié)果作為三維重建的輸入，得到每張圖像對(duì)應(yīng)的相機(jī)參數(shù)和三維場(chǎng)景的稠密三維點(diǎn)云，并消除每張圖像的畸變得到消除畸變后的圖像。
[0005]多圖像自動(dòng)紋理映射需要的輸入數(shù)據(jù)有三角網(wǎng)格模型、每個(gè)相機(jī)的參數(shù)以及對(duì)應(yīng)的圖像。
[0006]近年來，紋理映射一直是緊接著基于多圖像三維重建進(jìn)行的，由于基于多圖像三維重建得到的三維模型在幾何結(jié)構(gòu)上誤差較大，最終得到的紋理映射結(jié)果不太理想，把激光掃描三維模型引入多圖像紋理映射會(huì)使得最終的結(jié)果細(xì)節(jié)更豐富。

【發(fā)明內(nèi)容】

[0007]針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法。
[0008]一種面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法，包括:
[0009]步驟1、使用激光掃描儀獲取三維場(chǎng)景的三維點(diǎn)云模型，并形成相應(yīng)的三角網(wǎng)格模型；
[0010]步驟2、獲取所述三維場(chǎng)景的若干張多方向、多角度的圖像，并求解得到每張圖像對(duì)應(yīng)的相機(jī)內(nèi)參數(shù)矩陣、相機(jī)外參數(shù)矩陣，以及所述三維場(chǎng)景的稠密三維點(diǎn)云；
[0011]獲取的照片的張數(shù)至少為20張。通常使用單反相機(jī)對(duì)場(chǎng)景進(jìn)行多方向、多角度的拍照取景以得到相應(yīng)的多方向、多角度的圖像。
[0012]步驟3、將所述三角網(wǎng)格模型與所述的稠密三維點(diǎn)云進(jìn)行匹配得到對(duì)齊三角網(wǎng)格模型；
[0013]步驟4、根據(jù)所有圖像、各個(gè)圖像對(duì)應(yīng)的相機(jī)內(nèi)參數(shù)矩陣、相機(jī)外參數(shù)矩陣以及所述的對(duì)齊三角網(wǎng)格模型，采用基于透視投影模型法獲取所述對(duì)齊三角網(wǎng)格模型上每個(gè)三角面片在各個(gè)圖像中對(duì)應(yīng)的紋理區(qū)域并拼接得到相應(yīng)的紋理圖像。
[0014]本發(fā)明的三維場(chǎng)景的三維點(diǎn)云模型使用激光掃描儀掃描場(chǎng)景得到，不是常規(guī)的多圖像三維重建計(jì)算出來的，對(duì)于使用激光掃描儀掃描得到的三維點(diǎn)云模型，處理的時(shí)候去除三維點(diǎn)云模型的顏色然后進(jìn)行三角網(wǎng)格化形成相應(yīng)的三角網(wǎng)格模型。
[0015]作為優(yōu)選，所述三角網(wǎng)格模型為PLY格式。PLY相比其它表示三維模型的文件格式能更加簡(jiǎn)單地以元素(三維頂點(diǎn)、紋理坐標(biāo)、三角面片)列表來存儲(chǔ)三角網(wǎng)格模型，
[0016]技術(shù)成熟且易于實(shí)現(xiàn)，所述步驟2中利用多圖像三維重建方法求解得到每張圖像對(duì)應(yīng)的相機(jī)內(nèi)參數(shù)矩陣、相機(jī)外參數(shù)矩陣，以及稠密三維點(diǎn)云。
[0017]通過匹配使得激光掃描的三維模型(即三角網(wǎng)格模型)和多圖像三維重建得到的稠密三維點(diǎn)云這兩個(gè)模型最重合，保證多圖像三維重建得到的相機(jī)參數(shù)在激光掃描三維模型下有效。作為優(yōu)選，所述步驟3具體如下:
[0018]根據(jù)所述三角網(wǎng)格模型和所述稠密三維點(diǎn)云之間的幾何相似性(如輪廓等幾何特征)計(jì)算得到所述三角網(wǎng)格模型和稠密三維點(diǎn)云間的位移矩陣，所述位移矩陣包括旋轉(zhuǎn)矩陣、平移矩陣、縮放矩陣和畸變參數(shù)；
[0019]以所述稠密三維點(diǎn)云作為基準(zhǔn)，根據(jù)所述的位移矩陣調(diào)整三角網(wǎng)格模型的方向、位置、尺寸得到對(duì)齊三角網(wǎng)格模型。
[0020]本發(fā)明中進(jìn)行匹配時(shí)需要在同一個(gè)世界坐標(biāo)系下進(jìn)行。
[0021]本發(fā)明中從所有對(duì)應(yīng)的初始紋理區(qū)域選擇最終紋理區(qū)域時(shí)以保證所有三角面片對(duì)應(yīng)的最終紋理區(qū)域盡可能來自于同一圖像為原則。即在眾多可選擇的圖像中選擇覆蓋像素最多的那一張，通過在幾何拓?fù)渖媳M可能選擇多的相鄰三角面片對(duì)應(yīng)到同一張圖像上能夠確保紋理映射的效果最優(yōu)化。
[0022]每個(gè)三角面片對(duì)應(yīng)一個(gè)紋理區(qū)域，將所有三角面片對(duì)應(yīng)的紋理區(qū)域拼接為紋理圖像時(shí)，得到的紋理圖像會(huì)存在拼接縫隙，為提高得到的紋理圖像的質(zhì)量，作為優(yōu)選，本發(fā)明還包括對(duì)拼接得到的紋理圖像進(jìn)行色差弱化處理。
[0023]本發(fā)明中最后得到紋理圖像可以為OBJ、MTL、PNG三個(gè)文件格式，即面向激光掃描三維模型的多圖像自動(dòng)紋理映射的結(jié)果。
[0024]與現(xiàn)有技術(shù)相比，本發(fā)明的面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法極大地提高了三角網(wǎng)格模型的幾何精度和紋理映射后模型的細(xì)節(jié)豐富程度，且容易實(shí)現(xiàn)。
【具體實(shí)施方式】
[0025]下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明，以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。
[0026]本實(shí)施例的面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法包括:
[0027]步驟1、使用激光掃描儀掃描場(chǎng)景得到三維點(diǎn)云模型，經(jīng)過處理得到PLY格式的三角網(wǎng)格模型。
[0028]步驟2、使用單反相機(jī)對(duì)場(chǎng)景進(jìn)行多方向、多角度的拍照取景，并利用多圖像三維重建方法求解得到每張圖像對(duì)應(yīng)的相機(jī)內(nèi)參數(shù)矩陣、相機(jī)外參數(shù)矩陣、場(chǎng)景的稠密三維點(diǎn)云。
[0029]步驟3、匹配激光掃描三維模型和多圖像三維重建得到的稠密三維點(diǎn)云，以多圖像三維重建得到的稠密三維點(diǎn)云作為基準(zhǔn)，按照三維點(diǎn)云處的幾何相似性(輪廓等特征)來求得模型間的旋轉(zhuǎn)矩陣、平移矩陣、縮放矩陣，調(diào)整激光掃描三維模型的方向、位置、尺寸使得激光掃描三維模型和多圖像三維重建得到的稠密三維點(diǎn)云最重合，得到對(duì)齊三角網(wǎng)格模型。
[0030]通過匹配得到的稠密三維點(diǎn)云這兩個(gè)模型最重合，保證多圖像三維重建得到的相機(jī)參數(shù)在激光掃描三維模型下有效。
[0031]步驟4、三維場(chǎng)景表達(dá)方式的轉(zhuǎn)換，從多圖像三維重建方法得到的結(jié)果中提取出多圖像自動(dòng)紋理映射能識(shí)別的最簡(jiǎn)潔的三維場(chǎng)景表達(dá)方式(相機(jī)焦距、旋轉(zhuǎn)矩陣、平移矩陣、畸變參數(shù))以表示該三維場(chǎng)景。
[0032]步驟5、多圖像自動(dòng)紋理映射，根據(jù)透視投影模型和步驟4中提取的三維場(chǎng)景表達(dá)方式來求得對(duì)齊三維模型上每個(gè)三角面片對(duì)應(yīng)的紋理區(qū)域并將所有三角面片對(duì)應(yīng)的紋理區(qū)域拼接得到相應(yīng)的紋理圖像作為映射結(jié)果。
[0033]本實(shí)施例中針對(duì)每個(gè)三角面片通過如下方法獲取對(duì)應(yīng)的紋理區(qū)域:
[0034]采用基于透視投影模型法獲取該三角面片在各個(gè)圖像中對(duì)應(yīng)的紋理區(qū)域作為初始紋理區(qū)域，然后從所有對(duì)應(yīng)的初始紋理區(qū)域選擇一個(gè)作為最終紋理區(qū)域。
[0035]從所有對(duì)應(yīng)的初始紋理區(qū)域選擇最終紋理區(qū)域時(shí)以保證所有三角面片對(duì)應(yīng)的最終紋理區(qū)域盡可能來自于同一圖像為原則。
[0036]在幾何拓?fù)渖媳M可能選擇多的相鄰三角面片對(duì)應(yīng)到同一張圖像上同時(shí)確保紋理映射的效果最優(yōu)化。
[0037]以上所述的【具體實(shí)施方式】對(duì)本發(fā)明的技術(shù)方案和有益效果進(jìn)行了詳細(xì)說明，應(yīng)理解的是以上所述僅為本發(fā)明的最優(yōu)選實(shí)施例，并不用于限制本發(fā)明，凡在本發(fā)明的原則范圍內(nèi)所做的任何修改、補(bǔ)充和等同替換等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法，其特征在于，包括: 步驟1、使用激光掃描儀獲取三維場(chǎng)景的三維點(diǎn)云模型，并形成相應(yīng)的三角網(wǎng)格模型； 步驟2、獲取所述三維場(chǎng)景的若干張多方向、多角度的圖像，并求解得到每張圖像對(duì)應(yīng)的相機(jī)內(nèi)參數(shù)矩陣、相機(jī)外參數(shù)矩陣，以及所述三維場(chǎng)景的稠密三維點(diǎn)云； 步驟3、將所述三角網(wǎng)格模型與所述的稠密三維點(diǎn)云進(jìn)行匹配得到對(duì)齊三角網(wǎng)格模型； 步驟4、根據(jù)所有圖像、各個(gè)圖像對(duì)應(yīng)的相機(jī)內(nèi)參數(shù)矩陣、相機(jī)外參數(shù)矩陣以及所述的對(duì)齊三角網(wǎng)格模型，采用基于透視投影模型法獲取所述對(duì)齊三角網(wǎng)格模型上每個(gè)三角面片在各個(gè)圖像中對(duì)應(yīng)的紋理區(qū)域并拼接得到相應(yīng)的紋理圖像。2.如權(quán)利要求1所述的面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法，其特征在于，所述三角網(wǎng)格模型為PLY格式。3.如權(quán)利要求1所述的面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法，其特征在于，所述步驟2中利用多圖像三維重建方法求解得到每張圖像對(duì)應(yīng)的相機(jī)內(nèi)參數(shù)矩陣、相機(jī)外參數(shù)矩陣，以及稠密三維點(diǎn)云。4.如權(quán)利要求1所述的面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法，其特征在于，所述步驟3具體如下: 根據(jù)所述三角網(wǎng)格模型和所述稠密三維點(diǎn)云之間的幾何相似性計(jì)算得到所述三角網(wǎng)格模型和稠密三維點(diǎn)云間的位移矩陣，所述位移矩陣包括旋轉(zhuǎn)矩陣、平移矩陣和縮放矩陣； 以所述稠密三維點(diǎn)云作為基準(zhǔn)，根據(jù)所述的位移矩陣調(diào)整三角網(wǎng)格模型的方向、位置、尺寸得到對(duì)齊三角網(wǎng)格模型。5.如權(quán)利要求1所述的面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法，其特征在于，所述步驟4中針對(duì)每個(gè)三角面片通過如下方法獲取對(duì)應(yīng)的紋理區(qū)域: (4-1)采用基于透視投影模型法獲取該三角面片在各個(gè)圖像中對(duì)應(yīng)的紋理區(qū)域作為初始紋理區(qū)域； (4-2)從所有對(duì)應(yīng)的初始紋理區(qū)域選擇一個(gè)作為最終紋理區(qū)域。6.如權(quán)利要求5所述的面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法，其特征在于，從所有對(duì)應(yīng)的初始紋理區(qū)域選擇最終紋理區(qū)域時(shí)以保證所有三角面片對(duì)應(yīng)的最終紋理區(qū)域盡可能來自于同一圖像為原則。7.如權(quán)利要求1?6中任意一項(xiàng)所述的面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法，其特征在于，還包括對(duì)拼接得到的紋理圖像進(jìn)行色差弱化處理。
【專利摘要】本發(fā)明公開了一種面向激光掃描三維模型的多圖像自動(dòng)紋理映射方法，包括：使用激光掃描儀獲取三維場(chǎng)景的三維點(diǎn)云模型，并形成相應(yīng)的三角網(wǎng)格模型，利用多圖像三維重建系統(tǒng)求解三維場(chǎng)景的三維點(diǎn)云模型以及對(duì)應(yīng)的相機(jī)參數(shù)，求解三角網(wǎng)格模型和三維點(diǎn)云模型間的旋轉(zhuǎn)矩陣、平移矩陣、縮放矩陣并調(diào)整三角網(wǎng)格模型使它與多圖像三維重建模型最重合，面向經(jīng)過調(diào)整的三角網(wǎng)格模型利用相機(jī)參數(shù)進(jìn)行自動(dòng)紋理映射得到相應(yīng)的紋理圖像，本發(fā)明的多圖像自動(dòng)紋理映射方法極大地改變傳統(tǒng)三維模型紋理映射效果不佳的現(xiàn)狀，不僅全自動(dòng)化完成整個(gè)紋理映射過程而且得到的結(jié)果質(zhì)量更好。
【IPC分類】G06T7/00, G06T17/20
【公開號(hào)】CN104952075
【申請(qǐng)?zhí)枴緾N201510334502
【發(fā)明人】李定康, 刁常宇, 邢衛(wèi), 魯東明
【申請(qǐng)人】浙江大學(xué)
【公開日】2015年9月30日
【申請(qǐng)日】2015年6月16日