專利名稱：基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維表面重建的方法，特別是基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，可用于腳型測(cè)量、鞋及楦定制、足部醫(yī)療等多個(gè)領(lǐng)域。
背景技術(shù)：
腳型表面三維重建的方法，目前較為流行的是激光測(cè)量等三坐標(biāo)測(cè)量設(shè)備，但是這些三坐標(biāo)測(cè)量設(shè)備往往輸出離散點(diǎn)，需要后續(xù)的逆向工程處理才能得到目標(biāo)對(duì)象的三維表面，并且不適用于 人體肌膚等對(duì)象的測(cè)量；而其他從圖像重建目標(biāo)的方法，往往思路單一，對(duì)不同形狀的腳型適應(yīng)性差、不能自動(dòng)達(dá)到圖像所提供信息量的最高重建精度。中國(guó)專利200510061271. 9面向稀疏網(wǎng)格的基于曲面細(xì)分的三維腳型數(shù)據(jù)測(cè)量方法，利用網(wǎng)格細(xì)分方法，在統(tǒng)計(jì)變形模型對(duì)腳型進(jìn)行初估計(jì)之后，重建目標(biāo)對(duì)象的細(xì)節(jié)部分，捕捉不同腳型的個(gè)性特點(diǎn)，能夠根據(jù)多幅照片自動(dòng)還原原真實(shí)腳型的三維表面，但諸多環(huán)節(jié)需要手工操作，沒(méi)有實(shí)現(xiàn)全自動(dòng)化，實(shí)用效果有限。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題在于，提供一種全自動(dòng)化、能適應(yīng)各種腳型、基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，能保證重建表面完整、精確。為解決上述技術(shù)問(wèn)題，本發(fā)明采用一種基于圖像分割和網(wǎng)格細(xì)分的技術(shù)方案，其特征是包括有以下步驟
1)接收來(lái)自至少六個(gè)不同視角的相機(jī)所采集的視圖像；
2)生成初始網(wǎng)格用鞋楦的統(tǒng)計(jì)變形模型擬合各視圖像，生成了初步估計(jì)模型，并把初步估計(jì)模型轉(zhuǎn)換成初始網(wǎng)格；
3)將網(wǎng)格投影到各視圖像來(lái)分割圖像；
4)采用特征檢測(cè)算法，檢測(cè)各視圖像中的特征并切割特征生成平面特征點(diǎn)，其中特征檢測(cè)算法采用多分辨率方法，分辨出的特征等級(jí)由特征檢測(cè)算法的參數(shù)確定；
5)針對(duì)平面特征點(diǎn)，在其它視圖像對(duì)應(yīng)的圖像分割區(qū)內(nèi)搜索平面特征點(diǎn)的匹配點(diǎn)，生成新增空間點(diǎn)，然后用新增空間點(diǎn)細(xì)分網(wǎng)格，其中搜索特征點(diǎn)的匹配點(diǎn)結(jié)合了對(duì)極約束、空間網(wǎng)格對(duì)圖像投影分割圖像約束、光照一致性約束來(lái)保證匹配點(diǎn)的準(zhǔn)確性；
6)不斷減小特征檢測(cè)算法參數(shù)，重復(fù)步驟3)、4)、5)直到圖像中沒(méi)有更細(xì)節(jié)的特征， 網(wǎng)格迭代細(xì)分逼近目標(biāo)對(duì)象；
7)網(wǎng)格各頂點(diǎn)重定位至亞像素精度；
8)網(wǎng)格整理優(yōu)化，生成Delaunay三角網(wǎng)格；
9)輸出重建網(wǎng)格模型。本發(fā)明基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，先采集視圖像，然后對(duì)視圖像進(jìn)行網(wǎng)格重投影，再用多分辨率的圖像特征提取方法提取特征，并把特征按距離分割成特征點(diǎn)，再提取各圖像分塊上的特征點(diǎn)重建空間點(diǎn)，利用新空間點(diǎn)細(xì)分網(wǎng)格，整個(gè)過(guò)程迭代進(jìn)行，網(wǎng)格從粗變細(xì)，網(wǎng)格投影對(duì)圖像的分割也逐步細(xì)化，所提取的特征逐漸細(xì)化， 網(wǎng)格逐步逼近目標(biāo)對(duì)象的過(guò)程也是從大特征到小特征自動(dòng)進(jìn)行特征重建的過(guò)程。這種方法能重建不同形狀的腳型、能自動(dòng)達(dá)到圖像可分辨特征的最大分辨精度，與圖像的信息量是自動(dòng)適應(yīng)的，并且可以在網(wǎng)格上敷貼紋理，重建成具有色彩等信息的三維模型，具有明顯的優(yōu)勢(shì)。本發(fā)明還具有以下優(yōu)點(diǎn)
1)不需要激光等設(shè)備，只需要多個(gè)相機(jī)及計(jì)算機(jī)等硬件，成本低廉；
2)不需要掃描，多個(gè)相機(jī)同時(shí)成像，數(shù)據(jù)采集步驟上耗時(shí)少，對(duì)人體等生物進(jìn)行測(cè)量時(shí)特別適合；
3)統(tǒng)計(jì)變形模型完成對(duì)目標(biāo)腳型的初始估計(jì)，捕捉目標(biāo)腳型的大致外形輪廓，而本發(fā)明從統(tǒng)計(jì)變形模型開(kāi)始進(jìn)行處理，從粗到精地捕捉目標(biāo)腳型的特征，自動(dòng)重建到圖像信息所能提供的最細(xì)節(jié)特征，與圖像內(nèi)容是自動(dòng)適應(yīng)的；
4)從粗到精地捕捉目標(biāo)腳型特征的處理順序，使得重建網(wǎng)格從粗到精自動(dòng)捕捉目標(biāo)對(duì)象的表面特征，與之相配合的網(wǎng)格生長(zhǎng)機(jī)制保證網(wǎng)格的拓樸結(jié)構(gòu)能自動(dòng)與目標(biāo)對(duì)象的外形一致；
5)把網(wǎng)格重投影回各視圖像，網(wǎng)格投影分割圖像，并且這種方法分割的圖像區(qū)域，不同視之間是相互一致的，同一空間區(qū)域在不同視被劃分成同一平面分區(qū)，能夠抗仿射變換，在為特征點(diǎn)搜索匹配點(diǎn)時(shí)，縮小了范圍；并且由此匹配出的新增空間點(diǎn)就細(xì)分此三角形，無(wú)需搜索。因此這種方法降低了生成錯(cuò)誤點(diǎn)的機(jī)率，提高了處理速度，增加了重建的精度；
6)統(tǒng)計(jì)變形模型、網(wǎng)格細(xì)分、圖像分塊與圖像特征檢測(cè)四個(gè)方法相互配合，保證網(wǎng)格從粗到精地捕捉目標(biāo)腳型的特征、每一等級(jí)上有特征在不同視圖像上的分塊能相互自動(dòng)吻合、檢測(cè)到相應(yīng)等級(jí)的圖像特征，然后用與特征等級(jí)相配合的半徑去切割特征，生成平面特 iiE ’
7)采用了對(duì)極約束、空間網(wǎng)格對(duì)圖像投影分割圖像約束、光照一致性約束等多種約束來(lái)保證匹配點(diǎn)的準(zhǔn)確性，提高新增空間點(diǎn)的可靠性。


圖1為本發(fā)明方法流程圖； 圖2為本發(fā)明細(xì)化的方法流程圖3為三角形的可見(jiàn)視與主視的示意圖； 圖4為特征點(diǎn)與匹配點(diǎn)的約束關(guān)系示意圖。
具體實(shí)施例方式—種基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法的具體實(shí)施方式
，如圖1、 圖2所示，包括有以下步驟
1) 接收來(lái)自至少六個(gè)不同視角的相機(jī)所采集的視圖像； 為了分析相機(jī)采集視圖像的位置布置問(wèn)題，對(duì)人眼的觀察機(jī)制進(jìn)行總結(jié)，正常狀態(tài)時(shí)觀察人時(shí)只需要正面一張照片，就可得知此人是誰(shuí)；但即使是熟人，如果僅有特征不明顯的側(cè)面照片，那么就很難猜到此人是誰(shuí)的內(nèi)容；如果是背面照片，更難得知，這說(shuō)明不同的視有不同的信息量，從信息量豐富的視可以獲得較多的三維重建線索，因此，視布置的主要任務(wù)就是讓每個(gè)視包含的信息盡量多，視間重復(fù)的信息盡量少。對(duì)于鞋楦樣本的統(tǒng)計(jì)變形模型有以下關(guān)系式中P是主形狀因子，b3D是主形狀因子向量，SP0是平均鞋楦，SPi為樣本鞋楦。每只鞋楦的形狀分成共性和個(gè)性兩部分，SPtlR表共性部分，pb3DR表個(gè)性部分。主形狀因子是從鞋楦樣本集中各個(gè)樣本去除掉共性之后得到個(gè)性部分的變化因子，主形狀因子按主形狀因子向量b3D進(jìn)行線性組合得到個(gè)性形狀部分。主形狀因子向量b3D發(fā)生變化，對(duì)應(yīng)模型的個(gè)性部分發(fā)生變化，再加上共性部分就成為一只鞋楦。統(tǒng)計(jì)變形模型中的主形狀因子向量b3D有許可變化范圍，這種變化范圍限定了模型還具有鞋楦的形狀。一組主形狀因子向量b3D對(duì)應(yīng)一個(gè)唯一的形狀。因此，能盡量反映地主形狀因子向量b3D的視就是信息含量大的視。相機(jī)布置就是取信息含量盡量大、并且視間信息冗余盡量少的相機(jī)位置。
權(quán)利要求
1. 一種基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，其特征是包括有以下步驟1)接收來(lái)自至少六個(gè)不同視角的相機(jī)所采集的視圖像；2)生成初始網(wǎng)格用鞋楦的統(tǒng)計(jì)變形模型擬合各視圖像，生成了初步估計(jì)模型，并把初步估計(jì)模型轉(zhuǎn)換成初始網(wǎng)格；3)將網(wǎng)格投影到各視圖像來(lái)分割圖像；4)采用特征檢測(cè)算法，檢測(cè)各視圖像中的特征并切割特征生成平面特征點(diǎn)，其中特征檢測(cè)算法采用多分辨率，分辨出的特征等級(jí)由特征檢測(cè)算法的參數(shù)確定；5)針對(duì)平面特征點(diǎn)，在其它視圖像對(duì)應(yīng)的圖像分割區(qū)內(nèi)搜索平面特征點(diǎn)的匹配點(diǎn)，生成新增空間點(diǎn)，然后用新增空間點(diǎn)細(xì)分網(wǎng)格，其中搜索特征點(diǎn)的匹配點(diǎn)結(jié)合了對(duì)極約束、空間網(wǎng)格對(duì)圖像投影分割圖像約束、光照一致性約束來(lái)保證匹配點(diǎn)的準(zhǔn)確性；6)不斷減小特征檢測(cè)算法參數(shù)，重復(fù)步驟3)、4)、5)直到圖像中沒(méi)有更細(xì)節(jié)的特征， 網(wǎng)格迭代細(xì)分逼近目標(biāo)對(duì)象；7)網(wǎng)格各頂點(diǎn)重定位至亞像素精度；8)網(wǎng)格整理優(yōu)化，生成Delaunay三角網(wǎng)格；9)輸出重建網(wǎng)格模型。
2.根據(jù)權(quán)利要求1所述的基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，其特征是所述步驟5)中優(yōu)先用最靠近空間三角形中心的新增空間點(diǎn)細(xì)分空間三角形，然后其余新增空間點(diǎn)再細(xì)分被分解出的三角形，保證每次細(xì)分后網(wǎng)格中各個(gè)三角形的大小相近、三角形之間不相互糾纏。
3.根據(jù)權(quán)利要求1或2所述的基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，其特征是所述步驟5)中不同視的平面特征點(diǎn)與匹配點(diǎn)映射產(chǎn)生的多個(gè)空間點(diǎn)的中心點(diǎn)作為新增空間點(diǎn)。
4.根據(jù)權(quán)利要求1或2所述的基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，其特征是所述步驟5)中還包括有對(duì)網(wǎng)格邊和網(wǎng)格點(diǎn)優(yōu)化選擇的過(guò)程檢測(cè)網(wǎng)格邊在視圖像的投影，限制最長(zhǎng)邊和最短邊的比例，如果邊長(zhǎng)超過(guò)比例，則在長(zhǎng)邊的1/3-2/3范圍內(nèi)，取灰度梯度最大值的位置作為切割點(diǎn)；刪除接近網(wǎng)格點(diǎn)投影的一定范圍內(nèi)的切割點(diǎn)。
5.根據(jù)權(quán)利要求3所述的基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，其特征是在所述步驟5)中還包括有對(duì)網(wǎng)格邊和切割點(diǎn)優(yōu)化選擇的過(guò)程檢測(cè)網(wǎng)格邊在視圖像的投影，限制最長(zhǎng)邊和最短邊的比例，如果邊長(zhǎng)超過(guò)比例，則在長(zhǎng)邊的1/3-2/3范圍內(nèi)，取灰度梯度最大值的位置作為切割點(diǎn)；刪除接近網(wǎng)格點(diǎn)投影的一定范圍內(nèi)的切割點(diǎn)。
6.根據(jù)權(quán)利要求1或2所述的基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，其特征是在所述步驟5)中計(jì)算現(xiàn)有空間網(wǎng)格中每個(gè)三角形在所述步驟1)中至少六個(gè)不同視角中的可計(jì)算視和主視，在每個(gè)三角形的主視中進(jìn)行以下處理對(duì)主視中相應(yīng)投影三角形內(nèi)的特征點(diǎn)，在其它可計(jì)算視中尋找匹配點(diǎn)，特征點(diǎn)與匹配點(diǎn)生成新增空間點(diǎn)，然后用新增空間點(diǎn)細(xì)分網(wǎng)格。
7.根據(jù)權(quán)利要求3所述的基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，其特征是在所述步驟5)中計(jì)算現(xiàn)有空間網(wǎng)格中每個(gè)三角形在所述步驟1)中至少六個(gè)不同視角中的可計(jì)算視和主視，在每個(gè)三角形的主視中進(jìn)行以下處理對(duì)主視中相應(yīng)投影三角形內(nèi)的特征點(diǎn)，在其它可計(jì)算視中尋找匹配點(diǎn)，特征點(diǎn)與匹配點(diǎn)生成新增空間點(diǎn)，然后用新增空間點(diǎn)細(xì)分網(wǎng)格。
8.根據(jù)權(quán)利要求4所述的基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，其特征是在所述步驟5)中計(jì)算現(xiàn)有空間網(wǎng)格中每個(gè)三角形在所述步驟1)中至少六個(gè)不同視角中的可計(jì)算視和主視，在每個(gè)三角形的主視中進(jìn)行以下處理對(duì)主視中相應(yīng)投影三角形內(nèi)的特征點(diǎn)，在其它可計(jì)算視中尋找匹配點(diǎn)，特征點(diǎn)與匹配點(diǎn)生成新增空間點(diǎn)，然后用新增空間點(diǎn)細(xì)分網(wǎng)格。
9.根據(jù)權(quán)利要求5所述的基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，其特征是在所述步驟5)中計(jì)算現(xiàn)有空間網(wǎng)格中每個(gè)三角形在所述步驟1)中至少六個(gè)不同視角中的可計(jì)算視和主視，在每個(gè)三角形的主視中進(jìn)行以下處理對(duì)主視中相應(yīng)投影三角形內(nèi)的特征點(diǎn)，在其它可計(jì)算視中尋找匹配點(diǎn)，特征點(diǎn)與匹配點(diǎn)生成新增空間點(diǎn)，然后用新增空間點(diǎn)細(xì)分網(wǎng)格。
全文摘要
本發(fā)明涉及一種基于圖像分割和網(wǎng)格細(xì)分的腳型三維表面重建方法，對(duì)鞋楦樣本集進(jìn)行統(tǒng)計(jì)分析得到統(tǒng)計(jì)變形模型，用多個(gè)相機(jī)獲得人腳的圖像，再用統(tǒng)計(jì)模型擬合腳型圖像，得到稀疏的網(wǎng)格模型，再?gòu)母鱾€(gè)圖像中分割出圖像特征點(diǎn)，并把平面特征點(diǎn)還原成空間點(diǎn)，最后用空間特征點(diǎn)細(xì)分網(wǎng)格模型并迭代進(jìn)行，從而得到與目標(biāo)對(duì)象一致的腳型模型。本發(fā)明不需要在腳上設(shè)置標(biāo)記點(diǎn)，也不需要高精度的激光測(cè)量設(shè)備，不需要人工參與，只使用相機(jī)和計(jì)算機(jī)等器件，重建任務(wù)由軟件全自動(dòng)完成。重建網(wǎng)格能夠自動(dòng)與目標(biāo)腳型的形狀相一致，能夠自動(dòng)捕捉到圖像中的細(xì)節(jié)特征，能夠與圖像提供的信息自動(dòng)適應(yīng)。
文檔編號(hào)G06T17/00GK102222357SQ20101014658
公開(kāi)日2011年10月19日 申請(qǐng)日期2010年4月15日 優(yōu)先權(quán)日2010年4月15日
發(fā)明者羅勝 申請(qǐng)人:溫州大學(xué)