两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

一種大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法及系統(tǒng)與流程

文檔序號(hào):11145195閱讀:424來源:國知局
一種大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法及系統(tǒng)與制造工藝

本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域,更具體地,涉及一種大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法及系統(tǒng)。



背景技術(shù):

從圖像中恢復(fù)場(chǎng)景真實(shí)的三維結(jié)構(gòu),是計(jì)算機(jī)視覺技術(shù)的一個(gè)重要應(yīng)用。隨著成像設(shè)備的普及和互聯(lián)網(wǎng)的發(fā)展,利用網(wǎng)絡(luò)圖像進(jìn)行重建,可大大簡(jiǎn)化數(shù)據(jù)采集過程,降低數(shù)據(jù)獲取成本,成為近年來的研究熱點(diǎn)。然而,網(wǎng)絡(luò)圖像具有數(shù)據(jù)量大、圖象重疊關(guān)系未知、相機(jī)參數(shù)未知等特點(diǎn),給重建算法帶來了新的挑戰(zhàn)。

目前,針對(duì)大規(guī)模無序圖像集合,通常采用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from Motion,SFM)方法進(jìn)行重建。典型的SFM流程主要包含三個(gè)步驟。1)圖像匹配。在每幅圖像上分別提取特征點(diǎn),并對(duì)圖像間的特征點(diǎn)進(jìn)行匹配,然后,利用誤匹配剔除算法剔除錯(cuò)誤匹配。2)重建初始模型。從圖像集合中選取兩幅初始圖像,并用其重建初始三維模型,選取的兩幅圖像應(yīng)滿足:擁有最多的特征匹配個(gè)數(shù),同時(shí)具有較寬的基線。3)添加新的圖像。不斷從剩下的圖像中選出和當(dāng)前三維模型有重疊的圖像,加入當(dāng)前模型,估計(jì)其相機(jī)姿態(tài),并引入新的三維點(diǎn)。新的圖像的相機(jī)參數(shù)由n點(diǎn)透視(Perspective-n-Point,PnP)算法求出,并利用集束調(diào)整(Bundle Adjustment,BA)算法進(jìn)一步優(yōu)化。如果一個(gè)圖像對(duì)應(yīng)的相機(jī)參數(shù)被估計(jì)出來,則這幅圖像被稱作已經(jīng)標(biāo)定的圖像;反之,稱其為未標(biāo)定圖像。

雖然上述方法在中小規(guī)模數(shù)據(jù)上得到了廣泛應(yīng)用,但是無法適應(yīng)大規(guī)模數(shù)據(jù)處理的需要。首先,當(dāng)圖像數(shù)量很多時(shí),順序地添加這些圖像會(huì)消耗大量的時(shí)間。其次,圖像在空間中不是均勻分布的,如果三維結(jié)構(gòu)通過重疊較弱的圖像進(jìn)行傳遞,會(huì)產(chǎn)生較大的誤差。最后,圖像間的重疊可能是不連續(xù)的,采用一個(gè)起點(diǎn)重建可能會(huì)因?yàn)槿鄙賵?chǎng)景重疊斷掉。因此,需要在數(shù)據(jù)分析的基礎(chǔ)上,合理地將圖像集合劃分成多個(gè)適合重建的子集,并選取多個(gè)最優(yōu)的重建起點(diǎn)進(jìn)行重建。



技術(shù)實(shí)現(xiàn)要素:

針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求,本發(fā)明提供了一種大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法及系統(tǒng),首先,提出了一種多層圖貪心策略從圖像集合中選擇多個(gè)核;其次,將所有圖像按照它們到核的最優(yōu)重建路徑進(jìn)行聚類,并提出了一種分層最短路徑算法尋找最優(yōu)重建路徑;最后,提出了一種徑向融合聚類方法將一個(gè)圖像聚類中的非核圖像劃分成平衡的子類,使其在不降低精度的同時(shí),可以并行處理,從而可以顯著提高重建效率。由此解決現(xiàn)有技術(shù)中大規(guī)模數(shù)據(jù)重建中的速度問題,以及由圖像分布不均、場(chǎng)景重疊不連續(xù)導(dǎo)致的重建精確度和完整度問題。

為實(shí)現(xiàn)上述目的,按照本發(fā)明的一個(gè)方面,提供了一種大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法,包括:

(1)對(duì)于包含N幅圖像的大規(guī)模無序圖像集合,在每幅圖像上提取特征點(diǎn)并對(duì)圖像間的特征點(diǎn)進(jìn)行匹配,根據(jù)匹配結(jié)果生成相似性匹配關(guān)系圖S和差異性匹配關(guān)系圖D,其中,N在103以上;

(2)在相似性匹配關(guān)系圖S中,采用多層貪心策略尋找多個(gè)核,在每個(gè)核中選擇一幅起點(diǎn)圖像,作為圖像重建的起點(diǎn);

(3)在差異性匹配關(guān)系圖D中,采用分層最短路徑算法求取圖像集合中核之外的每幅圖像到核的最優(yōu)重建路徑,并根據(jù)最優(yōu)重建路徑將所有圖像以核為中心劃分成多個(gè)圖像聚類,其中,每個(gè)圖像聚類由兩部分組成:一部分是位于中心的核,另一部分是核周圍的圖像,稱為葉子圖像,圖像聚類的數(shù)目與核的數(shù)目一致;

(4)采用徑向融合聚類算法對(duì)各圖像聚類中的葉子圖像進(jìn)一步劃分,得到多個(gè)葉子圖像聚類;

(5)所有核獨(dú)立地并行重建,每個(gè)核重建得到場(chǎng)景的一個(gè)基模型;

(6)所有葉子圖像聚類獨(dú)立地并行重建,將每個(gè)葉子圖像聚類加到其所屬的核重建的基模型中,得到多個(gè)獨(dú)立的子模型;

(7)合并所有包含相同基模型的子模型,得到不同圖像聚類的模型;

(8)合并步驟(7)得到的圖像聚類的模型,得到完整的場(chǎng)景模型。

優(yōu)選地,步驟(1)具體包括如下子步驟:

(1.1)從N幅圖像中的每幅圖像上提取圖像特征點(diǎn),計(jì)算這些特征點(diǎn)的特征描述符,其中,N在103以上;

(1.2)將每一幅圖像I作為查詢圖像,利用圖像檢索方法檢索I的K幅近鄰圖像,將圖像I分別和這K幅圖像進(jìn)行特征點(diǎn)的匹配,并剔除誤匹配的特征點(diǎn),其中,I、K為正整數(shù);

(1.3)構(gòu)建相似性匹配關(guān)系圖S:生成N個(gè)頂點(diǎn)表示N幅圖像,如果兩幅圖像之間的匹配特征點(diǎn)對(duì)數(shù)大于預(yù)設(shè)閾值,則在這兩幅圖像對(duì)應(yīng)的頂點(diǎn)之間添加一條邊,其中,邊的權(quán)值nij表示圖像i與圖像j之間的匹配特征點(diǎn)對(duì)數(shù),ni表示圖像i與其他圖像有匹配關(guān)系的特征點(diǎn)的數(shù)量,nj表示圖像j與其他圖像有匹配關(guān)系的特征點(diǎn)的數(shù)量;

(1.4)構(gòu)建差異性匹配關(guān)系圖D:生成N個(gè)頂點(diǎn)表示N幅圖像,如果兩幅圖像之間的匹配特征點(diǎn)對(duì)數(shù)大于預(yù)設(shè)閾值,則在這兩幅圖像對(duì)應(yīng)的頂點(diǎn)之間添加一條邊,邊的權(quán)值dij=1-sij

優(yōu)選地,步驟(2)具體包括如下子步驟:

(2.1)計(jì)算一組遞減的邊權(quán)閾值i=1,2,...,k,將相似性匹配關(guān)系圖S分成k層,第i層中只加入邊權(quán)值大于θi的邊,其中,a設(shè)置為大于或等于差異性匹配關(guān)系圖S中的最小邊權(quán)值的一個(gè)固定閾值,b為差異性匹配關(guān)系圖S中的最大邊權(quán)值,Ω為預(yù)設(shè)值;

(2.2)從第1層至第k層,依次在每一層中尋找核,對(duì)于在第i層中找到的核,將核中包含的圖像所對(duì)應(yīng)的頂點(diǎn)從所有大于i的層中刪除;

(2.3)在每一個(gè)核中,尋找一幅圖像作為重建的起點(diǎn)圖像。

優(yōu)選地,步驟(2.2)具體包括如下子步驟:

(2.2.1)初始化層次標(biāo)號(hào)i=1,核中包含的理想圖像數(shù)量為m;

(2.2.2)在第i層中求連通分量,并將第i層中所有連通分量按連通分量的大小進(jìn)行降序排序,并初始化連通分量標(biāo)號(hào)j=1,其中,連通分量的大小表示連通分量包含的頂點(diǎn)的數(shù)量;

(2.2.3)若第j個(gè)連通分量的大小大于ξ*m,則將第j個(gè)連通分量中的所有頂點(diǎn)對(duì)應(yīng)的圖像按照步驟(2)所述的方法尋找核,其中,ξ為預(yù)設(shè)值;

(2.2.4)若第j個(gè)連通分量的大小大于m但是小于ξ*m,則將該連通分量中的所有頂點(diǎn)對(duì)應(yīng)的圖像組成一個(gè)核,并將該連通分量中的所有頂點(diǎn)從所有大于i的層中刪除,標(biāo)號(hào)j加一,并執(zhí)行步驟(2.2.3);

(2.2.5)若第j個(gè)連通分量的大小小于m,則終止該層中尋找核的操作,并判斷i<k是否成立,若成立則將i加1,并執(zhí)行步驟(2.2.2),若不成立則執(zhí)行步驟(2.3);

優(yōu)選地,步驟(2.3)具體包括如下子步驟:

(2.3.1)采用近鄰傳播聚類AP算法對(duì)核中的圖像進(jìn)行初始聚類,其中,AP聚類算法需要的吸引子系數(shù)根據(jù)相似性匹配關(guān)系圖S中的邊權(quán)值得到;

(2.3.2)由AP聚類算法得到的所有初始聚類的中心,以及這些初始聚類的中心在相似性匹配關(guān)系圖S上的鄰接點(diǎn)集合,構(gòu)成起點(diǎn)圖像的候選集合;

(2.3.3)對(duì)每一個(gè)候選集合中的圖像v,計(jì)算該圖像v的置信度:δ(v)=hdeg(v)+β1·hsim(v)+β2·hndeg(v),其中,hdeg(v)表示v在相似性匹配關(guān)系圖S上的度,hsim(v)表示v在相似性匹配關(guān)系圖S上和v鄰接頂點(diǎn)的平均相似度,hndeg(v)表示v在相似性匹配關(guān)系圖S上鄰接頂點(diǎn)的度的平均值,β1和β2是權(quán)重系數(shù);

(2.3.4)將候選集合中置信度δ(v)最大時(shí)對(duì)應(yīng)的圖像作為核的起點(diǎn)圖像。

優(yōu)選地,步驟(3)具體包括如下子步驟:

(3.1)計(jì)算一組遞增的邊權(quán)閾值i=1,2,...,L,將差異性匹配關(guān)系圖D分成L層,第i層中只加入邊權(quán)值小于φi的邊,其中,c為差異性匹配關(guān)系圖D中的最小邊權(quán)值,d為差異性匹配關(guān)系圖D中的最大邊權(quán)值;

(3.2)初始化層次標(biāo)號(hào)i=1;

(3.3)對(duì)于第i層,在該層中計(jì)算每個(gè)頂點(diǎn)到每個(gè)核中起點(diǎn)圖像的最短路徑;

(3.4)如果存在最短路徑,則將該頂點(diǎn)分配到最短路徑長度最小的核所在的圖像聚類中,并將該頂點(diǎn)從后面所有的層中移除;

(3.5)如果i<L,則將i加一,并執(zhí)行步驟(3.3),反之,則終止。

優(yōu)選地,步驟(4)具體包括如下子步驟:

(4.1)對(duì)于每個(gè)圖像聚類,判斷M>r*m是否成立,若成立則執(zhí)行步驟(4.2),否則不執(zhí)行該圖像聚類中的葉子圖像劃分操作,其中,M為一個(gè)圖像聚類中包含的葉子圖像的數(shù)量,r為大于1的膨脹系數(shù),m為核中包含的圖像數(shù)量;

(4.2)通過公式:計(jì)算該圖像聚類中的葉子圖像聚類的個(gè)數(shù);

(4.3)設(shè)置初始狀態(tài),將每個(gè)葉子圖像單獨(dú)作為一個(gè)葉子圖像聚類;

(4.4)對(duì)任意兩個(gè)葉子圖像聚類c1和c2構(gòu)成的一對(duì)聚類p,計(jì)算聚類p的合并系數(shù)其中,gd(p)表示兩個(gè)聚類c1和c2之間的距離,gk(p)表示若將c1和c2合并,得到的新聚類到核的距離,gr(p)表示c1到核的距離和c2到核的距離的差值的絕對(duì)值,gc(p)表示若將c1和c2合并,得到的新聚類的大小,σ1、σ2、σ3、σ4為大于零的權(quán)重系數(shù);

(4.5)選取合并系數(shù)最大的兩個(gè)葉子圖像聚類進(jìn)行合并,將葉子圖像聚類個(gè)數(shù)減一;

(4.6)如果葉子圖像聚類個(gè)數(shù)大于Kc,則執(zhí)行步驟(4.4),反之,則終止。

優(yōu)選地,步驟(5)具體包括如下子步驟:

(5.1)每個(gè)核在獨(dú)立的線程上進(jìn)行并行處理,對(duì)于每一個(gè)核,將該核中的起點(diǎn)圖像作為增量式重建的第一幅圖像,然后在該核中的所有圖像和起點(diǎn)圖像之間分別估計(jì)一個(gè)單應(yīng)矩陣,在滿足單應(yīng)矩陣內(nèi)點(diǎn)率小于預(yù)設(shè)內(nèi)點(diǎn)率閾值的圖像中,選擇和起點(diǎn)圖像之間匹配點(diǎn)數(shù)最多的一幅圖像,作為第二幅圖像,利用五點(diǎn)法計(jì)算第一幅圖像和第二幅圖像之間的相對(duì)姿態(tài)和三維點(diǎn),生成初始模型;

(5.2)迭代地將該核中的剩余圖像添加到初始模型中,在每一次迭代中,從剩余圖像中尋找一幅和當(dāng)前模型重疊程度最大的圖像,利用n點(diǎn)透視算法PnP求其相對(duì)參數(shù)和三維點(diǎn),并通過集束調(diào)整算法BA對(duì)相對(duì)參數(shù)和三維點(diǎn)進(jìn)行優(yōu)化,重復(fù)執(zhí)行迭代過程直到該核中所有的剩余圖像都被加入初始模型或者無法找到可以加入的圖像,得到該核的一個(gè)基模型。

優(yōu)選地,步驟(6)具體包括如下子步驟:

(6.1)用多個(gè)線程獨(dú)立地并行重建所有葉子圖像聚類,每個(gè)線程采用迭代的方式將一個(gè)葉子圖像聚類中的圖像加入到其所屬的核對(duì)應(yīng)的基模型中,在每一次迭代中,從葉子圖像聚類中當(dāng)前剩余的葉子圖像中尋找一幅和當(dāng)前模型重疊程度最大的圖像,利用n點(diǎn)透視算法PnP求其相對(duì)參數(shù)和三維點(diǎn),并通過集束調(diào)整算法BA對(duì)相對(duì)參數(shù)和三維點(diǎn)進(jìn)行優(yōu)化,重復(fù)執(zhí)行迭代過程直到該葉子圖像聚類中的所有圖像都被加入當(dāng)前模型或者無法找到可以加入的圖像,得到與該葉子圖像聚類對(duì)應(yīng)的子模型。

按照本發(fā)明的另一方面,提供了一種大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的系統(tǒng),包括:

匹配關(guān)系圖建立模塊,用于對(duì)于包含N幅圖像的大規(guī)模無序圖像集合,在每幅圖像上提取特征點(diǎn)并對(duì)圖像間的特征點(diǎn)進(jìn)行匹配,根據(jù)匹配結(jié)果生成相似性匹配關(guān)系圖S和差異性匹配關(guān)系圖D,其中,N在103以上;

核尋找模塊,用于在相似性匹配關(guān)系圖S中,采用多層貪心策略尋找多個(gè)核,在每個(gè)核中選擇一幅起點(diǎn)圖像,作為圖像重建的起點(diǎn);

圖像聚類生成模塊,用于在差異性匹配關(guān)系圖D中,采用分層最短路徑算法求取圖像集合中核之外的每幅圖像到核的最優(yōu)重建路徑,并根據(jù)最優(yōu)重建路徑將所有圖像以核為中心劃分成多個(gè)圖像聚類,其中,每個(gè)圖像聚類由兩部分組成:一部分是位于中心的核,另一部分是核周圍的圖像,稱為葉子圖像,圖像聚類的數(shù)目與核的數(shù)目一致;

葉子圖像聚類生成模塊,用于采用徑向融合聚類算法對(duì)各圖像聚類中的葉子圖像進(jìn)一步劃分,得到多個(gè)葉子圖像聚類;

基模型生成模塊,用于將所有核獨(dú)立地并行重建,每個(gè)核重建得到場(chǎng)景的一個(gè)基模型;

子模型生成模塊,用于將所有葉子圖像聚類獨(dú)立地并行重建,將每個(gè)葉子圖像聚類加到其所屬的核重建的基模型中,得到多個(gè)獨(dú)立的子模型;

圖像聚類模型生成模塊,用于合并所有包含相同基模型的子模型,得到不同圖像聚類的模型;

場(chǎng)景模型生成模塊,用于合并所述圖像聚類模型生成模塊得到的圖像聚類的模型,得到完整的場(chǎng)景模型。

總體而言,通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比,主要有以下的技術(shù)優(yōu)點(diǎn):

(1)本發(fā)明提供的大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法,能自適應(yīng)地對(duì)大規(guī)模圖像集合進(jìn)行劃分,并選取多個(gè)合適的重建起點(diǎn)。針對(duì)圖像集合中圖像場(chǎng)景重疊不連續(xù)的情況,本發(fā)明提供的方法可以重建多個(gè)獨(dú)立的局部模型,提高模型的完整度;針對(duì)圖像集合中圖像分布不均勻的問題,本發(fā)明提供的方法可以保證重建從圖像稠密的地方向圖像稀疏的地方進(jìn)行,保證重建的精確度。

(2)本發(fā)明提供的大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法,易于大規(guī)模并行實(shí)現(xiàn),可以顯著提高重建效率。本發(fā)明將所有圖像劃分成核和葉子圖像聚類。首先,所有的核可以并行地重建,得到若干個(gè)場(chǎng)景的基模型。然后,所有的葉子圖像聚類可以并行地重建,每個(gè)葉子圖像聚類被獨(dú)立地加入到其所屬的核對(duì)應(yīng)的基模型中。假設(shè)圖像集合包含N幅圖像,核和葉子圖像聚類的平均大小為sk和sL,則本發(fā)明提出的方法的時(shí)間復(fù)雜度為O(sk+sL)。而傳統(tǒng)的增量式的SFM算法時(shí)間復(fù)雜度為O(N4),目前性能最優(yōu)的算法具有線性時(shí)間復(fù)雜度O(N)。因此,本發(fā)明提出的方法與現(xiàn)有最好的方法相比,理論上可以獲得倍的加速。當(dāng)圖像集合的規(guī)模N越大時(shí),本發(fā)明提出的方法對(duì)重建過程加速的效果越明顯。

附圖說明

圖1為本發(fā)明實(shí)施例公開的一種大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法的流程圖;

圖2為本發(fā)明實(shí)施例公開的另一種大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法的流程圖;

圖3為本發(fā)明實(shí)施例公開的一種三層多路重建樹的結(jié)構(gòu)示意圖;

圖4為本發(fā)明的一個(gè)實(shí)施例中的重建結(jié)果圖;

圖5為本發(fā)明實(shí)施例公開的一種大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。此外,下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

參閱圖1所示,為本發(fā)明實(shí)施例公開的一種大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法的流程示意圖,在圖1所示的方法中包括以下步驟:

(1)對(duì)于包含N幅圖像的大規(guī)模無序圖像集合,在每幅圖像上提取特征點(diǎn)并對(duì)圖像間的特征點(diǎn)進(jìn)行匹配,根據(jù)匹配結(jié)果生成相似性匹配關(guān)系圖S和差異性匹配關(guān)系圖D,其中,N在103以上;

其中,匹配關(guān)系圖G是一個(gè)無向帶權(quán)圖,由一組頂點(diǎn)和邊組成,每個(gè)頂點(diǎn)代表一幅圖像,如果兩幅圖像之間存在場(chǎng)景重疊,則在其對(duì)應(yīng)的兩個(gè)頂點(diǎn)之間添加一條邊。根據(jù)邊權(quán)值含義的不同,本發(fā)明構(gòu)造兩種匹配關(guān)系圖:相似性匹配關(guān)系圖S和差異性匹配關(guān)系圖D。在相似性匹配關(guān)系圖S中,邊的權(quán)值sij表示兩幅圖像的場(chǎng)景相似度,在差異性匹配關(guān)系圖D中,邊的權(quán)值dij表示兩幅圖像的場(chǎng)景差異程度。這兩種匹配關(guān)系圖包含相同數(shù)量的頂點(diǎn),也包含相同數(shù)量的邊。

對(duì)于一個(gè)包含N幅圖像的大規(guī)模無序圖像集合,步驟(1)具體包括如下子步驟:

(1.1)從N幅圖像中的每幅圖像上提取圖像特征點(diǎn),計(jì)算這些特征點(diǎn)的特征描述符,其中,N在103以上;

可選地,圖像特征點(diǎn)可以采用尺度不變特征變換(Scale Invariant Feature Transform,SIFT)進(jìn)行特征提取。

(1.2)將每一幅圖像I作為查詢圖像,利用圖像檢索方法檢索I的K幅近鄰圖像,將圖像I分別和這K幅圖像進(jìn)行特征點(diǎn)的匹配,并剔除誤匹配的特征點(diǎn),其中,I、K為正整數(shù);

可選地,可以利用詞匯樹(Vocabulary Tree,VT)檢索圖像集合中和I最相似的K幅近鄰圖像,其中,N幅圖像構(gòu)成一個(gè)圖像集合。

可選地,特征匹配可以采用快速級(jí)聯(lián)哈希匹配算法,剔除誤匹配特征點(diǎn)時(shí)可以采用隨機(jī)抽樣一致(RANdom SAmple Consensus,RANSAC)算法結(jié)合8點(diǎn)法估計(jì)兩幅圖像之間的基礎(chǔ)矩陣F,不滿足這一約束的匹配將被刪除。

(1.3)構(gòu)建相似性匹配關(guān)系圖S:生成N個(gè)頂點(diǎn)表示N幅圖像,如果兩幅圖像之間的匹配特征點(diǎn)對(duì)數(shù)大于預(yù)設(shè)閾值,則在這兩幅圖像對(duì)應(yīng)的頂點(diǎn)之間添加一條邊,其中,邊的權(quán)值nij表示圖像i與圖像j之間的匹配特征點(diǎn)對(duì)數(shù),ni表示圖像i與其他圖像有匹配關(guān)系的特征點(diǎn)的數(shù)量,nj表示圖像j與其他圖像有匹配關(guān)系的特征點(diǎn)的數(shù)量;

其中,邊權(quán)值sij位于[0,1]之間,其值越大,兩幅圖像之間的場(chǎng)景重疊程度越高,反之兩幅圖像之間的場(chǎng)景重疊程度越低。

(1.4)構(gòu)建差異性匹配關(guān)系圖D:生成N個(gè)頂點(diǎn)表示N幅圖像,如果兩幅圖像之間的匹配特征點(diǎn)對(duì)數(shù)大于預(yù)設(shè)閾值,則在這兩幅圖像對(duì)應(yīng)的頂點(diǎn)之間添加一條邊,邊的權(quán)值dij=1-sij;

其中,邊權(quán)值dij位于[0,1]之間,其值越大,兩幅圖像之間的場(chǎng)景差異越大,反之兩幅圖像之間的場(chǎng)景差異越小。

(2)在相似性匹配關(guān)系圖S中,采用多層貪心策略尋找多個(gè)核,在每個(gè)核中選擇一幅起點(diǎn)圖像,作為圖像重建的起點(diǎn);

其中,每個(gè)核(如圖3所示的圓形結(jié)點(diǎn))是位于圖像集合中圖像分布稠密區(qū)域的一小組圖像,這些圖像之間有較大的場(chǎng)景重疊,他們能夠重建出一個(gè)較為精確的初始模型,核的大小和數(shù)量都不宜過大。核中的起點(diǎn)圖像可以近似看成是一個(gè)在圖像內(nèi)容意義上的“中心”,以該圖像作為起點(diǎn),重建得到的初始模型不僅精確,而且能較為方便地將三維結(jié)構(gòu)向周圍空間中傳播。

優(yōu)選地,步驟(2)具體包括如下子步驟:

(2.1)計(jì)算一組遞減的邊權(quán)閾值i=1,2,...,k,將相似性匹配關(guān)系圖S分成k層,第i層中只加入邊權(quán)值大于θi的邊,其中,a設(shè)置為大于或等于差異性匹配關(guān)系圖S中的最小邊權(quán)值的一個(gè)固定閾值,b為差異性匹配關(guān)系圖S中的最大邊權(quán)值,Ω為預(yù)設(shè)值;

其中,為了計(jì)算θi,首先統(tǒng)計(jì)得到相似性匹配關(guān)系圖S上所有邊權(quán)值的范圍[a,b]。在實(shí)際應(yīng)用中,為了避免重疊過于稀少的圖像對(duì)算法造成干擾,可以將a設(shè)置成一個(gè)大于最小邊權(quán)值的固定閾值,然后,將區(qū)間[a,b]劃分成k個(gè)區(qū)間,每個(gè)區(qū)間的端點(diǎn)分別對(duì)應(yīng)于θi。

(2.2)從第1層至第k層,依次在每一層中尋找核,對(duì)于在第i層中找到的核,將核中包含的圖像所對(duì)應(yīng)的頂點(diǎn)從所有大于i的層中刪除;

優(yōu)選地,步驟(2.2)具體包括如下子步驟:

(2.2.1)初始化層次標(biāo)號(hào)i=1,核中包含的圖像數(shù)量為m;

(2.2.2)在第i層中求連通分量,并將第i層中所有連通分量按連通分量的大小進(jìn)行降序排序,并初始化連通分量標(biāo)號(hào)j=1,其中,連通分量的大小表示連通分量包含的頂點(diǎn)的數(shù)量;

(2.2.3)若第j個(gè)連通分量的大小大于ξ*m,則將第j個(gè)連通分量中的所有頂點(diǎn)對(duì)應(yīng)的圖像按照步驟(2)所述的方法尋找核,其中,ξ為預(yù)設(shè)值;

(2.2.4)若第j個(gè)連通分量的大小大于m但是小于ξ*m,則將該連通分量中的所有頂點(diǎn)對(duì)應(yīng)的圖像組成一個(gè)核,并將該連通分量中的所有頂點(diǎn)從所有大于i的層中刪除,標(biāo)號(hào)j加一,并執(zhí)行步驟(2.2.3);

(2.2.5)若第j個(gè)連通分量的大小小于m,則終止該層中尋找核的操作,并判斷i<k是否成立,若成立則將i加1,并執(zhí)行步驟(2.2.2),若不成立則執(zhí)行步驟(2.3);

(2.3)在每一個(gè)核中,尋找一幅圖像作為重建的起點(diǎn)圖像。

其中,步驟(2.3)具體包括如下子步驟:

(2.3.1)采用近鄰傳播聚類(Affinity Propagation,AP)算法對(duì)核中的圖像進(jìn)行初始聚類,其中,AP聚類算法需要的吸引子系數(shù)根據(jù)相似性匹配關(guān)系圖S中的邊權(quán)值得到;

(2.3.2)由AP聚類算法得到的所有初始聚類的中心,以及這些初始聚類的中心在相似性匹配關(guān)系圖S上的鄰接點(diǎn)集合,構(gòu)成起點(diǎn)圖像的候選集合;

(2.3.3)對(duì)每一個(gè)候選集合中的圖像v,計(jì)算該圖像v的置信度:δ(v)=hdeg(v)+β1·hsim(v)+β2·hndeg(v),其中,hdeg(v)表示v在相似性匹配關(guān)系圖S上的度,hsim(v)表示v在相似性匹配關(guān)系圖S上和v鄰接頂點(diǎn)的平均相似度,hndeg(v)表示v在相似性匹配關(guān)系圖S上鄰接頂點(diǎn)的度的平均值,β1和β2是權(quán)重系數(shù);

(2.3.4)將候選集合中置信度δ(v)最大時(shí)對(duì)應(yīng)的圖像作為核的起點(diǎn)圖像。

(3)在差異性匹配關(guān)系圖D中,采用分層最短路徑算法求取圖像集合中核之外的每幅圖像到核的最優(yōu)重建路徑,并根據(jù)最優(yōu)重建路徑將所有圖像以核為中心劃分成多個(gè)圖像聚類,其中,每個(gè)圖像聚類由兩部分組成:一部分是位于中心的核,另一部分是核周圍的圖像,稱為葉子圖像,圖像聚類的數(shù)目與核的數(shù)目一致;

其中,在三維重建中,對(duì)圖像集合進(jìn)行劃分不是一個(gè)簡(jiǎn)單的圖像分類問題。為了保證每個(gè)圖像聚類是適合重建的,我們依據(jù)圖像到核的最優(yōu)重建路徑對(duì)其進(jìn)行劃分。一條重建路徑由一系列相互重疊的圖像構(gòu)成。本發(fā)明認(rèn)為,最優(yōu)的重建路徑上相鄰圖像之間的場(chǎng)景重疊程度應(yīng)該盡可能的大,而且相似。

優(yōu)選地,步驟(3)具體包括如下子步驟:

(3.1)計(jì)算一組遞增的邊權(quán)閾值i=1,2,...,L,將差異性匹配關(guān)系圖D分成L層,第i層中只加入邊權(quán)值小于φi的邊,其中,c為差異性匹配關(guān)系圖D中的最小邊權(quán)值,d為差異性匹配關(guān)系圖D中的最大邊權(quán)值;

其中,為了計(jì)算φi,首先統(tǒng)計(jì)得到差異性匹配關(guān)系圖D上所有邊權(quán)值的范圍[c,d]。然后,將區(qū)間[c,d]劃分成L個(gè)區(qū)間,每個(gè)區(qū)間的端點(diǎn)分別對(duì)應(yīng)于φi。

(3.2)初始化層次標(biāo)號(hào)i=1;

(3.3)對(duì)于第i層,在該層中計(jì)算每個(gè)頂點(diǎn)到每個(gè)核中起點(diǎn)圖像的最短路徑;

可選地,可以采用Dijkstra算法求最短路徑。

(3.4)如果存在最短路徑,則將該頂點(diǎn)分配到最短路徑長度最小的核所在的圖像聚類中,并將該頂點(diǎn)從后面所有的層中移除;

(3.5)如果i<L,則將i加一,并執(zhí)行步驟(3.3),反之,則終止。

(4)采用徑向融合聚類算法對(duì)各圖像聚類中的葉子圖像進(jìn)一步劃分,得到多個(gè)葉子圖像聚類,如圖3中矩形結(jié)點(diǎn)所示;

其中,由于圖像集合中,核只占很小的一部分,因此每個(gè)圖像聚類中的葉子圖像仍然可能很多,順序地將這些葉子圖像添加到基模型中會(huì)耗費(fèi)大量時(shí)間。因此,對(duì)這些葉子圖像進(jìn)一步劃分成葉子圖像聚類,每個(gè)葉子圖像聚類獨(dú)立、并行地添加到同一個(gè)基模型中,可以顯著提高重建效率。

優(yōu)選地,步驟(4)具體包括如下子步驟:

(4.1)對(duì)于每個(gè)圖像聚類,判斷M>r*m是否成立,若成立則執(zhí)行步驟(4.2),否則不執(zhí)行該圖像聚類中的葉子圖像劃分操作,其中,M為一個(gè)圖像聚類中包含的葉子圖像的數(shù)量,r為大于1的膨脹系數(shù);

(4.2)通過公式:計(jì)算該圖像聚類中的葉子圖像聚類的個(gè)數(shù);

(4.3)設(shè)置初始狀態(tài),將每個(gè)葉子圖像單獨(dú)作為一個(gè)葉子圖像聚類;

(4.4)對(duì)任意兩個(gè)葉子圖像聚類c1和c2構(gòu)成的一對(duì)聚類p,計(jì)算聚類p的合并系數(shù)其中,gd(p)表示兩個(gè)聚類c1和c2之間的距離,gk(p)表示若將c1和c2合并,得到的新聚類到核的距離,gr(p)表示c1到核的距離和c2到核的距離的差值的絕對(duì)值,gc(p)表示若將c1和c2合并,得到的新聚類的大小,σ1、σ2、σ3、σ4為大于零的權(quán)重系數(shù);

優(yōu)選地,在本發(fā)明的實(shí)施例中,圖像之間的距離由它們?cè)诓町愋云ヅ潢P(guān)系圖D上的最短路徑長度來度量。聚類與聚類之間的距離,由兩個(gè)聚類之間最近的兩個(gè)樣本之間的距離來度量。

(4.5)選取合并系數(shù)最大的兩個(gè)葉子圖像聚類進(jìn)行合并,將葉子圖像聚類個(gè)數(shù)減一;

(4.6)如果葉子圖像聚類個(gè)數(shù)大于Kc,則執(zhí)行步驟(4.4),反之,則終止。

(5)所有核獨(dú)立地并行重建,每個(gè)核重建得到場(chǎng)景的一個(gè)基模型;

優(yōu)選地,步驟(5)具體包括如下子步驟:

(5.1)每個(gè)核在獨(dú)立的線程上進(jìn)行并行處理,對(duì)于每一個(gè)核,將該核中的起點(diǎn)圖像作為增量式重建的第一幅圖像,然后在該核中的所有圖像和起點(diǎn)圖像之間分別估計(jì)一個(gè)單應(yīng)矩陣,在滿足單應(yīng)矩陣內(nèi)點(diǎn)率小于預(yù)設(shè)內(nèi)點(diǎn)率閾值的圖像中,選擇和起點(diǎn)圖像之間匹配點(diǎn)數(shù)最多的一幅圖像,作為第二幅圖像,利用五點(diǎn)法計(jì)算第一幅圖像和第二幅圖像之間的相對(duì)姿態(tài)和三維點(diǎn),生成初始模型;

(5.2)迭代地將該核中的剩余圖像添加到初始模型中,在每一次迭代中,從當(dāng)前剩余圖像中尋找一幅和當(dāng)前模型重疊程度最大的圖像,利用n點(diǎn)透視算法(Perspective-n-Point,PnP)求其相對(duì)參數(shù)和三維點(diǎn),并通過集束調(diào)整算法(Bundle Adjustment,BA)對(duì)相對(duì)參數(shù)和三維點(diǎn)進(jìn)行優(yōu)化,重復(fù)執(zhí)行迭代過程直到該核中所有的剩余圖像都被加入初始模型或者無法找到可以加入的圖像,得到該核的一個(gè)基模型。

(6)所有葉子圖像聚類獨(dú)立地并行重建,將每個(gè)葉子圖像聚類加到其所屬的核重建的基模型中,得到多個(gè)獨(dú)立的子模型;

優(yōu)選地,步驟(6)具體包括如下子步驟:

(6.1)用多個(gè)線程獨(dú)立地并行重建所有葉子圖像聚類,每個(gè)線程采用迭代的方式將一個(gè)葉子圖像聚類中的圖像加入到其所屬的核對(duì)應(yīng)的基模型中,在每一次迭代中,從葉子圖像聚類中當(dāng)前剩余的葉子圖像中尋找一幅和當(dāng)前模型重疊程度最大的圖像,利用n點(diǎn)透視算法PnP求其相對(duì)參數(shù)和三維點(diǎn),并通過集束調(diào)整算法BA對(duì)相對(duì)參數(shù)和三維點(diǎn)進(jìn)行優(yōu)化,重復(fù)執(zhí)行迭代過程直到該葉子圖像聚類中的所有圖像都被加入當(dāng)前模型或者無法找到可以加入的圖像,得到與該葉子圖像聚類對(duì)應(yīng)的子模型。

(7)合并所有包含相同基模型的子模型,得到不同圖像聚類的模型;

其中,由于這些葉子圖像聚類的模型都包含一個(gè)公共的基模型,因此可以根據(jù)公共基模型的三維點(diǎn),估計(jì)一個(gè)三維相似變換對(duì)其進(jìn)行拼接。優(yōu)選地,在本發(fā)明的實(shí)施例中,選取最大的葉子圖像聚類的模型作為合并的目標(biāo)模型,將其它葉子圖像聚類的模型合并到該模型上。然而,由于同一個(gè)三維點(diǎn)在不同子模型中重建出來的位置可能發(fā)生偏差,因此,本發(fā)明采用隨機(jī)抽樣一致性算法(RANdom SAmple Consensus,RANSAC)魯棒地估計(jì)模型之間的相似變換。

(8)合并步驟(7)得到的圖像聚類的模型,得到完整的場(chǎng)景模型。

其中,步驟(8)具體包括以下步驟:

(8.1)檢測(cè)場(chǎng)景重疊。由于圖像集合中圖像分布的隨機(jī)性,圖像聚類之間不一定有場(chǎng)景重疊。因此,需要對(duì)圖像聚類的模型之間進(jìn)行場(chǎng)景重疊檢測(cè)。優(yōu)選地,在本發(fā)明的實(shí)施例中,總是將較小的模型合并到較大的模型上去。對(duì)于兩個(gè)模型M1和M2,不失一般性,假設(shè)模型大小M1>M2,首先在M1中尋找一幅圖像滿足M2中在該圖像上的可見三維點(diǎn)數(shù)量最多,記這些可見三維點(diǎn)為P。然后,尋找P的子集P,滿足P中的點(diǎn)在M1中也被重建出來。

(8.2)采用隨機(jī)抽樣一致性算法(RANdom SAmple Consensus,RANSAC),利用P中的點(diǎn),魯棒地估計(jì)M2到M1的相似變換。

如圖2所為本發(fā)明實(shí)施例公開的另一種大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的方法的流程示意圖,該方法主要包含4個(gè)步驟:1)構(gòu)建匹配關(guān)系圖。在每幅圖像上提取特征點(diǎn),進(jìn)行特征匹配并剔除錯(cuò)誤匹配,構(gòu)建相似性匹配關(guān)系圖和差異性匹配關(guān)系圖。2)構(gòu)建三層多路重建樹。首先,提出基于分層圖的貪心策略從圖像集合中選取核;其次,基于最優(yōu)重建路徑將所有圖像以核為中心進(jìn)行聚類;最后,提出一種徑向融合聚類方法得到葉子圖像聚類。

作為一個(gè)可選的實(shí)施例,采用公開數(shù)據(jù)集Montreal Notre Dame進(jìn)行測(cè)試,該數(shù)據(jù)集包含2298幅圖像,在本實(shí)施例Montreal Notre Dame數(shù)據(jù)集上,經(jīng)過合并,共得到三個(gè)有效模型,如圖4所示,從左至右依次為模型A、模型B以及模型C。其中,模型A重建了385幅圖像,平均重投影誤差是0.62像素;模型B重建了355幅圖像,平均重投影誤差是0.72像素;模型C重建了97幅圖像,平均重投影誤差是0.51像素。重建過程共耗時(shí)217.2秒。

如圖5所示為本發(fā)明實(shí)施例公開的一種大規(guī)模無序圖像快速運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)系統(tǒng)的結(jié)構(gòu)示意圖,在圖5所示的系統(tǒng)中包括:

匹配關(guān)系圖建立模塊,用于對(duì)于包含N幅圖像的大規(guī)模無序圖像集合,在每幅圖像上提取特征點(diǎn)并對(duì)圖像間的特征點(diǎn)進(jìn)行匹配,根據(jù)匹配結(jié)果生成相似性匹配關(guān)系圖S和差異性匹配關(guān)系圖D,其中,N在103以上;

核尋找模塊,用于在相似性匹配關(guān)系圖S中,采用多層貪心策略尋找多個(gè)核,在每個(gè)核中選擇一幅起點(diǎn)圖像,作為圖像重建的起點(diǎn);

圖像聚類生成模塊,用于在差異性匹配關(guān)系圖D中,采用分層最短路徑算法求取圖像集合中核之外的每幅圖像到核的最優(yōu)重建路徑,并根據(jù)最優(yōu)重建路徑將所有圖像以核為中心劃分成多個(gè)圖像聚類,其中,每個(gè)圖像聚類由兩部分組成:一部分是位于中心的核,另一部分是核周圍的圖像,稱為葉子圖像,圖像聚類的數(shù)目與核的數(shù)目一致;

葉子圖像聚類生成模塊,用于采用徑向融合聚類算法對(duì)各圖像聚類中的葉子圖像進(jìn)一步劃分,得到多個(gè)葉子圖像聚類;

基模型生成模塊,用于將所有核獨(dú)立地并行重建,每個(gè)核重建得到場(chǎng)景的一個(gè)基模型;

子模型生成模塊,用于將所有葉子圖像聚類獨(dú)立地并行重建,將每個(gè)葉子圖像聚類加到其所屬的核重建的基模型中,得到多個(gè)獨(dú)立的子模型;

圖像聚類模型生成模塊,用于合并所有包含相同基模型的子模型,得到不同圖像聚類的模型;

場(chǎng)景模型生成模塊,用于合并所述圖像聚類模型生成模塊得到的圖像聚類的模型,得到完整的場(chǎng)景模型。

其中,各模塊的具體實(shí)施方式可以參照方法實(shí)施例中的表述,本發(fā)明實(shí)施例將不作復(fù)述。

本領(lǐng)域的技術(shù)人員容易理解,以上所述僅為本發(fā)明的較佳實(shí)施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。

當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
汕尾市| 桃园市| 盱眙县| 林芝县| 尚志市| 延吉市| 壶关县| 波密县| 梨树县| 阳泉市| 武定县| 察雅县| 平阴县| 南宫市| 黎平县| 大港区| 祥云县| 邯郸市| 镇康县| 浑源县| 平谷区| 澜沧| 乌兰察布市| 五峰| 子洲县| 如东县| 莱阳市| 南京市| 乐陵市| 大理市| 长海县| 迁西县| 奈曼旗| 陈巴尔虎旗| 石台县| 漳平市| 英山县| 漳浦县| 桐乡市| 永胜县| 濉溪县|