專(zhuān)利名稱(chēng)：一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多目數(shù)字圖像的處理方法，特別涉及一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法。
背景技術(shù)：
隨著多媒體技術(shù)的不斷發(fā)展，圖像和視頻技術(shù)也由二維向三維發(fā)展，交互性將成為未來(lái)多媒體技術(shù)的一個(gè)主要特征。交互式三維視頻系統(tǒng)的關(guān)鍵技術(shù)之一就是虛擬視點(diǎn)繪制合成。虛擬視點(diǎn)繪制合成是所有立體顯示系統(tǒng)終端不可缺少的模塊，在遠(yuǎn)程視頻會(huì)議、自由視點(diǎn)立體電視等高端多媒體領(lǐng)域中也具有至關(guān)重要的作用。為了使用戶(hù)可以在場(chǎng)景中漫游，實(shí)現(xiàn)“連續(xù)的環(huán)視”，在多視點(diǎn)視頻采集的過(guò)程中，攝像機(jī)的數(shù)量應(yīng)盡可能多，但由于放置無(wú)限個(gè)攝像機(jī)以實(shí)現(xiàn)視點(diǎn)無(wú)縫切換的不現(xiàn)實(shí)性，為了顯示任意視點(diǎn)的視圖，必須在客戶(hù)端進(jìn)行虛擬視點(diǎn)的合成，通過(guò)對(duì)已有視點(diǎn)的分析，合成用戶(hù)所要觀察的視點(diǎn)。因此，虛擬視點(diǎn)合成技術(shù)是多媒體領(lǐng)域一項(xiàng)非常重要的新興技術(shù)。首先需要有精確的立體匹配方法獲得視差圖或深度圖才能完成虛擬視點(diǎn)合成技術(shù)。與灰度圖像相比，深度圖像具有物體三維特征信息，即深度信息。由于深度圖像不受光源照射方向及物體表面的發(fā)射特性的影響，而且不存在影響，可以得到三維物體更可靠的幾何信息，所以更準(zhǔn)確地表現(xiàn)物體目標(biāo)表面的三維深度信息。深度圖在視頻編碼中的作用很大，可以有效的提高多視像傳輸和多視圖視頻傳輸?shù)木幋a效率。正因?yàn)槿绱?，深度圖像分析越來(lái)越受到計(jì)算機(jī)視覺(jué)、圖像分析等研究領(lǐng)域的重視，在工業(yè)領(lǐng)域特別是在機(jī)器人視覺(jué)、自動(dòng)導(dǎo)航、工業(yè)零件的自動(dòng)檢測(cè)和自動(dòng)裝配等領(lǐng)域，得到了越來(lái)越廣泛的應(yīng)用。對(duì)于深度圖的獲取方面，圖割作為一種基于圖論的組合優(yōu)化技術(shù)，在用來(lái)最小化計(jì)算機(jī)視覺(jué)中的能量函數(shù)問(wèn)題上被眾多研究者所使用，目前已有許多新技術(shù)應(yīng)用于該領(lǐng)域。RichardSzeliski等人把當(dāng)前常用的幾種能量函數(shù)最小化方法在解的質(zhì)量和運(yùn)行時(shí)間等方面進(jìn)行了比較，發(fā)現(xiàn)與傳統(tǒng)的8種方法(模擬退火方法、M-估計(jì)法等)相比，圖割方法不僅總體精度高，而且在不連續(xù)區(qū)域和低紋理區(qū)域的精度也比其它方法都高° (參見(jiàn) D Scharstein, R Szelisk1. Ataxonomy and evaluation of densetwo-frame stereo correspondence algorithms[J]·InternationalJournal ofComputer Vision, 2002,47(1) :7-42.)不僅如此，即使有些方法(如模擬退化方法)的精度和圖割方法的精度接近，但圖割方法在優(yōu)化過(guò)程中收斂更快(參見(jiàn)R Szelisk, IR Zabih. Anexperimental comparison of stereo algorithms[A]. Proceedings ofthe International Workshop onVision Algorithms: Theory and Practice[C].Springer-Verlag London, UK. Lecture Notes inComputer Science,2000，1883:1-19. X利用圖割方法最小化能量方程函數(shù)可以將圖像映射為網(wǎng)絡(luò)圖，圖像的特征就可以用圖論的方法進(jìn)行處理，在優(yōu)化能量函數(shù)時(shí)，運(yùn)用圖割的方法在二值標(biāo)號(hào)問(wèn)題中可以得到能量函數(shù)的全局最??；在多標(biāo)號(hào)問(wèn)題中可以得到帶有很強(qiáng)特征的局部最小，圖割方法還可以保證能量函數(shù)的解收斂到全局最小，且實(shí)際效率較高，得到的數(shù)值解有很強(qiáng)的魯棒性。
在Middlebury網(wǎng)站中幾乎所有的這些好的方法在立體匹配時(shí)都使用圖像分害I]?；诜指畹牧Ⅲw匹配方法能夠很好實(shí)現(xiàn)平坦區(qū)域的重建。這些方法的出現(xiàn)有一個(gè)潛在的問(wèn)題就是在應(yīng)用在動(dòng)態(tài)視頻序列中。圖像分割在視頻幀間是相互矛盾的，深度估計(jì)的結(jié)果常常呈現(xiàn)不連續(xù)的跳躍現(xiàn)象。例如，Hai Tao, Harpreet S，Sawhney I, RakeshKumar提出了將3D場(chǎng)景通過(guò)圖像分割將顏色或分為不同平面，他們假設(shè)同一顏色的圖像區(qū)域與三維表面一致。這個(gè)想法鼓舞了很多現(xiàn)有的有關(guān)立體匹配的研究。這種模型使用一個(gè)遞增方程來(lái)進(jìn)行估計(jì)。這個(gè)方程能夠優(yōu)化與空間顏色相關(guān)的一致性和平滑項(xiàng)的倉(cāng)泛量方程(參見(jiàn) H. Tao, H. S. Sawhney, R. Kumar. Dynamic depth recovery from multiplesynchronized video streams [A]. CVPR[C], 2001. ) 0. J. Woodford, P. H. S. Torr,1.D. Reid, A. ff. Fitzgibbon提出基于“QPB0”方法的擴(kuò)展法來(lái)有效的優(yōu)化能量方程，但是這會(huì)帶來(lái)三倍于二階約束項(xiàng)的計(jì)算量。然而這種方法對(duì)于平坦區(qū)域能夠有很好的效果，對(duì)于處理紋理表面比如有折疊在不同方向上有不同紋理區(qū)域效果并不好(參見(jiàn)0. J. Woodford, P.
H.S.Torr,1. D. Reid, A. ff. Fitzgibbon. Global stereo reconstruction undersecondorder smoothness priors [A]. CVPR[C], 2008.)。又如 Tsin 的方法核心是使用 3D 點(diǎn)作為無(wú)參數(shù)平滑約束。但是，沒(méi)有提出全局方法來(lái)最小化它們的能量方程。相反，他們使用每個(gè)像素“winner-take-all”的估計(jì)策略,其對(duì)初始深度估計(jì)敏感(參見(jiàn)Y. Tsin. Kernelcorrelation as anaffinity measure in point-sampled vision problems[D]. PhDthesis, Robotics Institute, CarnegieMellon University, September 2003·)。王年，范益政，鮑文霞等提出一種基于圖割的匹配方法。相對(duì)于以往的基于圖割的方法該方法不需要攝像機(jī)的位置信息以及運(yùn)動(dòng)信息，并把標(biāo)號(hào)從一維推廣到二維，從而使本方法適用于更一般情形下的匹配問(wèn)題，此外，為了更利于網(wǎng)絡(luò)的構(gòu)造和方法的實(shí)現(xiàn)，此文獻(xiàn)中通過(guò)用像素的梯度向量的距離來(lái)代替平滑項(xiàng)(參見(jiàn)王年，范益政，鮑文霞等.基于圖割的圖像匹配方法[J]·電子學(xué)報(bào)，2006，34 (2) :232-235.)。張令濤，曲道奎，徐方提出了一種基于圖割的改進(jìn)立體匹配方法，方法通過(guò)區(qū)域匹配方法得到每個(gè)像素的初始視差值，然后只保留完整網(wǎng)格圖的部分可能的視差值，去除其余大部分的節(jié)點(diǎn)和邊緣，建立簡(jiǎn)化的網(wǎng)格圖，該方法大大縮減了網(wǎng)格圖的容量，縮短匹配所用的時(shí)間，并且能夠選用更大的視差范圍(參見(jiàn)張令濤，曲道奎，徐方.一種基于圖割的改進(jìn)立體匹配方法[J].機(jī)器人，2010，32 (I) :104-108.)。朱程輝，任冉冉提出一種快速立體匹配方法，把圖像分割成顏色單一的不同區(qū)域；計(jì)算初始視差圖，利用可靠點(diǎn)求取各分割區(qū)域的平面模板參數(shù)，對(duì)模板參數(shù)相同的相鄰區(qū)域進(jìn)行融合；構(gòu)造全局能量方程，采用圖割方法求取全局能量最小的視差最優(yōu)分配。該方法對(duì)低紋理區(qū)域和遮擋區(qū)域有較好的匹配結(jié)果(參見(jiàn)朱程輝，任冉冉.一種基于圖割理論的快速立體 匹配方法[J].微型機(jī)與應(yīng)用，2010，10:35-38.)。虛擬視點(diǎn)繪制中立體匹配技術(shù)還有諸多環(huán)節(jié)和關(guān)鍵方法上存在較大的改進(jìn)空間?；诜指畹牧Ⅲw匹配方法能夠很好實(shí)現(xiàn)平坦區(qū)域的重建。這些方法在應(yīng)用在動(dòng)態(tài)視頻序列中就不能解決視頻幀間相互矛盾的問(wèn)題，深度估計(jì)的結(jié)果常常呈現(xiàn)不連續(xù)的跳躍現(xiàn)象。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是為克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，實(shí)現(xiàn)一種在稀疏圖下的像素匹配，使不連續(xù)的邊界保留得很好而不需要圖像分割作為預(yù)處理項(xiàng)。本發(fā)明避免了預(yù)處理中使用分割，并且在動(dòng)態(tài)視頻序列中能夠恢復(fù)實(shí)時(shí)穩(wěn)定的深度值，在每一幀單獨(dú)處理時(shí)也能得到很好的效果。本發(fā)明的約束項(xiàng)模型是大領(lǐng)域無(wú)參數(shù)的。無(wú)參數(shù)模型將圖像特征用深度值表示不需要使用明確的固定階的約束項(xiàng)，這樣計(jì)算量就大大降低。大鄰域能夠使本文方法更靈活地獲得更好的目標(biāo)邊界，在不連續(xù)的邊界和高折疊紋理區(qū)域都得到很好的效果。在不影響合成視圖質(zhì)量的同時(shí)解決了靜態(tài)圖像和動(dòng)態(tài)視頻序列的矛盾性，深度估計(jì)的結(jié)果不會(huì)呈現(xiàn)不連續(xù)的跳躍現(xiàn)象。本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案包括一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，其特征在于包括以下步驟(I)輸入拍攝自同一場(chǎng)景，同一時(shí)刻的五幅圖像，這五幅圖像在拍攝視角上和平行度上都可以存在差異；
(2)判斷五幅輸入圖像與攝像機(jī)個(gè)數(shù)是否匹配，若不同，提示錯(cuò)誤并跳出；若相同，讀取相關(guān)數(shù)據(jù)，加載圖像，對(duì)圖像進(jìn)行修正，并執(zhí)行步驟(3)；(3) —種自適應(yīng)分水嶺方法，提出了新的自適應(yīng)局部閾值方法，并將其應(yīng)用于分水嶺結(jié)合Prim方法的區(qū)域融合中。具體是這個(gè)方法包括兩個(gè)主要步驟首先，使用分水嶺分割方法將圖像分割成大量的區(qū)域；第二步是一個(gè)重復(fù)的過(guò)程，在此區(qū)域被融合且達(dá)到局部閾值停止融合。融合過(guò)程的順序參照Prim最小生成樹(shù)方法，在圖表中找出最小值生長(zhǎng)樹(shù)的方法，在融合過(guò)程中我們追蹤每個(gè)區(qū)域的變化并將變化的特征保存下來(lái)；(4)根據(jù)步驟(3)中求出的融合區(qū)域作為標(biāo)號(hào)，建立能量方程，使用大領(lǐng)域無(wú)參數(shù)深度平滑模型來(lái)建立圖割的能量方程的立體匹配方法；(5)為一種能量函數(shù)最小化的方法即立體匹配的方法，具體是對(duì)于步驟(4)中的能量方程進(jìn)行最小化過(guò)程。使用優(yōu)化的α-擴(kuò)展法，尋找匹配點(diǎn)時(shí)不需要對(duì)整幅圖進(jìn)行搜索，而是利用最小生成樹(shù)的區(qū)域中像素范圍來(lái)搜索，在范圍內(nèi)搜索區(qū)域像素，尋找匹配點(diǎn)，否則不搜索。上述所述步驟(3)中的基于自適應(yīng)分水嶺建立標(biāo)號(hào)，采用以下步驟實(shí)現(xiàn)( i )對(duì)加載的圖像應(yīng)用Canny邊緣檢測(cè)算子來(lái)得到梯度度量的圖像；(ii)經(jīng)過(guò)分水嶺分割，并使其投影到彩色圖像，輸出即是將IwateQ，Iwaterl, Iwter2^Iwater3^ Iwatert分別分割成η個(gè)不重疊的過(guò)分割的區(qū)域圖像；(iii)使用Prim方法來(lái)生成最小生成樹(shù)，令G= (V，E)為RAG結(jié)構(gòu)，表示對(duì)圖像Iwatotl的初始分割，其中e(i，j)的權(quán)值為函數(shù)/(砰，#；7)的值。產(chǎn)生MST的過(guò)程即融合區(qū)域的過(guò)程;(iv) —般的融合方法都是只設(shè)置單個(gè)閾值，達(dá)到這個(gè)值就停止融合，但是這樣容易造成不必要的誤差，本發(fā)明提出一種自動(dòng)計(jì)算局部閾值(即自適應(yīng)局部閾值)，這樣經(jīng)過(guò)Prim方法后得到的每個(gè)區(qū)域由于閾值不同所以大小是不同的，并且可以根據(jù)所需精度進(jìn)行調(diào)整。由于融合不同區(qū)域時(shí)，區(qū)域的同一性質(zhì)就會(huì)產(chǎn)生比較大的變化，本發(fā)明利用這個(gè)變化來(lái)確定局部閾值，簡(jiǎn)單來(lái)說(shuō)就是融合過(guò)程中，一旦融合的區(qū)域不同就停止融合。(V)通過(guò)(i ) - (iv)步驟獲得一個(gè)T樹(shù)。繼續(xù)使用Prim方法和自適應(yīng)局部閾值方法得到最小生成樹(shù)來(lái)完成估計(jì)最初密集圖。從原始圖排除樹(shù)邊界，剩余圖仍然很密集。為了更好的估計(jì)，在剩余圖的第二個(gè)樹(shù)仍然使用Prim方法。此外，反復(fù)尋找T樹(shù)，并且合并所有這些樹(shù)去合成稀疏圖以估計(jì)原始密集圖，這樣一個(gè)稀疏圖Gs至多有T(L-1)個(gè)邊界。上述所述步驟(4)中，基于步驟(3)建立能量方程，方法如下( i )圖的一致項(xiàng)^^叫，A.) =’其中dp = D1(P)是

圖11中像素P的
視差，Q=P+D1是圖1r■中P的相對(duì)應(yīng)的像素，dq=Dr(q)是Ir■中q的視差。( ii )選用的平滑項(xiàng)如下
權(quán)利要求
1.一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，其特征在于包括以下步驟(1)輸入拍攝自同一場(chǎng)景，同一時(shí)刻的五幅圖像，這五幅圖像在拍攝視角上和平行度上都可以存在差異；(2)判斷五幅輸入圖像與攝像機(jī)個(gè)數(shù)是否匹配，若不同，提示錯(cuò)誤并跳出；若相同，讀取相關(guān)數(shù)據(jù)，加載圖像，對(duì)圖像進(jìn)行修正，將攝像機(jī)分別設(shè)置為O至4號(hào)相機(jī)，其中以攝像機(jī)2 為中點(diǎn)，將其與其它四個(gè)攝像機(jī)分別配對(duì)進(jìn)行匹配計(jì)算，執(zhí)行步驟(3 );(3)—種自適應(yīng)分水嶺方法，提出了新的自適應(yīng)局部閾值方法，并將其應(yīng)用于分水嶺結(jié)合Prim算法的區(qū)域融合中。具體這個(gè)方法包括兩個(gè)主要步驟首先，使用分水嶺分割方法將圖像分割成大量的區(qū)域；第二步是一個(gè)重復(fù)的過(guò)程，在此區(qū)域被融合且達(dá)到局部閾值停止融合。融合過(guò)程的順序參照Prim最小生成樹(shù)方法，在圖表中找出最小值生長(zhǎng)樹(shù)的方法， 在融合過(guò)程中我們追蹤每個(gè)區(qū)域的變化并將變化的特征保存下來(lái)；(4)根據(jù)步驟(3)中求出的融合區(qū)域作為標(biāo)號(hào)，建立能量方程，使用大領(lǐng)域無(wú)參數(shù)深度平滑模型來(lái)建立圖割的能量方程的立體匹配方法；(5)為一種能量函數(shù)最小化的方法即立體匹配的方法，具體是對(duì)于步驟(4)中的能量方程進(jìn)行最小化過(guò)程。使用優(yōu)化的α-擴(kuò)展法，尋找匹配點(diǎn)時(shí)不需要對(duì)整幅圖進(jìn)行搜索，而是利用最小生成樹(shù)的區(qū)域中像素范圍來(lái)搜索，在范圍內(nèi)搜索區(qū)域像素，尋找匹配點(diǎn)，否則不搜索。
2.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，其特征在于所述步驟(3)中的基于自適應(yīng)分水嶺建立標(biāo)號(hào)，采用以下步驟實(shí)現(xiàn)(i )對(duì)加載的圖像應(yīng)用Canny邊緣檢測(cè)算子來(lái)得到梯度度量的圖像；(ii )經(jīng)過(guò)分水嶺分割，并使其投影到彩色圖像，輸出即是將IwaterO，Iwaterl，^water2 ^water3 Iwater4分別分割成η個(gè)不重疊的過(guò)分割的區(qū)域圖像；(iii)經(jīng)典最小生成樹(shù)方法有Kruskal方法和Prim方法。通過(guò)比較，兩者都屬于貪心方法，而運(yùn)行時(shí)間上，Prim方法優(yōu)于Kruskal方法。本發(fā)明使用Prim方法來(lái)生成最小生成樹(shù)， 令G= (V, E)為相鄰區(qū)域曲線圖(RAG:Region Adjacency Graph)結(jié)構(gòu)，表示對(duì)圖像Iwaterfl的初始分割，其中e(i，j)的權(quán)值為函數(shù)/(巧斫)的值。產(chǎn)生MST的過(guò)程即融合區(qū)域的過(guò)程；(iv)一般的融合方法都是只設(shè)置單個(gè)閾值，達(dá)到這個(gè)值就停止融合，但是這樣容易造成不必要的誤差，本發(fā)明提出一種自動(dòng)計(jì)算局部閾值(即自適應(yīng)局部閾值)，這樣經(jīng)過(guò)Prim 算法后得到的每個(gè)區(qū)域由于閾值不同所以大小是不同的，并且可以根據(jù)所需精度進(jìn)行調(diào)整。由于融合不同區(qū)域時(shí)，區(qū)域的同一性質(zhì)就會(huì)產(chǎn)生比較大的變化，本發(fā)明利用這個(gè)變化來(lái)確定局部閾值，簡(jiǎn)單來(lái)說(shuō)就是融合過(guò)程中，一旦融合的區(qū)域不同就停止融合。(V)通過(guò)(i)- (iv)步驟獲得一個(gè)T樹(shù)。繼續(xù)使用Prim方法和自適應(yīng)局部閾值方法得到最小生成樹(shù)來(lái)完成估計(jì)最初密集圖。從原始圖排除樹(shù)邊界，剩余圖仍然很密集。為了更好的估計(jì)，在剩余圖的第二個(gè)樹(shù)仍然使用Prim方法。此外，反復(fù)尋找T樹(shù)，并且合并所有這些樹(shù)去合成稀疏圖以估計(jì)原始密集圖，這樣一個(gè)稀疏圖Gs至多有T(L-1)個(gè)邊界。
3.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，其特征在于所述步驟(4)中基于步驟(3)建立能量方程，方法如下(i )圖的一致項(xiàng)
4.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，其特征在于所述步驟(5)中在能量方程最小化的方法即優(yōu)化后的α-擴(kuò)展方法實(shí)現(xiàn)為 (i )初始化能量函數(shù)的值為0，根據(jù)視差范圍設(shè)置緩沖區(qū)的個(gè)數(shù)，并初始化迭代次數(shù)為O ； (ii)產(chǎn)生標(biāo)號(hào)的隨機(jī)排列，依次選擇標(biāo)號(hào)進(jìn)行α-擴(kuò)展操作，利用最小生成樹(shù)的區(qū)域中像素范圍來(lái)搜索，在范圍內(nèi)搜索區(qū)域像素，尋找匹配點(diǎn)，否則匹配點(diǎn)不在該區(qū)域內(nèi)，不進(jìn)行搜索； (iii)標(biāo)號(hào)集中的標(biāo)號(hào)循環(huán)一次后輸出一個(gè)能量值，迭代次數(shù)增加1，重復(fù)(ii)的操作； (iv)直到迭代次數(shù)達(dá)到最大值或者緩沖區(qū)個(gè)數(shù)減為O時(shí)，方法結(jié)束； (V)根據(jù)步驟(i ) - (iv)完成能量函數(shù)最小化的過(guò)程之后，根據(jù)得到的視差分布最終得到深度圖1QD，I1D，I2D，I3D，I4D。
全文摘要
本發(fā)明提出一種基于自適應(yīng)分水嶺的圖割的多目立體匹配方法，本發(fā)明提出了新的自適應(yīng)局部閾值方法，并將其應(yīng)用于分水嶺結(jié)合Prim方法的區(qū)域融合中。使用自適應(yīng)分水嶺對(duì)圖像進(jìn)行處理，使圖中像素以一定關(guān)系將圖像分割成不同的區(qū)域并分配標(biāo)號(hào)來(lái)建立能量方程，并提出新的大領(lǐng)域無(wú)參數(shù)的平滑約束模型。最后通過(guò)優(yōu)化的α-擴(kuò)展法，利用最小生成樹(shù)的區(qū)域中像素范圍來(lái)搜索，在范圍內(nèi)搜索區(qū)域像素，尋找匹配點(diǎn)，否則不搜索。大鄰域能夠使本發(fā)明更靈活地獲得更好的目標(biāo)邊界，在不連續(xù)的邊界和高折疊紋理區(qū)域都得到很好的效果。在不影響合成視圖質(zhì)量的同時(shí)解決了靜態(tài)圖像和動(dòng)態(tài)視頻序列的矛盾性，深度估計(jì)的結(jié)果不會(huì)呈現(xiàn)不連續(xù)的跳躍現(xiàn)象。
文檔編號(hào)G06T7/00GK103020963SQ20121050068
公開(kāi)日2013年4月3日 申請(qǐng)日期2012年11月29日 優(yōu)先權(quán)日2012年11月29日
發(fā)明者祝世平, 楊柳 申請(qǐng)人:北京航空航天大學(xué)