專利名稱：一種基于dibr的匹配誤差校正方法
技術(shù)領(lǐng)域：
本發(fā)明屬于3D電視系統(tǒng)中的基于深度圖像繪制(D印th-Image-Based Rendering，簡(jiǎn)稱DIBR)技術(shù)領(lǐng)域，更為具體地講，涉及一種基于DIBR(深度圖像繪制)的匹配誤差校正方法。
背景技術(shù)：
基于深度圖像繪制(d印th-image-based rendering，簡(jiǎn)稱DIBR)技術(shù)是根據(jù)參考圖像(reference image)及其對(duì)應(yīng)的深度圖像(cbpth image)來(lái)生成一幅新的虛擬視點(diǎn)圖像，即目標(biāo)圖像(destination image) 0與傳統(tǒng)的需要傳遞左右眼兩路視頻的3D視頻相比，采用DIBR技術(shù)之后僅需要傳遞一路視頻及其深度圖像來(lái)生成立體圖像對(duì)，而且可以很方便的實(shí)現(xiàn)二維和三維的切換，，同時(shí)避免了由傳統(tǒng)視圖生成方法所帶來(lái)的三維空間變換的計(jì)算復(fù)雜性。正因?yàn)槿绱?，DIBR技術(shù)在3D電視立體圖像對(duì)(stereo pair)生成中得到了廣泛應(yīng)用，它也引起了人們愈來(lái)愈濃厚的興趣。通常，人們把需要采用DIBR技術(shù)的3D視頻稱為基于深度圖像的3D視頻(d印th-image-based 3D video)。然而，由于計(jì)算的不精確、可見(jiàn)性變化等各種原因，由DIBR技術(shù)生成的目標(biāo)圖像中可能會(huì)包含著不符合順序匹配約束(order matching constraint)的像素點(diǎn)，我們將這種錯(cuò)誤稱為匹配誤差(matching error)。匹配誤差將嚴(yán)重降低立體圖像對(duì)的質(zhì)量，造成人們不舒服的感覺(jué)。圖1顯示了匹配誤差對(duì)生成的目標(biāo)圖像所造成的影響。從圖1中可以看到，前景中一個(gè)整體的對(duì)象中夾雜著一些背景像素。因此，如何去除匹配誤差是DIBR技術(shù)中的一個(gè)重要問(wèn)題。中值濾波匹配誤差校正方法是一種非線性的圖像平滑方法，與均值濾波和其它線性濾波器相比，它能在濾除噪聲的同時(shí)很好的保持目標(biāo)圖像的邊緣。中值濾波是一種鄰域計(jì)算，其原理比較簡(jiǎn)單，它把以目標(biāo)圖像某像素為中心的小窗口內(nèi)的所有像素的灰度按從小到大排序，取排序結(jié)果的中間值作為該像素的灰度值。為方便操作，中值濾波通常取含奇數(shù)個(gè)像素的模板窗口。中值濾波的模板窗口 w可以為線形，方形，十字形等。標(biāo)準(zhǔn)的中值濾波器是由一個(gè)奇數(shù)大小尺寸的滑動(dòng)窗組成，通常為3X3或5X5窗口。如圖2所示，以3X3模板窗口為例，該窗口沿著圖像數(shù)據(jù)的行方向逐像素滑動(dòng)，在每一次滑動(dòng)期間內(nèi)，模板窗中的所有像素按照灰度值被排序，這組數(shù)據(jù)中的中值70作為輸出，替代模板窗口的中心位置像素的灰度值 210。中值濾波匹配誤差校正方法雖然能夠有效地校正匹配誤差，但卻存在以下缺陷 由于是對(duì)圖像進(jìn)行濾波，故上述兩種算法會(huì)造成圖像的整體模糊，圖像的邊緣變粗等問(wèn)題。在2011年09月14日公布的、公布號(hào)為CN102186095A、名稱為“一種適用于深度圖像繪制的匹配誤差校正方法”的中國(guó)發(fā)明專利申請(qǐng)中公布了一種匹配誤差校正方法，通過(guò)檢測(cè)得到一個(gè)或多個(gè)交叉區(qū)域，計(jì)算出交叉區(qū)域的交叉總數(shù)；然后對(duì)交叉區(qū)域前后各擴(kuò)展一個(gè)像素點(diǎn)根據(jù)視差圖得到在參考圖像上的搜索區(qū)域，找到交叉區(qū)域中除起點(diǎn)以外具有最大交叉數(shù)的像素點(diǎn)，將該像素點(diǎn)新的匹配點(diǎn)的橫坐標(biāo)依次指定為搜索區(qū)域的像素點(diǎn)，找到具有最小差方和的預(yù)選匹配點(diǎn)，修正視差值后，再確定修正后該交叉區(qū)域內(nèi)的總交叉數(shù)； 如果變小，則將預(yù)選匹配點(diǎn)處的像素值拷貝到目標(biāo)圖像上具有最大交叉數(shù)的像素點(diǎn)，如果沒(méi)有變小，則對(duì)其他具有最小差方和的參考圖像上的像素點(diǎn)進(jìn)行同樣的處理，直到修正后的總交叉數(shù)變小。當(dāng)總交叉數(shù)為0或所有像素點(diǎn)都不能使總交叉數(shù)變小為止。這樣通過(guò)確定交叉區(qū)域和計(jì)算最小的總交叉數(shù)，可以有效地檢測(cè)和校正匹配誤差，目標(biāo)圖像質(zhì)量得到了提高。但該方法計(jì)算和硬件實(shí)現(xiàn)都較為復(fù)雜。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種計(jì)算和硬件實(shí)現(xiàn)都較為簡(jiǎn)單的基于DIBR的匹配誤差校正方法。為實(shí)現(xiàn)上述目的，本發(fā)明基于DIBR的匹配誤差校正方法，其特征在于，包括以下步驟(1)、對(duì)視差圖進(jìn)行中值濾波；O)、根據(jù)濾波后的視差圖，得到目標(biāo)圖像像素點(diǎn)在參考圖像上的匹配點(diǎn)坐標(biāo)；(3)、判斷匹配點(diǎn)坐標(biāo)是否落在參考圖像內(nèi)，如果是，則將參考圖像上匹配點(diǎn)坐標(biāo)處的像素值拷貝到目標(biāo)圖像對(duì)應(yīng)位置，否則，不處理。本發(fā)明的發(fā)明目的是這樣實(shí)現(xiàn)的本發(fā)明基于DIBR的匹配誤差校正方法，先對(duì)視差圖進(jìn)行濾波，從而對(duì)造成匹配誤差的像素點(diǎn)的視差值進(jìn)行校正，然后由校正后的視差得到目標(biāo)圖像上視差坐標(biāo)對(duì)應(yīng)點(diǎn)在參考圖像上的匹配點(diǎn)，最后如果匹配點(diǎn)落在參考圖像中，將參考圖像上匹配點(diǎn)的像素信值拷貝到目標(biāo)圖像對(duì)應(yīng)位置上，否則，不處理，這樣完成匹配誤差的校正。相比現(xiàn)有技術(shù)，本發(fā)明基于DIBR的匹配誤差校正方法有以下優(yōu)點(diǎn)1)由于是對(duì)視差圖進(jìn)行濾波，而不是針對(duì)目標(biāo)圖像，故不會(huì)造成圖像的模糊；幻只是對(duì)視差圖(二維矩陣)進(jìn)行濾波，計(jì)算和硬件實(shí)現(xiàn)都較為簡(jiǎn)單。


圖1是DIBR技術(shù)生成的目標(biāo)圖像中存在匹配誤差時(shí)的圖像；圖2是中值濾波匹配誤差校正示意圖；圖3是本發(fā)明基于DIBR的匹配誤差校正方法的一具體實(shí)施方式
流程圖；圖4是模板窗口與視差圖元素值對(duì)應(yīng)關(guān)系示意圖；圖5是參考圖像、深度圖像及其對(duì)應(yīng)的目標(biāo)圖像；圖6是傳統(tǒng)中值濾波匹配誤差校正方法效果圖；圖7是本發(fā)明基于DIBR的匹配誤差校正方法效果圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式
進(jìn)行描述，以便本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計(jì)的詳細(xì)描述也許會(huì)淡化本發(fā)明的主要內(nèi)容時(shí)，這些描述在這里將被忽略。
圖3是本發(fā)明基于DIBR的匹配誤差校正方法的一具體實(shí)施方式
流程圖。在本實(shí)施中，如圖3所示，基于DIBR的匹配誤差校正方法為輸入視差圖M，參考圖像Iref，目標(biāo)圖像Ides，三者的分辨率均為WiXHi ；輸出校正后的視差圖M，目標(biāo)圖像Ides ；具體步驟為(1)、初始化模板窗中心垂直循環(huán)變量v=l;(2)、初始化模板窗中心水平循環(huán)變量u = 1。(3)、初始化模板窗矩陣 win 中各元素 all、a21、a31、bll、1^21、b31、ell、c21、c31 的值為模板窗覆蓋視差圖M時(shí)所對(duì)應(yīng)的值，覆蓋區(qū)域的中心坐標(biāo)為(v，u)，如圖4所示；0)、判斷模板窗矩陣win中空洞點(diǎn)個(gè)數(shù)η ；如果η < 5，轉(zhuǎn)步驟(5)；否則不處理， 轉(zhuǎn)步驟(9)；(5)、矩陣轉(zhuǎn)換將模板窗矩陣win由3X3矩陣轉(zhuǎn)化為模板窗口矩陣wirureshape 的1X9矩陣，轉(zhuǎn)換順序如圖4所示；這樣1X9矩陣wir^reshape的第1個(gè)值對(duì)應(yīng)視差圖M 中的坐標(biāo)為(v-l，u-l)處的視差值，第2個(gè)對(duì)應(yīng)視差圖M中的坐標(biāo)為(v，u-l)處的視差值， 第3個(gè)對(duì)應(yīng)視差圖M中的坐標(biāo)為(v+1，U-1)處的視差值，依次類推；(6)、中值濾波對(duì)轉(zhuǎn)換后的1 X 9模板窗矩陣wirureshape進(jìn)行冒泡法排序，求取中值，并用該中值取代原視差圖模板窗口中心位置點(diǎn)的數(shù)值。設(shè)查找到的中值為a，則M(v， u) = a ；冒泡法排序(Bubble Sort)的基本概念是依次比較相鄰的兩個(gè)數(shù)，將小數(shù)放在前面，大數(shù)放在后面。即在第一趟首先比較第1個(gè)和第2個(gè)數(shù)，將小數(shù)放前，大數(shù)放后，然后比較第2個(gè)數(shù)和第3個(gè)數(shù)，將小數(shù)放前，大數(shù)放后，如此繼續(xù)，直至比較最后兩個(gè)數(shù)，將小數(shù)放前，大數(shù)放后。至此第一趟結(jié)束，將最大的數(shù)放到了最后。在第二趟仍從第一對(duì)數(shù)開始比較(因?yàn)榭赡苡捎诘?個(gè)數(shù)和第3個(gè)數(shù)的交換，使得第1個(gè)數(shù)不再小于第2個(gè)數(shù))，將小數(shù)放前，大數(shù)放后，一直比較到倒數(shù)第二個(gè)數(shù)(倒數(shù)第一的位置上已經(jīng)是最大的)，第二趟結(jié)束，在倒數(shù)第二的位置上得到一個(gè)新的最大數(shù)(其實(shí)在整個(gè)數(shù)列中是第二大的數(shù))。如此下去，重復(fù)以上過(guò)程，直至最終完成排序。在本發(fā)明中，因?yàn)橹恍枰笕?X9模板窗矩陣wir^reshape的中值，故而排序時(shí)只需對(duì)一半數(shù)據(jù)完成排序即可，不需要對(duì)所有數(shù)據(jù)都完成排序。在排序過(guò)程中，ι χ 9模板窗矩陣wirureshape中的值隨上述操作而做相應(yīng)的變化，通過(guò)查找相應(yīng)變化后的1 X 9模板窗矩陣wirureshape的中值來(lái)確定模板窗口覆蓋區(qū)域中心坐標(biāo)為(v，U)的視差值。在本實(shí)施例中，如圖3所示，用變量i來(lái)記錄排序的趟數(shù)，用變量j來(lái)記錄每一趟比較的次數(shù)，當(dāng) win_reshape [j] > win_reshape [j+1],貝Ij進(jìn)行交換，艮口 win_reshape [j]與 win_reshape[j+l]的值調(diào)換，如果不大于，則不進(jìn)行交換，然后比較次數(shù)j加1，如比較次數(shù) j小于等于9-i，即第一趟的不超過(guò)8次，則返回進(jìn)行下一組數(shù)的比較，如果比較次數(shù)j不滿足小于等于9-i，即8，說(shuō)明第一趟比較已經(jīng)結(jié)束，趟數(shù)i加1，重復(fù)從第1對(duì)數(shù)，到第9-i對(duì)數(shù)的比較，判斷調(diào)換或不調(diào)換，直到判斷結(jié)束，即比較次數(shù)j不滿足小于等于9-i，即7，這樣繼續(xù)比較，直到趟數(shù)i不滿足i彡5，即比較了 5趟后，得到了中值，即wirureshape (5)= a ；(7)、求得視差校正后目標(biāo)圖像對(duì)應(yīng)點(diǎn)在參考圖像上的匹配點(diǎn)坐標(biāo)。校正后的視差為a，則其在參考圖像上匹配點(diǎn)的橫坐標(biāo)為= u-a ；
5
(8)、判斷該匹配點(diǎn)的橫坐標(biāo)是否落在參考圖像內(nèi)，即如果0 ( Uref < Wi, (1)則將該匹配點(diǎn)(v，Uref)的像素值拷貝到目標(biāo)圖像對(duì)應(yīng)點(diǎn)(v，u)上；否則，轉(zhuǎn)(9)；(9)、u = u+1，即將模板窗口水平下移一個(gè)點(diǎn)；(10)、如果!!〈Wi-l，即一行濾波沒(méi)有結(jié)束，則轉(zhuǎn)(3)開始下一個(gè)點(diǎn)的中值濾波；否則，轉(zhuǎn)(11)；(11),ν = v+1,即將模板窗口水平下移一行；(12)、如果VSHi-I,即整幅圖像沒(méi)有濾波結(jié)束，轉(zhuǎn)(3)；否則，結(jié)束。下面將本發(fā)明與現(xiàn)有技術(shù)的中值濾波匹配誤差校正方法進(jìn)行測(cè)試比較。測(cè)試目的校正目標(biāo)圖像Ides中的匹配誤差。該目標(biāo)圖像是由DIBR技術(shù)根據(jù)參考圖像及其深度圖像生成的；測(cè)試用途驗(yàn)證和評(píng)估本發(fā)明的基于DIBR的匹配誤差校正方法；測(cè)試方法在本測(cè)試中，采用"Ballet"序列及其相應(yīng)定標(biāo)參數(shù)進(jìn)行錯(cuò)誤校正實(shí)驗(yàn)?！瓸allet"序列的攝制方法參見(jiàn)參考文獻(xiàn)，Zitnick，C. L.，et al. High-quality video view interpolation using a layered representation, in ACM SIGGRAPH and ACM Trans, on Graphics. 2004. Los Angeles，CA，USA。圖 5 中(c)圖，即目標(biāo)圖像 Ides 是基線長(zhǎng)度B = 30cm時(shí)由DIBR技術(shù)生成的目標(biāo)圖像，由圖5(c)中可以看出，目標(biāo)圖像Ides中含有許多匹配誤差，嚴(yán)重降低了圖像的質(zhì)量，例如人臉上的“斑點(diǎn)”。而圖像中黑色區(qū)域表示空洞， 可以通過(guò)空洞填充算法來(lái)消除，這里為了便于觀察算法效果，在本測(cè)試中而未作填充。測(cè)試一采用傳統(tǒng)中值濾波匹配誤差校正方法對(duì)目標(biāo)圖像Ides進(jìn)行處理，結(jié)果如圖6所示。測(cè)試二采用本發(fā)明基于DIBR的匹配誤差校正方法對(duì)目標(biāo)圖像Ides進(jìn)行處理，結(jié)果如圖7 所示。測(cè)試結(jié)果分析由圖6、圖7可以看出，上述兩種方法均能有效的去除匹配誤差。但傳統(tǒng)的中值濾波匹配誤差校正方法在一定程度上引起了圖像的模糊，而采用本發(fā)明基于DIBR的匹配誤差校正方法簡(jiǎn)單，在不影響圖像清晰度的前提下，能有效的校正匹配誤差。盡管上面對(duì)本發(fā)明說(shuō)明性的具體實(shí)施方式
進(jìn)行了描述，以便于本技術(shù)領(lǐng)域的技術(shù)人員理解本發(fā)明，但應(yīng)該清楚，本發(fā)明不限于具體實(shí)施方式
的范圍，對(duì)本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)講，只要各種變化在所附的權(quán)利要求限定和確定的本發(fā)明的精神和范圍內(nèi)，這些變化是顯而易見(jiàn)的，一切利用本發(fā)明構(gòu)思的發(fā)明創(chuàng)造均在保護(hù)之列。
權(quán)利要求
1.一種基于DIBR的匹配誤差校正方法，其特征在于，包括以下步驟 (1)、對(duì)視差圖進(jìn)行中值濾波；O)、根據(jù)濾波后的視差圖，得到目標(biāo)圖像像素點(diǎn)在參考圖像上的匹配點(diǎn)坐標(biāo)； (3)、判斷匹配點(diǎn)坐標(biāo)是否落在參考圖像內(nèi)，如果是，則將參考圖像上匹配點(diǎn)坐標(biāo)處的像素值拷貝到目標(biāo)圖像對(duì)應(yīng)位置，否則，不處理。
2.根據(jù)權(quán)利要求1所述的基于DIBR的匹配誤差校正方法，其特征在于，所述的中值濾波中，如果模板窗矩陣中空洞點(diǎn)個(gè)數(shù)不滿足11 < 5，則不對(duì)模板窗口中心位置的視差值進(jìn)行處理。
3.根據(jù)權(quán)利要求2所述的基于DIBR的匹配誤差校正方法，其特征在于，所述的中值濾波中，先初始化模板窗矩陣中各元素的值為模板窗覆蓋視差圖時(shí)所對(duì)應(yīng)的值，覆蓋區(qū)域的中心坐標(biāo)為(V，u)；然后，判斷模板窗矩陣中空洞點(diǎn)個(gè)數(shù)η ；如果η < 5，繼續(xù)處理；否則不處理； 將模板窗矩陣由3X3矩陣轉(zhuǎn)化為模板窗口矩陣的1X9矩陣，1X9矩陣的第1個(gè)值對(duì)應(yīng)視差圖中的坐標(biāo)為(v-l，u-l)處的視差值，第2個(gè)對(duì)應(yīng)視差圖M中的坐標(biāo)為(v，u-l)處的視差值，第3個(gè)對(duì)應(yīng)視差圖中的坐標(biāo)為(v+1，U-1)處的視差值，依次類推；對(duì)轉(zhuǎn)換后的1X9模板窗矩陣進(jìn)行冒泡法排序，求取中值，并用該中值取代原視差圖模板窗口中心位置點(diǎn)的數(shù)值。
全文摘要
本發(fā)明公開了一種基于DIBR的匹配誤差校正方法，先對(duì)視差圖進(jìn)行濾波，從而對(duì)造成匹配誤差的像素點(diǎn)的視差值進(jìn)行校正，然后由校正后的視差得到目標(biāo)圖像上視差坐標(biāo)對(duì)應(yīng)點(diǎn)在參考圖像上的匹配點(diǎn)，最后如果匹配點(diǎn)落在參考圖像中，將參考圖像上匹配點(diǎn)的像素信值拷貝到目標(biāo)圖像對(duì)應(yīng)位置上，否則，不處理，這樣完成匹配誤差的校正。相比現(xiàn)有技術(shù)，本發(fā)明基于DIBR的匹配誤差校正方法有以下優(yōu)點(diǎn)1)由于是對(duì)視差圖進(jìn)行濾波，而不是針對(duì)目標(biāo)圖像，故不會(huì)造成圖像的模糊；2)只是對(duì)視差圖(二維矩陣)進(jìn)行濾波，計(jì)算和硬件實(shí)現(xiàn)都較為簡(jiǎn)單。
文檔編號(hào)H04N13/00GK102413347SQ20111034620
公開日2012年4月11日 申請(qǐng)日期2011年11月4日 優(yōu)先權(quán)日2011年11月4日
發(fā)明者劉然, 劉陽(yáng), 甘平, 田逢春, 羅雯怡, 許小艷, 謝輝, 譚迎春, 邰國(guó)欽, 郭瑞麗, 魯國(guó)寧, 黃揚(yáng)帆 申請(qǐng)人:四川虹微技術(shù)有限公司, 重慶大學(xué)