對視差圖進行濾波的方法以及設(shè)備的制作方法
【專利摘要】本發(fā)明涉及一種對與立體圖像的視圖之一相關(guān)聯(lián)的視差圖進行濾波的方法，包含以下步驟：通過與相鄰像素（xn-1，xn+1）的視差值進行比較，識別與錯誤視差值（d(xn)）相關(guān)聯(lián)的像素（xn）；以及，校正所識別的像素的視差值。
【專利說明】對視差圖進行濾波的方法以及設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及立體圖像，并且更具體地涉及一種對與這樣的圖像相關(guān)聯(lián)的視差圖進行濾波的方法以及設(shè)備。
【背景技術(shù)】
[0002]3D視圖合成或者3D視圖插值在于創(chuàng)建除了由源立體圖像表現(xiàn)的呈現(xiàn)以外，還創(chuàng)建3D呈現(xiàn)。然后，調(diào)整3D呈現(xiàn)以適應(yīng)所選擇的應(yīng)用或者用戶。處理多視圖屏幕所需的視圖主要從單一立體圖像得以重建。
[0003]實際上，該視圖合成是基于該立體圖像以及視差圖。視差圖一般與在立體圖像的情況下的右側(cè)或者左側(cè)源圖像相關(guān)聯(lián)，并且為每個像元提供一條表示該像元在右側(cè)圖像中的位置與該像元在左側(cè)圖像中的位置之間的距離的數(shù)據(jù)(以像素數(shù)量的方式)。
[0004]該視圖合成還可以基于深度圖，因為通過使用本領(lǐng)域的技術(shù)人員所知道的算法引入諸如屏幕大小或者觀察者與屏幕之間的距離的某些數(shù)據(jù)，能夠從視差值返回深度值，反之亦然。
[0005]為了通過從右側(cè)或者左側(cè)源圖像以及相關(guān)聯(lián)的視差圖進行插值來創(chuàng)建新的視圖，將該視差圖投影在想要產(chǎn)生的視圖上。在該投影之后，能夠得到與所期望的視圖相對應(yīng)的修改的視差圖；該修改的視差圖的每個像素指示視差值，然后將使用該視差值來修改與要重新產(chǎn)生的右側(cè)或者左側(cè)圖像相對應(yīng)的那些信息。
[0006]每個要插入的像素的視差向量必須指向在右側(cè)以及左側(cè)圖像中相同的對象點(object point)。
[0007]然而，需要管理遮蔽區(qū)域，因為在要插入的圖像中存在支持在一個圖像中可見且在其他圖像之中不存在的對象點的像素。實際上，這些在第一視圖領(lǐng)域中的對象或者在第二視圖場景的領(lǐng)域之外，或者被前景對象所遮蔽。必須僅從包含相應(yīng)的點的圖像來插入這些特殊的像素。因此，需要識別這些特殊的像素并且給它們分配視差。
[0008]文獻(xiàn)US2010/0215251說明了一種處理深度圖的方法以及設(shè)備。該方法在于基于包含所捕捉的場景的深度信息的壓縮的深度圖來得到深度圖。該場景包含對象。提供包含由在該深度圖中的該對象所遮蔽的信息的遮蔽信息。然后，至少使用該遮蔽信息的一部分來減少在該深度圖中的成形對象的失真。
[0009]因此，該文獻(xiàn)涉及一種處理信息的方法，其中，該信息用于對涉及由對象所的區(qū)域的深度圖的校正。
[0010]本發(fā)明的目的在于克服一個不同的問題，該問題涉及位于對象邊緣的、所謂的過渡像素。實際上，如果例如場景包含兩個處于固定且不同深度的平面對象，假設(shè)在該場景中僅存在具有兩種不同視差的兩種可能性，則與右側(cè)視圖或者左側(cè)視圖的元素相關(guān)聯(lián)的視差圖應(yīng)該僅包含兩個值:第一對象的視差值，以及不同的第二對象的視差值。
[0011]視差圖僅包含兩個視差值，在該情況下，容易將該視差圖投影到在左側(cè)視圖與右側(cè)視圖之間的中間視圖上，并且由此將兩個圖像之一插入。[0012]然而，這與在與作為兩個對象邊界的區(qū)域相對應(yīng)的所謂的過渡區(qū)域中的情況不同，與所謂的過渡像素相關(guān)聯(lián)的視差值產(chǎn)生于第一對象像素的視差值和第二對象像素的視差值的混合。
[0013]不幸的是，不能夠為這樣的像素正確地定義視差值。
[0014]因此，將自行提供一個對象的視差值與另一對象的視差值之間的中間視差值。不幸的是，該視差值不正確，因為它不指向兩個圖像中的相似像素。
[0015]在對視差圖的投影期間，這樣的值一方面將是不一致的，另一方面將不指向在這兩個圖像中的相同的對象，從而可能導(dǎo)致在所插入的視圖上的可見偽像。
[0016]該錯誤或者異常視差值的問題出現(xiàn)在通過視差圖估計器得到的視差圖以及在用于CGI內(nèi)容的視差圖中。
[0017]一種針對上述問題的可能的方案是使用未濾波的視差圖(也就是說，在對象輪廓處是鋸齒狀的)。不幸的是，盡管該方案能夠面對用于CGI內(nèi)容的這種類型的圖，視差估計器往往自然地產(chǎn)生不同的對象之間的中間值。本發(fā)明提出一種能夠克服所提到的缺點的方法。

【發(fā)明內(nèi)容】

[0018]本發(fā)明包含一種對與立體圖像的視圖之一相關(guān)聯(lián)的視差圖進行濾波的方法，其中，該立體圖像包含至少一個對象，部分地覆蓋由該對象所遮蔽的區(qū)域。該方法包含以下步驟:確定至少一個圍繞該對象的過渡區(qū)域；識別該過渡區(qū)域的、其視差值通過與該對象或者該遮蔽區(qū)域相對應(yīng)的相鄰像素的視差值進行比較被認(rèn)為是錯誤的像素；以及，根據(jù)涉及該像素是否屬于該對象或者屬于該遮蔽區(qū)域的標(biāo)準(zhǔn)，分配由該對象或者該遮蔽區(qū)域決定的新的視差值，由此校正所識別的像素的視差值。
[0019]因此，該方法能夠進行智能的濾波，僅對可疑的視差值進行濾波，從而保留該視差圖的絕大部分。
[0020]優(yōu)選地，識別具有錯誤的視差值的像素的步驟在于，將其視差值未包含在相鄰像素(Xlri, xn+1)的視差值中的任何像素識別為錯誤的。
[0021]根據(jù)本發(fā)明的變型，識別具有錯誤的視差值的像素的步驟在于，將其視差值以確定的閾值不同于相鄰像素(Xn-P χη+1)的視差值的任何像素識別為錯誤的。
[0022]優(yōu)選地，校正像素的錯誤視差值的步驟在于，使用根據(jù)相鄰像素的視差計算出的值來替換所識別的像素的視差值。
[0023]根據(jù)本發(fā)明的變型，校正像素的錯誤視差值的步驟在于，去除所識別的像素的視差值。
[0024]優(yōu)選地，校正像素的視差值的步驟在于，確定所識別的像素的視差值更接近于哪個相鄰像素(Xn-PXlri)的視差值，并且，使用與相鄰像素(Xn-PXlri)中的、其視差值是更接近的那一個的值相對應(yīng)的替換值來替換所識別的像素的視差值。
[0025]優(yōu)選地，本方法包含在從兩個相鄰像素(xn_1; xn+1)之中確定具有更高接近度的像素之后的另外的步驟:確定相鄰像素的視差值和接下來的相鄰像素(χη-2，χη+2)的視差值之間的視差值差值，并且根據(jù)該差值確定替換值。
[0026]本發(fā)明還包括一種用于產(chǎn)生用于顯示三維圖像的信號的設(shè)備，其中三維圖像包含至少一個對象，部分地覆蓋由該對象所遮蔽的區(qū)域，包含:用于傳送與要傳送的右側(cè)或者左側(cè)圖像之一相對應(yīng)的第一數(shù)據(jù)流以及與要傳送的右側(cè)或者左側(cè)圖像之一相關(guān)聯(lián)的深度圖相對應(yīng)的第二數(shù)據(jù)流的設(shè)備；以及，用于接收用于顯示三維圖像的數(shù)據(jù)流的設(shè)備。它包含一種用于對視差圖進行濾波的設(shè)備，該設(shè)備包含:用于確定至少一個圍繞該對象的過渡區(qū)域的部件；用于識別該過渡區(qū)域的、其視差值(d(xn))通過與該對象或者該遮蔽區(qū)域相對應(yīng)的相鄰像素(Xn-PXlri)的視差值進行比較被認(rèn)為是錯誤的像素(Xn)的部件；以及，用于校正所識別的像素的錯誤視差值的部件。
【專利附圖】

【附圖說明】
[0027]參考附圖通過閱讀以下說明將更好地呈現(xiàn)上述的本發(fā)明的特征、優(yōu)點以及其他方面，附圖中:
[0028]圖1示出用于傳送3D內(nèi)容的系統(tǒng)，該系統(tǒng)包含在信號產(chǎn)生設(shè)備上或在接收器上的根據(jù)本發(fā)明的用于對視差圖的元素進行濾波的設(shè)備；
[0029]圖2示出解釋根據(jù)本發(fā)明的濾波方法的概要圖；
[0030]圖3示出不具有濾波設(shè)備的系統(tǒng)的視差圖的視差值；
[0031]圖4示出具有根據(jù)本發(fā)明的濾波設(shè)備的系統(tǒng)的視差圖的視差值。
【具體實施方式】
[0032]如圖1所示的系統(tǒng)是一種用于產(chǎn)生用于顯示至少一個三維(3D)圖像的信號的設(shè)備。該系統(tǒng)在傳送設(shè)備中包含:部件2，用于產(chǎn)生兩條分別表示右側(cè)和左側(cè)圖像的像素或者像元的數(shù)據(jù)流；部件3，用于產(chǎn)生與由每個圖像的視差圖表示的右側(cè)或者左側(cè)圖像的像素的視差信息相對應(yīng)的數(shù)據(jù)流；部件4，用于選擇要傳送的右側(cè)或者左側(cè)圖像的數(shù)據(jù)流之一；部件5，用于傳送與所選擇的右側(cè)或左側(cè)圖像相對應(yīng)的數(shù)據(jù)流之一以及與視差圖相對應(yīng)的數(shù)據(jù)流。根據(jù)本發(fā)明，該系統(tǒng)還包含:設(shè)備6，用于對視差圖的不同元素的視差值進行濾波，使得能夠檢測錯誤值并且將這些值替換為另外的由視差圖的相鄰元素的視差決定的視差值，其中該設(shè)備與用于產(chǎn)生視差圖的數(shù)據(jù)的部件相關(guān)聯(lián)。
[0033]數(shù)據(jù)接收設(shè)備接收這兩條分別與右側(cè)或者左側(cè)圖像之一以及視差圖相對應(yīng)的數(shù)據(jù)流，并且經(jīng)由接口 7向屏幕或者顯示設(shè)備8提供3D圖像顯示信號。根據(jù)本發(fā)明的變型，用于對視差圖進行濾波的設(shè)備6位于信號接收設(shè)備上，而不在傳送設(shè)備上。
[0034]根據(jù)本發(fā)明的方法在于對視差圖進行濾波6，以便確定、刪除或者替換“可疑的”視差值?！翱梢傻摹币暡钪当焕斫鉃椴慌c相鄰像素的視差值之一相對應(yīng)的過渡區(qū)域的像素的視差值。
[0035]該方法使得能夠進行智能的濾波，其僅對可疑的視差值進行濾波，從而保留視差圖的絕大部分。
[0036]視差圖表示一條采樣信息。因此，需要解決采樣問題。這是根據(jù)本發(fā)明的方法在于對視差圖進行濾波以便改善經(jīng)歷該采樣缺陷的對象的輪廓的原因。
[0037]該濾波方法必須一方面正確地識別錯誤的視差值，另一方面校正這些值。
[0038]錯誤的視差值是真實視差值之間的中間值，因為這些視差值與對象所處的深度相對應(yīng)。但是，視差值可能在不與屏幕平面相平行而存在的表面上局部地漸增或者漸減。檢測算法的定義必須考慮這些不同的情況。
[0039]還優(yōu)選地具有如下方案:其結(jié)果是連續(xù)的，以避免由包含不同校正的相鄰且相似的像素或者從一幀到另一幀進行了不同的校正的對象邊緣而造成的偽像。因此，建議替換視差值而不是去除視差值。然而，如果必須去除偽像，則仍然可以去除這些值。
[0040]此處所提出的方法與對于屬于延X軸的水平線的像素的研究相關(guān)聯(lián)，但是也可以使用垂直的信息。
[0041]如果像素Xn的視差值d(Xn)以大于|d(xn+2)-d(xn+1) I的值，或者以大于CKxn^-CKxnJ I的值而不同于水平直接相鄰的兩個像素Xlri和xn+1的視差值CKxlri)和
d(xn+1)，則這些像素\的視差值d(Xn)被確定為是錯誤的，其中:|d(Xn+2)-d(Xn+1) I是其中后一項的值d(xn+1)與其另外的水平相鄰的像素(xn+2)的d(xn+2)之間的差值，I d(Xn_2)-d(Xlri)是其中后一項的值CKxlri)與其另外的水平相鄰的像素(xn_2)的d(xn_2)之間的差值。
[0042]根據(jù)本發(fā)明的變型，可以使用另外的標(biāo)準(zhǔn)來定義什么被認(rèn)為是錯誤視差值。一種方法在于比較像素的視差值和根據(jù)相鄰像素的視差所確定的閾值。
[0043]因此，可以添加閾值。例如，可以將如下像素確定為是錯誤的:其視差值(表示為像素)通過相對于其兩個相鄰像素多出兩個像素而不同。
[0044]在應(yīng)當(dāng)去除這些錯誤值的情況下，優(yōu)選使用不太嚴(yán)格的標(biāo)準(zhǔn)，以便盡可能最少地去除。
[0045]在根據(jù)本發(fā)明的方法中，通過將這些值d(Xn)與四個另外的相鄰像素^_2、Xlr1、xn+i> xn+2 的視差值 d (xn_2)、d (Xlri)、d (xn+1)或者 d (Xlri)、d (xn+1)、d (xn+2)相比較,進行錯誤視差值的確定。
[0046]在圖2中示出檢測并校正具`有錯誤視差值的像素的概要圖。
[0047]第一步驟100對應(yīng)于通過比較相鄰像素N-1和N+1的視差值來識別具有錯誤視差值的像素N:
[0048]d (χη) Φ d (Xn^1),并且
[0049]d (Xn)關(guān) d (Xd1)
[0050]然后，步驟101和102能夠確定像素Xn的視差d(Xn)是否包含在像素Xlri和像素Xn+1的那些視差CKxlri)和d(xn+1)之間，并且在步驟101以及步驟102中，能夠比較像素Xlri和 xn+1:
[0051 ] d (Xlri) <d (xn) <d (xn+1)或者 d (Xlri) >d (xn) >d (xn+1)
[0052]步驟103對應(yīng)于視差值未包含在相鄰像素的那些值之間的情況。需要校正該值?？梢允褂酶咏囊暡钪祦硖鎿Q該值，或者可以去除該值。
[0053]然后，在步驟104以及105中，將在像素Xn和Xlri之間的視差的差值與在Xn和xn+i之間的視差的差值相比較。這些步驟對應(yīng)于確定Xn的視差值是更接近于xn+1的視差值，還是更接近于Xlri的視差值的接近度研究。在像素位于兩個對象的邊界的情況下，這意味著確定該像素更接近于哪個對象:I d (Xlri) -d (Xn) I〈 I d (xn+1) -d (xn) | ,
[0054]步驟106使得能夠為與像素Xlri和xn_2相對應(yīng)的對象考慮可變的(漸增的或者漸減的)視差。因此，該步驟使得能夠為(Xn)確定與最大值相對應(yīng)的替換視差值，其中，該最大值是像素Xrri的視差Cl(Xlri)以及像素xn_2與Xrrl的視差d(xn_2)和(Kxlri)之間的差值的和數(shù)。[0055]類似地，在步驟107、108以及109期間，通過為與相鄰像素xn_2和Xlri或者xn+1和xn+2相對應(yīng)的對象考慮可變的視差來確定(Xn)的視差替換值。如果d(Xn)更接近于兩個視差值中的較大的值，則確定最大值。并且，如果d(Xn)更接近于兩個視差值中的較小的值，則確定最小值。
[0056]在步驟110期間，如果像素的錯誤視差值大于在步驟106中所確定的該最大值，則使用所確定的該最大值替換像素Xn的錯誤視差值:d’ (Xn)=最大值。
[0057]在步驟110期間，如果像素的錯誤視差值不大于在步驟106中所確定的該最大值，則使用像素Xlri的視差值替換像素Xn的錯誤視差值:d’ (Xn)=(KXn^1)。
[0058]同樣地，在步驟112期間，使用在先前的步驟中所確定的最小值替換像素Xn的錯誤視差值:“d’(Xn) =最小值”；或者使用隨后的像素xn+1的視差值替換像素Xn的錯誤視差值:“d’(Xn) =d(xn+1) ”。
[0059]類似地，在步驟114以及116期間，使用在先前的步驟中所確定的最小或者最大值替換像素Xn的錯誤視差值，或者使用隨后的像素Xn+1或者先前的像素Xlri的視差值替換像素Xn的錯誤視差值。
[0060]根據(jù)本發(fā)明的變型，可以通過考慮在視差或者具體的情況下的較大改變，以改進由該概要圖所述的處理。
[0061]因此，步驟110至116優(yōu)選地根據(jù)先前的標(biāo)準(zhǔn)為視差值分配新的值?？商娲兀軌?qū)⒃摬襟E替換為去除視差值。
[0062]在所有未涉及的情況下，認(rèn)為視差值是正確且無需替換的。
[0063]本發(fā)明所提出的濾波方法是對稱的，因此，使用相同的方式處理對象的右側(cè)和左側(cè)邊緣，即便與這些邊緣相關(guān)聯(lián)的問題是不同的。
[0064]實際上，涉及作為偽像問題的，根據(jù)與左側(cè)視圖相關(guān)聯(lián)的視差圖對前景對象的右側(cè)邊緣進行插值，或者根據(jù)與右側(cè)視圖相關(guān)聯(lián)的視差圖對前景對象的左側(cè)邊緣進行插值的示例，在此是更重要的。
[0065]根據(jù)與左側(cè)視圖相關(guān)聯(lián)的視差圖對前景對象的左側(cè)邊緣進行插值，或者根據(jù)與右側(cè)視圖相關(guān)聯(lián)的視差圖對前景對象的右側(cè)邊緣進行插值，這兩個另外的配置引起少得多的問題，因為錯誤值的投影比未被前景對象所遮蔽更加頻繁。然而，預(yù)先濾波是有用的，因為在某些情況下，前景對象的部分邊緣可以被恢復(fù)。
[0066]根據(jù)本發(fā)明的變型，該方法確保在前景對象的右側(cè)邊緣上的處理以根據(jù)與左側(cè)視圖相關(guān)聯(lián)的視差圖來進行插值。類似地，根據(jù)本發(fā)明的另一個變型，該方法確保在前景對象的左側(cè)邊緣上的處理以根據(jù)與右側(cè)視圖相關(guān)聯(lián)的視差圖來進行插值。
[0067]該分解發(fā)生在第一步驟((Kxlri)<d (xn) <d(xn+1)或者(Kxlri)M(Xn)M(Xlri))期間，為了僅在一側(cè)執(zhí)行預(yù)先濾波，僅保留這些條件中的一個就足夠了。
[0068]圖3示出不具有濾波設(shè)備的系統(tǒng)的包含兩個不同視差元素的圖像的視差圖的視差值。這兩個值分別用淺灰色和深灰色表示。在兩個元素的過渡處，存在通過淺灰色和深灰色之間的灰色的中間的陰影表示的不同的視差值。
[0069]圖4示出具有根據(jù)本發(fā)明的濾波設(shè)備的系統(tǒng)的視差圖的視差值。根據(jù)本發(fā)明的方法，在過渡處，錯誤視差值得以矯正并被替換為兩個存在值之一。在濾波之后，視差圖僅包含兩個值。
【權(quán)利要求】
1.一種對與立體圖像的視圖之一相關(guān)聯(lián)的視差圖進行濾波的方法，該立體圖像包含至少一個對象，部分地覆蓋由該對象所遮蔽的區(qū)域，該方法包含以下步驟: 確定至少一個圍繞該對象的過渡區(qū)域； 識別該過渡區(qū)域的、其視差值(d(xn))通過與該對象或者該遮蔽區(qū)域相對應(yīng)的相鄰像素(χη_1; χη+1)的視差值進行比較被認(rèn)為是錯誤的像素(Xn)； 根據(jù)涉及該像素是否屬于該對象或者屬于該遮蔽區(qū)域的標(biāo)準(zhǔn)，分配由該對象或者該遮蔽區(qū)域決定的新的視差值，由此校正所識別的像素的視差值。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，識別其視差值被認(rèn)為是錯誤的像素的步驟在于，將其視差值不等于所述相鄰像素Un+ χη+1)的視差值之一的任何的像素識別為錯誤的。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，識別其視差值被認(rèn)為是錯誤的像素的步驟在于，將其視差值以確定的閾值不同于所述相鄰像素(Xlri, χη+1)的視差值的任何像素識別為錯誤的。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，校正像素的錯誤視差值的步驟在于，使用根據(jù)所述相鄰像素的視差計算出的值來替換所識別的像素的視差值。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，校正像素的錯誤視差值的步驟在于，去除所識別的像素的視差值。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，校正像素的視差值的步驟在于，確定所識別的像素的視差值更接近于哪個相鄰像素(Xn+ χη+1)的視差值，并且，使用與相鄰像素(χη-1； χη+1)中的、其視差值是更接近的那一個的視差值相對應(yīng)的替換值來替換所識別的像素的視差值。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，該方法包含在從兩個相鄰像素(xn_1;χη+1)之中確定具有更高接近度的像素之后的另外的步驟:確定相鄰像素的視差值和接下來的相鄰像素(Χη-2，χη+2)的視差值之間的視差值差值，并且通過考慮該差值來確定替換值。
8.一種用于產(chǎn)生用于顯示三維圖像的信號的設(shè)備，其中三維圖像包含至少一個對象，部分地覆蓋由該對象所遮蔽的區(qū)域，包含:用于傳送與要傳送的右側(cè)或者左側(cè)圖像之一相對應(yīng)的第一數(shù)據(jù)流以及與要傳送的右側(cè)或者左側(cè)圖像之一相關(guān)聯(lián)的深度圖相對應(yīng)的第二數(shù)據(jù)流的設(shè)備；以及，用于接收用于顯示三維圖像的數(shù)據(jù)流的設(shè)備；其特征在于，它包含用于對視差圖進行濾波的設(shè)備，該濾波設(shè)備包含: -用于確定至少一個圍繞該對象的過渡區(qū)域的部件； -用于識別該過渡區(qū)域的、其視差值(d(xn))通過與該對象或者該遮蔽區(qū)域相對應(yīng)的相鄰像素(Xn-P Xn+1)的視差值進行比較被認(rèn)為是錯誤的像素(Xn)的部件；以及， -用于校正所識別的像素的錯誤視差值的部件。
9.根據(jù)權(quán)利要求8所述的用于產(chǎn)生信號的設(shè)備，其特征在于，與視差圖相關(guān)聯(lián)的濾波設(shè)備位于傳送設(shè)備處。
10.根據(jù)權(quán)利要求8所述的用于產(chǎn)生信號的設(shè)備，其特征在于，與視差圖相關(guān)聯(lián)的濾波設(shè)備位于接收設(shè)備處。
【文檔編號】H04N13/00GK103828355SQ201280046617
【公開日】2014年5月28日 申請日期:2012年9月27日 優(yōu)先權(quán)日:2011年9月29日
【發(fā)明者】C.蒂博爾特, P.羅伯特, S.蒂博 申請人:湯姆遜許可公司