用于處理光場圖像的方法、圖形用戶接口以及計算機程序產(chǎn)品的制作方法
【專利摘要】本發(fā)明提供了一種用于處理光場數(shù)據(jù)中的物體的方法和圖形用戶接口。所述方法和圖形用戶接口可以被用于去除所拍攝場景中的阻擋另一物體或背景的物體或障礙物。所述方法和圖形用戶接口還可以被用于光場圖像中的高精度邊緣檢測。
【專利說明】用于處理光場圖像的方法、圖形用戶接口以及計算機程序產(chǎn)品
【技術領域】
[0001]本發(fā)明總體上涉及光場成像領域。更具體地說，本發(fā)明涉及一種用于處理光場圖像的方法、圖形用戶接口以及計算機程序產(chǎn)品。
【背景技術】
[0002]光場成像涉及利用光場攝影術創(chuàng)建的圖像，其中，光場數(shù)據(jù)(S卩，角度信息、位置，以及來自所拍照物體或場景的光線的發(fā)光度)可從所得光場圖像獲取。
[0003]標準2D攝像機在平面f處按二維拍攝光線。發(fā)光度和位置被記錄為像素值和像素位置(坐標X和y)。然而，并未記錄光線的角度。
[0004]然而，光場攝像機記錄角度信息并且記錄發(fā)光度和位置。以描述光線的數(shù)據(jù)作為矢量，該圖像的呈現(xiàn)可以按標準2D攝像機所不能的方式來處理。
[0005]本質(zhì)上，光場圖像包括至少兩個子集圖像，其中，每一個子集圖像都對應于所成像物體或場景的不同視點或方向。每一個子集圖像都是由分離的鏡頭拍攝的。因此，按這些子集圖像之間的關系或差異來記錄角度信息。
[0006]已經(jīng)提出了針對拍攝光場數(shù)據(jù)的問題的各種解決方案。具有兩個鏡頭的3D攝像機可以隨著一些角度數(shù)據(jù)被保留而被視為簡單的光場攝像機。已經(jīng)使用了具有多個攝像機的陣列。全光(plenoptic)攝像機使用單個主透鏡和靠近圖像傳感器定位的微透鏡陣列。全光攝像機可以分成兩類:聚焦型和非聚焦型。
[0007]圖1示意性地例示了已知的聚焦全光攝像機，其利用微透鏡陣列Lm來拍攝來自物體r的光場圖像，其中，該物體r如果在焦平面f拍攝的話將導致清晰圖像(就標準2D攝像機方面而論)。該圖像傳感器(未示出)被放置在微透鏡陣列Lm的焦平面f2中。示出了針對兩個微透鏡的光路。兩個微透鏡通過僅利用整個光錐的表示該物體的同一點的一部分來描繪該特定點。典型的聚焦全光攝像機使用大約20-50個透鏡，來拍攝來自單個點的光束。典型設計具有幾千個微透鏡。由于與主透鏡L相比，微透鏡的焦距非常短，因而，通過微透鏡形成的單個子集圖像的景深非常大。
[0008]接近或者遠離攝像機移動的物體將成像在不同焦平面f，如可以在圖2a和2b中看到的。因此，光線的不同角度轉變成了微透鏡圖像中的位置差異。
[0009]圖3a例示了兩個物體“C”和“F”的、由全光攝像機拍攝的光場圖像的一部分，并且“C”比“F”的位置更靠近攝像機。每一個六邊形都表示來自單個微透鏡的子集圖像。
[0010]圖3b示出了來自圖3a的光場圖像的兩個相鄰微透鏡子集圖像。在圖3c中，這兩個子集圖像已經(jīng)按字母C重合的方式重疊。應注意到，字母F向一旁偏移。這表示了以設置在字母C的距離處的焦點呈現(xiàn)的圖像。在圖3d中，這兩個圖像之間的距離已經(jīng)被移位，使得字母F清晰，而字符C模糊?？梢詮脑撌纠闯觯瑘D像之間的更大移位(d)表示了距離更靠近攝像機的焦點。在該示例中，離焦部分顯露出雙擊(double strike)字母。通常來說，當呈現(xiàn)一圖像時，將所有微透鏡子集圖像疊加，使得離焦圖像呈現(xiàn)平滑模糊。[0011]用于呈現(xiàn)的另一方法是，保持各個微透鏡圖像的位置，但放大它們，直到希望焦平面中的細節(jié)重合為止。
[0012]利用目前的光場成像技術，可以聚焦、重新聚焦，以及改變透視。然而，能夠實現(xiàn)新功能的用于處理光場圖像的改進方法、圖形用戶接口，以及計算機程序產(chǎn)品將是有利的。

【發(fā)明內(nèi)容】

[0013]根據(jù)一方面，提供了一種處理由具有已知構造的光場攝像機拍攝的、包括一場景的光場數(shù)據(jù)的第一光場圖像的方法。所述光場數(shù)據(jù)包括拍攝的所述場景的角度信息。所述方法包括以下步驟:根據(jù)所述光場數(shù)據(jù)呈現(xiàn)與拍攝的所述場景的一物體在焦點上的第一焦平面(fl)相對應的第一圖像。而且，所述方法包括以下步驟:選擇所呈現(xiàn)的圖像中的所述物體。而且，所述方法包括以下步驟:應用至少覆蓋了與所選擇的物體的邊緣有關的像素的掩模。所述方法還包括以下步驟:從所述光場數(shù)據(jù)中刪除與所應用的掩模相關聯(lián)的像素，從而得到第一組修改后光場數(shù)據(jù)。
[0014]在又一方面，提供了一種用于連接至一處理裝置、以基于用戶的輸入來處理光場數(shù)據(jù)的圖形用戶接口。所述圖形用戶接口被設置成，在其顯示部中顯示在按特定焦平面拍攝的光場圖像的呈現(xiàn)2D圖像。所述圖形用戶接口包括:用戶輸入控制部，該用戶輸入控制部被設置成，控制所述光場圖像的2D表示的所述焦平面，使之作為2D圖像顯示給用戶。
[0015]根據(jù)另一方面，提供了一種存儲在計算機可讀介質(zhì)上的計算機程序產(chǎn)品，該計算機程序產(chǎn)品包括適于當在數(shù)據(jù)處理裝置上運行時執(zhí)行根據(jù)一些實施方式的方法的步驟的軟件代碼。
[0016]一個目的是，提供一種在包括光場數(shù)據(jù)的光場圖像中進行魯棒邊緣檢測的方法。
[0017]另一目的是，提供一種即使在僅可以標識邊緣的近似位置的情況下，也可在光場圖像中應用邊緣檢測的方法。
[0018]另一目的是，提供一種考慮到可以比傳統(tǒng)非光場2D圖像數(shù)據(jù)的邊緣檢測更精確且可靠的邊緣檢測方法。
[0019]另一目的是，使能實現(xiàn)基于用于重新聚焦過去處理中的光場圖像的能力，來選擇物體和/或邊緣的簡化輸入用戶接口。
[0020]另一目的是，提供一種用于呈現(xiàn)2D圖像的方法，其中，已經(jīng)去除了光場數(shù)據(jù)中的有限尺寸的遮攔物體。
[0021]另一目的是，提供一種用于光場圖像的復制/剪切和粘貼功能。這樣，可以將光場圖像中的一物體的圖像傳遞至另一光場圖像，同時保持所傳遞圖像的深度信息。
【專利附圖】

【附圖說明】
[0022]本發(fā)明能夠實現(xiàn)的這些和其它方面、特征以及優(yōu)點根據(jù)本發(fā)明的實施方式的下列描述將清楚并加以闡明，對附圖進行說明，其中，
[0023]圖1示意性地例示了現(xiàn)有技術的聚焦全光攝像機；
[0024]圖2a和2b例示了所成像物體的、與全光攝像機有關的位置怎樣影響所得光場圖像；
[0025]圖3a例示了由全光攝像機拍攝的兩個物體“C”和“F”的光場圖像的一部分，并且“C”比“F”的位置更靠近攝像機；
[0026]圖3b示出了來自圖3a的光場圖像的兩個相鄰微透鏡子集圖像；
[0027]圖3c例示了圖3b的兩個子集圖像按字母C重合的方式疊加；
[0028]圖3d例示了圖3b的兩個子集圖像按字母F重合的方式疊加；
[0029]圖4a至4c例示了本發(fā)明的原理；
[0030]圖5a至5g例示了根據(jù)一個實施方式的物體去除的實施例；
[0031]圖6a至6d例示了根據(jù)一個實施方式的邊緣檢測的實施例；
[0032]圖7a至7b例示了根據(jù)一個實施方式的剪切/復制粘貼功能的實施例；
[0033]圖8例示了根據(jù)一個實施方式的方法；
[0034]圖9例示了根據(jù)一個實施方式的圖形用戶接口。
【具體實施方式】
[0035]下面的描述集中于可應用于光場圖像中的邊緣檢測的實施方式。
[0036]一種構思是，提供一種去除所拍攝光場圖像中的、遮攔背景的物體，并且呈現(xiàn)其中去除了該物體的新圖像的方法，并且其中，所刪除物體的像素用可從光場圖像取得的、來自該物體后面的真實背景數(shù)據(jù)所替換。
[0037]為了易于理解本發(fā)明 ，圖4a至4c旨在例示本發(fā)明的基礎。
[0038]圖4例示了包括主凸透鏡41的簡單攝像機的光學設置，和光線怎樣從來自物體r的點行進，并且物體s至少部分地遮攔來自物體!的該點的光路。根據(jù)圖4a，可以觀察到，遮攔另一物體的一點的物體s的光路仍使來自物體r的該點的一些光線無遮擋地通過。圖4a的陰影區(qū)表示來自物體r的點的光被物體s遮攔的區(qū)域。然而，來自物體s的邊緣的光與表示r的點的光線混合。這使得物體s看上去模糊了。
[0039]物體s在焦平面f2處清晰成像，如可以在圖4b中觀察到的，其中，形成圖像Si的光線的光路被遮蔽。還可以觀察到，在f2處形成Si的光線遍布f處的圖像A的一些區(qū)域。
[0040]圖4c對應于圖4b，但其中，代替的是，在f處形成ri的光線被遮蔽?？梢杂^察到，這些光線中的一些將在不存在與物體s的圖像相關聯(lián)的光線的位置處擊中f2。
[0041 ] 本發(fā)明人已經(jīng)認識到，這意味著，物體邊緣可以在光場數(shù)據(jù)中精確識別，而該邊緣在二維圖像中可能看上去模糊。通過考慮將表示物體s的所有數(shù)據(jù)從光場圖像中去除，可以從圖4c觀察到，仍存在屬于呈現(xiàn)物體r的光線。如果二維圖像以焦點設置在f2處呈現(xiàn)，則該圖像的一部分會在物體s所希望的位置處缺失。另一方面，如果圖像呈現(xiàn)在焦平面f，則在去除物體s而該圖像中沒有留下任何間隙的情況下，有足夠的數(shù)據(jù)來呈現(xiàn)物體r的點。本發(fā)明人已經(jīng)認識到，這將如同看到后面的物體一樣。然而，應當清楚，對于可以按這種方式成功地去除的物體的尺寸來說，存在限制。
[0042]在此，為理解和完整所述實施方式，應當清楚，聚焦或重新聚焦，即，用于按特定焦平面根據(jù)光場數(shù)據(jù)呈現(xiàn)2D圖像的方法是根據(jù)現(xiàn)有技術已知的。對于全光攝像機構造來說，這種在特定焦平面的聚焦或重新聚焦例如可以如先前針對圖3a至3d所說明地來執(zhí)行，SP，通過將所拍攝場景的幾個子集圖像放到按希望焦平面在每一個子集圖像中的關注物體重合的位置。根據(jù)被用于拍攝光場數(shù)據(jù)的光場攝像機的確切類型和/或構造，可以利用不同的已知聚焦或重新聚焦方法。而且，可以按傅里葉域執(zhí)行聚焦，例如，參見Ren Ng, StanfordUniversity Computer Science Tech Report CSTR 2005-02。
[0043]該希望焦平面還可以例如根據(jù)下面更詳細描述的一個實施方式，通過用戶利用圖形用戶接口來人工選擇。而且，以特定焦平面聚焦或重新聚焦還可以按自動方式執(zhí)行，與常規(guī)自動聚焦方法類似。
[0044]去除光場圖像中的物體或障礙物
[0045]可以在圖5a至5d中觀察本發(fā)明的基礎原理的另一個實施例。
[0046]圖5a例示了要由光場攝像機成像的場景。該場景包括在球的前面某一距離處放置，由此遮攔了球的一部分的棍子。
[0047]為了簡單，圖5b和5c例示了來自對應拍攝的光場圖像的兩個子集圖像。利用公共已知的全光攝像機，將具有部分示出該場景的同一區(qū)域的許多子集圖像。陣列攝像機將具有皆示出整個場景的幾個圖像。圖5b和5c之間可以注意到由于棍子與球相比的位置差別的輕微視差。
[0048]圖5d例示了作為在棍子處聚焦的結果的所呈現(xiàn)圖像，例如，通過將該場景的幾個子集圖像放到處于希望焦平面的物體如上所述重合的位置，假定所拍攝光場圖像由幾個子集圖像組成。因此，在圖5d中，棍子清晰呈現(xiàn)，而球變模糊。
[0049]利用公知的圖像分析技術，現(xiàn)在，可以從圖5d的呈現(xiàn)圖像中去除該棍子。這可以按幾種方法來進行。在典型應用中，可以創(chuàng)建其中標記棍子的像素的掩模。接著，該掩模被用于標識光場數(shù)據(jù)中的、在呈現(xiàn)該圖像時應當排除的像素。當以在棍子處設置的焦平面呈現(xiàn)圖像時，這些子集圖像中的每一個子集圖像疊加，即，每一個子集圖像具有與其它相關的特定位移，如在圖3b和3c中用位移d所示。本發(fā)明人已經(jīng)認識到，可以在將掩模應用在單個子集圖像上時利用完全相同的位移量。因此，這可以被認為反向(backward)進行呈現(xiàn)。因此，通過與對所呈現(xiàn)圖像中的每一個子集圖像的位移的了解一起應用掩模，可以自動地識別并刪除各個子集圖像的表示該棍子的所有像素值。圖5d和5f分別對應于圖5b和5c，其中，該棍子已經(jīng)被刪除。
[0050]通過基于已經(jīng)去除棍子的子集圖像，且焦平面設置在該球的平面(B卩，在該球上聚焦或重新聚焦)，來呈現(xiàn)新圖像，所得圖像將不包含棍子的記號，而不會出現(xiàn)該球的任何缺失細節(jié),如下面進一步說明的.[0051]可以從圖5e和5f觀察到，疊加這兩個子集圖像將導致該球的完整圖像，其在圖5g中示出。
[0052]當所呈現(xiàn)的圖像聚焦在球上時，由此可以向每一個子集圖像的所刪除的棍子數(shù)據(jù)中填充來自其它子集圖像中的至少一個子集圖像的球數(shù)據(jù)。這假定在這些區(qū)域的細節(jié)中不存在相當大的深度差異。如果該圖像接著重新聚焦，例如，針對該棍子先前在焦點中的焦平面重新聚焦，則該球將模糊呈現(xiàn)，但沒有缺失信息。
[0053]應當清楚，制造掩模不是關鍵的?？梢詮膱D4c觀察到，來自物體r的光線的一部分經(jīng)過了物體S。這意指，掩模必須覆蓋打算去除的物體，但其可以稍微更多地覆蓋，而不會遮攔來自物體r的點的所有光。因此，不需要精確地找到邊緣，只要該邊緣完全被掩模覆蓋即可。該事實考慮到根據(jù)一些實施方式的方法的另一用途，即，精確邊緣檢測。
[0054]精確邊緣檢測
[0055]公知的傳統(tǒng)邊緣檢測算法分析圖像上的梯度。邊緣被定義為亮度值的突然變化。所檢測的邊緣不必是物體的邊界。物體的邊界有時在背景的前面稍微模糊地成像。源自背景的光線與來自該物體的光線混合。因而，不可能找到該物體與背景的精確分隔。
[0056]然而，通過利用根據(jù)一些實施方式的方法，能夠以更高的準確度和更明確地找到物體的邊緣。
[0057]參照圖6a至6d,例不了根據(jù)一個實施方式的方法的另一實施例。圖6a例不了描述一個球與其前面的腳的場景。在這個實施例中，與背景相比，腳構成相當大的物體，由此，不能按和針對有關圖5的先前實施例中的棍子相同的方式成功地去除，因為光場數(shù)據(jù)不包括來自位于腳后面的背景的足夠數(shù)據(jù)來實現(xiàn)良好重建。2D圖像是從在焦平面設置在腳處的情況下拍攝該場景的光場圖像呈現(xiàn)的。所呈現(xiàn)2D圖像中的腳的邊緣的近似位置可以通過用戶輸入或者通過自動或人工輔助邊緣檢測方法(例如，謹慎(canny)邊緣算法)來確定。圖6b示出了通過關于近似邊緣位置的已知邊緣檢測方法確定的該邊緣周圍的所得區(qū)域。
[0058]接著可以生成表示該邊緣周圍區(qū)域的掩模(B卩，基于圖6b)并應用至如前所述的光場數(shù)據(jù)。因此，該邊緣周圍區(qū)域(而非如結合圖5的棍子說明的整個物體)可以按和圖5相同的方式從光場數(shù)據(jù)中去除。而且，對應去除部分可以填充相關背景圖像數(shù)據(jù)(其在這種情況下屬于球圖像數(shù)據(jù))，例如，通過利用上述相同方法和在圖5e、5f以及5g中，疊加相關子集圖像。在這種情況下，源自腳邊緣區(qū)域后面的位置的圖像數(shù)據(jù)可以顯露出來。換句話說，該掩模被用于基于呈現(xiàn)在球的焦平面的2D圖像，從光場圖像中刪除腳的邊緣。在應用該掩模并且刪除光場圖像中的腳邊緣周圍的區(qū)域，并且向具有相關背景的所去除部分填充新2D圖像之后，可以根據(jù)更新光場數(shù)據(jù)來呈現(xiàn)圖6c，而焦平面設置在腳處?？梢栽趫D6c看到，腳的邊緣已經(jīng)被成功去除，并且源自球的背景數(shù)據(jù)在對應位置顯露。
[0059]圖6d例示了根據(jù)原始光場數(shù)據(jù)呈現(xiàn)的焦平面的設置在腳處的2D圖像與基于所更新光場數(shù)據(jù)的圖6c的2D圖像之間的、作為根據(jù)一比較(例如，利用諸如相減的任何公共已知方法)的所得2D圖像的所構造2D圖像。
[0060]可以觀察到，與圖6b形成對比，圖6d例示了其中真實邊緣(B卩，物體的外邊界)清晰描繪而不存在源自背景的任何可視偽像的邊緣周圍的區(qū)域。應注意到，圖6d中的圖像的外邊界精確地對應于腳的實際邊緣位置，并且是按上述方式利用如圖6b所示近似邊緣位
置的結果。
[0061]物體復制/剪切和粘貼功能
[0062]傳統(tǒng)照片編輯中的復制/剪切和粘貼動作非常像切出物理圖像的一部分(例如，影印)并將其粘貼在另一物理圖像的頂上。這作為藝術修飾圖像內(nèi)容而頻繁進行。該圖像可以二維移動，并且粘貼在希望位置處。
[0063]按類似方式，可以切出表示光場圖像中存在的物體的光場數(shù)據(jù)。這里，術語“剪切”或“復制”指從光場的數(shù)字表示中提取數(shù)據(jù)。這種剪切或復制圖像接著可以被粘貼到第二光場圖像中。這里，術語“粘貼”指將表示切出部分的光場數(shù)據(jù)傳遞至第二光場圖像的數(shù)字表示。粘貼在該背景下還假定替換數(shù)據(jù)。被粘貼到第二光場圖像中的切出數(shù)據(jù)替換后者中的數(shù)據(jù)。粘貼2D圖像意指沿1和7坐標覆蓋或替換下面的圖像。應當清楚，術語“粘貼”在其達到光場數(shù)據(jù)時意指按3維(例如，x、y和z (深度))替換下面的數(shù)據(jù)。
[0064]因此，一旦精確地識別到物體的邊緣，如圖6d所示，就可以利用精確識別的邊緣作為邊界來生成另一掩模。接著，利用該掩模從原始光場圖像中提取該物體的光場數(shù)據(jù)，以從每一個子集圖像中識別要提取的數(shù)據(jù)。應當清楚，在此，提取由另一掩模限定的數(shù)據(jù)，而非通過在上面圖5和6的實施例中提到的掩模進行排除或刪除。
[0065]圖7a例示了根據(jù)包括磚墻的場景的第二光場圖像呈現(xiàn)的2D圖像。圖7b示出了根據(jù)第二光場圖像的呈現(xiàn)圖像，其中，利用所述另一掩模粘貼來自第一光場圖像的腳的光場數(shù)據(jù)，以確定來自第一光場圖像的什么數(shù)據(jù)要粘貼到第二光場圖像中。包括來自第一和第二光場圖像的合并數(shù)據(jù)的所得光場圖像現(xiàn)在是所粘貼的物體(腳)存在于磚墻前面的光場的表示。應注意到，所得光場保持允許可能利用光場攝影的另一操縱(例如，重新聚焦)的數(shù)據(jù)。
[0066]盡管為了簡化，利用垂直于攝像機構造的光學軸的焦平面例示了上述實施方式，但應當清楚，但本發(fā)明不限于此。事實上，可以利用任何希望焦平面來呈現(xiàn)對應2D圖像。因為光場數(shù)據(jù)包括采用3D的數(shù)據(jù)，所以在3D中可以進行高精度邊緣檢測。而且應注意到，可以根據(jù)要在采用3維的第二光場圖像中粘貼的第一光場圖像來修改或操縱物體的位置。_7] 述
[0068]在一個實施方式中，根據(jù)圖8，提供了用于處理光場圖像的方法80。該光場圖像包括通過具有已知構造的光場攝像機拍攝的場景的光場數(shù)據(jù)。該光場數(shù)據(jù)包括角度信息。因此，該光場數(shù)據(jù)不僅包括二維平面(X和y)的圖像信息而且包括三維(即，深度或相距攝像機位置的距離(Z))的圖像信息。所述方法包括以下步驟:根據(jù)光場數(shù)據(jù)呈現(xiàn)(81)與所拍攝場景的物體位于焦點上的第一焦平面(fl)相對應的第一圖像。所呈現(xiàn)圖像可以是作為特定平面的表示或光場的片段的2D圖像。表示該2D圖像的數(shù)據(jù)保持像素值的X和y位置在光場的限定z平面處。該z平面是由在呈現(xiàn)2D圖像時的焦點位置來限定的。接著，2D圖像的每一個像素值的位置按全部坐標X、y以及z獲知。
[0069]所述方法還包括以下步驟:在所呈現(xiàn)圖像中選擇(82)要處理的物體或其至少一部分。
[0070]通過識別光場數(shù)據(jù)中該物體的對應像素位置并且考慮用于呈現(xiàn)的焦距，可以稍后操縱原始光場數(shù)據(jù)中的光線的矢量。
[0071]所述方法還包括以下步驟:應用(83)掩模，該掩模至少覆蓋與所選擇物體的邊緣有關的像素。由此，當要完全去除該物體時，該掩?？梢愿采w整個物體(如在針對圖5例示的實施例中)，或者，例如，覆蓋該物體的邊緣周圍的區(qū)域(如針對圖6例示的實施例中)。
[0072]隨著如上所述計算要操縱的點的三維位置，可以通過使用掩模來引導先前段落中提到的操縱，或者直接在數(shù)據(jù)上執(zhí)行。用像素值表示的點之間的位置和相對距離可以按絕對值或者通過適于使用中的系統(tǒng)的任何相對措施來表達。
[0073]所述方法還包括以下步驟:從光場數(shù)據(jù)中刪除(841)與所應用掩模相關聯(lián)的像素，從而產(chǎn)生第一組修改后光場數(shù)據(jù)。
[0074]而且，所述方法還可以包括以下步驟:根據(jù)第一組修改后光場數(shù)據(jù)呈現(xiàn)(842)與不同于第一焦平面(fl)的第二焦平面(f2)相對應的第二圖像。
[0075]所述方法80還可以包括以下步驟:利用第一組修改后光場數(shù)據(jù)的剩余角度信息，向與和所應用掩模相關聯(lián)的所刪除像素有關的像素填充(843)來自第一組修改后光場數(shù)據(jù)的、有關于對應像素位置的數(shù)據(jù)，從而產(chǎn)生第二組修改后光場數(shù)據(jù)。
[0076]所述方法還可以包括以下步驟:根據(jù)第二組修改后光場數(shù)據(jù)來呈現(xiàn)(844)與第一焦平面(fl)相對應的第三圖像，例如，參見圖6c。
[0077]所述方法還可以包括以下步驟:基于第一圖像與第三圖像之間的像素差別或比較，來構造(845)第四圖像，例如，參見圖6d。
[0078]而且，所述方法可以包括以下步驟:基于第四圖像的像素來應用(846)另一掩模，從光場數(shù)據(jù)中提取(847) (S卩，復制)被所述另一掩模包圍的像素，以及將所提取像素粘貼(848)到第二光場圖像中，例如，參見圖7b。
[0079]根據(jù)一些實施方式的方法可應用于光場數(shù)據(jù)，而不管所使用的攝像機構造，和光場的數(shù)學表示的所使用格式。用于精確限定邊緣并且去除遮攔物體的方法可以應用至任何種類的光場數(shù)據(jù)，而與攝像機構造無關。
_0] 圖形用戶接口
[0081]在一個實施方式中，根據(jù)圖9，提供了圖形用戶接口 90。
[0082]所述圖形用戶接口被設置成，交互式地允許用戶利用根據(jù)一些實施方式的方法。
[0083]該圖形用戶接口連接至一處理裝置、以基于用戶的輸入來處理光場數(shù)據(jù)。該圖形用戶接口被設置成，在顯示部91中呈現(xiàn)在特定焦平面拍攝的光場圖像的呈現(xiàn)2D圖像。該用戶接口包括用戶輸入控制部92，該用戶輸入控制部被設置成，控制光場圖像的2D表示的焦平面，使光場圖像作為2D圖像顯示給用戶。因此，通過利用用戶輸入控制部92，用戶能夠以用戶友好方式，聚焦/重新聚焦在該場景的特定物體上。該用戶輸入控制部例如可以是滑動條的滑塊，其中，該滑動條中的滑塊的位置控制了自動呈現(xiàn)對應2D圖像的焦平面。由此，可以將滑塊移動至用戶對所呈現(xiàn)2D圖像的聚焦?jié)M意的位置。
[0084]在另一實施方式中，該圖形用戶接口 90還包括:用于從所呈現(xiàn)2D圖像中選擇要操縱(例如，刪除或復制)的物體或其大致邊緣的裝置93。用于選擇的裝置93可以是另一用戶輸入控制部，其允許用戶在大致邊緣上選擇(例如，通過選擇按鈕或點擊裝置)。當選擇該物體或其大致邊緣時，該圖形用戶接口被設置成，將該信息轉發(fā)至處理裝置以開始邊緣檢測算法。
[0085]在一個實施方式中，該圖形用戶接口 90還設置有用于從光場數(shù)據(jù)中刪除(例如，通過刪除按鈕)通過邊緣檢測而識別的物體或其接近邊緣的裝置94。通過激活用于刪除的裝置，該處理裝置被設置成，應用至少覆蓋與所選擇物體的邊緣有關的像素的掩模，并且從光場數(shù)據(jù)中刪除與所應用的掩模相關聯(lián)的像素，從而產(chǎn)生第一組修改后光場數(shù)據(jù)。
[0086]在一個實施方式中，該圖形用戶接口 90還設置有用于向與所刪除物體或其邊緣有關的像素填充(例如，通過填充按鈕)來自光場圖像的、有關于對應像素位置的數(shù)據(jù)的裝置95。通過激活用于填充的裝置，該處理裝置被設置成，利用修改后光場數(shù)據(jù)的剩余角度信息，向與和所應用掩模相關聯(lián)的所刪除像素有關的像素填充來自第一組修改后光場數(shù)據(jù)的、有關于對應像素位置的數(shù)據(jù)，從而產(chǎn)生第二組修改后光場數(shù)據(jù)。
[0087]在一個實施方式中，該圖形用戶接口 90還設置有用于允許用戶復制通過邊緣檢測識別的物體的裝置96，和用于將該物體粘貼(例如，通過粘貼按鈕)到可選地顯示在另一顯示部98中的另一光場圖像中的裝置97，該顯示部98具有輸入控制部99，該輸入控制部被設置成，控制光場圖像的2D表達的焦平面，使光場圖像顯示為2D圖像。通過激活用于復制該物體的裝置，該處理裝置被設置成，根據(jù)第二組修改后光場數(shù)據(jù)來呈現(xiàn)與第一焦平面(fl)相對應的第三圖像，隨后，基于第一圖像與第三圖像之間的像素差別或比較，來構造第四圖像。接著，基于第四圖像的像素來應用另一掩模，最后，提取光場數(shù)據(jù)中的被所述另一掩模包圍的像素。通過激活用于粘貼的裝置，該處理裝置被設置成，將所提取的像素粘貼到第二光場圖像中。
[0088]本發(fā)明可以按包括硬件、軟件、固件或這些的任何組合的任何合適形式來實現(xiàn)。然而，優(yōu)選的是，本發(fā)明被實現(xiàn)為一種存儲在計算機可讀介質(zhì)上的計算機程序產(chǎn)品，該計算機程序產(chǎn)品包括適于當在數(shù)據(jù)處理裝置和/或數(shù)字信號處理器上執(zhí)行時執(zhí)行根據(jù)上述一些或全部實施方式的方法的步驟的軟件代碼。本發(fā)明的一實施方式的部件和組件可以物理地、功能上地以及邏輯地按任何合適方式來實現(xiàn)。實際上，該功能可以按單一單元、按多個單元或者作為其它功能單元的一部分來實現(xiàn)。同樣地，本發(fā)明可以按單一單位來實現(xiàn)，或者可以物理地且功能上地分布在不同單元與處理器之間。
[0089]盡管上面本發(fā)明參照【具體實施方式】進行了描述，但其不是旨在受限于在此闡述的具體形式。相反地，本發(fā)明僅通過所附權利要求書來限制。
【權利要求】
1.一種處理第一光場圖像的方法(80)，所述第一光場圖像包括由具有已知構造的光場攝像機拍攝的場景的光場數(shù)據(jù)，其中，所述光場數(shù)據(jù)包括所拍攝場景的角度信息，所述方法包括以下步驟: 根據(jù)所述光場數(shù)據(jù)來呈現(xiàn)(81)第一圖像，所述第一圖像與所拍攝的場景的物體所對焦在的第一焦平面(Π)相對應， 選擇(82)所呈現(xiàn)的圖像中的所述物體； 應用(83)掩模，所述掩模至少覆蓋了與所選擇的物體的邊緣有關的像素；以及 從所述光場數(shù)據(jù)中刪除(841)與所應用的掩模相關聯(lián)的像素，從而得到第一組修改后光場數(shù)據(jù)。
2.根據(jù)權利要求1所述的方法，所述方法還包括以下步驟: 根據(jù)所述第一組修改后光場數(shù)據(jù)來呈現(xiàn)(842)與不同于所述第一焦平面(Π)的第二焦平面(f2)相對應的第二圖像。
3.根據(jù)權利要求1或2所述的方法，所述方法還包括以下步驟: 利用所述第一組修改后光場數(shù)據(jù)的剩余角度信息，以所述第一組修改后光場數(shù)據(jù)中的、與對應像素位置有關的數(shù)據(jù)來填充(843)與和所應用的掩模相關聯(lián)的被刪除的像素有關的像素，從而得到第二組修改后光場數(shù)據(jù)。
4.根據(jù)權利要求3所述的方法，所述方法還包括以下步驟: 根據(jù)所述第二組修改后光場數(shù)據(jù)來呈現(xiàn)(844)與所述第一焦平面(Π)相對應的第三圖像。`
5.根據(jù)權利要求4所述的方法，所述方法還包括以下步驟: 基于所述第一圖像與所述第三圖像之間的像素差別或比較來構造(845)第四圖像。
6.根據(jù)權利要求5所述的方法，所述方法還包括以下步驟: 基于所述第四圖像的像素來應用(846)另一掩模， 提取(847)所述光場數(shù)據(jù)中被所述另一掩模包圍的像素，以及 將所提取的像素粘貼(848)到第二光場圖像中。
7.根據(jù)權利要求3所述的方法，其中，所述與對應像素位置有關的數(shù)據(jù)是從所述光場數(shù)據(jù)的兩個子集圖像中的至少一個子集圖像獲取的，其中，所述至少兩個子集圖像中的每一個子集圖像都包括所拍攝場景的不同角度信息。
8.一種用于連接至處理裝置、以基于用戶的輸入來處理光場數(shù)據(jù)的圖形用戶接口(90)，該圖形用戶接口被設置成在其顯示部(91)中顯示在特定焦平面處拍攝的光場圖像的呈現(xiàn)2D圖像，并且包括: 用戶輸入控制部(92)，其被設置成控制所述光場圖像的2D表示的焦平面，使所述光場圖像作為2D圖像顯示給用戶。
9.根據(jù)權利要求8所述的圖形用戶接口(90)，其中，所述用戶輸入控制部是滑塊。
10.根據(jù)權利要求8或9所述的圖形用戶接口(90)，所述圖形用戶接口還包括:用于從所述呈現(xiàn)2D圖像中選擇物體或其大致邊緣的裝置(93)，并且基于所述選擇，所述處理裝置被設置成開始識別所述物體或其邊緣附近區(qū)域的邊緣檢測算法。
11.根據(jù)權利要求10所述的圖形用戶接口(90)，所述圖形用戶接口還包括:用于應用至少覆蓋了與所選擇的物體的邊緣有關的像素的掩模，并且從所述光場數(shù)據(jù)中刪除與所應用的掩模相關聯(lián)的像素，從而得到第一組修改后光場數(shù)據(jù)的裝置(94)。
12.根據(jù)權利要求1所述的圖形用戶接口(90)，所述圖形用戶接口還包括:用于利用所述修改后光場數(shù)據(jù)的剩余角度信息，以所述第一組修改后光場數(shù)據(jù)中的、與對應像素位置有關的數(shù)據(jù)來填充與和所應用的掩模相關聯(lián)的被刪除的像素有關的像素，從而得到第二組修改后光場數(shù)據(jù)的裝置(95)。
13.根據(jù)權利要求8至12中任一項所述的圖形用戶接口(90)，所述圖形用戶接口還包括用于通過以下步驟來復制所述物體的裝置(96): 根據(jù)所述第二組修改后光場數(shù)據(jù)來呈現(xiàn)與所述第一焦平面(fl)相對應的第三圖像； 基于所述第一圖像與所述第三圖像之間的像素差別或比較來構造第四圖像； 基于所述第四圖像的像素來應用另一掩模；以及 提取(947 )所述光場數(shù)據(jù)中被所述另一掩模包圍的像素，和 用于將所提取的像素粘貼(97)到第二光場圖像中的裝置。
14.根據(jù)權利要求13所述 的圖形用戶接口(90)，所述圖形用戶接口還包括與另一輸入控制部(99)相關聯(lián)的另一顯示部(98)，該另一輸入控制部(99)被設置成控制所述第二光場圖像的2D表示的焦平面，使所述第二光場圖像作為2D圖像顯示在所述顯示部(98)中。
15.一種存儲在計算機可讀介質(zhì)上的計算機程序產(chǎn)品，該計算機程序產(chǎn)品包括被配置為當在數(shù)據(jù)處理裝置上運行時執(zhí)行根據(jù)權利要求1至7中任一項所述的方法的步驟的軟件代碼。
【文檔編號】G06T5/50GK103503023SQ201180070375
【公開日】2014年1月8日 申請日期:2011年5月4日 優(yōu)先權日:2011年5月4日
【發(fā)明者】馬茨·維爾納松 申請人:索尼愛立信移動通訊有限公司