本發(fā)明涉及一種圖像處理裝置和方法。特別地，本發(fā)明涉及一種用于確定表示相對(duì)于多個(gè)位置的視覺(jué)場(chǎng)景的多個(gè)圖像的參考圖像的像素深度的圖像處理裝置和方法。

背景技術(shù)：

計(jì)算機(jī)視覺(jué)和計(jì)算攝影領(lǐng)域的一個(gè)基本任務(wù)就是基于4d光場(chǎng)，即在攝像機(jī)位置的規(guī)則網(wǎng)格上捕獲的真實(shí)世界視覺(jué)場(chǎng)景的多個(gè)2d圖像，估算真實(shí)世界視覺(jué)場(chǎng)景的深度圖。隨著全光相機(jī)的日益普及有望在不久的將來(lái)代替?zhèn)鹘y(tǒng)的數(shù)碼相機(jī)，在將來(lái)將對(duì)深度圖估算算法的計(jì)算效率將提出更高的要求。

然而，根據(jù)4d光場(chǎng)，即在攝像機(jī)位置的規(guī)則網(wǎng)格上捕獲的真實(shí)世界視覺(jué)場(chǎng)景的多個(gè)2d圖像，估算真實(shí)世界視覺(jué)場(chǎng)景的深度圖這一任務(wù)仍面臨各種挑戰(zhàn)，例如，精確估算無(wú)紋理，即顏色均勻、區(qū)域和/或深度不連續(xù)的視覺(jué)場(chǎng)景下的深度圖。的確，在顏色均勻的區(qū)域，識(shí)別跨多個(gè)視角/圖像的視覺(jué)場(chǎng)景的對(duì)應(yīng)點(diǎn)難度極大。當(dāng)前的算法解決方案傾向于對(duì)估算出的深度圖進(jìn)行過(guò)度平滑。但是，這只適用于物體邊界處以及深度連續(xù)性較差的情況。這導(dǎo)致對(duì)這些位置處的視覺(jué)場(chǎng)景的深度圖估算失準(zhǔn)。

《全球一致的4d光場(chǎng)深度標(biāo)簽》(s.wanner和b.goldluecke，計(jì)算機(jī)視覺(jué)和模式識(shí)別(cvpr)，2012)一文中描述了一種用于通過(guò)定向分析(基于所謂的結(jié)構(gòu)張量)核線(xiàn)圖像來(lái)估算視覺(jué)場(chǎng)景的深度圖的方法。這些圖像中的每一個(gè)圖像都是4d光場(chǎng)的2d切割。結(jié)構(gòu)張量分析提供了一種初始深度圖估算，即一種快速的局部解決方案，然后可以通過(guò)應(yīng)用全局優(yōu)化方法，即全局慢速解決方案來(lái)加以改進(jìn)。這增加了計(jì)算的復(fù)雜度和成本?？焖倬植拷鉀Q方案可以實(shí)時(shí)地在標(biāo)準(zhǔn)gpu上實(shí)現(xiàn)。為了估算視覺(jué)場(chǎng)景的深度圖，從中心沿從參考圖像的中心經(jīng)過(guò)的水平線(xiàn)規(guī)則放置的圖像獲得第一深度圖，并且從沿垂直方向放置的圖像獲得第二深度圖。合并第一和第二深度圖以獲得最終深度圖，其中，第一和第二深度圖的合并基于各自的置信度圖，因?yàn)閷?duì)于每個(gè)像素，選擇兩個(gè)候選圖中具有最高置信度值的深度值。

《高空間角分辨光場(chǎng)的場(chǎng)景重建》(siggraph，2013)一文中描述了用于從4d光場(chǎng)重建視覺(jué)場(chǎng)景的備選解決方案，其可以更好地處理顏色均勻區(qū)域，同時(shí)仍保留深度圖的不連續(xù)性。同樣，在這種情況下計(jì)算復(fù)雜度高，因此，實(shí)時(shí)實(shí)現(xiàn)是不可能的。輸入4d光場(chǎng)還必須進(jìn)行足夠密集的采樣，這在全光相機(jī)的情況下通常是不可能的。同樣在這種情況下，從中心沿從參考圖像的中心經(jīng)過(guò)的水平線(xiàn)規(guī)則放置的圖像獲得第一深度圖，并且從沿垂直方向放置的圖像獲得第二深度圖。

因此，需要提供一種改進(jìn)的圖像處理裝置和方法，特別是能夠改進(jìn)深度估算的圖像處理裝置和方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種能夠改進(jìn)深度估算的圖像處理裝置和方法。

該目的通過(guò)獨(dú)立權(quán)利要求的主題來(lái)實(shí)現(xiàn)。具體實(shí)現(xiàn)方式參見(jiàn)從屬權(quán)利要求、說(shuō)明書(shū)和附圖。

為詳細(xì)描述本發(fā)明，將使用具有以下含義的以下術(shù)語(yǔ)：

2d圖像由例如數(shù)碼相機(jī)獲取的真實(shí)世界視覺(jué)場(chǎng)景的二維圖片。

4d光場(chǎng)在攝像機(jī)位置的規(guī)則網(wǎng)格(例如，矩形或六邊形)上捕獲的真實(shí)世界視覺(jué)場(chǎng)景的一系列2d圖像。

全光相機(jī)捕獲4d光場(chǎng)的相機(jī)。

深度圖通常是視覺(jué)場(chǎng)景的灰度2d圖像，其中，亮像素指示更靠近相機(jī)的場(chǎng)景的點(diǎn)，而較暗像素指示更遠(yuǎn)的點(diǎn)。

參考圖像4d光場(chǎng)的圖像之一，需為其計(jì)算深度圖。

置信圖通常是灰度2d圖像(取值通常在0和1之間)，其中，亮像素指示深度估算更可靠的視覺(jué)場(chǎng)景的點(diǎn)，而較暗像素指示對(duì)應(yīng)于深度估算可靠性較低的視覺(jué)場(chǎng)景的點(diǎn)的像素。

基線(xiàn)2個(gè)連續(xù)圖像的中心之間的距離，即相機(jī)和位置。

視差在一個(gè)圖像中的視覺(jué)場(chǎng)景的特定點(diǎn)/像素的投影與連續(xù)相鄰圖像中的對(duì)應(yīng)點(diǎn)/像素的投影之間的位移。視差與該點(diǎn)/像素到相機(jī)的距離成反比，即點(diǎn)/像素的深度。

根據(jù)第一方面，本發(fā)明涉及一種圖像處理裝置，用于確定表示相對(duì)于多個(gè)位置的視覺(jué)場(chǎng)景的多個(gè)圖像的參考圖像的像素深度，其中，所述多個(gè)位置定義具有行和列的二維規(guī)則網(wǎng)格，如矩形網(wǎng)格，所述參考圖像的位置與所述網(wǎng)格的參考行和參考列相關(guān)聯(lián)。

該圖像處理裝置包括深度確定器，用于基于所述參考圖像和所述多個(gè)圖像的第一子集確定第一深度估算，所述第一深度估算用于確定所述參考圖像的像素深度，其中，所述第一子集的圖像與不同于參考行的網(wǎng)格的至少一行相關(guān)聯(lián)的位置以及與不同于參考列的網(wǎng)格的至少一列相關(guān)聯(lián)的位置相關(guān)聯(lián)。因此，提供了能夠改進(jìn)深度估算的圖像處理裝置。

在本發(fā)明第一方面第一種可能的實(shí)現(xiàn)方式中，所述深度確定器還用于基于所述參考圖像和所述多個(gè)圖像的第二子集確定第二深度估算，其中，所述多個(gè)圖像的第二子集的圖像與所述參考行相關(guān)聯(lián)的位置相關(guān)聯(lián)；且所述深度確定器還用于結(jié)合所述第一深度估算和所述第二深度估算以確定所述參考圖像的像素深度。該實(shí)現(xiàn)方式用高效的計(jì)算方式組合深度信息，該深度信息可從位于與參考圖像相同行中的圖像和位于不同行和列中的圖像獲得。

在本發(fā)明第一方面第二種可能的實(shí)現(xiàn)方式或第一種實(shí)現(xiàn)方式中，所述深度確定器還用于基于所述參考圖像和所述多個(gè)圖像的第三子集確定第三深度估算，其中，所述多個(gè)圖像的第三子集的圖像與所述參考列相關(guān)聯(lián)的位置相關(guān)聯(lián)；且還用于結(jié)合所述第一深度估算、所述第二深度估算和/或所述第三深度估算以確定所述參考圖像的像素深度。該實(shí)現(xiàn)方式用計(jì)算高效的方式組合深度信息，該深度信息可從位于與參考圖像相同列中的圖像和位于不同行和列中的圖像獲得。

結(jié)合本發(fā)明第一方面第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述深度確定器用于通過(guò)計(jì)算所述第一深度估算、所述第二深度估算和/或所述第三深度估算的中值來(lái)確定所述參考圖像的像素深度。該實(shí)現(xiàn)方式提供了確定深度的有效的計(jì)算方式，無(wú)需計(jì)算置信度值。

在本發(fā)明第一方面第四種可能的實(shí)現(xiàn)方式或第一至第三種實(shí)現(xiàn)方式中的任意一種實(shí)現(xiàn)方式中，所述深度確定器用于通過(guò)確定由參考圖像中的像素的位置及所述多個(gè)圖像的第一子集、第二子集或第三子集中的相應(yīng)像素的位置所定義的核線(xiàn)的斜率分別確定所述第一深度估算、所述第二深度估算和/或所述第三深度估算。這種實(shí)現(xiàn)方式產(chǎn)生相當(dāng)好的深度估算。

在本發(fā)明第一方面第五種可能的實(shí)現(xiàn)方式或第一至第四種實(shí)現(xiàn)方式中的任意一種實(shí)現(xiàn)方式中，所述圖像處理裝置還包括置信度值確定器，其中，所述置信度值確定器用于分別確定與所述第一深度估算、所述第二深度估算和/或所述第三深度估算相關(guān)聯(lián)的置信度值。這種實(shí)現(xiàn)方式產(chǎn)生相當(dāng)可靠的深度估算。

結(jié)合本發(fā)明第一方面第五種實(shí)現(xiàn)方式，在第六種可能的實(shí)現(xiàn)方式中，所述深度確定器用于通過(guò)從由所述第一深度估算、所述第二深度估算和/或所述第三深度估算構(gòu)成的分組中選擇具有最大置信度值的深度估算來(lái)確定所述參考圖像的像素深度。這種實(shí)現(xiàn)方式產(chǎn)生相當(dāng)可靠的深度估算。

結(jié)合本發(fā)明第一方面第五或第六種實(shí)現(xiàn)方式，在第七種可能的實(shí)現(xiàn)方式中，所述置信度值確定器用于分別基于由所述多個(gè)圖像的第一子集、第二子集和第三子集定義的結(jié)構(gòu)張量為所述第一深度估算、所述第二深度估算和/或所述第三深度估算確定置信度值。這種實(shí)現(xiàn)方式產(chǎn)生相當(dāng)可靠的深度估算。

結(jié)合本發(fā)明第一方面第七種實(shí)現(xiàn)方式，在第八種可能的實(shí)現(xiàn)方式中，所述置信度值確定器用于基于以下方程定義的濾波器k排除深度估算：

其中，d表示像素的視差，b表示所述參考圖像和所述多個(gè)圖像的第一子集定義的基線(xiàn)。該實(shí)現(xiàn)方式僅使用可靠的深度估算來(lái)估算深度。

在本發(fā)明第一方面第九種可能的實(shí)現(xiàn)方式或第一至第八種實(shí)現(xiàn)方式中的任意一種實(shí)現(xiàn)方式中，所述深度確定器用于基于所述第一深度估算，通過(guò)在所述參考圖像的像素強(qiáng)度與所述多個(gè)圖像的第一子集中的相應(yīng)像素強(qiáng)度之間插入像素強(qiáng)度確定所述參考圖像的像素深度。該實(shí)現(xiàn)方式支持密集差異處理。

在本發(fā)明第一方面第十種可能的實(shí)現(xiàn)方式或第一至第九種實(shí)現(xiàn)方式中的任意一種實(shí)現(xiàn)方式中，所述圖像處理裝置還包括圖像記錄器，用于記錄表示所述多個(gè)位置處的視覺(jué)場(chǎng)景的所述多個(gè)圖像。

結(jié)合本發(fā)明第一方面第十種實(shí)現(xiàn)方式，在第十一種可能的實(shí)現(xiàn)方式中，所述圖像記錄器包括可移動(dòng)相機(jī)、相機(jī)陣列或全光相機(jī)。

在本發(fā)明第一方面第十二種可能的實(shí)現(xiàn)方式或第一至第十一種實(shí)現(xiàn)方式中的任意一種實(shí)現(xiàn)方式中，所述圖像處理裝置用于通過(guò)確定所述參考圖像的多個(gè)像素的深度確定所述參考圖像的深度圖。

在本發(fā)明第一方面第十三種可能的實(shí)現(xiàn)方式或第一至第十二種實(shí)現(xiàn)方式中的任意一種實(shí)現(xiàn)方式中，所述深度確定器用于基于所述參考圖像、和所述多個(gè)圖像的第一子集確定用于確定所述參考圖像的像素深度的所述第一深度估算，其中，所述參考圖像和所述多個(gè)圖像的第一子集具有相同的中心像素。

根據(jù)第二方面，本發(fā)明涉及一種圖像處理方法，用于確定表示相對(duì)于多個(gè)位置的視覺(jué)場(chǎng)景的多個(gè)圖像的參考圖像的像素深度，其中，所述多個(gè)位置定義具有行和列的二維網(wǎng)格，所述參考圖像的位置與所述網(wǎng)格的參考行和參考列相關(guān)聯(lián)。所述圖像處理方法包括基于所述參考圖像和所述多個(gè)圖像的第一子集確定第一深度估算，確定所述參考圖像的像素深度這一步驟，其中，所述第一子集的圖像與不同于參考行的所述網(wǎng)格的至少一行相關(guān)聯(lián)的位置以及與不同于參考列的所述網(wǎng)格的至少一列相關(guān)聯(lián)的位置相關(guān)聯(lián)。

根據(jù)本發(fā)明的第二方面的圖像處理方法可以由根據(jù)本發(fā)明的第一方面的圖像處理裝置執(zhí)行。根據(jù)本發(fā)明的第二方面的圖像處理方法的進(jìn)一步的特征直接來(lái)自根據(jù)本發(fā)明的第一方面的圖像處理裝置的功能以及其不同的實(shí)施形式。

根據(jù)第三方面，本發(fā)明涉及一種計(jì)算機(jī)程序，包括當(dāng)計(jì)算機(jī)程序在計(jì)算機(jī)上執(zhí)行時(shí)用于執(zhí)行根據(jù)本發(fā)明的第二方面的方法的程序代碼。

本發(fā)明可以以硬件和/或軟件形式來(lái)實(shí)現(xiàn)。

附圖說(shuō)明

本發(fā)明的具體實(shí)施方式將結(jié)合以下附圖進(jìn)行描述，其中：

圖1示出了一個(gè)實(shí)施例提供的一種圖像處理裝置的示意圖；

圖2示出了一個(gè)實(shí)施例提供的可由圖像處理裝置和方法處理的多個(gè)圖像的網(wǎng)格的說(shuō)明性示例；

圖3示出了一個(gè)實(shí)施例提供的可由圖像處理裝置和方法處理的多個(gè)圖像的網(wǎng)格的說(shuō)明性示例；

圖4示出了一個(gè)實(shí)施例提供的從在圖像處理裝置中實(shí)現(xiàn)的多個(gè)圖像的網(wǎng)格中選擇像素的示意圖；

圖5示出了一個(gè)實(shí)施例提供的在處理裝置中實(shí)現(xiàn)的深度估算的示意圖；

圖6示出了一個(gè)實(shí)施例提供的在處理裝置中實(shí)現(xiàn)的確定深度的示意圖；

圖7示出了一個(gè)實(shí)施例提供的在處理裝置中實(shí)現(xiàn)的確定置信度值的示意圖；

圖8示出了一個(gè)實(shí)施例提供的在處理裝置中實(shí)現(xiàn)的確定置信度值的示意圖；

圖9示出了一個(gè)實(shí)施例提供的一種圖像處理方法的示意圖。

具體實(shí)施方式

以下結(jié)合附圖進(jìn)行詳細(xì)描述，所述附圖是描述的一部分，并通過(guò)圖解說(shuō)明的方式示出可以實(shí)施本發(fā)明的具體方面?？梢岳斫獾氖?，在不脫離本發(fā)明范圍的情況下，可以利用其他方面，并可以做出結(jié)構(gòu)上或邏輯上的改變。因此，以下詳細(xì)的描述并不當(dāng)作限定，本發(fā)明的范圍由所附權(quán)利要求書(shū)界定。

可以理解的是，與所描述的方法有關(guān)的內(nèi)容對(duì)于與用于執(zhí)行方法對(duì)應(yīng)的設(shè)備或系統(tǒng)也同樣適用，反之亦然。例如，如果描述了一個(gè)具體的方法步驟，對(duì)應(yīng)的設(shè)備或裝置可以包括用于執(zhí)行所描述的方法步驟的單元，即使此類(lèi)單元未在圖中詳細(xì)闡述或說(shuō)明。進(jìn)一步看，可以理解的是，此處描述的各種示例性方面的特征可以互相結(jié)合，除非有特別說(shuō)明。

圖1示出了一個(gè)實(shí)施例提供的一種圖像處理裝置100的示意圖。該圖像處理裝置100用于確定表示相對(duì)于多個(gè)位置，例如表示相機(jī)位置，的視覺(jué)場(chǎng)景的多個(gè)圖像的參考圖像的像素深度107。所述多個(gè)位置定義規(guī)則的具有行和列的二維網(wǎng)格。圖2和圖3示出了攝像機(jī)位置的示例性正方形二維網(wǎng)格200。為了便于說(shuō)明，已經(jīng)在圖2和圖3的示例性正方形二維網(wǎng)格200中選擇了中心圖像作為參考圖像201。本領(lǐng)域技術(shù)人員應(yīng)理解，根據(jù)本發(fā)明，圖2和圖3中所示的多個(gè)圖像中的任何一個(gè)圖像也可以被選擇為參考圖像。所述參考圖像201位于所述二維網(wǎng)格200的參考行203和參考列205內(nèi)。

該圖像處理裝置100包括深度確定器101，用于基于所述參考圖像201和所述多個(gè)圖像105的第一子集確定第一深度估算，確定所述參考圖像201的像素深度107，其中，所述第一子集的圖像與不同于參考行203的網(wǎng)格200的至少一行相關(guān)聯(lián)的位置以及與不同于參考列205的網(wǎng)格200的至少一列相關(guān)聯(lián)的位置相關(guān)聯(lián)。

作為一個(gè)實(shí)施例，該圖像處理裝置100可以包括圖像記錄器102，用于記錄表示所述多個(gè)位置處的視覺(jué)場(chǎng)景的所述多個(gè)圖像105。作為一個(gè)實(shí)施例，該圖像記錄器102包括例如可移動(dòng)相機(jī)、相機(jī)陣列或全光相機(jī)。作為一個(gè)實(shí)施例，該圖像處理裝置100用于通過(guò)確定所述參考圖像201的多個(gè)像素的各自深度107確定參考圖像201的深度圖。

作為一個(gè)實(shí)施例，該深度確定器101用于例如基于所述參考圖像201和沿圖2中所示的虛線(xiàn)207放置的網(wǎng)格200的多個(gè)圖像105的子集確定第一深度估算，該虛線(xiàn)207對(duì)應(yīng)于網(wǎng)格200的一條對(duì)角線(xiàn)。

作為一個(gè)實(shí)施例，該深度確定器101用于例如基于所述參考圖像201和沿圖2中所示的虛線(xiàn)209放置的網(wǎng)格200的多個(gè)圖像105的子集確定第一深度估算，該虛線(xiàn)209與由網(wǎng)格200的參考行203定義的線(xiàn)形成小于45°的角。

作為一個(gè)實(shí)施例，該深度確定器101還用于基于所述參考圖像201和所述多個(gè)圖像105的第二子集確定第二深度估算，其中，所述多個(gè)圖像105的第二子集的圖像與所述參考行203相關(guān)聯(lián)的位置相關(guān)聯(lián)；且所述深度確定器101還用于結(jié)合所述第一深度估算和所述第二深度估算以確定所述參考圖像的像素深度107。作為一個(gè)實(shí)施例，該深度確定器101還用于例如基于所述參考圖像201和沿圖3中所示的虛線(xiàn)307放置的多個(gè)圖像105的第二子集確定所述第二深度估算。

作為一個(gè)實(shí)施例，該深度確定器101還用于基于所述參考圖像201和所述多個(gè)圖像105的第三子集確定第三深度估算，其中，所述多個(gè)圖像105的第三子集的圖像與所述參考列205相關(guān)聯(lián)的位置相關(guān)聯(lián)；且所述深度確定器101還用于結(jié)合所述第一深度估算、所述第二深度估算和/或所述第三深度估算以確定所述參考圖像201的像素深度107。作為一個(gè)實(shí)施例，該深度確定器101還用于例如基于所述參考圖像201和沿圖3中所示的虛線(xiàn)307放置的多個(gè)圖像105的第三子集確定所述第三深度估算。

作為一個(gè)實(shí)施例，該深度確定器101用于通過(guò)計(jì)算所述第一深度估算、所述第二深度估算和/或所述第三深度估算的中值來(lái)確定所述參考圖像201的像素深度107。作為一個(gè)實(shí)施例，該深度確定器101用于例如通過(guò)計(jì)算基于所述參考圖像201和沿圖2中所示的虛線(xiàn)207放置的所述網(wǎng)格200的所述多個(gè)圖像105的子集確定的第一深度估算的中值，基于所述參考圖像201和沿圖3中所示的虛線(xiàn)309放置所述多個(gè)圖像105的第二子集確定的第二深度估算的中值，以及基于所述參考圖像201和沿圖3中所示的虛線(xiàn)307放置的所述多個(gè)圖像105的第三子集確定的第三深度估算的中值，確定所述參考圖像201的像素的深度107。

作為一個(gè)實(shí)施例，該深度確定器101用于基于所述參考圖像201和所述多個(gè)圖像105的第一子集確定所述第一深度估算以確定所述參考圖像201的像素深度107，其中，所述參考圖像201和所述多個(gè)圖像105的第一子集具有相同的中心像素。

本領(lǐng)域技術(shù)人員應(yīng)理解，沿圖2中所示的虛線(xiàn)207放置的圖像的基線(xiàn)207a和沿圖2中所示的虛線(xiàn)209放置的圖像的基線(xiàn)209a不同于沿圖3中所示的虛線(xiàn)307放置的圖像的基線(xiàn)307a和沿圖3中所示的虛線(xiàn)309放置的圖像的基線(xiàn)309a。

對(duì)于沿圖2中所示的虛線(xiàn)207放置的圖像或沿圖2中所示的虛線(xiàn)209放置的圖像，被處理的像素必須位于特定圖像內(nèi)的線(xiàn)上，其方向形成相同的角度，例如，與圖像的下邊緣如虛線(xiàn)207或虛線(xiàn)209或與圖3中所示的水平線(xiàn)307形成相同的角度。圖4中將對(duì)此進(jìn)行詳細(xì)闡述。圖4中所示的虛線(xiàn)405定義所述網(wǎng)格200的所述多個(gè)圖像105的示例性子集，該子集可以與參考圖像一起由所述圖像處理裝置100處理，以確定參考圖像201內(nèi)的像素深度。圖4中所示的虛線(xiàn)405與例如圖3中所示的水平線(xiàn)307成α角。從圖4右側(cè)更詳細(xì)的視圖可以看出，例如在圖像401中，潛在地對(duì)應(yīng)于要確定深度的參考圖像201的像素的像素沿線(xiàn)，例如線(xiàn)403，與例如圖像401的下邊緣形成相同的角度α。本領(lǐng)域技術(shù)人員應(yīng)理解，與沿在上述圖3的上下文中描述的線(xiàn)307或309的采樣相比，這將導(dǎo)致沿線(xiàn)405的潛在對(duì)應(yīng)像素的采樣較稀疏。為此，作為一個(gè)實(shí)施例，該深度確定器101用于插入要在參考圖像201中的像素的強(qiáng)度與正被處理的多個(gè)圖像105的子集中的對(duì)應(yīng)像素的強(qiáng)度之間確定深度的像素的強(qiáng)度，并基于該插入來(lái)確定像素的深度。作為一個(gè)實(shí)施例，該深度確定器101還用于例如插入要在參考圖像201中的像素的強(qiáng)度與圖4中所示的圖像407中的對(duì)應(yīng)像素的強(qiáng)度之間確定深度的像素的強(qiáng)度。作為一個(gè)實(shí)施例，該深度確定器101可用于執(zhí)行雙線(xiàn)性插入。

作為一個(gè)實(shí)施例，該深度確定器101用于通過(guò)確定由參考圖像中的像素的位置及所述多個(gè)圖像的第一子集、第二子集或第三子集中的相應(yīng)像素的位置所定義的核線(xiàn)的斜率分別確定所述第一深度估算、第二深度估算和/或第三深度估算。下面將進(jìn)一步參考圖5和圖6更詳細(xì)地描述使用核線(xiàn)的斜率來(lái)確定深度估算的實(shí)施例。

圖5示出了通過(guò)圖3所示的示例性線(xiàn)307的核線(xiàn)斜率來(lái)確定深度估算。沿圖3所示的線(xiàn)307放置的所述多個(gè)圖像105的子集501(其等效于屬于參考行203的多個(gè)圖像105的子集)在步驟503中堆疊為3d圖像立方體505。待確定深度的所述參考圖像201中的像素和所述多個(gè)圖像105的子集501的其他圖像中的對(duì)應(yīng)像素在3d圖像立方體505內(nèi)沿水平面定義線(xiàn)505a。在步驟507中，通過(guò)對(duì)3d圖像立方體505進(jìn)行切割來(lái)提取該水平面，從而產(chǎn)生核線(xiàn)圖像509。在核線(xiàn)圖像509內(nèi)，線(xiàn)505a定義與圖像的水平方向形成特定角度的核線(xiàn)509a，該核線(xiàn)509a又可以反過(guò)來(lái)用于提供深度估算。

圖6示出了通過(guò)圖2所示的示例性線(xiàn)207的核線(xiàn)斜率來(lái)確定深度估算。本領(lǐng)域技術(shù)人員應(yīng)理解，此時(shí)基線(xiàn)bj大于圖6所示的示例性基線(xiàn)bi。待確定深度的所述參考圖像201中的像素和所述多個(gè)圖像105的子集601的其他圖像中的對(duì)應(yīng)像素沿水平面605定義線(xiàn)605a。在步驟607中，將子集601中不處理的那些圖像從水平面移除，從而得到改進(jìn)后的水平面609。在步驟611中，對(duì)改進(jìn)后的水平面進(jìn)行重聚焦，從而得到重聚焦的改進(jìn)后的水平面613，以確定由核線(xiàn)613a定義的角度，該重聚焦的改進(jìn)后的水平面613又可以反過(guò)來(lái)用于提供視差和深度估算。

作為一個(gè)實(shí)施例，該圖像處理裝置100還包括置信度值確定器103，其中，所述置信度值確定器103用于確定分別與所述第一深度估算、所述第二深度估算和/或所述第三深度估算相關(guān)聯(lián)的置信度值。作為一個(gè)實(shí)施例，所述深度確定器101用于通過(guò)從由所述第一深度估算、所述第二深度估算和/或所述第三深度估算構(gòu)成的分組中選擇具有最大置信度值的深度估算來(lái)確定所述參考圖像201的像素深度107。

作為一個(gè)實(shí)施例，所述置信度值確定器103用于基于由所述多個(gè)圖像105的第一子集、第二子集和第三子集定義的結(jié)構(gòu)張量分別為所述第一深度估算、第二深度估算和/或第三深度估算確定置信度值。本領(lǐng)域技術(shù)人員應(yīng)知道，所述結(jié)構(gòu)張量基于圖像導(dǎo)數(shù)的計(jì)算。作為一個(gè)實(shí)施例，所述結(jié)構(gòu)張量可以用于通過(guò)確定由參考圖像中的像素的位置和多個(gè)圖像的子集中的對(duì)應(yīng)像素的位置定義的核線(xiàn)的斜率來(lái)確定深度估算。在例如《全球一致的4d光場(chǎng)深度標(biāo)簽》(s.wanner和b.goldluecke，計(jì)算機(jī)視覺(jué)和模式識(shí)別(cvpr)，2012)或博士論文《4d光場(chǎng)的定向分析》(svenwanner，海德堡圖像處理合作實(shí)驗(yàn)室(hci)，海德堡大學(xué)，2014，)一文中十分詳細(xì)地描述了通過(guò)結(jié)構(gòu)張量可以在本發(fā)明中實(shí)現(xiàn)的方式確定深度估算和/或置信度值，其全部?jī)?nèi)容通過(guò)引用結(jié)合在本文中。

在圖7中，兩幅圖中的每個(gè)點(diǎn)均示出了視覺(jué)場(chǎng)景中的某個(gè)3d點(diǎn)/像素的估算置信度(y軸)和估算視差(x軸)。兩個(gè)圖都示出了相對(duì)于3d場(chǎng)景的相同點(diǎn)的點(diǎn)。但是，圖7中的左圖示出的是基線(xiàn)較小的情況。若基線(xiàn)較大，則估算視差也總體較大。

作為一個(gè)實(shí)施例，該置信度值確定器103用于基于以下方程定義的濾波器k排除深度估算：

其中，d表示像素的視差，b表示所述參考圖像和所述多個(gè)圖像的第一子集定義的基線(xiàn)。

圖8示出了基于估算置信度圖的相對(duì)估算視差值使用濾波器k來(lái)運(yùn)用后處理濾波的方法。濾波器k定義的高斯核來(lái)僅用來(lái)處理濾波器的帶寬內(nèi)的像素，即圖8中所示的位于線(xiàn)801下方的實(shí)心點(diǎn)。作為一個(gè)實(shí)施例，僅對(duì)沿與垂直和水平方向不同的方向的圖像進(jìn)行后處理。

圖9示出了一個(gè)實(shí)施例提供的一種圖像處理方法900的示意圖。該圖像處理方法900用于確定表示相對(duì)于多個(gè)位置的視覺(jué)場(chǎng)景的多個(gè)圖像105的參考圖像201的像素深度107，其中，所述多個(gè)位置定義具有行和列的二維網(wǎng)格200，所述參考圖像201的位置與所述網(wǎng)格200的參考行203和參考列205相關(guān)聯(lián)。所述圖像處理方法900包括基于所述參考圖像201和所述多個(gè)圖像105的第一子集確定901第一深度估算，確定所述參考圖像201的像素深度107這一步驟，其中，所述第一子集的圖像與不同于參考行203的所述網(wǎng)格的至少一行相關(guān)聯(lián)的位置以及與不同于參考列205的所述網(wǎng)格的至少一列相關(guān)聯(lián)的位置相關(guān)聯(lián)。

所述圖像處理方法900可以由例如圖像處理裝置100執(zhí)行。

本發(fā)明實(shí)施例可以在用于在計(jì)算機(jī)系統(tǒng)上運(yùn)行的計(jì)算機(jī)程序中實(shí)現(xiàn)，至少包括當(dāng)在諸如計(jì)算機(jī)系統(tǒng)等的可編程裝置上運(yùn)行時(shí)用于執(zhí)行根據(jù)本發(fā)明的方法步驟的代碼部分，或者使得可編程裝置執(zhí)行根據(jù)本發(fā)明的設(shè)備或系統(tǒng)的功能的代碼部分。

計(jì)算機(jī)程序是指令列表，例如，特定的應(yīng)用程序和/或操作系統(tǒng)。計(jì)算機(jī)程序例如可以包括以下中的一個(gè)或多個(gè)：子例程、函數(shù)、流程、對(duì)象方法、對(duì)象實(shí)現(xiàn)、可執(zhí)行應(yīng)用、小程序、服務(wù)器小程序、源代碼、目標(biāo)代碼、共享庫(kù)/動(dòng)態(tài)加載庫(kù)和/或設(shè)計(jì)用于在計(jì)算機(jī)系統(tǒng)上執(zhí)行的其它指令序列。

計(jì)算機(jī)程序可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)部或通過(guò)計(jì)算機(jī)可讀傳輸介質(zhì)傳輸?shù)接?jì)算機(jī)系統(tǒng)。全部或部分計(jì)算機(jī)程序可以在永久地、可移除地或遠(yuǎn)程地耦合至信息處理系統(tǒng)的瞬時(shí)性或非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)上提供。計(jì)算機(jī)可讀介質(zhì)可以包括，例如但不限于，任意數(shù)量的以下示例：磁存儲(chǔ)介質(zhì)，包括磁盤(pán)和磁帶存儲(chǔ)介質(zhì)；光存儲(chǔ)介質(zhì)，例如光盤(pán)介質(zhì)(例如，cd-rom、cd-r等)和數(shù)字視頻光盤(pán)存儲(chǔ)介質(zhì)；非易失性存儲(chǔ)器存儲(chǔ)介質(zhì)，包括基于半導(dǎo)體的存儲(chǔ)器單元，例如閃存、eeprom、eprom、rom；鐵磁數(shù)字存儲(chǔ)器；mram；易失性存儲(chǔ)介質(zhì)，包括寄存器、緩沖器或緩存、主存儲(chǔ)器、ram等；以及數(shù)據(jù)傳輸介質(zhì)，包括計(jì)算機(jī)網(wǎng)絡(luò)、點(diǎn)對(duì)點(diǎn)電信設(shè)備、載波傳輸介質(zhì)，此處僅舉幾例。

計(jì)算機(jī)進(jìn)程通常包括執(zhí)行(運(yùn)行)程序或程序的一部分、當(dāng)前程序值和狀態(tài)信息，以及操作系統(tǒng)用來(lái)管理進(jìn)程的執(zhí)行的資源。操作系統(tǒng)(簡(jiǎn)稱(chēng)os)是管理計(jì)算機(jī)資源共享的軟件，并為程序員提供用于訪(fǎng)問(wèn)這些資源的接口。操作系統(tǒng)處理系統(tǒng)數(shù)據(jù)和用戶(hù)輸入，并通過(guò)分配及管理任務(wù)和內(nèi)部系統(tǒng)資源作為服務(wù)對(duì)系統(tǒng)的用戶(hù)和程序進(jìn)行響應(yīng)。

計(jì)算機(jī)系統(tǒng)例如可以包括至少一個(gè)處理單元、關(guān)聯(lián)存儲(chǔ)器和多個(gè)輸入/輸出(input/output，簡(jiǎn)稱(chēng)i/o)設(shè)備。當(dāng)執(zhí)行計(jì)算機(jī)程序時(shí)，計(jì)算機(jī)系統(tǒng)根據(jù)計(jì)算機(jī)程序處理信息并通過(guò)i/o設(shè)備生成合成的輸出信息。

此處討論的連接可以是適用于例如通過(guò)中間設(shè)備從或向相應(yīng)節(jié)點(diǎn)、單元或設(shè)備傳遞信號(hào)的任意類(lèi)型的連接。因此，除非另有所指或所述，該連接例如可以是直接連接或間接連接?？梢越Y(jié)合單個(gè)連接、多個(gè)連接、單向連接或雙向連接對(duì)該連接進(jìn)行說(shuō)明或描述。然而，不同的實(shí)施例可能會(huì)使該連接的實(shí)現(xiàn)發(fā)生變化。例如，可以使用單獨(dú)的單向連接而不是雙向連接，反之亦然。此外，多個(gè)連接可以被替換為以串行或時(shí)間復(fù)用方式傳遞多個(gè)信號(hào)的單個(gè)連接。同樣地，攜帶多個(gè)信號(hào)的單個(gè)連接可以被分離成攜帶這些信號(hào)的子集的各種不同的連接。因此，存在許多用于傳遞信號(hào)的選擇。

本領(lǐng)域技術(shù)人員將意識(shí)到，各邏輯塊之間的界限僅僅是說(shuō)明性的，并且替代實(shí)施例可以合并邏輯塊或電路元件，或者可以在各種邏輯塊或電路元件上實(shí)行功能的替代分解。因此，應(yīng)當(dāng)理解，此處所描述的架構(gòu)僅僅是示例性的，并且實(shí)際上，許多其它實(shí)現(xiàn)相同功能的架構(gòu)也能夠?qū)崿F(xiàn)。

因此，實(shí)現(xiàn)相同功能的組件的任意布置是有效地“關(guān)聯(lián)”，從而實(shí)現(xiàn)了所期望的功能。因此，不論是架構(gòu)或是中間組件，此處組合以實(shí)現(xiàn)某個(gè)特定功能的任意兩個(gè)組件可被視為相互“關(guān)聯(lián)”，從而實(shí)現(xiàn)了所期望的功能。同樣地，任意兩個(gè)如此關(guān)聯(lián)的組件也可被視為相互“可操作地連接”或“可操作地耦合”，以實(shí)現(xiàn)所期望的功能。

此外，本領(lǐng)域技術(shù)人員將意識(shí)到，以上所描述的操作之間的界限僅僅是說(shuō)明性的。多個(gè)操作可以組合成單個(gè)操作，單個(gè)操作可以分布在附加操作中，操作可以以在時(shí)間上至少部分重疊的方式來(lái)執(zhí)行。另外，替代實(shí)施例可以包括某個(gè)特定操作的多個(gè)示例，在各種其它實(shí)施例中可以改變操作的順序。

此外，例如，其中，的示例或部分可以，例如以任意合適類(lèi)型的硬件描述語(yǔ)言，實(shí)現(xiàn)為物理電路的或可轉(zhuǎn)換成物理電路的邏輯表示的軟或代碼表示。

此外，本發(fā)明不限于在不可編程硬件中實(shí)現(xiàn)的物理設(shè)備或單元，也可以應(yīng)用于能夠通過(guò)根據(jù)合適的程序代碼進(jìn)行操作來(lái)執(zhí)行所期望的設(shè)備功能的可編程設(shè)備或單元，例如，大型主機(jī)、小型計(jì)算機(jī)、服務(wù)器、工作站、個(gè)人計(jì)算機(jī)、記事本、個(gè)人數(shù)字助理、電子游戲、汽車(chē)和其它嵌入式系統(tǒng)、蜂窩電話(huà)和各種其它無(wú)線(xiàn)設(shè)備，在本申請(qǐng)中通常表示為計(jì)算機(jī)系統(tǒng)。

然而，其它修改、變形和替代也是可能的。應(yīng)認(rèn)為本說(shuō)明書(shū)和附圖具有說(shuō)明性意義而非限制性意義。