用于圖像處理的裝置、方法和計(jì)算機(jī)程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用于圖像處理的裝置、方法和計(jì)算機(jī)程序。
【背景技術(shù)】
[0002] 該部分旨在提供在權(quán)利要求書中陳述的本發(fā)明的背景或上下文。此處的描述可W 包含可W被追求的構(gòu)思，但該構(gòu)思不是必須是先前已設(shè)想或追求的構(gòu)思。因此，除非此處另 外指出，否則該部分所述的內(nèi)容不是本申請(qǐng)中的說(shuō)明書和權(quán)利要求書的現(xiàn)有技術(shù)，并且不 通過(guò)被包含在該部分中而承認(rèn)其為現(xiàn)有技術(shù)。
[0003] 當(dāng)前正在研究和開發(fā)用于提供H維（3D)視頻內(nèi)容的各種技術(shù)。在各種多視角 (mu 11iView)應(yīng)用上，觀看者從特定的視點(diǎn)能夠看到僅一對(duì)立體視頻，W及從不同的視點(diǎn)看 到另一對(duì)立體視頻。在一些方法中，僅有限數(shù)量的輸入視圖，例如單一（mono)或立體視頻 加上一些補(bǔ)充數(shù)據(jù)，被提供給解碼器側(cè)，W及所有要求的視圖于是由該解碼器本地地撞染 (即合成）W在顯示器上顯示。
[0004] 在3D視頻內(nèi)容的編碼中，能夠使用視頻壓縮系統(tǒng)，諸如高級(jí)視頻編碼標(biāo)準(zhǔn)H. 264/ AVC或H. 264/AVC的多視角視頻編碼MVC擴(kuò)展。
[0005] 可W由兩個(gè)水平對(duì)齊和同步的相機(jī)來(lái)執(zhí)行立體視頻的捕獲。相機(jī)的光學(xué)中也之 間的距離被稱為基線距離。立體對(duì)應(yīng)性指的是在兩個(gè)相機(jī)中反射相同場(chǎng)景點(diǎn)的像素。知 道相機(jī)參數(shù)、基線和對(duì)應(yīng)點(diǎn)，能夠通過(guò)應(yīng)用例如H角測(cè)量類型的估計(jì)來(lái)找到場(chǎng)景點(diǎn)的H維 (3D)坐標(biāo)。針對(duì)兩個(gè)相機(jī)圖像中的所有像素應(yīng)用相同的過(guò)程，能夠獲得密集的相機(jī)中也距 圖（深度圖）。它提供了場(chǎng)景的3D地理模型W及能夠在許多3D視頻處理應(yīng)用（諸如編碼、 再利用、虛擬視圖合成、3D掃描、對(duì)象檢測(cè)和識(shí)別、在真實(shí)場(chǎng)景中嵌入虛擬對(duì)象（增強(qiáng)現(xiàn)實(shí)） 等中使用。
[0006] 在多視角應(yīng)用中，可W有超過(guò)兩個(gè)相機(jī)，可W在邏輯上將它們布置成多對(duì)相機(jī)。因 此，可W由該些相機(jī)捕獲相同場(chǎng)景，給予提供來(lái)自相同場(chǎng)景的不同視角的立體視頻的可能 性。
[0007] 在深度圖估計(jì)中的問(wèn)題是如何可靠地找到兩個(gè)相機(jī)視圖中的像素之間的對(duì)應(yīng)性。 通常，可W矯正相機(jī)視圖，W及對(duì)應(yīng)性被限制為在水平線中出現(xiàn)。此類對(duì)應(yīng)性被稱為視差。 找到視差圖的過(guò)程（在兩個(gè)矯正的圖像視圖的像素之間的對(duì)應(yīng)性）被稱為立體匹配。一些 立體匹配方法受制于一些面向應(yīng)用的約束來(lái)應(yīng)用局部或全局優(yōu)化準(zhǔn)則W處置在真實(shí)世界 立體圖像中的特定問(wèn)題。
[0008] 許多立體匹配算法搜索視差范圍內(nèi)的匹配。針對(duì)任意立體圖像的正確視差搜索范 圍的選擇可能是個(gè)問(wèn)題，尤其是在真實(shí)世界和室外應(yīng)用（其中手工范圍選擇可能是相當(dāng)不 切實(shí)際的）的情況下。太窄的搜索范圍選擇可能導(dǎo)致不希望的估計(jì)視差的質(zhì)量降級(jí)。同時(shí)， 針對(duì)立體匹配的非常寬（例如，無(wú)約束）的范圍可能增加不必要的計(jì)算復(fù)雜度。取決于所 尋求的視差級(jí)別（假設(shè)）的數(shù)量，現(xiàn)代立體匹配技術(shù)的復(fù)雜度可W是線性的。即使使用預(yù) 先選擇的視差范圍，在場(chǎng)景捕獲期間（例如，立體攝影或視頻拍攝），場(chǎng)景可W變化，因此改 變所使用（預(yù)先選擇的）視差范圍。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明涉及用于圖像處理的裝置、方法和計(jì)算機(jī)程序，其中圖像對(duì)可W被下采樣 到較低分辨率的圖像對(duì)，W及還獲得表示在該圖像對(duì)中的像素的至少子集之間的估計(jì)視差 的視差圖像?？蒞獲得視差估計(jì)的置信度并將它插入到置信圖中?？蒞通過(guò)使用像素位置 的空間鄰域?qū)σ暡顖D像和置信圖進(jìn)行聯(lián)合過(guò)濾W獲得過(guò)濾的視差圖像和過(guò)濾的置信圖?？?W通過(guò)過(guò)濾的視差圖像和置信圖來(lái)獲得該圖像對(duì)的估計(jì)視差分布。
[0010] 一些實(shí)施例提供用于矯正立體視頻內(nèi)容的自動(dòng)的、獨(dú)立于內(nèi)容的視差范圍選擇算 法。
[0011] 本發(fā)明的一些實(shí)施例使用金字培方法。然而，不是僅使用針對(duì)視差范圍確定的置 信度，可W應(yīng)用針對(duì)高效異常值移除的第一視差估計(jì)和置信圖的空間過(guò)濾。因此，可W需要 僅很少層。在一些示例實(shí)施例中，可W使用僅兩層金字培。
[0012] 在W下，簡(jiǎn)要呈現(xiàn)根據(jù)本發(fā)明的一些實(shí)施例的視差范圍估計(jì)中的一些特征。
[0013] 可W使用常數(shù)復(fù)雜度的絕對(duì)誤差和（SAD)匹配，其允許對(duì)計(jì)算復(fù)雜度沒(méi)有影響或 僅較小影響來(lái)改變匹配窗口大小。
[0014] 替代很少層的金字培，可W使用單個(gè)下采樣步驟。該可W導(dǎo)致可預(yù)測(cè)性和穩(wěn)定的 過(guò)程行為。還可能的是，通過(guò)改變下采樣因子來(lái)調(diào)節(jié)計(jì)算速度。
[0015] 對(duì)初始視差估計(jì)的合適的空間過(guò)濾可W用于更好的異常值移除。
[0016] 可W使用沒(méi)有應(yīng)用于連續(xù)視頻峽的特定時(shí)間過(guò)濾的時(shí)間對(duì)應(yīng)性假設(shè)。
[0017] 本發(fā)明的各種方面包含；方法、裝置、計(jì)算機(jī)程序、編碼器和解碼器，它們的特征在 于在獨(dú)立權(quán)利要求中闡述的內(nèi)容。在從屬權(quán)利要求中公開了本發(fā)明的各種實(shí)施例。
[0018] 根據(jù)第一方面，提供了一種方法，所述方法包括：
[0019] 將輸入圖像對(duì)下采樣為一對(duì)較低分辨率的第一圖像和第二圖像，
[0020] 估計(jì)在所述第一圖像中的像素的至少子集和在所述第二圖像中的像素的至少子 集之間的視差，將該視差放入到視差圖像中，
[0021] 估計(jì)針對(duì)在所述視差圖像中的像素的至少子集的所述視差估計(jì)的置信度，將該置 信度放入置信圖中，
[0022] 過(guò)濾所述視差圖像和所述置信圖W獲得過(guò)濾的視差圖像和過(guò)濾的置信圖，其中所 述過(guò)濾使用將被過(guò)濾的像素的像素位置的空間鄰域，W及
[0023] 通過(guò)所述過(guò)濾的視差圖像和所述過(guò)濾的置信圖來(lái)估計(jì)所述圖像對(duì)的視差分布。
[0024] 根據(jù)第二方面，提供了一種裝置，所述裝置包括至少一個(gè)處理器和包含計(jì)算機(jī)程 序代碼的至少一個(gè)存儲(chǔ)器，所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配置為使用所述 至少一個(gè)處理器使得所述裝置執(zhí)行至少W下：
[00巧]將輸入圖像對(duì)下采樣為一對(duì)較低分辨率的第一圖像和第二圖像，
[0026] 估計(jì)在所述第一圖像中的像素的至少子集和在所述第二圖像中的像素的至少子 集之間的視差，將該視差放入到視差圖像中，
[0027] 估計(jì)針對(duì)在所述視差圖像中的像素的至少子集的所述視差估計(jì)的置信度，將該置 信度放入置信圖中，
[0028] 過(guò)濾所述視差圖像和所述置信圖W獲得過(guò)濾的視差圖像和過(guò)濾的置信圖，其中所 述過(guò)濾使用將被過(guò)濾的像素的像素位置的空間鄰域，W及
[0029] 通過(guò)所述過(guò)濾的視差圖像和所述過(guò)濾的置信圖來(lái)估計(jì)所述圖像對(duì)的視差分布。
[0030] 根據(jù)第H方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包含一個(gè)或多 個(gè)指令的一個(gè)或多個(gè)序列，其中當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行所述一個(gè)或多個(gè)指令的一個(gè)或 多個(gè)序列時(shí)，所述一個(gè)或多個(gè)指令的一個(gè)或多個(gè)序列使得裝置執(zhí)行至少W下：
[0031] 將輸入圖像對(duì)下采樣為一對(duì)較低分辨率的第一圖像和第二圖像，
[0032] 估計(jì)在所述第一圖像中的像素的至少子集和在所述第二圖像中的像素的至少子 集之間的視差，將該視差放入到視差圖像中，
[0033] 估計(jì)針對(duì)在所述視差圖像中的像素的至少子集的所述視差估計(jì)的置信度，將該置 信度放入置信圖中，
[0034] 過(guò)濾所述視差圖像和所述置信圖W獲得過(guò)濾的視差圖像和過(guò)濾的置信圖，其中所 述過(guò)濾使用將被過(guò)濾的像素的像素位置的空間鄰域，W及
[0035] 通過(guò)所述過(guò)濾的視差圖像和所述過(guò)濾的置信圖來(lái)估計(jì)所述圖像對(duì)的視差分布。
[0036] 根據(jù)第四方面，提供了一種裝置，所述裝置包括：
[0037] 下采樣器，其適用于將輸入圖像對(duì)下采樣為一對(duì)較低分辨率的第一圖像和第二圖 像，
[0038] 視差估計(jì)器，其適用于估計(jì)在所述第一圖像中的像素的至少子集和在所述第二圖 像中的像素的至少子集之間的視差，將該視差放入到視差圖像中，
[0039] 置信度估計(jì)器，其適用于估計(jì)針對(duì)在所述視差圖像中的像素的至少子集的所述視 差估計(jì)的置信度，將該置信度放入置信圖中，
[0040] 濾波器，其適用于過(guò)濾所述視差圖像和所述置信圖W獲得過(guò)濾的視差圖像和過(guò)濾 的置信圖，其中所述過(guò)濾使用將被過(guò)濾的像素的像素位置的空間鄰域，W及
[0041] 視差分布估計(jì)器，其適用于通過(guò)所述過(guò)濾的視差圖像和所述過(guò)濾的置信圖來(lái)估計(jì) 所述圖像對(duì)的視差分布。
[0042] 根據(jù)第五方面，提供了一種裝置，所述裝置包括：
[0043] 用于將輸入圖像對(duì)下采樣為一對(duì)較低分辨率的第一圖像和第二圖像的構(gòu)件，
[0044] 用于估計(jì)在所述第一圖像中的像素的至少子集和在所述第二圖像中的像素的至 少子集之間的視差，將該視差放入到視差圖像中的構(gòu)件，
[0045] 用于估計(jì)針對(duì)在所述視差圖像中的像素的至少子集的所述視差估計(jì)的置信度，將 該置信度放入置信圖中的構(gòu)件，
[0046] 用于過(guò)濾所述視差圖像和所述置信圖W獲得過(guò)濾的視差圖像和過(guò)濾的置信圖的 構(gòu)件，其中所述過(guò)濾使用將被過(guò)濾的像素的像素位置的空間鄰域，W及
[0047] 用于通過(guò)所述過(guò)濾的視差圖像和所述過(guò)濾的置信圖來(lái)估計(jì)所述圖像對(duì)的視差分 布的構(gòu)件