一種基于自適應(yīng)權(quán)值的時(shí)域一致性深度視頻估計(jì)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻處理技術(shù)及立體顯示領(lǐng)域，涉及一種基于多視點(diǎn)視頻進(jìn)行基于自 適應(yīng)權(quán)值的時(shí)域一致性深度視頻估計(jì)方法。具體講，涉及一種基于自適應(yīng)權(quán)值的時(shí)域一致 性深度視頻估計(jì)方法。 技術(shù)背景
[0002] 3D顯示技術(shù)可以為觀察者提供一種身臨其境的視覺體驗(yàn)。3D系統(tǒng)相對(duì)于傳統(tǒng)的 2D系統(tǒng)，其主要的特征是可以提供給觀察者對(duì)場(chǎng)景的深度感知，進(jìn)而獲得立體體驗(yàn)。因此， 深度信息的獲取在3D系統(tǒng)中起著重要的作用。
[0003] 通過深度相機(jī)拍攝可以直接獲得深度數(shù)據(jù)，但由于器件的物理限制，這種方法獲 得的深度圖分辨率往往較低。在立體/多視點(diǎn)系統(tǒng)中，深度信息可以通過立體匹配/深度 估計(jì)的方法獲取。深度估計(jì)算法通常分為兩大類，分別是局部算法和全局算法。局部算法 認(rèn)為鄰域窗口內(nèi)像素具有相似的視差值，因此可以利用相鄰像素的信息來計(jì)算深度值。局 部算法得到的深度圖的質(zhì)量在很大程度上依賴于鄰域窗口的選擇以及代價(jià)累積的計(jì)算。 Velsler提出一種變化窗口的方法，為不同像素產(chǎn)生不同的窗口進(jìn)行代價(jià)累積的計(jì)算。Yoon 等采用固定大小的方形窗口計(jì)算變化的權(quán)值，進(jìn)行代價(jià)累積及匹配點(diǎn)的搜索。全局算法將 視差估計(jì)的過程轉(zhuǎn)化為能量函數(shù)最小化問題，這種方法相對(duì)局部算法能夠獲得更準(zhǔn)確的深 度信息。其中典型的是Sun等提出的將立體匹配轉(zhuǎn)化為馬爾科夫場(chǎng)問題，再通過貝葉斯置 信傳播的方法求解。
[0004] 在很多情況下，3D視頻比圖像更具實(shí)用價(jià)值。如果將針對(duì)圖像的深度估計(jì)算法直 接移植到深度視頻估計(jì)的過程中，忽略視頻相鄰幀間的相關(guān)性，將會(huì)導(dǎo)致深度視頻質(zhì)量的 下降以及時(shí)域的不一致性。這種由單幀獨(dú)立深度估計(jì)方法引起的深度視頻的時(shí)域不一致 性，會(huì)造成虛擬視點(diǎn)視頻的不連續(xù)效應(yīng)，進(jìn)而帶來虛擬視點(diǎn)的質(zhì)量下降以及觀察者的不舒 適感。針對(duì)時(shí)域不一致性的問題，目前已有利用連續(xù)幀之間的相關(guān)信息來進(jìn)行深度視頻估 計(jì)的方法被提出。Lee等提出用包含時(shí)域項(xiàng)的能量函數(shù)來計(jì)算匹配代價(jià)，這種方法在一定程 度上提高了深度視頻的連續(xù)性。Zhang等提出一種捆綁優(yōu)化策略，它將相鄰多幀的幾何結(jié)構(gòu) 信息用概率的方式關(guān)聯(lián)起來，保持整個(gè)視頻的時(shí)域連續(xù)性。Zhu將傳統(tǒng)的空域馬爾科夫結(jié)構(gòu) 擴(kuò)展到時(shí)域，構(gòu)成動(dòng)態(tài)馬爾科夫場(chǎng)問題，再采用循環(huán)置信傳播的方法產(chǎn)生具有魯棒性的深 度視頻結(jié)果。

【發(fā)明內(nèi)容】

[0005] 為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在通過能量函數(shù)的最小化，可提高深度視頻的 時(shí)域連續(xù)性，同時(shí)提高深度視頻及其繪制的虛擬視點(diǎn)的質(zhì)量。為此，本發(fā)明采取的技術(shù)方案 是，一種基于自適應(yīng)權(quán)值的時(shí)域一致性深度視頻估計(jì)方法，包括如下步驟：
[0006] 一、能量函數(shù)構(gòu)造
[0007] 首先通過塊匹配的方法分別計(jì)算中間視點(diǎn)與左參考視點(diǎn)和右參考視點(diǎn)像素的亮 度差值，并將其中的較小值作為能量函數(shù)的數(shù)據(jù)項(xiàng)，然后，對(duì)于每一個(gè)像素，分別計(jì)算相鄰 像素與其得的亮度差，將亮度差以一定權(quán)值進(jìn)行加權(quán)作為能量函數(shù)平滑項(xiàng)；
[0008] 二、幀間運(yùn)動(dòng)估計(jì)
[0009] 通過計(jì)算當(dāng)前幀與前一幀對(duì)應(yīng)塊的SAD (Sum of Absolute Difference)，將其與 預(yù)先設(shè)定的閾值進(jìn)行比較，確定此塊是否為運(yùn)動(dòng)塊；當(dāng)SAD值小于閾值，則該塊是靜止的， 將塊內(nèi)每一個(gè)像素的運(yùn)動(dòng)矢量MV取為（0,0);當(dāng)SAD值大于閾值，則該塊是運(yùn)動(dòng)的，將該塊 劃分為更小的塊進(jìn)行全搜索運(yùn)動(dòng)估計(jì)，得到塊內(nèi)每一個(gè)像素的運(yùn)動(dòng)矢量為（m，n)，SAD的定 義如下?
[0010]
[0011] 其中I和Ip分別代表當(dāng)前幀及前一幀對(duì)應(yīng)像素的亮度值;w是塊的大??；
[0012] 三、自適應(yīng)權(quán)值計(jì)算
[0013] 利用第二步求得的幀間運(yùn)動(dòng)矢量（m, n)計(jì)算能量函數(shù)時(shí)域項(xiàng)的自適應(yīng)權(quán)值入t;
[0014] 四、基于運(yùn)動(dòng)的能量函數(shù)更新
[0015] 首先利用第二步求得的運(yùn)動(dòng)矢量以及前一幀的深度信息，計(jì)算當(dāng)前幀能量函數(shù)的 時(shí)域項(xiàng)E W
[0016] 然后，以第三步得到的自適應(yīng)權(quán)值作為時(shí)域項(xiàng)權(quán)值，將時(shí)域項(xiàng)代入能量函數(shù)，得到 更新后的能量函數(shù)：
[0017] E(x，y，d) = Ad ? Edata(x，y，d) +入 s ^smooth(x,y,d) + A t . Etenp (x, y, d)
[0018] Es_th為像素的平滑項(xiàng)，E data為能量函數(shù)數(shù)據(jù)項(xiàng)，E tMp當(dāng)前幀能量函數(shù)的時(shí)域項(xiàng)；
[0019] 五、能量函數(shù)最小化
[0020] 采用圖割法對(duì)以上能量函數(shù)進(jìn)行最小化求值，得到可靠的視差值，并將其轉(zhuǎn)化為 深度值，視差與深度的轉(zhuǎn)化方法如下：
[0021]
[0022] 其中B和f分別是相機(jī)的基線距離以及焦距；d是視差值，z是與其對(duì)應(yīng)的深度值； xjP Xl^是左右視點(diǎn)中對(duì)應(yīng)像素的坐標(biāo)。
[0023] 自適應(yīng)權(quán)值A(chǔ)』勺計(jì)算方法如下：
[0024]
[0025] 其中P是一個(gè)用于控制誤差范圍的常數(shù)。
[0026] 當(dāng)前幀能量函數(shù)的時(shí)域項(xiàng)EtOTp計(jì)算方法如下：
[0027] Etemp (x, y, d) = min (| d (x, y) -dp (x+m, y+n) |, L)
[0028] 其中d(x，y)代表視差候選值；dp(x+m，y+n)代表與當(dāng)前像素對(duì)應(yīng)的前一幀像素的 視差值，通過求得的運(yùn)動(dòng)矢量找到對(duì)應(yīng)位置；L是避免運(yùn)動(dòng)估計(jì)錯(cuò)誤的截?cái)喑?shù)。
[0029] 與已有技術(shù)相比，本發(fā)明的技術(shù)特點(diǎn)與效果：
[0030] 本發(fā)明通過求得的幀間運(yùn)動(dòng)信息來計(jì)算時(shí)域項(xiàng)的自適應(yīng)權(quán)值，并且由運(yùn)動(dòng)信息構(gòu) 建能量函數(shù)時(shí)域項(xiàng)，時(shí)域信息的引入，使得深度視頻時(shí)域連續(xù)性有所提高，同時(shí)提高了深度 視頻以及繪制虛擬視點(diǎn)的質(zhì)量。
【附圖說明】
[0031] 圖1給出了本發(fā)明與采用恒定權(quán)值方法得到的深度視頻的時(shí)域連續(xù)性對(duì)比結(jié)果， 其中圖（b)為圖（a)中選定方框內(nèi)平均深度值曲線。
[0032] 圖2為本發(fā)明提出方法的流程圖。
【具體實(shí)施方式】
[0033] 本發(fā)明的目的是針對(duì)深度視頻估計(jì)問題，依據(jù)能量函數(shù)最小化的基本框架，利用 幀間的運(yùn)動(dòng)信息構(gòu)建自適應(yīng)權(quán)值的時(shí)域項(xiàng)，更新能量函數(shù)。新的能量函數(shù)包含空域及時(shí)域 信息，通過能量函數(shù)的最小化，可提高深度視頻的時(shí)域連續(xù)性，同時(shí)提高深度視頻及其繪制 的虛擬視點(diǎn)的質(zhì)量。
[0034] 深度視頻估計(jì)不能忽略幀間的相關(guān)性，因此時(shí)域相關(guān)信息應(yīng)被引入深度估計(jì)中。 在采用恒定權(quán)值的深度視頻估計(jì)方法中，為得到更好的結(jié)果往往需要為不同的視頻輸入選 擇不同的權(quán)值。同時(shí)，這種方法對(duì)深度視頻以及繪制虛擬視點(diǎn)的質(zhì)量的提升不明顯。本發(fā) 明利用幀間運(yùn)動(dòng)信息構(gòu)建能量函數(shù)時(shí)域項(xiàng)以及時(shí)域項(xiàng)自適應(yīng)權(quán)值，更新能量函數(shù)，提高深 度視頻估計(jì)的性能。具體的技術(shù)方案分為以下幾個(gè)步驟：
[0035] 能量函數(shù)構(gòu)造
[0036] 首先通過塊匹配的方法分別計(jì)算中間視點(diǎn)與左參考視點(diǎn)和右參考視點(diǎn)像素的亮 度差值，并將其中的較小值作為能量函數(shù)的數(shù)據(jù)項(xiàng)。然后，對(duì)于每一個(gè)像素，分別計(jì)算相鄰 像素與其得的亮度差，將亮度差以一定權(quán)值進(jìn)行加權(quán)作為能量函數(shù)平滑項(xiàng)。
[0037] 幀間運(yùn)動(dòng)估計(jì)
[0038] 通過計(jì)算當(dāng)前幀與前一幀對(duì)應(yīng)塊的SAD (Sum of Absolute Difference)，將其與 預(yù)先設(shè)定的閾值進(jìn)行比較，確定此塊是否為運(yùn)動(dòng)塊。當(dāng)SAD值小于閾值，則該塊是靜止的， 將塊內(nèi)每一個(gè)像素的運(yùn)動(dòng)矢量MV取為（0,0);當(dāng)SAD值大于閾值，則該塊是運(yùn)動(dòng)的，將該塊 劃分為更小的塊進(jìn)行全搜索運(yùn)動(dòng)估計(jì)，得到塊內(nèi)每一個(gè)像素的運(yùn)動(dòng)矢量為（m，n)。SAD的定 義如下
[0039]
[0040] 其中I和Ip分別代表當(dāng)前幀及前一幀對(duì)應(yīng)像素的亮度值;w是塊的大小。
[0041] 自適應(yīng)權(quán)值計(jì)算
[0042] 利用第二步求得的幀間運(yùn)動(dòng)矢量（m, n)計(jì)算能量函數(shù)時(shí)域項(xiàng)的自適應(yīng)權(quán)值A(chǔ) t，運(yùn) 動(dòng)矢量越大，權(quán)值越小，運(yùn)動(dòng)矢量越小，權(quán)值越大，因此自適應(yīng)權(quán)值的計(jì)算方法如下：
[0043]
[0044] 其中0是一個(gè)用于控制誤差范圍的常數(shù)。