專利名稱：一種多視點視頻整幀丟失錯誤隱藏方法
技術領域：
本發(fā)明涉及一種視頻錯誤隱藏方法，尤其是涉及一種多視點視頻整幀丟失錯誤隱藏方法。
背景技術：
多視點視頻可廣泛應用于自由視點電視、三維電視等。與單視點視頻相比，多視點視頻傳輸數(shù)據(jù)量極大，因此必須對其進行有效的壓縮編碼。目前幾乎所有的多視點視頻編碼方案均采用時間和空間預測來消除時域、空域以及視點間的冗余信息，使得編碼的多視點視頻流對信道差錯非常敏感。然而，由于信道堵塞等原因，網(wǎng)絡丟包時有發(fā)生，一旦出現(xiàn)差錯，如果不加以恢復，不僅會影響當前出錯幀和當前視點后續(xù)幀的正確解碼，而且由于多視點視頻編碼采用了視差估計來消除視點間的冗余信息，因此還會嚴重降低以出錯視點為參考的其它視點后續(xù)幀的解碼質量，導致出現(xiàn)馬賽克、黑塊、停頓等情況。目前差錯恢復的技術主要分為三類基于編碼端的差錯復原編碼技術、解碼端錯誤隱藏技術、編解碼器交互式差錯控制技術。解碼端錯誤隱藏技術不會增加傳輸帶寬，且時延低，是提高多視點視頻傳輸魯棒性的有效途徑之一。現(xiàn)有的多視點視頻錯誤隱藏算法主要集中在部分宏塊丟失的情況，恢復的主要過程為假設丟失幀中受損宏塊與其相鄰宏塊或參考幀中相同位置的宏塊具有相似的運動矢量矢量/視差矢量，從而可以利用其相鄰的正確解碼宏塊或參考幀中相同位置的宏塊的運動/視差矢量恢復出受損宏塊的若干候選塊，最后利用邊界匹配準則或者加權方法得到最終恢復宏塊。然而，對于整幀丟失的情況，由于受損幀中不存在正確解碼宏塊，故而現(xiàn)有的針對部分宏塊丟失的錯誤隱藏算法，并不能簡單直接應用于多視點視頻整幀丟失的情況；另一方面，對于位于運動劇烈區(qū)域的宏塊，由于受損宏塊與參考幀中相同位置的宏塊運動情況往往存在較大差異，從而導致預測不準，影響受損塊的恢復質量；此外，現(xiàn)有的針對部分宏塊丟失的錯誤隱藏算法在計算受損宏塊的若干候選塊時沒有充分判斷最優(yōu)的恢復方法，在恢復丟失宏塊時需要恢復多次來求得不同候選塊，導致計算復雜度增加。

發(fā)明內容
本發(fā)明所要解決的技術問題是提供一種計算復雜度低，且恢復質量高的多視點視頻整幀丟失錯誤隱藏方法。本發(fā)明解決上述技術問題所采用的技術方案為一種多視點視頻整幀丟失錯誤隱藏方法，其特征在于包括以下步驟①假定多視點視頻的第S。個視點中的第t。時刻的圖像幀為丟失幀，記為f(t。，S。)，則將多視點視頻的第S。個視點中已正確解碼的時域上先于丟失幀f(t。，S。)且離丟失幀f(tc, Sc)最近的圖像幀記為f(tp，s。)，將多視點視頻的第S。個視點中已正確解碼的時域上后于丟失幀f(t。，s。)且離丟失幀f(t。，S。)最近的圖像幀記為€(、，8。)，令&為多視點視頻中離第S。個視點最近的左視點的編號，令S為多視點視頻中離第S。個視點最近的右視點的編號，將多視點視頻的第&個視點中已正確解碼的第t。時刻的圖像幀記為f (t。，，將多視點視頻的第、個視點中已正確解碼的第t。時刻的圖像幀記為f(t。，s,)，將多視點視頻的第&個視點中已正確解碼的第tp時刻的圖像幀記為f (tp，S1)，將多視點視頻的第、個視點中已正確解碼的第tp時刻的圖像幀記為f(tp，sr)，將多視點視頻的第&個視點中已正確解碼的第tb時刻的圖像幀記為f(tb，Sl)，將多視點視頻的第、個視點中已正確解碼的第tb時刻的圖像幀記為f(tb，、)，其中，tp為多視點視頻的第\個視點中已正確解碼的時域上先于丟失幀f(t。，sc)且離丟失幀f(t。，sc)最近的圖像幀f(tp，sc)所在的時刻，tp < t。，tb為多視點視頻的第S。個視點中已正確解碼的時域上后于丟失幀f(t。，s。)且離丟失幀f (t。，s。)最近的圖像幀f (tb，sc)所在的時刻，tc < tb ；②計算f(t。，S1)與 f(tc，sr)的幀差圖像，記為 f(t。)，f(tc) = f(tc, Sl)-f(tc,、)I，同時計算 f(tp，h) %f(tp,sr)的幀差圖像，記為 f(tp)，f(tp) = f(tp,Sl)-f(tp,Sr) I,然后計算f(t。)與f(tp)的幀差圖像，記為fa，fa= |f(t。)-f(tp) |，其中，“| |”為取絕對值符號；
W H③將fa分割成一X—個互不重疊的尺寸大小為mXm的第一圖像塊，統(tǒng)計fa中
m m
的每個第一圖像塊中像素值大于統(tǒng)計值判斷閾值T。的像素點的個數(shù)，并確定fa中的每個第一圖像塊的映射狀態(tài)對于fa中的第i個第一圖像塊，將其記為Blki,統(tǒng)計Blki中像素值大于統(tǒng)計值判斷閾值Ttl的像素點的個數(shù)，記為Ni,并確定Blki的映射狀態(tài)，記為s (i)，
^)=1^' iffD，其中，ImHw和H分別表示多視點視頻中的圖像巾貞的寬度和
Lu' 1J - yvOmm
高度，N0為映射狀態(tài)判斷閾值；
W H④將丟失幀f(t。，s。)分割成一χ—個互不重疊的尺寸大小為mXm的第二圖像塊，
m m
W H
將f(tp，sc)分割成一χ—個互不重疊的尺寸大小為mXm的第三圖像塊，將f(t。，S1)分割m m
W H
成一x一個互不重疊的尺寸大小為mXm的第四圖像塊，然后根據(jù)fa中坐標位置與丟失幀m m
f(t。，Sc)中的第二圖像塊的坐標位置對應的第一圖像塊的映射狀態(tài)，利用f(tp，Sc)中坐標位置與丟失幀f(t。，Sc)中的第二圖像塊的坐標位置對應的第三圖像塊中各個像素點的像素值或f(t。，S1)中坐標位置與丟失幀f(t。，Sc)中的第二圖像塊的坐標位置對應的第四圖像塊中各個像素點的像素值，逐一初步恢復丟失幀f(t。，Sc)中的各個第二圖像塊，獲得丟失幀f(t。，Sc)的初步恢復幀，記為f ‘ (t。，S。)，具體過程為④-1、定義丟失幀f(t。，s。)中當前待初步恢復的第i個第二圖像塊為當前第二圖像塊，記為Bi,令( , )為當前第二圖像塊Bi的左上角頂點的坐標位置；④-2、判斷fa中左上角頂點的坐標位置與當前第二圖像塊&的左上角頂點的坐標位置( ,,; .)對應的第一圖像塊Blki的映射狀態(tài)s (i)是否為0，如果是，則將f(tp，sc)中左上角頂點的坐標位置與當前第二圖像塊Bi的左上角頂點的坐標位置0 ,; .)對應的第三圖像塊BPi中各個像素點的像素值復制給當前第二圖像塊Bi中對應的像素點；否則，通過視差估計方法計算f(t。，S1)中左上角頂點的坐標位置與當前第二圖像塊Bi的左上角頂點的坐標位置0 ，yBl )對應的第四圖像塊BLi在f (t。，sr)中的最佳匹配塊，并得到相應的視差矢量(dXi，(Iyi),然后將f(t。，S1)中左上角頂點的坐標位置與當前第二圖像塊Bi的左上角頂點的坐標位置( ,，yBl )對應的第四圖像塊BLi中各個像素點的像素值復制給丟失幀f (t。，sc)中左上角頂點的坐標位置為0 +^xdXl,yBi +/ΙχφΟ的大小為mXm的圖像塊中對應的, D1
像素點，其中乂 = D ^，Dl表示多視點視頻的第&個視點和第S。個視點之間的距離，Dk
L R
表示多視點視頻的第^個視點和第S。個視點之間的距離；④-3、令i' =i+l，i = i'，將丟失幀f(tc，Sc)中下一個待初步恢復的第二圖像塊作為當前第二圖像塊Bi,返回步驟④-2繼續(xù)執(zhí)行，直至丟失幀f(t。，sc)中的所有第二圖像塊完成初步恢復為止，獲得丟失幀f(t。，sc)的初步恢復幀f' (t。，s。)，其中，i'的初始值為0;⑤對丟失幀f(t。，s。)的初步恢復幀f' (t。，S。)進行空洞區(qū)域填補處理，獲得丟失幀f(t。，s。)的最終恢復幀。所述的步驟⑤的具體過程為⑤-I、逐行水平掃描丟失幀f(t。，S。)的初步恢復幀f' (t。，S。)，如果檢測到空洞區(qū)域，且該空洞區(qū)域的水平寬度gx小于閾值n，則采用水平插值填補該空洞區(qū)域；⑤_2、將丟失幀f(t。，sc)的初步恢復幀f' (t。，sc)的所有行完成水平掃描后得到的圖像幀記為f〃(t。，s。)；⑤_3、逐列垂直掃描f" (t。，S。)，如果檢測到空洞區(qū)域，且該空洞區(qū)域的垂直高度gy小于閾值n，則采用垂直插值填補該空洞區(qū)域；⑤-4、將f" (t。，S。)的所有列完成垂直掃描后得到的圖像幀記為f' “ (t。，s。)；⑤-5、對f' ‘‘ (t。，S。)實施空洞區(qū)域檢測和填補，具體過程為a、將f' ‘‘ (tc,s。)中檢測到的第j個空洞區(qū)域記為Ci,令X、為&的最左端的橫坐標，令>^為&的最上端的縱坐標，其中，j彡1 ；b、令Βτ。ρ表示f ‘ ‘‘ (t。，sc)中位于Cj上方的左上角頂點的坐標位置為(吃-^Zcj 且右下角頂點的坐標位置為0 +m-\,yTCj +1)的長方形圖像塊，BLeft表示f' “ (t。，S。)中位于Cj左側的左上角頂點的坐標位置為(吃-化戎)且右下角頂點的坐標位置為(<-1，<- + 1)的長方形圖像塊，此處，整幀圖像的左下角頂點為原點，向上為y軸正方向，向右為χ軸正方向，其中，w表示 。p的高度與的寬度；C、定義B· U ㈤為。的相鄰塊，記為BMghb。r，BNeighb = BLeft U Btop ；d、采用視差估計方法尋找f ‘ “ (t。，sc)中Cj的相鄰塊BMghb 在f(t。，S1)中的最佳匹配塊，記所獲得的視差矢量為(^v 4^)，然后令f' ‘‘ (t。，S。)中的Cj中坐標位置為(x，y)的像素點的像素值等于f(t。，S1)中坐標位置為(x + dxCj,y + Φ、)的像素值，其中，χ )χ<xg,yBCj <y<yTCj，呤表示Cj的最右端的橫坐標，
3 表示Cj的最下端的縱坐標。所述的n = 4。所述的m的值為2的冪次，所述的統(tǒng)計值判斷閾值Ttl的值為fa中所有像素點的像
素值的均值Λ與標準差σ的加權和，7；=義+Τσ，λ ‘為權值，所述的映射狀態(tài)判斷閾值
所述的4中所有像素點的像素值的均值與標準差σ的加權和中λ ‘ = 1。與現(xiàn)有技術相比，本發(fā)明的優(yōu)點在于通過預先判斷丟失幀中各個圖像塊在時域與視點間相關性的強弱，以選擇合適的參考幀，采用不同的恢復方法恢復丟失幀中的圖像塊，并對恢復得到的初步恢復幀進行空洞區(qū)域填補處理，得到丟失幀的最終恢復幀，由于本發(fā)明方法有效利用了視點間相關性與時域相關性，對于丟失幀中預先判定為時域相關性較強的圖像塊，采用時域直接拷貝的方法恢復圖像塊，不僅可減少計算復雜度，而且能提高所恢復的這部分圖像塊的主客觀質量，而對于丟失幀中預先判定為時域相關性較差的圖像塊，采用視點間預測恢復的方法恢復圖像塊，可以有效提高這部分圖像塊恢復的準確性。本發(fā)明方法在對丟失幀的初步恢復幀進行空洞區(qū)域填補過程中充分利用了視點間相關性及空間相關性，并且預先判斷出最優(yōu)相關性，然后根據(jù)不同的最優(yōu)相關性分別采取相應的空洞填補方法，既提高了空洞填補效果，又有效地降低了計算復雜度。


圖1為本發(fā)明方法的總體實現(xiàn)框圖；圖2為本發(fā)明方法中多視點視頻的丟失幀f(t。，sc)與圖像幀f (t。，Sl),f(tc, sr)、f(tp, s。)、f(tp，Sl),f(tp, sr),f(tb, s。)、f(tb，S1)和 f(tb，Sr)之間的位置關系示意圖；圖3為水平插值的示意圖；圖4為空洞區(qū)域&與其上相鄰塊Βτ。ρ和左相鄰塊Buft的位置關系示意圖；圖為尺寸為10 X 768的hdoor多視點視頻序列圖像；圖釙為尺寸為10 X 768的Outdoor多視點視頻序列圖像；圖5c為尺寸為640 X 480的Rena多視點視頻序列圖像；圖5d為尺寸為640X480的Xmas3cm多視點視頻序列圖像；圖6a為測試序列Outdoor在QP = 24時的丟失幀正常解碼重建時的圖像；圖6b為測試序列Outdoor的采用時域幀拷貝方法FC恢復得到的丟失幀；圖6c為測試序列Outdoor的采用本發(fā)明方法恢復得到的丟失幀。
具體實施例方式以下結合附圖實施例對本發(fā)明作進一步詳細描述。本發(fā)明提出了一種多視點視頻整幀丟失錯誤隱藏方法，其總體實現(xiàn)框圖如圖1所示，其主要包括以下步驟①假定多視點視頻的第S。個視點中的第t。時刻的圖像幀為丟失幀，記為f(t。，S。)，則將多視點視頻的第S。個視點中已正確解碼的時域上先于丟失幀f(t。，S。)且離丟失幀f(tc, sc)最近的圖像幀記為f(tp，s。)，將多視點視頻的第S。個視點中已正確解碼的時域上后于丟失幀f(t。，s。)且離丟失幀f(t。，s。)最近的圖像幀記為€(、，8。)，令&為多視點視頻中離第S。個視點最近的左視點的編號，令&為多視點視頻中離第S。個視點最近的右視點的編號，將多視點視頻的第&個視點中已正確解碼的第t。時刻的圖像幀記為f (t。，，將多視點視頻的第、個視點中已正確解碼的第t。時刻的圖像幀記為f(t。，s,)，將多視點視頻的第&個視點中已正確解碼的第tp時刻的圖像幀記為f (tp，S1)，將多視點視頻的第、個視點中已正確解碼的第tp時刻的圖像幀記為f(tp，sr)，將多視點視頻的第&個視點中已正確解碼的第tb時刻的圖像幀記為f(tb，Sl)，將多視點視頻的第、個視點中已正確解碼的第tb時刻的圖像幀記為f(tb，、)，其中，tp為多視點視頻的第\個視點中已正確解碼的時域上先于丟失幀f(t。，sc)且離丟失幀f(t。，sc)最近的圖像幀f(tp，sc)所在的時刻，tp < t。，tb為多視點視頻的第S。個視點中已正確解碼的時域上后于丟失幀f(t。，s。)且離丟失幀f (t。，sc)最近的圖像幀f (tb，sc)所在的時刻，tc < tb。圖2 給出了丟失幀 f(tc，sc)與圖像幀 f(tc，S1), f(tc, sr), f(tp, sc)、f(tp，S1),f(tp, sr),f(tb, sc),f(tb, S1)禾口 f(tb，Sr)之間的位置關系示意圖。②計算f(t。，S1)與 f(tc，sr)的幀差圖像，記為 f(t。)，f(tc) = f(tc, Sl)-f(tc,、)I，同時計算f(tp，Sl)與f(tp，iO 的幀差圖像，記為f(tp)，f(tp) = f(tp,Sl)-f(tp,Sr) ι,然后計算f(t。)與f(tp)的幀差圖像，記為fa，fa= |f(t。)-f(tp) |，其中，“| |”為取絕對值符號。
W H③將fa分割成一X—個互不重疊的尺寸大小為mXm的第一圖像塊，統(tǒng)計fa中
m m
的每個第一圖像塊中像素值大于統(tǒng)計值判斷閾值T。的像素點的個數(shù)，并確定fa中的每個第一圖像塊的映射狀態(tài)對于fa中的第i個第一圖像塊，將其記為Blki,統(tǒng)計Blki中像素值大于統(tǒng)計值判斷閾值Ttl的像素點的個數(shù)，記為Ni,并確定Blki的映射狀態(tài)，記為s (i)，
^)=1^' iffD，其中，ImHw和H分別表示多視點視頻中的圖像巾貞的寬度和
Lu' 1J - yvOmm
高度，N0為映射狀態(tài)判斷閾值。在此，通常根據(jù)圖像幀尺寸的大小，m可以選擇為64、32、或16等值，如果圖像尺寸較大，則m也可相應增大，反之m可選較小的值；由于視頻編碼中圖像塊尺寸通常為2的冪次，因此本發(fā)明方法中m也選用2的冪次。在此，統(tǒng)計值判斷閾值T。的值為fa中所有像素點的像素值的均值又與標準差σ的加權和，Τ;=_7α+/1’σ，這里，λ ‘為權值，λ ‘的值越大，統(tǒng)計值判斷閾值Ttl的值也越大，丟失幀f(t。，s。)中被判定為靜止區(qū)域(即映射狀態(tài)s (i) =0的圖像塊)的面積將增加，從而使得采用時域直接拷貝的方法恢復的圖像塊的比例增加，雖然可以降低計算復雜度，但恢復的準確性會降低；而λ ‘的值越小，則后續(xù)恢復丟失幀f(t。，sc)的過程中大多數(shù)圖像塊將采用視點間預測恢復的方法恢復圖像塊，雖然提高了恢復的準確性，但同時也增加了計算復雜度。因此本發(fā)明折衷考慮，且經(jīng)過大量實驗，表明λ ‘ = 1時能夠取得最好的效果。
在此，映射狀態(tài)判斷閾值=Y。
W H④將丟失幀f(t。，s。)分割成一χ—個互不重疊的尺寸大小為mXm的第二圖像塊，
m m
W H
將f(tp，sc)分割成一χ—個互不重疊的尺寸大小為mXm的第三圖像塊，將f(t。，S1)分割m m
W H
成一x一個互不重疊的尺寸大小為mXm的第四圖像塊，然后根據(jù)fa中坐標位置與丟失幀m m
f(t。，Sc)中的第二圖像塊的坐標位置對應的第一圖像塊的映射狀態(tài)，利用f(tp，Sc)中坐標位置與丟失幀f(t。，Sc)中的第二圖像塊的坐標位置對應的第三圖像塊中各個像素點的像素值或f(t。，S1)中坐標位置與丟失幀f(t。，Sc)中的第二圖像塊的坐標位置對應的第四圖像塊中各個像素點的像素值，逐一初步恢復丟失幀f(t。，sc)中的各個第二圖像塊，獲得丟失幀f(t。，sc)的初步恢復幀，記為f ‘ (t。，sc)。在此具體實施例中，步驟④的具體過程為④-1、定義丟失幀f(t。，s。)中當前待初步恢復的第i個第二圖像塊為當前第二圖像塊，記為Bi,令0 ,; )為當前第二圖像塊Bi的左上角頂點的坐標位置。④_2、判斷fa中左上角頂點的坐標位置與當前第二圖像塊&的左上角頂點的坐標位置0^.，>^.)對應的第一圖像塊Blki的映射狀態(tài)s (i)是否為0，如果是，則將f(tp，sc)中左上角頂點的坐標位置與當前第二圖像塊Bi的左上角頂點的坐標位置0 ,; .)對應的第三圖像塊BPi中各個像素點的像素值復制給當前第二圖像塊Bi中對應的像素點；否則，通過視差估計方法計算f(t。，S1)中左上角頂點的坐標位置與當前第二圖像塊Bi的左上角頂點的坐標位置0 ，yBl )對應的第四圖像塊BLi在f (t。，sr)中的最佳匹配塊，并得到相應的視差矢量(dXi，(Iyi),然后將f(t。，S1)中左上角頂點的坐標位置與當前第二圖像塊Bi的左上角頂點的坐標位置( ,，yBl )對應的第四圖像塊BLi中各個像素點的像素值復制給丟失幀f (t。，sc)中左上角頂點的坐標位置為( +λχ χ^γΒι +/ΙχφΟ的大小為mXm的圖像塊中對應的
,Dr
像素點，其中，2 = D Id，如圖2所示，隊表示多視點視頻的第&個視點和第S。個視點之
L R
間的距離，De表示多視點視頻的第&個視點和第S。個視點之間的距離。④-3、令i' =i+l，i = i'，將丟失幀f(tc，Sc)中下一個待初步恢復的第二圖像塊作為當前第二圖像塊Bi,返回步驟④-2繼續(xù)執(zhí)行，直至丟失幀f(t。，sc)中的所有第二圖像塊完成初步恢復為止，獲得丟失幀f(t。，sc)的初步恢復幀f' (t。，s。)，其中，i'的初始值為0。⑤對丟失幀f(t。，sc)的初步恢復幀f ‘ (t。，sc)進行空洞區(qū)域(即尚未賦值的像素點所形成的區(qū)域)填補處理，獲得丟失幀f(t。，sc)的最終恢復幀。在此具體實施例中，步驟⑤的具體過程為⑤-I、逐行水平掃描丟失幀f(t。，S。)的初步恢復幀f' (t。，S。)，如果檢測到空洞區(qū)域，且該空洞區(qū)域的水平寬度gx小于閾值n，則采用水平插值填補該空洞區(qū)域。圖3為水平插值的示意圖，圖3中用數(shù)字標記的方塊為初步恢復幀f' (t。，s。)中某行的非空洞像素，即這些像素已通過步驟④獲得如方塊中數(shù)字所示的像素值，而陰影標記的方塊為空洞像素，即這些像素尚未被賦值，水平寬度&如圖3所示，本實施例中取閾值η = 4。⑤_2、將丟失幀f(t。，sc)的初步恢復幀f' (t。，sc)的所有行完成水平掃描后得到的圖像幀記為f〃(t。，s。)。⑤-3、逐列垂直掃描f" (t。，sc)，如果檢測到空洞區(qū)域，且該空洞區(qū)域的垂直高度gy小于閾值n，則采用垂直插值填補該空洞區(qū)域。這里垂直插值的處理方式類似于水平插值，垂直高度&的意義也與水平寬度gx的意義相似。⑤-4、將f" (t。，S。)的所有列完成垂直掃描后得到的圖像幀記為f' “ (t。，sc)。⑤-5、對f' ‘‘ (t。，S。)實施空洞區(qū)域檢測和填補，具體過程為a、將f' ‘‘ (t。，s。)中檢測到的第j個空洞區(qū)域記為Ci，令X、為&的最左端的橫坐標，令《7為&的最上端的縱坐標，其中，j彡1。b、令 。p表示f' “ (t。，sc)中位于Cj上方的左上角頂點的坐標位置為-^Zcj 且右下角頂點的坐標位置為+m-\,yTCj +1)的長方形圖像塊，BLeft表示f' “ (t。，S。)中位于Cj左側的左上角頂點的坐標位置為且右下角頂點的坐標位置為(<-1，>ξ- + 1)的長方形圖像塊，此處，整幀圖像的左下角頂點為原點，向上為1軸正方向，向右為χ軸正方向，其中，w表示 。ρ的高度與B·的寬度，在此取w = 4?？斩磪^(qū)域Cj與其上相鄰塊Βτ。ρ和左相鄰塊的位置關系如圖4所示。C、定義U Btop為Cj的相鄰塊，記為BNeighb ，BNeighbor = BLeft U BT。P。d、采用視差估計方法尋找f' “ (t。，Sc)中(^_的相鄰塊BMghb 在f(t。，S1)中的最佳匹配塊，記所獲得的視差矢量為，4^)，然后令f' ‘‘ (t。，sc)中的Cj中坐標位置為(X，y)的像素值等于f(t。，S1)中坐標位置為+ + 的像素值，其中，X^ <x<xRCjyCj <y<yTCj，xg表示Cj的最右端的橫坐標，
減表示Cj的最下端的縱坐標。本實施例采用了 JMVC8. 3測試平臺，圖像組(GOP)長度為8，幀率為30fps，量化參數(shù)QP分別為24,28,32.測試的四組多視點視頻序列如圖5a、圖5b、圖5c和圖5d所示，分別是圖像尺寸為10 X 768的hdoor、0utdoor序列，以及圖像尺寸為640X480的Rena和Xmas3cm序列。本實施例中，假設GOP中的第4幀為丟失幀，對于圖像尺寸為10 X 768的Indoor和Outdoor序列，m取為64，而對于圖像尺寸為640X480的Rena和Xmas3cm序列，m取為32。表1不同測試序列錯誤隱藏結果的比較
權利要求
1. 一種多視點視頻整幀丟失錯誤隱藏方法，其特征在于包括以下步驟①假定多視點視頻的第S。個視點中的第t。時刻的圖像幀為丟失幀，記為f(t。，s。)，則將多視點視頻的第S。個視點中已正確解碼的時域上先于丟失幀f(t。，s。)且離丟失幀f (t。，S。)最近的圖像幀記為f(tp，Sc)，將多視點視頻的第S。個視點中已正確解碼的時域上后于丟失中貞f(t。，s。)且離丟失幀f(t。，s。)最近的圖像幀記為€(、，8。)，令&為多視點視頻中離第Sc個視點最近的左視點的編號，令\為多視點視頻中離第S。個視點最近的右視點的編號，將多視點視頻的第&個視點中已正確解碼的第t。時刻的圖像幀記為f (t。，S1)，將多視點視頻的第、個視點中已正確解碼的第t。時刻的圖像幀記為f (t。， Ο，將多視點視頻的第&個視點中已正確解碼的第tp時刻的圖像幀記為f(tp，sl)，將多視點視頻的第、個視點中已正確解碼的第tp時刻的圖像幀記為f(tp，Sr)，將多視點視頻的第&個視點中已正確解碼的第tb時刻的圖像幀記為f(tb，sl)，將多視點視頻的第、個視點中已正確解碼的第tb時刻的圖像幀記為f(tb， Ο，其中，tp為多視點視頻的第S。個視點中已正確解碼的時域上先于丟失幀f(t。，Sc)且離丟失幀f(t。，Sc)最近的圖像幀f(tp，Sc)所在的時刻，tp < t。，tb為多視點視頻的第S。個視點中已正確解碼的時域上后于丟失幀f(t。，Sc)且離丟失幀f(t。，Sc)最近的圖像幀f(tb，Sc)所在的時刻，tc < tb ；②計算f(t。，Sl) %f(tc,sr)的幀差圖像，記為 f(t。)，f(t。)= |f(t。，Sl)-f(t。，Sr) I，同時計算 f(tp，Sl)與 f(tp，iO 的幀差圖像，記為 f(tp)，f(tp) = |f(tp，Sl)-f(tp，Sr) |，然后計算f(t。)與f(tp)的幀差圖像，記為fa，fa= 4(、)4(%)|，其中，“||”為取絕對值符號；W H③將fa分割成Ix—個互不重疊的尺寸大小為mXm的第一圖像塊，統(tǒng)計fa中的每m m個第一圖像塊中像素值大于統(tǒng)計值判斷閾值T。的像素點的個數(shù)，并確定fa中的每個第一圖像塊的映射狀態(tài)對于fa中的第i個第一圖像塊，將其記為Blki,統(tǒng)計Blki中像素值大于統(tǒng)計值判斷閾值Ttl的像素點的個數(shù)，記為Ni,并確定Blki的映射狀態(tài)，記為s (i)，^)=1^' iffD，其中，ImHw和H分別表示多視點視頻中的圖像巾貞的寬度和Lu' 1J - yvOmm高度，N0為映射狀態(tài)判斷閾值；W H④將丟失幀f(t。，sc)分割成一χ—個互不重疊的尺寸大小為mXm的第二圖像塊，m mW H將f(tp，sc)分割成一χ—個互不重疊的尺寸大小為mXm的第三圖像塊，將f(t。，S1)分割m mW H成一x一個互不重疊的尺寸大小為mXm的第四圖像塊，然后根據(jù)fa中坐標位置與丟失幀m mf(t。，Sc)中的第二圖像塊的坐標位置對應的第一圖像塊的映射狀態(tài)，利用f(tp，Sc)中坐標位置與丟失幀f(t。，Sc)中的第二圖像塊的坐標位置對應的第三圖像塊中各個像素點的像素值或f(t。，S1)中坐標位置與丟失幀f(t。，Sc)中的第二圖像塊的坐標位置對應的第四圖像塊中各個像素點的像素值，逐一初步恢復丟失幀f(t。，Sc)中的各個第二圖像塊，獲得丟失幀f(t。，Sc)的初步恢復幀，記為f ‘ (t。，S。)，具體過程為④-1、定義丟失幀f(t。，S。)中當前待初步恢復的第i個第二圖像塊為當前第二圖像塊，記為Bi,令( , )為當前第二圖像塊Bi的左上角頂點的坐標位置；④-2、判斷fa中左上角頂點的坐標位置與當前第二圖像塊Bi的左上角頂點的坐標位置0 ,; .)對應的第一圖像塊Blki的映射狀態(tài)s (i)是否為0，如果是，則將f(tp，sc)中左上角頂點的坐標位置與當前第二圖像塊Bi的左上角頂點的坐標位置0 ,; .)對應的第三圖像塊BPi中各個像素點的像素值復制給當前第二圖像塊Bi中對應的像素點；否則，通過視差估計方法計算f(t。，S1)中左上角頂點的坐標位置與當前第二圖像塊Bi的左上角頂點的坐標位置0 JA.)對應的第四圖像塊BLi在€(、，sr)中的最佳匹配塊，并得到相應的視差矢量(dXi，(Iyi),然后將f(t。，S1)中左上角頂點的坐標位置與當前第二圖像塊Bi的左上角頂點的坐標位置( ，yBl )對應的第四圖像塊BLi中各個像素點的像素值復制給丟失幀f (t。，sc)中左上角頂點的坐標位置為( +λχ χ^γΒι +/ΙχφΟ的大小為mXm的圖像塊中對應的, D1像素點，其中乂 = D ^，Dl表示多視點視頻的第&個視點和第S。個視點之間的距離，DkL R表示多視點視頻的第^個視點和第S。個視點之間的距離；④-3、令i'= i+l,i = i'，將丟失幀f(tc，Sc)中下一個待初步恢復的第二圖像塊作為當前第二圖像塊Bi,返回步驟④-2繼續(xù)執(zhí)行，直至丟失幀f(t。，sc)中的所有第二圖像塊完成初步恢復為止，獲得丟失幀f(t。，sc)的初步恢復幀f' (t。，s。)，其中，i'的初始值為0 ；⑤對丟失幀f(t。，sc)的初步恢復幀f'(t。，sc)進行空洞區(qū)域填補處理，獲得丟失幀f(tc, Sc)的最終恢復幀。
2.根據(jù)權利要求1所述的一種多視點視頻整幀丟失錯誤隱藏方法，其特征在于所述的步驟⑤的具體過程為⑤-1、逐行水平掃描丟失幀f(t。，s。)的初步恢復幀f' (t。，S。)，如果檢測到空洞區(qū)域，且該空洞區(qū)域的水平寬度gx小于閾值n，則采用水平插值填補該空洞區(qū)域；⑤-2、將丟失幀f(t。，sc)的初步恢復幀f' (t。，sc)的所有行完成水平掃描后得到的圖像幀記為f “ (t。，sc)；⑤_3、逐列垂直掃描f" (t。，sc)，如果檢測到空洞區(qū)域，且該空洞區(qū)域的垂直高度&小于閾值n，則采用垂直插值填補該空洞區(qū)域；⑤-4、將f" (t。，S。)的所有列完成垂直掃描后得到的圖像幀記為f〃 ‘ (t。，s。)；⑤-5、對f" ‘ (t。，S。)實施空洞區(qū)域檢測和填補，具體過程為a、將f" ‘ (t。，s。)中檢測到的第j個空洞區(qū)域記為Cj,令吃為Cj的最左端的橫坐標，令>^為Cj的最上端的縱坐標，其中，j彡1 ；b、令Βτ。ρ表示f〃 ‘ (t。，sc)中位于Cj上方的左上角頂點的坐標位置M^cj ~^yTCj 且右下角頂點的坐標位置為+m-\yTCj +1)的長方形圖像塊，BLeft表示 " ‘ (t。，S。)中位于Cj左側的左上角頂點的坐標位置為且右下角頂點的坐標位置為(<-1，>ξ- + 1)的長方形圖像塊，此處，整幀圖像的左下角頂點為原點，向上為y軸正方向，向右為χ軸正方向，其中，w表示 。p的高度與的寬度；C、定義U 。p為Cj的相鄰塊，記為BMghb ，BNeighb = BLeft U Btop ；d、采用視差估計方法尋找f〃 ‘ (t。，sc)中Cj的相鄰塊BMghb 在f(t。，S1)中的最佳匹配塊，記所獲得的視差矢量為(Acv 4^)，然后令f 〃 ‘ (t。，sc)中的Cj中坐標位置為(X，y)的像素點的像素值等于f(t。，S1)中坐標位置為(x + dxCj,y + )的像素值，其中，χ )X<xgyCj <y<yTCj，呤表示Cj的最右端的橫坐標，3 表示Cj的最下端的縱坐標。
3.根據(jù)權利要求2所述的一種多視點視頻整幀丟失錯誤隱藏方法，其特征在于所述的η = 4。
4.根據(jù)權利要求1至3中任一項所述的一種多視點視頻整幀丟失錯誤隱藏方法，其特征在于所述的m的值為2的冪次，所述的統(tǒng)計值判斷閾值Ttl的值為fa中所有像素點的像素值的均值Λ與標準差σ的加權和，
5.根據(jù)權利要求4所述的一種多視點視頻整幀丟失錯誤隱藏方法，其特征在于所述的4中所有像素點的像素值的均值Λ與標準差σ的加權和中λ ‘ = 1。
全文摘要
本發(fā)明公開了一種多視點視頻整幀丟失錯誤隱藏方法，該方法通過預先判斷丟失幀中各個圖像塊在時域與視點間相關性的強弱，以選擇合適的參考幀，采用不同的恢復方法恢復丟失幀中的圖像塊，并對恢復得到的初步恢復幀進行空洞區(qū)域填補處理，得到丟失幀的最終恢復幀，優(yōu)點在于本發(fā)明方法有效利用了視點間相關性與時域相關性，對于丟失幀中預先判定為時域相關性較強的圖像塊，采用時域直接拷貝的方法恢復圖像塊，不僅可減少計算復雜度，而且能提高所恢復的這部分圖像塊的主客觀質量，而對于丟失幀中預先判定為時域相關性較差的圖像塊，采用視點間預測恢復的方法恢復圖像塊，可以有效提高這部分圖像塊恢復的準確性。
文檔編號H04N7/68GK102572446SQ201210005799
公開日2012年7月11日 申請日期2012年1月10日 優(yōu)先權日2012年1月10日
發(fā)明者李福翠, 程清棟, 蔣剛毅, 郁梅 申請人:寧波大學