專利名稱：基于反饋控制的平面視頻立體化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)圖像處理領(lǐng)域，特別涉及一種基于反饋控制的平面視頻立體化方法。
背景技術(shù)：
立體視頻作為當(dāng)前影視作品的一種重要表現(xiàn)形式，顯示效果層次分明、色彩鮮艷且具有很強(qiáng)的視覺沖擊力，隨著近年來立體影視作品在全球范圍內(nèi)取得的成功，立體視頻在終端顯示、機(jī)器人導(dǎo)航、航空航天、軍事訓(xùn)練、醫(yī)療教育、游戲傳媒等領(lǐng)域具有廣闊的 市場前景和商業(yè)價(jià)值，被廣泛認(rèn)為是影視行業(yè)未來發(fā)展的主要方向。與原有的平面視頻制作相比，立體視頻的制作需要能夠呈現(xiàn)出層次分明的場景深度信息，使得影視作品具有很強(qiáng)的視覺沖擊力，給人以身臨其境的視覺享受?，F(xiàn)有的立體視頻制作技術(shù)主要有三種，一種是使用立體攝像機(jī)進(jìn)行拍攝制作立體視頻，另一種是利用三維建模軟件制作立體視頻，還有一種是利用平面視頻立體化技術(shù)將平面視頻轉(zhuǎn)換為立體視頻，其中，第一種制作技術(shù)成本高且對(duì)設(shè)備校準(zhǔn)、拍攝環(huán)境、后期制作的要求也高，第二種制作技術(shù)需要專業(yè)人員花費(fèi)大量精力對(duì)場景、對(duì)象進(jìn)行建模，經(jīng)濟(jì)成本和時(shí)間成本令人望而卻步，第三種制作技術(shù)成本比前兩種技術(shù)低很多，且可將任何一組現(xiàn)有的立體視頻轉(zhuǎn)換為對(duì)應(yīng)的立體視頻。平面視頻立體化技術(shù)的關(guān)鍵點(diǎn)在于如何高效的生成相應(yīng)的深度圖序列?，F(xiàn)有技術(shù)中，通過人機(jī)交互，利用圖像分割算法，人工的給圖像中的物體賦予深度值以獲取平面圖像序列深度。目前，存在的問題是需要大量的人工操作，使得深度圖的制作周期較長，制作成本較高。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述的技術(shù)缺陷之一。為達(dá)到上述目的，本發(fā)明的實(shí)施例提出一種基于反饋控制的平面視頻立體化方法，包括以下步驟S1:讀入平面視頻幀序列中的關(guān)鍵幀，并根據(jù)輸入的關(guān)鍵幀人工標(biāo)記，利用圖像分割算法得到所述關(guān)鍵幀的前景對(duì)象；S2 :通過閉環(huán)反饋控制的方式生成所述關(guān)鍵幀前景對(duì)象的標(biāo)記線，并將所述標(biāo)記線逐幀地?cái)U(kuò)展至各個(gè)非關(guān)鍵幀，以及利用圖像分割算法恢復(fù)所述非關(guān)鍵幀的前景對(duì)象；以及S3 :對(duì)所述關(guān)鍵幀的前景對(duì)象和所述非關(guān)鍵幀的前景對(duì)象進(jìn)行統(tǒng)一的深度賦值以獲得所述平面視頻幀序列的深度圖序列，并對(duì)所述深度圖序列進(jìn)行深度雙向合成以獲得最終的深度圖序列。根據(jù)本發(fā)明實(shí)施例的基于反饋控制的平面視頻立體化方法，一方面只在少數(shù)的關(guān)鍵幀上進(jìn)行人機(jī)交互操作，提高了效率且保證了深度圖的準(zhǔn)確性，另一方面采用閉環(huán)反饋控制方式，進(jìn)一步提高了效率。本發(fā)明的一個(gè)實(shí)例中，所述步驟SI包括接收用戶選定的所述平面視頻中存在鏡頭切換或關(guān)鍵動(dòng)作變化的幀作為關(guān)鍵幀，或者采用鏡頭檢測算法選定關(guān)鍵幀；通過筆畫的方式在所述關(guān)鍵幀的前景物體和背景物體上所做的不同的標(biāo)記；再根據(jù)所述關(guān)鍵幀的前景物體和背景物體上的不同的標(biāo)記，采用基于筆畫標(biāo)記的圖像分割算法提取所述關(guān)鍵幀的前
景對(duì)象。本發(fā)明的一個(gè)實(shí)例中，所述關(guān)鍵幀進(jìn)行濾波以減弱圖像噪聲。本發(fā)明的一個(gè)實(shí)例中，所述步驟S2包括S21 :基于閉環(huán)反饋控制規(guī)律生成所述關(guān)鍵幀的標(biāo)記線；S22 :利用自適應(yīng)塊匹配算法計(jì)算各個(gè)標(biāo)記像素的鄰域像素的運(yùn)動(dòng)矢量，并對(duì)所述鄰域像素的運(yùn)動(dòng)矢量進(jìn)行加權(quán)平均以獲取所述 標(biāo)記像素的運(yùn)動(dòng)矢量，以及根據(jù)所述標(biāo)記像素的運(yùn)動(dòng)矢量，將所述標(biāo)記線擴(kuò)展至下一幀，直至下一關(guān)鍵幀處停止；S23 :根據(jù)擴(kuò)展得到的標(biāo)記線，調(diào)用圖像分割算法恢復(fù)所述非關(guān)鍵幀的前景對(duì)象。本發(fā)明的一個(gè)實(shí)例中，所述步驟S2還包括判斷恢復(fù)出的非關(guān)鍵幀的前景對(duì)象是否準(zhǔn)確；以及如果恢復(fù)出的非關(guān)鍵幀的前景對(duì)象不準(zhǔn)確，則按照關(guān)鍵幀中輸入人工標(biāo)記的方式修改所述關(guān)鍵幀的標(biāo)記線。本發(fā)明的一個(gè)實(shí)例中，所述步驟S21包括S211 :利用Grass-fire算法得到所述關(guān)鍵幀前景對(duì)象的骨架線作為前景標(biāo)記集合；S212 :將所述關(guān)鍵幀前景對(duì)象的邊界向外膨脹多個(gè)像素得到擴(kuò)展邊界，并在所述擴(kuò)展邊界上采樣以將采樣點(diǎn)作為背景標(biāo)記集合；S213 以所述前景標(biāo)記集合與所述背景標(biāo)記集合為輸入，調(diào)用圖像分割算法得到生成對(duì)象；S214 如果所述前景對(duì)象與所述生成對(duì)象的差異小于預(yù)定閾值，則將所述前景標(biāo)記集合和背景標(biāo)記集合作為關(guān)鍵幀的標(biāo)記線；S215 :如果存在僅屬于前景對(duì)象而不屬于生成對(duì)象的第一區(qū)域，則調(diào)用Grass-fire算法得到所述第一區(qū)域的骨架線并加入到所述前景標(biāo)記集合中，并返回到步驟S213繼續(xù)執(zhí)行；S216 ;如果存在僅屬于生成對(duì)象而不屬于前景對(duì)象的第二區(qū)域，則調(diào)用Grass-fire算法得到所述第二區(qū)域的骨架線并加入到所述背景標(biāo)記集合中，并返回到步驟S213繼續(xù)執(zhí)行。本發(fā)明的一個(gè)實(shí)例中，所述步驟S3包括根據(jù)從所述平面視頻幀序列中提取出的前景對(duì)象和預(yù)設(shè)的深度賦值模型生成所述平面視頻幀序列的前向深度圖序列和后向深度圖序列；根據(jù)所述前向深度圖序列和后向深度圖序列通過進(jìn)行深度雙向合成得到非關(guān)鍵幀的深度圖。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中圖I為本發(fā)明實(shí)施例的基于反饋控制的平面視頻立體化方法的流程圖；以及圖2為本發(fā)明實(shí)施例的閉環(huán)反饋控制的結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。
圖I為本發(fā)明實(shí)施例的基于反饋控制的平面視頻立體化方法的流程圖。如圖I所示，根據(jù)本發(fā)明實(shí)施例的基于反饋控制的平面視頻立體化方法，包括以下步驟S101，讀入平面視頻幀序列中的關(guān)鍵幀，并根據(jù)輸入的關(guān)鍵幀人工標(biāo)記，利用圖像分割算法得到關(guān)鍵幀的前景對(duì)象。具體地，首先，接收用戶選定的平面視頻中存在鏡頭切換或關(guān)鍵動(dòng)作變化的幀作為關(guān)鍵幀，或者采用鏡頭檢測算法選定關(guān)鍵幀，在本發(fā)明的一個(gè)實(shí)施例中，選擇關(guān)鍵幀之后，對(duì)關(guān)鍵幀進(jìn)行濾波以減弱圖像噪聲，例如可以使用高斯濾波方法或者M(jìn)ean-shift濾波方法等對(duì)關(guān)鍵幀進(jìn)行濾波，由此以減弱圖像噪聲對(duì)分割算法的影響。然后，接收用戶通過筆畫的方式在關(guān)鍵幀的前景物體和背景物體上所做的不同的標(biāo)記，例如，用戶可以選擇用鼠標(biāo)左鍵在前景物體上做標(biāo)記，用鼠標(biāo)右鍵在背景物體上做標(biāo)記。最后，根據(jù)關(guān)鍵幀的前景物體和背景物體上的不同的標(biāo)記，采用基于筆畫標(biāo)記的圖像分割算法提取關(guān)鍵幀的前景對(duì)象，例如，可以使用Graph Cut算法、Lazy Snapping等算法等提取關(guān)鍵巾貞的前景對(duì)象,如果圖像分割算法不能準(zhǔn)確地提取關(guān)鍵幀的前景對(duì)象，修改或者重新進(jìn)行人工標(biāo)記后再提取關(guān)鍵幀的前景對(duì)象。
S102，通過閉環(huán)反饋控制的方式生成關(guān)鍵幀前景對(duì)象的標(biāo)記線，并將標(biāo)記線逐幀地?cái)U(kuò)展至各個(gè)非關(guān)鍵幀，以及利用圖像分割算法恢復(fù)非關(guān)鍵幀的前景對(duì)象。具體地，首先基于閉環(huán)反饋控制規(guī)律生成關(guān)鍵幀的標(biāo)記線。更具體地，利用Grass-fire算法得到關(guān)鍵幀前景對(duì)象的骨架線作為前景標(biāo)記集合，將關(guān)鍵幀前景對(duì)象的邊界向外膨脹多個(gè)像素得到擴(kuò)展邊界，并在擴(kuò)展邊界上采樣以將采樣點(diǎn)作為背景標(biāo)記集合，以前景標(biāo)記集合與背景標(biāo)記集合為輸入，調(diào)用圖像分割算法得到生成對(duì)象，根據(jù)前景對(duì)象和生成對(duì)象進(jìn)行分析，包括以下幾種情況(I)如果前景對(duì)象與生成對(duì)象的差異小于預(yù)定閾值，則將前景標(biāo)記集合和背景標(biāo)記集合作為關(guān)鍵幀的標(biāo)記線；(2)如果存在僅屬于前景對(duì)象而不屬于生成對(duì)象的第一區(qū)域，則調(diào)用Grass-fire算法得到第一區(qū)域的骨架線并加入到前景標(biāo)記集合中，然后，以前景標(biāo)記集合與背景標(biāo)記集合為輸入，重新調(diào)用圖像分割算法得到生成對(duì)象；(3)如果存在僅屬于生成對(duì)象而不屬于前景對(duì)象的第二區(qū)域，則調(diào)用Grass-fire算法得到第二區(qū)域的骨架線并加入到背景標(biāo)記集合中，然后，以前景標(biāo)記集合與背景標(biāo)記集合為輸入，重新調(diào)用圖像分割算法得到生成對(duì)象。如圖2所示，整個(gè)關(guān)鍵幀的標(biāo)記線的生成過程，構(gòu)成完整的閉環(huán)反饋控制系統(tǒng)，以關(guān)鍵幀的前景對(duì)象為系統(tǒng)的給定量；以圖像分割算法得到的生成對(duì)象為系統(tǒng)的反饋量；由Grass-fire算法生成的標(biāo)記線構(gòu)成了系統(tǒng)的輸出量；控制系統(tǒng)的控制器以給定量與反饋量的偏差為輸入，按照前述的控制規(guī)律，得到偏差區(qū)域作為控制信號(hào)給執(zhí)行器;GraSS-f ire算法作為控制系統(tǒng)的執(zhí)行器，負(fù)責(zé)將偏差區(qū)域轉(zhuǎn)化為標(biāo)記線；圖像分割算法作為控制系統(tǒng)的傳感器，負(fù)責(zé)將標(biāo)記線轉(zhuǎn)化為生成對(duì)象。整個(gè)系統(tǒng)在前景對(duì)象給定后就能夠自動(dòng)的按照閉環(huán)反饋控制規(guī)律運(yùn)行，直至輸出的標(biāo)記線達(dá)到控制系統(tǒng)的設(shè)定要求。然后，利用自適應(yīng)塊匹配算法計(jì)算各個(gè)標(biāo)記像素的鄰域像素的運(yùn)動(dòng)矢量，并對(duì)鄰域像素的運(yùn)動(dòng)矢量進(jìn)行加權(quán)平均以獲取標(biāo)記像素的運(yùn)動(dòng)矢量，根據(jù)標(biāo)記像素的運(yùn)動(dòng)矢量，將標(biāo)記線擴(kuò)展至下一幀，直至下一關(guān)鍵幀處停止。更具體地，可以將鄰域設(shè)定為5x5的正方形方格，獲取標(biāo)記像素i的運(yùn)動(dòng)矢量朋MVi的公式如下
權(quán)利要求
1.一種基于反饋控制的平面視頻立體化方法，其特征在于，包括以下步驟 Si:讀入平面視頻幀序列中的關(guān)鍵幀，并根據(jù)輸入的關(guān)鍵幀人工標(biāo)記，利用圖像分割算法得到所述關(guān)鍵幀的前景對(duì)象； 52:通過閉環(huán)反饋控制的方式生成所述關(guān)鍵幀前景對(duì)象的標(biāo)記線，并將所述標(biāo)記線逐幀地?cái)U(kuò)展至各個(gè)非關(guān)鍵幀，以及利用圖像分割算法恢復(fù)所述非關(guān)鍵幀的前景對(duì)象；以及 53:對(duì)所述關(guān)鍵幀的前景對(duì)象和所述非關(guān)鍵幀的前景對(duì)象進(jìn)行統(tǒng)一的深度賦值以獲得所述平面視頻幀序列的深度圖序列，并對(duì)所述深度圖序列進(jìn)行深度雙向合成以獲得最終的深度圖序列。
2.根據(jù)權(quán)利要求I所述的基于反饋控制的平面視頻立體化方法，其特征在于，所述步驟SI進(jìn)一步包括 接收用戶選定的所述平面視頻中存在鏡頭切換或關(guān)鍵動(dòng)作變化的幀作為關(guān)鍵幀，或者采用鏡頭檢測算法選定關(guān)鍵幀； 接收用戶通過筆畫的方式在所述關(guān)鍵幀的前景物體和背景物體上所做的不同的標(biāo)記；以及 根據(jù)所述關(guān)鍵幀的前景物體和背景物體上的不同的標(biāo)記，采用基于筆畫標(biāo)記的圖像分割算法提取所述關(guān)鍵幀的前景對(duì)象。
3.根據(jù)權(quán)利要求2所述的基于反饋控制的平面視頻立體化方法，其特征在于，所述步驟SI還包括 對(duì)所述關(guān)鍵幀進(jìn)行濾波以減弱圖像噪聲。
4.根據(jù)權(quán)利要求I所述的基于反饋控制的平面視頻立體化方法，其特征在于，所述步驟S2進(jìn)一步包括 521:基于閉環(huán)反饋控制規(guī)律生成所述關(guān)鍵幀的標(biāo)記線； 522:利用自適應(yīng)塊匹配算法計(jì)算各個(gè)標(biāo)記像素的鄰域像素的運(yùn)動(dòng)矢量，并對(duì)所述鄰域像素的運(yùn)動(dòng)矢量進(jìn)行加權(quán)平均以獲取所述標(biāo)記像素的運(yùn)動(dòng)矢量，以及根據(jù)所述標(biāo)記像素的運(yùn)動(dòng)矢量，將所述標(biāo)記線擴(kuò)展至下一幀，直至下一關(guān)鍵幀處停止； S23:根據(jù)擴(kuò)展得到的標(biāo)記線，調(diào)用圖像分割算法恢復(fù)所述非關(guān)鍵幀的前景對(duì)象。
5.根據(jù)權(quán)利要求3所述的基于反饋控制的平面視頻立體化方法，其特征在于，所述步驟S2還包括 判斷恢復(fù)出的非關(guān)鍵幀的前景對(duì)象是否準(zhǔn)確；以及 如果恢復(fù)出的非關(guān)鍵幀的前景對(duì)象不準(zhǔn)確，則按照關(guān)鍵幀中輸入人工標(biāo)記的方式修改所述關(guān)鍵幀的標(biāo)記線。
6.根據(jù)權(quán)利要求3所述的基于反饋控制的平面視頻立體化方法，其特征在于，所述步驟S21具體包括 5211:利用Grass-fire算法得到所述關(guān)鍵幀前景對(duì)象的骨架線作為前景標(biāo)記集合； 5212:將所述關(guān)鍵幀前景對(duì)象的邊界向外膨脹多個(gè)像素得到擴(kuò)展邊界，并在所述擴(kuò)展邊界上采樣以將采樣點(diǎn)作為背景標(biāo)記集合； 5213以所述前景標(biāo)記集合與所述背景標(biāo)記集合為輸入，調(diào)用圖像分割算法得到生成對(duì)象； 5214:如果所述前景對(duì)象與所述生成對(duì)象的差異小于預(yù)定閾值，則將所述前景標(biāo)記集合和背景標(biāo)記集合作為關(guān)鍵幀的標(biāo)記線； S215 :如果存在僅屬于前景對(duì)象而不屬于生成對(duì)象的第一區(qū)域，則調(diào)用Grass-fire算法得到所述第一區(qū)域的骨架線并加入到所述前景標(biāo)記集合中，并返回到步驟S213繼續(xù)執(zhí)行； S216:如果存在僅屬于生成對(duì)象而不屬于前景對(duì)象的第二區(qū)域，則調(diào)用Grass-fire算法得到所述第二區(qū)域的骨架線并加入到所述背景標(biāo)記集合中，并返回到步驟S213繼續(xù)執(zhí)行。
7.根據(jù)權(quán)利要求I所述的基于反饋控制的平面視頻立體化方法，其特征在于，所述步驟S3進(jìn)一步包括 根據(jù)從所述平面視頻幀序列中提取出的前景對(duì)象和預(yù)設(shè)的深度賦值模型生成所述平面視頻幀序列的前向深度圖序列和后向深度圖序列；以及 根據(jù)所述前向深度圖序列和后向深度圖序列通過進(jìn)行深度雙向合成得到非關(guān)鍵幀的深度圖。
全文摘要
本發(fā)明提出一種基于反饋控制的平面視頻立體化方法，包括以下步驟讀入平面視頻幀序列中的關(guān)鍵幀，并根據(jù)輸入的關(guān)鍵幀人工標(biāo)記，利用圖像分割算法得到關(guān)鍵幀的前景對(duì)象；通過閉環(huán)反饋控制的方式生成關(guān)鍵幀前景對(duì)象的標(biāo)記線，并將標(biāo)記線逐幀地?cái)U(kuò)展至各個(gè)非關(guān)鍵幀，以及利用圖像分割算法恢復(fù)非關(guān)鍵幀的前景對(duì)象；以及對(duì)關(guān)鍵幀的前景對(duì)象和非關(guān)鍵幀的前景對(duì)象進(jìn)行統(tǒng)一的深度賦值以獲得平面視頻幀序列的深度圖序列，并對(duì)深度圖序列進(jìn)行深度雙向合成以獲得最終的深度圖序列。根據(jù)本發(fā)明實(shí)施例的方法，只在少數(shù)的關(guān)鍵幀上進(jìn)行人機(jī)交互操作且采用閉環(huán)反饋控制方式，提高了效率且保證了深度圖的準(zhǔn)確性。
文檔編號(hào)H04N13/02GK102724530SQ20121017282
公開日2012年10月10日 申請日期2012年5月29日 優(yōu)先權(quán)日2012年5月29日
發(fā)明者戴瓊海, 曹汛, 李振堯 申請人:清華大學(xué)