一種3d視頻轉(zhuǎn)多視點(diǎn)自由立體顯示的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻和圖像處理領(lǐng)域，特別涉及一種將當(dāng)前3D視頻轉(zhuǎn)換為多視點(diǎn)自 由立體顯示視頻的方法。
【背景技術(shù)】
[0002] 隨著近年來3D電影的風(fēng)行，特別是電影《阿凡達(dá)》的橫空出世，在全球掀起了一股 3D狂潮，到目前已經(jīng)有不少3D動漫和3D電影，電視機(jī)廠商也生產(chǎn)許多了基于不同3D顯示 技術(shù)的3D電視機(jī)。早期電視機(jī)廠商所發(fā)展的3D電視機(jī)，是需搭配紅藍(lán)眼鏡、偏光眼鏡、快 門眼鏡等，然此缺點(diǎn)為倘若3D眼鏡不見、損壞、或人數(shù)過多不敷使用等，則光靠3D顯示器 也呈現(xiàn)不出立體影像；另外的缺點(diǎn)是，需戴眼鏡的3D顯示器僅能作到2視點(diǎn)的3D視角范 圍，而無法作到3個(gè)視點(diǎn)以上。以上原因，也促使電視廠商漸朝向裸視、多視點(diǎn)的3D顯示 技術(shù)發(fā)展。然而多視點(diǎn)自由立體顯示視頻內(nèi)容制作依然是一個(gè)沒有有效解決的問題。目前 常見的辦法是從原有的3D視頻中提取深度信息，然后利用基于深度圖像繪制技術(shù)使用深 度圖和3D視頻合成新的視點(diǎn)圖像，該技術(shù)存在以下幾個(gè)問題還沒有有效解決： 1)基于深度圖像繪制技術(shù)需要從現(xiàn)有的3D視頻中提取稠密深度信息，目前深度提取 技術(shù)主要利用3D視頻左右視點(diǎn)圖像中的特征點(diǎn)匹配技術(shù)得到，很難得到稠密深度圖。
[0003] 2 )基于深度圖像繪制技術(shù)使用了立體幾何和物理光學(xué)等知識，要求較高準(zhǔn)確度的 深度信息，而利用特征點(diǎn)匹配得到的深度信息都是相對的。
[0004] 3)由于3D視頻中的物體存在遮蓋現(xiàn)象，一個(gè)物體在當(dāng)前視點(diǎn)是不可見的但是到 了新的視點(diǎn)可能又變?yōu)榭梢娏?，但是原來?D視頻中并沒有記錄被遮蓋物體的圖像信息， 在新的視點(diǎn)該物體處就會變?yōu)榭斩矗谏疃葓D像繪制技術(shù)需要對因?yàn)檎谏w原因引起的新 視點(diǎn)空洞進(jìn)行圖像修補(bǔ)，圖像修補(bǔ)目前沒有什么又快速又效果好的算法。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明主要解決的技術(shù)問題是提供一種基于圖像顯著性的非線性圖像域變形技 術(shù)，該方法只需要從3D視頻中提取稀疏深度、邊、顯著性信息，然后利用這些信息實(shí)現(xiàn)從3D 視頻視點(diǎn)到新視點(diǎn)的圖像域變形。
[0006] 為解決上述技術(shù)問題，本發(fā)明采用的一個(gè)技術(shù)方案是：提供一種3D視頻轉(zhuǎn)多視點(diǎn) 自由立體顯示的方法，具體步驟包括： (100)、首先對3D視頻的左右視點(diǎn)圖像進(jìn)行分析并從中提取稀疏深度圖、邊、顯著性信 息； (200)、然后利用這些信息得到能量約束方程，并對能量約束方程最小化進(jìn)行數(shù)值求 解，即可得到從當(dāng)前視點(diǎn)到新視點(diǎn)上的圖像域非線性變形函數(shù)； (300)、最后利用得到的圖像域非線性變形函數(shù)和3D視頻左右視點(diǎn)圖像融合得到新的 視點(diǎn)圖像。
[0007] 在本發(fā)明一個(gè)較佳實(shí)施例中，所述步驟（100)中，提取稀疏深度圖的過程包括： (111) 、對3D視頻的左右視點(diǎn)圖像進(jìn)行特征點(diǎn)提取和特征點(diǎn)匹配； (112) 、在提取到特征點(diǎn)后，使用RANSAC算法去除特征點(diǎn)中的奇異值；由匹配特征點(diǎn)之 間的位移即可得視差圖，根據(jù)視差與深度的幾何關(guān)系即可從視差圖得到深度圖；由于根據(jù) 匹配特征點(diǎn)得到深度圖，特征點(diǎn)可能會集中到左右視點(diǎn)圖像中的幾個(gè)集中的區(qū)域，故得到 的深度圖也是集中到幾個(gè)區(qū)域的稀疏深度圖。
[0008] 在本發(fā)明一個(gè)較佳實(shí)施例中，所述步驟（111)中，特征點(diǎn)的提取和特征點(diǎn)匹配采用 SIFT、kd-tree算法。
[0009] 在本發(fā)明一個(gè)較佳實(shí)施例中，所述步驟（112)中利用特征點(diǎn)匹配求深度圖，結(jié)合基 于光流計(jì)算視差方法，得到更精確的視差圖，從而得到更精確的深度圖。
[0010] 在本發(fā)明一個(gè)較佳實(shí)施例中，所述步驟（1〇〇)中，從3D視頻左右視點(diǎn)圖像中提取 邊，采用邊緣提取算子提取邊緣后再采用Hough變換從邊中提取直線。
[0011] 在本發(fā)明一個(gè)較佳實(shí)施例中，所述步驟（1〇〇)中，從3D視頻左右視點(diǎn)圖像中提取 顯著性信息，通過計(jì)算3D視頻左右視點(diǎn)圖像的四元傅里葉變換的相位譜得到圖像的時(shí)空 顯著性信息，圖像中的每一個(gè)像素點(diǎn)都用四元組表示：顏色，亮度和運(yùn)動向量。
[0012] 在本發(fā)明一個(gè)較佳實(shí)施例中，步驟（200)中， 根據(jù)從3D視頻左右視點(diǎn)圖像中提取的信息和能量方程，采用最小化方法求解從3D視 頻左右視點(diǎn)圖像到新視點(diǎn)圖像的非線性圖像域變形函數(shù)，應(yīng)該考慮四個(gè)方面的約束：深度 約束、保角約束、邊約束、時(shí)間約束； 深度約束，將3D視頻左右視點(diǎn)中的點(diǎn)結(jié)合顯著性移動到新視點(diǎn)中對應(yīng)的位置； 保角約束，測量非線性圖像域變形網(wǎng)格面的變形程度，補(bǔ)償強(qiáng)的局部形變； 時(shí)間約束，為了減小新視點(diǎn)圖像數(shù)據(jù)幀間圖像差距大引起瑕疵，引入時(shí)間約束； 邊約束，垂直邊在立體融合中相當(dāng)重要，在從3D視頻左右視點(diǎn)到新視點(diǎn)的圖像域變形 中應(yīng)該盡量保持垂直邊不發(fā)生彎曲變形，這樣可以減少因?yàn)榇怪边呑冃我鹩^看者的不舒 適感。
[0013] 在本發(fā)明一個(gè)較佳實(shí)施例中，步驟（300)中，3D視頻左右視點(diǎn)圖像根據(jù)得到的非 線性圖像域變形函數(shù)變形到新的視點(diǎn)圖像后，按照一定的比率融合得到新的視點(diǎn)的圖像； 采用按照新的視點(diǎn)與3D視頻左右視點(diǎn)圖像的視差做參數(shù)來計(jì)算作為融合的比率。
[0014] 本發(fā)明的有益效果是： 1)、本發(fā)明3D視頻轉(zhuǎn)多視點(diǎn)自由立體顯示的方法只需要從3D視頻左右視點(diǎn)圖像中利 用特征點(diǎn)匹配算法提取稀疏深度信息，該方法是魯棒、可靠、精確、和自動的。
[0015] 2)、本發(fā)明3D視頻轉(zhuǎn)多視點(diǎn)自由立體顯示的方法考慮了圖像的顯著性，保證了從 3D視頻左右視點(diǎn)圖像到新視點(diǎn)變形后顯著值大的區(qū)域沒有明顯的幾何形變；且給顯著值 大的區(qū)域分配更多的深度值范圍，增大顯著值大的區(qū)域的深度梯度，增強(qiáng)了該區(qū)域的立體 感。
[0016] 3)、本發(fā)明3D視頻轉(zhuǎn)多視點(diǎn)自由立體顯示的方法不存在像傳統(tǒng)基于深度圖繪制 技術(shù)新視點(diǎn)合成的存在因遮蓋引起空洞需要進(jìn)行圖像修補(bǔ)的問題。
【附圖說明】
[0017] 圖1是由3D視頻合成多視點(diǎn)自由立體顯示視頻概念示意圖； 圖2是由3D視頻合成多視點(diǎn)自由立體顯示視頻框圖； 圖3是使用非線性圖像變形函數(shù)對輸入圖像變形示例圖。
【具體實(shí)施方式】
[0018] 下面結(jié)合附圖對本發(fā)明的較佳實(shí)施例進(jìn)行詳細(xì)闡述，以使本發(fā)明的優(yōu)點(diǎn)和特征能 更易于被本領(lǐng)域技術(shù)人員理解，從而對本發(fā)明的保護(hù)范圍做出更為清楚明確的界定。
[0019] 結(jié)合附圖1-3所示，本發(fā)明公開一種3D視頻轉(zhuǎn)多視點(diǎn)自由立體顯示的方法，具體 步驟包括： 100)、從3D視頻中提取稀疏深度信息、邊、顯著性信息： 對3D視頻的左右視點(diǎn)圖像進(jìn)行分析和特征提取，從中獲取稀疏深度圖、邊、顯著性等 信息。
[0020] 110)、稀疏深度圖提?。?稀疏深度圖提取采用基于傳統(tǒng)的計(jì)算機(jī)視覺方法，通過利用在3D視頻中左右2個(gè)不 同的視點(diǎn)獲得的同一景物的2幅圖像進(jìn)行特征點(diǎn)匹配來恢復(fù)出場景物體的深度信息。具體 為： 111) 、首先對3D視頻的左右視點(diǎn)圖像進(jìn)行特征點(diǎn)提取和特征點(diǎn)匹配； 112) 、根據(jù)特征點(diǎn)匹配得到對應(yīng)點(diǎn)的視差圖；然后根據(jù)對應(yīng)點(diǎn)的視差與深度的關(guān)系計(jì) 算出深度，從而將視差圖轉(zhuǎn)化為深度圖。具體為在提取到3D視頻左右視點(diǎn)圖像的特征點(diǎn)后 使用RANSAC算法移除特征點(diǎn)中的奇異值，然后采用kd-tree算法進(jìn)行特征點(diǎn)匹配即可得到 視差圖。由于使用根據(jù)匹配特征點(diǎn)得到深度圖，特征點(diǎn)可能會集中到左右視點(diǎn)圖像中的幾 個(gè)集中的區(qū)域，故得到的深度圖也是集中到幾個(gè)區(qū)域的稀疏深度圖。這里利用特征點(diǎn)匹配 求深度圖可以結(jié)合基于光流計(jì)算視差的Lucas-Kanade方法，來得到更好的視差圖，從而得 到更好的深度圖。
[0021] 120)、邊的提?。?垂直邊對立體融合相當(dāng)重要，因此我們檢測出3D視頻左右視點(diǎn)圖像中的垂直邊，在從 3D視頻左右視點(diǎn)圖像到新視點(diǎn)圖像的非線性圖像域變形再融合