多視點圖像渲染系統(tǒng)及方法
【技術領域】
[0001]本發(fā)明涉及圖像處理技術領域，具體涉及一種多視點圖像渲染系統(tǒng)及方法。
【背景技術】
[0002]近年，3D視覺技術高速發(fā)展，越來越多的設備具備3D顯示功能。現(xiàn)今主要的3D顯不技術分為眼鏡式系統(tǒng)和非眼鏡式系統(tǒng)。
[0003]眼鏡式系統(tǒng)需要觀看者佩戴額外的輔助顯示設備，這嚴重影響了觀看者的視覺體驗。非眼鏡式系統(tǒng)不需要觀看者佩戴額外的輔助顯示設備，并且能夠達到同樣的立體視覺效果，因此非眼鏡式設備越來越受到觀看者的青睞。
[0004]多視點圖像顯示技術就是非眼鏡式系統(tǒng)中一種主要的顯示方法。多視點圖像的立體視覺效果非常優(yōu)秀，不僅可以讓觀看者產(chǎn)生立體視覺以此帶給觀看者真實的現(xiàn)場感受，還可以讓觀看者觀看到更加豐富的內(nèi)容信息。因此多視點圖像在廣告?zhèn)髅?，電影娛樂，醫(yī)療教育等領域都有廣泛的應用。
[0005]然而，現(xiàn)有的多視點圖像渲染技術還存在渲染計算效率不高，成本昂貴，分辨率低等問題。

【發(fā)明內(nèi)容】

[0006]本發(fā)明克服了現(xiàn)有技術的不足，提供一種成本低的多視點圖像渲染系統(tǒng)及方法。
[0007]考慮到現(xiàn)有技術的上述問題，根據(jù)本發(fā)明公開的一個方面，本發(fā)明采用以下技術方案:
[0008]一種多視點圖像渲染系統(tǒng)，其特征在于它包括:
[0009]輸入模塊，用于接收及存儲圖像的原始序列和對應的深度序列圖像數(shù)據(jù)；
[0010]圖像數(shù)據(jù)預處理模塊，用于將輸入圖像數(shù)據(jù)經(jīng)過預處理以得到渲染多視點圖像的參考信息；
[0011]多視點渲染模塊，用于對預處理后的圖像數(shù)據(jù)進行計算，生成多視點圖像視頻；
[0012]輸出模塊，用于實時將滿足不同分辨率的多視點圖像排列，輸出多視點圖像數(shù)據(jù)。
[0013]為了更好地實現(xiàn)本發(fā)明，進一步的技術方案是:
[0014]根據(jù)本發(fā)明的一個實施方案，所述圖像數(shù)據(jù)預處理模塊包含:
[0015]多視點參數(shù)單元，用于設定多視點圖像的相關參數(shù)，以得到適應匹配不同顯示設備和/或不同分辨率的多視點圖像，以及校準多視點圖像的立體視覺效果；
[0016]圖像縮放單元，用于圖像數(shù)據(jù)的縮放處理，使原始圖像和輸出圖像分辨率一致；
[0017]去塊效應單元，用于去除圖片和/或視頻壓縮中出現(xiàn)的塊效應現(xiàn)象；
[0018]深度圖預處理單元，用于提取圖片和/或視頻的深度信息、以及對深度信息進行分層平滑，并分別計算出每個視點相對應的深度信息。
[0019]根據(jù)本發(fā)明的另一個實施方案，所述去塊效應單元將原始圖像數(shù)據(jù)劃分為原始圖像塊，并確定每一單獨的塊效應強度，以及根據(jù)塊效應強度來設置相應的去塊效應濾波器，以對每一塊原始圖像塊進行濾波，或根據(jù)不同的強度自適應去除原始數(shù)據(jù)中出現(xiàn)的塊效應現(xiàn)象；以獲得準確的圖像數(shù)據(jù)信息。
[0020]根據(jù)本發(fā)明的另一個實施方案，所述多視點渲染模塊包括:
[0021]視差重建單元，用于對預處理圖像深度信息進行三維重建，重建出多個視點的視差信息，然后再對每個視點的深度信息中的不完整信息進行圖像修復，最終重建出完整的視差?目息;
[0022]視差渲染合成單元，用于根據(jù)重建的視差信息渲染出不同視點的虛擬圖像，再按照多視點合成的映射方式來合成最終的多視點圖像。
[0023]根據(jù)本發(fā)明的另一個實施方案，所述視差重建單元在生成N視點圖像的情況下，貝IJ總共需要生成有N個不同視點的虛擬視圖，以及重建出N個視點的深度信息，并按照基于深度圖繪制方法確定深度信息相對每個視差的行相對位移。
[0024]本發(fā)明還可以是:
[0025]一種多視點圖像渲染方法，它包括:
[0026]接收及存儲圖像的原始序列圖和對應的深度序列圖像數(shù)據(jù)；
[0027]將輸入圖像數(shù)據(jù)經(jīng)過預處理以得到渲染多視點圖像的參考信息；
[0028]對預處理后的圖像數(shù)據(jù)進行計算，并生成多視點圖像視頻；
[0029]實時將滿足不同分辨率的多視點圖像進行排列，輸出多視點圖像數(shù)據(jù)。
[0030]根據(jù)本發(fā)明的另一個實施方案，它還包含:
[0031]設定多視點圖像的相關參數(shù)，以得到適應匹配不同顯示設備和不同分辨率的多視點圖像，以及校準多視點圖像的立體視覺效果；
[0032]對圖像數(shù)據(jù)進行縮放處理，使原始圖像和輸出圖像分辨率一致；
[0033]去除圖片或視頻壓縮中出現(xiàn)的塊效應現(xiàn)象；
[0034]提取圖片或視頻深度信息、以及對深度信息進行分層平滑，并分別計算出每個視點相對應的深度信息。
[0035]根據(jù)本發(fā)明的另一個實施方案，它還包括將原始圖像數(shù)據(jù)劃分為原始圖像塊，并確定每一單獨的塊效應強度，以及根據(jù)塊效應強度來設置相應的去塊效應濾波器，以對每一塊原始圖像塊進行濾波，或根據(jù)不同的強度自適應去除原始數(shù)據(jù)中出現(xiàn)的塊效應現(xiàn)象；以獲得準確的圖像數(shù)據(jù)信息。
[0036]根據(jù)本發(fā)明的另一個實施方案，它還包括:
[0037]對預處理圖像深度信息進行三維重建，重建出多個視點的視差信息，然后再對每個視點的深度信息中的不完整信息進行圖像修復，最終重建出完整的視差信息；
[0038]以及根據(jù)重建的視差信息渲染出不同視點的虛擬圖像，再按照多視點合成的映射方式來合成最終的多視點圖像。
[0039]根據(jù)本發(fā)明的另一個實施方案，在生成N視點圖像的情況下，則總共需要生成有N個不同視點的虛擬視圖，以及重建出N個視點的深度信息，并按照基于深度圖繪制方法確定深度信息相對每個視差的行相對位移。
[0040]與現(xiàn)有技術相比，本發(fā)明的有益效果之一是:
[0041]本發(fā)明的一種多視點圖像渲染系統(tǒng)及方法，具有高效的實時多視點圖像渲染，支持大部分圖像數(shù)據(jù)輸入輸出，滿足不同分辨率的多視點圖像渲染，集成度高，成本低廉。
【附圖說明】
[0042]為了更清楚的說明本申請文件實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術的描述中所需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅是對本申請文件中一些實施例的參考，對于本領域技術人員來講，在不付出創(chuàng)造性勞動的情況下，還可以根據(jù)這些附圖得到其它的附圖。
[0043]圖1示出了根據(jù)本發(fā)明一個實施例的多視點圖像渲染系統(tǒng)示意框圖。
[0044]圖2示出了根據(jù)本發(fā)明另一個實施例的圖像數(shù)據(jù)預處理模塊示意框圖。
[0045]圖3示出了根據(jù)本發(fā)明另一個實施例的多視點渲染模塊示意框圖。
【具體實施方式】
[0046]下面結(jié)合實施例對本發(fā)明作進一步地詳細說明，但本發(fā)明的實施方式不限于此。
[0047]如圖1所示，圖1示出了根據(jù)本發(fā)明一個實施例的多視點圖像渲染系統(tǒng)示意框圖，輸入模塊101首先獲取圖像Img和圖像所對應的株度彳目息Dep。圖像和?米度彳目息可以是任意分辨率，可支持3840*2160。圖像和深度信息也可以是各種常見排列方式，例如左右拼，上下拼等。圖1中的圖像數(shù)據(jù)預處理模塊102可對圖像數(shù)據(jù)做預處理，得到渲染多視點圖像的參考信息，并對參考信息進一步篩選，以供后面多視點渲染模塊103使用。
[0048]圖1中的輸出模塊104可以將渲染出的多視點圖像輸出給3D顯示設備。輸出模塊104可以實時的將滿足不同分辨率的多視點圖像進行排列，輸出多視點圖像數(shù)據(jù)。
[0049]如圖2所示，圖2示出了根據(jù)本發(fā)明另一個實施例的圖像數(shù)據(jù)預處理模塊示意框圖，在圖像數(shù)據(jù)預處理模塊102中可以有4個單元，包括:多視點參數(shù)單元201，圖像縮放單元202，去塊效應單元203，深度圖預處理單元204。多視點參數(shù)單元201獲取視點數(shù)N，分辨率，顯示設備參數(shù)，植染多視點參考參數(shù)和相應閥值等。在多視點參數(shù)單元201中，觀看者可以自己設定相關參數(shù)以達到更好的立體視覺輸出效果。
[0050]圖2中的圖像縮放單元202能夠?qū)υ紙D像數(shù)據(jù)進行縮放