專利名稱：用于三維視頻的基于視覺的質(zhì)量度量的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻再現(xiàn)，且更特定來說，涉及三維視頻再現(xiàn)。
背景技術(shù)：
三維(3D)視頻俘獲裝置一般在大體上模仿人眼布置的構(gòu)造中包含兩個相機。所述兩個相機各自俘獲場景的二維(2D)視頻數(shù)據(jù)，但是從模仿從相應(yīng)的人左眼和右眼對場景的感知的略微移位的角度來俘獲。此被模仿的左眼和右眼2D視頻數(shù)據(jù)常被分別稱作左眼和右眼2D視圖。在給定相機的焦距和相機中心之間的基線距離的情況下，可從此被模仿的左眼和右眼2D視圖提取深度信息。此深度信息可用于擴充所述左眼和/或右眼2D視圖中的一個或一個以上以形成3D視頻數(shù)據(jù)。
通常，僅結(jié)合所述視圖中的一者來提供深度信息，因為可從提供的視圖和深度信息產(chǎn)生另一視圖。從提供的視圖和深度信息再現(xiàn)另一視圖的此技術(shù)被稱作基于深度圖像的再現(xiàn)(DIBR)?？紤]到僅需要一個視圖且可將深度信息編碼為灰度級圖像(其比全色2D視頻數(shù)據(jù)消耗少得多的空間)，DIBR減小了 3D視頻數(shù)據(jù)的大小?？蛇M一步壓縮DIBR中的所得的3D視頻數(shù)據(jù)以進一步減小視頻數(shù)據(jù)的大小。對此3D視頻數(shù)據(jù)的壓縮可促進將此3D 視頻數(shù)據(jù)無線地遞送到(例如)無線顯示器。
3D視頻編碼器可實施深度圖估計模塊以產(chǎn)生包含來自兩個所俘獲的視圖的單一視圖和深度信息的3D視頻數(shù)據(jù)。3D視頻解碼器可實施DIBR以從提供的視圖和深度信息再現(xiàn)額外視圖以供3D顯示裝置呈現(xiàn)。3D視頻編碼器和3D視頻解碼器中的每一者可另外執(zhí)行對3D視頻數(shù)據(jù)的一些分析以評估視圖的質(zhì)量。通常，3D視頻編碼器和解碼器利用現(xiàn)有的2D 質(zhì)量度量(2DQM)來評估這些視圖中的每一者的質(zhì)量，且以分別推測性地反映所俘獲的3D 視頻和所再現(xiàn)的3D視頻數(shù)據(jù)的質(zhì)量的方式組合這些2D質(zhì)量度量。這些2D質(zhì)量度量中的一些已被擴充以考慮深度圖度量，從而進一步精細化用于3D視頻數(shù)據(jù)的所得的質(zhì)量度量。 響應(yīng)于此制定的偽3D質(zhì)量度量，3D視頻編碼器可從兩個所俘獲的視圖修正深度圖的產(chǎn)生， 且3D視頻解碼器可從提供的視圖和深度信息修正視圖的產(chǎn)生。發(fā)明內(nèi)容
一般來說，本發(fā)明描述用于提供客觀三維(3D)質(zhì)量度量(3DQM)的技術(shù)，其能夠?qū)崿F(xiàn)對錯誤和其源的適當(dāng)發(fā)現(xiàn)，且能夠?qū)ι疃葓D估計和深度圖和視圖編碼器/解碼進行精細調(diào)諧。也就是說，不是利用2D質(zhì)量度量(2DQM)來個別地評估若干視圖中的每一者的質(zhì)量且組合這些2D質(zhì)量度量以形成可被稱作偽3D質(zhì)量度量的度量,所述技術(shù)可避免對2DQM的推測性組合來支持從理想深度圖的估計計算出的客觀3DQM，所述理想深度圖使用基于DIBR 的3D視頻數(shù)據(jù)來提供失真受限的圖像視圖。另外，所述技術(shù)可隔離3D視頻編碼器、3D視頻解碼器和/或無線信道中的各種操作，以便與通常用于評估基于DIBR的3D視頻數(shù)據(jù)的推測性3DQM相比潛在地更好地識別錯誤的源。以此方式，所述技術(shù)可提供客觀三維3DQM，其能夠?qū)崿F(xiàn)對錯誤和其源的適當(dāng)發(fā)現(xiàn)，且能夠?qū)ι疃葓D估計和深度圖和視圖編碼器/解碼進行精細調(diào)諧。
在一個方面中，一種用于獲得客觀度量以量化基于基于深度圖像的再現(xiàn)(DIBR) 的三維(3D)視頻數(shù)據(jù)的視覺質(zhì)量的方法包括估計將使用基于DIBR的3D視頻數(shù)據(jù)產(chǎn)生失真受限的圖像視圖的理想深度圖；基于所述理想深度圖與在產(chǎn)生所述基于DIBR的3D視頻數(shù)據(jù)中使用的深度圖的定量比較來導(dǎo)出一個或一個以上失真度量；以及基于所述導(dǎo)出的一個或一個以上失真度量來計算所述客觀度量以量化基于DIBR的3D視頻數(shù)據(jù)的視覺質(zhì)量。
在另一方面中，一種裝置獲得客觀度量以量化基于基于深度圖像的再現(xiàn)(DIBR) 的三維(3D)視頻數(shù)據(jù)的視覺質(zhì)量。所述裝置包括計算3D客觀度量的3D分析單元。所述3D 分析單元包含理想深度估計單元，其將使用基于DIBR的3D視頻數(shù)據(jù)產(chǎn)生失真受限的圖像視圖的理想深度圖；失真度量計算單元，其基于所述理想深度圖與在產(chǎn)生所述基于DIBR 的3D視頻數(shù)據(jù)中使用的深度圖的定量比較來導(dǎo)出一個或一個以上失真度量；以及客觀度量計算單元，其基于所述導(dǎo)出的一個或一個以上失真度量來計算所述客觀度量以量化基于 DIBR的視頻數(shù)據(jù)的視覺質(zhì)量。
在另一方面中，一種設(shè)備獲得客觀度量以量化基于基于深度圖像的再現(xiàn)(DIBR) 的三維(3D)視頻數(shù)據(jù)的視覺質(zhì)量。所述設(shè)備包括用于估計將使用基于DIBR的3D視頻數(shù)據(jù)產(chǎn)生失真受限的圖像視圖的理想深度圖的裝置；用于基于所述理想深度圖與在產(chǎn)生所述基于DIBR的3D視頻數(shù)據(jù)中使用的深度圖的定量比較來導(dǎo)出一個或一個以上失真度量的裝置；以及用于基于所述導(dǎo)出的一個或一個以上失真度量來計算所述客觀度量以量化基于 DIBR的3D視頻數(shù)據(jù)的視覺質(zhì)量的裝置。
在另一方面中，一種非暫時性計算機可讀媒體包括在執(zhí)行時致使一個或一個以上處理器進行以下操作的指令估計將使用基于DIBR的3D視頻數(shù)據(jù)產(chǎn)生失真受限的圖像視圖的理想深度圖；基于所述理想深度圖與在產(chǎn)生所述基于DIBR的3D視頻數(shù)據(jù)中使用的深度圖的定量比較來導(dǎo)出一個或一個以上失真度量；以及基于所述導(dǎo)出的一個或一個以上失真度量來計算所述客觀度量以量化基于DIBR的3D視頻數(shù)據(jù)的視覺質(zhì)量。
所述技術(shù)的一個或一個以上方面的細節(jié)在附圖及以下描述中陳述。從描述和圖式，且從權(quán)利要求書將明白所述技術(shù)的其它特征、目的和優(yōu)勢。


圖1是說明實施本發(fā)明中所描述的客觀三維(3D)質(zhì)量度量(3DQM)導(dǎo)出技術(shù)的示范性系統(tǒng)的方框 圖。
圖2是說明實施本發(fā)明中所描述的技術(shù)的各種方面的3D分析單元的實例的方框圖。
圖3是說明在實施本發(fā)明中所描述的三維(3D)質(zhì)量度量導(dǎo)出技術(shù)的各種方面中的源裝置的示范性操作的流程圖。
圖4是說明在實施本發(fā)明中所描述的技術(shù)的各種方面的顯示裝置的示范性操作的流程圖。
圖5是在實施本發(fā)明中所描述的技術(shù)的各種方面以計算3D質(zhì)量度量的3D分析單元的示范性操作的流程圖。
圖6是說明提供根據(jù)本發(fā)明中所描述的技術(shù)而產(chǎn)生的3DQM的主觀分析的圖表的圖。
圖7是展示移位傳感器相機模型的圖。
具體實施方式
圖1是說明實施本發(fā)明中所描述的客觀三維(3D)質(zhì)量度量(3DQM)導(dǎo)出技術(shù)的示范性系統(tǒng)10的方框圖。在圖1的實例中，系統(tǒng)10包含源裝置12和顯示裝置14，源裝置 12和顯示裝置14經(jīng)由無線通信信道15而彼此通信。源裝置12可包含通用多媒體裝置， 例如個人計算機、工作站、個人數(shù)字助理(PDA)、移動電話(包含所謂的“智能電話”)，或包括能夠執(zhí)行軟件且尤其是多媒體軟件的通用處理器的任何其它類型的裝置。源裝置14可替代地包括專用多媒體裝置，例如視頻攝像機、數(shù)字視頻光盤(DVD)播放器、電視、機頂盒 (STB)、壓縮光盤(CD)播放器、數(shù)字媒體播放器(例如，所謂的“MP3”播放器或MP3/MP4播放器的組合，以及播放其它格式(包含高級音頻譯碼(AAC)、視窗媒體視頻(WMV)和波形音頻視頻(WAV)格式)的其它媒體播放器)、數(shù)字視頻記錄器(DVR)、全球定位系統(tǒng)(GPS)裝置，或?qū)Ｓ糜谝唤M一個或一個以上多媒體應(yīng)用且通常經(jīng)由加載和執(zhí)行多媒體軟件而不實現(xiàn)用戶控制的任何其它裝置。
顯示裝置14 一般表示能夠經(jīng)由顯示器進行視頻回放的任何裝置。顯示裝置16可包括電視(TV)顯示 器(其可被稱作3D視頻顯示裝置或混合式2D/3D視頻顯示裝置)，或能夠顯示3D視頻數(shù)據(jù)的任何其它類型的顯示裝置。顯示裝置14可替代地包括具有顯示器的任何其它裝置，例如膝上型計算機、個人媒體播放器(PMP)、桌上型計算機、工作站、PDA和便攜式數(shù)字媒體播放器(例如，便攜式DVD播放器)。
出于說明的目的，假設(shè)顯示裝置14表示與源裝置12無線地進行通信的無線全3D 電視。然而，本發(fā)明的技術(shù)不應(yīng)限于無線全3D電視，而是可相對于各種裝置的不同配置以許多不同方式來實施。舉例來說，除了顯示裝置之外，可相對于與3D顯示器或電視分離但與3D顯示器或電視介接的機頂盒或其它離散視覺或音頻/視覺裝置來實施所述技術(shù)。如本發(fā)明中所使用，全3D顯示器涉及集成全部必要的硬件邏輯、模塊、單元、軟件或其它組件以容易地顯示并實現(xiàn)3D視頻數(shù)據(jù)的觀看的3D顯示器。如本發(fā)明中所使用的3D顯示器涉及未包含全部邏輯、模塊、單元、軟件或其它組件以實現(xiàn)對3D視頻數(shù)據(jù)的接收、解碼、呈現(xiàn)和觀看的3D顯示器。3D顯示器一般需要單獨的裝置、硬件卡或其它組件來實現(xiàn)對3D視頻數(shù)據(jù)的接收、解碼、呈現(xiàn)和觀看。
源裝置12包含控制單元16和接口 18?？刂茊卧?6可表示一個或一個以上處理器(圖1中未展示)，所述一個或一個以上處理器執(zhí)行軟件指令，例如用于界定軟件或計算機程序的軟件指令，存儲到計算機可讀存儲媒體(再次，圖1中未展示)的軟件指令，所述計算機可讀存儲媒體例如為存儲裝置(例如，磁盤驅(qū)動器，或光學(xué)驅(qū)動器)，或存儲器(例如，快閃存儲器、隨機存取存儲器或RAM)或存儲用以致使可編程處理器執(zhí)行本發(fā)明中所描述的技術(shù)的指令(例如，呈計算機程序或其它可執(zhí)行體的形式)的任何其它類型的易失性或非易失性存儲器?；蛘?，控制單元16可包括用于執(zhí)行本發(fā)明中所描述的技術(shù)的專用硬件，例如一個或一個以上集成電路、一個或一個以上專用集成電路(ASIC)、一個或一個以上專用特殊處理器(ASSP)、一個或一個以上現(xiàn)場可編程門陣列(FPGA)或?qū)Ｓ糜布那笆鰧嵗娜魏谓M合。
接口 18表示借以與另一裝置(例如，顯示裝置14)無線地通信的接口。雖然在圖1的實例中未展示，但源裝置12可包含用以經(jīng)由有線或無線連接與其它裝置進行通信的額外接口。這些額外接口可包括(例如)BluetoothTM接口、無線蜂窩式接口、高清晰度多媒體接口(HDMI)、微型HDM1、通用系統(tǒng)總線(USB)接口、外部串行高級技術(shù)附件(eSATA)接口、 串行接口、單獨視頻(s-視頻)接口、分量視頻接口、RCA接口，或用于與另一裝置進行通信的任何其它類型的有線或無線接口。
在圖1的實例中，源裝置12的控制單元16包含許多單元20到24，許多單元20到 24可共同地實施或單獨地實施為一個或一個以上硬件單元或軟件與一個或一個以上硬件單元的組合。深度估計單元20表示基于包含左視圖26A和右視圖26B的3D視頻數(shù)據(jù)26 來估計深度信息28的單元?？墒褂?D視頻俘獲裝置來俘獲3D視頻數(shù)據(jù)26，所述3D視頻俘獲裝置包含第一 2D視頻俘獲裝置(例如，第一相機)和第二 2D視頻俘獲裝置(例如，第二相機)，其中所述第一和第二 2D視頻俘獲裝置經(jīng)定位以模仿人左眼和右眼在人頭部的放置。第一 2D視頻俘獲裝置可俘獲模仿場景的來自人左眼的視圖的2D視頻數(shù)據(jù)，而第二 2D 視頻俘獲裝置可俘獲模仿同一場景的來自人右眼的視圖的2D視頻數(shù)據(jù)。左視圖26A表示由第一 2D視頻俘獲裝置俘獲的2D視頻數(shù)據(jù)，且右視圖26B表示由第二 2D視頻俘獲裝置俘獲的2D視頻數(shù)據(jù)。
雖然出于容易說明的目的而未在圖1中展示，但源裝置12可包含用于俘獲3D視頻數(shù)據(jù)26的額外單元、模塊、邏輯、硬件或其它組件，例如上述的3D視頻俘獲裝置?；蛘?， 源裝置12可充當(dāng)用于存儲3D視頻數(shù)據(jù)26的 存檔或庫。在一些例子中，源裝置12可經(jīng)由包含于源裝置12內(nèi)的接口 18無線地接收3D視頻數(shù)據(jù)26。在一些例子中，這些外部裝置可經(jīng)由接口 18與源裝置12介接以將3D視頻數(shù)據(jù)存儲于源裝置12內(nèi)。
3D視頻編碼器22表示以壓縮方式編碼3D視頻數(shù)據(jù)26和深度信息28的單元。更具體來說，3D視頻編碼器22表示以促進基于深度圖像的再現(xiàn)(DIBR)的方式編碼3D視頻數(shù)據(jù)26的視圖26A、26B中的一者以及深度信息28的單元。DIBR涉及從提供的視圖和深度信息再現(xiàn)虛擬視圖。DIBR的益處是僅左視圖和右視圖中的單一者需要傳輸，而不是傳輸兩個視圖。另外，DIBR提供通常作為灰度級圖像或所謂的深度圖(其可在大小上顯著小于其它視圖)而提供的深度信息。實施DIBR的解碼器可隨后再現(xiàn)或另外產(chǎn)生未從深度圖和提供的視圖發(fā)送的視圖。3D視頻編碼器22可進一步壓縮視圖26A、26B中的一者以及深度信息 28以進一步壓縮3D視頻數(shù)據(jù)26。3D視頻編碼器包含用以壓縮視圖26A、26B中的一者的視圖譯碼單元30以及用以壓縮深度信息28的深度譯碼單元32。3D視頻編碼器可格式化或另外封裝或包封經(jīng)編碼的視圖和深度信息以作為經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)34。
3D分析單元24表示執(zhí)行或另外實施本發(fā)明中所描述的技術(shù)以產(chǎn)生客觀地評估經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)34的質(zhì)量的3D質(zhì)量度量36 ( “3DQM 36”)的單元。3DQM 還可在本發(fā)明中被稱作3D視頻質(zhì)量度量(3VQM)。雖然展示為與深度估計單元20和3D視頻編碼器22分離的單元，但3D分析單元24可替代地被集成到深度估計單元20和3D視頻編碼器22中的一者或兩者中，以執(zhí)行或另外實施在本發(fā)明中在下文更詳細地描述的技術(shù)。
如圖1的實例中進一步展示，顯示裝置14包含控制單元38 (其可大體上類似于源裝置12的控制單元16)，和接口 40 (其可大體上類似于源裝置12的接口 18)。顯示裝置14 還包含3D顯示器42，3D顯示器42表示能夠呈現(xiàn)3D視頻數(shù)據(jù)以供顯示裝置14的觀看者消費的任何顯示器，包含可需要快門、偏光或彩色眼鏡的立體顯示器和不需要眼鏡或任何其它技術(shù)來觀看3D中的內(nèi)容的自動立體顯示器。3D顯示器42可包括任何類型的顯示器，包含有機發(fā)光二極管(OLED)顯示器、發(fā)光二極管(LED)顯示器、等離子體顯示器和陰極射線管(CRT)顯示器。源裝置14的控制單元16包含許多單元44到48，許多單元44到48可共同地實施或單獨地實施為一個或一個以上硬件單元或軟件與一個或一個以上硬件單元的組合。
3D視頻解碼器44表示對經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)34進行解碼以產(chǎn)生提供的視圖50A(出于說明的目的，假設(shè)其為左視圖50A)和深度信息52的單元。3D視頻解碼器44包含視圖解碼單元54和深度解碼單元56。3D視頻解碼器44可將視圖解碼單元 54和深度解碼單元56個別地實施為單獨的硬件單元或單一的硬件單元，所述硬件單元可通過或可不通過執(zhí)行軟件或指令來實施本發(fā)明中所描述的一些功能性。視圖解碼單元54 表示對基于DIBR的視頻數(shù)據(jù)34的經(jīng)編碼的提供的視圖進行解碼以產(chǎn)生提供的視圖50A的單元。深度解碼單元56表示對經(jīng)編碼的深度圖或深度信息進行解碼以產(chǎn)生深度信息58的單元。
視圖重構(gòu)單元46實施DIBR以基于提供的視圖50A和深度信息58來重構(gòu)右視圖 50B。出于此原因，右視圖50B可被稱作重構(gòu)視圖50B( “recon(右)視圖50B”)。視圖重構(gòu)單元46可實施與由深度估計單元20實施的操作相反的操作以重構(gòu)右視圖50B。視圖重構(gòu)單元46可執(zhí)行基于深度圖像的再現(xiàn)(DIBR)，其為視圖重構(gòu)單元46實施的操作或過程， 涉及使用深度圖將來自一個視圖(即，在此實例中是提供的視圖)的內(nèi)容映射到其它視圖中的給定位置。視圖重構(gòu)單元46可隨后實施各種過程以將空位置填充在所產(chǎn)生的視圖中 (其通常被稱作“孔”)。3D分析單元48執(zhí)行本發(fā)明中所描述的類似于3D分析單元24所執(zhí)行的技術(shù)的技術(shù)，但出于下文更詳細地描述的原因，其經(jīng)過擴充以考慮到可用于3D分析單元48的信息中的差異。
起初，源裝置12可接收3D視頻數(shù)據(jù)26。在一些例子中，源裝置12從包含于源裝置12內(nèi)或經(jīng)由有線或 無線連接耦合到源裝置12的3D俘獲裝置接收3D視頻數(shù)據(jù)26?；蛘?，如上文所述，源裝置12經(jīng)由接口 18或上文所列舉的其它額外接口中的一者接收3D視頻數(shù)據(jù)26。源裝置12隨后對3D視頻數(shù)據(jù)26進行編碼以壓縮此3D視頻數(shù)據(jù)26，以用于經(jīng)由接口 18和無線通信信道15遞送到顯示裝置14。雖然在圖1的實例中未展示，但控制單元16可包含呈現(xiàn)一個或一個以上用戶接口的用戶接口單元或模塊，用戶可用所述一個或一個以上用戶接口進行交互以起始對3D視頻數(shù)據(jù)26的編碼和3D視頻數(shù)據(jù)26到顯示裝置 14的傳遞。
一旦起始對3D視頻數(shù)據(jù)26的編碼和傳遞，源裝置12的控制單元16便調(diào)用深度估計單元20以確定深度信息28。控制單元16還調(diào)用3D視頻編碼器22來對視圖26A、26B 中的一者和深度信息28進行編碼。如上文所述，假設(shè)3D視頻編碼器22對左視圖26A進行編碼。給定此假設(shè)，3D視頻編碼器22調(diào)用用以對左視圖26A進行編碼的視圖譯碼單元20 和用以對深度信息28進行編碼的深度譯碼單元32。3D視頻編碼器22輸出經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)34，經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)34經(jīng)由接口 18和無線通信信道15被傳輸?shù)斤@示裝置14。
接口 40接收此經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)34且將此視頻數(shù)據(jù)34轉(zhuǎn)發(fā)到包含于顯示裝置14內(nèi)的控制單元38的3D視頻解碼器44。3D視頻解碼器44調(diào)用視圖解碼單元54以對經(jīng)編碼的左視圖26A進行解碼。視圖解碼單元54對經(jīng)編碼的左視圖26進行解碼以產(chǎn)生提供的視圖50A。3D視頻解碼器44還調(diào)用深度解碼單元56以對經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)34的經(jīng)編碼的深度信息28進行解碼。深度解碼單元56對經(jīng)編碼的深度信息28進行解碼以產(chǎn)生深度信息58?？刂茊卧?8調(diào)用視圖重構(gòu)單元46以重構(gòu)右視圖50B，于是，視圖重構(gòu)單元46使用DIBR基于提供的視圖50A和深度信息58而形成所重構(gòu)的右視圖50B。左視圖50A和右視圖50B被作為3D視頻數(shù)據(jù)50轉(zhuǎn)發(fā)到3D顯示器42，3D 顯示器42將此3D視頻數(shù)據(jù)50呈現(xiàn)給3D顯示器42的觀看者。
在此基于DIBR的編碼和基于DIBR的解碼的整個過程中，3D分析單元24、48中的每一者根據(jù)本發(fā)明中所描述的技術(shù)分別確定3DQM 36和60。首先參看源裝置12的3D分析單元24，3D分析單元24根據(jù)下文更詳細地描述的本發(fā)明的技術(shù)估計將使用基于DIBR的3D 視頻數(shù)據(jù)產(chǎn)生失真受限的圖像視圖的理想深度圖。簡要來說，3D分析單元24至少基于所產(chǎn)生或所重構(gòu)的視圖來估計理想深度圖。也就是說，雖然未在圖1的實例中展示，但3D視頻編碼器22還包含與顯示裝置14的3D視頻解碼器44類似的3D視頻解碼器。同樣，深度估計單元20還可包含與視圖重構(gòu)單元46類似的視圖重構(gòu)單元46，以便實施DIBR且從包含于 3D視頻編碼器22內(nèi)的3D視頻解碼器的輸出重構(gòu)所產(chǎn)生的視圖?？刂茊卧?6包含這些解碼和視圖重構(gòu)單元以促進對選定視圖(即，在此實例中是左視圖26A)和深度信息28的深度估計和后續(xù)編碼。深度估計單元20可因此基于經(jīng)解碼的深度信息58'和經(jīng)解碼的左視圖50A'而輸出所重構(gòu)的右視圖50B'。3D分析單元24隨后至少基于所產(chǎn)生或所重構(gòu)的視圖5(^而產(chǎn)生理想深度圖62 ( “DM 62”)。
在被給予全部3D視頻數(shù)據(jù)26，而不是包含單一參考或提供的視圖和深度圖的僅基于DIBR的視頻數(shù)據(jù)的情況 下，3D分析單元24可依照原始視圖(即，右視圖26B)和所產(chǎn)生的或所重構(gòu)的視圖50B'兩者而計算出理想深度圖62。此所謂的“全參考”背景(其中 3D分析單元24具有對所俘獲的3D視頻數(shù)據(jù)26的存取權(quán))可提供更準(zhǔn)確的深度圖62。雖然關(guān)于此“全參考”背景進行描述，但3D分析單元24可關(guān)于其它背景實施本發(fā)明中所描述的技術(shù)，包含所謂的“簡化參考”背景和“無參考”背景，以上兩者在下文更詳細地描述。
通常，源裝置12的3D分析單元24在全參考或簡化參考背景中計算理想深度圖 62，而3D分析單元48在簡化參考或部分參考背景中計算其深度圖70。這兩個3D分析單元 24如何計算理想深度圖62、70的差隨3D視頻數(shù)據(jù)的可用性而變，如下文更詳細地描述。全參考背景涉及其中3D視頻數(shù)據(jù)26完全可用的例子，即，視圖26A、26B兩者都可用而不是僅視圖26A、26B中的一者可用。簡化參考背景涉及其中3D視頻數(shù)據(jù)26僅部分可用的例子， 其原因是為左視圖26A和右視圖26B 二者均提供了深度圖，但僅提供了視圖26A、26B中的單一者。部分參考背景指其中3D視頻數(shù)據(jù)26僅包含基于DIBR的3D視頻數(shù)據(jù)的例子，即， 視頻數(shù)據(jù)包含左視圖和右視圖中的單一者以及深度圖或其它深度信息。
3D分析單元24隨后通過理想深度圖62與給定深度信息或深度圖28的定量比較而導(dǎo)出一個或一個以上失真度量64( “度量64”)。3D分析單元24可將度量64中的一個或一個以上導(dǎo)出為(例如)理想深度圖62與深度圖28之間的差的標(biāo)準(zhǔn)偏差。作為替代或附加，3D分析單元24可將度量64中的一個或一個以上導(dǎo)出為針對3D視頻數(shù)據(jù)26的第一幀的理想深度圖62與深度圖28之間的差與針對3D視頻數(shù)據(jù)26的第二幀的理想深度圖62 與深度圖28之間的差的改變的標(biāo)準(zhǔn)偏差。作為替代或附加，3D分析單元24可將度量64中的一個或一個以上導(dǎo)出為針對3D視頻數(shù)據(jù)24的第一幀而計算出的深度圖28與針對3D視頻數(shù)據(jù)24的第二幀而計算出的深度圖28之間的差的標(biāo)準(zhǔn)偏差。
3D分析單元24隨后基于導(dǎo)出的失真度量64來計算3DQM 36。在一些例子中，3D 分析單元24將3DQM 36產(chǎn)生為所有失真度量64的數(shù)學(xué)組合。在其它例子中，3D分析單元 24將3DQM 36計算為失真度量64的僅一子集的組合。無論如何，3DQM 36表示客觀度量， 原因在于其未被計算為主觀導(dǎo)出的度量的組合。實際上，3D分析單元24之所以將3DQM 36 計算為客觀導(dǎo)出的度量64的組合，原因是這些度量64是通過給定深度圖28與客觀理想深度圖62的估計的比較而導(dǎo)出。此理想深度圖62表示參考深度圖62，其將使用基于DIBR的視頻數(shù)據(jù)來產(chǎn)生圖像視圖中的受限失真，且因此提供客觀標(biāo)準(zhǔn)，相對于所述客觀標(biāo)準(zhǔn)來評估所得的經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)34。因此，除了執(zhí)行深度圖28與深度圖5V的常規(guī)比較以便導(dǎo)出偽3DQM(其中深度圖28可固有地包含歸因于由深度估計單元20執(zhí)行的深度估計而引起的錯誤)之外，客觀理想深度圖62避免了這些固有錯誤，因為3D分析單元24以校正這些固有錯誤的方式計算出此深度圖62。另外，3D分析單元24依照度量64而產(chǎn)生3DQM 36，度量64經(jīng)導(dǎo)出以考慮到可能被視為在觀看所得的3D視頻數(shù)據(jù)50中所感知的視覺不適的東西。換句話說，不是盲目地將一些深度度量與傳統(tǒng)的2D度量進行組合以計算偽3DQM，3D分析單元24實施本發(fā)明中所描述的技術(shù)來計算3DQM 36以使得其考慮到所感知的視覺不適。
一旦3D分析單元24計算出3DQM 36，3D分析單元24可將3DQM 36傳輸?shù)缴疃裙烙媶卧?0和3D視頻編碼器22中的每一者，深度估計單元20和3D視頻編碼器22中的每一者隨后基于此3DQM 36來更新一個或一個以上參數(shù)以校正由3DQM 36識別的至少一些視覺不適。或者，3D分析單元24可針對深度估計單元20和3D視頻編碼器22中的每一者產(chǎn)生一組新的一個或一個以上參數(shù)66、68，且將這些新的參數(shù)66和68轉(zhuǎn)發(fā)到深度估計單元 20和3D視頻編碼器22中的每一者。這些新的參數(shù)66和68有效地重新配置深度估計單元 20和3D視頻編碼器22以調(diào)整深度估計和編碼，從而試圖校正在觀看由3DQM 36識別的經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)34時所預(yù)期的所感知的視覺不適。3D分析單元24通常與由深度估計單元20所執(zhí)行的深度估計和由3D視頻編碼器22所執(zhí)行的編碼并發(fā)地執(zhí)行此整個過程，以便實現(xiàn)對這些單元20、22的動態(tài)(即，實時的或準(zhǔn)實時的)重新配置，從而校正在觀看經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)34時所預(yù)期的所感知的視覺不適。
如上文所述，3D分析單元48同樣計算3DQM 60。3D分析單元48可大體上類似于 3D分析單元24，除了 3D分析單元24可基于不同信息來估計理想深度圖(DM) 70之外。3D 分析單元24仍至少部分基于所重構(gòu)的右視圖50B來估計深度圖70。然而，3D分析單元48 可不且通常不具有對原始右視圖26B的存取權(quán)，因為這將阻撓使用基于DIBR的方案的目的，因為將發(fā)送兩個視圖26A、26B，從而消除了對僅發(fā)送這些視圖26A、26B中的單一者以及深度信息或深度圖28的節(jié)省。因此，3D分析單元48 —般駐留于簡化參考或部分參考背景中，且在不具有對右視圖26B的存取權(quán)的情況下確定理想深度圖70。
以大體上類似于3D分析單元24的方式，3D分析單元48基于理想深度圖70和所重構(gòu)的深度圖58而導(dǎo)出或另外計算出失真度量72中的一個或一個以上。再次，類似于3D 分析單元24，3D分析單元48基于度量72而計算出3DQM 60，且將此3DQM 60提供給3D視頻解碼器44和視圖重構(gòu)單元46，使得這些單元44、46可更新其相應(yīng)的參數(shù)來考慮到由3DQM 60識別的任何所感知的觀看者不適?；蛘?，3D分析單元48可基于3DQM 60來確定參數(shù)74 和76，且用所確定的參數(shù)74來更新3D視頻解碼器44，且用參數(shù)76來更新視圖重構(gòu)單元 46。
這些新參數(shù)74和76有效地重新配置3D視頻解碼器44和視圖重構(gòu)單元46以進行解碼和視圖重構(gòu)，從而試圖校正在觀看由3DQM 60識別的經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)34時所預(yù)期的所感知的視覺不適。3D分析單元48通常與由3D視頻解碼器44所執(zhí)行的解碼和由視圖重構(gòu)單元46所執(zhí)行的視圖重構(gòu)并發(fā)地執(zhí)行此整個過程，以便實現(xiàn)對這些單元44、46的動態(tài)(即，實時的或準(zhǔn)實時的)重新配置，從而校正在觀看經(jīng)編碼的基于DIBR 的3D視頻數(shù)據(jù)34時所預(yù)期的所感知的視覺不適。3D顯示器42可隨后呈現(xiàn)經(jīng)解碼的3D視頻數(shù)據(jù)50以用于呈現(xiàn)給3D顯示器42的一個或一個以上觀看者。
以此方式，不依賴于針對左視圖和右視圖所計算出的常規(guī)的2D質(zhì)量度量且隨后組合這些度量以形成忽略深度·信息的某一類偽3DQM，本發(fā)明中所描述的技術(shù)制定出真實的 3DQM，其相對于客觀理想深度圖來評估失真。在DIBR中，深度圖中的錯誤(例如，歸因于錯誤的估計、數(shù)值四舍五入和壓縮假影)導(dǎo)致相對的像素位置中以及所重構(gòu)的視圖50B的像素值的量值中的錯誤。所重構(gòu)的視圖50B中的這些錯誤的視覺效應(yīng)以顯著亮度變化的形式在紋理區(qū)域周圍在空間上引人注意，且以閃爍的形式在平坦區(qū)周圍在時間上引人注意?；贒IBR的3D視頻中的視覺不適可另外源自若干因素，包含過度視差、快速改變的視差、幾何失真以及各種深度線索之間的不一致性(例如未匹配的對象色彩)。本發(fā)明中所描述的技術(shù)以3DQM 36和60的形式客觀地量化基于DIBR的3D視頻的視覺質(zhì)量，以便潛在地動態(tài)地校正由3DQM 36和60識別的視覺不適。
另外，可以類似于速率-失真壓縮算法的方式的方式實施所述技術(shù)。也就是說， 在速率-失真壓縮算法中，可增加對視頻的壓縮(例如通過量化殘余值)，以便在潛在地在經(jīng)解壓的視頻中引入更多假影的折衷下減少無線信道上的帶寬消耗。在這些壓縮系統(tǒng)中， 可減少壓縮以減少將假影引入到經(jīng)解壓的視頻中，但此可導(dǎo)致消耗更多無線帶寬的更大文件。3DQM(3DQM 36或60)可識別通過壓縮和深度估計引入的假影，且驅(qū)動參數(shù)調(diào)整，其導(dǎo)致與上文關(guān)于速率-受約束的壓縮算法所描述的折衷類似的折衷。在此意義上，可使用3DQM 在引入更多假影的代價下增加壓縮，或在增加帶寬消耗的代價下減少壓縮。
在此方面中，3DQM可實現(xiàn)對基于DIBR的3D視頻數(shù)據(jù)產(chǎn)生和壓縮的裁定以適合特定應(yīng)用·。也就是說，3DQM可提供在估計準(zhǔn)確的深度圖中所涉及的計算的復(fù)雜性與針對這些圖像引入的假影之間的折衷，其類似于壓縮中的速率-失真折衷。通過實現(xiàn)此些折衷， 3DQM可促進在其中處理或電池資源是有限的移動或嵌入式實時應(yīng)用中實施3D視頻數(shù)據(jù)技術(shù)，例如在移動裝置中實施3D視頻數(shù)據(jù)技術(shù)，所述移動裝置例如為蜂窩式電話、膝上型計算機、所謂的上網(wǎng)本、個人數(shù)字助理(PDA)等。
雖然上文關(guān)于兩個視圖系統(tǒng)進行描述，但可在其中將兩個以上視圖提供給3D顯示器從而允許顯示多個不同視圖的多視圖3D系統(tǒng)中實施所述技術(shù)。舉例來說，取決于觀看者相對于3D顯示器在何處，一些3D顯示器能夠顯示多個視圖。在顯示器的左邊的觀看者可接收到與關(guān)于3D顯示器居中的觀看者或在3D顯示器左邊的觀看者不同的視圖。這些3D 顯示器可并發(fā)地顯示這些視圖中的每一者，其中可使用本發(fā)明中所描述的DIBR過程進行對這些視圖中的每一者的編碼和解碼。在此方面中，所述技術(shù)可用于針對這些視圖中的每一者或針對作為一群組的視圖提供3DQM，其中這些一個或一個以上3DQM可促進對預(yù)期在觀看這些視圖時發(fā)生的至少一些視覺不適的識別和潛在后續(xù)的校正。因此，雖然在本發(fā)明中出于容易說明的目的關(guān)于二視圖系統(tǒng)進行描述，但所述技術(shù)可用于多視圖系統(tǒng)中。
圖2是說明實施本發(fā)明中所描述的技術(shù)的各種方面的3D分析單元80的實例的方框圖。3D分析單元80可表示在圖1的實例中所展示的3D分析單元24或48中的任一者， 且對3D分析單元80的以下論述的各個部分可應(yīng)用于3D分析單元24和48中的每一者。在一些例子中，3D分析單元24和48中的每一者可大體上彼此類似，使得3D分析單元80可一般 表示3D分析單元24和48兩者。在其它例子中，3D分析單元24可適于特定背景，例如上述的全參考背景，使得3D分析單元80僅部分表示此經(jīng)調(diào)適的3D分析單元24。同樣，3D分析單元48可適于特定背景，例如上述的部分參考背景，使得3D分析單元80僅部分表示此經(jīng)調(diào)適的3D分析單元48。
如圖2的實例中所展示，3D分析單元80包含理想深度估計單元82、失真度量計算單元84、3DQM計算單元86和參數(shù)產(chǎn)生單元88。這些單元82到88中的每一者可單獨地實施為硬件或硬件與軟件的組合。或者，單元82到88中的一個或一個以上可共同地實施為硬件或硬件與軟件的組合。
理想深度估計單元82 —般表示估計理想深度且輸出理想深度圖90的單元。理想深度估計單元82包含許多單元92到96，許多單元92到96基于3D視頻數(shù)據(jù)的不同層級的可用性來估計理想深度圖90。當(dāng)完全可使用3D視頻數(shù)據(jù)而不是僅基于DIBR的3D視頻數(shù)據(jù)時，全參考單元92估計理想深度圖90。也就是說，全參考單元92基于原始視圖98以及原始視圖的重構(gòu)或所重構(gòu)的視圖100( “recon視圖100”)來估計理想深度圖90。全參考單元92還基于所確定的深度信息102 ( “深度info 102”)和3D俘獲裝置參數(shù)(例如，焦距103和基線105 (其為作為3D俘獲裝置的2D相機的中心之間的直線距離的量度))來估計此理想深度圖90。下文關(guān)于圖7更詳細地描述焦距103和基線105。在一些例子中，這些3D俘獲裝置參數(shù)可反映虛擬3D俘獲裝置的參數(shù)，原因在于這些參數(shù)不是實際3D俘獲裝置的參數(shù)，而僅僅是表示通常用于將3D俘獲裝置建模的共同參數(shù)。在數(shù)學(xué)上，可通過以下等式(I)來表示由全參考單元92執(zhí)行的全參考估計
權(quán)利要求
1.一種用于獲得客觀度量(36、60)以量化基于基于深度圖像再現(xiàn)(DIBR)的三維(3D)視頻數(shù)據(jù)的視覺質(zhì)量的方法，所述方法包括 估計將使用基于DIBR的3D視頻數(shù)據(jù)(138、156)產(chǎn)生失真受限圖像視圖的理想深度圖(62,70)； 基于所述理想深度圖(62、70)與在產(chǎn)生所述基于DIBR的3D視頻數(shù)據(jù)(34、140、158)中使用的深度圖(28、58)的定量比較來導(dǎo)出一個或一個以上失真度量(64、72);以及 基于所述導(dǎo)出的一個或一個以上失真度量出4、142、160)來計算所述客觀度量(36、60)以量化所述基于DIBR的3D視頻數(shù)據(jù)的視覺質(zhì)量。
2.根據(jù)權(quán)利要求1所述的方法，其中所述失真度量中的每一個指示在觀看所述基于DIBR的3D視頻數(shù)據(jù)時預(yù)期的3D觀看視覺不適的測量。
3.根據(jù)權(quán)利要求1所述的方法，其中估計所述理想深度圖包含根據(jù)以下等式來估計所述理想深度圖
4.根據(jù)權(quán)利要求1所述的方法，其中估計所述理想深度圖包含根據(jù)以下等式來估計所述理想深度圖
5.根據(jù)權(quán)利要求1所述的方法，其中估計所述理想深度圖包含根據(jù)以下等式來估計所述理想深度圖
6.根據(jù)權(quán)利要求1所述的方法，其中導(dǎo)出所述一個或一個以上失真度量包括導(dǎo)出空間錯誤異常點(SO)失真度量和時間錯誤異常點(TO)失真度量中的一個或一個以上。
7.根據(jù)權(quán)利要求1所述的方法， 其中導(dǎo)出所述一個或一個以上失真度量包括 將空間錯誤異常點(SO)失真度量導(dǎo)出為理想深度圖與所述基于DIBR的3D視頻數(shù)據(jù)的所述深度圖之間的差的標(biāo)準(zhǔn)偏差；以及 將時間錯誤異常點(TO)失真度量導(dǎo)出為針對所述3D視頻的兩個連續(xù)幀的所述理想深度圖與所述基于DIBR的3D視頻數(shù)據(jù)的所述深度圖之間的差的標(biāo)準(zhǔn)偏差， 其中所述方法進一步包括將時間不一致性(TI)失真度量導(dǎo)出為用于產(chǎn)生基于DIBR的3D視頻數(shù)據(jù)和相繼的基于DIBR的3D視頻數(shù)據(jù)的深度圖之間的所述差的標(biāo)準(zhǔn)偏差， 其中計算所述客觀度量包括 將所述SO、TO和TI失真度量中的每一個規(guī)格化到O到I的范圍；以及 根據(jù)以下等式計算所述客觀度量3VQM = K(1-S0 (SO η TO) )a (1-TI)b (1-Τ0) % 其中3VQM表示所述客觀度量，SO、TO和SI表示所述經(jīng)規(guī)格化的SO、TO和TI失真度量，a、b和C表示通過訓(xùn)練序列確定的常數(shù)，而k表示縮放因子。
8.根據(jù)權(quán)利要求1所述的方法， 其中所述基于DIBR的3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 其中所述方法進一步包括 根據(jù)一個或一個以上參數(shù)從3D視頻數(shù)據(jù)估計所述深度圖，其中所述3D視頻數(shù)據(jù)包含左視圖和右視圖，其中所述提供的視圖選自所述左視圖和右視圖之一；以及修正用于估計所述3D視頻數(shù)據(jù)的所述深度圖的所述一個或一個以上參數(shù)以便校正由所述客觀度量識別的缺陷。
9.根據(jù)權(quán)利要求1所述的方法， 其中所述基于DIBR的3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 其中所述方法進一步包括 根據(jù)一個或一個以上參數(shù)對所述基于DIBR的3D視頻數(shù)據(jù)的所述深度圖和所述提供的視圖進行編碼以產(chǎn)生經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)；以及 修正用于對所述深度圖和所述提供的視圖中的一個或一個以上進行編碼的所述一個或一個以上參數(shù)以校正由所述客觀度量識別的缺陷。
10.根據(jù)權(quán)利要求1所述的方法， 其中所述3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 其中所述方法進一步包括 根據(jù)一個或一個以上參數(shù)對所述深度圖的經(jīng)編碼版本和所述提供的視圖的經(jīng)編碼版本進行解碼以產(chǎn)生所述深度圖和所述提供的視圖；以及修正用于對所述深度圖的所述經(jīng)編碼版本和所述提供的視圖的所述經(jīng)編碼版本進行解碼的所述一個或一個以上參數(shù)以便校正由所述客觀度量識別的缺陷。
11.根據(jù)權(quán)利要求1所述的方法， 其中所述基于DIBR的3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 其中所述方法進一步包括 根據(jù)一個或一個以上參數(shù)從所述深度圖和所述提供的視圖重構(gòu)3D視頻數(shù)據(jù)的左視圖或右視圖以產(chǎn)生所述3D視頻數(shù)據(jù)，其中將所述提供的視圖選擇為所述3D視頻數(shù)據(jù)的所述左視圖或所述右視圖；以及 修正用于重構(gòu)所述左視圖或所述右視圖的所述一個或一個以上參數(shù)以校正由所述客觀度量識別的缺陷。
12.—種獲得客觀度量(36、60)以量化基于基于深度圖像再現(xiàn)(DIBR)的三維(3D)視頻數(shù)據(jù)的視覺質(zhì)量的裝置，所述裝置(12、14)包括 3D分析單元(24、48)，其計算所述3D客觀度量(36、60)，其中所述3D分析單元(24、48)包含 理想深度估計單元(82)，其估計將使用基于DIBR的3D視頻數(shù)據(jù)(34)產(chǎn)生失真受限圖像視圖的理想深度圖(62、70)； 失真度量計算單元(84)，其基于所述理想深度(62、70)與在產(chǎn)生所述基于DIBR的3D視頻數(shù)據(jù)(34)中使用的深度圖(28、58)的定量比較來導(dǎo)出一個或一個以上失真度量(64、72);以及 客觀度量計算單元(86)，其基于所述導(dǎo)出的一個或一個以上失真度量(64、72)來計算所述客觀度量(36、60)以量化基于DIBR的視頻數(shù)據(jù)(34)的視覺質(zhì)量。
13.根據(jù)權(quán)利要求12所述的裝置，其中所述失真度量中的每一個指示在觀看所述基于DIBR的3D視頻數(shù)據(jù)時預(yù)期的3D觀看視覺不適的測量。
14.根據(jù)權(quán)利要求12所述的裝置，其中所述理想深度圖估計單元根據(jù)以下等式來估計所述理想深度圖
15.根據(jù)權(quán)利要求12所述的裝置，其中所述理想深度圖估計單元根據(jù)以下等式來估計所述理想深度圖
16.根據(jù)權(quán)利要求12所述的裝置，其中所述理想深度圖估計單元根據(jù)以下等式來估計所述理想深度圖
17.根據(jù)權(quán)利要求1所述的裝置， 其中所述失真度量計算單元將空間錯誤異常點(SO)失真度量導(dǎo)出為理想深度圖與所述基于DIBR的3D視頻數(shù)據(jù)的所述深度圖之間的差的標(biāo)準(zhǔn)偏差，將時間錯誤異常點(TO)失真度量導(dǎo)出為針對所述3D視頻的兩個連續(xù)幀的所述理想深度圖與所述基于DIBR的3D視頻數(shù)據(jù)的所述深度圖之間的差的標(biāo)準(zhǔn)偏差，且將時間不一致性(TI)失真度量導(dǎo)出為用于產(chǎn)生基于DIBR的3D視頻數(shù)據(jù)和相繼的基于DIBR的3D視頻數(shù)據(jù)的深度圖之間的所述差的標(biāo)準(zhǔn)偏差， 其中客觀度量計算單元將所述SO、TO和TI失真度量中的每一個規(guī)格化到O到I的范圍且根據(jù)以下等式來計算所述客觀度量3V0M = K(1-S0 (SO η TO) )a (1-TI)b (1-Τ0) % 其中3VQM表示所述客觀度量，SO、TO和SI表示所述經(jīng)規(guī)格化的SO、TO和TI失真度量，a、b和C表示通過訓(xùn)練序列確定的常數(shù)，而k表示縮放因子。
18.根據(jù)權(quán)利要求12所述的裝置， 其中所述基于DIBR的3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 其中所述裝置進一步包含深度估計單元，所述深度估計單元根據(jù)一個或一個以上參數(shù)從3D視頻數(shù)據(jù)估計所述深度圖，其中所述3D視頻數(shù)據(jù)包含左視圖和右視圖，其中所述提供的視圖選自所述左視圖和右視圖之一，且修正用于估計所述3D視頻數(shù)據(jù)的所述深度圖的所述一個或一個以上參數(shù)以便校正由所述客觀度量識別的缺陷。
19.根據(jù)權(quán)利要求12所述的裝置， 其中所述基于DIBR的3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 其中所述裝置進一步包含3D視頻編碼器，所述3D視頻編碼器根據(jù)一個或一個以上參數(shù)對所述基于DIBR的3D視頻數(shù)據(jù)的所述深度圖和所述提供的視圖進行編碼以產(chǎn)生經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)，且修正用于對所述深度圖和所述提供的視圖中的一個或一個以上進行編碼的所述一個或一個以上參數(shù)以校正由所述客觀度量識別的缺陷。
20.根據(jù)權(quán)利要求12所述的裝置， 其中所述3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 其中所述裝置進一步包括3D視頻解碼器，所述3D視頻解碼器根據(jù)一個或一個以上參數(shù)對所述深度圖的經(jīng)編碼版本和所述提供的視圖的經(jīng)編碼版本進行解碼以產(chǎn)生所述深度圖和所述提供的視圖，且修正用于對所述深度圖的所述經(jīng)編碼版本和所述提供的視圖的所述經(jīng)編碼版本進行解碼的所述一個或一個以上參數(shù)以便校正由所述客觀度量識別的缺陷。
21.根據(jù)權(quán)利要求12所述的裝置， 其中所述基于DIBR的3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 其中所述裝置進一步包括視圖重構(gòu)單元，所述視圖重構(gòu)單元根據(jù)一個或一個以上參數(shù)從所述深度圖和所述提供的視圖重構(gòu)3D視頻數(shù)據(jù)的左視圖或右視圖以產(chǎn)生所述3D視頻數(shù)據(jù)，其中將所述提供的視圖選擇為所述3D視頻數(shù)據(jù)的所述左視圖或所述右視圖，且修正用于重構(gòu)所述左視圖或所述右視圖的所述一個或一個以上參數(shù)以校正由所述客觀度量識別的缺陷。
22.—種獲得客觀度量(36、60)以量化基于基于深度圖像再現(xiàn)(DIBR)的三維(3D)視頻數(shù)據(jù)的視覺質(zhì)量放入設(shè)備，所述設(shè)備(12、14)包括 用于估計(82)將使用基于DIBR的3D視頻數(shù)據(jù)(34)產(chǎn)生失真受限圖像視圖的理想深度圖(62、70)的裝置； 用于基于所述理想深度圖與在產(chǎn)生所述基于DIBR的3D視頻數(shù)據(jù)(34)中使用的深度圖(62、70)的定量比較來導(dǎo)出(84) —個或一個以上失真度量(64、72)的裝置；以及 用于基于所述導(dǎo)出的一個或一個以上失真度量(64、72)來計算(86)所述客觀度量(36,60)以量化所述基于DIBR的3D視頻數(shù)據(jù)(34)的視覺質(zhì)量的裝置。
23.根據(jù)權(quán)利要求22所述的設(shè)備，其中所述失真度量中的每一個指示在觀看所述基于DIBR的3D視頻數(shù)據(jù)時預(yù)期的3D觀看視覺不適的測量。
24.根據(jù)權(quán)利要求22所述的設(shè)備，其進一步包括用于根據(jù)以下等式來估計所述理想深度圖的裝置
25.根據(jù)權(quán)利要求22所述的設(shè)備，其進一步包括用于根據(jù)以下等式來估計所述理想深度圖的裝置
26.根據(jù)權(quán)利要求22所述的設(shè)備，其進一步包括用于根據(jù)以下等式來估計所述理想深度圖的裝置
27.根據(jù)權(quán)利要求22所述的設(shè)備，其進一步包括用于導(dǎo)出空間錯誤異常點(SO)失真度量和時間錯誤異常點(TO)失真度量中的一個或一個以上的裝置。
28.根據(jù)權(quán)利要求22所述的設(shè)備，其進一步包括 用于將空間錯誤異常點(SO)失真度量導(dǎo)出為理想深度圖與所述基于DIBR的3D視頻數(shù)據(jù)的所述深度圖之間的差的標(biāo)準(zhǔn)偏差的裝置；以及 用于將時間錯誤異常點(TO)失真度量導(dǎo)出為針對所述3D視頻的兩個連續(xù)幀的所述理想深度圖與所述基于DIBR的3D視頻數(shù)據(jù)的所述深度圖之間的差的標(biāo)準(zhǔn)偏差的裝置；用于將時間不一致性(TI)失真度量導(dǎo)出為用于產(chǎn)生基于DIBR的3D視頻數(shù)據(jù)和相繼的基于DIBR的3D視頻數(shù)據(jù)的深度圖之間的所述差的標(biāo)準(zhǔn)偏差的裝置； 用于將所述SO、TO和TI失真度量中的每一個規(guī)格化到O到I的范圍的裝置；以及 用于根據(jù)以下等式計算所述客觀度量的裝置3VQM = K(1-S0 (SO η TO) )a (1-TI)b (1-Τ0) % 其中3VQM表示所述客觀度量，SO、TO和SI表示所述經(jīng)規(guī)格化的SO、TO和TI失真度量，a、b和c表示通過訓(xùn)練序列確定的常數(shù)，而k表示縮放因子。
29.根據(jù)權(quán)利要求22所述的設(shè)備， 其中所述基于DIBR的3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 其中所述設(shè)備進一步包括 用于根據(jù)一個或一個以上參數(shù)從3D視頻數(shù)據(jù)估計所述深度圖的裝置，其中所述3D視頻數(shù)據(jù)包含左視圖和右視圖，其中所述提供的視圖選自所述左視圖和右視圖之一；以及用于修正用于估計所述3D視頻數(shù)據(jù)的所述深度圖的所述一個或一個以上參數(shù)以便校正由所述客觀度量識別的缺陷的裝置。
30.根據(jù)權(quán)利要求22所述的設(shè)備， 其中所述基于DIBR的3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 其中所述設(shè)備進一步包括 用于根據(jù)一個或一個以上參數(shù)對所述基于DIBR的3D視頻數(shù)據(jù)的所述深度圖和所述提供的視圖進行編碼以產(chǎn)生經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)的裝置；以及 用于修正用于對所述深度圖和所述提供的視圖中的一個或一個以上進行編碼的所述一個或一個以上參數(shù)以校正由所述客觀度量識別的缺陷的裝置。
31.根據(jù)權(quán)利要求22所述的設(shè)備， 其中所述3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 其中所述設(shè)備進一步包括 用于根據(jù)一個或一個以上參數(shù)對所述深度圖的經(jīng)編碼版本和所述提供的視圖的經(jīng)編碼版本進行解碼以產(chǎn)生所述深度圖和所述提供的視圖的裝置；以及 用于修正用于對所述深度圖的所述經(jīng)編碼版本和所述提供的視圖的所述經(jīng)編碼版本進行解碼的所述一個或一個以上參數(shù)以便校正由所述客觀度量識別的缺陷的裝置。
32.根據(jù)權(quán)利要求22所述的方法， 其中所述基于DIBR的3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 其中所述設(shè)備進一步包括 用于根據(jù)一個或一個以上參數(shù)從所述深度圖和所述提供的視圖重構(gòu)3D視頻數(shù)據(jù)的左視圖或右視圖以產(chǎn)生所述3D視頻數(shù)據(jù)的裝置，其中將所述提供的視圖選擇為所述3D視頻數(shù)據(jù)的所述左視圖或所述右視圖；以及 用于修正用于重構(gòu)所述左視圖或所述右視圖的所述一個或一個以上參數(shù)以校正由所述客觀度量識別的缺陷的裝置。
33.一種非暫時性計算機可讀媒體，其包括在執(zhí)行時致使一個或一個以上處理器進行以下操作的指令 估計將使用基于DIBR的3D視頻數(shù)據(jù)(34)產(chǎn)生失真受限圖像視圖的理想深度圖(62、70)； 基于所述理想深度圖(62、70)與在產(chǎn)生所述基于DIBR的3D視頻數(shù)據(jù)(34)中使用的深度圖(28、58)的定量比較來導(dǎo)出一個或一個以上失真度量出4、72);以及 基于所述導(dǎo)出的一個或一個以上失真度量(64、72)來計算所述客觀度量(36、60)以量化所述基于DIBR的3D視頻數(shù)據(jù)(34)的視覺質(zhì)量。
34.根據(jù)權(quán)利要求33所述的非暫時性計算機可讀媒體，其中所述失真度量中的每一個指示在觀看所述基于DIBR的3D視頻數(shù)據(jù)時預(yù)期的3D觀看視覺不適的測量。
35.根據(jù)權(quán)利要求33所述的非暫時性計算機可讀媒體，其進一步包括致使所述一個或一個以上處理器估計所述理想深度圖的指令，包含根據(jù)以下等式來估計所述理想深度圖
36.根據(jù)權(quán)利要求33所述的非暫時性計算機可讀媒體，其進一步包括致使所述一個或一個以上處理器根據(jù)以下等式來估計所述理想深度圖的指令
37.根據(jù)權(quán)利要求33所述的非暫時性計算機可讀媒體，非暫時性計算機可讀媒體根據(jù)以下等式來估計所述埋想深度圖
38.根據(jù)權(quán)利要求33所述的非暫時性計算機可讀媒體，其進一步包括致使所述一個或一個以上處理器導(dǎo)出空間錯誤異常點(SO)失真度量和時間錯誤異常點(TO)失真度量中的一個或一個以上的指令。
39.根據(jù)權(quán)利要求33所述的非暫時性計算機可讀媒體，其進一步包括致使所述一個或一個以上處理器估計的指令 將空間錯誤異常點(SO)失真度量導(dǎo)出為理想深度圖與所述基于DIBR的3D視頻數(shù)據(jù)的所述深度圖之間的差的標(biāo)準(zhǔn)偏差；以及 將時間錯誤異常點(TO)失真度量導(dǎo)出為針對所述3D視頻的兩個連續(xù)幀的所述理想深度圖與所述基于DIBR的3D視頻數(shù)據(jù)的所述深度圖之間的差的標(biāo)準(zhǔn)偏差； 將時間不一致性(TI)失真度量導(dǎo)出為用于產(chǎn)生基于DIBR的3D視頻數(shù)據(jù)和相繼的基于DIBR的3D視頻數(shù)據(jù)的深度圖之間的所述差的標(biāo)準(zhǔn)偏差， 將所述S0、T0和TI失真度量中的每一個規(guī)格化到O到I的范圍；以及根據(jù)以下等式計算所述客觀度量3VQM = K(1-S0 (SO η TO) )a (1-TI)b (1-Τ0) % 其中3VQM表示所述客觀度量，SO、TO和SI表示所述經(jīng)規(guī)格化的SO、TO和TI失真度量，a、b和c表示通過訓(xùn)練序列確定的常數(shù)，而k表示縮放因子。
40.根據(jù)權(quán)利要求33所述的非暫時性計算機可讀媒體， 其中所述基于DIBR的3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 所述非暫時性計算機可讀媒體進一步包括致使所述一個或一個以上處理器進行以下操作的指令 根據(jù)一個或一個以上參數(shù)從3D視頻數(shù)據(jù)估計所述深度圖，其中所述3D視頻數(shù)據(jù)包含左視圖和右視圖，其中所述提供的視圖選自所述左視圖和右視圖之一；以及 修正用于估計所述3D視頻數(shù)據(jù)的所述深度圖的所述一個或一個以上參數(shù)以便校正由所述客觀度量識別的缺陷。
41.根據(jù)權(quán)利要求33所述的非暫時性計算機可讀媒體， 其中所述基于DIBR的3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 所述非暫時性計算機可讀媒體進一步包括致使所述一個或一個以上處理器進行以下操作的指令 根據(jù)一個或一個以上參數(shù)對所述基于DIBR的3D視頻數(shù)據(jù)的所述深度圖和所述提供的視圖進行編碼以產(chǎn)生經(jīng)編碼的基于DIBR的3D視頻數(shù)據(jù)；以及 修正用于對所述深度圖和所述提供的視圖中的一個或一個以上進行編碼的所述一個或一個以上參數(shù)以校正由所述客觀度量識別的缺陷。
42.根據(jù)權(quán)利要求33所述的非暫時性計算機可讀媒體， 其中所述3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 所述非暫時性計算機可讀媒體進一步包括致使所述一個或一個以上處理器進行以下操作的指令 根據(jù)一個或一個以上參數(shù)對所述深度圖的經(jīng)編碼版本和所述提供的視圖的經(jīng)編碼版本進行解碼以產(chǎn)生所述深度圖和所述提供的視圖；以及 修正用于對所述深度圖的所述經(jīng)編碼版本和所述提供的視圖的所述經(jīng)編碼版本進行解碼的所述一個或一個以上參數(shù)以便校正由所述客觀度量識別的缺陷。
43.根據(jù)權(quán)利要求33所述的非暫時性計算機可讀媒體， 其中所述基于DIBR的3D視頻數(shù)據(jù)進一步包含提供的視圖，以及 所述非暫時性計算機可讀媒體進一步包括致使所述一個或一個以上處理器進行以下操作的指令 根據(jù)一個或一個以上參數(shù)從所述深度圖和所述提供的視圖重構(gòu)3D視頻數(shù)據(jù)的左視圖或右視圖以產(chǎn)生所述3D視頻數(shù)據(jù)，其中將所述提供的視圖選擇為所述3D視頻數(shù)據(jù)的所述左視圖或所述右視圖；以及 修正用于重構(gòu)所述左視圖或所述右視圖的所述一個或一個以上參數(shù)以校正由所述客觀度量識別的缺陷。
全文摘要
一般來說，本發(fā)明描述用于針對三維(3D)視頻確定基于視覺的質(zhì)量度量的技術(shù)。包括3D分析單元(24、48)的裝置(12、14)可實施這些技術(shù)來計算3D客觀度量(36、60)。所述3D分析單元(24、48)估計將使用基于DIBR的3D視頻數(shù)據(jù)(34)產(chǎn)生失真受限的圖像視圖的理想深度圖(62、70)，且隨后基于所述理想深度圖(62、70)與在產(chǎn)生所述基于DIBR的3D視頻數(shù)據(jù)(34)中使用的深度圖(28、58)的定量比較來導(dǎo)出一個或一個以上失真度量(64、72)?；谒鰧?dǎo)出的一個或一個以上失真度量(64、72)，所述3D分析單元(24、48)計算所述客觀度量(36、60)以量化基于DIBR的視頻數(shù)據(jù)(34)的視覺質(zhì)量。所述3D客觀度量(36、60)可用于更改或以其他方式調(diào)整深度估計和編碼/解碼參數(shù)以校正預(yù)期的視覺不適。
文檔編號H04N13/00GK103004214SQ201180034708
公開日2013年3月27日 申請日期2011年7月15日 優(yōu)先權(quán)日2010年7月16日
發(fā)明者胡迪特·馬蒂內(nèi)·包薩, 馬什胡爾·M·蘇勒赫 申請人:高通股份有限公司