本發(fā)明涉及通信領(lǐng)域的視頻技術(shù)，尤其涉及一種立體視頻舒適度評(píng)價(jià)方法及裝置。

背景技術(shù)：

立體視頻通常有兩個(gè)視頻通道，利用立體眼鏡可使左右眼分別看到兩幅不同的畫面，使眼睛聚焦的點(diǎn)(在屏幕上)與雙眼視線匯聚點(diǎn)(屏幕前或后)不在一個(gè)平面上，從而產(chǎn)生具有一定景深的3d畫面。這種基于雙眼視差原理的3d顯示技術(shù)與人正常觀看物體時(shí)，聚焦和匯聚在一個(gè)點(diǎn)上的生理狀態(tài)是不同的，因此長時(shí)間會(huì)導(dǎo)致視覺疲勞。

立體視頻的舒適性是影響立體視頻發(fā)展的主要問題之一，改善立體視頻觀看舒適度的前提是評(píng)價(jià)立體視頻的舒適度。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供了一種立體視頻舒適度評(píng)價(jià)方法及裝置，用以實(shí)現(xiàn)對(duì)立體視頻的舒適度進(jìn)行評(píng)價(jià)。

第一方面，提供一種立體視頻舒適度評(píng)價(jià)方法，該方法包括：

獲取立體視頻段的視頻幀；

估計(jì)所述立體視頻段的視頻幀的視差；

確定所述立體視頻段的視頻幀內(nèi)每個(gè)像素的權(quán)值，將具有最大權(quán)值的像素的位置確定為所述立體視頻段的視頻幀的視覺焦點(diǎn)位置；

根據(jù)所述立體視頻段的視頻幀的視覺焦點(diǎn)位置確定所述立體視頻段的視頻幀的可視區(qū)域；

根據(jù)所述立體視頻段的視頻幀的視差以及所述立體視頻段的視頻幀的可視區(qū)域，提取所述立體視頻段的視頻幀的空域特性和時(shí)域特性；

根據(jù)所述立體視頻段的視頻幀的空域特性和時(shí)域特性，確定所述立體視頻段的觀看舒適度；

所述像素的權(quán)值采用如下公式計(jì)算：

w＝γ*|mv|+η*|dispcrossed|+λ*|δd|

其中，w為坐標(biāo)為(x,y)的像素的權(quán)值，γ、η和λ為加權(quán)值；表示所述坐標(biāo)為(x,y)的像素的平面運(yùn)動(dòng)矢量，dx和dy分別為所述坐標(biāo)為(x,y)的像素的水平位移和垂直位移，所述dx和dy在所述坐標(biāo)為(x,y)的像素所在視頻幀及所述坐標(biāo)為(x,y)的像素所在的視頻幀的相鄰視頻幀內(nèi)搜索得到；dispcrossed為交叉視差值；δd為所述立體視頻段的視頻幀及其相鄰視頻幀的匹配塊的平均視差的差值。

第二方面，提供一種立體視頻舒適度評(píng)價(jià)裝置，包括：

獲取模塊，用于獲取立體視頻段的視頻幀；

提取模塊，用于估計(jì)所述立體視頻段的視頻幀的視差；確定所述立體視頻段的視頻幀內(nèi)每個(gè)像素的權(quán)值，將具有最大權(quán)值的像素的位置確定為所述立體視頻段的視頻幀的視覺焦點(diǎn)位置；根據(jù)所述立體視頻段的視頻幀的視覺焦點(diǎn)位置確定所述立體視頻段的視頻幀的可視區(qū)域；根據(jù)所述立體視頻段的視頻幀的視差以及所述立體視頻段的視頻幀的可視區(qū)域，提取所述立體視頻段的視頻幀的空域特性和時(shí)域特性；

評(píng)價(jià)模塊，用于根據(jù)所述提取模塊提取到的所述立體視頻段的視頻幀的空域特性和時(shí)域特性，確定所述立體視頻段的觀看舒適度。

所述提取模塊采用如下公式計(jì)算所述像素的權(quán)值：

w＝γ*|mv|+η*|dispcrossed|+λ*|δd|

其中，w為坐標(biāo)為(x,y)的像素的權(quán)值，γ、η和λ為加權(quán)值；表示所述坐標(biāo)為(x,y)的像素的平面運(yùn)動(dòng)矢量，dx和dy分別為所述坐標(biāo)為(x,y)像素的水平位移和垂直位移，所述dx和dy在所述坐標(biāo)為(x,y)的像素所在視頻幀及所述坐標(biāo)為(x,y)的像素所在的視頻幀的相鄰視頻幀內(nèi)搜索得到；dispcrossed為交叉視差值；δd為所述立體視頻段的視頻幀及其相鄰視頻幀的匹配塊的平均視差的差值。

本發(fā)明的上述實(shí)施例中，通過檢測立體視頻段內(nèi)視頻幀的空域特性和時(shí)域特性，并根據(jù)視頻幀的空域特性和時(shí)域特性對(duì)整個(gè)立體視頻段的觀看舒適度進(jìn)行評(píng)價(jià)。本發(fā)明實(shí)施例提出的立體視頻舒適度評(píng)價(jià)方案考慮了視差空間分布(即空域特性)和時(shí)間分布(即時(shí)域特性)對(duì)立體視頻舒適度的影響，且可突出舒適度較差的幀對(duì)整體舒適度的影響，從而可以較為客觀的對(duì)立體視頻舒適度進(jìn)行評(píng)價(jià)。

附圖說明

圖1為本發(fā)明實(shí)施例提供的立體視頻舒適度評(píng)價(jià)流程示意圖；

圖2為本發(fā)明實(shí)施例提供的單幀頻域特性和時(shí)域特性提取流程示意圖；

圖3為本發(fā)明實(shí)施例提供的基于單幀頻域特性和時(shí)域特性對(duì)立體視頻段舒適度進(jìn)行評(píng)價(jià)的流程示意圖；

圖4為本發(fā)明另一實(shí)施例提供的基于單幀頻域特性和時(shí)域特性對(duì)立體視頻段舒適度進(jìn)行評(píng)價(jià)的流程示意圖；

圖5為本發(fā)明實(shí)施例提供的立體視頻舒適度評(píng)價(jià)裝置示意圖；

圖6為本發(fā)明另一實(shí)施例提供的立體視頻舒適度評(píng)價(jià)裝置示意圖。

具體實(shí)施方式

本發(fā)明實(shí)施例首先獲得立體視頻段包含的視頻幀的視差圖，然后提取視頻幀的空域特性和時(shí)域特性，經(jīng)過舒適度評(píng)價(jià)模型獲得整個(gè)段的舒適度。本發(fā)明實(shí)施例提出的舒適度評(píng)價(jià)方法，考慮到了物體時(shí)域視差大小以及頻率的變化對(duì)立體視頻舒適度的影響。觀眾在觀看視頻過程中，質(zhì)量較差的片段往往對(duì)整體觀看體驗(yàn)的影響更大，現(xiàn)有技術(shù)不能體現(xiàn)出較差幀或者較差片段的影響，而本發(fā)明實(shí)施例提出的評(píng)估方法，可以突出舒適度較差幀的影響。

為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步地詳細(xì)描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部份實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

參見圖1，為本發(fā)明實(shí)施例提供的立體視頻舒適度評(píng)價(jià)流程示意圖，如圖所示，該流程可包括：

步驟101：獲取待評(píng)價(jià)的立體視頻段的視頻幀。

步驟102：提取所述立體視頻段的視頻幀的空域特性和時(shí)域特性。

步驟103：根據(jù)該立體視頻段的視頻幀的空域特性和時(shí)域特性，確定該立體視頻段的觀看舒適度。

步驟102中，可通過以下方式實(shí)現(xiàn)：針對(duì)立體視頻段的每一個(gè)視頻幀，執(zhí)行以下操作：估計(jì)該視頻幀的視差，根據(jù)該視頻幀的視差以及運(yùn)動(dòng)信息確定該視頻幀的視覺焦點(diǎn)位置，根據(jù)該視頻幀的視覺焦點(diǎn)位置確定該視頻幀的可視區(qū)域，根據(jù)該視頻幀的視差以及該視頻幀的可視區(qū)域。為了更清楚的對(duì)步驟102進(jìn)行說明，圖2示出了圖1中步驟102的一種可選實(shí)現(xiàn)方式，該流程可包括：

步驟201：初始化i值，即設(shè)置i＝1。

步驟202：估計(jì)第i幀的視差。

通常，立體視頻的每一幀包含左眼圖像和右眼圖像，稱為立體圖像對(duì)。視頻幀內(nèi)一個(gè)像素的視差是指一個(gè)立體圖像對(duì)中匹配的像素間的距離，通常交叉視差為負(fù)，非交叉視差為正。立體視頻的視差估計(jì)算法有多種，本發(fā)明實(shí)施例可選立體匹配算法來進(jìn)行視差估計(jì)，比如可利用基于顏色分割的立體匹配算法獲得稠密視差圖。通過立體匹配算法獲得視差后，還可以進(jìn)一步進(jìn)行濾波，以去除視差圖中的誤匹配點(diǎn)，使得到的視差圖平滑、連續(xù)、準(zhǔn)確。具體實(shí)施時(shí)，可以使用中值濾波去除異常點(diǎn)。

在利用基于顏色分割的立體匹配算法獲得稠密視差圖的過程中，通常需要定義搜索窗口，根據(jù)定義的搜索窗口進(jìn)行立體匹配(即搜索匹配的像素)。比如，以當(dāng)前像素為基準(zhǔn)向左和向右分別搜索32個(gè)像素(此時(shí)搜索范圍為32，視差的范圍為-32～32)，即在該搜索范圍內(nèi)搜索與當(dāng)前像素匹配的像素。本發(fā)明實(shí)施例中，根據(jù)視頻段內(nèi)容的不同，可以調(diào)整搜索窗口的大小。搜索窗口的大小除了與視頻的分辨率有關(guān)，還與視頻幀的整體視差大小相關(guān)。若搜索窗口太小，會(huì)導(dǎo)致部分像素找不到匹配像素；若窗口太大，誤匹配的概率會(huì)增大，得到的視差圖準(zhǔn)確度較低。為避免上述問題，搜索窗口的大小可與視頻幀的視差幅度相近。

采用基于顏色分割的立體匹配算法估計(jì)視差時(shí)，有可能有些像素得不到視差，比如，當(dāng)存在遮擋等問題時(shí)，部分像素不能獲得視差。為解決該問題，本發(fā)明實(shí)施例中，在進(jìn)行立體匹配過程中，若某像素未找到與之匹配的像素，則可將該像素的視差可設(shè)置為經(jīng)驗(yàn)值，表明未找到匹配的像素，比如，仍以上述搜索范圍是32為例，若針對(duì)當(dāng)前像素未搜索到匹配的像素，則將該當(dāng)前像素的視差設(shè)置為搜索范圍加一，即設(shè)置為33。

步驟203：根據(jù)第i幀的視差以及運(yùn)動(dòng)信息，確定第i幀的視覺焦點(diǎn)位置。

該步驟中，可首先確定第i幀內(nèi)每個(gè)像素的權(quán)值，將具有最大權(quán)值的像素的位置確定為第i幀的視覺焦點(diǎn)位置。進(jìn)一步的，若第i幀內(nèi)具有最大權(quán)值的像素有多個(gè)，則可將該多個(gè)具有最大權(quán)值的像素中，距離第i幀的圖像中心位置最近的像素的位置，確定為第i幀的視覺焦點(diǎn)位置。

由于視頻中較為劇烈的運(yùn)動(dòng)(比如平面運(yùn)動(dòng)和/或深度方向的運(yùn)動(dòng))和較大的交叉視差容易引起觀眾的注意，因此本發(fā)明實(shí)施例在計(jì)算像素的權(quán)值時(shí)，可根據(jù)視頻幀內(nèi)匹配像素的平面運(yùn)動(dòng)(包括水平運(yùn)動(dòng)和垂直運(yùn)動(dòng))、深度方向的運(yùn)動(dòng)以及交叉視差進(jìn)行計(jì)算。其中，交叉視差是指物體成像于屏幕前方。

具體的，可根據(jù)以下公式計(jì)算第i幀內(nèi)像素的權(quán)值：

w＝γ*|mv|+η*|dispcrossed|+λ*|δd|………………………………[1]

其中，w為坐標(biāo)為(x,y)的像素的權(quán)值，γ、η和λ為加權(quán)值，γ、η和λ之和可以取值為1，可選的，γ＝0.2，η＝0.4，λ＝0.4；mv表示平面運(yùn)動(dòng)矢量，mv的大小表明平面運(yùn)動(dòng)的劇烈程度，表示坐標(biāo)為(x,y)的像素的平面運(yùn)動(dòng)矢量，dx和dy分別為第i幀內(nèi)的坐標(biāo)為(x,y)像素的水平位移和垂直位移，所述dx和dy在第i幀及第i幀的相鄰視頻幀(所述第i幀的相鄰視頻幀例如為第i-1幀或第i+1幀)內(nèi)搜索得到，比如，通過比較第i幀中坐標(biāo)為(x,y)的像素以及與該像素匹配的像素在第i-1幀中的坐標(biāo)，可得到該像素的dx和dy；dispcrossed為交叉視差值，對(duì)于每一個(gè)像素，只有在其視差為交叉視差時(shí)dispcrossed才有值，如果像素的視差為非交叉，則將dispcrossed取值為0；δd為第i幀及第i幀的相鄰視頻幀(所述第i幀的相鄰視頻幀例如為第i-1幀或第i+1幀)的匹配塊的平均視差的差值，δd的大小表明深度方向運(yùn)動(dòng)的快慢。

步驟204：根據(jù)第i幀的視覺焦點(diǎn)位置確定該視頻幀的可視區(qū)域。

該步驟中，在確定出視頻幀i的視覺焦點(diǎn)位置后，可根據(jù)人眼分辨視域和觀看距離確定圖像可視區(qū)域。本發(fā)明實(shí)施例中，可選的可以取以焦點(diǎn)為中心、15°視角范圍內(nèi)的區(qū)域?yàn)榭梢晠^(qū)域。比如，一個(gè)立體視頻段的分辨率為640*480，該立體視頻段中的一個(gè)視頻幀的可視區(qū)域可能在350*262像素范圍內(nèi)。

步驟205：根據(jù)第i幀的視差以及該視頻幀的可視區(qū)域，提取第i幀的空域特性和時(shí)域特性。

本發(fā)明實(shí)施例中，一個(gè)視頻幀的空域特性可包括以下參數(shù)之一或任意組合：該視頻幀的參考視差(以下將第i幀的參考視差表示為mindisp)、參考視差的百分比(以下表示為p(mindisp))、邊框效應(yīng)的嚴(yán)重程度、是否滿足“下近上遠(yuǎn)”空間布局。其中：

視頻幀的參考視差mindisp，可以是視頻幀的可視區(qū)域內(nèi)的最小像素視差值。進(jìn)一步的，考慮到在立體匹配時(shí)可能存在誤匹配的現(xiàn)象，有時(shí)候會(huì)有一些像素的視差異常大或者異常小，但是這些像素往往都是離散的、數(shù)量較少的一些像素。但實(shí)際上，對(duì)于同一個(gè)物體來說，相鄰區(qū)域的像素視差都應(yīng)該是相同或相近的，因此像素視差的數(shù)量較少時(shí)就認(rèn)為這些像素的匹配是不準(zhǔn)的，因此可以在排除這些視差異常的像素后，根據(jù)其余的像素的視差選取出最小視差，作為該視頻幀的參考視差。比如，可將所述視頻幀的可視區(qū)域內(nèi)，除噪聲像素以外的其他像素的視差中的最小值，確定為所述視頻幀的參考視差；其中，針對(duì)噪聲像素的每一個(gè)視差值，其對(duì)應(yīng)的像素(即具有該視差值的像素)數(shù)量低于設(shè)定像素?cái)?shù)量閾值。這樣，可以避免一些噪點(diǎn)對(duì)參考視差的選擇，進(jìn)而提高舒適度評(píng)估的準(zhǔn)確性。

參考視差的百分比p(mindisp)，是指視頻幀的可視區(qū)域內(nèi)，視差值為參考視差mindispi的像素?cái)?shù)目與有效像素?cái)?shù)目的比值，其中，有效像素的視差絕對(duì)值小于搜索范圍。立體匹配過程中，存在一些像素匹配失敗的現(xiàn)象，此時(shí)該像素的視差被設(shè)置為一個(gè)確定的經(jīng)驗(yàn)值來標(biāo)志該像素匹配失敗，比如之前所說的搜索范圍為32時(shí)，將匹配失敗的像素的視差值設(shè)置為33。由于搜索窗口的大小限制了有效視差范圍為[-32,32]，因此視差在[-32,32]內(nèi)的像素為匹配成功的像素，即有效像素，而視差不在[-32,32]內(nèi)的像素即為無效像素，即誤匹配像素，比如視差為33的像素即為誤匹配像素。

邊框效應(yīng)，是指對(duì)于一個(gè)視頻幀，如果位于屏幕邊緣的物體(即成像于屏幕邊緣的物體)的視差為交叉視差(即物體成像于屏幕前方)，且物體的一部分超出了屏幕范圍，則該視頻幀存在邊框效應(yīng)(frame-effect)，這會(huì)使觀眾在觀看時(shí)產(chǎn)生極其不舒服的感覺。

“下近上遠(yuǎn)(bottom-up)”，是指一個(gè)視頻幀對(duì)應(yīng)的屏幕底端的物體(即成像于屏幕底端的物體)的感知深度離觀眾近、屏幕頂端物體(即成像于屏幕頂端的物體)的感知深度離觀眾遠(yuǎn)。符合“下近上遠(yuǎn)”的空間布局的視頻幀不易導(dǎo)致視覺疲勞。

具體實(shí)施時(shí)，可使用觀看舒適度影響因子dispdistribution(可稱為第一觀看舒適度影響因子)來表示邊框效應(yīng)的嚴(yán)重程度以及是否滿足“下近上遠(yuǎn)”空間布局。參考視差、參考視差的百分比，以及dispdistribution反映了視頻幀內(nèi)視差的空間分布情況。

下面以第i幀為例，說明視頻幀的參考視差mindisp、參考視差的百分比p(mindisp)，以及dispdistribution的計(jì)算方法。

對(duì)于第i幀，確定其參考視差mindispi的方法可以是：在第i幀的可視區(qū)域內(nèi)所有像素的視差中，選取最小值作為第i幀的參考視差的取值。另一種可選的實(shí)現(xiàn)方式可以是：確定第i幀對(duì)應(yīng)的視差集合，該視差集合為所i幀可視區(qū)域內(nèi)的像素視差集合，且其中的每個(gè)視差值對(duì)應(yīng)的像素?cái)?shù)量均大于所述設(shè)定閾值；將該視差集合中的最小視差值確定為第i幀的mindispi。比如，在n*n(n為像素?cái)?shù)量)的統(tǒng)計(jì)窗口內(nèi)，取最小視差，判斷具有該最小視差值的像素?cái)?shù)量是否大于閾值0.875*n*n，若大于，則將該最小視差作為第i幀的參考視差；若小于，則在該統(tǒng)計(jì)窗口內(nèi)再選取除該最小視差以外的其余視差中的最小值，判斷具有該最小值的像素?cái)?shù)量是否大于閾值0.875*n*n，若大于，則將該最小視差作為第i幀的參考視差，否則參照上述方式排除該最小值，在其余的視差中再選擇一個(gè)最小值，并參照上述方式進(jìn)行判斷和處理。

對(duì)于第i幀，參考視差的百分比p(mindisp)可通過計(jì)算第i幀的可視區(qū)域內(nèi)，視差為參考視差mindispi的像素?cái)?shù)目與有效像素?cái)?shù)目的比值得到。

對(duì)于第i幀，可通過檢測第i幀對(duì)應(yīng)的屏幕邊緣一定范圍內(nèi)，是否存在集中的小于設(shè)定視差值的交叉視差，來確定第i幀是否存在邊框效應(yīng)。比如，對(duì)于第i幀，可在屏幕邊緣一定范圍內(nèi)，通過n*n的搜索窗口檢測小于設(shè)定視差門限t的交叉視差的數(shù)目是否大于閾值0.75*n*n，如果大于，則判斷第i幀存在邊框效應(yīng)，否則判斷第i幀不存在邊框效應(yīng)。其中，門限t的取值要求小于“comfortzone”的下界，而“comfortzone”的范圍與視頻的分辨率、人眼瞳距、觀看距離等一系列因素相關(guān)，因此門限t的取值不是一個(gè)固定值，可選值也與視頻的分辨率相關(guān)?！癱omfortzone”是指：視差小于一定范圍時(shí)，人眼不會(huì)產(chǎn)生視覺疲勞，比如當(dāng)前視頻分辨率下“comfortzone”是{-5pixels，8pixels]，則門限t的值應(yīng)該小于-5。比如，對(duì)于分辨率為640*480的視頻幀，在屏幕邊緣5％的范圍內(nèi)，如果在20*20的窗口內(nèi)檢測到小于-5的交叉視差的數(shù)目大于300個(gè)，則判斷該視頻幀存在邊框效應(yīng)。

對(duì)于第i幀，可將第i幀按照一定比例劃分為三個(gè)區(qū)域，通過比較三個(gè)區(qū)域內(nèi)有效像素的平均視差的大小關(guān)系來判斷第i幀是否滿足“下近上遠(yuǎn)”的空間布局。比如，對(duì)于第i幀，可將第i幀圖像按照q％、1-q％(0＜q＜100)的圖像高度劃分為三個(gè)區(qū)域，通過比較三個(gè)區(qū)域內(nèi)有效像素的平均視差的大小關(guān)系判斷是否滿足“下近上遠(yuǎn)”。例如，將第i幀圖像在高度方向劃分為三個(gè)區(qū)域，從上到下每個(gè)區(qū)域的高度比例為：0～20％、20％～80％、80％～1，分別計(jì)算每個(gè)區(qū)域有效像素的平均視差，如果topdisp<middledisp<bottomdisp,，則判斷第i幀滿足“下近上遠(yuǎn)”的空間布局。其中topdisp、middledisp、bottomdisp分別代表三個(gè)區(qū)域內(nèi)有效像素的平均視差值。當(dāng)然，也可以將第i幀按照一定比例劃分為兩個(gè)區(qū)域或多于三個(gè)區(qū)域，按照上述原則，通過比較各個(gè)區(qū)域內(nèi)有效像素的平均視差的大小關(guān)系來判斷第i幀是否滿足“下近上遠(yuǎn)”的空間布局。

如上所述，本發(fā)明實(shí)施例可根據(jù)邊框效應(yīng)的嚴(yán)重程度和是否滿足“下近上遠(yuǎn)”的空間布局，確定視差空間布局對(duì)舒適度的影響因子dispdistribution。dispdistribution取值高，表明視差分布較好，不易使觀看者產(chǎn)生視覺疲勞，dispdistribution取值低，表明視差分布較差，容易使觀看者產(chǎn)生視覺疲勞。在具體實(shí)施時(shí)，dispdistribution的取值范圍可設(shè)置為[0,1]，在視頻幀不存在邊框效應(yīng)且滿足下近上遠(yuǎn)空間布局的情況下，可將dispdistribution取較大值，比如可在[0.9,1]的范圍內(nèi)取值。在視頻幀存在邊框效應(yīng)且不滿足下近上遠(yuǎn)空間布局的情況下，可將dispdistribution取值較小。

本發(fā)明實(shí)施例給出了以下一種dispdistribution取值的可選方案：

若僅滿足“下近上遠(yuǎn)”的空間分布，則dispdistribution＝0.8；

若僅滿足不存在邊框效應(yīng)，則dispdistribution＝0.9；

若滿足最佳布局，即，不存在邊框效應(yīng)且滿足“下近上遠(yuǎn)”的空間分布，則dispdistribution＝1；

若存在邊框效應(yīng)且不滿足“下近上遠(yuǎn)”的空間分布，則dispdistribution＝0.7。

可以看出，dispdistribution在視頻幀不存在邊框效應(yīng)且滿足下近上遠(yuǎn)空間布局時(shí)取第一值，在視頻幀存在邊框效應(yīng)但滿足下近上遠(yuǎn)空間布局時(shí)取第二值，在視頻幀不存在邊框效應(yīng)但不滿足下近上遠(yuǎn)空間布局時(shí)取第三值，在視頻幀存在邊框效應(yīng)且不滿足下近上遠(yuǎn)空間布局時(shí)取第四值，其中，第一值、第二值、第三值和第四值為預(yù)設(shè)值，且第一值小于第四值，第三值在第一值和第二值之間且與第一值和第二值均不相等?？蛇x的，第一值、第二值、第三值和第四值的取值范圍為：大于零且小于等于1。按照dispdistribution取值從小到大的順序，計(jì)算得到的觀看舒適度評(píng)價(jià)分值也按照從小到大的順序增加(觀看舒適度評(píng)價(jià)分值越高，表明觀看舒適度越高)

一個(gè)視頻幀的時(shí)域特性可包括該視頻幀的可視區(qū)域內(nèi)的視差在深度方向的變化。具體實(shí)施時(shí)，可使用觀看舒適度影響因子vd(可稱為第二觀看舒適度影響因子)來表示可視區(qū)域內(nèi)的視差在深度方向的變化的影響。

視差在深度方向的變化(vd)的影響因素有兩個(gè)，一個(gè)是參考視差的在時(shí)域的變化(v1)，另一個(gè)是參考視差出現(xiàn)的頻率在時(shí)域的變化(v2)，vd＝f(v1,v2)。本發(fā)明實(shí)施例中，可根據(jù)一個(gè)視頻幀的參考視差在時(shí)域的變化，和/或該視頻幀的參考視差出現(xiàn)的頻率在時(shí)域的變化，計(jì)算得到該視頻幀的觀看舒適度影響因子vd。

對(duì)于第i幀，一種簡單度量視差在深度方向的變化(vd)的函數(shù)為：

其中，v1ⁱ表示第i幀的參考視差在時(shí)域的變化；表示第i幀的參考視差出現(xiàn)的頻率在時(shí)域的變化；γ和μ為加權(quán)值，比如，γ+μ＝1，可選的，γ和μ均取0.5。可以根據(jù)v1ⁱ和影響的重要程度，調(diào)整γ和μ的值。一種極端的做法是γ＝1,μ＝0，此時(shí)只考慮視差在時(shí)域變化的影響。或者μ＝1,γ＝0，此時(shí)只考慮參考視差出現(xiàn)的頻率在時(shí)域的變化的影響。

對(duì)于第i幀的v1ⁱ，本發(fā)明實(shí)施例提供了兩種可選計(jì)算方法：

方法1：將立體視頻段分段，同一視頻段內(nèi)的視頻幀的參考視差單調(diào)變化且變化速度相同，根據(jù)以下公式計(jì)算第i幀的v1ⁱ：

v1ⁱ＝(displast-dispfirst)/(np-1)…………………………………[3]

其中，dispfirst和displast分別為第i幀所屬視頻段的第一幀和最后一幀的參考視差，np為第i幀所屬視頻段的視頻幀數(shù)量。

方法2：根據(jù)以下公式計(jì)算第i幀的v1ⁱ：

v1ⁱ＝mindispi-mindispi-1……………………………………[4]

其中，mindispi和mindispi-1分別為第i幀和第i-1幀的參考視差。

對(duì)于第i幀的可根據(jù)以下公式計(jì)算：

其中，p(mindispi)和p(mindispi-1)分別為第i幀和第i-1幀的參考視差的百分比。

步驟206：遞增i值，即設(shè)置i＝i+1，并判斷遞增后的i值是否超過所述立體視頻段的視頻幀數(shù)目n，若判斷為否，則轉(zhuǎn)入步驟202，否則結(jié)束本流程。

通過以上流程可以看出，由于視頻幀中較為劇烈的運(yùn)動(dòng)(比如平面運(yùn)動(dòng)和/或深度方向的運(yùn)動(dòng))和較大的交叉視差容易引起觀眾的注意，因此本發(fā)明實(shí)施例在計(jì)算像素的權(quán)值時(shí)，可根據(jù)視頻幀內(nèi)匹配像素的平面運(yùn)動(dòng)(包括水平運(yùn)動(dòng)和垂直運(yùn)動(dòng))、深度方向的運(yùn)動(dòng)以及交叉視差進(jìn)行計(jì)算，選取其中權(quán)值最大的像素作為視覺焦點(diǎn)，根據(jù)該視覺焦點(diǎn)確定可視區(qū)域，該可視區(qū)域通常為觀眾感興趣的區(qū)域，從而可以針對(duì)觀眾感興趣的區(qū)域進(jìn)行觀看舒適度評(píng)價(jià)。

立體視頻播放過程中，人眼無法準(zhǔn)確識(shí)別每一個(gè)視頻幀的舒適度，對(duì)于視頻舒適度的反映是基于視頻段的，而不是基于視頻幀。因此，在圖1的步驟103中，需要評(píng)估視頻段的舒適度。

圖3示出了圖1中步驟103的一種可選實(shí)現(xiàn)方法，如圖所示，該方法可包括以下步驟：

步驟301：計(jì)算立體視頻段的每一個(gè)視頻幀的觀看舒適度。一個(gè)視頻幀的舒適度由時(shí)域特性和空域特性共同決定。

在具體實(shí)施時(shí)，一個(gè)視頻幀的舒適度模型可以為(以下以第i幀為例)：

其中，為第i幀的觀看舒適度，spatial_frame_vci為第i幀的空域特性決定的第i幀的觀看舒適度，temperal_frame_vci為第i幀的時(shí)域特性決定的第i幀的觀看舒適度，α和β為加權(quán)值。

其中，dispdistributionⁱ為第i幀的dispdistribution因子，mindispi為第i幀的參考視差，p(mindispi)為第i幀的參考視差的百分比，b1為模型參數(shù)；為第i幀的vd因子；b2為模型參數(shù)，b2的取值與v1ⁱ和mindispi的符號(hào)有關(guān)。b1和b2是在擬合主觀數(shù)據(jù)的過程中訓(xùn)練出來的模型參數(shù)，其取值可根據(jù)實(shí)際訓(xùn)練結(jié)果來確定。

可選的，如果對(duì)視頻觀看舒適度的主觀評(píng)估時(shí)采用的是5分制，最低1分最高5分，則上述公式7和公式8中的參數(shù)c1取值為4。由于視頻觀看舒適度的主觀評(píng)估時(shí)采用的是5分制，最低1分最高5分，將c1取值為4可保證最小值為1和最大值為5。同理，如果是其他分制，如11分制或百分制，則可對(duì)公式7和公式8中的模型參數(shù)的取值進(jìn)行相應(yīng)調(diào)整。

表1示出了一組可選的模型參數(shù)值。

表1模型參數(shù)

步驟302：根據(jù)所述立體視頻段每一個(gè)視頻幀的視覺焦點(diǎn)位置，對(duì)所述立體視頻段進(jìn)行子段劃分，每個(gè)子段至少包含一個(gè)視頻幀，每個(gè)子段的視頻幀的視覺焦點(diǎn)位置轉(zhuǎn)移量不大于設(shè)定轉(zhuǎn)移量閾值，然后計(jì)算每個(gè)子段的觀看舒適度。

該步驟中，分段依據(jù)是焦點(diǎn)在空間位置的轉(zhuǎn)換量大小，如果連續(xù)多幀的焦點(diǎn)的空間位置相近，則將該連續(xù)多幀劃分到一個(gè)子段內(nèi)。比如，若相鄰視頻幀的空間焦點(diǎn)位置轉(zhuǎn)移量δp小于5，則將所述相鄰視頻幀劃分到一個(gè)子段，否則將所述相鄰視頻幀劃分為不同子段。其中，dx和dy分別代表焦點(diǎn)轉(zhuǎn)移的水平和垂直位移。

具體實(shí)施時(shí)，計(jì)算每個(gè)子段的觀看舒適度的具體計(jì)算公式可以是：

其中，為第k個(gè)子段的舒適程度，nf為第k個(gè)子段內(nèi)視頻幀的數(shù)目，p1為聯(lián)合參數(shù)，為設(shè)定數(shù)值，比如可選取值為7。p1可取值為大于1的整數(shù)。p1的可選值的選取可根據(jù)已有的測試段和對(duì)應(yīng)的主觀舒適度分值訓(xùn)練得到，通過設(shè)置合理取值，可以使主觀分值和客觀分值的相關(guān)性最高。

可選的，如果對(duì)視頻觀看舒適度的主觀評(píng)估時(shí)采用的是5分制，最低1分最高5分，則上述公式9和公式10中的參數(shù)c2取值為5，即取值為主觀評(píng)估的最高分。同理，如果是其他分制，如11分制或百分制，則可對(duì)公式7和公式8中的模型參數(shù)的取值進(jìn)行相應(yīng)調(diào)整。

步驟303：根據(jù)每個(gè)子段的觀看舒適度計(jì)算所述立體視頻段的觀看舒適度。

具體實(shí)施時(shí)，具體計(jì)算公式可以是：

其中，q為所述立體視頻段的觀看舒適度，ns為所述視頻段內(nèi)子段的數(shù)目，p2為時(shí)域聯(lián)合參數(shù)，為設(shè)定值，比如可選取值為3。p2可取值為大于1的整數(shù)。p2的可選值的選取可根據(jù)已有的測試段和對(duì)應(yīng)的主觀舒適度分值訓(xùn)練得到，通過設(shè)置合理取值，可以使主觀分值和客觀分值的相關(guān)性最高。

圖4示出了圖1中步驟103的另一種可選實(shí)現(xiàn)方法，該方法中，觀看舒適度評(píng)價(jià)模型中提取的特性參數(shù)均為段的統(tǒng)計(jì)參數(shù)，不需要單獨(dú)計(jì)算每個(gè)視頻幀的舒適度以及子段的舒適度。如圖所示，該方法可包括以下步驟：

步驟401：根據(jù)立體視頻段的每一個(gè)視頻幀的空域特性，計(jì)算該立體視頻段的空域特性。

所述立體視頻段的空域特性可包括以下參數(shù)之一或任意組合：該立體視頻段的參考視差、該立體視頻段的觀看舒適度影響因子

具體實(shí)施時(shí)，立體視頻段的參考視差可通過如下方式計(jì)算得到：計(jì)算所述立體視頻段中所有視頻幀的參考視差的加權(quán)平均值。具體計(jì)算公式可以是：

其中，為所述立體視頻段中所有視頻幀的參考視差的加權(quán)平均值，n為所述立體視頻段中視頻幀的數(shù)目，mindispi為第i幀的參考視差，p(mindispi)為第i幀的參考視差的百分比。

具體實(shí)施時(shí)，立體視頻段的觀看舒適度影響因子可通過如下方式計(jì)算得到：計(jì)算所述立體視頻段內(nèi)所有視頻幀的觀看舒適度影響因子dispdistribution的平均值。具體計(jì)算公式可以是：

其中，為所述立體視頻段內(nèi)所有視頻幀的觀看舒適度影響因子dispdistribution的平均值，dispdistributionⁱ為第i幀的觀看舒適度影響因子dispdistribution；

步驟402：根據(jù)該立體視頻段的每一個(gè)視頻幀的時(shí)域特性，計(jì)算該立體視頻段的時(shí)域特性。

所述立體視頻段的時(shí)域特性可包括該立體視頻段的觀看舒適度影響因子所述立體視頻段的觀看舒適度影響因子vd，具體可通過以下公式計(jì)算：

其中，為所述立體視頻段的觀看舒適度影響因子vd，為所述立體視頻段內(nèi)第i幀的觀看舒適度影響因子vd，pi為設(shè)定值，pi的取值根據(jù)v1ⁱ和mindispi的符號(hào)來確定，即，pi的值與v1ⁱ和mindispi的符號(hào)有關(guān)，一種可取的值為：

當(dāng)v1ⁱ與mindispi異號(hào)時(shí)，pi＝0.8；

當(dāng)v1ⁱ與mindispi同號(hào)時(shí)，pi＝1；

通過pi可區(qū)分不同運(yùn)動(dòng)方向?qū)τ^看舒適度的不同影響。當(dāng)v1ⁱ與mindispi同號(hào)時(shí)，物體向遠(yuǎn)離屏幕的方向運(yùn)動(dòng)，這種情況下的舒適度非常差，pi可取較大值，比如上述pi＝1；當(dāng)v1ⁱ與mindispi異號(hào)時(shí)，物體向靠近屏幕的方向運(yùn)動(dòng)，這種情況下的舒適度較好，pi可取較小值，比如上述pi＝0.8。

步驟403：根據(jù)步驟401～402計(jì)算出的參數(shù)，計(jì)算所述立體視頻段的觀看舒適度。

具體計(jì)算公式可以是：

vc＝α*spatial_vc+β*temperal_vc………………………………[14]

其中，vc為所述立體視頻段的觀看舒適度，α和β為加權(quán)值，可選的，α+β＝1；b1為模型參數(shù)。一組可用的模型參數(shù)為：α＝0.8，β＝0.2，b1＝0.04。b1的可選值的選取可根據(jù)已有的測試段和對(duì)應(yīng)的主觀舒適度分值訓(xùn)練得到，取該值時(shí)，主觀分值和客觀分值的相關(guān)性最高。

可選的，如果對(duì)視頻觀看舒適度的主觀評(píng)估時(shí)采用的是5分制，最低1分最高5分，則上述公式15和公式16中的參數(shù)c3取值為4，即取值為主觀評(píng)估的最高分。同理，如果是其他分制，如11分制或百分制，則可對(duì)公式15和公式16中的模型參數(shù)的取值進(jìn)行相應(yīng)調(diào)整。

通過以上流程可以看出，本發(fā)明實(shí)施例通過檢測人眼視覺焦點(diǎn)位置，根據(jù)人眼視角范圍確定可視區(qū)域，利用可視區(qū)域內(nèi)輻輳與調(diào)節(jié)沖突的嚴(yán)重程度度量立體視頻觀看舒適度。輻輳與調(diào)節(jié)沖突的嚴(yán)重程度是通過分析立體視頻空間視差分布狀況以及時(shí)域視差分布情況度量的。本發(fā)明實(shí)施例提出的評(píng)估方法充分考慮了視差空間分布和時(shí)間分布對(duì)立體視頻舒適度的影響，且可突出舒適度較差的幀對(duì)整體舒適度的影響。

綜上所述，立體視頻舒適度評(píng)估是改善立體視頻觀看舒適度的前提條件，是影響立體視頻發(fā)展的關(guān)鍵技術(shù)之一。本發(fā)明實(shí)施例提出的立體視頻舒適度的客觀評(píng)價(jià)方案，計(jì)算復(fù)雜度低，可靠性高，可以廣泛應(yīng)用與立體視頻舒適度評(píng)估及監(jiān)測。該方案與已有方案相比充分考慮了立體視頻的空域特性和時(shí)域特性對(duì)立體視頻舒適度的影響，且考慮到了人類視覺特性以及觀眾觀看習(xí)慣，涵蓋了影響觀看舒適度的最主要影響因素，從而使立體視頻觀看舒適度評(píng)價(jià)較為客觀和準(zhǔn)確。

基于相同的技術(shù)構(gòu)思，本發(fā)明實(shí)施例還提供了一種立體視頻評(píng)價(jià)裝置。

參見圖5，為本發(fā)明實(shí)施例提供的立體視頻評(píng)價(jià)裝置的結(jié)構(gòu)示意圖。

獲取模塊501，用于獲取立體視頻段的視頻幀；

提取模塊502，用于提取所述獲取模塊獲取到的立體視頻段的視頻幀的空域特性和時(shí)域特性；

評(píng)價(jià)模塊503，用于根據(jù)所述提取模塊提取到的所述立體視頻段的視頻幀的空域特性和時(shí)域特性，確定所述立體視頻段的觀看舒適度。

結(jié)合上述裝置，在第一種可能的實(shí)現(xiàn)方式中，提取模塊502具體用于：估計(jì)所述立體視頻段的視頻幀的視差，根據(jù)所述立體視頻段的視頻幀的視差以及運(yùn)動(dòng)信息確定所述立體視頻段的視頻幀的視覺焦點(diǎn)位置，根據(jù)所述立體視頻段的視頻幀的視覺焦點(diǎn)位置確定所述立體視頻段的視頻幀的可視區(qū)域，以及根據(jù)所述立體視頻段的視頻幀的視差以及所述立體視頻段的視頻幀的可視區(qū)域，提取所述立體視頻段的視頻幀的空域特性和時(shí)域特性。

結(jié)合上述裝置的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，提取模塊502可確定所述立體視頻段的視頻幀內(nèi)每個(gè)像素的權(quán)值，將具有最大權(quán)值的像素的位置確定為所述立體視頻段的視頻幀的視覺焦點(diǎn)位置。

結(jié)合上述裝置的第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，提取模塊502可采用公式(1)計(jì)算所述像素的權(quán)值，公式(1)的表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置的第二種或第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，提取模塊502具體用于：若所述立體視頻段的視頻幀內(nèi)具有最大權(quán)值的像素有多個(gè)，則將所述多個(gè)具有最大權(quán)值的像素中，距離所述立體視頻段的視頻幀的圖像中心位置最近的像素的位置，確定為所述立體視頻段的視頻幀的視覺焦點(diǎn)位置。

結(jié)合上述裝置的第一種至第四種可能的實(shí)現(xiàn)方式中的任意一種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，所述空域特性包括以下參數(shù)之一或任意組合：參考視差、參考視差的百分比、第一觀看舒適度影響因子；

提取模塊502具體用于：確定所述立體視頻段的視頻幀對(duì)應(yīng)的視差集合，所述視差集合為所述立體視頻段的視頻幀可視區(qū)域內(nèi)的像素視差集合，且其中的每個(gè)視差值對(duì)應(yīng)的像素?cái)?shù)量均大于所述設(shè)定閾值；將所述視差集合中的最小視差值確定為所述立體視頻段的視頻幀的參考視差；

計(jì)算所述立體視頻段的視頻幀的可視區(qū)域內(nèi)，視差為所述參考視差的像素的數(shù)目與有效像素的數(shù)目的比值，得到所述立體視頻段的視頻幀的參考視差的百分比，所述有效像素是指的視差絕對(duì)值小于搜索范圍的像素；

根據(jù)所述立體視頻段的視頻幀是否存在邊框效應(yīng)以及是否滿足下近上遠(yuǎn)空間布局，確定所述立體視頻段的視頻幀的第一觀看舒適度影響因子，所述第一觀看舒適度影響因子在所述立體視頻段的視頻幀不存在邊框效應(yīng)且滿足下近上遠(yuǎn)空間布局時(shí)取第一值，在所述立體視頻段的視頻幀存在邊框效應(yīng)但滿足下近上遠(yuǎn)空間布局時(shí)取第二值，在所述立體視頻段的視頻幀不存在邊框效應(yīng)但不滿足下近上遠(yuǎn)空間布局時(shí)取第三值，在所述立體視頻段的視頻幀存在邊框效應(yīng)且不滿足下近上遠(yuǎn)空間布局時(shí)取第四值，其中，第一值、第二值、第三值和第四值為預(yù)設(shè)值，且第一值小于第四值，第三值在第一值和第二值之間且與第一值和第二值均不相等；所述邊框效應(yīng)是指對(duì)于一個(gè)視頻幀，如果成像于屏幕邊緣的物體的視差為交叉視差，且所述物體的一部分超出了屏幕范圍，則存在邊框效應(yīng)；所述下近上遠(yuǎn)是指一個(gè)視頻幀對(duì)應(yīng)的成像于屏幕底端的物體的感知深度離觀眾近、成像于屏幕頂端的物體的感知深度離觀眾遠(yuǎn)。

結(jié)合上述裝置的第一種至第五種可能的實(shí)現(xiàn)方式中的任意一種可能的實(shí)現(xiàn)方式，在第六種可能的實(shí)現(xiàn)方式中，所述時(shí)域特性包括第二觀看舒適度影響因子；

提取模塊502具體用于：根據(jù)所述立體視頻段的視頻幀的參考視差在時(shí)域的變化，和/或所述立體視頻段的視頻幀的參考視差出現(xiàn)的頻率在時(shí)域的變化，計(jì)算得到所述立體視頻段的視頻幀的第二觀看舒適度影響因子，所述第二觀看舒適度影響因子數(shù)值的大小表示視頻幀的參考視差在深度方向變化的程度。

結(jié)合上述裝置的第六種可能的實(shí)現(xiàn)方式，在第七種可能的實(shí)現(xiàn)方式中，提取模塊502具體用于：將所述立體視頻段進(jìn)行子段劃分，同一子段內(nèi)的視頻幀的參考視差單調(diào)變化且變化速度相同，根據(jù)公式(3)計(jì)算所述立體視頻段的視頻幀的參考視差在時(shí)域的變化，根據(jù)公式(5)計(jì)算所述立體視頻段的視頻幀的參考視差出現(xiàn)的頻率在時(shí)域的變化，根據(jù)公式(2)計(jì)算所述立體視頻段的視頻幀的第二觀看舒適度影響因子。公式(3)、公式(2)和公式(5)的表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置的第六種可能的實(shí)現(xiàn)方式，在第八種可能的實(shí)現(xiàn)方式中，提取模塊502可根據(jù)公式(4)計(jì)算所述立體視頻段的視頻幀的參考視差在時(shí)域的變化，根據(jù)公式(5)計(jì)算所述立體視頻段的視頻幀的參考視差出現(xiàn)的頻率在時(shí)域的變化，根據(jù)公式(2)計(jì)算所述立體視頻段的視頻幀的第二觀看舒適度影響因子。公式(4)、公式(5)和公式(2)的表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置或者上述裝置的第一種至第八種可能的實(shí)現(xiàn)方式中的任意一種可能的實(shí)現(xiàn)方式，在第九種可能的實(shí)現(xiàn)方式中，評(píng)價(jià)模塊503具體用于：

根據(jù)所述立體視頻段的每一個(gè)視頻幀的空域特性和時(shí)域特性，分別計(jì)算所述每一個(gè)視頻幀的觀看舒適度；

根據(jù)所述立體視頻段的每一個(gè)視頻幀的視覺焦點(diǎn)位置，對(duì)所述立體視頻段進(jìn)行子段劃分，每個(gè)子段的視頻幀的視覺焦點(diǎn)位置轉(zhuǎn)移量不大于設(shè)定轉(zhuǎn)移量閾值；根據(jù)每個(gè)子段內(nèi)每個(gè)視頻幀的觀看舒適度，分別計(jì)算所述每個(gè)子段的觀看舒適度；

根據(jù)每個(gè)子段的觀看舒適度計(jì)算所述立體視頻段的觀看舒適度。

結(jié)合上述裝置的第九種可能的實(shí)現(xiàn)方式，在第十種可能的實(shí)現(xiàn)方式中，評(píng)價(jià)模塊503可根據(jù)公式(6)、公式(7)和公式(8)計(jì)算所述立體視頻段的視頻幀的觀看舒適度。公式(4)、公式(5)和公式(2)的表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。計(jì)算過程中涉及到的立體視頻段的視頻幀的參考視差、立體視頻段的視頻幀的參考視差的百分比、第一觀看舒適度影響因子、第二觀看舒適度影響因子等參數(shù)的計(jì)算方法，同前所述，在此不再重復(fù)。

結(jié)合上述裝置的第九種或第十種可能的實(shí)現(xiàn)方式，在第十一種可能的實(shí)現(xiàn)方式中，評(píng)價(jià)模塊503具體用于：根據(jù)公式(9)計(jì)算所立體視頻段的的觀看舒適度。公式(9)表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置的第九種至第十一種可能的實(shí)現(xiàn)方式中的任意一種可能的實(shí)現(xiàn)方式，在第十二種可能的實(shí)現(xiàn)方式中，評(píng)價(jià)模塊503可根據(jù)公式(10)計(jì)算所述立體視頻段的觀看舒適度。公式(10)表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置或者上述裝置的第一種至第十二種可能的實(shí)現(xiàn)方式中的任意一種可能的實(shí)現(xiàn)方式，在第十三種可能的實(shí)現(xiàn)方式中，評(píng)價(jià)模塊503可根據(jù)所述立體視頻段的視頻幀的空域特性，計(jì)算所述立體視頻段的空域特性，根據(jù)所述立體視頻段的視頻幀的時(shí)域特性，計(jì)算所述立體視頻段的時(shí)域特性，根據(jù)所述立體視頻段的空域特性和時(shí)域特性，計(jì)算所述立體視頻段的觀看舒適度。

結(jié)合上述裝置的第十三種可能的實(shí)現(xiàn)方式，在第十四種可能的實(shí)現(xiàn)方式中，所述立體視頻段的視頻幀的空域特性包括以下參數(shù)之一或任意組合：所述立體視頻段的視頻幀的參考視差，參考視差的百分比和第一觀看舒適度影響因子，這些參數(shù)的具體計(jì)算方法同前所述，在此不再重復(fù)。相應(yīng)的，評(píng)價(jià)模塊503可根據(jù)公式(11)計(jì)算所述立體視頻段中所有視頻幀的參考視差的加權(quán)平均值，根據(jù)公式(12)計(jì)算所述立體視頻段內(nèi)所有視頻幀的第一觀看舒適度影響因子的平均值。公式(11)和公式(12)表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置的第十三種或第十四種可能的實(shí)現(xiàn)方式，在第十五種可能的實(shí)現(xiàn)方式中，所述立體視頻段的視頻幀的時(shí)域特性包括：所述立體視頻段的視頻幀的第二觀看舒適度影響因子(具體計(jì)算方法同前所述，在此不再重復(fù))，評(píng)價(jià)模塊503可根據(jù)公式(13)計(jì)算所述立體視頻段的第二觀看舒適度影響因子。公式(13)表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置的第十三種至第十五種可能的實(shí)現(xiàn)方式中的任意一種可能的實(shí)現(xiàn)方式，在第十六種可能的實(shí)現(xiàn)方式中，評(píng)價(jià)模塊503可根據(jù)公式(14)、公式(15)和公式(16)計(jì)算所述立體視頻段的觀看舒適度。公式(14)、公式(15)和公式(16)表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

基于相同的技術(shù)構(gòu)思，本發(fā)明實(shí)施例還提供了一種立體視頻評(píng)價(jià)裝置。

參見圖6，為本發(fā)明實(shí)施例提供的立體視頻評(píng)價(jià)裝置的結(jié)構(gòu)示意圖。該裝置可包括：收發(fā)器601、存儲(chǔ)器602和處理器603。存儲(chǔ)器602用于存儲(chǔ)應(yīng)用程序、算法規(guī)則、計(jì)算參數(shù)等信息，還可用來存儲(chǔ)處理器603處理過程中產(chǎn)生的中間結(jié)果。

收發(fā)器601，用于獲取立體視頻段的視頻幀；

處理器603，用于提取所述獲取模塊獲取到的立體視頻段的視頻幀的空域特性和時(shí)域特性；根據(jù)所述提取模塊提取到的所述立體視頻段的視頻幀的空域特性和時(shí)域特性，確定所述立體視頻段的觀看舒適度。

結(jié)合上述裝置，在第一種可能的實(shí)現(xiàn)方式中，處理器603具體用于：估計(jì)所述立體視頻段的視頻幀的視差，根據(jù)所述立體視頻段的視頻幀的視差以及運(yùn)動(dòng)信息確定所述立體視頻段的視頻幀的視覺焦點(diǎn)位置，根據(jù)所述立體視頻段的視頻幀的視覺焦點(diǎn)位置確定所述立體視頻段的視頻幀的可視區(qū)域，以及根據(jù)所述立體視頻段的視頻幀的視差以及所述立體視頻段的視頻幀的可視區(qū)域，提取所述立體視頻段的視頻幀的空域特性和時(shí)域特性。

結(jié)合上述裝置的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，處理器603可確定所述立體視頻段的視頻幀內(nèi)每個(gè)像素的權(quán)值，將具有最大權(quán)值的像素的位置確定為所述立體視頻段的視頻幀的視覺焦點(diǎn)位置。

結(jié)合上述裝置的第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，處理器603可采用公式(1)計(jì)算所述像素的權(quán)值，公式(1)的表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置的第二種或第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，處理器603具體用于：若所述立體視頻段的視頻幀內(nèi)具有最大權(quán)值的像素有多個(gè)，則將所述多個(gè)具有最大權(quán)值的像素中，距離所述立體視頻段的視頻幀的圖像中心位置最近的像素的位置，確定為所述立體視頻段的視頻幀的視覺焦點(diǎn)位置。

結(jié)合上述裝置的第一種至第四種可能的實(shí)現(xiàn)方式中的任意一種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，所述空域特性包括以下參數(shù)之一或任意組合：參考視差、參考視差的百分比、第一觀看舒適度影響因子；

處理器603具體用于：確定所述立體視頻段的視頻幀對(duì)應(yīng)的視差集合，所述視差集合為所述立體視頻段的視頻幀可視區(qū)域內(nèi)的像素視差集合，且其中的每個(gè)視差值對(duì)應(yīng)的像素?cái)?shù)量均大于所述設(shè)定閾值；將所述視差集合中的最小視差值確定為所述立體視頻段的視頻幀的參考視差；

計(jì)算所述立體視頻段的視頻幀的可視區(qū)域內(nèi)，視差為所述參考視差的像素的數(shù)目與有效像素的數(shù)目的比值，得到所述立體視頻段的視頻幀的參考視差的百分比，所述有效像素是指的視差絕對(duì)值小于搜索范圍的像素；

根據(jù)所述立體視頻段的視頻幀是否存在邊框效應(yīng)以及是否滿足下近上遠(yuǎn)空間布局，確定所述立體視頻段的視頻幀的第一觀看舒適度影響因子，所述第一觀看舒適度影響因子在所述立體視頻段的視頻幀不存在邊框效應(yīng)且滿足下近上遠(yuǎn)空間布局時(shí)取第一值，在所述立體視頻段的視頻幀存在邊框效應(yīng)但滿足下近上遠(yuǎn)空間布局時(shí)取第二值，在所述立體視頻段的視頻幀不存在邊框效應(yīng)但不滿足下近上遠(yuǎn)空間布局時(shí)取第三值，在所述立體視頻段的視頻幀存在邊框效應(yīng)且不滿足下近上遠(yuǎn)空間布局時(shí)取第四值，其中，第一值、第二值、第三值和第四值為預(yù)設(shè)值，且第一值小于第四值，第三值在第一值和第二值之間且與第一值和第二值均不相等；所述邊框效應(yīng)是指對(duì)于一個(gè)視頻幀，如果成像于屏幕邊緣的物體的視差為交叉視差，且所述物體的一部分超出了屏幕范圍，則存在邊框效應(yīng)；所述下近上遠(yuǎn)是指一個(gè)視頻幀對(duì)應(yīng)的成像于屏幕底端的物體的感知深度離觀眾近、成像于屏幕頂端的物體的感知深度離觀眾遠(yuǎn)。

結(jié)合上述裝置的第一種至第五種可能的實(shí)現(xiàn)方式中的任意一種可能的實(shí)現(xiàn)方式，在第六種可能的實(shí)現(xiàn)方式中，所述時(shí)域特性包括第二觀看舒適度影響因子；

處理器603具體用于：根據(jù)所述立體視頻段的視頻幀的參考視差在時(shí)域的變化，和/或所述立體視頻段的視頻幀的參考視差出現(xiàn)的頻率在時(shí)域的變化，計(jì)算得到所述立體視頻段的視頻幀的第二觀看舒適度影響因子，所述第二觀看舒適度影響因子數(shù)值的大小表示視頻幀的參考視差在深度方向變化的程度。

結(jié)合上述裝置的第六種可能的實(shí)現(xiàn)方式，在第七種可能的實(shí)現(xiàn)方式中，處理器603具體用于：將所述立體視頻段進(jìn)行子段劃分，同一子段內(nèi)的視頻幀的參考視差單調(diào)變化且變化速度相同，根據(jù)公式(3)計(jì)算所述立體視頻段的視頻幀的參考視差在時(shí)域的變化，根據(jù)公式(5)計(jì)算所述立體視頻段的視頻幀的參考視差出現(xiàn)的頻率在時(shí)域的變化，根據(jù)公式(2)計(jì)算所述立體視頻段的視頻幀的第二觀看舒適度影響因子。公式(3)、公式(2)和公式(5)的表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置的第六種可能的實(shí)現(xiàn)方式，在第八種可能的實(shí)現(xiàn)方式中，處理器603可根據(jù)公式(4)計(jì)算所述立體視頻段的視頻幀的參考視差在時(shí)域的變化，根據(jù)公式(5)計(jì)算所述立體視頻段的視頻幀的參考視差出現(xiàn)的頻率在時(shí)域的變化，根據(jù)公式(2)計(jì)算所述立體視頻段的視頻幀的第二觀看舒適度影響因子。公式(4)、公式(5)和公式(2)的表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置或者上述裝置的第一種至第八種可能的實(shí)現(xiàn)方式中的任意一種可能的實(shí)現(xiàn)方式，在第九種可能的實(shí)現(xiàn)方式中，處理器603具體用于：

根據(jù)所述立體視頻段的每一個(gè)視頻幀的空域特性和時(shí)域特性，分別計(jì)算所述每一個(gè)視頻幀的觀看舒適度；

根據(jù)所述立體視頻段的每一個(gè)視頻幀的視覺焦點(diǎn)位置，對(duì)所述立體視頻段進(jìn)行子段劃分，每個(gè)子段的視頻幀的視覺焦點(diǎn)位置轉(zhuǎn)移量不大于設(shè)定轉(zhuǎn)移量閾值；根據(jù)每個(gè)子段內(nèi)每個(gè)視頻幀的觀看舒適度，分別計(jì)算所述每個(gè)子段的觀看舒適度；

根據(jù)每個(gè)子段的觀看舒適度計(jì)算所述立體視頻段的觀看舒適度。

結(jié)合上述裝置的第九種可能的實(shí)現(xiàn)方式，在第十種可能的實(shí)現(xiàn)方式中，處理器603可根據(jù)公式(6)、公式(7)和公式(8)計(jì)算所述立體視頻段的視頻幀的觀看舒適度。公式(4)、公式(5)和公式(2)的表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。計(jì)算過程中涉及到的立體視頻段的視頻幀的參考視差、立體視頻段的視頻幀的參考視差的百分比、第一觀看舒適度影響因子、第二觀看舒適度影響因子等參數(shù)的計(jì)算方法，同前所述，在此不再重復(fù)。

結(jié)合上述裝置的第九種或第十種可能的實(shí)現(xiàn)方式，在第十一種可能的實(shí)現(xiàn)方式中，處理器603具體用于：根據(jù)公式(9)計(jì)算所立體視頻段的的觀看舒適度。公式(9)表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置的第九種至第十一種可能的實(shí)現(xiàn)方式中的任意一種可能的實(shí)現(xiàn)方式，在第十二種可能的實(shí)現(xiàn)方式中，處理器603可根據(jù)公式(10)計(jì)算所述立體視頻段的觀看舒適度。公式(10)表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置或者上述裝置的第一種至第十二種可能的實(shí)現(xiàn)方式中的任意一種可能的實(shí)現(xiàn)方式，在第十三種可能的實(shí)現(xiàn)方式中，處理器603可根據(jù)所述立體視頻段的視頻幀的空域特性，計(jì)算所述立體視頻段的空域特性，根據(jù)所述立體視頻段的視頻幀的時(shí)域特性，計(jì)算所述立體視頻段的時(shí)域特性，根據(jù)所述立體視頻段的空域特性和時(shí)域特性，計(jì)算所述立體視頻段的觀看舒適度。

結(jié)合上述裝置的第十三種可能的實(shí)現(xiàn)方式，在第十四種可能的實(shí)現(xiàn)方式中，所述立體視頻段的視頻幀的空域特性包括以下參數(shù)之一或任意組合：所述立體視頻段的視頻幀的參考視差，參考視差的百分比和第一觀看舒適度影響因子，這些參數(shù)的具體計(jì)算方法同前所述，在此不再重復(fù)。相應(yīng)的，處理器603可根據(jù)公式(11)計(jì)算所述立體視頻段中所有視頻幀的參考視差的加權(quán)平均值，根據(jù)公式(12)計(jì)算所述立體視頻段內(nèi)所有視頻幀的第一觀看舒適度影響因子的平均值。公式(11)和公式(12)表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置的第十三種或第十四種可能的實(shí)現(xiàn)方式，在第十五種可能的實(shí)現(xiàn)方式中，所述立體視頻段的視頻幀的時(shí)域特性包括：所述立體視頻段的視頻幀的第二觀看舒適度影響因子(具體計(jì)算方法同前所述，在此不再重復(fù))，處理器603可根據(jù)公式(13)計(jì)算所述立體視頻段的第二觀看舒適度影響因子。公式(13)表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

結(jié)合上述裝置的第十三種至第十五種可能的實(shí)現(xiàn)方式中的任意一種可能的實(shí)現(xiàn)方式，在第十六種可能的實(shí)現(xiàn)方式中，處理器603可根據(jù)公式(14)、公式(15)和公式(16)計(jì)算所述立體視頻段的觀看舒適度。公式(14)、公式(15)和公式(16)表達(dá)式以及相關(guān)參數(shù)的含義同前所述，在此不再重復(fù)。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器，使得通過該計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令可實(shí)現(xiàn)流程圖中的一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖的一個(gè)流程或多個(gè)流程和/或方框圖的一個(gè)方框或多個(gè)方框中指定的功能的步驟。

盡管已描述了本發(fā)明的可選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括可選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。

顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。