基于圖像特征信息的半?yún)⒖家曨lQoE客觀評估方法
【專利摘要】本發(fā)明公開基于圖像特征信息的半?yún)⒖家曨lQoE客觀評估方法，該方法包括：運營商端提取原始視頻中每一幀圖像的顯著性信息圖及紋理信息圖，壓縮處理顯著性信息圖和紋理信息圖，得到原始視頻的半?yún)⒖紨?shù)據(jù)；用戶端接收運營商端傳來的原始視頻的半?yún)⒖紨?shù)據(jù)及受損視頻，提取受損視頻中每一幀圖像的顯著性信息圖及紋理信息圖，得到受損視頻的半?yún)⒖紨?shù)據(jù)，根據(jù)原始視頻及受損視頻的半?yún)⒖紨?shù)據(jù)，計算受損視頻的損傷情況，使用預先訓練好的神經(jīng)網(wǎng)絡(luò)算法對主觀感受質(zhì)量MOS進行評估。
【專利說明】基于圖像特征信息的半?yún)⒖家曨lQoE客觀評估方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信【技術(shù)領(lǐng)域】，具體涉及基于圖像特征信息的半?yún)⒖家曨lQoE客觀評估方法。
【背景技術(shù)】
[0002]隨著無線網(wǎng)絡(luò)和高速寬帶接入的普及，實時視頻服務(wù)正經(jīng)歷著快速的發(fā)展。QoE(Quality of Experience)類指標能反映實時視頻業(yè)務(wù)的服務(wù)質(zhì)量,實時視頻業(yè)務(wù)的QoE質(zhì)量評估的客觀方法(也稱為QoE客觀評估方法)為根據(jù)特定的客觀業(yè)務(wù)質(zhì)量指標對主觀評分進行評估，QoE客觀評估方法又可以根據(jù)對原始視頻數(shù)據(jù)的使用情況分為三類，分別是全參考(需要全部的原始數(shù)據(jù))、半?yún)⒖?需要部分原始數(shù)據(jù))和無參考(不需要原始數(shù)據(jù))。
[0003]現(xiàn)有的Q0E客觀評估方法多數(shù)為全參考或無參考方法，全參考方法能得到最準確的評估結(jié)果，但難以應(yīng)用；無參考方法易于部署，但通常僅適用于特定的損傷場景；半?yún)⒖挤椒m然能在兩者間取得較好權(quán)衡，但缺少成熟的方案。
[0004]現(xiàn)有技術(shù)存在的問題是:無論全參考方法還是無參考方法在實用性上都存在局限性，并且現(xiàn)有技術(shù)沒有對評估準確性進行測試的橫向比較結(jié)果。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問題現(xiàn)有技術(shù)在實用性上存在局限性，并且沒有對評估準確性進行測試的橫向比較結(jié)果。
[0006]為此目的，本發(fā)明提出基于圖像特征信息的半?yún)⒖家曨lQoE客觀評估方法，該方法包括:
[0007]運營商端提取原始視頻中每一幀圖像的顯著性信息圖及紋理信息圖，壓縮處理所述顯著性信息圖和紋理信息圖，得到原始視頻的半?yún)⒖紨?shù)據(jù)；
[0008]用戶端接收運營商端傳來的原始視頻的半?yún)⒖紨?shù)據(jù)及受損視頻，提取受損視頻中每一幀圖像的顯著性信息圖及紋理信息圖，得到受損視頻的半?yún)⒖紨?shù)據(jù)，根據(jù)原始視頻及受損視頻的半?yún)⒖紨?shù)據(jù)，計算受損視頻的損傷情況，使用預先訓練好的神經(jīng)網(wǎng)絡(luò)算法對主觀感受質(zhì)量MOS進行評估，其中，所述受損視頻為經(jīng)過有損信道傳輸?shù)倪\營商端的原始視頻。
[0009]其中，所述顯著性信息圖包括時域顯著性信息圖和空域顯著性信息圖。
[0010]其中，所述顯著性信息圖包括權(quán)重不同的強度分量、色彩分量、方向分量及皮膚色調(diào)分量。
[0011]其中，所述紋理信息圖包括時域紋理信息圖和空域紋理信息圖。
[0012]其中，所述每一幀圖像的紋理信息圖的提取包括:邊緣提取、形態(tài)學膨脹處理及加
置;
[0013]其中，所述邊緣提取包括:提取當前幀圖像的邊緣信息圖像；
[0014]所述形態(tài)學膨脹包括:將當前幀圖像的邊緣信息圖像進行形態(tài)學膨脹處理，得到處理后的邊緣信息圖像；
[0015]所述加疊包括:將處理后的邊緣信息圖像與當前幀圖像加疊，得到當前幀圖像的紋理/[目息圖。
[0016]其中，所述每一幀圖像的紋理信息圖包括:運營商端原始視頻中每一幀圖像的紋理信息圖、用戶端受損視頻中每一幀圖像的紋理信息圖。
[0017]其中，所述壓縮處理包括:
[0018]采用小波變換分解所述空域和時域兩方面的顯著性信息圖和紋理信息圖，得到不同高頻子帶；
[0019]作出所有高頻子帶的直方圖；
[0020]采用泛化高斯分布GGD擬合所有高頻子帶的直方圖并計算擬合誤差。
[0021]其中，所述半?yún)⒖紨?shù)據(jù)包括:顯著性信息空域損傷、顯著性信息時域損傷、紋理信息空域損傷及紋理信息時域損傷。
[0022]其中，所述根據(jù)原始視頻及受損視頻的半?yún)⒖紨?shù)據(jù)，計算受損視頻的損傷情況包括:根據(jù)原始視頻及受損視頻的半?yún)⒖紨?shù)據(jù)，通過相對熵計算受損視頻的損傷情況。
[0023]相比于現(xiàn)有技術(shù)，本發(fā)明提供的方法的有益效果是:本發(fā)明提供的實時視頻業(yè)務(wù)QoE客觀質(zhì)量評估方法對視頻損傷的類型不敏感，也即對不同原因?qū)е碌膿p傷視頻都能得到較為準確的評估結(jié)果；本發(fā)明對底層傳輸網(wǎng)絡(luò)不敏感，即可以用于多種實際場景(包括局域網(wǎng)、廣域網(wǎng)以及無線環(huán)境等等)下對實時視頻業(yè)務(wù)進行客觀質(zhì)量評估；本發(fā)明易于部署和實現(xiàn)，所有模塊功能均能在軟件層面實現(xiàn)，若存在特定需求，還可考慮以硬件方式實現(xiàn)以加快處理速度。
【專利附圖】

【附圖說明】
[0024]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0025]圖1示出了基于圖像特征信息的半?yún)⒖家曨lQoE客觀評估方法流程圖；
[0026]圖2示出了實施例2中對LVQ數(shù)據(jù)庫進行評估的結(jié)果圖。
【具體實施方式】
[0027]為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0028]實施例1:
[0029]本實施例公開一種基于圖像特征信息的半?yún)⒖家曨lQoE客觀評估方法，該方法包括:
[0030]運營商端提取原始視頻中每一幀圖像的顯著性信息圖及紋理信息圖，壓縮處理所述顯著性信息圖和紋理信息圖，得到原始視頻的半?yún)⒖紨?shù)據(jù)；[0031]用戶端接收運營商端傳來的原始視頻的半?yún)⒖紨?shù)據(jù)及受損視頻，提取受損視頻中每一幀圖像的顯著性信息圖及紋理信息圖，得到受損視頻的半?yún)⒖紨?shù)據(jù)，根據(jù)原始視頻及受損視頻的半?yún)⒖紨?shù)據(jù)，計算受損視頻的損傷情況，使用預先訓練好的神經(jīng)網(wǎng)絡(luò)算法對主觀感受質(zhì)量MOS進行評估，其中，所述受損視頻為經(jīng)過有損信道傳輸?shù)倪\營商端的原始視頻。
[0032]其中，所述顯著性信息圖包括時域顯著性信息圖和空域顯著性信息圖。
[0033]其中，所述顯著性信息圖包括權(quán)重不同的強度分量、色彩分量、方向分量及皮膚色調(diào)分量，其中，對皮膚色調(diào)分量權(quán)重設(shè)為2，其余分量權(quán)重為1，也可根據(jù)實際進行調(diào)整。
[0034]其中，所述紋理信息圖包括時域紋理信息圖和空域紋理信息圖。
[0035]其中，所述每一幀圖像的紋理信息圖的提取包括:邊緣提取、形態(tài)學膨脹處理及加
置;
[0036]其中，所述邊緣提取包括:提取當前幀圖像的邊緣信息圖像；
[0037]所述形態(tài)學膨脹包括:將當前幀圖像的邊緣信息圖像進行形態(tài)學膨脹處理，得到處理后的邊緣信息圖像；
[0038]所述加疊包括:將處理后的邊緣信息圖像與當前幀圖像加疊，得到當前幀圖像的紋理/[目息圖。
[0039]其中，所述每一幀圖像的紋理信息圖包括:運營商端原始視頻中每一幀圖像的紋理信息圖、用戶端受損視頻中每一幀圖像的紋理信息圖。
[0040]在運營商端，所述壓縮處理包括:
[0041]采用小波變換分解所述空域和時域兩方面的顯著性信息圖和紋理信息圖，得到不同高頻子帶；
[0042]作出所有高頻子帶的直方圖；
[0043]采用泛化高斯分布GGD擬合所有高頻子帶的直方圖并計算擬合誤差。
[0044]其中，所述半?yún)⒖紨?shù)據(jù)包括:顯著性信息空域損傷、顯著性信息時域損傷、紋理信息空域損傷及紋理信息時域損傷。
[0045]其中，所述根據(jù)原始視頻及受損視頻的半?yún)⒖紨?shù)據(jù)，計算受損視頻的損傷情況包括:根據(jù)原始視頻及受損視頻的半?yún)⒖紨?shù)據(jù)，通過相對熵計算受損視頻的損傷情況。
[0046]實施例2:
[0047]本實施例公開一種基于圖像特征信息的半?yún)⒖家曨lQoE客觀評估方法，如圖1所示，本發(fā)明對實時視頻業(yè)務(wù)進行半?yún)⒖糛oE客觀質(zhì)量評估的方法主要分為11個步驟，可劃分為運營商端和用戶端兩個部分，其中運營商端包含5步，用戶端包含6步。其總體流程圖如圖1所示，下面分別介紹每個步驟。
[0048]運營商端:
[0049]101)對原始視頻中的每一幀分別提取其顯著性信息。顯著性描述的是一副圖像中相對更吸引人注意力的區(qū)域。首先，分別從強度、色彩、方向以及皮膚色調(diào)4方面構(gòu)建了顯著性分量，再按照不同權(quán)重將4個分量合并成一副顯著性圖。其中，計算皮膚色調(diào)的顯著性分量前需要應(yīng)用人臉識別技術(shù)來檢測是否真正存在人像。得到的顯著性圖為原圖中每一個像素分配了一個顯著性值，值越高表示該像素所在區(qū)域越吸引人眼注意力。
[0050]下面描述具體的計算過程。首先，對于輸入的每一幀圖像建立尺度數(shù)為9的高斯金字塔(Gaussian pyramids),并設(shè)其中的中央尺度ce{2,3,4},周邊尺度s=c+ δ，其中δ e {3,4} 0定義對兩幅不同尺度圖像間的差值運算“Θ”為:對粗尺度圖向細尺度插值后進行逐像素相減。設(shè)r、g和b分別為原圖像的三原色分量，則強度圖像I即為I=(r+g+b)/3o 另外，定義寬調(diào)諧顏色信道 R=r-(g+b)/2, G=g-(r+b)/2, B=b_(r+g)/2,以及Y=(r+g)/2-|r-g|/2-b。以上的1、R、G、B和Y都是針對多尺度的。下面，定義強度特征圖
像為:
[0051]
【權(quán)利要求】
1.基于圖像特征信息的半?yún)⒖家曨lQoE客觀評估方法，其特征在于，該方法包括: 運營商端提取原始視頻中每一幀圖像的顯著性信息圖及紋理信息圖，壓縮處理所述顯著性信息圖和紋理信息圖，得到原始視頻的半?yún)⒖紨?shù)據(jù)； 用戶端接收運營商端傳來的原始視頻的半?yún)⒖紨?shù)據(jù)及受損視頻，提取受損視頻中每一幀圖像的顯著性信息圖及紋理信息圖，得到受損視頻的半?yún)⒖紨?shù)據(jù)，根據(jù)原始視頻及受損視頻的半?yún)⒖紨?shù)據(jù)，計算受損視頻的損傷情況，使用預先訓練好的神經(jīng)網(wǎng)絡(luò)算法對主觀感受質(zhì)量MOS進行評估，其中，所述受損視頻為經(jīng)過有損信道傳輸?shù)倪\營商端的原始視頻。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述顯著性信息圖包括時域顯著性信息圖和空域顯著性信息圖。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述顯著性信息圖包括權(quán)重不同的強度分量、色彩分量、方向分量及皮膚色調(diào)分量。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述紋理信息圖包括時域紋理信息圖和空域紋理信息圖。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述每一幀圖像的紋理信息圖的提取包括:邊緣提取、形態(tài)學膨脹處理及加疊； 其中，所述邊緣提取包括:提取當前幀圖像的邊緣信息圖像； 所述形態(tài)學膨脹包括:將當前幀圖像的邊緣信息圖像進行形態(tài)學膨脹處理，得到處理后的邊緣信息圖像； 所述加疊包括:將處理后的邊緣信息圖像與當前幀圖像加疊，得到當前幀圖像的紋理信息圖。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述每一幀圖像的紋理信息圖包括:運營商端原始視頻中每一幀圖像的紋理信息圖、用戶端受損視頻中每一幀圖像的紋理信息圖。
7.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述壓縮處理包括: 采用小波變換分解所述空域和時域兩方面的顯著性信息圖和紋理信息圖，得到不同高頻子帶； 作出所有高頻子帶的直方圖； 采用泛化高斯分布GGD擬合所有高頻子帶的直方圖并計算擬合誤差。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述半?yún)⒖紨?shù)據(jù)包括:顯著性信息空域損傷、顯著性信息時域損傷、紋理信息空域損傷及紋理信息時域損傷。
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)原始視頻及受損視頻的半?yún)⒖紨?shù)據(jù)，計算受損視頻的損傷情況包括:根據(jù)原始視頻及受損視頻的半?yún)⒖紨?shù)據(jù)，通過相對熵計算受損視頻的損傷情況。
【文檔編號】H04N17/00GK103841410SQ201410079834
【公開日】2014年6月4日 申請日期:2014年3月5日 優(yōu)先權(quán)日:2014年3月5日
【發(fā)明者】李文璟, 喻鵬, 羅千, 耿楊, 嵇華 申請人:北京郵電大學