基于中央偏移的立體圖像質(zhì)量評(píng)價(jià)方法
【專利摘要】本發(fā)明屬于圖像處理領(lǐng)域，為使客觀評(píng)價(jià)的結(jié)果與主觀評(píng)測(cè)的一致性更高，為立體圖像質(zhì)量評(píng)價(jià)提供一個(gè)新的思路。本發(fā)明基于中央偏移的立體圖像質(zhì)量評(píng)價(jià)方法,步驟如下:1)采用結(jié)構(gòu)相似度算法SSIM，計(jì)算參考右圖像和右圖像的亮度、對(duì)比度和結(jié)構(gòu)的比較函數(shù)，將從而得出SSIM的圖像質(zhì)量權(quán)值矩陣，再通過最近鄰域插值算法將圖像質(zhì)量權(quán)值矩陣放大到與原圖像大小相同；2)根據(jù)中央偏移特性對(duì)SSIM圖像質(zhì)量矩陣進(jìn)行加權(quán)計(jì)算，得到右圖像的圖像質(zhì)量評(píng)價(jià)得分；3)然后再重復(fù)上述步驟，計(jì)算左視點(diǎn)的圖像質(zhì)量評(píng)價(jià)得分，將兩者加權(quán)平均得到立體圖像質(zhì)量客觀評(píng)價(jià)值。本發(fā)明主要應(yīng)用于圖像處理。
【專利說明】
基于中央偏移的立體圖像質(zhì)量評(píng)價(jià)方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理領(lǐng)域，涉及圖像質(zhì)量評(píng)價(jià)方法改進(jìn)優(yōu)化，尤其涉及一種基于 中央偏移的立體圖像質(zhì)量客觀評(píng)價(jià)方法。
【背景技術(shù)】
[0002] 從上世紀(jì)20年代的人類史上第一部立體電影《愛的力量》問世，到2012年3D重制版 《泰坦尼克號(hào)》上映，3D立體電影憑借其優(yōu)秀的視覺感受，逼真的觀看體驗(yàn)，已經(jīng)獲得了越來 越多觀看者的青睞。立體顯示技術(shù)指的是通過光學(xué)等技術(shù)手段對(duì)人眼的立體視覺特性進(jìn)行 模擬，從而將空間物體的立體信息再現(xiàn)出來，生成具有深度特性立體圖像的顯示方式[1]。
[0003] 但是立體圖像由于拍攝時(shí)的噪音、圖像傳輸失真等問題，可能會(huì)引起左右兩幅圖 像的質(zhì)量有所差異，而這種差異可能會(huì)導(dǎo)致觀看者的不適。因此，對(duì)立體圖像的質(zhì)量進(jìn)行評(píng) 價(jià)對(duì)立體圖像的發(fā)展有著至關(guān)重要的作用。雖然立體圖像主觀評(píng)測(cè)能非常正確的反映出圖 像的質(zhì)量，但是主觀評(píng)測(cè)費(fèi)時(shí)費(fèi)力，對(duì)于大量的圖像和圖片，對(duì)每幅圖像進(jìn)行評(píng)價(jià)很難實(shí) 現(xiàn)。因此，合理的提出一種立體圖像的客觀評(píng)價(jià)方法具有非常大的意義。
[0004] 立體圖像的客觀評(píng)價(jià)方法根據(jù)立體圖像自身的特征信息，利用數(shù)學(xué)公式或通過構(gòu) 建數(shù)學(xué)模型，使用計(jì)算機(jī)對(duì)立體圖像進(jìn)行分析，從而計(jì)算出代表著立體圖像質(zhì)量的分?jǐn)?shù)，用 以描述人類對(duì)于立體圖像的主觀感受。
[0005] 截止到現(xiàn)在，立體圖像質(zhì)量的客觀評(píng)價(jià)方法已有很多，他們從不同的方面對(duì)全參 考立體圖像質(zhì)量進(jìn)行評(píng)價(jià)，以下對(duì)現(xiàn)有的立體圖像質(zhì)量客觀評(píng)價(jià)方法進(jìn)行分析。
[0006] 文獻(xiàn)[2]在參考平面圖像質(zhì)量評(píng)價(jià)的基礎(chǔ)上，將工程學(xué)評(píng)價(jià)方法峰值信噪比與結(jié) 構(gòu)相似度相結(jié)合，使用兩種方法分別評(píng)價(jià)立體圖像左右視圖的質(zhì)量，然后通過四種不同的 方法計(jì)算得到絕對(duì)差值信息用于評(píng)價(jià)立體感，最后分別使用局部結(jié)合和全局結(jié)合的方法將 圖像質(zhì)量與立體感質(zhì)量整合為統(tǒng)一的立體圖像質(zhì)量指標(biāo)。最后將所得分?jǐn)?shù)取平均值，作為 評(píng)價(jià)立體圖像質(zhì)量的指標(biāo)。該文章還驗(yàn)證了單純的平面圖像客觀評(píng)價(jià)方法無法簡(jiǎn)單地適用 立體圖像質(zhì)量評(píng)價(jià)，在立體圖像質(zhì)量評(píng)價(jià)過程中需要考慮立體感的因素。文獻(xiàn)[3]提出了一 種雙目感知質(zhì)量模型，首先基于雙目不對(duì)稱性分割立體圖像，然后對(duì)不同區(qū)域設(shè)置不同的 感知權(quán)重，最后計(jì)算立體圖像質(zhì)量，該文獻(xiàn)證明了結(jié)合雙目視覺不對(duì)稱性可以提高立體圖 像客觀評(píng)價(jià)準(zhǔn)確性。文獻(xiàn)[4]認(rèn)為，人眼視覺系統(tǒng)對(duì)立體圖像的邊緣信息極其敏感，因此其 考慮通過邊緣信息對(duì)經(jīng)典結(jié)構(gòu)相似度指標(biāo)加以改進(jìn)，提出了一種基于邊緣的結(jié)構(gòu)相似度評(píng) 價(jià)方法，使用該方法評(píng)價(jià)立體圖像左右視圖質(zhì)量。然后作者通過基于自適應(yīng)權(quán)重匹配算法 計(jì)算左右視圖的視差圖，通過判斷失真圖像視差圖與參考圖像視差圖的差異計(jì)算立體圖像 的立體感指標(biāo)。最后將左右視圖質(zhì)量與立體感質(zhì)量進(jìn)行擬合，得到評(píng)價(jià)立體圖像質(zhì)量的綜 合指標(biāo)。文獻(xiàn)[5 ]考慮HVS的生理特性和心理特性，提出了一個(gè)改進(jìn)的SS頂算法。
[0007] 隨著各領(lǐng)域?qū)VS特性認(rèn)識(shí)的不斷加深，客觀評(píng)價(jià)模型中融入更加復(fù)雜和高級(jí)的 人眼視覺特性成為了必然的發(fā)展方向。視覺顯著性作為一種人眼視覺系統(tǒng)高級(jí)特性，是指 人眼對(duì)圖像不同區(qū)域分配的注意力強(qiáng)度不同。文獻(xiàn)[6]通過將原始圖像的顯著圖加權(quán)圖像 的局部失真質(zhì)量圖，提高了評(píng)價(jià)算法的性能。通常情況下，圖像失真會(huì)影響顯著特征準(zhǔn)確提 取。文獻(xiàn)[6]假設(shè)原始圖像和失真圖像的顯著特征相似，其使用原始圖像的顯著圖對(duì)圖像質(zhì) 量進(jìn)行客觀評(píng)價(jià)，實(shí)驗(yàn)結(jié)果表明[6]，當(dāng)失真圖像質(zhì)量較高時(shí)，采用原始顯著圖進(jìn)行的失真圖 像質(zhì)量評(píng)價(jià)是有效的;然而，隨著失真圖像質(zhì)量的不斷降低，一些不容忽視的因素影響顯著 性檢測(cè)過程，從而造成原始圖像和失真圖像的顯著特征具有明顯的差異。因此，實(shí)驗(yàn)過程中 應(yīng)同時(shí)考慮原始和失真圖像的顯著特征更準(zhǔn)確地評(píng)價(jià)失真圖像的質(zhì)量。
[0008] 由于人類視覺系統(tǒng)對(duì)圖像的觀察是自下而上的，不能同時(shí)將整幅圖的內(nèi)容同時(shí)觀 察到，而是只關(guān)注圖像中最引人注意的地方，因此提出基于中央偏移的立體圖像質(zhì)量評(píng)價(jià) 方法具有很強(qiáng)的理論上的支持。

【發(fā)明內(nèi)容】

[0009] 為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在結(jié)合中央偏移特性對(duì)立體圖像質(zhì)量進(jìn)行客觀 評(píng)價(jià)。通過人眼觀察圖像時(shí)的中央偏移特性對(duì)立體圖像質(zhì)量客觀評(píng)價(jià)算法進(jìn)行優(yōu)化，使客 觀評(píng)價(jià)的結(jié)果與主觀評(píng)測(cè)的一致性更高，為立體圖像質(zhì)量評(píng)價(jià)提出了一個(gè)新的思路。本發(fā) 明采用的技術(shù)方案是，基于中央偏移的立體圖像質(zhì)量評(píng)價(jià)方法，步驟如下：
[0010] 1)采用結(jié)構(gòu)相似度算法SSIM，計(jì)算參考右圖像和右圖像的亮度、對(duì)比度和結(jié)構(gòu)的 比較函數(shù)，將從而得出SSM的圖像質(zhì)量權(quán)值矩陣，再通過最近鄰域插值算法將圖像質(zhì)量權(quán) 值矩陣放大到與原圖像大小相同；
[0011] 2)根據(jù)中央偏移特性對(duì)SS頂圖像質(zhì)量矩陣進(jìn)行加權(quán)計(jì)算，得到右圖像的圖像質(zhì)量 評(píng)價(jià)得分；
[0012] 3)然后再重復(fù)上述步驟，計(jì)算左視點(diǎn)的圖像質(zhì)量評(píng)價(jià)得分，將兩者加權(quán)平均得到 立體圖像質(zhì)量客觀評(píng)價(jià)值。
[0013] 采用結(jié)構(gòu)相似度算法，為防止出現(xiàn)塊效應(yīng)，使用MXM、標(biāo)準(zhǔn)差為1.5的高斯滑動(dòng)窗 口分別對(duì)原始立體圖像對(duì)的右視點(diǎn)和失真立體圖像對(duì)的右視點(diǎn)采樣獲取子圖像塊X，Y，計(jì) 算它們的亮度、結(jié)構(gòu)和對(duì)比度相似度；
[0020] 其中，&Χ2Χ3表示非常小的正常量，避免分母為零，且&=(1^) 2、(：2=(1^)2、(：3 =(&/2)2山、1?分別是[0，1]之間的常量;Xl，yi分別是圖像塊Χ，Υ中第i個(gè)像素點(diǎn)的值，μχ，μγ 分別為圖像塊Χ，Υ的均值，σχ，σγ分別為圖像塊Χ，Υ的方差，σχγ為圖像塊Χ，Υ的協(xié)方差，Ν是圖 像塊X或Υ的像素?cái)?shù)量，1 (X，Υ)，C(X，Υ)，s(X，Υ)分別為圖像塊X，Υ的亮度、對(duì)比度和結(jié)構(gòu)參數(shù) 矩陣；
[0021] 圖像塊的結(jié)構(gòu)相似度定義為：
[0022] SSIM(x,y) = (l(X,Y))T(c(X,Y))i!(s(X,Y))Y (7)
[0023]其中τ,β，γ為調(diào)節(jié)參數(shù)，取τ = β= γ =1，（1,7)為圖像的像素點(diǎn)，由式(7)計(jì)算滑 動(dòng)窗口內(nèi)的結(jié)構(gòu)相似度，SS頂(x，y)為滑動(dòng)窗口從圖像左上角至右下角后計(jì)算得出的結(jié)果， 其大小為（(W-IO)X(H-IO))，其中W和Η表示圖像的水平像素和垂直像素個(gè)數(shù);為進(jìn)而獲取 失真立體圖像對(duì)右視點(diǎn)的質(zhì)量矩陣Q R(x，y)，采用最近鄰域插值算法將SSIM(x，y)放大到與 原圖像大小相同。
[0024]最近鄰域插值算法是目標(biāo)像素點(diǎn)處的灰度值是，由該像素點(diǎn)周圍距離該像素點(diǎn)最 近的像素點(diǎn)的灰度值決定的，而其它所有的像素點(diǎn)對(duì)其沒有影響；
[0025] (i，j)、（ i，j+1)、（ i + 1，j)、（ i+Ι，j+Ι)分別是進(jìn)行插值前浮點(diǎn)坐標(biāo)（i+a，j+b) (i，j 分別表不坐標(biāo)的整數(shù)部分，a, b則分別表不坐標(biāo)的小數(shù)部分，且a e [0,1)，be[0 ,1))，的四 個(gè)鄰域，以1，」_)、汽1，」_+1)、以1+1，」_)、汽1+1，」_+1)分別是對(duì)應(yīng)像素點(diǎn)的灰度值4、8、(：、0分 別表示像素點(diǎn)汽1，」）、以1，」+1)、汽1+1，」）、以1+1，」+1)所構(gòu)成的區(qū)域的左上、右上、左下、 右下區(qū)域，最近鄰域差值算法就是確定上述四個(gè)點(diǎn)中距離目標(biāo)像素點(diǎn)（i+a，j+b)最近的點(diǎn)， 則其最近點(diǎn)的灰度值就是目標(biāo)像素點(diǎn)的灰度值，最近鄰域算法用以下公式表示：
[0026]
(8)
[0027]最后，使用上述的最近鄰域插值算法將由SS頂算法得到的失真立體圖像對(duì)右視點(diǎn) 的質(zhì)量矩陣SS頂(x，y)放大到原圖像大小，此時(shí)放大后的圖像即為右視點(diǎn)的質(zhì)量矩陣Qr(x， y)〇
[0028] 加權(quán)計(jì)算SSIM質(zhì)量矩陣
[0029] 采用SSIM算法計(jì)算失真右視點(diǎn)的質(zhì)量圖QR(x，y)，采用公式（10)得到失真右視點(diǎn) 的質(zhì)量客觀評(píng)價(jià)值Q r，采用同樣的方法得到失真左視點(diǎn)的質(zhì)量客觀評(píng)價(jià)值Qi，最后采用公式 (11 )，將兩者加權(quán)平均得到立體圖像質(zhì)量客觀評(píng)價(jià)值，
[0030]
[0031]具有各向異性的高斯核函數(shù)[11]模擬注意力由中央向四周擴(kuò)散的中央偏移(CB) 因子：
[0032]
(9)
[0033] 其中CB(x，y)表示像素點(diǎn)（x，y)對(duì)中心點(diǎn)（XQ，yQ)的偏移信息，（XQ， yQ)表示失真右 視點(diǎn)的中心點(diǎn)坐標(biāo)，（x，y)為像素點(diǎn)坐標(biāo)，Oh和σν分別表示圖像水平方向和垂直方向的標(biāo)準(zhǔn) 差，取〇 11=1/31，~=1/3!1，其中1和!1表示圖像的水平像素和垂直像素個(gè)數(shù)。
[0034] 立體圖像質(zhì)量客觀評(píng)價(jià)值:分別得到左視圖和右視圖的圖像質(zhì)量客觀評(píng)價(jià)值Qr和 Qi，然后通過加權(quán)計(jì)算可以得到立體圖像質(zhì)量客觀評(píng)價(jià)值：
[0035] Q = 0.5XQl+0.5XQr (11)。
[0036] 本發(fā)明的特點(diǎn)及有益效果是：
[0037]由實(shí)驗(yàn)結(jié)果及數(shù)據(jù)可以看出，CB-SSIM算法的PCC值均在0.80以上，RMSE值均在 0.64以下。與SS頂算法相比，引入中央偏移因子的CB-SS頂算法的各項(xiàng)性能指標(biāo)均有不同程 度的提高，說明中央偏移因子能夠提高立體圖像質(zhì)量客觀評(píng)價(jià)的性能;總體來說，針對(duì)不同 的失真類型，CB-SS頂算法的PCC、KR0CC和RMSE指標(biāo)均優(yōu)于SS頂，CB-SS頂算法的客觀評(píng)價(jià)值 與能在在一定的程度上提高立體圖像質(zhì)量客觀評(píng)價(jià)的準(zhǔn)確性。
【附圖說明】：
[0038] 圖1 CB-SS頂原理框圖。
[0039]圖2最近鄰域插值算法原理。
[0040] 圖3本算法所用的8幅標(biāo)準(zhǔn)立體圖像對(duì)。圖中：
[0041] (a)源圖像 Tree2 (b)源圖像"Family"
[0042] (c)源圖像"Girl" （d)源圖像"River"
[0043] (e)源圖像"Treel" （f)源圖像"Ox"
[0044] (g)源圖像"Tju" （h)源圖像"Woman"。
【具體實(shí)施方式】
[0045] 本發(fā)明提供了一種基于中央偏移特性的立體圖像質(zhì)量客觀評(píng)價(jià)方法，本發(fā)明根據(jù) 結(jié)構(gòu)相似度質(zhì)量權(quán)重矩陣和中央偏移特性，準(zhǔn)確有效地建立了反映主觀評(píng)價(jià)結(jié)果的立體圖 像質(zhì)量的客觀評(píng)價(jià)模型。
[0046] 下面以立體圖像的右視圖為例，基本步驟如下：
[0047] 1.通過采用Zhou Wang提出的結(jié)構(gòu)相似度算法SS頂[7]，計(jì)算參考右圖像和右圖像 的亮度、對(duì)比度和結(jié)構(gòu)的比較函數(shù)，將從而得出SSM的圖像質(zhì)量權(quán)值矩陣，再通過最近鄰域 插值算法將圖像質(zhì)量權(quán)值矩陣放大到與原圖像大小相同。
[0048] 2.根據(jù)中央偏移特性對(duì)SS頂圖像質(zhì)量矩陣進(jìn)行加權(quán)計(jì)算，得到右圖像的圖像質(zhì)量 評(píng)價(jià)得分。
[0049] 3.然后再重復(fù)上述步驟，計(jì)算左視點(diǎn)的圖像質(zhì)量評(píng)價(jià)得分，將兩者加權(quán)平均得到 立體圖像質(zhì)量客觀評(píng)價(jià)值。
[0050] 下面將對(duì)各個(gè)步驟進(jìn)行詳細(xì)的分析：
[0051] 1.1結(jié)構(gòu)相似度算法
[0052] 采用Zhou Wang提出的結(jié)構(gòu)相似度算法[1]。為防止出現(xiàn)塊效應(yīng)，使用MXM(M = 11)、標(biāo)準(zhǔn)差為1.5的高斯滑動(dòng)窗口分別對(duì)原始立體圖像對(duì)的右視點(diǎn)和失真立體圖像對(duì)的右 視點(diǎn)采樣獲取子圖像塊X和圖像塊Y，計(jì)算它們的亮度、結(jié)構(gòu)和對(duì)比度相似度。
[0059] 其中，&Χ2Χ3表示非常小的正常量，避免分母為零，且&=(1^) 2、(：2=(1^)2、(：3 =(&/2)2山、1?分別是[0，1]之間的常量;Xl，yi分別是圖像塊Χ，Υ中第i個(gè)像素點(diǎn)的值，μχ，μγ 分別為圖像塊Χ，γ的均值，σχ，σγ分別為圖像塊Χ，γ的方差，σχγ為圖像塊Χ，γ的協(xié)方差，Ν是圖 像塊X或Υ的像素?cái)?shù)量，1 (X，Υ)，C(X，Υ)，s(X，Υ)分別為圖像塊X，Υ的亮度、對(duì)比度和結(jié)構(gòu)參數(shù) 矩陣。
[0060] 圖像塊的結(jié)構(gòu)相似度定義為：
[0061] SSIM(x,y) = (l(X,Y))T(c(X,Y))i!(s(X,Y))Y (7)
[0062]其中τ,β，γ為調(diào)節(jié)參數(shù)，取τ = β= γ =1，（1,7)為圖像的像素點(diǎn)，由式(7)計(jì)算滑 動(dòng)窗口內(nèi)的結(jié)構(gòu)相似度，SS頂(x，y)為滑動(dòng)窗口從圖像左上角至右下角后計(jì)算得出的結(jié)果， 其大小為（(W-IO)X(H-IO))，其中W和Η表示圖像的水平像素和垂直像素個(gè)數(shù)。為進(jìn)而獲取 失真立體圖像對(duì)右視點(diǎn)的質(zhì)量矩陣Q R(x，y)，采用最近鄰域插值算法將SSIM(x，y)放大到與 原圖像大小相同。
[0063] 1.2最近鄰域插值算法
[0064] 最近鄰域插值算法[9]作為一種最簡(jiǎn)單的縮放算法，適合應(yīng)用于設(shè)計(jì)圖像縮放的 所有領(lǐng)域。其原理是目標(biāo)像素點(diǎn)處的灰度值是，由該像素點(diǎn)周圍距離該像素點(diǎn)最近的像素 點(diǎn)的灰度值決定的，而其它所有的像素點(diǎn)對(duì)其沒有影響。
[0065] 圖2中（1，」）、（1，」+1)、（1+1，」）、（1+1，」+1)分別是進(jìn)行插值前浮點(diǎn)坐標(biāo)（1+&，」+13) (1，」分別表示坐標(biāo)的整數(shù)部分^，13則分別表示坐標(biāo)得小數(shù)部分，且 &￡[0，1)，13￡[0，1))， 的四個(gè)鄰域，以1，」）、以1，」+1)、以1+1，」）4(1+1，」+1)分別是對(duì)應(yīng)像素點(diǎn)的灰度值<^、8、(：、 D分別表示像素點(diǎn)汽丨，」）?。ㄘ?，」+1)、汽丨+1，」）汀（丨+1，」+1)所構(gòu)成的區(qū)域的左上、右上、左 下、右下區(qū)域。最近鄰域差值算法就是確定上述四個(gè)點(diǎn)中距離目標(biāo)像素點(diǎn)（i+a，j+b)最近的 點(diǎn)，則其最近點(diǎn)的灰度值就是目標(biāo)像素點(diǎn)的灰度值。最近鄰域算法可以用以下公式表示：
[0066 (8)
[0067] 最后，使用上述的最近鄰域插值算法將由SS頂算法得到的失真立體圖像對(duì)右視點(diǎn) 的質(zhì)量矩陣SS頂(x，y)放大到原圖像大小，此時(shí)放大后的圖像即為右視點(diǎn)的質(zhì)量矩陣。
[0068] 2.1中央偏移特性
[0069]中央偏移(Center Bias，CB)特性，是指人眼在觀看圖像時(shí)總是傾向于從圖的中心 開始尋找視覺注視點(diǎn)，然后其注意力由中央向四周遞減[10]。也就是說，當(dāng)像素的坐標(biāo)位置 越處于圖像的中間位置，該像素越容易受到關(guān)注。本章采用具有各向異性的高斯核函數(shù)
[11]模擬注意力由中央向四周擴(kuò)散的中央偏移(CB)因子：
[0070]
(9).
[0071] 其中CB(x，y)表示像素點(diǎn)（x，y)對(duì)中心點(diǎn)（XQ，yQ)的偏移信息。（XQ， yQ)表示失真右 視點(diǎn)的中心點(diǎn)坐標(biāo)，（x，y)為像素點(diǎn)坐標(biāo)，〇h和〇v分別表示圖像水平方向和垂直方向的標(biāo)準(zhǔn) 差，根據(jù)文獻(xiàn)[11 ]取〇h= 1/3W, σν= 1/3Η，其中W和Η表示圖像的水平像素和垂直像素個(gè)數(shù)。 [0072] 2.2加權(quán)計(jì)算55]質(zhì)量矩陣
[0073]利用中央偏移模型，對(duì)距離圖像中心點(diǎn)較近的區(qū)域分配較高的權(quán)重，距離圖像中 心點(diǎn)較遠(yuǎn)的區(qū)域分配較低的權(quán)重。采用SSIM算法計(jì)算失真右視點(diǎn)的質(zhì)量圖QR(x，y)，采用公 式（10)得到失真右視點(diǎn)的質(zhì)量客觀評(píng)價(jià)值Q r。采用同樣的方法得到失真左視點(diǎn)的質(zhì)量客觀 評(píng)價(jià)值Qi，最后采用公式(11 )，將兩者加權(quán)平均得到立體圖像質(zhì)量客觀評(píng)價(jià)值。
[0074]
[0075] 3.立體圖像質(zhì)量客觀評(píng)價(jià)值
[0076]通過上述方法可以分別得到左視圖和右視圖的圖像質(zhì)量客觀評(píng)價(jià)值^和如，然后 通過加權(quán)計(jì)算可以得到立體圖像質(zhì)量客觀評(píng)價(jià)值：
[0077] Q = 0.5XQl+0.5XQr (11)
[0078] 表1本算法與SSIM算法的性能指標(biāo)
[0079]
[0080] 本設(shè)計(jì)所選取的立體圖像均來自寬帶無線通信與立體成像研究所圖像數(shù)據(jù)庫。從 立體圖像庫選取含有人物、遠(yuǎn)景、近景的"Tree2"、"Family"、"Girl"、"River"、"Treel"、 "Ox"、"Tju"、"Woman"共8幅未失真的標(biāo)準(zhǔn)立體圖像，其分辨率均為1280 X 1024。由于立體顯 示設(shè)備需要水平翻轉(zhuǎn)立體圖像對(duì)的右視點(diǎn)才能體現(xiàn)立體感，因此需要鏡像放置立體圖像對(duì) 的右視點(diǎn)圖。本數(shù)據(jù)庫里的立體圖像均按照國際電信聯(lián)盟（ITU)對(duì)立體圖像質(zhì)量的主觀評(píng) 價(jià)建議的兩個(gè)標(biāo)準(zhǔn):BT-500和BT. 1438-2000,將所有的立體圖像質(zhì)量分為5個(gè)等級(jí)：極好、 好、一般、差、非常差。
[0081] 為了真實(shí)模擬立體成像系統(tǒng)對(duì)立體圖像的失真以及驗(yàn)證本算法的普適性，實(shí)驗(yàn)對(duì) 8幅標(biāo)準(zhǔn)立體圖像對(duì)進(jìn)行JPEG壓縮失真、高斯模糊失真和高斯白噪失真處理，因此共得到 260幅失真立體圖像對(duì)。
[0082] 根據(jù)ITU-R BT.1438標(biāo)準(zhǔn)，在立體顯示設(shè)備"3D WIND0WS-19A0"上對(duì)所有失真立體 圖像對(duì)進(jìn)行主觀測(cè)試，觀看距離是立體顯示設(shè)備高度的6倍。根據(jù)所有測(cè)試者的測(cè)試分?jǐn)?shù)得 到平均意見值(Mean Opinion Score，M0S)。本文使用Min-Max歸一化方法對(duì)M0S值進(jìn)行歸一 化處理，并擴(kuò)展到范圍為[0,5]的值
[0083]
[0084]其中，i表示參考立體圖像的編號(hào)，本發(fā)明中ie[l，8]。針對(duì)某一類型的失真(例如 JPEG失真、尚斯_旲糊失真、尚斯白噪聲失真），si, j表不參考立體圖像i對(duì)應(yīng)的失真立體圖像 第j種失真程度的M0S值，πη,」表示nu.j經(jīng)過Min-Max歸一化后的值。Mim表示參考立體圖像在 某種類型失真情況下，不同失真強(qiáng)度的立體圖像的M0S值中最小的M0S值。同理，按照上述原 理歸一化客觀評(píng)價(jià)值。
[0085]為了衡量本章提出的客觀評(píng)價(jià)方法的實(shí)驗(yàn)結(jié)果與主觀評(píng)價(jià)結(jié)果的一致性，本文選 取皮爾遜相關(guān)系數(shù)(Pearson Correlation Coefficient，PCC)、肯德爾等級(jí)次序相關(guān)系數(shù) (Kendall Rank Order Correlation Coefficient，KR0CC)、及均方誤差（Root Mean Square Error，RMSE)三個(gè)標(biāo)準(zhǔn)來評(píng)價(jià)客觀算法的評(píng)價(jià)結(jié)果與主觀評(píng)價(jià)結(jié)果之間的一致性、 單調(diào)性和準(zhǔn)確性。Kendall相關(guān)系數(shù)主要是用來衡量客觀算法評(píng)價(jià)與主觀評(píng)價(jià)結(jié)果之間的 單調(diào)性，該指標(biāo)不是考慮評(píng)價(jià)分?jǐn)?shù)之間的相對(duì)距離，而衡量的是評(píng)價(jià)分?jǐn)?shù)之間的等級(jí)次序； Pearson相關(guān)系數(shù)權(quán)衡的是客觀評(píng)價(jià)分?jǐn)?shù)與M0S值彼此之間的相關(guān)性;RMSE值評(píng)價(jià)的是客觀 評(píng)價(jià)分?jǐn)?shù)與主觀評(píng)價(jià)結(jié)果之間的離散程度即準(zhǔn)確性。PCC和KR0CC的絕對(duì)值越接近1，RMSE的 值越接近0,說明客觀評(píng)價(jià)結(jié)果能夠有效的反映主觀評(píng)價(jià)結(jié)果。
[0086] 下面結(jié)合技術(shù)方案詳細(xì)說明本方法：
[0087] -、通過主觀測(cè)試獲取評(píng)價(jià)數(shù)據(jù)樣本，經(jīng)過反復(fù)試驗(yàn)選取訓(xùn)練樣本和測(cè)試樣本。 [0088]被試包括專業(yè)被試與非專業(yè)被試，均具有正常的視差立體感，共20名被試，分別為 在校研究生與本科生，男性11名，女性9名，從事立體信息處理研究的被試共16人，從事其他 方向研究的被試共4人。為了便于直觀理解本設(shè)計(jì)，提供了立體圖像質(zhì)量客觀評(píng)價(jià)框圖，如 圖1所示。
[0089]二、通過本文提出的算法對(duì)失真圖像與原始圖像進(jìn)行對(duì)比計(jì)算
[0090] 1.通過采用Zhou Wang提出的結(jié)構(gòu)相似度算法SSIM，計(jì)算參考右圖像和四診右圖 像的亮度、對(duì)比度和結(jié)構(gòu)的比較函數(shù)，將從而得出SS頂?shù)膱D像質(zhì)量權(quán)值矩陣，再通過最近鄰 域插值算法將圖像質(zhì)量權(quán)值矩陣放大到與原圖像大小相同。
[0091] 2.根據(jù)中央偏移特性對(duì)SS頂圖像質(zhì)量矩陣進(jìn)行加權(quán)計(jì)算，得到右圖像的圖像質(zhì)量 評(píng)價(jià)得分。
[0092] 3.然后再重復(fù)上述步驟，計(jì)算左視點(diǎn)的圖像質(zhì)量評(píng)價(jià)得分，將兩者加權(quán)平均得到 立體圖像質(zhì)量客觀評(píng)價(jià)值。
[0093]由表1的數(shù)據(jù)可以看出，CB-SSIM算法的PCC值均在0.80以上，RMSE值均在0.64以 下。與SS頂算法相比，引入中央偏移因子的CB-SS頂算法的各項(xiàng)性能指標(biāo)均有不同程度的提 高，說明中央偏移因子能夠提高立體圖像質(zhì)量客觀評(píng)價(jià)的性能;總體來說，針對(duì)不同的失真 類型，CB-SSIM算法的PCC、KR0CC和RMSE指標(biāo)均優(yōu)于SS頂，CB-SS頂算法的客觀評(píng)價(jià)值與能在 在一定的程度上提高立體圖像質(zhì)量客觀評(píng)價(jià)的準(zhǔn)確性。
[0094] 參考文獻(xiàn)
[0095] [1]王瓊?cè)A.3d顯示技術(shù)與器件[M].北京:科學(xué)出版社，2011，6~8.
[0096] [2]You J，Xing L,Perkis A,et al.Perceptual quality assessment for stereoscopic images based on2D image quality metrics and disparity analysis [C].Proc.of International Workshop on Video Processing and Quality Metrics for Consumer Electronics,Scottsdale,AZ，USA.2010.
[0097] [3]Jung Y J，Kim H G，Ro Y M.Critical binocular asymmetry measure for perceptual quality assessment of synthesized stereo 3D images in view synthesis[J].Circuits and Systems for Video Technology，IEEE Transactions on， 2015,99(3):1~14
[0098] [4]田浩南.基于邊緣和局部匹配的立體圖像質(zhì)量評(píng)價(jià)[D].天津:天津大學(xué)，2013.
[0099] [5]Shen L, Yang J,Zhang Z. Quality assessment of stereo images with stereo vision[C]. Image and Signal Processing,2009.CISPJ 09.2nd International Congress on.IEEE,2009:1-4.
[0100] [6]Barland R,Saadane A.Blind quality metric using a perceptual importance map for jpeg-20000compressed images[C]. Image Processing,2006IEEE International Conference on. IEEE,2006:2941-2944.
[0101] [7]Z.ffang,A.C.Bovik A,H.R.Sheikh,et al.Image Quality Assessment:From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing,Vo1.13,No.4,April 2004.
[0102] [8]Ciptadi A，Hermans T，Rehg J M.An in depth view of saliency[C].Eds: T.Burghardt,D.Damen,ff.Mayo1-Cuevas,M.Mirmehdi, In Proceedings of the British Machine Vision Conference(BMVC 2013).2013:9-13.
[0103] [9]林媛.圖像縮放算法及FPGA實(shí)現(xiàn)[D].廈門大學(xué)，2006.
[0104] [10]G.A.Ascoli,K.Svooboda,Y.Liu.Digital reconstruction of axonal and dendritic morphology DIADEM challenge?2010：http:.www.diademchallenge.org/
[0105] [ll]Lin Y，Tang Y Y，F(xiàn)ang B，et al .A visual-attention model using earth mover's distance-based saliency measurement and nonlinear feature combination [J].Pattern Analysis and Machine Intelligence，IEEE Transactions on,2013,35 (2):314-328.
【主權(quán)項(xiàng)】
1. 一種基于中央偏移的立體圖像質(zhì)量評(píng)價(jià)方法，其特征是，步驟如下： 1) 采用結(jié)構(gòu)相似度算法SSIM，計(jì)算參考右圖像和右圖像的亮度、對(duì)比度和結(jié)構(gòu)的比較 函數(shù)，將從而得出SSIM的圖像質(zhì)量權(quán)值矩陣，再通過最近鄰域插值算法將圖像質(zhì)量權(quán)值矩 陣放大到與原圖像大小相同； 2) 根據(jù)中央偏移特性對(duì)SSIM圖像質(zhì)量矩陣進(jìn)行加權(quán)計(jì)算，得到右圖像的圖像質(zhì)量評(píng)價(jià) 得分； 3) 然后再重復(fù)上述步驟，計(jì)算左視點(diǎn)的圖像質(zhì)量評(píng)價(jià)得分，將兩者加權(quán)平均得到立體 圖像質(zhì)量客觀評(píng)價(jià)值。2. 如權(quán)利要求1所述的基于中央偏移的立體圖像質(zhì)量評(píng)價(jià)方法，其特征是，采用結(jié)構(gòu)相 似度算法，為防止出現(xiàn)塊效應(yīng)，使用MXM、標(biāo)準(zhǔn)差為1.5的高斯滑動(dòng)窗口分別對(duì)原始立體圖 像對(duì)的右視點(diǎn)和失真立體圖像對(duì)的右視點(diǎn)采樣獲取子圖像塊Χ，Υ，計(jì)算它們的亮度、結(jié)構(gòu)和 對(duì)比度相似度：其中，Cl、C2、C3表示非常小的正常量，避免分母為零，且。=化止)2、C2=化2L)2、C3=(C2/ 2)2;ki、k2分別是[0，1]之間的常量;xi，yi分別是圖像塊Χ，Υ中第i個(gè)像素點(diǎn)的值，μχ,μγ分別 為圖像塊X，Υ的均值，οχ，0Υ分別為圖像塊X，Υ的方差，ΟΧΥ為圖像塊X，Υ的協(xié)方差，Ν是圖像塊X 或Υ的像素?cái)?shù)量，1^八），(3口，￥)，3^，￥)分別為圖像塊乂，￥的亮度、對(duì)比度和結(jié)構(gòu)參數(shù)矩陣； 圖像塊的結(jié)構(gòu)相似度定義為： SSIM(x，y) = (l(X，Y))T(c(X，Y))e(s(X，Y))Y (7) 其中τ，β，丫為調(diào)節(jié)參數(shù)，取τ=β= 丫 =l，（x，y)為圖像的像素點(diǎn)，由式(7)計(jì)算滑動(dòng)窗 口內(nèi)的結(jié)構(gòu)相似度，SSIM(x，y)為滑動(dòng)窗口從圖像左上角至右下角后計(jì)算得出的結(jié)果，其大 小為（(W-IO)X化-10))，其中W和Η表示圖像的水平像素和垂直像素個(gè)數(shù);為進(jìn)而獲取失真 立體圖像對(duì)右視點(diǎn)的質(zhì)量矩陣化(x，y)，采用最近鄰域插值算法將SSIM(x，y)放大到與原圖 像大小相同。3. 如權(quán)利要求1所述的基于中央偏移的立體圖像質(zhì)量評(píng)價(jià)方法，其特征是，最近鄰域插 值算法是目標(biāo)像素點(diǎn)處的灰度值是，由該像素點(diǎn)周圍距離該像素點(diǎn)最近的像素點(diǎn)的灰度值 決定的，而其它所有的像素點(diǎn)對(duì)其沒有影響； (i，j)、（ i，j+1)、（ i + 1，j)、（ i + 1，j+1)分別是進(jìn)行插值前浮點(diǎn)坐標(biāo)（i+a J+b) (i，j分別 表示坐標(biāo)的整數(shù)部分，a,b則分別表示坐標(biāo)的小數(shù)部分，且ae [0,1)，be [0,1))，的四個(gè)鄰 域，f(i，j)、f(i，j+l)、f(i+l，j)、f(i+l，j+l)分別是對(duì)應(yīng)像素點(diǎn)的灰度值，A、B、C、D分別表 示像素點(diǎn)f(i，j)、f(i，j+l)、f(i+l，j)、f(i+l，j+l)所構(gòu)成的區(qū)域的左上、右上、左下、右下 區(qū)域，最近鄰域差值算法就是確定上述四個(gè)點(diǎn)中距離目標(biāo)像素點(diǎn)（i+aj+b)最近的點(diǎn)，則其 最近點(diǎn)的灰度值就是目標(biāo)像素點(diǎn)的灰度值，最近鄰域算法用W下公式表示：做 最后，使用上述的最近鄰域插值算法將由SSIM算法得到的失真立體圖像對(duì)右視點(diǎn)的質(zhì) 量矩陣SSIM(x，y)放大到原圖像大小，此時(shí)放大后的圖像即為右視點(diǎn)的質(zhì)量矩陣化(x，y)。4. 如權(quán)利要求1所述的基于中央偏移的立體圖像質(zhì)量評(píng)價(jià)方法，其特征是，采用SSIM算 法計(jì)算失真右視點(diǎn)的質(zhì)量圖化(x，y)，采用公式（10)得到失真右視點(diǎn)的質(zhì)量客觀評(píng)價(jià)值電， 采用同樣的方法得到失真左視點(diǎn)的質(zhì)量客觀評(píng)價(jià)值化，最后采用公式（11)，將兩者加權(quán)平 均得到立體圖像質(zhì)量客觀評(píng)價(jià)值，具有各向異性的高斯核函數(shù)[11]模擬注意力由中央向四周擴(kuò)散的中央偏移(CB)因子：其中CB(x，y)表示像素點(diǎn)（x，y)對(duì)中屯、點(diǎn)(xo，yo)的偏移信息，（xo，yo)表示失真右視點(diǎn)的 中屯、點(diǎn)坐標(biāo)，（x，y)為像素點(diǎn)坐標(biāo)，Oh和Ον分別表示圖像水平方向和垂直方向的標(biāo)準(zhǔn)差，取Oh = 1/3W，〇v=1/3H，其中W和Η表示圖像的水平像素和垂直像素個(gè)數(shù)。5. 如權(quán)利要求1所述的基于中央偏移的立體圖像質(zhì)量評(píng)價(jià)方法，其特征是，立體圖像質(zhì) 量客觀評(píng)價(jià)值:分別得到左視圖和右視圖的圖像質(zhì)量客觀評(píng)價(jià)值Qr和化，然后通過加權(quán)計(jì)算 可W得到立體圖像質(zhì)量客觀評(píng)價(jià)值： Q = 0.5X 化+0.5X化（11)。
【文檔編號(hào)】G06T3/40GK105976351SQ201610202589
【公開日】2016年9月28日
【申請(qǐng)日】2016年3月31日
【發(fā)明人】李素梅, 朱兆琪, 徐姝寧, 侯春萍
【申請(qǐng)人】天津大學(xué)