專利名稱：一種立體圖像的最小可察覺變化步長(zhǎng)的客觀分析方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種立體圖像視覺感知特性的測(cè)量與分析方法，尤其是涉及一種立體圖像的最小可察覺變化步長(zhǎng)的客觀分析方法。
背景技術(shù)：
與二維QD，Two Dimensional)視頻顯示相比，立體/三維(3D，Three Dimensional)視頻顯示與人的視覺更加匹配，它使人們?cè)谄聊簧嫌^看圖像時(shí)富有立體感和沉浸感。近年來，美、歐、日、韓等政府和企業(yè)紛紛投入巨資進(jìn)行立體電視/三維電視(3DTV， Three Dimensional Television)的研究和開發(fā)，包括美國(guó)國(guó)家自然科學(xué)基金會(huì)、美國(guó)海軍研究能源部、美國(guó)先進(jìn)的可視技術(shù)中心、歐盟第六框架協(xié)議的3DTV計(jì)劃、歐盟ATTEST計(jì)劃、 歐洲信息技術(shù)計(jì)劃、德聯(lián)邦政府教育研究科學(xué)技術(shù)部以及英國(guó)工程與自然科學(xué)研究委員會(huì)等，日本和韓國(guó)各自正在發(fā)展集獲取、編碼、傳輸以及立體顯示于一體的3DTV系統(tǒng)或具有立體視覺感的3D遠(yuǎn)程通信。國(guó)際標(biāo)準(zhǔn)組織IS0/IEC MPEG與ITU-T VCEG也開展了立體視頻壓縮應(yīng)用標(biāo)準(zhǔn)制定的相關(guān)工作?，F(xiàn)有的心理學(xué)研究結(jié)果表明，立體視覺中存在掩蔽效應(yīng)，即構(gòu)成立體圖像的兩個(gè)視點(diǎn)，質(zhì)量好的視點(diǎn)圖像的質(zhì)量對(duì)立體圖像的整體質(zhì)量的貢獻(xiàn)較大。因此，可以利用人類視覺系統(tǒng)的這一特性，通過對(duì)某一視點(diǎn)圖像保持其高質(zhì)量而適當(dāng)降低另一視點(diǎn)圖像質(zhì)量的方法，在保證立體圖像整體主觀質(zhì)量不受影響的情況下，充分去除視頻信號(hào)中的冗余，提高編碼效率。平面圖像的感知實(shí)驗(yàn)結(jié)果表明，人眼對(duì)圖像中變化較小的屬性或噪聲是不可感知的，除非該屬性或噪聲的變化強(qiáng)度超過某一閾值，該閾值就是最小可察覺變化步長(zhǎng) (JustNoticeable Difference, JND)，立體視覺同樣存在掩蔽效應(yīng)的閾值。目前主要通過主觀實(shí)驗(yàn)測(cè)定人眼可感知立體視覺變化時(shí)的最小可察覺變化步長(zhǎng)， 但是主觀實(shí)驗(yàn)容易受客觀條件、主觀情緒和觀察者自身?xiàng)l件等各種因素的影響，評(píng)價(jià)結(jié)果不夠穩(wěn)定，并且主觀實(shí)驗(yàn)非常耗時(shí)、成本非常高。由于人眼對(duì)不同立體圖像的立體視覺掩蔽效應(yīng)是不同的，其相應(yīng)的最小可察覺變化步長(zhǎng)可能也有所不同，因此，如何通過客觀方法來分析這個(gè)最小可察覺變化步長(zhǎng)是十分必要的。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種能夠很好地確定非對(duì)稱立體視頻編碼時(shí)右視點(diǎn)圖像的質(zhì)量相對(duì)左視點(diǎn)圖像的質(zhì)量可下降的最大變化范圍，通過降低右視點(diǎn)圖像的質(zhì)量來達(dá)到提高編碼壓縮效率的目的，同時(shí)利用立體視覺掩蔽效應(yīng)使觀察者不能感知到右視點(diǎn)圖像質(zhì)量的下降，能有效保證立體圖像的整體質(zhì)量的人眼最小可察覺變化步長(zhǎng)的客觀分析方法。本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為一種立體圖像的最小可察覺變化步長(zhǎng)的客觀分析方法，其特征在于包括以下步驟①令S g為原始的無失真的立體圖像，令為待評(píng)價(jià)的失真的立體圖像，將Stffg的左視點(diǎn)圖像記為L(zhǎng) g，將Stffg的右視點(diǎn)圖像記為Rwg，將的左視點(diǎn)圖像記為L(zhǎng)dis，將Sis 的右視點(diǎn)圖像記為I^dis ；②對(duì)L。rg、Rorg, Ldis和Iidis4幅圖像分別實(shí)施奇異值分解，分別得到L。rg、Rorg, Ldis和 Rdis4幅圖像各自對(duì)應(yīng)的奇異值矢量，將Ltffg的奇異值矢量記為Tt，將Rtffg的奇異值矢量記為^，將Ldis的奇異值矢量記為Il5，將Iidis的奇異值矢量記為TjL，其中，各個(gè)奇異值矢量的維數(shù)為m，m = min(M, N),min()為取最小值函數(shù)，M表示圖像的水平尺寸大小，N表示圖像的垂直尺寸大小；③計(jì)算Ltffg的奇異值矢量！；^與Ldis的奇異值矢量Ti的絕對(duì)差矢量，記為XS Xi = Kirg-Til，將浐作為L(zhǎng)dis的特征矢量，計(jì)算R g的奇異值矢量Τ:與Iidis的奇異值矢量
TjL的絕對(duì)差矢量，記為χκ，χΛ =I1^"TI|，將Xe作為的特征矢量，其中，“ 11 ”為取絕對(duì)值符號(hào)；④對(duì)Ldis的特征矢量X1和Iidis的特征矢量Xk進(jìn)行線性加權(quán)，得到的特征矢量， 記為X，X = IXSwkXk，其中，ι表示Ldis的權(quán)值比重，Wk表示Kdis的權(quán)值比重，= 1 ；⑤采用η幅無失真的立體圖像，建立其在H. 264編碼失真類型的不同失真程度下的失真立體圖像集合，該失真立體圖像集合包括多幅失真的立體圖像，利用主觀質(zhì)量評(píng)價(jià)方法分別獲取失真立體圖像集合中每幅失真的立體圖像的平均主觀評(píng)分差值，記為DM0S， DMOS = 100-M0S，其中，MOS 表示主觀評(píng)分均值，DMOS e
，η 彡 1 ；⑥采用與計(jì)算的特征矢量X相同的方法，分別計(jì)算失真立體圖像集合中每幅失真的立體圖像的不同權(quán)值比重組合的特征矢量，對(duì)于失真立體圖像集合中第i幅失真的立體圖像的第j種權(quán)值比重組合的特征矢量，將其記為Xi,」，其中，1 < I^n', 1 ^ j ^ m' ,η'表示失真立體圖像集合中包含的失真的立體圖像的幅數(shù)，m'表示所有權(quán)值比重組合的種數(shù)；⑦采用支持向量回歸對(duì)失真立體圖像集合中所有的失真的立體圖像的相同權(quán)值比重組合的特征矢量進(jìn)行訓(xùn)練，得到不同權(quán)值比重組合的支持向量回歸訓(xùn)練模型，對(duì)于第j 種權(quán)值比重組合的支持向量回歸訓(xùn)練模型，將其記為A(Xinp)，其中，為第j種權(quán)值比重組合的回歸函數(shù)的函數(shù)表示形式，Xinp表示支持向量回歸訓(xùn)練模型的輸入矢量；⑧從η幅無失真的立體圖像中任意選取一幅立體圖像，然后任取一個(gè)編碼量化參數(shù)對(duì)該立體圖像的左視點(diǎn)圖像進(jìn)行編碼，并采用多個(gè)不同的編碼量化參數(shù)對(duì)該立體圖像的右視點(diǎn)圖像進(jìn)行編碼，利用訓(xùn)練得到的支持向量回歸訓(xùn)練模型對(duì)由編碼得到的一幅左視點(diǎn)圖像和多幅右視點(diǎn)圖像構(gòu)成的多幅測(cè)試圖像進(jìn)行測(cè)試，計(jì)算得到人眼可感知立體視覺變化時(shí)測(cè)試圖像中的右視點(diǎn)圖像的最小可察覺變化步長(zhǎng)。所述的步驟②的具體過程為②-1、將尺寸大小為MXN的Ltffg表示為MXN維的二維矩陣，記為I二，通過奇異值分解將MXN維的二維矩陣I=表示為Itg =UtgStg0Cg)T，其中，U:表示MXM維的正交矩陣，Vt^表示NXN維的正交矩陣，(V:g)T表示的轉(zhuǎn)置矩陣，8=表示MXN維的對(duì)角矩陣；②-2、將MXN維的對(duì)角矩陣8二的對(duì)角元素作為MXN維的二維矩陣I二的奇異值， 從MXN維的二維矩陣1=的奇異值中取出m個(gè)非零的奇異值構(gòu)成L g的奇異值矢量，記為
7Torg，其中，m = min(M, N)，min()為取最小值函數(shù)；②-3、對(duì)R g、Ldis和Iidis采用與步驟②-1至②-2相同的操作，獲取tog、Ldis和Iidis 的奇異值矢量，分別記為
權(quán)利要求
1.一種立體圖像的最小可察覺變化步長(zhǎng)的客觀分析方法，其特征在于包括以下步驟①令S g為原始的無失真的立體圖像，令為待評(píng)價(jià)的失真的立體圖像，將S。rg的左視點(diǎn)圖像記為L(zhǎng) g，將S g的右視點(diǎn)圖像記為R g，將的左視點(diǎn)圖像記為L(zhǎng)dis，將的右視點(diǎn)圖像記為I^dis ；②對(duì)L g、R。rg、Ldis和Rdis4幅圖像分別實(shí)施奇異值分解，分別得到L g、R。rg、Ldis和Rdis4幅圖像各自對(duì)應(yīng)的奇異值矢量，將L。rgm奇異值矢量記，將R。rgm奇異值矢量記為！1。， 將Ldis的奇異值矢量記為Il5，將Iidis的奇異值矢量記為TjL，其中，各個(gè)奇異值矢量的維數(shù)為m，m = min(M, N)，min()為取最小值函數(shù)，M表示圖像的水平尺寸大小，N表示圖像的垂直尺寸大?。虎塾?jì)算L g的奇異值矢與Ldis的奇異值矢量Tl5的絕對(duì)差矢量，記為XS Xi = Krg-Til，將浐作為L(zhǎng)dis的特征矢量，計(jì)算R g的奇異值矢量Τ:與Iidis的奇異值矢量 TjL的絕對(duì)差矢量，記為xW =I1^-τΙ|，將Xe作為I^dis的特征矢量，其中，“ I I ”為取絕對(duì)值符號(hào)；④對(duì)Ldis的特征矢量X1和Iidis的特征矢量Xk進(jìn)行線性加權(quán)，得到的特征矢量，記為 X，X = IXSWkXk，其中，&表示Ldis的權(quán)值比重，wK表示Iidis的權(quán)值比重，= 1 ；⑤采用η幅無失真的立體圖像，建立其在H.264編碼失真類型的不同失真程度下的失真立體圖像集合，該失真立體圖像集合包括多幅失真的立體圖像，利用主觀質(zhì)量評(píng)價(jià)方法分別獲取失真立體圖像集合中每幅失真的立體圖像的平均主觀評(píng)分差值，記為DMOS，DMOS =100-M0S，其中，MOS表示主觀評(píng)分均值，DMOS e
，η彡1 ；⑥采用與計(jì)算的特征矢量X相同的方法，分別計(jì)算失真立體圖像集合中每幅失真的立體圖像的不同權(quán)值比重組合的特征矢量，對(duì)于失真立體圖像集合中第i幅失真的立體圖像的第j種權(quán)值比重組合的特征矢量，將其記為&,」，其中，1 < i Sn' ,1 ^ j ^m'， η'表示失真立體圖像集合中包含的失真的立體圖像的幅數(shù)，m'表示所有權(quán)值比重組合的種數(shù)；⑦采用支持向量回歸對(duì)失真立體圖像集合中所有的失真的立體圖像的相同權(quán)值比重組合的特征矢量進(jìn)行訓(xùn)練，得到不同權(quán)值比重組合的支持向量回歸訓(xùn)練模型，對(duì)于第j種權(quán)值比重組合的支持向量回歸訓(xùn)練模型，將其記為。(Xinp)，其中，為第j種權(quán)值比重組合的回歸函數(shù)的函數(shù)表示形式，Xinp表示支持向量回歸訓(xùn)練模型的輸入矢量；⑧從η幅無失真的立體圖像中任意選取一幅立體圖像，然后任取一個(gè)編碼量化參數(shù)對(duì)該立體圖像的左視點(diǎn)圖像進(jìn)行編碼，并采用多個(gè)不同的編碼量化參數(shù)對(duì)該立體圖像的右視點(diǎn)圖像進(jìn)行編碼，利用訓(xùn)練得到的支持向量回歸訓(xùn)練模型對(duì)由編碼得到的一幅左視點(diǎn)圖像和多幅右視點(diǎn)圖像構(gòu)成的多幅測(cè)試圖像進(jìn)行測(cè)試，計(jì)算得到人眼可感知立體視覺變化時(shí)測(cè)試圖像中的右視點(diǎn)圖像的最小可察覺變化步長(zhǎng)。
2.根據(jù)權(quán)利要求1所述的一種立體圖像的最小可察覺變化步長(zhǎng)的客觀分析方法，其特征在于所述的步驟②的具體過程為②-1、將尺寸大小為MXN的L g表示為MXN維的二維矩陣，記為I二，通過奇異值分解將MXN維的二維矩陣表示為Itg =U二Stg(V^)T，其中，U二表示MXM維的正交矩陣，V:表示NXN維的正交矩陣，OCg)T表示的轉(zhuǎn)置矩陣，8=表示MXN維的對(duì)角矩陣；②-2、將MXN維的對(duì)角矩陣8二的對(duì)角元素作為MXN維的二維矩陣I二的奇異值，從 MXN維的二維矩陣1=的奇異值中取出m個(gè)非零的奇異值構(gòu)成L g的奇異值矢量，記為， 其中，111 = 1^11饑沁，1^11()為取最小值函數(shù)；②-3、對(duì)R g、Ldis和Iidis采用與步驟②-1至②-2相同的操作，獲取R g、Ldis和Iidis的奇異值矢量，分別記為
3.根據(jù)權(quán)利要求1或2所述的一種立體圖像的最小可察覺變化步長(zhǎng)的客觀分析方法， 其特征在于所述的步驟⑦的具體過程為⑦-1、將失真立體圖像集合中所有的失真的立體圖像的相同權(quán)值比重組合的特征矢量和平均主觀評(píng)分差值作為訓(xùn)練樣本數(shù)據(jù)集合，將第j種權(quán)值比重組合的訓(xùn)練樣本數(shù)據(jù)集合記為Ω。，{xkj J, DMOSJ e Ω。，其中，1彡j彡m' , m'表示所有權(quán)值比重組合的種數(shù)，q 表示第j種權(quán)值比重組合的訓(xùn)練樣本數(shù)據(jù)集合Ω +」中包含的失真的立體圖像的幅數(shù)，Xk, j 表示第j種權(quán)值比重組合的訓(xùn)練樣本數(shù)據(jù)集合Ω q,j中第k幅失真的立體圖像的特征矢量， DMOSk表示第j種權(quán)值比重組合的訓(xùn)練樣本數(shù)據(jù)集合Ω q,j中第k幅失真的立體圖像的平均主觀評(píng)分差值，l^k^q；⑦-2、構(gòu)造)(k,」的回歸函數(shù)fj (Xk, j)，f, (Xij ) = WXXij ) + 6，其中，fj ()為第j種權(quán)值比重組合的回歸函數(shù)的函數(shù)表示形式，w為權(quán)重矢量，Wt為w的轉(zhuǎn)置矩陣，b為偏置項(xiàng)， 樹Xu)表示第j種權(quán)值比重組合的訓(xùn)練樣本數(shù)據(jù)集合Ω。中第k幅失真的立體圖像的特征矢量)^.的線性函數(shù)
4.根據(jù)權(quán)利要求3所述的一種立體圖像的最小可察覺變化步長(zhǎng)的客觀分析方法，其特征在于所述的步驟⑧的具體過程為⑧-1、從η幅無失真的立體圖像中任意選取一幅立體圖像，任取一個(gè)編碼量化參數(shù)作為該立體圖像的左視點(diǎn)圖像的基本編碼量化參數(shù)，記為QPl，將采用QPL對(duì)該立體圖像的左視點(diǎn)圖像進(jìn)行編碼得到的左視點(diǎn)圖像定義為A質(zhì)量點(diǎn)的左視點(diǎn)圖像，記為L(zhǎng)a ；⑧_2、獲取五個(gè)值大于等于Qh且值各不相同的編碼量化參數(shù)作為該立體圖像的右視點(diǎn)圖像的基本編碼量化參數(shù)，采用這五個(gè)基本編碼量化參數(shù)分別對(duì)該立體圖像的右視點(diǎn)圖像進(jìn)行編碼，獲得五幅質(zhì)量各不相同的右視點(diǎn)圖像，分別定義為A質(zhì)量點(diǎn)的右視點(diǎn)圖像、B 質(zhì)量點(diǎn)的右視點(diǎn)圖像、C質(zhì)量點(diǎn)的右視點(diǎn)圖像、D質(zhì)量點(diǎn)的右視點(diǎn)圖像、E質(zhì)量點(diǎn)的右視點(diǎn)圖像，分別記為Ra、Rb、Rc> Rd、Re，其中，將A質(zhì)量點(diǎn)的右視點(diǎn)圖像&編碼時(shí)采用的基本編碼量化參數(shù)記為QPea,將B質(zhì)量點(diǎn)的右視點(diǎn)圖像&編碼時(shí)采用的基本編碼量化參數(shù)記為QPkb,將 C質(zhì)量點(diǎn)的右視點(diǎn)圖像&編碼時(shí)采用的基本編碼量化參數(shù)記為QPK，將D質(zhì)量點(diǎn)的右視點(diǎn)圖像Rd編碼時(shí)采用的基本編碼量化參數(shù)記為QPkd,將E質(zhì)量點(diǎn)的右視點(diǎn)圖像&編碼時(shí)采用的基本編碼量化參數(shù)記為QPke ；⑧-3、將A質(zhì)量點(diǎn)的左視點(diǎn)圖像La和A質(zhì)量點(diǎn)的右視點(diǎn)圖像&構(gòu)成的立體圖像作為第1幅測(cè)試圖像，并記為Saa ；將A質(zhì)量點(diǎn)的左視點(diǎn)圖像La* B質(zhì)量點(diǎn)的右視點(diǎn)圖像&構(gòu)成的立體圖像作為第2幅測(cè)試圖像，并記為；將A質(zhì)量點(diǎn)的左視點(diǎn)圖像La和C質(zhì)量點(diǎn)的右視點(diǎn)圖像&構(gòu)成的立體圖像作為第3幅測(cè)試圖像，并記為^ ；將A質(zhì)量點(diǎn)的左視點(diǎn)圖像La 和D質(zhì)量點(diǎn)的右視點(diǎn)圖像Rd構(gòu)成的立體圖像作為第4幅測(cè)試圖像，并記為Sjw ；將A質(zhì)量點(diǎn)的左視點(diǎn)圖像La和E質(zhì)量點(diǎn)的右視點(diǎn)圖像&構(gòu)成的立體圖像作為第5幅測(cè)試圖像，并記為 Sae ；⑧-4、采用與計(jì)算的特征矢量X相同的方法，計(jì)算Saa采用不同權(quán)值比重組合的特征矢量，將Saa采用第j種權(quán)值比重組合的特征矢量記為XA,j，其中，1彡j彡m' , m'表示所有權(quán)值比重組合的種數(shù)；⑧-5、根據(jù)支持向量回歸訓(xùn)練模型，預(yù)測(cè)Saa采用所有不同權(quán)值比重組合的特征矢量的客觀質(zhì)量評(píng)價(jià)預(yù)測(cè)值，對(duì)于Saa采用第j種權(quán)值比重組合的特征矢量)(&.，將Xiu作為第j種權(quán)值比重組合的支持向量回歸訓(xùn)練模型的輸入矢量，預(yù)測(cè)得到的客觀質(zhì)量評(píng)價(jià)預(yù)測(cè)值， 記為Q」，07 =//Χ々)，/(X々)= (w_)>(X々)+ F'，其中，w。pt為最優(yōu)的權(quán)重矢量，(wopt)t^ Wopt的轉(zhuǎn)置矩陣，bopt為最優(yōu)的偏置項(xiàng)，樹表示的線性函數(shù)；⑧-6、將Saa采用所有不同權(quán)值比重組合的特征矢量的客觀質(zhì)量評(píng)價(jià)預(yù)測(cè)值的平均值m'作為Saa的客觀評(píng)價(jià)值，記為korq，ScoreA =Y4QjIm'-,；=1⑧-7、采用與步驟⑧-4至⑧-6相同的操作，獲得^、Sac, ^和^的客觀評(píng)價(jià)值，分另1Ji己為 ScoreB、Score。、Scorec 禾口 ScoreE ；⑧_8、計(jì)算SAA、SAB、SAC. Sad和^的客觀分值，分別記為
5.根據(jù)權(quán)利要求4所述的一種立體圖像的最小可察覺變化步長(zhǎng)的客觀分析方法，其特征在于所述的步驟⑥中在計(jì)算失真的立體圖像的不同權(quán)值比重組合的特征矢量的過程中， 將第 j 種權(quán)值比重組合記為(Wl' ,We' ),we' =w0+(j-l)XAw,wL' = I-We'，其中，ι' 表示失真的立體圖像的左視點(diǎn)圖像的權(quán)值比重，We'表示失真的立體圖像的右視點(diǎn)圖像的權(quán)值比重，W0 = 0. 55，Aw = 0. 05，1 ^ j ^ m' , m'表示所有權(quán)值比重組合的種數(shù)。
全文摘要
本發(fā)明公開了一種立體圖像的最小可察覺變化步長(zhǎng)的客觀分析方法，通過對(duì)失真立體圖像集合中的每幅失真的立體圖像采用不同的權(quán)值比重組合進(jìn)行訓(xùn)練，得到不同權(quán)值比重組合的支持向量回歸訓(xùn)練模型，利用訓(xùn)練得到的支持向量回歸模型對(duì)任意測(cè)試圖像進(jìn)行測(cè)試，在左視點(diǎn)圖像質(zhì)量固定不變的情況下，測(cè)定人眼可感知立體圖像質(zhì)量變化時(shí)右視點(diǎn)圖像質(zhì)量的臨界質(zhì)量點(diǎn)，從而確定對(duì)立體圖像進(jìn)行編碼時(shí)右視點(diǎn)圖像質(zhì)量相對(duì)左視點(diǎn)圖像質(zhì)量可下降的最大變化范圍，既能通過降低右視點(diǎn)圖像質(zhì)量來達(dá)到提高編碼效率的目的，又能利用立體視覺掩蔽效應(yīng)使觀察者不能感知到右視點(diǎn)圖像質(zhì)量下降的事實(shí)，從而保證了立體圖像的整體質(zhì)量。
文檔編號(hào)H04N17/00GK102271279SQ20111020650
公開日2011年12月7日 申請(qǐng)日期2011年7月22日 優(yōu)先權(quán)日2011年7月22日
發(fā)明者蔣剛毅, 邵楓, 郁梅 申請(qǐng)人:寧波大學(xué)