專(zhuān)利名稱(chēng)：一種率失真優(yōu)化動(dòng)態(tài)調(diào)整的多視點(diǎn)視頻傳輸差錯(cuò)控制方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻編碼和處理領(lǐng)域，具體涉及多視點(diǎn)視頻壓縮編碼過(guò)程中差錯(cuò)控制 算法的研究。
背景技術(shù)：
傳統(tǒng)單視點(diǎn)視頻是由單個(gè)攝像機(jī)拍攝某一場(chǎng)景得到的視頻信號(hào)，攝像機(jī)的拍攝角 度在某一時(shí)刻是固定不變的。當(dāng)前各種單視點(diǎn)編碼技術(shù)的進(jìn)步雖然提高了視頻圖像的質(zhì) 量和編碼效率，但仍然沒(méi)有在根本上改變場(chǎng)景的平面描述形式。而多視點(diǎn)視頻則是由攝像 機(jī)陣列從不同角度拍攝同一場(chǎng)景得到的一組視頻信號(hào)，與單視點(diǎn)視頻相比，多視點(diǎn)視頻能 夠獲取場(chǎng)景的三維信息，從而更加生動(dòng)地再現(xiàn)立體場(chǎng)景?？梢灶A(yù)見(jiàn)，多視點(diǎn)視頻將在影視、 醫(yī)療、遠(yuǎn)程控制、虛擬現(xiàn)實(shí)等方面擁有廣闊的應(yīng)用前景。目前，多視點(diǎn)視頻編碼(Multiview Video Coding，MVC)已成為數(shù)字視頻技術(shù)中一個(gè)活躍的研究領(lǐng)域。目前，在MVC的編碼方案研究方面已經(jīng)取得了大量成果，產(chǎn)生了多種編碼結(jié)構(gòu)。 其中，德國(guó)Heinrich-Hertz-Institut (HHI)提出一種在視點(diǎn)內(nèi)和視點(diǎn)間方向上都引入 H. 264/AVC支持的分級(jí)B幀(Hierarchical B pictures)的MVC結(jié)構(gòu)。由于這種結(jié)構(gòu)能取 得較高的編碼效率，所以該結(jié)構(gòu)也被MPEG選為一種MVC的主要參考結(jié)構(gòu)，成為目前MVC的 主流結(jié)構(gòu)，獲得廣泛關(guān)注。其編碼框架圖如圖1所示。在圖1中，水平方向的Ttl-T16為時(shí)域順序，垂直方向的Vtl-V7為視點(diǎn)順序，視點(diǎn)Vtl 也稱(chēng)為基本視點(diǎn)。處于Ttl，T8，T16等時(shí)刻的幀稱(chēng)為關(guān)鍵幀(Key Picture)，其余幀稱(chēng)為非關(guān) 鍵幀(Nonkey Picture)。關(guān)鍵幀和其后緊隨的7個(gè)非關(guān)鍵幀構(gòu)成一個(gè)圖像組(Group Of Picture, GOP)。GOP的大小是可變的，可以在編碼過(guò)程中根據(jù)需要進(jìn)行調(diào)整。圖1的編碼結(jié)構(gòu)在關(guān)鍵幀處采用視點(diǎn)間預(yù)測(cè)來(lái)減少視點(diǎn)間的冗余，在非關(guān)鍵幀處 采用視點(diǎn)間預(yù)測(cè)和時(shí)域預(yù)測(cè)來(lái)減少時(shí)域冗余和視點(diǎn)間冗余。這種結(jié)構(gòu)充分地去掉了視點(diǎn)間 冗余和時(shí)/空冗余，具有較高的編碼效率，但編碼預(yù)測(cè)關(guān)系復(fù)雜，參考幀數(shù)目也比較多，抵 御傳輸差錯(cuò)能力十分脆弱。因此，在實(shí)際編碼過(guò)程中，不但需要較多的緩存用于存儲(chǔ)參考 幀，而且編碼的復(fù)雜度也隨參考幀數(shù)目的增加而增加。為了減低編碼復(fù)雜度和編碼緩存的 需求量，以圖1結(jié)構(gòu)為基礎(chǔ)，HHI提出了一種簡(jiǎn)化的MVC預(yù)測(cè)結(jié)構(gòu)KS_IPP，如圖2所示。KS_ IPP預(yù)測(cè)結(jié)構(gòu)僅在各個(gè)視點(diǎn)的關(guān)鍵幀位置保留了視點(diǎn)間預(yù)測(cè)，可以在編碼效率下降不大的 情況下大大降低整個(gè)結(jié)構(gòu)的復(fù)雜性，具有很強(qiáng)的實(shí)用性。雖然KS_IPP編碼結(jié)構(gòu)在編碼效率 和編碼復(fù)雜度之間取的了平衡，但是這種結(jié)構(gòu)依然降低了多視點(diǎn)視頻流的傳輸魯棒性，在 有損的傳輸環(huán)境中，絕大多數(shù)非關(guān)鍵幀傳輸出錯(cuò)，差錯(cuò)都會(huì)擴(kuò)散到該幀所在GOP的其它一 些幀當(dāng)中。更嚴(yán)重的是，一旦關(guān)鍵幀出現(xiàn)傳輸差錯(cuò)，差錯(cuò)不僅會(huì)在本視點(diǎn)的GOP中擴(kuò)散，而 且還會(huì)擴(kuò)散到其后的視點(diǎn)中，而從影響整個(gè)多視點(diǎn)圖像質(zhì)量。檢索了與本發(fā)明相關(guān)的專(zhuān)利文獻(xiàn) 其中文獻(xiàn)6為文獻(xiàn)1的同族專(zhuān)利。文獻(xiàn)1 (同文獻(xiàn)6)主要解決丟包環(huán)境下編碼模式選擇問(wèn)題，該方法通過(guò)編碼端獲 取當(dāng)前與解碼端間信道的丟包系數(shù)；編碼端根據(jù)丟包系數(shù)以及率失真最優(yōu)方法，獲取各可 用編碼模式對(duì)應(yīng)的拉格朗日代價(jià)；編碼端選擇具有最小的拉格朗日代價(jià)的編碼模式，作為 最優(yōu)的編碼模式。該專(zhuān)利充分應(yīng)用了率失真優(yōu)化算法，將丟包系數(shù)和率失真優(yōu)化結(jié)合應(yīng)用， 選擇編碼模式。但是該專(zhuān)利沒(méi)有考慮丟包引起的端到端失真，也未考慮到多視點(diǎn)編碼的結(jié) 構(gòu)特點(diǎn)，應(yīng)用在多視點(diǎn)編碼上不能取得很好的差錯(cuò)控制效果。文獻(xiàn)2提出了一種碼流控制方法。該方法首先在預(yù)期的失真值附近選擇失真值D。 接下來(lái)，該系統(tǒng)利用選定的失真值D確定量化器值Q。該系統(tǒng)然后利用量化器值Q計(jì)算拉格 朗日乘子lambda。利用選定的拉格朗日乘子lambda和量化器值Q，該系統(tǒng)開(kāi)始對(duì)象素模塊 進(jìn)行編碼。如果系統(tǒng)檢測(cè)到潛在的緩存區(qū)溢出，則該系統(tǒng)將增加拉格朗日乘子lambda。如 果拉格朗日乘子lambda超過(guò)最大的lambda閾值，則系統(tǒng)將增加量化器值Q。如果系統(tǒng)檢測(cè) 到潛在的緩存區(qū)下溢，則系統(tǒng)將減小拉格朗日乘子lambda。如果拉格朗日乘子lambda降到 最小的lambda閾值以下，則系統(tǒng)將減小量化器值Q。該方法利用拉格朗日乘子法來(lái)進(jìn)行碼 流控制，無(wú)法用于多視點(diǎn)視頻在有網(wǎng)絡(luò)傳輸丟包環(huán)境下的差錯(cuò)控制。文獻(xiàn)3是在傳統(tǒng)的量化之后對(duì)所選的系數(shù)進(jìn)行修正，例如將這些系數(shù)表示為零， 可以在很大程度上改善MPEG編碼的視頻信號(hào)的圖像質(zhì)量。這種修正是使得對(duì)于拉格朗日 系數(shù)λ的一個(gè)給定值來(lái)說(shuō)，拉格朗日值D+λ R(D是失真，R是比特速率)是最小值。其中 的λ值是根據(jù)被編碼的圖像的統(tǒng)計(jì)分析計(jì)算出的。這種統(tǒng)計(jì)分析包括以系數(shù)的幅度分布 為基礎(chǔ)的對(duì)RD曲線的估計(jì)。所尋找到的λ值是該曲線在所希望的比特速率處的導(dǎo)數(shù)。該 方法是一種只在編碼端進(jìn)行優(yōu)化編碼的方法，在沒(méi)有網(wǎng)絡(luò)傳輸?shù)臅r(shí)候能獲得較好的編碼性 能，但由于失真不包含丟包引起的傳輸失真和解碼端進(jìn)行差錯(cuò)掩蓋時(shí)的掩蓋失真，因此不 適合于有傳輸差錯(cuò)發(fā)生的環(huán)境。文獻(xiàn)4針對(duì)可伸縮視頻編碼，提出了一種增強(qiáng)層圖片執(zhí)行宏塊模式選擇的機(jī)制。 該機(jī)制包括用于每個(gè)宏塊的失真估計(jì)器，其作用于信道差錯(cuò)，其中信道差錯(cuò)諸如受差錯(cuò)傳 播影響的視頻分段中的分組丟失或差錯(cuò)；拉格朗日乘子選擇器，用于根據(jù)估計(jì)的或傳送的 信道誤碼率來(lái)選擇加權(quán)因子，以及模式判決模塊或算法，用于基于編碼參數(shù)來(lái)選擇最佳模 式。模式判決模塊配置為基于估計(jì)的編碼失真與估計(jì)的編碼率乘以加權(quán)因子的和來(lái)選擇編 碼模式。該方法將率失真優(yōu)化方法運(yùn)用于可伸縮視頻編碼中，方法中用到的失真是編碼失 真，碼率為編碼比特率乘以加權(quán)因子，方法的拉格朗日乘子選擇沒(méi)有考慮端到端失真。文獻(xiàn)5提供了 一種視頻編碼器，該視頻編碼器自適應(yīng)地進(jìn)行編碼模式選擇?？梢砸远鄠€(gè)用于編碼視頻序列的當(dāng)前宏塊的編碼模式進(jìn)行操作。該視頻序列意圖優(yōu)選通過(guò)例如 任何電路交換或分組交換通信網(wǎng)絡(luò)的通信網(wǎng)絡(luò)被傳輸。失真估計(jì)器用于估計(jì)由于當(dāng)前宏塊 的潛在錯(cuò)誤傳輸而引起的預(yù)期失真值。決策模塊被安排用于基于失真值和編碼參數(shù)從多個(gè) 編碼模式中選擇最終編碼模式。進(jìn)一步，提供了表，該表通過(guò)宏塊的空間位置而被引用，并 且使用累積失真值來(lái)更新。視頻編碼器被安排用于將最終編碼模式應(yīng)用于編碼當(dāng)前宏塊。 該方法將率失真優(yōu)化用于編碼和傳輸過(guò)程中，但對(duì)拉格朗日乘子不做調(diào)整，也沒(méi)有采用不 對(duì)等保護(hù)措施，不適用于多視點(diǎn)視頻編碼。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)的以上缺點(diǎn)，本發(fā)明的目的在于提出一種多視點(diǎn)視頻傳輸差錯(cuò)控制 方法，使之能有效地減小傳輸差錯(cuò)在視點(diǎn)間的擴(kuò)散，增強(qiáng)多視點(diǎn)視頻流的傳輸魯棒性，使其 更好的適應(yīng)于有損網(wǎng)絡(luò)環(huán)境下的視頻傳輸。本發(fā)明的目的是通過(guò)如下的手段實(shí)現(xiàn)的。一種率失真優(yōu)化動(dòng)態(tài)調(diào)整的多視點(diǎn)視頻傳輸差錯(cuò)控制方法，在關(guān)鍵幀進(jìn)行視點(diǎn)預(yù) 測(cè)的KS_IPP編碼框架中，對(duì)關(guān)鍵幀和非關(guān)鍵幀的端到端失真采用不同的估計(jì)方法進(jìn)行估 計(jì)對(duì)關(guān)鍵幀采用信道仿真與快速估計(jì)相結(jié)合的失真度方法進(jìn)行估計(jì)；對(duì)非關(guān)鍵幀采用常 規(guī)的基于遞推的失真度估計(jì)方法，并將估計(jì)到的端到端失真和率失真優(yōu)化技術(shù)相結(jié)合；所述對(duì)關(guān)鍵幀采用信道仿真與快速估計(jì)相結(jié)合的失真度方法進(jìn)行估計(jì)包含如下 步驟1)估計(jì)最經(jīng)常出現(xiàn)的丟包率ρ*下的端到端失真。2)根據(jù)丟包率與端到端失真的二次曲線經(jīng)驗(yàn)關(guān)系估計(jì)其余可能出現(xiàn)的丟包率ρ 下的端到端失真。然后將估計(jì)到的端到端失真和率失真優(yōu)化技術(shù)相結(jié)合，在編碼端進(jìn)行編碼模式選 擇，從而控制差錯(cuò)的擴(kuò)散。采用本發(fā)明方法，能有效地減小傳輸差錯(cuò)在視點(diǎn)間的擴(kuò)散，增強(qiáng)多視點(diǎn)視頻流的 傳輸魯棒性，使其更好的適應(yīng)于有損網(wǎng)絡(luò)環(huán)境下的視頻傳輸。


圖IHHI提出的分級(jí)B幀MVC編碼預(yù)測(cè)結(jié)構(gòu)示意圖。圖2簡(jiǎn)化的KS_IPP預(yù)測(cè)結(jié)構(gòu)示意圖，也是本發(fā)明采用的一種最常用的MVC編碼結(jié) 構(gòu)示意圖。圖3視頻傳輸丟包模板示意圖。圖4丟包率和端到端失真之間的關(guān)系示意圖。圖5本發(fā)明編碼模式選擇流程圖。圖6本發(fā)明實(shí)施例20%丟包率的一種丟包模板。
具體實(shí)施例方式圖2是本發(fā)明采用的MVC編碼結(jié)構(gòu)，實(shí)際上是一種簡(jiǎn)化的KS_IPP預(yù)測(cè)結(jié)構(gòu)。這種 編碼結(jié)構(gòu)在編碼效率和編碼復(fù)雜度之間取的了平衡，具有很強(qiáng)的實(shí)用性。除了各視點(diǎn)的關(guān)鍵幀采用了視點(diǎn)間預(yù)測(cè)外，其余幀均在視點(diǎn)內(nèi)采用分級(jí)B幀的預(yù)測(cè)結(jié)構(gòu)。這種結(jié)構(gòu)也有利 于采用差錯(cuò)控制方法來(lái)阻止差錯(cuò)在視點(diǎn)間的擴(kuò)散。圖3是本發(fā)明采用的信道仿真模板。模板中的每個(gè)元素吞。對(duì)應(yīng)一個(gè)slice出錯(cuò)情 況，m表示信道編號(hào)，η為幀編號(hào)，k為slice編號(hào)。模板共N行N2列，N行分別對(duì)應(yīng)N個(gè)信 道仿真器，在列方向上由N2個(gè)slice組成，其含義是每行排列N幀、每幀均分成N個(gè)slice， 共N2個(gè)slice。瓦、是通過(guò)隨機(jī)函數(shù)生成的0或1，分別表示該slice在對(duì)應(yīng)信道丟失或正 確接收。圖4是本發(fā)明根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)確定的一種丟包率和端到端失真之間的關(guān)系。圖4中， 實(shí)際失真D (n，1)為菱形格所示區(qū)域，D*(n, 1)為丟包率為ρ*的端到端失真，Q (η, 1)為量 化失真，在圖中用小正方形所在區(qū)域表示。當(dāng)丟包率為0時(shí)，端到端失真就是編碼的量化失 真。D' (η, 1)是通過(guò)線性預(yù)測(cè)得到的端到端失真，AD(n，1)是線性預(yù)測(cè)的失真與實(shí)際經(jīng) 驗(yàn)得到的失真之間的變化量，為圖中用灰色標(biāo)記的區(qū)域，丟包率增量Δρ為ρ*與ρ之差。本發(fā)明的實(shí)施方法具體方法如下幀內(nèi)編碼幀，記為I幀；預(yù)測(cè)編碼幀，記為P幀；雙向預(yù)測(cè)編碼幀，記為B幀，可能出 現(xiàn)的視頻傳輸丟包率記為P，最經(jīng)常出現(xiàn)的丟包率記為P*。1.端到端失真估計(jì)端到端失真度估計(jì)為了兼顧到估計(jì)精度和估計(jì)復(fù)雜度，結(jié)合KS_IPP結(jié)構(gòu)特點(diǎn)，對(duì) 關(guān)鍵幀和非關(guān)鍵幀采用不同的估計(jì)方法進(jìn)行估計(jì)。1. 1關(guān)鍵幀的端到端失真度估計(jì)本發(fā)明對(duì)關(guān)鍵幀的端到端失真度采用信道仿真與快速估計(jì)相結(jié)合的失真度方法 進(jìn)行估計(jì)。首先估計(jì)最經(jīng)常出現(xiàn)丟包率P*下的端到端失真，然后根據(jù)丟包率與端到端失真 的二次曲線經(jīng)驗(yàn)關(guān)系，估算出其余可能丟包率下的端到端失真。具體過(guò)程如下1)估計(jì)最經(jīng)常出現(xiàn)的丟包率ρ*下的端到端失真本發(fā)明根據(jù)傳輸過(guò)程中最有可能經(jīng)常出現(xiàn)的丟包率ρ*的情況，在編碼器端采用N 個(gè)
信道仿真器仿真視頻數(shù)據(jù)包在易錯(cuò)信道中的傳輸情況。數(shù)據(jù)包在信道中的傳
輸情況由圖3所示模板決定。圖3中，模板中的每個(gè)元素^^對(duì)應(yīng)一個(gè)slice出錯(cuò)情況，m表 示信道編號(hào)，η為幀編號(hào)，k為slice編號(hào)。模板共N行N2列，N行分別對(duì)應(yīng)N個(gè)信道仿真 器，在列方向上由N2個(gè)slice組成，其含義是每行排列N幀、每幀均分成N個(gè)slice，共N2個(gè) slice。是通過(guò)隨機(jī)函數(shù)生成的0或1，分別表示該slice在對(duì)應(yīng)信道丟失或正確接收。編碼器根據(jù)各數(shù)據(jù)包的仿真情況，計(jì)算出各個(gè)信道的端到端誤差；再根據(jù)信道誤 差計(jì)算出該信道的端到端失真，取所有仿真信道的端到端失真均值作為最經(jīng)常出現(xiàn)丟包率 P*下的端到端失真；最后得到一個(gè)宏塊在丟包率P*下的端到端失真。具體計(jì)算方法如下(a)第η幀第1個(gè)宏塊的像素i在信道m(xù)的端到端誤差E (m，η, 1, i)計(jì)算方法 式(1)中，/ '表示第η幀宏塊1的第i個(gè)像素的原始值，力為該像素在編碼器的重建值，//為該像素的參考像素j在編碼器的重建值，為該像素的參考像素j在解碼器的重 建值。當(dāng)像素i數(shù)據(jù)在傳輸過(guò)程中出錯(cuò)時(shí)，在解碼端通過(guò)某種掩蓋算法用第χ幀第y個(gè)像 素進(jìn)行掩蓋，在式(1)中用表示此掩蓋值。在計(jì)算信道端到端誤差E (m，η, 1，i)時(shí)，根據(jù)信道仿真結(jié)果，先判斷像素是否正確 接收，如果丟失，則用式(1)等號(hào)右邊第三項(xiàng)計(jì)算端到端誤差，如果正確接收，再判斷接收 到的像素是采用幀內(nèi)還是幀間方式編碼，如果是幀內(nèi)方式，則用式(1)右邊第一項(xiàng)計(jì)算端 到端誤差，如果是幀間方式，則用式(1)右邊第二項(xiàng)計(jì)算端到端誤差。(b)信道端到端失真計(jì)算方法根據(jù)信道誤差，可以計(jì)算出第η幀宏塊1的像素i在信道m(xù)中的端到端失真d(m， η, 1, i)為
(2)取N個(gè)信道的平均失真，作為第n幀宏塊l的像素i的端到端失真d(n，l，i)，即
因此，當(dāng)丟包率為p*，采用N個(gè)信道仿真解碼時(shí)，第η幀宏塊1的端到端失真D*(η, 1)為 2)估計(jì)其余可能出現(xiàn)的丟包率ρ下的端到端失真當(dāng)前丟包率如果是最常出現(xiàn)的p*，可以用上述公式(1)-⑷計(jì)算得到，如果是其他 的丟包率，則首先需要確定丟包率和實(shí)際端到端失真之間的關(guān)系，然后利用此關(guān)系來(lái)計(jì)算 其它丟包率下的端到端失真。實(shí)驗(yàn)表明，丟包率和實(shí)際端到端失真之間并不是線性關(guān)系。根 據(jù)實(shí)驗(yàn)，實(shí)際端到端失真與線性關(guān)系的失真關(guān)系如圖4所示，圖4中，實(shí)際失真D (η, 1)為菱 形格所示區(qū)域，D*(n，l)為丟包率為ρ*的端到端失真，Q(n，l)為量化失真，在圖中用小正方 形所在區(qū)域表示。當(dāng)丟包率為0時(shí)，端到端失真就是編碼的量化失真。D' (η,Ι)是通過(guò)線 性預(yù)測(cè)得到的端到端失真，ΔD(η, 1)是線性預(yù)測(cè)的失真與實(shí)際經(jīng)驗(yàn)得到的失真之間的變化 量，為圖中用灰色標(biāo)記的區(qū)域，丟包率增量Δρ為ρ*與ρ之差。根據(jù)統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果，得到丟 包率增量和端到端失真增量之間呈近似二次關(guān)系，據(jù)此可以計(jì)算出第η幀宏塊1在其余丟 包率P下的端到端失真D (η，1)為D(n,l) = D'(n,l)mAD(n,l)
Γ D\n,l)-Q(n,l) ^r /Α ν,c、~~ν ^ , ν 7 χ ρ m^ α, χ(Δρ)(5)
P'=O
Γ ^ D\n,l)-QinJ) 去. = ~ν ,^v ' χ ρ m> α, χ(ρ-ρ )'
P,=ο式(5)中，當(dāng)ρ*大于ρ時(shí)，“m”取“_”，否則取“ + ”。1. 2非關(guān)鍵幀的端到端失真度估計(jì)非關(guān)鍵幀的端到端失真度采用基于遞推的失真度估計(jì)方法估計(jì)。這種方法 通過(guò)在編碼端跟蹤端到端失真的擴(kuò)散情況來(lái)估計(jì)端到端失真。估計(jì)方法可以采用基 于像素遞歸、宏塊加權(quán)估計(jì)等各種已有方法，具體可參考文獻(xiàn)Yuan Ζ, Wen G，YanL, et
7al. Joint source-channel rate-distortion optimization for H. 264 video coding overerror-prone networks[J]. IEEE Transactions on Multimedia. 2007,9(3) :445-454.2編碼模式選擇宏塊編碼模式根據(jù)率失真優(yōu)化技術(shù)來(lái)選擇。本發(fā)明采用的率失真優(yōu)化技術(shù)如式 (6)所示J(M, λ) = D(M) + A XR(M)(6)式(6)中，D(M)和R(M)分別為宏塊采用模式M編碼時(shí)的端到端失真和編碼比特 率，λ是拉格朗日乘子。本發(fā)明中，在非關(guān)鍵幀，拉格朗日乘子不變，與現(xiàn)有的標(biāo)準(zhǔn)推薦的 拉格朗日乘子相同，記為λ”其計(jì)算公式為； 式(7)中，QP為量化參數(shù)。在關(guān)鍵幀的拉格朗日乘子則根據(jù)估計(jì)的失真自適應(yīng)地 改變，記為λ2，失真越大，編碼采用的拉格朗日乘子入2就越小。λ 2的一般形式如式⑶所示 式(8)中，θ為動(dòng)態(tài)調(diào)整因子，由當(dāng)前宏塊的估計(jì)失真和周?chē)噜徍陦K的失真情 況決定。一種經(jīng)驗(yàn)性的θ選擇方法為 式(9)中，D (n，I1^D(Iia2)和D(n，l3)分別表示宏塊1左方，上方，右上方已編碼 宏塊的端到端失真，如果某個(gè)相鄰宏塊不存在，則其端到端失真默認(rèn)為前一幀所有宏塊端 到端失真均值。綜上所述，各宏塊的編碼模式選擇按照下述步驟進(jìn)行1)根據(jù)視頻編碼結(jié)構(gòu)(例如KS_IPP編碼結(jié)構(gòu))確定編碼宏塊所在幀是關(guān)鍵幀還 是非關(guān)鍵幀。2)如果是關(guān)鍵幀，則在編碼端，首先利用前述1. 1節(jié)所述信道仿真與快速估計(jì)想 結(jié)合的失真度方法估計(jì)出該宏塊的端到端失真，然后將此端到端失真和λ 2用于編碼模式 選擇的率失真優(yōu)化技術(shù)中，根據(jù)公式(6)計(jì)算出每種編碼模式的率失真代價(jià)J(M，λ 2)，選擇 J(M，λ2)最小的模式作為最佳編碼模式。3)如果是非關(guān)鍵幀，則在編碼端，首先前述1. 2利用基于遞推的失真度估計(jì)方法 估計(jì)出該宏塊的端到端失真，然后將此端到端失真和λ工用于編碼模式選擇的率失真優(yōu)化 技術(shù)中，根據(jù)公式(6)計(jì)算出每種編碼模式的率失真代價(jià)J(M，入^，選擇…，A1)最小的 模式作為最佳編碼模式。上述步驟的流程圖如圖5所示，圖中的J是當(dāng)前編碼模式的率失真代價(jià)，Jmin是已 經(jīng)編碼過(guò)的模式中率失真代價(jià)的最小值。
實(shí)施例下面結(jié)合一個(gè)具體的實(shí)施方式對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。為便于說(shuō)明，且不失一般性，做如下假定假定編碼圖像分辨率為640*480，則宏塊數(shù)量為40*30個(gè)，按行順序依次編號(hào) 1-1200 ；假定本實(shí)施例采用的編碼框架為圖2所示框架，且編碼幀為視點(diǎn)1的第2個(gè)關(guān)鍵 幀(即圖2中視點(diǎn)V1在T8時(shí)刻的幀)，其參考幀為視點(diǎn)0的第2個(gè)關(guān)鍵幀(即圖2中視點(diǎn) V0在T8時(shí)刻的幀)。假定信道最經(jīng)常出現(xiàn)的丟包率為20%，當(dāng)前丟包率為10%。假定掩蓋方法為同時(shí)刻視點(diǎn)間圖像同區(qū)域替代，即某個(gè)區(qū)域數(shù)據(jù)丟失后，采用前 一視點(diǎn)同一時(shí)刻關(guān)鍵幀的同一區(qū)域進(jìn)行掩蓋。例如，假設(shè)視點(diǎn)V1在T8時(shí)刻的關(guān)鍵幀的第一 個(gè)宏塊丟失，則用視點(diǎn)Vtl在T8時(shí)刻的關(guān)鍵幀的第一個(gè)宏塊進(jìn)行掩蓋。根據(jù)上述假定，本實(shí)施例說(shuō)明了如何根據(jù)最經(jīng)常出現(xiàn)的丟包率為20%時(shí)的情況， 進(jìn)行10%丟包率情況下的關(guān)鍵幀及非關(guān)鍵幀的差錯(cuò)控制方法。如果當(dāng)前編碼宏塊所在幀為關(guān)鍵幀，則首先利用信道仿真的快速方法估計(jì)出編碼 宏塊1的端到端失真。具體方法如下在上述假定條件下，采用的一種丟包模板如圖6所示圖中所示的丟包模板模擬 了 5個(gè)信道的丟包情況。共可以表示5幀的丟包情況，此模板可以循環(huán)，供更多編碼幀使用。本實(shí)施例以圖6所示的第2幀在信道3中的仿真情況來(lái)具體說(shuō)明本發(fā)明失真的計(jì) 算方法。此時(shí)，模板第2幀的“11101”表示的是序列的視點(diǎn)V1在T8時(shí)刻的幀(即圖2視點(diǎn) V1的第2個(gè)關(guān)鍵幀，以下簡(jiǎn)稱(chēng)“第8幀”)在信道3中的仿真情況，第4個(gè)數(shù)字為“0”，表示 這幀的第4個(gè)數(shù)據(jù)包在仿真過(guò)程中丟失；其余數(shù)字是“1”，表示其余數(shù)據(jù)包均正確接收。從 宏塊角度來(lái)說(shuō)，就是編號(hào)為721-960的宏塊在仿真信道3中丟失，編號(hào)為1-720及961-1200 的宏塊均正確接收。由于所有正確接收宏塊端到端失真計(jì)算方法相同，所以以第8幀第1 個(gè)宏塊為例，說(shuō)明正確接收宏塊端到端失真計(jì)算方法，即『(8，1)計(jì)算方法；所有丟失宏塊 的計(jì)算方法也相同，以第8幀第721個(gè)宏塊為例說(shuō)明，即D*(8，721)計(jì)算方法。以下分別進(jìn) 行詳細(xì)說(shuō)明。UD*(8, 1)的計(jì)算(正確宏塊計(jì)算方法)1. 1第8幀第1個(gè)宏塊像素i在信道3中的端到端誤差E(3，8，1，i)計(jì)算因?yàn)榇撕陦K正確接收，當(dāng)此宏塊采用幀內(nèi)方式編碼時(shí)，根據(jù)式(1)可得
(10)當(dāng)采用幀間方式編碼時(shí)，根據(jù)(1)可得
( 11)式(11)中的參考幀r為視點(diǎn)Vtl在T8時(shí)刻的幀。1. 2第8幀第1個(gè)宏塊像素i在信道3中的端到端失真d(3，8，1，i)計(jì)算根據(jù)式(10)和(11)結(jié)果，可得d(3，8，1，i) = [E(3，8，1，i)]2(12)1. 3第8幀第1個(gè)宏塊像素i端到端失真d(8，1，i)計(jì)算根據(jù)式(12)，分別計(jì)算出第8幀第1個(gè)宏塊像素i在5個(gè)信道的端到端失真d (m， 8，1，i)，m = 1，2，3，4，5，據(jù)此，d(8，l，i)可計(jì)算如下
9
1. 4第8幀第1個(gè)宏塊端到端失真D*(8，1)計(jì)算根據(jù)式(13)可得 2、礦(8，721)的計(jì)算(出錯(cuò)宏塊計(jì)算方法)2. 1第8幀第721個(gè)宏塊像素i在信道3中的端到端誤差E (3，8，721，i)計(jì)算因 為此宏塊丟失，根據(jù)式(1)可得 式(15)中，乃為視點(diǎn)Vtl在T8時(shí)刻幀的第i個(gè)像素在仿真信道的重建值。2.2第8幀第721個(gè)宏塊像素1在信道3中的端到端失真(1(3，8，721，i)計(jì)算根 據(jù)式(15)結(jié)果，可得 2.3第8幀第721個(gè)宏塊像素1端到端失真(1(8，721，1)計(jì)算 2. 4第8幀第721個(gè)宏塊端到端失真礦(8，1)計(jì)算根據(jù)式(17)可得 利用上述方法計(jì)算出20%丟包率下第η幀宏塊1的端到端失真D*(n，1)，從編碼 過(guò)程中獲得宏塊1的量化失真Q (n，1)，再根據(jù)圖4所示關(guān)系和式(5)，令ρ等于10 %，可得 宏塊1在丟包率為10%時(shí)的端到端失真D (n，1)。 (19) 假定宏塊的當(dāng)前編碼模式為Μ，將式(19)計(jì)算出的端到端失真D(n，1)，以及編碼 比特率R(n，1)，式(8)所示的關(guān)鍵幀使用的拉格朗日乘子λ2分別代入式(6)可得模式為 M的率失真代價(jià)J (Μ，λ2)為J(M, A2)= D(n, l) + A2XR(n, 1)(20)待所有模式的率失真代價(jià)J(Μ，λ 2)計(jì)算完畢后，選擇率失真代價(jià)最小的模式為該 宏塊的最佳編碼模式。如果當(dāng)前編碼宏塊所在幀為非關(guān)鍵幀，則首先利用基于遞推的方法估計(jì)出 編碼宏塊1的端到端失真D(n，1)，具體方法可參考文獻(xiàn)Yuan Ζ, Wen G, Yan L，et al. Joint source-channel rate-distortion optimization for H. 264 video coding overerror-prone networks[J]. IEEE Transactions on Multimedia. 2007,9(3) 445-454.中的方法。再將端到端失真D(n，1)，編碼比特率R(n，1)，式(7)所示的非關(guān)鍵幀使用的拉 格朗日乘子X(jué)1分別代入式(6)中，計(jì)算出率失真代價(jià)J(M，λ)。待所有模式的率失真代 價(jià)J(M，A1)計(jì)算完畢后，選擇率失真代價(jià)最小的模式為宏塊1的最佳編碼模式。
本發(fā)明提出的多視點(diǎn)傳輸差錯(cuò)控制方法，不局限于KS_IPP編碼結(jié)構(gòu)，可擴(kuò)展到類(lèi) 似于KS_IPP的結(jié)構(gòu)，適用于存在關(guān)鍵幀和非關(guān)鍵幀編碼、且在各關(guān)鍵幀進(jìn)行視點(diǎn)間預(yù)測(cè)的 多視點(diǎn)編碼結(jié)構(gòu)；它可以充分利用了 KS_IPP及類(lèi)似結(jié)構(gòu)特點(diǎn)，在幀級(jí)保護(hù)上，對(duì)會(huì)引起視 點(diǎn)間差錯(cuò)擴(kuò)散的關(guān)鍵幀采用更為合理的拉格朗日乘子從而取得更重要的保護(hù)，而對(duì)非關(guān)鍵 幀則采用普通的保護(hù)措施；在宏塊級(jí)保護(hù)上，根據(jù)端到端失真估計(jì)情況，對(duì)失真大的宏塊通 過(guò)率失真優(yōu)化技術(shù)選擇幀內(nèi)方式進(jìn)行編碼，控制失真的擴(kuò)散。本發(fā)明在不過(guò)多降低編碼效 率的情況下，能有效減少傳輸差錯(cuò)在視點(diǎn)間和視點(diǎn)內(nèi)部的差錯(cuò)擴(kuò)散。從而提供一種傳輸魯 棒性強(qiáng)的多視點(diǎn)視頻流。
權(quán)利要求
一種率失真優(yōu)化動(dòng)態(tài)調(diào)整的多視點(diǎn)視頻傳輸差錯(cuò)控制方法，在關(guān)鍵幀進(jìn)行視點(diǎn)預(yù)測(cè)的KS_IPP編碼框架中，對(duì)關(guān)鍵幀和非關(guān)鍵幀的端到端失真采用不同的估計(jì)方法進(jìn)行估計(jì)對(duì)關(guān)鍵幀采用信道仿真與快速估計(jì)相結(jié)合的方法進(jìn)行失真度估計(jì)；對(duì)非關(guān)鍵幀采用常規(guī)的基于遞推的失真度估計(jì)方法，并將估計(jì)到的端到端失真和率失真優(yōu)化技術(shù)相結(jié)合；所述對(duì)關(guān)鍵幀采用信道仿真與快速估計(jì)相結(jié)合的方法進(jìn)行失真度估計(jì)包含如下步驟1)估計(jì)最經(jīng)常出現(xiàn)的丟包率p*下的端到端失真；2)根據(jù)丟包率與端到端失真的二次曲線經(jīng)驗(yàn)關(guān)系估計(jì)其余可能出現(xiàn)的丟包率p下的端到端失真；將估計(jì)到的端到端失真和率失真優(yōu)化技術(shù)相結(jié)合，在編碼端進(jìn)行編碼模式選擇，從而控制差錯(cuò)的擴(kuò)散。
2.根據(jù)權(quán)利要求1所述之率失真優(yōu)化動(dòng)態(tài)調(diào)整的多視點(diǎn)視頻傳輸差錯(cuò)控制方法，其特 征在于，所述率失真優(yōu)化技術(shù)處理時(shí)，對(duì)關(guān)鍵幀編碼的各宏塊使用動(dòng)態(tài)的拉格朗日乘子，此 拉格朗日乘子根據(jù)估計(jì)到的端到端失真動(dòng)態(tài)地調(diào)整大?。皇д嬖酱蟮暮陦K，采用越小的拉 格朗日乘子進(jìn)行率失真優(yōu)化；通過(guò)端到端失真的動(dòng)態(tài)變化和拉格朗日乘子的動(dòng)態(tài)調(diào)整來(lái)實(shí) 現(xiàn)率失真優(yōu)化的動(dòng)態(tài)調(diào)整。
全文摘要
本發(fā)明公開(kāi)了一種率失真優(yōu)化動(dòng)態(tài)調(diào)整的多視點(diǎn)視頻傳輸差錯(cuò)控制方法，在關(guān)鍵幀進(jìn)行視點(diǎn)預(yù)測(cè)的KS_IPP編碼框架中，對(duì)關(guān)鍵幀和非關(guān)鍵幀的端到端失真采用不同的估計(jì)方法進(jìn)行估計(jì)對(duì)關(guān)鍵幀采用信道仿真與快速估計(jì)相結(jié)合的失真度方法進(jìn)行估計(jì)；對(duì)非關(guān)鍵幀采用常規(guī)的基于遞推的失真度估計(jì)方法。并將估計(jì)到的端到端失真和率失真優(yōu)化技術(shù)相結(jié)合，通過(guò)端到端失真的動(dòng)態(tài)變化和拉格朗日乘子的動(dòng)態(tài)調(diào)整來(lái)實(shí)現(xiàn)率失真優(yōu)化的動(dòng)態(tài)調(diào)整。采用本發(fā)明方法，能有效地減小傳輸差錯(cuò)在視點(diǎn)間的擴(kuò)散，增強(qiáng)多視點(diǎn)視頻流的傳輸魯棒性，使其更好的適應(yīng)于有損網(wǎng)絡(luò)環(huán)境下的視頻傳輸。
文檔編號(hào)H04N7/32GK101888561SQ20101021579
公開(kāi)日2010年11月17日 申請(qǐng)日期2010年7月2日 優(yōu)先權(quán)日2010年7月2日
發(fā)明者張慶明, 彭強(qiáng) 申請(qǐng)人:西南交通大學(xué)