專利名稱：跨層交互式圖像質(zhì)量連續(xù)可調(diào)的實(shí)時(shí)視頻編解碼方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字圖像處理領(lǐng)域和多媒體消息服務(wù)技術(shù)領(lǐng)域，具體為一種跨層交互式圖像質(zhì)量靈活連續(xù)可調(diào)的實(shí)時(shí)視頻編解碼方法。
背景技術(shù)：
視頻信號以其內(nèi)容的豐富性、直觀性，使其在交通管理、安防保衛(wèi)等諸多領(lǐng)域有著廣泛的應(yīng)用需求。目前的視頻編解碼系統(tǒng)大多基于MPEG2、H. ^4、JPEG2000等技術(shù)，在具體應(yīng)用時(shí)會有以下一些不足。首先，系統(tǒng)的可調(diào)分辨率多為Dl、CIF等標(biāo)準(zhǔn)格式，因?yàn)椴煌袷皆陂L寬維度上的尺寸為2的倍數(shù)關(guān)系，所以編碼后的碼流速率呈現(xiàn)階梯性，不具備分辨率及碼流速率可任意連續(xù)調(diào)整的靈活性。如JPEG2000碼流的漸進(jìn)傳輸結(jié)構(gòu)所支持的縮放比例只能是在長寬維度上同時(shí)進(jìn)行的2的冪次方縮放，如1/2、1/4等，故無法完成Dl至HALF Dl的分辨率調(diào)離
iF. ο其次，多數(shù)系統(tǒng)的編碼參數(shù)如分辨率、壓縮比等的調(diào)整需要重新加載固件才能完成，因此會損失加載固件時(shí)間段內(nèi)的視頻信息，造成視頻傳輸和解碼的中斷，不具備圖像質(zhì)量調(diào)整的連續(xù)性。另外，多數(shù)系統(tǒng)的編碼參數(shù)控制需要在碼流傳輸管道基礎(chǔ)上有一個附加的邏輯控制信道，用于編碼參數(shù)的傳遞和確認(rèn)，制約了圖像質(zhì)量調(diào)整的實(shí)時(shí)性和連續(xù)性。

發(fā)明內(nèi)容
技術(shù)問題為了解決上述問題，本發(fā)明給出一種跨層交互式圖像質(zhì)量連續(xù)可調(diào)的實(shí)時(shí)視頻編解碼方法?？勺龅綁嚎s視頻分辨率在不高于D1，包括且不限于D1、4CIF、HALF Dl、CIF、QCIF等各種標(biāo)準(zhǔn)格式的任意分辨率靈活調(diào)整，同時(shí)壓縮視頻流的場頻及壓縮比亦可靈活連續(xù)調(diào)整，使得壓縮后的視頻碼流速率具備了可以連續(xù)變化的特點(diǎn)，由此可以最大程度快速適應(yīng)信道傳輸帶寬的變化。技術(shù)方案本發(fā)明的層交互式圖像質(zhì)量連續(xù)可調(diào)的實(shí)時(shí)視頻編解碼方法，包括視頻編碼端和視頻解碼端兩個部分，所述視頻編碼端編碼過程如下
a.每場/幀圖像壓縮前，編碼端檢查是否收到解碼端發(fā)來的圖像質(zhì)量控制指令，獲得其中的編碼控制參數(shù)，若未收到則維持原編碼控制參數(shù)；
b.模擬視頻信號經(jīng)視頻解碼器，轉(zhuǎn)換為Dl分辨率的數(shù)字視頻碼流；
c.數(shù)字視頻碼流經(jīng)過像素抽取模塊，完成符合圖像質(zhì)量控制要求的視頻分辨率的調(diào)
整；
d.分辨率調(diào)整后的數(shù)字視頻碼流經(jīng)過JPEG2000編碼模塊，完成符合圖像質(zhì)量控制要求的場頻調(diào)整和壓縮比調(diào)整下的壓縮編碼；
e.JPEG2000碼流合并編碼控制參數(shù)，構(gòu)成流媒體數(shù)據(jù)幀發(fā)送到視頻解碼端； 所述視頻解碼端的解碼過程如下Φ解碼端收到編碼端發(fā)
來的流媒體數(shù)據(jù)幀后，碼流解幀分析模塊首先提取其中的編碼控制參數(shù)，作為當(dāng)前解碼參數(shù)，同時(shí)檢查其與前次發(fā)出的圖像質(zhì)量控制指令中的參數(shù)是否相同，若不同則再次向編碼端發(fā)送控制指令；
②將收到的JPEG2000碼流數(shù)據(jù)送到JPEG2000解碼模塊，完成實(shí)時(shí)解碼和播放；
③解碼端在需要改變圖像質(zhì)量時(shí)，向編碼端發(fā)出圖像質(zhì)量控制指令及其參數(shù)取值。所述視頻編碼端步驟a和視頻解碼端步驟①、步驟③中圖像質(zhì)量控制指令，其中的編碼控制參數(shù)包括但不僅限于圖像分辨率、場頻及壓縮比。所述步驟c的視頻分辨率，格式為不高于Dl “720X576”分辨率，包括且不限于 DU4CIF “704X 576”、HALF Dl "704X288", CIF “352 X 288”、QCIF “ 176 X 144” 五種標(biāo)準(zhǔn)格式的任意分辨率，且分辨率格式的調(diào)整在收到圖像控制指令的當(dāng)前場/幀生效。所述步驟d的場頻調(diào)整在收到圖像控制指令的當(dāng)前場/幀生效。所述步驟d的壓縮比調(diào)整在收到圖像控制指令的當(dāng)前場/幀生效。所述步驟e和視頻解碼端步驟①中的流媒體數(shù)據(jù)幀為當(dāng)前場/幀編碼控制參數(shù)合并當(dāng)前場/幀JPEG2000編碼數(shù)據(jù)，其支持但不僅限于TCP、UDP、PPP等傳輸層協(xié)議。有益效果進(jìn)入JPEG2000編碼模塊之前的視頻碼流經(jīng)過預(yù)處理，可以實(shí)現(xiàn)視頻分辨率尺寸在長寬維度上的任意連續(xù)調(diào)整，同時(shí)JPEG2000編碼的場頻、壓縮比亦可靈活連續(xù)調(diào)整，使得編碼碼流具備了可以連續(xù)變化的特點(diǎn)，從而可以最大程度快速適應(yīng)信道傳輸帶寬的變化。在編碼后將編碼參數(shù)附加于編碼碼流，構(gòu)成流媒體數(shù)據(jù)幀傳遞至解碼端，其結(jié)構(gòu)可支持多種傳輸層協(xié)議，因而實(shí)現(xiàn)了圖像質(zhì)量的跨層交互控制功能。并且圖像質(zhì)量的控制參數(shù)均于當(dāng)前場/幀圖像數(shù)據(jù)壓縮時(shí)生效，實(shí)現(xiàn)了系統(tǒng)編解碼的實(shí)時(shí)性和連續(xù)性。解碼端可做到對于壓縮視頻流的實(shí)時(shí)解碼和播放，并在需要改變圖像質(zhì)量時(shí)，向編碼端發(fā)出實(shí)時(shí)圖像質(zhì)量控制指令。


圖1是本發(fā)明視頻編碼系統(tǒng)輸出的流媒體數(shù)據(jù)的幀結(jié)構(gòu)圖； 圖2是本發(fā)明視頻編碼系統(tǒng)的優(yōu)選實(shí)施方式的電路方框圖； 圖3是本發(fā)明視頻解碼系統(tǒng)的優(yōu)選實(shí)施方式的電路方框圖。
具體實(shí)施例方式本發(fā)明包括視頻編碼端和視頻解碼端兩個部分，所述視頻編碼端的編碼步驟如下
a.每場/幀圖像壓縮前，編碼端檢查是否收到解碼端發(fā)來的圖像質(zhì)量控制指令，獲得其中的編碼控制參數(shù)，若未收到則維持原編碼控制參數(shù)；
b.模擬視頻信號經(jīng)視頻解碼器，轉(zhuǎn)換為Dl(720X576)分辨率的數(shù)字視頻碼流；
c.數(shù)字視頻碼流經(jīng)過像素抽取模塊，完成符合圖像質(zhì)量控制要求的視頻分辨率的調(diào)
整；
d.分辨率調(diào)整后的數(shù)字視頻碼流經(jīng)過JPEG2000編碼模塊，完成符合圖像質(zhì)量控制要求的場頻調(diào)整和壓縮比調(diào)整下的壓縮編碼；e. JPEG2000碼流合并編碼控制參數(shù)，組成流媒體數(shù)據(jù)幀發(fā)送到視頻解碼端。所述視頻解碼端的解碼過程如下
①解碼端收到編碼端發(fā)來的流媒體數(shù)據(jù)幀后，碼流解幀分析模塊首先提取其中的編碼控制參數(shù)，作為當(dāng)前解碼參數(shù)，同時(shí)檢查其與前次發(fā)出的圖像質(zhì)量控制指令中的參數(shù)是否相同，若不同則再次向編碼端發(fā)送控制指令；
②將收到的JPEG2000碼流數(shù)據(jù)送到JPEG2000解碼模塊，完成實(shí)時(shí)解碼和播放；
③解碼端在需要改變圖像質(zhì)量時(shí)，向編碼端發(fā)出圖像質(zhì)量控制指令及其參數(shù)取值。所述視頻編碼端步驟a和視頻解碼端步驟①、③中圖像質(zhì)量控制指令的編碼控制參數(shù)包括但不僅限于圖像分辨率、場頻及壓縮比。所述視頻編碼端步驟c的視頻分辨率格式為不高于D1，包括且不限于D1、4CIF、 HALF D1、CIF、QCIF等五種標(biāo)準(zhǔn)格式的任意分辨率，且分辨率格式的調(diào)整在收到圖像控制指令的當(dāng)前場/幀生效。所述視頻編碼端步驟d的場頻調(diào)整和壓縮比調(diào)整在收到圖像控制指令的當(dāng)前場/ 幀生效。所述視頻編碼端步驟e和視頻解碼端步驟①中的流媒體數(shù)據(jù)幀為當(dāng)前場/幀編碼控制參數(shù)合并當(dāng)前場/幀JPEG2000編碼數(shù)據(jù)，其支持但不僅限于TCP、UDP、PPP等傳輸層協(xié)議。作為本發(fā)明的一種優(yōu)選方案，所述視頻編碼端的視頻像素抽取模塊，可以選用硬件芯片，如現(xiàn)場可編程門陣列(FPGA)、數(shù)字信號處理芯片(DSP)實(shí)現(xiàn)。作為本發(fā)明的另一種優(yōu)選方案，所述視頻編碼端和解碼端的JPEG2000編碼及解碼模塊，可以選用硬件芯片，如現(xiàn)場可編程門陣列(FPGA)、數(shù)字信號處理芯片(DSP)或?qū)Ｓ眯酒珹DV212實(shí)現(xiàn)。作為本發(fā)明的又一種優(yōu)選方案，所述視頻編碼端和解碼端的JPEG2000編碼及解碼模塊，可以基于計(jì)算機(jī)的軟件實(shí)現(xiàn)。作為本發(fā)明的再一種優(yōu)選方案，所述視頻解碼端的視頻播放，可以基于計(jì)算機(jī)的軟件實(shí)現(xiàn)。作為本發(fā)明進(jìn)一步的優(yōu)選方案，所述視頻解碼端的視頻播放，可以采用基于硬件方案的像素補(bǔ)場、填充模塊及視頻編碼器芯片實(shí)現(xiàn)。圖像質(zhì)量控制指令的確認(rèn)方式為將編碼參數(shù)附加于編碼碼流中構(gòu)為流媒體數(shù)據(jù)幀，其幀結(jié)構(gòu)可以支持多種傳輸層協(xié)議，實(shí)現(xiàn)了圖像質(zhì)量的跨層交互控制功能。并且圖像質(zhì)量的控制參數(shù)均于當(dāng)前場/幀圖像數(shù)據(jù)壓縮時(shí)生效，實(shí)現(xiàn)了系統(tǒng)圖像質(zhì)量調(diào)整的實(shí)時(shí)性和連續(xù)性。解碼端可做到對于壓縮視頻流的實(shí)時(shí)解碼和播放，并在需要改變圖像質(zhì)量時(shí)，向編碼端發(fā)出實(shí)時(shí)圖像質(zhì)量控制指令。下面結(jié)合

其中的一個實(shí)施例，如圖2、圖3所示，視頻編碼端和視頻解碼端包括以下步驟
視頻編碼端包括以下步驟
1)每場/幀圖像壓縮前，編碼端檢查是否收到解碼端發(fā)來的圖像質(zhì)量控制指令，獲得其中的編碼控制參數(shù)，并將參數(shù)在前場/幀圖像壓縮結(jié)束后立刻配置到像素抽取模塊和 JPEG2000壓縮模塊，若未收到則維持原編碼控制參數(shù)，不用重新配置；
52)模擬視頻信號進(jìn)入視頻編碼器，通過模數(shù)轉(zhuǎn)換，輸出為Dl分辨率符合ITU-RBT. 601 標(biāo)準(zhǔn)的16-bit YCrCb 4:2:2格式，且具有獨(dú)立行、場同步信號的數(shù)字視頻碼流；
3)數(shù)字視頻碼流通過DSP芯片TMS320DM6437的視頻處理前端接口(VPFE)進(jìn)入芯片內(nèi)部，然后送至像素抽取模塊根據(jù)所設(shè)的分辨率參數(shù)完成視頻碼流在長寬維度上的數(shù)據(jù)抽取，實(shí)現(xiàn)視頻碼流向不高于Dl的任意分辨率格式的調(diào)整，變換分辨率之后的視頻碼流通過 DSP芯片的視頻處理后端數(shù)字接口(VPBE)輸出至ADV212芯片；
4)JPEG2000硬件編解碼芯片ADV212根據(jù)所設(shè)的場頻調(diào)整和壓縮比調(diào)整參數(shù)，完成視頻碼流的JPEG2000壓縮編碼；
5)TMS320DM6437通過外部存儲器接口(EMIF)將ADV212壓縮后的JPEG2000碼流讀入， 并將本場/幀的編碼參數(shù)放在JPEG2000碼流數(shù)據(jù)之前，構(gòu)幀成流媒體數(shù)據(jù)幀發(fā)送到視頻解碼端。視頻解碼端包括以下步驟
1)解碼端收到編碼端發(fā)來的流媒體數(shù)據(jù)幀后，TMS320DM6437首先提取其中的編碼控制參數(shù)，作為當(dāng)前解碼參數(shù)，同時(shí)檢查其與前次發(fā)出的圖像質(zhì)量控制指令中的參數(shù)是否相同， 若不同則再次向編碼端發(fā)送控制指令；
2)TMS320DM6437通過外部存儲器接口(EMIF)將流媒體數(shù)據(jù)中的JPEG2000碼流部分?jǐn)?shù)據(jù)送給JPEG2000硬件編解碼芯片ADV212，完成JPEG2000解碼；
3)因?yàn)楸痉桨覆捎糜布曨l播放的方式，所以解碼后的數(shù)字視頻碼流若為非Dl格式分辨率或標(biāo)準(zhǔn)場頻，則需要進(jìn)行場/幀像素的填充補(bǔ)場操作，才能為后續(xù)的視頻編碼器識別。故將上一步的JPEG2000碼流通過TMS320DM6437的視頻處理前端接口(VPFE)進(jìn)入芯片內(nèi)部，送至像素填充補(bǔ)場模塊，完成視頻分辨率恢復(fù)至Dl格式和場頻的調(diào)整；
4)調(diào)整后的視頻數(shù)字碼流經(jīng)過DSP芯片TMS320DM6437的視頻處理后端接口(VPBE)送至視頻編碼器，轉(zhuǎn)換成為模擬視頻信號輸出。5)解碼端在需要改變圖像質(zhì)量時(shí)，向編碼端發(fā)出圖像質(zhì)量控制指令及其參數(shù)取值。
權(quán)利要求
1.一種跨層交互式圖像質(zhì)量連續(xù)可調(diào)的實(shí)時(shí)視頻編解碼方法，包括視頻編碼端和視頻解碼端兩個部分，其特征在于所述視頻編碼端編碼過程如下a.每場/幀圖像壓縮前，編碼端檢查是否收到解碼端發(fā)來的圖像質(zhì)量控制指令，獲得其中的編碼控制參數(shù)，若未收到則維持原編碼控制參數(shù)；b.模擬視頻信號經(jīng)視頻解碼器，轉(zhuǎn)換為Dl分辨率的數(shù)字視頻碼流；c.數(shù)字視頻碼流經(jīng)過像素抽取模塊，完成符合圖像質(zhì)量控制要求的視頻分辨率的調(diào)整；d.分辨率調(diào)整后的數(shù)字視頻碼流經(jīng)過JPEG2000編碼模塊，完成符合圖像質(zhì)量控制要求的場頻調(diào)整和壓縮比調(diào)整下的壓縮編碼；e.JPEG2000碼流合并編碼控制參數(shù)，構(gòu)成流媒體數(shù)據(jù)幀發(fā)送到視頻解碼端；所述視頻解碼端的解碼過程如下①解碼端收到編碼端發(fā)來的流媒體數(shù)據(jù)幀后，碼流解幀分析模塊首先提取其中的編碼控制參數(shù)，作為當(dāng)前解碼參數(shù)，同時(shí)檢查其與前次發(fā)出的圖像質(zhì)量控制指令中的參數(shù)是否相同，若不同則再次向編碼端發(fā)送控制指令；②將收到的JPEG2000碼流數(shù)據(jù)送到JPEG2000解碼模塊，完成實(shí)時(shí)解碼和播放；③解碼端在需要改變圖像質(zhì)量時(shí)，向編碼端發(fā)出圖像質(zhì)量控制指令及其參數(shù)取值。
2.根據(jù)權(quán)利要求1所述的跨層交互式圖像質(zhì)量連續(xù)可調(diào)的實(shí)時(shí)視頻編解碼方法，其特征在于所述視頻編碼端步驟a和視頻解碼端步驟①、步驟③中圖像質(zhì)量控制指令，其中的編碼控制參數(shù)包括但不僅限于圖像分辨率、場頻及壓縮比。
3.根據(jù)權(quán)利要求1所述的跨層交互式圖像質(zhì)量連續(xù)可調(diào)的實(shí)時(shí)視頻編解碼方法，其特征在于所述步驟c的視頻分辨率，格式為不高于01“720\576”分辨率，包括且不限于01、 4CIF “704X 576”、HALF Dl “704X 288”、CIF "352X 288QCIF “ 176X 144” 五種標(biāo)準(zhǔn)格式的任意分辨率，且分辨率格式的調(diào)整在收到圖像控制指令的當(dāng)前場/幀生效。
4.根據(jù)權(quán)利要求1所述的跨層交互式圖像質(zhì)量連續(xù)可調(diào)的實(shí)時(shí)視頻編解碼方法，其特征在于所述步驟d的場頻調(diào)整在收到圖像控制指令的當(dāng)前場/幀生效。
5.根據(jù)權(quán)利要求1所述的跨層交互式圖像質(zhì)量連續(xù)可調(diào)的實(shí)時(shí)視頻編解碼方法，其特征在于所述步驟d的壓縮比調(diào)整在收到圖像控制指令的當(dāng)前場/幀生效。
6.根據(jù)權(quán)利要求1所述的跨層交互式圖像質(zhì)量連續(xù)可調(diào)的實(shí)時(shí)視頻編解碼方法，其特征在于所述步驟e和視頻解碼端步驟①中的流媒體數(shù)據(jù)幀為當(dāng)前場/幀編碼控制參數(shù)合并當(dāng)前場/幀JPEG2000編碼數(shù)據(jù)，其支持但不僅限于TCP、UDP、PPP等傳輸層協(xié)議。
全文摘要
本發(fā)明公開一種跨層交互式圖像質(zhì)量連續(xù)可調(diào)的實(shí)時(shí)視頻編解碼方法，具體包括視頻編碼端和視頻解碼端兩部分。編碼端首先根據(jù)接收到的圖像質(zhì)量控制指令確定本場/幀圖像數(shù)據(jù)的編碼參數(shù)；然后根據(jù)指定參數(shù)完成數(shù)字視頻信號的JPEG2000編碼；再將編碼后的數(shù)據(jù)與參數(shù)組成流媒體數(shù)據(jù)幀發(fā)送到解碼端。解碼端首先根據(jù)收到流媒體數(shù)據(jù)幀中的編碼參數(shù)判斷前次圖像控制指令是否需要重發(fā)，并完成當(dāng)前參數(shù)下的解碼和播放，在需要改變圖像質(zhì)量時(shí)可向編碼端發(fā)出新的圖像控制指令。采用本系統(tǒng)的視頻圖像質(zhì)量在分辨率、場頻、壓縮比上做到了靈活連續(xù)可調(diào)，可以最大程度快速適應(yīng)信道傳輸帶寬的變化，且控制指令可以做到跨層交互。
文檔編號H04N7/26GK102427531SQ20111031613
公開日2012年4月25日 申請日期2011年10月18日 優(yōu)先權(quán)日2011年10月18日
發(fā)明者王剛, 陳曉曙 申請人:東南大學(xué)