專利名稱：基于功耗模型的最優(yōu)化可伸縮視頻傳輸和解碼系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻壓縮編碼與無(wú)線傳輸技術(shù)領(lǐng)域，設(shè)計(jì)了適用于智能手機(jī)等移動(dòng)設(shè)備的可伸縮視頻編解碼與無(wú)線傳輸方法。本發(fā)明根據(jù)網(wǎng)絡(luò)帶寬和移動(dòng)終端可用功率實(shí)時(shí)優(yōu)化可伸縮碼流參數(shù)來(lái)保證最佳的視頻質(zhì)量。
背景技術(shù)：
在可伸縮視頻編碼的解碼模塊中，是分解為七個(gè)基本的解碼模塊進(jìn)行的，即熵解碼，邊信息準(zhǔn)備，反量化和逆變換，參考信息更新，幀內(nèi)預(yù)測(cè)，運(yùn)動(dòng)補(bǔ)償和去塊。首先比特流被送入到熵解碼模塊，以獲得邊信息和量化后的變換系數(shù)等；然后解碼器使用解析過(guò)的信息來(lái)初始化必要的解碼數(shù)據(jù)結(jié)構(gòu)，即邊信息準(zhǔn)備。塊類型，參考圖，預(yù)測(cè)模式，運(yùn)動(dòng)矢量，將被計(jì)算并填入到相應(yīng)的數(shù)據(jù)結(jié)構(gòu)中作進(jìn)一步的使用。反量化和逆變換模塊接著把量化轉(zhuǎn)移系數(shù)轉(zhuǎn)換成塊殘差系數(shù)。在目標(biāo)層，解碼殘差可以被歸結(jié)為預(yù)測(cè)樣本，用幀內(nèi)預(yù)測(cè)或者運(yùn)動(dòng)補(bǔ)償來(lái)重構(gòu)信號(hào)。最后，去塊濾波器被用來(lái)消除由基于塊的混合變換編碼結(jié)構(gòu)引入的塊效應(yīng)。由于可以通過(guò)把即時(shí)復(fù)雜度要求映射為處理器功耗來(lái)得到功耗模型，因此獲得復(fù)雜度模型是很有必要的。為了準(zhǔn)確的獲得幀解碼復(fù)雜度，可以把視頻解碼器分解成7個(gè)解碼模塊，每一個(gè)解碼模塊都有一個(gè)特殊的復(fù)雜度單元(CU)來(lái)解決這一解碼模塊所要求的基本操作。一個(gè)固定CU所要求的平均循環(huán)數(shù)或者為常數(shù)，或者可以由一個(gè)簡(jiǎn)單的線性預(yù)測(cè)器容易的獲得。由于有限的電池能量供應(yīng)是流行移動(dòng)視頻應(yīng)用中的一個(gè)關(guān)鍵問(wèn)題。相比其它服務(wù)如音頻播放，短信等，視頻解碼通常要求更多的能量，這是由于其復(fù)雜的計(jì)算操作和緩沖區(qū)內(nèi)戲劇性的數(shù)據(jù)傳輸。對(duì)于采用先進(jìn)視頻編碼標(biāo)準(zhǔn)，如H.264/AVC及其可伸縮擴(kuò)展的高清晰度(HD)視頻解碼來(lái)說(shuō)，電池能量的短缺是一個(gè)更為嚴(yán)重的問(wèn)題。一般來(lái)說(shuō)，在視頻解碼中有兩個(gè)主要的能量消耗源。一個(gè)是內(nèi)存?zhèn)鬏敚硪粋€(gè)是CPU周期工作。因此獲得可伸縮視頻解碼的功耗是關(guān)鍵和必須的，功耗可以表示為所需視頻解碼復(fù)雜度的函數(shù)(就每秒循環(huán)數(shù)來(lái)說(shuō))，即P = φ (C)；這里P和C分別表示視頻解碼的功耗和計(jì)算復(fù)雜度，φ 0抽象了功耗和復(fù)雜度的關(guān)系。而對(duì)于ARM處理器下可伸縮視頻解碼的功耗模型為穴I t) =^(C(q, t))=\C(q,ty+k2 ，這里C為解碼復(fù)雜度，k1 k2為參數(shù)。論文名H. 264/AVC baseline profile decoder complexity analysis,其月干丨J : IEEETrans. Circuits and Systems for Video Technology,年份2003 年，第 13 其月，704 頁(yè)至716頁(yè)，論述了在視頻解碼中的兩個(gè)主要的消耗源，即內(nèi)存?zhèn)鬏敽虲PU周期工作，但是沒(méi)有考慮其它部分的功耗。論文名Power -rate-distortion analysis for wireless video communication under energy constraints，期干丨J :IEEE Trans. Circuit and Sys. for Video Technology, 年份2005年，第15期，645頁(yè)至659頁(yè)，說(shuō)明了解碼功耗可以用解碼復(fù)雜度的函數(shù)來(lái)表示， 但只是在一個(gè)固定的平臺(tái)上實(shí)現(xiàn)，而且這種關(guān)系是確定的，無(wú)法自適應(yīng)解碼環(huán)境變化。
論文名A dynamic voltage scaled microprocessor system,期干丨 J :IEEE Journal of Solid-State Circuits，年份2000 年，第 35 期，1571 頁(yè)至 1580 頁(yè)，提出了為了節(jié)省能量而廣泛使用的動(dòng)態(tài)電壓/頻率調(diào)整方案。論文名:Performance analysis of SVC,期干丨J :IEEE Trans. Circuit and Sys. for Video Technology，年份2007年，第17期，1194頁(yè)至1203頁(yè)，論述了由于SVC的單環(huán)解碼設(shè)計(jì)，SVC的解碼復(fù)雜度與H. 264/AVC解碼解碼復(fù)雜度相差不大，并分析了解碼性能，沒(méi)有采用剩余能量模型。

發(fā)明內(nèi)容
本發(fā)明為功率受限的無(wú)線移動(dòng)終端提供最優(yōu)化視頻傳輸和解碼系統(tǒng)，保證終端視頻的最佳質(zhì)量，包括實(shí)時(shí)帶寬偵聽(tīng)，實(shí)時(shí)終端功率檢測(cè)，實(shí)時(shí)功率率失真優(yōu)化，以及實(shí)時(shí)視頻服務(wù)器和終端通信。本發(fā)明的技術(shù)方案該系統(tǒng)包括視頻服務(wù)器，移動(dòng)終端天線，網(wǎng)絡(luò)帶寬檢測(cè)電路，終端功率檢測(cè)電路， 功率率失真優(yōu)化電路，視頻服務(wù)器與終端對(duì)等通信，以及可伸縮視頻解碼電路。視頻服務(wù)器存儲(chǔ)大量的可伸縮視頻，包括不同的視頻內(nèi)容，幀率，幅度值等等。移動(dòng)終端天線提供和視頻服務(wù)器的通信鏈接，可以使用WiFi，或者3G/4G蜂窩網(wǎng)網(wǎng)絡(luò)檢測(cè)電路和終端天線連接，實(shí)時(shí)偵聽(tīng)有效網(wǎng)絡(luò)帶寬并提供給終端功率檢測(cè)電路。該電路可以整合入天線模塊，擴(kuò)展當(dāng)前軟件驅(qū)動(dòng)來(lái)控制偵聽(tīng)頻率。終端功率檢測(cè)電路可以使用電池傳感器來(lái)檢測(cè)終端電池容量，繼而得出可用功率。類似與網(wǎng)絡(luò)檢測(cè)電路，可以通過(guò)擴(kuò)展軟件驅(qū)動(dòng)來(lái)控制功率檢測(cè)的精度和頻率。從端功率檢測(cè)電路出來(lái)的信號(hào)通過(guò)功率率失真優(yōu)化電路計(jì)算并計(jì)算最優(yōu)化視頻參數(shù)，即前述的實(shí)時(shí)功率和網(wǎng)絡(luò)帶寬將會(huì)被功率率失真模塊使用來(lái)計(jì)算最優(yōu)化視頻參數(shù)。 最優(yōu)化參數(shù)反饋至視頻服務(wù)器進(jìn)行碼流提取。在功率率失真優(yōu)化電路中，結(jié)合了我們下面提出的可伸縮視頻解碼功率模型，根據(jù)帶寬和可用功率，來(lái)計(jì)算最優(yōu)化視頻參數(shù)，例如視頻幀率，幅值等。可伸縮視頻解碼的功耗是關(guān)鍵和必須的，功耗可以表示為所需視頻解碼復(fù)雜度的函數(shù)(就每秒循環(huán)數(shù)來(lái)說(shuō))，即P = φ (C)；這里P和C分別表示視頻解碼的功耗和計(jì)算復(fù)雜度，φ()抽象了功耗和復(fù)雜度的關(guān)系。而對(duì)于ARM處理器下可伸縮視頻解碼的功耗模型為Kq，t) =^(C(q, t))=\C(q,ty+k2 ，這里C為解碼復(fù)雜度，k1; 1 為參數(shù)。該功率率失真模塊可以使用獨(dú)立硬件電路，譬如FPGA，或者終端控制器譬如ARM 9，或者終端信號(hào)處理器，譬如ARM Cortex, DSP,來(lái)實(shí)現(xiàn)。可伸縮視頻解碼器用來(lái)進(jìn)行可伸縮視頻解碼，可以使用專用硬件解碼器，或者基于嵌入時(shí)平臺(tái)的軟件解碼器，用來(lái)進(jìn)行視頻解碼和播放。本發(fā)明的有益效果是通過(guò)實(shí)時(shí)帶寬偵聽(tīng)，實(shí)時(shí)功率檢測(cè)，實(shí)時(shí)功率率失真優(yōu)化以及視頻服務(wù)器和終端通信，實(shí)現(xiàn)可伸縮性視頻的最優(yōu)傳輸和解碼。本發(fā)明能夠提供提供最佳視頻質(zhì)量，有效控制無(wú)線終端功率消耗，提供視頻傳輸實(shí)時(shí)優(yōu)化，支持不同無(wú)線終端以及不同無(wú)線網(wǎng)絡(luò)接入。


附圖1是本發(fā)明的結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面結(jié)合具體實(shí)施例和附圖詳細(xì)闡述本發(fā)明，但本發(fā)明并不局限于具體實(shí)施例。實(shí)施例1.使用dell optiplex 360作為視頻服務(wù)器，無(wú)線路由CISCO WRVS 4400作為網(wǎng)絡(luò)代理，提供無(wú)線接入(802. lla/b/g/n)。2.使用智能手機(jī)平臺(tái)TI 0MAP3 EVM作為移動(dòng)終端。3.實(shí)現(xiàn)擴(kuò)展天線驅(qū)動(dòng)支持帶寬檢測(cè)，每1秒檢測(cè)一次獲取實(shí)時(shí)網(wǎng)絡(luò)帶寬(比特每秒 bps)。4.使用電池感應(yīng)器檢測(cè)終端可用功率，每10秒檢測(cè)一次獲取當(dāng)前電池容量(毫安時(shí) mAh)。5.實(shí)現(xiàn)功率率失真模塊，基于終端控制器的底層協(xié)議C/ASM，實(shí)時(shí)計(jì)算最優(yōu)化參數(shù)，計(jì)算時(shí)間0.5毫秒。6.實(shí)現(xiàn)基于ARM平臺(tái)的實(shí)時(shí)可伸縮視頻解碼模塊，實(shí)時(shí)解碼可伸縮視頻碼流，達(dá)到30幀每秒。7.結(jié)合前述的可伸縮視頻解碼功率模型，視覺(jué)感知模型以及碼率模型，輸入網(wǎng)絡(luò)帶寬100千比特每秒GAps)，可用平均功率500毫瓦(mW)，計(jì)算得出最佳視頻幀率為15幀每秒(fps)和信號(hào)幅度控制參數(shù)2。8.將最佳視頻參數(shù)反饋至視頻服務(wù)器來(lái)提取對(duì)應(yīng)可伸縮視頻碼流。9.提取碼流通過(guò)無(wú)線網(wǎng)絡(luò)傳輸至終端利用視頻解碼器解碼和實(shí)時(shí)播發(fā)。
權(quán)利要求
1. 一種基于功耗模型的最優(yōu)化可伸縮視頻傳輸和解碼系統(tǒng)，該系統(tǒng)包括視頻服務(wù)器、 移動(dòng)終端天線、網(wǎng)絡(luò)帶寬檢測(cè)電路、終端可用功率檢測(cè)電路、功率率失真優(yōu)化電路以及視頻解碼器電路，其特征在于視頻服務(wù)器存儲(chǔ)大量的可伸縮視頻；移動(dòng)終端天線提供和視頻服務(wù)器的通信鏈接，通過(guò)WiFi或者3G/4G蜂窩網(wǎng)絡(luò)； 網(wǎng)絡(luò)帶寬檢測(cè)電路和移動(dòng)終端天線連接，實(shí)時(shí)偵聽(tīng)有效網(wǎng)絡(luò)帶寬并提供給終端功率檢測(cè)電路；從端功率檢測(cè)電路出來(lái)的信號(hào)通過(guò)功率率失真優(yōu)化電路計(jì)算并計(jì)算最優(yōu)化視頻參數(shù)；該功率率失真模塊使用獨(dú)立硬件電路；視頻解碼器用來(lái)進(jìn)行可伸縮視頻解碼，使用專用硬件解碼器，或者基于嵌入時(shí)平臺(tái)的軟件解碼器。
全文摘要
本發(fā)明屬于視頻壓縮編碼與無(wú)線傳輸技術(shù)領(lǐng)域，提供了一種適用于智能手機(jī)等移動(dòng)設(shè)備的可伸縮視頻編解碼與無(wú)線傳輸方法。其特征是根據(jù)移動(dòng)設(shè)備當(dāng)前可用功率和接收網(wǎng)絡(luò)帶寬，結(jié)合本發(fā)明提出的可伸縮視頻解碼功率模型，視覺(jué)感知模型和視頻碼率模型，得出最優(yōu)化視頻參數(shù)，例如視頻幀率，信號(hào)幅度。最優(yōu)視頻參數(shù)由無(wú)線終端反饋至服務(wù)器，或者網(wǎng)絡(luò)接入點(diǎn)來(lái)提取對(duì)應(yīng)的可伸縮視頻碼流。該提取的碼流通過(guò)無(wú)線網(wǎng)絡(luò)傳輸至移動(dòng)設(shè)備進(jìn)行解碼和播放。本發(fā)明可以根據(jù)無(wú)線終端的當(dāng)前功率和接入帶寬實(shí)時(shí)調(diào)節(jié)視頻傳輸，并保證最優(yōu)的視頻質(zhì)量。
文檔編號(hào)H04N7/26GK102209242SQ20111013791
公開日2011年10月5日 申請(qǐng)日期2011年5月26日 優(yōu)先權(quán)日2011年5月26日
發(fā)明者王潔, 王洪玉, 馬展 申請(qǐng)人:大連理工大學(xué)