專(zhuān)利名稱(chēng)：用以區(qū)分反向鏈路與前向鏈路視頻數(shù)據(jù)錯(cuò)誤的錯(cuò)誤過(guò)濾器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼，且更明確地說(shuō)，涉及用于有效視頻錯(cuò)誤控制的技術(shù)。
背景技術(shù)：
視頻電話(huà)(VT)涉及攜載音頻及視頻數(shù)據(jù)的包的實(shí)時(shí)通信。每一VT裝置包括視頻 編碼器，其從視頻俘獲裝置(例如視頻相機(jī)或視頻保存器)獲得視頻且產(chǎn)生視頻數(shù)據(jù)包 ("視頻包")。類(lèi)似地，每一 VT裝置中的音頻編碼器從音頻俘獲裝置(例如麥克風(fēng)或語(yǔ) 音合成器)獲得音頻，且產(chǎn)生音頻數(shù)據(jù)包("音頻包")。視頻包及音頻包被放置在無(wú)線(xiàn) 電鏈路協(xié)議(RLP)隊(duì)列中。媒體接入控制(MAC)層模塊從所述RLP隊(duì)列的內(nèi)容產(chǎn)生 媒體接入控制(MAC)層包。所述MAC層包被轉(zhuǎn)換成物理(PHY)層包以供經(jīng)由通信 信道傳輸?shù)搅硪?VT裝置。
在移動(dòng)VT應(yīng)用中，VT裝置經(jīng)由從基站到VT裝置的無(wú)線(xiàn)前向鏈路(FL)(或"下 行鏈路")接收物理層包，所述VT裝置可為移動(dòng)無(wú)線(xiàn)終端，例如蜂窩式無(wú)線(xiàn)電電話(huà)。 VT裝置經(jīng)由從VT裝置到基站的無(wú)線(xiàn)反向鏈路(RL)(或"上行鏈路")傳輸PHY層包。 每一 VT裝置包括PHY及MAC層以轉(zhuǎn)換所接收的PHY及MAC層包且將包有效負(fù)載重 新組合成音頻包及視頻包。VT裝置內(nèi)的視頻解碼器對(duì)視頻數(shù)據(jù)進(jìn)行解碼以供經(jīng)由顯示 裝置呈現(xiàn)給用戶(hù)。VT裝置內(nèi)的音頻解碼器對(duì)音頻數(shù)據(jù)進(jìn)行解碼以供經(jīng)由音頻揚(yáng)聲器來(lái) 呈現(xiàn)。同樣地，VT裝置可包括視頻編碼器及音頻編碼器以分別對(duì)視頻及音頻進(jìn)行編碼 以供傳輸?shù)搅硪?VT裝置。
視頻數(shù)據(jù)錯(cuò)誤可發(fā)生在將視頻包從視頻編碼器傳輸?shù)揭曨l解碼器期間。舉例來(lái)說(shuō)， 錯(cuò)誤可在RL (從視頻編碼器到基站)上進(jìn)行傳輸期間發(fā)生在基站處，或發(fā)生在FL (從 基站到視頻解碼器)上進(jìn)行傳輸期間。錯(cuò)誤可能會(huì)破壞呈現(xiàn)給用戶(hù)的視頻的視覺(jué)質(zhì)量。 然而，當(dāng)檢測(cè)到錯(cuò)誤時(shí)，可應(yīng)用多種錯(cuò)誤校正或隱蔽技術(shù)。

發(fā)明內(nèi)容
一般來(lái)說(shuō)，本發(fā)明是針對(duì)于可增加視頻編碼器效率的視頻數(shù)據(jù)錯(cuò)誤控制技術(shù)。視頻 編碼器經(jīng)配置以在經(jīng)由端到端(E2E)錯(cuò)誤反饋從接收裝置接收錯(cuò)誤報(bào)告之前對(duì)RL錯(cuò) 誤應(yīng)用錯(cuò)誤控制。E2E錯(cuò)誤反饋中所報(bào)告的錯(cuò)誤可為反向鏈路(RL)錯(cuò)誤或前向鏈路(FL) 錯(cuò)誤，后者包括可歸因于接入網(wǎng)絡(luò)的錯(cuò)誤。根據(jù)所揭示的技術(shù)，錯(cuò)誤過(guò)濾器區(qū)分由E2E錯(cuò)誤反饋所指示的RL錯(cuò)誤與FL錯(cuò)誤或接入網(wǎng)絡(luò)錯(cuò)誤。以此方式，所揭示的技術(shù)可防 止視頻編碼器對(duì)視頻編碼器已經(jīng)處理的RL錯(cuò)誤再應(yīng)用錯(cuò)誤控制。
對(duì)同一 RL錯(cuò)誤應(yīng)用錯(cuò)誤控制兩次可能降低視頻編碼器的譯碼效率，且還可能為對(duì) 傳輸信道帶寬的低效率使用，因?yàn)橐恍╁e(cuò)誤控制技術(shù)可能添加額外帶寬。通過(guò)確定E2E 錯(cuò)誤反饋中所報(bào)告的錯(cuò)誤是否為RL錯(cuò)誤，錯(cuò)誤過(guò)濾器使得編碼器系統(tǒng)能夠確定是否己 經(jīng)對(duì)E2E錯(cuò)誤反饋中所報(bào)告的錯(cuò)誤應(yīng)用錯(cuò)誤控制或視頻編碼器是否應(yīng)對(duì)所報(bào)告的錯(cuò)誤 應(yīng)用錯(cuò)誤控制。因此，所揭示的技術(shù)減少或消除冗余錯(cuò)誤校正及相關(guān)聯(lián)的低效率。
在一些方面中，編碼器系統(tǒng)還包含用于使由視頻編碼器應(yīng)用的錯(cuò)誤控制適應(yīng)信道帶 寬條件的模塊。在一些應(yīng)用中，例如在包交換網(wǎng)絡(luò)中，無(wú)線(xiàn)信道的帶寬可能(例如)由 于位置、環(huán)境或信道業(yè)務(wù)負(fù)載而發(fā)生變化。因此，為了有助于避免覆沒(méi)無(wú)線(xiàn)信道，編碼 器系統(tǒng)可并入用以監(jiān)視信道帶寬條件并基于信道帶寬條件而選擇錯(cuò)誤控制技術(shù)的模塊。 作為說(shuō)明，當(dāng)信道帶寬較高時(shí)可應(yīng)用幀內(nèi)刷新，而當(dāng)信道帶寬較低時(shí)可應(yīng)用隨機(jī)宏塊 (MB)內(nèi)刷新(RIR)。
在一個(gè)方面中，本發(fā)明是針對(duì)于一種方法，所述方法包含接收對(duì)由視頻解碼器所 檢測(cè)的視頻數(shù)據(jù)錯(cuò)誤的指示；確定視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于視頻編碼器與網(wǎng)絡(luò)裝置之間 的無(wú)線(xiàn)網(wǎng)絡(luò)的反向鏈路上；以及如果視頻數(shù)據(jù)錯(cuò)誤不是發(fā)生于反向鏈路上，則響應(yīng)于對(duì) 視頻數(shù)據(jù)錯(cuò)誤的指示而應(yīng)用錯(cuò)誤控制，且如果視頻數(shù)據(jù)錯(cuò)誤發(fā)生于反向鏈路上，則不響 應(yīng)于視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制。
在另一方面中，本發(fā)明是針對(duì)于一種系統(tǒng)，所述系統(tǒng)包含收發(fā)器，其用以接收對(duì) 由視頻解碼器所檢測(cè)的視頻數(shù)據(jù)錯(cuò)誤的指示；視頻編碼器；以及錯(cuò)誤過(guò)濾器，其用以確 定視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于視頻編碼器與網(wǎng)絡(luò)裝置之間的無(wú)線(xiàn)網(wǎng)絡(luò)的反向鏈路上，其中 視頻編碼器經(jīng)配置以在視頻數(shù)據(jù)錯(cuò)誤不是發(fā)生于反向鏈路上的情況下響應(yīng)于對(duì)視頻數(shù) 據(jù)錯(cuò)誤的指示而應(yīng)用錯(cuò)誤控制。
在又一方面中，本發(fā)明是針對(duì)于一種計(jì)算機(jī)程序產(chǎn)品，其包含包括指令的計(jì)算機(jī)可 讀媒體。所述指令致使計(jì)算機(jī)接收對(duì)由視頻解碼器所檢測(cè)的視頻數(shù)據(jù)錯(cuò)誤的指示，確定 視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于視頻編碼器與網(wǎng)絡(luò)裝置之間的無(wú)線(xiàn)網(wǎng)絡(luò)的反向鏈路上，并且如 果視頻數(shù)據(jù)錯(cuò)誤不是發(fā)生于反向鏈路上，則響應(yīng)于視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制，且如 果視頻數(shù)據(jù)錯(cuò)誤發(fā)生于反向鏈路上，則不響應(yīng)于視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制。
在另一方面中，本發(fā)明是針對(duì)于一種系統(tǒng)，所述系統(tǒng)包含用于接收對(duì)由視頻解碼 器所檢測(cè)的視頻數(shù)據(jù)錯(cuò)誤的指示的裝置；用于確定視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于視頻編碼器 與網(wǎng)絡(luò)裝置之間的無(wú)線(xiàn)網(wǎng)絡(luò)的反向鏈路上的裝置；以及用于在視頻數(shù)據(jù)錯(cuò)誤不是發(fā)生于反佝鏈路上的情況下響應(yīng)于視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制且在視頻數(shù)據(jù)錯(cuò)誤發(fā)生于反 向鏈路上的情況下不響應(yīng)于視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制的裝置。
在附圖及下文描述中陳述本發(fā)明的一個(gè)或一個(gè)以上實(shí)例的細(xì)節(jié)。


圖1為說(shuō)明用于視頻電話(huà)應(yīng)用的視頻/音頻編碼及解碼系統(tǒng)的圖。
圖2為說(shuō)明實(shí)施錯(cuò)誤過(guò)濾技術(shù)的視頻/音頻編碼及解碼系統(tǒng)的圖。
圖3為說(shuō)明用于過(guò)濾來(lái)自端到端錯(cuò)誤反饋的反向鏈路錯(cuò)誤的技術(shù)的流程圖。
圖4為說(shuō)明用于過(guò)濾來(lái)自端到端錯(cuò)誤反饋的反向鏈路錯(cuò)誤的另一技術(shù)的流程圖。
具體實(shí)施例方式
圖1為說(shuō)明視頻編碼及解碼系統(tǒng)IO的框圖。如圖1中所示，系統(tǒng)10包括由傳輸信 道16連接的編碼器系統(tǒng)12及解碼器系統(tǒng)14，所述傳輸信道16包括一個(gè)或一個(gè)上接 入網(wǎng)絡(luò)(AN)組件15。編碼器系統(tǒng)12及解碼器系統(tǒng)14可表示各種類(lèi)型的裝置，例如 無(wú)線(xiàn)電話(huà)、蜂窩式電話(huà)、膝上型計(jì)算機(jī)、無(wú)線(xiàn)多媒體裝置、視頻游戲裝置、數(shù)字音樂(lè)播 放器、數(shù)字視頻播放器、數(shù)字廣播服務(wù)器、無(wú)線(xiàn)通信個(gè)人計(jì)算機(jī)卡、個(gè)人數(shù)字助理(PDA)、 外部或內(nèi)部調(diào)制解調(diào)器或者經(jīng)由無(wú)線(xiàn)信道通信的任何裝置。
AN組件15可指代通信系統(tǒng)的網(wǎng)絡(luò)部分，且可包括或?qū)嵤┗?BS)、基站收發(fā)器 系統(tǒng)(BTS)、接入點(diǎn)(AP)、調(diào)制解調(diào)器群收發(fā)器(MPT)、節(jié)點(diǎn)B (例如，在WCDMA 類(lèi)型系統(tǒng)中)等的功能。編碼器系統(tǒng)12及解碼器系統(tǒng)14各自在前向鏈路(FL)及/或 反向鏈路(RL)上與AN組件15通信。FL (其還稱(chēng)為"下行鏈路")指代從AN組件 15到系統(tǒng)12或14的傳輸。反向鏈路(其還稱(chēng)為"上行鏈路")指代從系統(tǒng)12或14到 AN組件15的傳輸。
系統(tǒng)IO可經(jīng)由傳輸信道16提供(例如)用于視頻電話(huà)(VT)的雙向視頻及音頻傳 輸。VT指代至少兩個(gè)裝置(例如，系統(tǒng)12與14)之間的音頻及視頻包的實(shí)時(shí)通信。因 此，大體上互逆的編碼、解碼及轉(zhuǎn)換模塊可提供于信道16的相對(duì)端上的系統(tǒng)12及14 中。或者，系統(tǒng)12及14中的一者或兩者可僅專(zhuān)用于音頻及視頻編碼與傳輸，或僅專(zhuān)用 于音頻及視頻接收與解碼。在一些實(shí)例中，編碼器系統(tǒng)12及解碼器系統(tǒng)14可體現(xiàn)于例 如經(jīng)裝備以用于視頻串流、視頻電話(huà)或兩者的無(wú)線(xiàn)移動(dòng)終端等視頻通信裝置內(nèi)。移動(dòng)終 端可支持根據(jù)例如實(shí)時(shí)傳送協(xié)議(RTP)、用戶(hù)數(shù)據(jù)報(bào)協(xié)議(UDP)、因特網(wǎng)協(xié)議(IP) 或點(diǎn)到點(diǎn)協(xié)議(PPP)等包交換標(biāo)準(zhǔn)的VT。
系統(tǒng)IO可經(jīng)設(shè)計(jì)以支持一種或一種以上無(wú)線(xiàn)通信技術(shù)，例如碼分多址(CDMA)、頻分多址(FDMA)、時(shí)分多址(TDMA)或正交頻分多址(OFDM)，或另一合適的無(wú) 線(xiàn)技術(shù)。以上無(wú)線(xiàn)通信技術(shù)可根據(jù)多種無(wú)線(xiàn)電接入技術(shù)中的任一者來(lái)陳述。舉例來(lái)說(shuō)， CDMA可根據(jù)cdma2000或?qū)拵DMA (WCDMA)標(biāo)準(zhǔn)來(lái)陳述。TDMA可根據(jù)全球移 動(dòng)通信系統(tǒng)(GSM)標(biāo)準(zhǔn)來(lái)陳述。通用移動(dòng)電信系統(tǒng)(UMTS)標(biāo)準(zhǔn)準(zhǔn)許GSM或WCDMA 操作。通常，對(duì)于VT應(yīng)用來(lái)說(shuō)，系統(tǒng)IO將經(jīng)設(shè)計(jì)以支持例如cdma2000 lx EV-DO版 本O及版本A等高數(shù)據(jù)速率(HDR)技術(shù)。
編碼器系統(tǒng)12與第一視頻通信裝置相關(guān)聯(lián)，且包括音頻源17、視頻源18、視頻編 碼器20、音頻編碼器22、實(shí)時(shí)傳送協(xié)議(RTP) /用戶(hù)數(shù)據(jù)報(bào)協(xié)議(UDP) /因特網(wǎng)協(xié)議 (IP) /點(diǎn)到點(diǎn)協(xié)議(PPP)轉(zhuǎn)換模塊26、無(wú)線(xiàn)電鏈路協(xié)議(RLP)隊(duì)列28、 MAC層模塊 30及PHY層模塊32。如將描述，編碼器系統(tǒng)12還可包括用以區(qū)分可歸因于不同來(lái)源 的錯(cuò)誤的錯(cuò)誤過(guò)濾器，以及用于使錯(cuò)誤控制適應(yīng)信道16的可用帶寬的模塊。解碼器系 統(tǒng)14與另一視頻通信裝置相關(guān)聯(lián)，且包括PHY層模塊34、 MAC層模塊36、 RLP隊(duì)列 38、 RTP/UDP/IP/PPP轉(zhuǎn)換模塊40、視頻解碼器42及音頻解碼器44。
視頻源18可為視頻俘獲裝置(例如視頻相機(jī)、 一個(gè)或一個(gè)以上視頻保存器，或視 頻相機(jī)與視頻保存器的組合)或來(lái)自?xún)?nèi)容提供者的實(shí)況廣播源。系統(tǒng)10可支持根據(jù)會(huì) 話(huà)起始協(xié)議(SIP)、 ITU-TH.323標(biāo)準(zhǔn)、ITU-T H.324標(biāo)準(zhǔn)或其它標(biāo)準(zhǔn)的視頻電話(huà)或視頻 串流。視頻編碼器20根據(jù)例如MPEG-2、 MPEG-4、 ITU-T H.263或ITU-T H.264及其對(duì) 應(yīng)版本(ISO/IEC MPEG-4，第10部分，即高級(jí)視頻譯碼)等視頻壓縮標(biāo)準(zhǔn)而產(chǎn)生經(jīng)編 碼的視頻數(shù)據(jù)。系統(tǒng)10還可經(jīng)配置以支持增強(qiáng)型H.264視頻譯碼以用于在使用僅前向 鏈路(FLO)空中接口規(guī)范"用于陸地移動(dòng)多媒體多播的僅前向鏈路空中接口規(guī)范 (Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast)"(其將被公布為技術(shù)標(biāo)準(zhǔn)TIA-1099 ("FLO規(guī)范"))的陸地移動(dòng)多媒體多播 (TM3)系統(tǒng)中傳遞實(shí)時(shí)視頻服務(wù)。
視頻編碼器20及視頻解碼器42各自可實(shí)施為一個(gè)或一個(gè)以上處理器、數(shù)字信號(hào)處 理器、專(zhuān)用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、離散邏輯、軟件、硬件、 固件或其任何組合。視頻編碼器20及視頻解碼器42中的每一者可包括于一個(gè)或一個(gè)以 上編碼器或解碼器中，所述編碼器或解碼器中的任一者可集成為相應(yīng)訂戶(hù)裝置、廣播裝 置、服務(wù)器等中的組合式編碼器/解碼器(CODEC)的部分。另外，系統(tǒng)12及系統(tǒng)14
各自可包括用于經(jīng)編碼視頻的傳輸及接收的適當(dāng)調(diào)制、解調(diào)、頻率轉(zhuǎn)換、過(guò)濾及放大器 組件(如果適用的話(huà))，其中包括射頻(RF)無(wú)線(xiàn)組件及天線(xiàn)。然而，為了易于說(shuō)明起 見(jiàn)，圖1中未展示此些組件。音頻源17可為音頻俘獲裝置(例如麥克風(fēng)或語(yǔ)音合成器裝置)，其俘獲音頻數(shù)據(jù)以 伴隨來(lái)自視頻源18的視頻數(shù)據(jù)。或者，音頻源17可包括音頻保存器或來(lái)自?xún)?nèi)容提供者 的實(shí)況音頻廣播源。音頻編碼器22可根據(jù)例如自適應(yīng)多速率窄帶(AMR-NB)的音頻 壓縮方法或其它技術(shù)來(lái)對(duì)音頻數(shù)據(jù)進(jìn)行編碼。對(duì)于VT應(yīng)用來(lái)說(shuō)，視頻將準(zhǔn)許一方觀看 VT會(huì)議且音頻將準(zhǔn)許所述方的所講話(huà)音被聽(tīng)到。對(duì)于例如多媒體串流或廣播等其它應(yīng) 用來(lái)說(shuō)，音頻及視頻形成多媒體內(nèi)容(例如演出、展覽或電影)的部分。
在操作中，RTP/UDP/IP/PPP轉(zhuǎn)換模塊26從視頻編碼器20及音頻編碼器22獲得經(jīng) 編碼的視頻數(shù)據(jù)幀及經(jīng)編碼的音頻數(shù)據(jù)，且將適當(dāng)標(biāo)頭信息(例如，路由及定序信息) 添加到視頻及音頻包并將所得數(shù)據(jù)插入在RLP隊(duì)列28內(nèi)。通常，RTP在UDP之上運(yùn)行， 而UDP在IP之上運(yùn)行，且IP在PPP之上運(yùn)行。RTP是經(jīng)開(kāi)發(fā)用于傳輸例如多媒體數(shù) 據(jù)等實(shí)時(shí)數(shù)據(jù)的協(xié)議。在RTP中，視頻編碼器20以及音頻編碼器22的輸出被分組成若 干數(shù)據(jù)包。因此，視頻數(shù)據(jù)幀可被分成一個(gè)或一個(gè)以上數(shù)據(jù)包以供經(jīng)由信道16將所述 幀傳輸?shù)浇獯a器系統(tǒng)14，且多個(gè)幀通常被作為多個(gè)數(shù)據(jù)包來(lái)傳輸。每一包包括用于識(shí)別 及定序用途的序列編號(hào)(SN)。 SN可包括于(例如)RTP/UDP/IP/PPP標(biāo)頭信息中。
MAC層模塊30從RLP隊(duì)列28檢索數(shù)據(jù)且從RLP隊(duì)列28的內(nèi)容產(chǎn)生MAC層包。 每一 MAC層包攜載RLP隊(duì)列28內(nèi)所含有的RTP/UDP/IP/PPP標(biāo)頭信息以及音頻或視頻 包數(shù)據(jù)?？瑟?dú)立于視頻包而將音頻包插入到RLP隊(duì)列28中。在一些情況下，從RLP隊(duì) 列28的內(nèi)容所產(chǎn)生的MAC層包將僅攜載標(biāo)頭信息及視頻包數(shù)據(jù)。在其它情況下，MAC 層包將攜載標(biāo)頭信息、音頻包數(shù)據(jù)及視頻包數(shù)據(jù)，這依據(jù)RLP隊(duì)列28的內(nèi)容而定。MAC 層包可根據(jù)RLP來(lái)配置，且還可被稱(chēng)為MAC RLP包。
PHY層模塊32將MAC RLP包轉(zhuǎn)換成PHY層包以供經(jīng)由信道16來(lái)傳輸。明確地 說(shuō)，編碼器系統(tǒng)12內(nèi)的收發(fā)器經(jīng)由信道16將PHY層包傳輸?shù)紸N組件15。信道16將 PHY層包攜載到解碼器系統(tǒng)14。信道16可為編碼器系統(tǒng)12與解碼器系統(tǒng)14之間的任 何物理連接。舉例來(lái)說(shuō)，信道16可為有線(xiàn)連接，例如區(qū)域或廣域有線(xiàn)網(wǎng)絡(luò)?；蛘?，如 本文中所描述，信道16可為無(wú)線(xiàn)連接，例如蜂窩式、衛(wèi)星或光學(xué)連接。更通常地，信 道16可包括有線(xiàn)與無(wú)線(xiàn)媒體的組合。
解碼系統(tǒng)14的PHY層模塊34及MAC層模塊36以互逆方式操作。TOY層模塊34 將從信道16接收的PHY層包轉(zhuǎn)換/重新組合成MAC RLP包。MAC層模塊36重新組合 MAC RLP包的內(nèi)容以提供視頻及音頻包，以用于將MAC RLP包插入到RLP隊(duì)列38中。 RTP/UDP/IP/PPP轉(zhuǎn)換模塊40從RLP隊(duì)列38中的數(shù)據(jù)中去除標(biāo)頭信息，且重新組合視 頻及音頻數(shù)據(jù)以供分別傳遞到視頻解碼器42及音頻解碼器44。視頻解碼器42對(duì)視頻數(shù)據(jù)幀進(jìn)行解碼以產(chǎn)生用于驅(qū)動(dòng)顯示裝置(視頻輸出)48的 視頻數(shù)據(jù)流。與每一包相關(guān)聯(lián)的SN可有助于視頻解碼器42將視頻數(shù)據(jù)包重新排序并重 新組合成幀。舉例來(lái)說(shuō)，從時(shí)間觀點(diǎn)來(lái)看，所述包可經(jīng)失序地接收，從而需要重新排序 成適當(dāng)時(shí)間序列。音頻解碼器44對(duì)音頻數(shù)據(jù)進(jìn)行解碼以產(chǎn)生用于呈現(xiàn)給用戶(hù)(例如， 經(jīng)由音頻揚(yáng)聲器(音頻輸出)46)的音頻信息。
錯(cuò)誤可發(fā)生在將視頻數(shù)據(jù)幀從編碼器系統(tǒng)12傳輸?shù)浇獯a器系統(tǒng)14期間。錯(cuò)誤可包 括丟失的包或含有丟失的數(shù)據(jù)的包。下文中，"丟失的包"指代整個(gè)包的丟失與包內(nèi)數(shù) 據(jù)的丟失兩者。視頻數(shù)據(jù)錯(cuò)誤可發(fā)生于RL(例如，從編碼器系統(tǒng)12到AN組件15)上、 發(fā)生于FL (例如，從AN組件15到解碼器系統(tǒng)14)上或發(fā)生于AN組件15內(nèi)。因此， 錯(cuò)誤可被視為RL錯(cuò)誤或FL錯(cuò)誤。 一般來(lái)說(shuō)，發(fā)生于AN組件15內(nèi)的錯(cuò)誤還將被稱(chēng)為 FL錯(cuò)誤。錯(cuò)誤可出于許多原因而發(fā)生于AN組件15內(nèi)。舉例來(lái)說(shuō)，如果AN組件15包 含一個(gè)以上核心網(wǎng)絡(luò)，則當(dāng)在核心網(wǎng)絡(luò)之間傳輸視頻數(shù)據(jù)時(shí)可能發(fā)生一個(gè)或一個(gè)以上視 頻包或所述包內(nèi)的數(shù)據(jù)的丟失。
編碼器系統(tǒng)12可經(jīng)由一種或一種以上技術(shù)來(lái)識(shí)別RL錯(cuò)誤。在一種錯(cuò)誤識(shí)別技術(shù)中， 在視頻編碼器20對(duì)新視頻幀進(jìn)行編碼之前，視頻編碼器20查詢(xún)編碼器系統(tǒng)12的一個(gè) 或一個(gè)以上較低層以確定在最近經(jīng)編碼的視頻幀的傳輸期間是否發(fā)生錯(cuò)誤。在對(duì)新視頻 幀進(jìn)行編碼之前檢測(cè)錯(cuò)誤使得視頻編碼器20 (或編碼器系統(tǒng)12內(nèi)的錯(cuò)誤控制模塊)能 夠相對(duì)快速地對(duì)當(dāng)前最近經(jīng)編碼幀執(zhí)行錯(cuò)誤控制而不等待來(lái)自解碼器系統(tǒng)14的反饋。
圖2為說(shuō)明實(shí)施錯(cuò)誤過(guò)濾技術(shù)的編碼器裝置12的圖。在圖2中所示的實(shí)例中，編 碼器裝置12包括UDP/IP/PPP層26B、 MAC層30、錯(cuò)誤過(guò)濾器模塊50、無(wú)線(xiàn)電鏈路協(xié) 議(RLP)模塊55、包合并協(xié)議(PCP)模塊56、 RL速率適應(yīng)模塊58及信道帶寬自適 應(yīng)錯(cuò)誤控制模塊60。為說(shuō)明清楚起見(jiàn)，已從圖2的圖中移除了圖1中所展示的編碼器系 統(tǒng)12的一些組件，例如音頻編碼器22及PHY層32。
如下文進(jìn)一步詳細(xì)地描述，錯(cuò)誤過(guò)濾器模塊50確定來(lái)自解碼器系統(tǒng)14的E2E錯(cuò)誤 反饋中所報(bào)告的錯(cuò)誤是否已經(jīng)被校正。也就是說(shuō)，錯(cuò)誤過(guò)濾器50從E2E錯(cuò)誤反饋中所 報(bào)告的錯(cuò)誤中過(guò)濾出RL錯(cuò)誤，這可有助于視頻編碼器20避免對(duì)E2E反饋中所報(bào)告的 RL錯(cuò)誤不必要地應(yīng)用錯(cuò)誤控制。在圖2中所示的編碼器系統(tǒng)12的實(shí)例中，錯(cuò)誤過(guò)濾器 50處于與RTP 26A相同的層中。錯(cuò)誤過(guò)濾器50包括RL錯(cuò)誤SN提取模塊52及傳輸(TX) 錯(cuò)誤確定模塊54。
在一個(gè)實(shí)例中，編碼器系統(tǒng)12的較低層通過(guò)旗標(biāo)(例如二進(jìn)制位字段)來(lái)持續(xù)跟 蹤視頻幀的傳輸狀態(tài)。舉例來(lái)說(shuō)，當(dāng)在編碼系統(tǒng)12與AN組件15之間發(fā)生錯(cuò)誤時(shí)，AN組件15可將否定應(yīng)答(NAK)發(fā)送到MAC層30。 MAC層30可向PCP模塊56通知與 NAK相關(guān)聯(lián)的MAC包。PCP模塊56確定丟失的MAC包是否含有任何視頻流數(shù)據(jù)。即 使在EV-DO Rev A反向鏈路中支持服務(wù)質(zhì)量(QoS)，音頻及視頻數(shù)據(jù)仍可放置于同一 MAC包中。如果丟失的MAC包中存在視頻數(shù)據(jù)，則PCP模塊56將向RLP模塊55 (圖 2中展示)通知丟失的數(shù)據(jù)，且用RLP包NAK識(shí)別含有在傳輸中經(jīng)歷錯(cuò)誤的包的特定 RLP隊(duì)列(可存在若干RLP隊(duì)列)。
RLP模塊55確定哪一包含有丟失的數(shù)據(jù)。接著，RLP模塊55用視頻流包NAK向 應(yīng)用層中的RTP層26A通知哪一包包括丟失的數(shù)據(jù)。RTP層26A可維持將丟失的包轉(zhuǎn) 換成幀中的丟失的MB的映射或表格。識(shí)別丟失的MB的信息被傳到視頻編碼器20 (或 錯(cuò)誤控制模塊)以用于進(jìn)一步錯(cuò)誤控制。舉例來(lái)說(shuō)，視頻編碼器20可應(yīng)用幀內(nèi)刷新或 隨機(jī)MB內(nèi)刷新以消除錯(cuò)誤。
在編碼器系統(tǒng)12的較低層通過(guò)旗標(biāo)持續(xù)跟蹤視頻幀的傳輸狀態(tài)的用于識(shí)別RL錯(cuò)誤 的另一方法中，視頻編碼器20可在對(duì)每一新的視頻數(shù)據(jù)幀進(jìn)行編碼之前查詢(xún)RLP模塊 55，且錯(cuò)誤信息可被直接傳到視頻編碼器20以用于錯(cuò)誤控制。如果發(fā)生RL錯(cuò)誤，則 MAC層30可自動(dòng)將NAK發(fā)送到PCP模塊56,且PCP模塊可將NAK發(fā)送到RLP模塊 55,其設(shè)定旗標(biāo)。
在上文論述的方法中的任一者中，如果視頻幀的包丟失，則設(shè)定編碼器系統(tǒng)12的 較低層內(nèi)的旗標(biāo)。 一旦視頻編碼器20查詢(xún)RLP模塊55以檢査所述旗標(biāo)，便復(fù)位所述旗 標(biāo)以用于下一經(jīng)編碼的視頻幀。如果旗標(biāo)經(jīng)設(shè)定，則視頻編碼器20對(duì)所述下一經(jīng)編碼 的視頻數(shù)據(jù)幀應(yīng)用錯(cuò)誤控制。旗標(biāo)僅指示在最近經(jīng)編碼的視頻幀的傳輸中是否存在RL 錯(cuò)誤，而非丟失的特定包。因此，假定在幀的任何部分中發(fā)生錯(cuò)誤，視頻編碼器20可 能不知道幀的哪一部分丟失并應(yīng)用錯(cuò)誤控制。因?yàn)閷?duì)整個(gè)幀應(yīng)用錯(cuò)誤控制，所以知道是 否存在任何錯(cuò)誤可能正如知道哪一視頻數(shù)據(jù)包丟失一樣有用。
上文描述的較低層輔助式視頻錯(cuò)誤控制技術(shù)處理在RL上傳輸期間視頻數(shù)據(jù)發(fā)生的 錯(cuò)誤(即，RL錯(cuò)誤)。所述技術(shù)可使得視頻編碼器20能夠使用來(lái)自MAC層30的錯(cuò)誤 信息并立即應(yīng)用錯(cuò)誤控制，而不等待來(lái)自解碼器系統(tǒng)14 (即，接收裝置)的反饋。
另一技術(shù)識(shí)別RL與FL錯(cuò)誤兩者，后者包括發(fā)生于AN組件15內(nèi)的錯(cuò)誤。舉例來(lái) 說(shuō)，解碼器系統(tǒng)14可將指示已發(fā)生錯(cuò)誤的反饋提供到編碼器系統(tǒng)12的視頻編碼器20。 編碼器系統(tǒng)12的收發(fā)器(未圖示)可接收來(lái)自解碼器系統(tǒng)14的反饋。視頻編碼器20 接著可對(duì)下一經(jīng)編碼幀應(yīng)用錯(cuò)誤控制以防止錯(cuò)誤傳播。從解碼器系統(tǒng)14報(bào)告到編碼器 系統(tǒng)12的錯(cuò)誤可被稱(chēng)為"端到端(E2E)反饋"。E2E反饋的使用可基于音頻視頻簡(jiǎn)檔反饋(AVPF) RFC 4585,其提供使得視頻數(shù) 據(jù)接收裝置(即，解碼器系統(tǒng)14)能夠?qū)⒓磿r(shí)反饋提供到編碼器系統(tǒng)12的基于實(shí)時(shí)控 制協(xié)議(RTCP)的反饋機(jī)制。E2E反饋通常包含丟失的RTP包或含有丟失的數(shù)據(jù)的RTP 包的SN。舉例來(lái)說(shuō)，如果具有為100的SN的RTP包丟失，則解碼器系統(tǒng)14檢測(cè)到所 述丟失且將具有SN 100的RTCP反饋發(fā)送到具有AVPF有效負(fù)載的編碼器系統(tǒng)12。
一旦視頻編碼器20檢測(cè)到錯(cuò)誤，視頻編碼器20便可根據(jù)任何合適技術(shù)來(lái)應(yīng)用錯(cuò)誤 控制。合適的錯(cuò)誤控制技術(shù)的實(shí)例包括針對(duì)經(jīng)編碼的下一視頻幀而使用不同參考幀，增 加宏塊(MB)內(nèi)刷新速率(即，"宏塊內(nèi)刷新")，或插入幀內(nèi)幀(I幀)以在解碼器裝 置14處停止錯(cuò)誤傳播(即，"幀內(nèi)幀插入")。在I幀中，每個(gè)MB經(jīng)幀內(nèi)譯碼，BP，每 一MB不取決于先前幀，這可停止錯(cuò)誤傳播。對(duì)于MB內(nèi)刷新來(lái)說(shuō)，僅一些MB經(jīng)幀內(nèi) 譯碼。幀內(nèi)幀插入可在錯(cuò)誤發(fā)生時(shí)提供較好視頻質(zhì)量，但消耗較多帶寬，因?yàn)閭鬏斦麄€(gè) I幀而非傳輸形成所述幀的僅一部分的MB。在使用參考幀來(lái)對(duì)后續(xù)幀進(jìn)行編碼的一種類(lèi) 型的錯(cuò)誤控制技術(shù)中，視頻數(shù)據(jù)幀的MB可通過(guò)基于運(yùn)動(dòng)的譯碼來(lái)編碼?；谶\(yùn)動(dòng)的譯 碼涉及識(shí)別先前幀的類(lèi)似的MB (預(yù)測(cè)性MB)，且發(fā)送運(yùn)動(dòng)向量以識(shí)別先前幀(或雙向 譯碼中的后續(xù)幀)中的預(yù)測(cè)性MB并發(fā)送指示當(dāng)前MB與預(yù)測(cè)性MB之間的差別的不同 塊。運(yùn)動(dòng)向量大體上特征化先前經(jīng)編碼幀中的最佳匹配MB (即，預(yù)測(cè)性MB)與給定 MB之間的距離。當(dāng)視頻編碼器20檢測(cè)到錯(cuò)誤時(shí)，視頻編碼器20可使用在包括所述錯(cuò) 誤的幀之前編碼的幀作為用于經(jīng)編碼的下一視頻幀的參考幀。
視頻編碼器20經(jīng)配置以基于以下兩個(gè)信息源而應(yīng)用錯(cuò)誤控制RL錯(cuò)誤反饋及E2E 錯(cuò)誤反饋。如上文所論述，在無(wú)線(xiàn)視頻通信中，E2E錯(cuò)誤反饋中所報(bào)告的錯(cuò)誤可能可歸 因于發(fā)生于RL或FL中的錯(cuò)誤。E2E反饋并不包括錯(cuò)誤發(fā)生于何處的指示，且因此視頻 編碼器20通常不能夠確定丟失的包的起源。
在--些情況下，E2E錯(cuò)誤反饋可報(bào)告視頻編碼器20己經(jīng)通過(guò)查詢(xún)編碼器系統(tǒng)12的 一個(gè)或一個(gè)以上較低層(例如，RLP模塊55)而識(shí)別的RL錯(cuò)誤。因?yàn)橐曨l編碼器20 在識(shí)別到RL錯(cuò)誤后便對(duì)RL錯(cuò)誤應(yīng)用錯(cuò)誤控制，所以到由E2E錯(cuò)誤反饋報(bào)告RL錯(cuò)誤 時(shí)視頻編碼器20通常已處理了 RL。然而，因?yàn)橐曨l編碼器20不能夠確定E2E錯(cuò)誤反 饋中所報(bào)告的錯(cuò)誤的起源且區(qū)分RL錯(cuò)誤與FL錯(cuò)誤，所以視頻編碼器20可能會(huì)不止一 次地對(duì)同一RL錯(cuò)誤應(yīng)用錯(cuò)誤控制，這可為資源及帶寬的低效使用。舉例來(lái)說(shuō)，對(duì)同一 錯(cuò)誤兩次應(yīng)用錯(cuò)誤控制可降低視頻編碼器20的譯碼效率且致使視頻輸出48的質(zhì)量降 級(jí)。
視頻編碼器20在從解碼器系統(tǒng)14 (經(jīng)由E2E錯(cuò)誤反饋)接收RL錯(cuò)誤的報(bào)告之前校正RL錯(cuò)誤。在檢測(cè)到RL錯(cuò)誤之后相對(duì)較快地校正RL錯(cuò)誤有助于減少由丟失的包或 含有丟失數(shù)據(jù)的包所引起的假象。在圖2中所示的實(shí)例中，視頻解碼器42提供E2E錯(cuò) 誤反饋。然而，在其它實(shí)例中，解碼器系統(tǒng)14的其它組件可將E2E錯(cuò)誤反饋提供到編 碼器系統(tǒng)12。如上文所論述，視頻編碼器20可采用任何合適的技術(shù)以用于識(shí)別RL錯(cuò) 誤。在圖2中所示的實(shí)例中，視頻編碼器20查詢(xún)RLP模塊55且讀取RLP模塊55內(nèi)所 設(shè)定的旗標(biāo)，以便識(shí)別在將新近經(jīng)編碼的視頻幀傳輸?shù)紸N組件15期間(即，在RL傳 輸期間)是否發(fā)生了RL錯(cuò)誤。
錯(cuò)誤過(guò)濾器50經(jīng)配置以從視頻解碼器42接收E2E錯(cuò)誤反饋且確定錯(cuò)誤的起源。如 果錯(cuò)誤過(guò)濾器50確定所報(bào)告的E2E錯(cuò)誤發(fā)生于RL上，則視頻編碼器20可不必再次校 正RL錯(cuò)誤。然而，如果錯(cuò)誤過(guò)濾器50確定E2E錯(cuò)誤反饋中所報(bào)告的錯(cuò)誤發(fā)生于FL上， 則視頻編碼器20可校正FL錯(cuò)誤，以便停止錯(cuò)誤傳播。換句話(huà)說(shuō)，錯(cuò)誤過(guò)濾器50確定 所報(bào)告的E2E錯(cuò)誤是否已經(jīng)作為RL錯(cuò)誤的部分被校正或視頻編碼器20是否應(yīng)校正所 述錯(cuò)誤。
錯(cuò)誤過(guò)濾器50可通過(guò)至少兩種技術(shù)來(lái)持續(xù)跟蹤由視頻編碼器20校正的RL錯(cuò)誤。 在第一種技術(shù)中，錯(cuò)誤過(guò)濾器50接收在RL上丟失的視頻幀的視頻包的序列編號(hào)(SN)。 在第二種技術(shù)中，錯(cuò)誤過(guò)濾器50接收指示新近經(jīng)編碼的視頻幀是否具有RL錯(cuò)誤的信息。 圖2中展示根據(jù)第二種技術(shù)的錯(cuò)誤過(guò)濾器50。在用于識(shí)別RL錯(cuò)誤的第二種技術(shù)的一個(gè) 實(shí)例中，RTP層26A向新近經(jīng)編碼的視頻幀的最后包指派SN且將此SN提供到錯(cuò)誤過(guò) 濾器50的RL錯(cuò)誤SN提取模塊52。 RL錯(cuò)誤SN提取模塊52通過(guò)讀取編碼器系統(tǒng)12 的較低層中所設(shè)定的旗標(biāo)(例如，二進(jìn)制位字段)來(lái)確定在將與SN相關(guān)聯(lián)的經(jīng)編碼幀 傳輸?shù)紸N組件15時(shí)是否發(fā)生了 RL錯(cuò)誤(即， 一個(gè)或一個(gè)以上包或所述包內(nèi)的數(shù)據(jù)是 否丟失)。由RL錯(cuò)誤SN提取模塊52讀取的旗標(biāo)是由視頻編碼器20讀取以識(shí)別RL錯(cuò) 誤的同一旗標(biāo)。所述旗標(biāo)指示自從上次查詢(xún)較低層以來(lái)在視頻流上是否已丟失任何數(shù) 據(jù)。如果與SN相關(guān)聯(lián)的幀具有錯(cuò)誤，則RL錯(cuò)誤SN提取模塊52存儲(chǔ)所述SN。如果與 SN相關(guān)聯(lián)的幀不具有錯(cuò)誤，則RL錯(cuò)誤SN提取模塊52繼續(xù)存儲(chǔ)具有傳輸錯(cuò)誤的最近 幀的SN。存儲(chǔ)于RL錯(cuò)誤SN提取模塊52內(nèi)的SN被稱(chēng)為SN,。
在一些方面中，如果攜載用于經(jīng)編碼幀的數(shù)據(jù)的包中的任何者丟失，則視頻編碼器 20對(duì)整個(gè)視頻幀應(yīng)用錯(cuò)誤校正。因此，通過(guò)持續(xù)跟蹤包括一個(gè)或一個(gè)以上RL錯(cuò)誤的最 近經(jīng)編碼的視頻幀的最后包的SN,， RL錯(cuò)誤SN提取模塊52能夠跟蹤視頻編碼器20已 校正的RL錯(cuò)誤。舉例來(lái)說(shuō)，如果經(jīng)編碼幀被分成具有SN 101到115的包，且由SN 105 所識(shí)別的包在RL上丟失，則視頻編碼器20對(duì)所述經(jīng)編碼幀應(yīng)用錯(cuò)誤控制。因此，即使由SN 115所識(shí)別的包的傳輸不導(dǎo)致RL錯(cuò)誤，且因?yàn)镾N通常為依序的，所以也對(duì)由SN 115所識(shí)別的包應(yīng)用錯(cuò)誤控制。以此方式，錯(cuò)誤過(guò)濾器50跟蹤已被校正的RL錯(cuò)誤而非 精確跟蹤在RL中丟失哪些包。錯(cuò)誤過(guò)濾器50還可跟蹤已通過(guò)跟蹤丟失或含有錯(cuò)誤的精 確包的SN來(lái)校正的RL錯(cuò)誤。
在其它方面中，視頻編碼器20對(duì)視頻數(shù)據(jù)幀的發(fā)生錯(cuò)誤的部分應(yīng)用錯(cuò)誤校正，而 非對(duì)整個(gè)視頻幀應(yīng)用錯(cuò)誤校正。舉例來(lái)說(shuō)，視頻編碼器20可對(duì)幀中的宏塊或攜載多個(gè) 宏塊的包應(yīng)用錯(cuò)誤校正。因此，通過(guò)持續(xù)跟蹤已被校正的包或含有實(shí)際上已被校正的宏 塊的包的序列編號(hào)SN!， RL錯(cuò)誤SN提取模塊52能夠跟蹤視頻編碼器20已校正的RL 錯(cuò)誤。
視頻解碼器42以丟失的RTP包的序列編號(hào)SN2的形式將E2E錯(cuò)誤反饋報(bào)告給錯(cuò)誤 過(guò)濾器50的TX錯(cuò)誤確定模塊54。視頻解碼器42僅在存在錯(cuò)誤時(shí)發(fā)送E2E錯(cuò)誤反饋且 識(shí)別已丟失的精確包。如果丟失一個(gè)以上包，則E2E錯(cuò)誤反饋可包括一個(gè)以上SN。在 一個(gè)實(shí)例中，因?yàn)橐曨l編碼器20將對(duì)整個(gè)幀應(yīng)用錯(cuò)誤控制，所以TX錯(cuò)誤確定模塊54 將由視頻解碼器42報(bào)告的最高SN跟蹤為SN2，且最高SN表示所述視頻幀。換句話(huà)說(shuō)， 只有用以對(duì)視頻幀進(jìn)行編碼的最后包的最高SN為唯一地識(shí)別所述幀所必需的。
為了確定E2E錯(cuò)誤反饋中所報(bào)告的錯(cuò)誤是已經(jīng)被校正的RL錯(cuò)誤還是FL錯(cuò)誤，TX 錯(cuò)誤確定模塊54將在E2E錯(cuò)誤反饋中所接收的SN2與具有錯(cuò)誤的最近經(jīng)編碼的視頻幀 的最后包的SN!進(jìn)行比較。如果SN2大于SN,，則E2E錯(cuò)誤反饋中所報(bào)告的錯(cuò)誤為FL 錯(cuò)誤，因?yàn)檩^高SN2指示由SN2所識(shí)別的包在由SN!所識(shí)別的包之后被傳輸。如果在由 SN2所識(shí)別的包在RL上傳輸期間發(fā)生錯(cuò)誤，則RL錯(cuò)誤SN提取模塊52將已將SN2或 由SN2所識(shí)別的包作為其一部分的幀的最后包的SN記錄為視頻編碼器12校正的最近 RL錯(cuò)誤的最高SN。然而，因?yàn)樵谧R(shí)別最近RL錯(cuò)誤時(shí)RL錯(cuò)誤SN提取模塊52已存儲(chǔ) SNi，所以很有可能的是由SN2所識(shí)別的包內(nèi)的錯(cuò)誤發(fā)生在RL傳輸之后。因此，如果 SN2大于SNp則TX錯(cuò)誤確定模塊54向視頻編碼器20通知與SN2相關(guān)聯(lián)的錯(cuò)誤先前 尚未被校正，在此情況下，視頻編碼器20對(duì)下一經(jīng)編碼幀應(yīng)用錯(cuò)誤控制。
相反，如果SN2小于SN,，則E2E錯(cuò)誤反饋中所報(bào)告的錯(cuò)誤為已經(jīng)被校正的RL錯(cuò) 誤，因?yàn)橛蒘N2所識(shí)別的包在由SN!所識(shí)別的包之前被傳輸且因此已經(jīng)被校正。如果SN2 小于SNp則視頻編碼器20不對(duì)下一經(jīng)編碼幀應(yīng)用任何錯(cuò)誤控制。如果SN2等于SN" 則E2E錯(cuò)誤反饋中所報(bào)告的錯(cuò)誤與已經(jīng)被校正的最近RL錯(cuò)誤相同且視頻編碼器20不 對(duì)下一經(jīng)編碼幀應(yīng)用任何錯(cuò)誤控制。
錯(cuò)誤過(guò)濾器50使編碼器系統(tǒng)12能夠有效地區(qū)分RL視頻數(shù)據(jù)傳輸錯(cuò)誤與FL視頻數(shù)據(jù)傳輸錯(cuò)誤，后者包括發(fā)生于AN組件15內(nèi)的錯(cuò)誤。通過(guò)區(qū)分不同類(lèi)型的錯(cuò)誤，從 E2E錯(cuò)誤反饋中過(guò)濾出重復(fù)的錯(cuò)誤消息，進(jìn)而防止視頻編碼器20將同一錯(cuò)誤校正兩次。 以此方式，與其中視頻編碼器20校正E2E錯(cuò)誤反饋中所報(bào)告的所有錯(cuò)誤的系統(tǒng)相比， 視頻編碼器20可更有效地操作。
系統(tǒng)10任選地包括RL速率適應(yīng)模塊58及信道帶寬自適應(yīng)錯(cuò)誤控制模塊60，以使 由視頻編碼器20實(shí)施的錯(cuò)誤控制適應(yīng)信道16的可用帶寬。在圖2中所示的編碼器系統(tǒng) 12的實(shí)例中，TX錯(cuò)誤確定模塊54經(jīng)由信道帶寬自適應(yīng)錯(cuò)誤控制模塊60將反饋提供到 視頻編碼器20。在錯(cuò)誤過(guò)濾器50確定是否對(duì)來(lái)自視頻解碼器42的E2E錯(cuò)誤反饋中所 報(bào)告的錯(cuò)誤應(yīng)用錯(cuò)誤控制之后，信道帶寬自適應(yīng)錯(cuò)誤控制模塊60可指令視頻編碼器20 根據(jù)特定技術(shù)來(lái)應(yīng)用錯(cuò)誤控制，其中所述技術(shù)適應(yīng)信道16的可用帶寬。
信道條件可為有線(xiàn)及無(wú)線(xiàn)信道所關(guān)注，但對(duì)于經(jīng)由無(wú)線(xiàn)信道16執(zhí)行的移動(dòng)VT應(yīng)用 來(lái)說(shuō)尤其是成問(wèn)題的，其中信道條件可能由于衰減或擁擠而受損。舉例來(lái)說(shuō)，信道16 可特征化為反向鏈路(RL)具有根據(jù)信道條件而變化的通過(guò)量?？苫谌缬僧?dāng)前無(wú)線(xiàn)信 道傳輸速率、無(wú)線(xiàn)基站活動(dòng)及傳輸功率限制中的一者或一者以上所表示的信道條件來(lái)估 計(jì)通過(guò)量。舉例來(lái)說(shuō)，可基于當(dāng)前MAC層數(shù)據(jù)速率、反向活動(dòng)位(RAB)及功率放大 器(PA)限制來(lái)確定信道條件。
由于變化的信道條件，視頻編碼器20可調(diào)節(jié)其編碼速率，以便避免覆沒(méi)信道16。 錯(cuò)誤控制通常占據(jù)額外帶寬或另外降低譯碼效率，且因此當(dāng)信道16的帶寬變化時(shí)，信 道帶寬自適應(yīng)錯(cuò)誤控制模塊60可限制由視頻編碼器20所應(yīng)用的錯(cuò)誤控制的類(lèi)型。RL 速率適應(yīng)模塊58監(jiān)視RL條件，且信道帶寬自適應(yīng)錯(cuò)誤控制模塊60根據(jù)RL條件來(lái)調(diào) 節(jié)視頻編碼器20的編碼速率及由視頻編碼器20所應(yīng)用的錯(cuò)誤控制的類(lèi)型。舉例來(lái)說(shuō)， 當(dāng)信道帶寬受到限制時(shí)，信道帶寬自適應(yīng)錯(cuò)誤控制模塊60可指令視頻編碼器20經(jīng)由 MB內(nèi)刷新而非幀內(nèi)幀插入來(lái)應(yīng)用錯(cuò)誤控制，幀內(nèi)幀插入通常需要比MB內(nèi)刷新錯(cuò)誤控 制高的帶寬。以此方式，信道帶寬自適應(yīng)錯(cuò)誤控制模塊60使由視頻編碼器20應(yīng)用的錯(cuò) 誤控制能夠?yàn)樾诺缼捵赃m應(yīng)的。
在2006年5月31日申請(qǐng)的標(biāo)題為"對(duì)反向鏈路條件的視頻速率適應(yīng)(VIDEO RATE ADAPTATION TO REVERSE LINK CONDITIONS)"的第11/445,099號(hào)美國(guó)專(zhuān)利申請(qǐng)案 (代理人案號(hào)060767)中描述可使用的速率適應(yīng)技術(shù)的實(shí)例。如上文引用的專(zhuān)利申請(qǐng)案 中所描述，在用于調(diào)適由視頻編碼器20所實(shí)施的視頻數(shù)據(jù)編碼速率以匹配RL信道條件 的一種實(shí)例性技術(shù)中，基于視頻流RLP隊(duì)列28 (圖1)的總大小來(lái)估計(jì)視頻通過(guò)量。在 此情況下，將隊(duì)列充滿(mǎn)度用作RL信道條件的指示。隊(duì)列充滿(mǎn)度可能是至少部分地由降級(jí)的信道條件引起的，所述降級(jí)的信道條件降低從RLP隊(duì)列28拉出包的速率。
在另一實(shí)例性技術(shù)中，視頻編碼器20可使用來(lái)自MAC層30及RLP層26的信息 來(lái)監(jiān)視RL信道條件且根據(jù)信道條件來(lái)調(diào)節(jié)其編碼速率。舉例來(lái)說(shuō)，可基于當(dāng)前MAC 層數(shù)據(jù)速率、反向活動(dòng)位(RAB)及功率放大器(PA)限制(其由MAC層30內(nèi)的PA 位指示)來(lái)確定信道條件。PA限制表示傳輸功率余裕空間且指示信道條件何時(shí)已降級(jí)。 功率余?？臻g限制以分貝(dB)來(lái)測(cè)量且限制MAC層包的最大可能有效負(fù)載大小。功 率余?？臻g限制值越低，最大可能有效負(fù)載大小就越小，且因此通過(guò)量就越低。余?？?間限制可基于當(dāng)前傳輸功率而指示允許用于傳輸?shù)淖畲笏俾省?br> 圖3為說(shuō)明采用用于從E2E錯(cuò)誤反饋中過(guò)濾RL錯(cuò)誤的技術(shù)的編碼器裝置12的實(shí) 例性操作的流程圖。在用從視頻源18接收的經(jīng)編碼的視頻數(shù)據(jù)幀產(chǎn)生一個(gè)或一個(gè)以上 包(61)后，RTP層26A便向新近經(jīng)編碼的視頻幀的最后包指派序列編號(hào)SNEF (62)， 且將SNef提供到RL錯(cuò)誤SN提取模塊52。在將經(jīng)編碼的視頻幀轉(zhuǎn)換成PHY層包之后， 編碼器系統(tǒng)12經(jīng)由AN組件15及信道16將所述視頻幀傳輸?shù)浇獯a器系統(tǒng)14 (64)。
視頻編碼器20可確定在將新近經(jīng)編碼幀的包傳輸?shù)浇獯a器系統(tǒng)14期間是否發(fā)生 RL傳輸錯(cuò)誤(66)。如上文所描述，視頻編碼器20可采用用于識(shí)別RL錯(cuò)誤的任何合適 技術(shù)，例如查詢(xún)編碼器系統(tǒng)12的較低層(例如，RLP模塊55)以檢查指示是否發(fā)生錯(cuò) 誤的旗標(biāo)。如果發(fā)生錯(cuò)誤(例如，如果較低層內(nèi)的旗標(biāo)被設(shè)定)，則視頻編碼器20可通 過(guò)(例如)針對(duì)經(jīng)編碼的下一視頻幀使用不同參考幀、應(yīng)用MB內(nèi)刷新或插入I幀以停 止錯(cuò)誤傳播來(lái)對(duì)RL傳輸錯(cuò)誤應(yīng)用錯(cuò)誤校正(68)。
RL錯(cuò)誤SN提取模塊52還可確定在將新近經(jīng)編碼的視頻幀傳輸?shù)浇獯a器系統(tǒng)14 時(shí)是否發(fā)生了傳輸錯(cuò)誤。再次，RL錯(cuò)誤SN提取模塊52還可查詢(xún)編碼器系統(tǒng)12的較低 層以確定是否發(fā)生了傳輸錯(cuò)誤。如果發(fā)生了傳輸錯(cuò)誤，則RL錯(cuò)誤SN提取模塊52將snef 記錄為SN!。如果在將最近經(jīng)編碼幀傳輸?shù)浇獯a器系統(tǒng)14時(shí)未發(fā)生傳輸錯(cuò)誤，則RL錯(cuò) 誤SN提取模塊52維持先前記錄的與具有RL傳輸錯(cuò)誤的最近幀相關(guān)聯(lián)的SN! (70)。
錯(cuò)誤過(guò)濾器50的TX錯(cuò)誤確定模塊54可從解碼器系統(tǒng)14接收E2E錯(cuò)誤反饋，其 中E2E錯(cuò)誤反饋包括丟失的包或含有丟失的數(shù)據(jù)的包的序列編號(hào)SN2。錯(cuò)誤過(guò)濾器50 (且明確地說(shuō)，TX錯(cuò)誤確定模塊54)將SN!與SN2進(jìn)行比較(72)以確定E2E錯(cuò)誤反 饋中所報(bào)告的錯(cuò)誤是否為已經(jīng)由視頻編碼器20校正的RL錯(cuò)誤。如果SN!小于SN2(74)， 則E2E錯(cuò)誤反饋中所報(bào)告的錯(cuò)誤為尚未被校正的FL錯(cuò)誤。TX錯(cuò)誤確定模塊54通知視 頻編碼器20在E2E錯(cuò)誤反饋中所報(bào)告的錯(cuò)誤為FL鏈路錯(cuò)誤，且視頻編碼器20接著可 對(duì)隨后編碼的幀應(yīng)用錯(cuò)誤控制(76)以停止錯(cuò)誤傳播。也就是說(shuō)，如果SN!大于或等于SN2,則視頻編碼器20可(a)針對(duì)新幀使用不同參考幀，(b)增加宏塊(MB)幀內(nèi)刷 新速率，或(c)插入幀內(nèi)幀(I幀)以在解碼器系統(tǒng)14處停止錯(cuò)誤傳播。
如果SN2大于或等于SN,，則E2E錯(cuò)誤反饋中所報(bào)告的錯(cuò)誤為已經(jīng)被校正的RL錯(cuò) 誤，且視頻編碼器20不采取任何動(dòng)作來(lái)校正錯(cuò)誤。如果SN2等于SN,，則包括E2E錯(cuò) 誤反饋中所報(bào)告的包的幀為具有視頻編碼器20已經(jīng)校正的RL錯(cuò)誤的最近幀，且視頻編 碼器20不采取任何進(jìn)一步動(dòng)作來(lái)校正與SN2相關(guān)聯(lián)的視頻包。
圖3的流程圖中所示的過(guò)程可發(fā)生于任何合適的時(shí)間間隔內(nèi)。在一個(gè)實(shí)例中，在從 視頻編碼器20產(chǎn)生視頻幀(61)的時(shí)間開(kāi)始的約660毫秒內(nèi)校正E2E錯(cuò)誤反饋中所報(bào) 告的錯(cuò)誤(如果必要的話(huà))。在660毫秒時(shí)間幀之后，可針對(duì)另一視頻數(shù)據(jù)幀而重復(fù)所 述過(guò)程。RL錯(cuò)誤SN提取模塊52內(nèi)的SN緩沖器保留先前記錄的SN,，直到SN,由最 近RL錯(cuò)誤的SN蓋寫(xiě)為止。
圖4為說(shuō)明采用用于從E2E錯(cuò)誤反饋中過(guò)濾RL錯(cuò)誤的另一技術(shù)的編碼器系統(tǒng)12 的另一實(shí)例性操作的流程圖。圖4中所示的過(guò)程大致上與圖3中所示的過(guò)程一致，但不 同之處在于，錯(cuò)誤過(guò)濾器50通過(guò)含有錯(cuò)誤的包的序列編號(hào)SN3 (而非包括錯(cuò)誤的最近視 頻數(shù)據(jù)幀的最后包)來(lái)識(shí)別由視頻編碼器20校正的最近RL錯(cuò)誤。在視頻編碼器20從 自視頻源18接收的數(shù)據(jù)產(chǎn)生視頻幀(61)之后，編碼器系統(tǒng)12經(jīng)由AN組件15及信 道16將視頻幀傳輸?shù)浇獯a器系統(tǒng)14 (64)。
與圖3中所示的實(shí)例性流程圖相反，在圖4的流程圖中所示的操作中，視頻編碼器 20通過(guò)含有丟失的數(shù)據(jù)的精確包的序列編號(hào)SN3 (而非包括錯(cuò)誤的最近經(jīng)編碼幀的最后 包的SNO來(lái)識(shí)別RL錯(cuò)誤(80)。在圖4中所示的編碼器系統(tǒng)12的操作中，視頻編碼 器20可經(jīng)配置以對(duì)由序列編號(hào)SN3所識(shí)別的包應(yīng)用錯(cuò)誤校正，而非對(duì)整個(gè)視頻幀應(yīng)用 錯(cuò)誤校正，整個(gè)視頻幀可跨越多個(gè)包，如同在圖3中所示的實(shí)例中。然而，作為替代， 即使含有丟失的數(shù)據(jù)的精確包的序列編號(hào)SN3由RL錯(cuò)誤SN提取模塊52識(shí)別且跟蹤， 視頻編碼器20仍可對(duì)整個(gè)視頻幀應(yīng)用錯(cuò)誤校正。
在一個(gè)實(shí)例中，AN組件15在發(fā)生傳輸錯(cuò)誤時(shí)將NAK發(fā)送到MAC層30，其向PCP 模塊56通知與所述NAK相關(guān)聯(lián)的MAC包。在PCP模塊56確定MAC包包括視頻數(shù)據(jù) 之后，PCP模塊56用RLP包NAK向RLP模塊55通知哪一 RLP隊(duì)列含有在傳輸中經(jīng) 歷錯(cuò)誤的包。RLP模塊55確定哪一包含有丟失的數(shù)據(jù)或哪一包丟失，其使RLP模塊55 能夠確定包的序列編號(hào)SN3。識(shí)別丟失的包或含有錯(cuò)誤的包的SN3的技術(shù)的實(shí)施可能比 識(shí)別包括錯(cuò)誤的視頻幀的最后包的SN!的技術(shù)的實(shí)施更復(fù)雜，因?yàn)榍罢呒夹g(shù)可能需要修 改RTP層26A及RLP模塊55。RL錯(cuò)誤SN提取模塊52記錄含有丟失的數(shù)據(jù)的精確包的SN3 (82)。圖4中所示的 流程圖的剩余部分類(lèi)似于圖3中所示的部分。明確地說(shuō)，視頻編碼器20使用任何合適 技術(shù)來(lái)校正RL錯(cuò)誤(68)，錯(cuò)誤過(guò)濾器50從視頻解碼器42接收指示含有丟失的視頻數(shù) 據(jù)的包的S&的E2E錯(cuò)誤反饋(72)，且將SN3與SN2進(jìn)行比較以確定E2E錯(cuò)誤反饋中 所報(bào)告的錯(cuò)誤是否為已由視頻編碼器20校正的RL錯(cuò)誤(74)。如果SN3大于或等于SN2， 則由SN2所識(shí)別的含有錯(cuò)誤的包為RL錯(cuò)誤，且視頻編碼器20不采取任何校正動(dòng)作。
如果SN3小于SN2，則包括丟失的數(shù)據(jù)并具有SN2的包為FL錯(cuò)誤的結(jié)果，所述FL 錯(cuò)誤尚未由視頻編碼器20校正。錯(cuò)誤過(guò)濾器50接著可提示視頻編碼器20對(duì)E2E錯(cuò)誤 反饋中所報(bào)告的錯(cuò)誤應(yīng)用錯(cuò)誤校正，以便防止錯(cuò)誤進(jìn)一步傳播(76)。明確地說(shuō)，錯(cuò)誤 過(guò)濾器50可提示信道帶寬自適應(yīng)錯(cuò)誤控制模塊60，所述模塊60接著提示視頻編碼器。 如先前所論述，RL速率適應(yīng)模塊58監(jiān)視RL條件且信道帶寬自適應(yīng)錯(cuò)誤控制模塊60 根據(jù)RL條件來(lái)調(diào)節(jié)視頻編碼器20的編碼速率。因此，信道帶寬自適應(yīng)錯(cuò)誤控制模塊 60可在提示視頻編碼器20應(yīng)用錯(cuò)誤控制之前基于來(lái)自RL速率適應(yīng)模塊58的反饋而確 定RL上的信道16的可用帶寬(73)。盡管未在圖3中展示，但其中所示的過(guò)程還可包 括在提示視頻編碼器20應(yīng)用錯(cuò)誤控制之前確定RL上的信道16的可用帶寬。
本發(fā)明中所描述的技術(shù)可在通用微處理器、數(shù)字信號(hào)處理器(DSP)、專(zhuān)用集成電路 (ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)或其它等效邏輯裝置內(nèi)實(shí)施。舉例來(lái)說(shuō)，視頻編 碼器裝置12、視頻解碼器裝置14以及相關(guān)聯(lián)的組件及模塊可作為在DSP或其它處理裝 置上運(yùn)行的編碼過(guò)程或者譯碼/解碼(CODEC)過(guò)程的部分來(lái)實(shí)施。因此，描述為模塊 的組件可形成例如過(guò)程或單獨(dú)過(guò)程的可編程特征。
在一個(gè)或一個(gè)以上實(shí)例中，所描述的功能可以硬件、軟件、固件或其任何組合來(lái)實(shí) 施。如果以軟件實(shí)施，則所述功能可作為一個(gè)或一個(gè)以上指令或代碼而存儲(chǔ)于計(jì)算機(jī)可 讀媒體上或經(jīng)由計(jì)算機(jī)可讀媒體來(lái)傳輸。計(jì)算機(jī)可讀媒體包括計(jì)算機(jī)存儲(chǔ)媒體與通信媒 體兩者，其包括有助于將計(jì)算機(jī)程序從一個(gè)位置傳送到另一位置的任何媒體。存儲(chǔ)媒體 可為可由計(jì)算機(jī)存取的任何可用媒體。以實(shí)例方式而非以限制方式，所述計(jì)算機(jī)可讀媒 體可包含RAM、 ROM、 EEPROM、 CD-ROM或其它光盤(pán)存儲(chǔ)裝置、磁盤(pán)存儲(chǔ)裝置或其 它磁性存儲(chǔ)裝置，或可用于以指令或數(shù)據(jù)結(jié)構(gòu)的形式攜載或存儲(chǔ)所需程序代碼并可由計(jì) 算機(jī)存取的任何其它媒體。而且，將任何連接適當(dāng)?shù)胤Q(chēng)為計(jì)算機(jī)可讀媒體。舉例來(lái)說(shuō)， 如果使用同軸電纜、光纖電纜、雙絞線(xiàn)、數(shù)字訂戶(hù)線(xiàn)(DSL)或例如紅外線(xiàn)、無(wú)線(xiàn)電及 微波等無(wú)線(xiàn)技術(shù)來(lái)從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程源傳輸軟件，則將同軸電纜、光纖電纜、 雙絞線(xiàn)、DSL或例如紅外線(xiàn)、無(wú)線(xiàn)電及微波等無(wú)線(xiàn)技術(shù)包括于媒體的定義中。如本文中所使用的磁盤(pán)及光盤(pán)包括壓縮光盤(pán)(CD)、激光光盤(pán)、光盤(pán)、數(shù)字通用光盤(pán)(DVD)、 軟盤(pán)及藍(lán)色射線(xiàn)(blu-ray)光盤(pán)，其中磁盤(pán)通常以磁性方式再生數(shù)據(jù)，而光盤(pán)以光學(xué)方 式利用激光來(lái)再生數(shù)據(jù)。還應(yīng)將以上各項(xiàng)的組合包括于計(jì)算機(jī)可讀媒體的范圍內(nèi)。如本 文中所使用，媒體包括有助于將計(jì)算機(jī)程序從一個(gè)位置傳送到另一位置的任何媒體。 已描述了本發(fā)明的各種實(shí)例。這些及其它實(shí)例屬于所附權(quán)利要求書(shū)的范圍內(nèi)。
權(quán)利要求
1.一種方法，其包含接收對(duì)視頻解碼器所檢測(cè)的視頻數(shù)據(jù)錯(cuò)誤的指示；確定所述視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于視頻編碼器與網(wǎng)絡(luò)裝置之間的無(wú)線(xiàn)網(wǎng)絡(luò)的反向鏈路上；及如果所述視頻數(shù)據(jù)錯(cuò)誤不是發(fā)生于所述反向鏈路上，則響應(yīng)于對(duì)所述視頻數(shù)據(jù)錯(cuò)誤的指示而應(yīng)用錯(cuò)誤控制，且如果所述視頻數(shù)據(jù)錯(cuò)誤發(fā)生于所述反向鏈路上，則不響應(yīng)于所述視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制。
2. 根據(jù)權(quán)利要求1所述的方法，其中如果所述視頻數(shù)據(jù)錯(cuò)誤發(fā)生于所述無(wú)線(xiàn)網(wǎng)絡(luò)的所 述反向鏈路上，則所述方法進(jìn)一步包含在從所述視頻解碼器接收對(duì)所述視頻數(shù)據(jù)錯(cuò) 誤的所述指示之前存儲(chǔ)與所述視頻數(shù)據(jù)錯(cuò)誤相關(guān)的信息，且其中確定所述視頻數(shù)據(jù) 錯(cuò)誤是否發(fā)生于所述反向鏈路上是基于所述所存儲(chǔ)的信息。
3. 根據(jù)權(quán)利要求2所述的方法，其進(jìn)一步包含在從所述視頻解碼器接收對(duì)所述視頻數(shù) 據(jù)錯(cuò)誤的所述指示之前響應(yīng)于所述視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制。
4. 根據(jù)權(quán)利要求1所述的方法，其中所述視頻數(shù)據(jù)錯(cuò)誤為第一視頻數(shù)據(jù)錯(cuò)誤，且所述 方法進(jìn)一步包含在從所述視頻解碼器接收對(duì)所述視頻數(shù)據(jù)錯(cuò)誤的所述指示之前存 儲(chǔ)與發(fā)生于所述無(wú)線(xiàn)網(wǎng)絡(luò)的所述反向鏈路上的第二視頻數(shù)據(jù)錯(cuò)誤相關(guān)的信息，且其 中確定所述第一視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于所述反向鏈路上是基于所述所存儲(chǔ)的信 息。
5. 根據(jù)權(quán)利要求4所述的方法，其進(jìn)一步包含響應(yīng)于所述第二視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò) 誤控制。
6. 根據(jù)權(quán)利要求4所述的方法，其中對(duì)所述第一視頻數(shù)據(jù)錯(cuò)誤的所述指示包括與所述 第一視頻數(shù)據(jù)錯(cuò)誤相關(guān)聯(lián)的第一包的第一序列編號(hào)，且所述信息包含與所述第二視 頻數(shù)據(jù)錯(cuò)誤相關(guān)聯(lián)的第二包的第二序列編號(hào)，且確定所述第一視頻數(shù)據(jù)錯(cuò)誤是否發(fā) 生于所述反向鏈路上包含對(duì)所述第一與第二序列編號(hào)進(jìn)行比較。
7. 根據(jù)權(quán)利要求6所述的方法，其中所述第一包包含所述第一視頻數(shù)據(jù)錯(cuò)誤。
8. 根據(jù)權(quán)利要求6所述的方法，其中所述第二包是經(jīng)編碼的視頻數(shù)據(jù)幀的最后包，其 中所述第二視頻數(shù)據(jù)錯(cuò)誤發(fā)生于所述經(jīng)編碼幀內(nèi)。
9. 根據(jù)權(quán)利要求6所述的方法，其中所述第二包包含所述第二視頻數(shù)據(jù)錯(cuò)誤。
10. 根據(jù)權(quán)利要求4所述的方法，其中存儲(chǔ)與所述第二視頻數(shù)據(jù)錯(cuò)誤相關(guān)的所述信息包 含向經(jīng)編碼的視頻數(shù)據(jù)幀的最后包指派序列編號(hào)； 經(jīng)由所述無(wú)線(xiàn)網(wǎng)絡(luò)傳輸所述經(jīng)編碼幀；確定所述經(jīng)編碼幀經(jīng)由所述無(wú)線(xiàn)網(wǎng)絡(luò)的所述反向鏈路的傳輸是否導(dǎo)致所述第二 視頻數(shù)據(jù)錯(cuò)誤；及如果所述經(jīng)編碼幀經(jīng)由所述無(wú)線(xiàn)網(wǎng)絡(luò)的所述反向鏈路的所述傳輸導(dǎo)致所述第二 視頻數(shù)據(jù)錯(cuò)誤，則存儲(chǔ)所述序列編號(hào)。
11. 根據(jù)權(quán)利要求IO所述的方法，其中確定所述經(jīng)編碼幀的傳輸是否導(dǎo)致所述第二視 頻數(shù)據(jù)錯(cuò)誤包含檢查是否在無(wú)線(xiàn)電鏈路協(xié)議模塊中設(shè)定旗標(biāo)。
12. 根據(jù)權(quán)利要求1所述的方法，其中如果所述視頻數(shù)據(jù)錯(cuò)誤不是發(fā)生于所述反向鏈路 上則響應(yīng)于所述視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制包含基于所述無(wú)線(xiàn)網(wǎng)絡(luò)的可用帶寬 而選擇錯(cuò)誤控制技術(shù)。
13. 根據(jù)權(quán)利要求l所述的方法，其進(jìn)一步包含-對(duì)視頻數(shù)據(jù)幀進(jìn)行編碼以產(chǎn)生經(jīng)編碼幀； 用所述經(jīng)編碼幀的至少一部分產(chǎn)生包；及經(jīng)由所述無(wú)線(xiàn)網(wǎng)絡(luò)將所述包傳輸?shù)剿鲆曨l解碼器，其中所述視頻數(shù)據(jù)錯(cuò)誤發(fā)生 于所述經(jīng)編碼幀內(nèi)。
14. 根據(jù)權(quán)利要求13所述的方法，其中在對(duì)后續(xù)視頻數(shù)據(jù)幀進(jìn)行編碼之前，所述方法 包含確定經(jīng)由所述無(wú)線(xiàn)網(wǎng)絡(luò)的所述反向鏈路傳輸所述包是否導(dǎo)致所述視頻數(shù)據(jù)錯(cuò)誤。
15. 根據(jù)權(quán)利要求14所述的方法，其中確定經(jīng)由所述無(wú)線(xiàn)網(wǎng)絡(luò)的所述反向鏈路傳輸所 述包是否導(dǎo)致所述視頻數(shù)據(jù)錯(cuò)誤包含確定媒體接入控制(MAC)層是否從所述無(wú)線(xiàn)網(wǎng)絡(luò)接收到否定應(yīng)答(NAK);及 確定所述所接收的NAK是否與所述包相關(guān)聯(lián)。
16. 根據(jù)權(quán)利要求15所述的方法，其中確定所述MAC層是否從所述無(wú)線(xiàn)網(wǎng)絡(luò)接收到 所述NAK包含檢查在無(wú)線(xiàn)電鏈路協(xié)議(RLP)模塊中是否設(shè)定旗標(biāo)。
17. 根據(jù)權(quán)利要求1所述的方法，其中所述錯(cuò)誤控制包含以下各項(xiàng)中的至少一者將視 頻數(shù)據(jù)幀編碼為幀內(nèi)幀；增加經(jīng)幀內(nèi)譯碼的宏塊的百分比；或?qū)⒃诎鲆曨l數(shù) 據(jù)錯(cuò)誤的第二視頻數(shù)據(jù)幀之前編碼的第一經(jīng)編碼視頻數(shù)據(jù)幀用作參考以用于運(yùn)動(dòng) 估計(jì)。
18. —種系統(tǒng)，其包含收發(fā)器，其用以接收對(duì)視頻解碼器所檢測(cè)的視頻數(shù)據(jù)錯(cuò)誤的指示；視頻編碼器；及錯(cuò)誤過(guò)濾器，其用以確定所述視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于所述視頻編碼器與網(wǎng)絡(luò)裝 置之間的無(wú)線(xiàn)網(wǎng)絡(luò)的反向鏈路上，其中所述視頻編碼器經(jīng)配置以在所述視頻數(shù)據(jù)錯(cuò)誤不是發(fā)生于所述反向鏈路上 的情況下響應(yīng)于對(duì)所述視頻數(shù)據(jù)錯(cuò)誤的所述指示而應(yīng)用錯(cuò)誤控制。
19. 根據(jù)權(quán)利要求18所述的系統(tǒng)，其中如果所述視頻數(shù)據(jù)錯(cuò)誤發(fā)生于所述無(wú)線(xiàn)網(wǎng)絡(luò)的 所述反向鏈路上，則所述錯(cuò)誤過(guò)濾器在從所述視頻解碼器接收對(duì)所述視頻數(shù)據(jù)錯(cuò)誤 的所述指示之前存儲(chǔ)與所述視頻數(shù)據(jù)錯(cuò)誤相關(guān)的信息。
20. 根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述視頻編碼器經(jīng)配置以對(duì)視頻數(shù)據(jù)幀進(jìn)行編 碼，且所述系統(tǒng)進(jìn)一步包含用以用所述經(jīng)編碼幀的至少一部分產(chǎn)生包的模塊，所述 收發(fā)器經(jīng)配置以經(jīng)由無(wú)線(xiàn)網(wǎng)絡(luò)將所述包傳輸?shù)剿鲆曨l解碼器，且所述信息包含所 述經(jīng)編碼幀的最后包的序列編號(hào)。
21. 根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述視頻數(shù)據(jù)錯(cuò)誤為第一視頻數(shù)據(jù)錯(cuò)誤，且所 述錯(cuò)誤過(guò)濾器經(jīng)配置以存儲(chǔ)與發(fā)生于所述無(wú)線(xiàn)網(wǎng)絡(luò)的所述反向鏈路上的第二視頻 數(shù)據(jù)錯(cuò)誤相關(guān)的信息且基于所述所存儲(chǔ)的信息而確定所述第一視頻數(shù)據(jù)錯(cuò)誤是否 發(fā)生于所述反向鏈路上。
22. 根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述視頻編碼器經(jīng)配置以對(duì)視頻數(shù)據(jù)幀進(jìn)行編 碼，且所述系統(tǒng)進(jìn)一步包含用以用所述經(jīng)編碼幀的至少一部分產(chǎn)生包的模塊，所述 收發(fā)器經(jīng)配置以經(jīng)由無(wú)線(xiàn)網(wǎng)絡(luò)將所述包傳輸?shù)剿鲆曨l解碼器，且如果所述經(jīng)編碼 視頻幀經(jīng)由所述無(wú)線(xiàn)網(wǎng)絡(luò)的所述傳輸導(dǎo)致所述第二視頻數(shù)據(jù)錯(cuò)誤，則所述信息包含 所述經(jīng)編碼幀的最后包的序列編號(hào)。
23. 根據(jù)權(quán)利要求22所述的系統(tǒng)，所述系統(tǒng)進(jìn)一步包含無(wú)線(xiàn)電鏈路協(xié)議(RLP)模塊 及媒體接入控制(MAC)層，其中所述RLP模塊經(jīng)配置以確定所述MAC層是否 從所述網(wǎng)絡(luò)裝置接收到否定應(yīng)答(NAK)且確定所述NAK是否與所述包相關(guān)聯(lián)， 以便確定在經(jīng)由所述無(wú)線(xiàn)網(wǎng)絡(luò)傳輸所述包時(shí)是否發(fā)生了所述第二視頻數(shù)據(jù)錯(cuò)誤。
24. 根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述包為第一包，且對(duì)所述視頻數(shù)據(jù)錯(cuò)誤的所 述指示包含包括丟失的數(shù)據(jù)的第二包的序列編號(hào)。
25. 根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述視頻數(shù)據(jù)錯(cuò)誤為第一視頻數(shù)據(jù)錯(cuò)誤，且所 述序列編號(hào)為第一序列編號(hào)，所述錯(cuò)誤過(guò)濾器包含第一模塊，其用以從所述收發(fā)器接收所述第一序列編號(hào)；及 第二模塊，其用以接收識(shí)別包含發(fā)生于所述反向鏈路上的第二視頻數(shù)據(jù)錯(cuò)誤的最近經(jīng)編碼的視頻數(shù)據(jù)幀的最后包的第二序列編號(hào)，其中所述錯(cuò)誤過(guò)濾器經(jīng)配置以對(duì)所述第一與第二序列編號(hào)進(jìn)行比較，以確定所述第一視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于所述反向鏈路上。
26. 根據(jù)權(quán)利要求25所述的系統(tǒng)，所述系統(tǒng)進(jìn)一步包含用以向所述最后包指派所述第 二序列編號(hào)并將所述第二序列編號(hào)提供到所述第二模塊的實(shí)時(shí)傳送協(xié)議(RTP)層， 其中所述第二模塊通過(guò)檢查是否在無(wú)線(xiàn)電鏈路協(xié)議模塊中設(shè)定旗標(biāo)來(lái)確定所述第二視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生。
27. 根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述視頻編碼器經(jīng)配置以對(duì)視頻數(shù)據(jù)幀進(jìn)行編 碼，且所述系統(tǒng)進(jìn)一步包含用以用所述經(jīng)編碼幀的至少一部分產(chǎn)生包的模塊，所述 收發(fā)器經(jīng)配置以經(jīng)由無(wú)線(xiàn)網(wǎng)絡(luò)將所述包傳輸?shù)剿鲆曨l解碼器，其中所述視頻數(shù)據(jù) 錯(cuò)誤為第一視頻數(shù)據(jù)錯(cuò)誤且所述序列編號(hào)為第一序列編號(hào)，且所述錯(cuò)誤過(guò)濾器包 含第一模塊，其用以從所述收發(fā)器接收所述第一序列編號(hào)及第二模塊，其用以在所述包經(jīng)由所述無(wú)線(xiàn)網(wǎng)絡(luò)的所述反向鏈路的傳輸導(dǎo)致第二視頻數(shù)據(jù)錯(cuò)誤的情況下接收識(shí)別所述視頻數(shù)據(jù)幀的所述包的第二序列編號(hào)，其中所述錯(cuò)誤過(guò)濾器經(jīng)配置以對(duì)所述第一與第二序列編號(hào)進(jìn)行比較，以確定所述 第一視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于所述反向鏈路上。
28. 根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述視頻數(shù)據(jù)錯(cuò)誤為第一視頻數(shù)據(jù)錯(cuò)誤，所述 包為第一包，且所述序列編號(hào)為第一序列編號(hào)，所述錯(cuò)誤過(guò)濾器包含-第一模塊，其用以從所述收發(fā)器接收所述第一序列編號(hào)；及 第二模塊，其用以接收識(shí)別包含發(fā)生于所述反向鏈路上的第二視頻數(shù)據(jù)錯(cuò)誤的第二包的第二序列編號(hào)，其中所述錯(cuò)誤過(guò)濾器經(jīng)配置以對(duì)所述第一與第二序列編號(hào)進(jìn)行比較，以確定所述第一視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于所述反向鏈路上。
29. 根據(jù)權(quán)利要求18所述的系統(tǒng)，其進(jìn)一步包含-第一模塊，其用以監(jiān)視所述無(wú)線(xiàn)網(wǎng)絡(luò)的條件；及第二模塊，其用以基于所述無(wú)線(xiàn)網(wǎng)絡(luò)的所述條件而選擇所述視頻編碼器所應(yīng)用的 錯(cuò)誤控制技術(shù)。
30. 根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述錯(cuò)誤控制包含以下各項(xiàng)中的至少一者將 視頻數(shù)據(jù)幀編碼為幀內(nèi)幀；增加經(jīng)幀內(nèi)譯碼的宏塊的百分比；或?qū)⒃诎鲆曨l 數(shù)據(jù)錯(cuò)誤的第二視頻數(shù)據(jù)幀之前編碼的第一視頻數(shù)據(jù)幀用作參考以用于運(yùn)動(dòng)估計(jì)。
31. —種計(jì)算機(jī)程序產(chǎn)品，其包含計(jì)算機(jī)可讀媒體，其包含用以致使計(jì)算機(jī)接收對(duì)視頻解碼器所檢測(cè)的視頻數(shù)據(jù)錯(cuò)誤的指示的指令； 用以致使計(jì)算機(jī)確定所述視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于視頻編碼器與網(wǎng)絡(luò)裝置之間的無(wú)線(xiàn)網(wǎng)絡(luò)的反向鏈路上的指令；及用以致使計(jì)算機(jī)在所述視頻數(shù)據(jù)錯(cuò)誤不是發(fā)生于所述反向鏈路上的情況下響應(yīng)于所述視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制且在所述視頻數(shù)據(jù)錯(cuò)誤發(fā)生于所述反向鏈路上的情況下不響應(yīng)于所述視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制的指令。
32. 根據(jù)權(quán)利要求31所述的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)可讀媒體進(jìn)一步包含用以致 使計(jì)算機(jī)監(jiān)視所述無(wú)線(xiàn)網(wǎng)絡(luò)的條件且基于所述無(wú)線(xiàn)網(wǎng)絡(luò)的所述條件而選擇所述錯(cuò) 誤控制的指令。
33. —種系統(tǒng)，其包含-用于接收對(duì)視頻解碼器所檢測(cè)的視頻數(shù)據(jù)錯(cuò)誤的指示的裝置； 用于確定所述視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于視頻編碼器與網(wǎng)絡(luò)裝置之間的無(wú)線(xiàn)網(wǎng)絡(luò)的反向鏈路上的裝置；及用于在所述視頻數(shù)據(jù)錯(cuò)誤不是發(fā)生于所述反向鏈路上的情況下響應(yīng)于所述視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制且在所述視頻數(shù)據(jù)錯(cuò)誤發(fā)生于所述反向鏈路上的情況下不響應(yīng)于所述視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制的裝置。
全文摘要
本發(fā)明揭示一種用于響應(yīng)于視頻數(shù)據(jù)錯(cuò)誤而實(shí)施錯(cuò)誤控制的技術(shù)，所述技術(shù)包含從視頻解碼器接收對(duì)視頻數(shù)據(jù)錯(cuò)誤的指示；確定所述視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于視頻編碼器與網(wǎng)絡(luò)裝置之間的無(wú)線(xiàn)網(wǎng)絡(luò)的反向鏈路上；以及如果所述視頻數(shù)據(jù)錯(cuò)誤不是發(fā)生于所述反向鏈路上，則響應(yīng)于所述視頻數(shù)據(jù)錯(cuò)誤而應(yīng)用錯(cuò)誤控制。舉例來(lái)說(shuō)，對(duì)所述視頻數(shù)據(jù)錯(cuò)誤的所述指示可包括包含丟失的數(shù)據(jù)的包的第一序列編號(hào)(SN)，且確定所述視頻數(shù)據(jù)錯(cuò)誤是否發(fā)生于所述反向鏈路上可包括將第一SN與同最近RL錯(cuò)誤相關(guān)聯(lián)的包的第二SN進(jìn)行比較。
文檔編號(hào)H04N7/64GK101589616SQ200880002755
公開(kāi)日2009年11月25日 申請(qǐng)日期2008年1月22日 優(yōu)先權(quán)日2007年1月22日
發(fā)明者尼古拉·康拉德·內(nèi)波穆塞諾·梁, 李彥輯 申請(qǐng)人:高通股份有限公司