專利名稱：通過(guò)過(guò)濾器選擇進(jìn)行的視頻編碼的制作方法
技術(shù)領(lǐng)域：
本申請(qǐng)案涉及視頻編碼，更具體來(lái)說(shuō)，涉及用于在視頻壓縮系統(tǒng)中內(nèi)插參考幀的 技術(shù)。
背景技術(shù)：
可將數(shù)字視頻能力并入廣泛的裝置中，包括數(shù)字電視、數(shù)字直播系統(tǒng)、無(wú)線通信裝 置、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)、桌上型計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、蜂窩式或 衛(wèi)星無(wú)線電電話等。這些和其它數(shù)字視頻裝置可在產(chǎn)生、修改、發(fā)射、存儲(chǔ)、記錄和播放全運(yùn) 動(dòng)視頻序列方面提供優(yōu)于常規(guī)模擬視頻系統(tǒng)的顯著改進(jìn)。已建立若干不同視頻編碼標(biāo)準(zhǔn)以用于傳送數(shù)字視頻序列。運(yùn)動(dòng)圖片專家組(MPEG) (例如)已開(kāi)發(fā)出包括MPEG-I、MPEG-2和MPEG-4的若干標(biāo)準(zhǔn)。其它標(biāo)準(zhǔn)包括ITUH. 263,由 加利福尼亞州庫(kù)珀蒂諾市的Apple Computer開(kāi)發(fā)的QuickTime 技術(shù)、由華盛頓州雷蒙德 市的Microsoft公司開(kāi)發(fā)的用于Windows. 的視頻、由htel公司開(kāi)發(fā)的hdeo 、來(lái)自華 盛頓州西雅圖市的RealNetworks有限公司的RealVideo ，和由SuperMac有限公司開(kāi)發(fā)的 Cin印ak 。這些和其它標(biāo)準(zhǔn)(包括仍待開(kāi)發(fā)的標(biāo)準(zhǔn))將繼續(xù)演進(jìn)。視頻編碼標(biāo)準(zhǔn)通過(guò)以壓縮方式編碼數(shù)據(jù)來(lái)實(shí)現(xiàn)增加的發(fā)射速率。壓縮可減少需要 發(fā)射的數(shù)據(jù)的總量以用于圖像幀的有效發(fā)射。MPEG標(biāo)準(zhǔn)(例如)利用經(jīng)設(shè)計(jì)以促進(jìn)比在無(wú) 壓縮的情況下可實(shí)現(xiàn)的帶寬窄的帶寬上的視頻和圖像發(fā)射的圖形和視頻壓縮技術(shù)。具體來(lái) 說(shuō)，MPEG標(biāo)準(zhǔn)并入有利用連續(xù)圖像幀之間的類似性(稱作時(shí)間或幀間相關(guān))的視頻編碼技 術(shù)，以提供幀間壓縮。幀間壓縮技術(shù)通過(guò)使用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(即，通過(guò)在估計(jì)場(chǎng)景的運(yùn)動(dòng)后 從一幀預(yù)測(cè)另一幀)來(lái)利用跨越幀的數(shù)據(jù)冗余。另外，視頻編碼技術(shù)可利用圖像幀內(nèi)的類 似性(稱作空間或幀內(nèi)相關(guān))。幀壓縮通常基于用于壓縮靜態(tài)圖像的常規(guī)過(guò)程，例如離散余 弦變換(DCT)編碼。離散余弦變換(DCT)編碼還用于壓縮運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)?！NDCT技術(shù)被稱為自適應(yīng)塊大小離散余弦變換(ABSDCT)方法。此技術(shù) 揭示于標(biāo)題為“自適應(yīng)塊大小圖像壓縮方法和系統(tǒng)(Adaptive Block Size Image CompressionMethod And System) ”的第5，021，891號(hào)美國(guó)專利中，所述申請(qǐng)案已轉(zhuǎn)讓給 本發(fā)明的受讓人且以引用的方式并入本文中。DCT技術(shù)還揭示于標(biāo)題為“自適應(yīng)塊大小圖 像壓縮方法禾口系統(tǒng)(Adaptive Block Size Image Compression Method And System) ” 的 第5，107，345號(hào)美國(guó)專利中，所述申請(qǐng)案已轉(zhuǎn)讓給本發(fā)明的受讓人且以引用的方式并入本 文中。另外，ABSDCT技術(shù)結(jié)合差分四叉樹(shù)變換技術(shù)(Differential Quadtree Transform technique)的使用論述于標(biāo)題為“自適應(yīng)塊大小圖像壓縮方法和系統(tǒng)(Adaptive Block Size ImageCompression Method And System) ”的第5，452，104號(hào)美國(guó)專利中，所述申請(qǐng)案也已轉(zhuǎn)讓給本發(fā)明的受讓人且以引用的方式并入本文中。這些專利中所揭示的系統(tǒng)利用稱 作“幀內(nèi)幀”編碼的編碼，其中編碼圖像數(shù)據(jù)的每一幀而不考慮任何其它幀的內(nèi)容。通過(guò)使 用ABSDCT技術(shù)，可實(shí)現(xiàn)的數(shù)據(jù)速率可從每秒大約15億位減小到每秒約5000萬(wàn)位，而不具 有可辨別的圖像質(zhì)量的降級(jí)。ABSDCT技術(shù)可用于壓縮黑色和白色或彩色圖像或表示圖像的信號(hào)。色彩輸入信 號(hào)可呈YIQ格式，其中Y為每一 4X4像素塊的輝度或亮度(樣本)，且I和Q為每一 4X4 像素塊的色度或色彩(樣本)。還可使用其它已知格式，例如YUV、YC. sub. bC. sub. y或RGB 格式。由于眼睛對(duì)色彩的低空間敏感性，所以大多數(shù)研究已展示以因子四在水平和垂直方 向上對(duì)色彩分量進(jìn)行子取樣是合理的。因此，可通過(guò)四個(gè)輝度分量和兩個(gè)色度分量來(lái)表示 視頻信號(hào)。為了支持壓縮技術(shù)，許多數(shù)字視頻裝置包括用于壓縮數(shù)字視頻序列的編碼器，和 用于解壓縮數(shù)字視頻序列的解碼器。在許多情況下，編碼器和解碼器包含對(duì)界定視頻圖像 序列的幀內(nèi)的像素塊進(jìn)行操作的集成的編碼器/解碼器(CODEC)。在MPEG-4標(biāo)準(zhǔn)中，例如， 發(fā)送裝置的編碼器通常將待發(fā)射的視頻圖像幀劃分成包含較小圖像塊的宏塊。對(duì)于圖像幀 中的每一宏塊，編碼器搜索緊接在前面的視頻幀的宏塊以識(shí)別最類似的宏塊，且編碼所述 宏塊之間的差異以連同指示來(lái)自先前幀的哪個(gè)宏塊曾用于編碼的運(yùn)動(dòng)向量一起發(fā)射。接收 裝置的解碼器接收運(yùn)動(dòng)向量和經(jīng)編碼的差異，且執(zhí)行運(yùn)動(dòng)補(bǔ)償以產(chǎn)生視頻序列。運(yùn)動(dòng)向量 可依據(jù)由編碼器選擇的精度等級(jí)而具有全像素精度、二分之一像素精度或四分之一像素精 度。當(dāng)使用具有分?jǐn)?shù)像素值的運(yùn)動(dòng)向量時(shí)，獲得較佳預(yù)測(cè)塊。進(jìn)行內(nèi)插以確定分?jǐn)?shù)像素(子 像素)的值。在一個(gè)實(shí)例中，像素值包括表示輝度、色度或色彩分量的強(qiáng)度的位。視頻編碼過(guò)程在計(jì)算上為密集的。具體來(lái)說(shuō)，比較視頻塊與先前所發(fā)射的視頻塊 的過(guò)程需要大量計(jì)算。高度需要改進(jìn)的編碼技術(shù)，尤其用于計(jì)算資源更有限且功率消耗為 關(guān)注點(diǎn)的無(wú)線裝置或其它便攜式視頻裝置中。

發(fā)明內(nèi)容
一個(gè)實(shí)施例是一種編碼數(shù)字視頻的方法，所述方法包括識(shí)別參考幀和當(dāng)前幀； 使用默認(rèn)過(guò)濾器內(nèi)插所述參考幀以產(chǎn)生默認(rèn)經(jīng)內(nèi)插幀；使用替代性過(guò)濾器內(nèi)插所述參考幀 以產(chǎn)生替代性經(jīng)內(nèi)插幀；針對(duì)每一子像素位置，基于較低和錯(cuò)誤而確定是使用默認(rèn)過(guò)濾器 還是替代性過(guò)濾器來(lái)產(chǎn)生最終參考幀。另一實(shí)施例是視頻編碼裝置，其包括運(yùn)動(dòng)補(bǔ)償單元，其經(jīng)配置以使用默認(rèn)過(guò)濾器 內(nèi)插第一參考幀以產(chǎn)生默認(rèn)經(jīng)內(nèi)插幀且經(jīng)配置以使用替代性過(guò)濾器內(nèi)插第二參考幀以產(chǎn) 生替代性經(jīng)內(nèi)插幀；參考幀存儲(chǔ)裝置，其經(jīng)配置以存儲(chǔ)所述默認(rèn)經(jīng)內(nèi)插幀且存儲(chǔ)所述替代 性經(jīng)內(nèi)插幀；過(guò)濾器決策單元，其經(jīng)配置以接收當(dāng)前幀，接收默認(rèn)經(jīng)內(nèi)插幀，接收替代性經(jīng) 內(nèi)插幀，且針對(duì)每一全像素位置和子像素位置而確定在最終幀中是使用默認(rèn)過(guò)濾器還是替 代性過(guò)濾器，且產(chǎn)生最終幀。又一實(shí)施例是一種視頻編碼裝置，其包括用于接收當(dāng)前幀的裝置、用于將多個(gè)經(jīng) 內(nèi)插參考幀存儲(chǔ)于參考幀存儲(chǔ)裝置中的裝置、用于接收來(lái)自所述參考幀存儲(chǔ)裝置的所述多 個(gè)經(jīng)內(nèi)插參考幀的裝置、用于產(chǎn)生最終幀的裝置，和用于針對(duì)最終幀中的每一全像素位置 和子像素位置而確定是使用默認(rèn)過(guò)濾器還是替代性過(guò)濾器的裝置。
一個(gè)其它實(shí)施例是一種視頻編碼裝置，其包括運(yùn)動(dòng)補(bǔ)償單元，其經(jīng)配置以使用默 認(rèn)過(guò)濾器內(nèi)插第一參考幀以產(chǎn)生默認(rèn)經(jīng)內(nèi)插幀，且經(jīng)配置以使用替代性過(guò)濾器內(nèi)插第二參 考幀以產(chǎn)生替代性經(jīng)內(nèi)插幀；過(guò)濾器決策單元，其經(jīng)配置以接收當(dāng)前幀，接收所述默認(rèn)經(jīng)內(nèi) 插幀，接收所述替代性經(jīng)內(nèi)插幀，針對(duì)每一全像素位置和子像素位置而確定在最終幀中是 使用默認(rèn)過(guò)濾器還是替代性過(guò)濾器，且產(chǎn)生最終幀。另一實(shí)施例是一種視頻編碼裝置，其包括用于接收當(dāng)前幀的裝置、用于接收多個(gè) 經(jīng)內(nèi)插參考幀的裝置、用于產(chǎn)生最終幀的裝置，和用于針對(duì)最終幀中的每一全像素位置和 子像素位置而確定是使用默認(rèn)過(guò)濾器還是替代性過(guò)濾器的裝置。


在附圖中以實(shí)例而非限制的方式來(lái)說(shuō)明本申請(qǐng)案的上述方面和許多伴隨的優(yōu)點(diǎn)， 其中。圖1為說(shuō)明視頻編碼和解碼系統(tǒng)的框圖。圖2為說(shuō)明視頻編碼器的框圖。圖3為說(shuō)明參考幀存儲(chǔ)裝置和過(guò)濾器決策單元的框圖。圖4為描述確定過(guò)濾器的最佳組合的過(guò)程的流程圖。圖5為展示用于內(nèi)插的分?jǐn)?shù)像素位置的視頻幀的框圖。圖6為說(shuō)明視頻運(yùn)動(dòng)估計(jì)的框圖。圖7為說(shuō)明包括幀內(nèi)幀、經(jīng)預(yù)測(cè)幀和雙向幀的視頻幀的框圖。圖8為說(shuō)明包含B切片的視頻幀的框圖，B切片包含兩個(gè)運(yùn)動(dòng)向量。圖9為描述產(chǎn)生最終參考幀的過(guò)程的流程圖。
具體實(shí)施例方式現(xiàn)將參看諸圖描述本申請(qǐng)案的特定實(shí)施例。本文中所呈現(xiàn)的描述中所使用的術(shù)語(yǔ) 無(wú)意以任何限制或約束的方式來(lái)解釋，僅因?yàn)槠涫墙Y(jié)合本申請(qǐng)案的某些特定實(shí)施例的詳細(xì) 描述而利用的。在一個(gè)實(shí)施例中，系統(tǒng)使用多個(gè)過(guò)濾器內(nèi)插給定視頻塊或幀以產(chǎn)生多個(gè)參考幀。 對(duì)于每一過(guò)濾器，系統(tǒng)接著從所述給定參考幀計(jì)算運(yùn)動(dòng)向量。接著進(jìn)行計(jì)算以針對(duì)每一像 素確定哪個(gè)過(guò)濾器提供最低錯(cuò)誤和失真率。在一些實(shí)施例中，檢查用于視頻幀內(nèi)的每一子 像素或整數(shù)像素的過(guò)濾器中的一者或過(guò)濾器組合的預(yù)期性能。接著，針對(duì)視頻幀中的每一 位置選擇用于編碼所述子像素和整數(shù)像素值的最佳過(guò)濾器。在一個(gè)實(shí)施例中，系統(tǒng)使用多個(gè)過(guò)濾器針對(duì)單一幀中的所有可用位置累加絕對(duì)差 和(SAD)錯(cuò)誤測(cè)量。通過(guò)測(cè)量SAD，系統(tǒng)可確定是使用對(duì)應(yīng)于那個(gè)位置的自適應(yīng)過(guò)濾器(例 如，自適應(yīng)內(nèi)插過(guò)濾器(AIF))有利還是使用默認(rèn)內(nèi)插過(guò)濾器或根本不使用過(guò)濾器來(lái)編碼 像素值可能更便利(在SAD和經(jīng)加權(quán)的位成本方面)。在另一實(shí)施例中，使用導(dǎo)致最小計(jì)算成本(或SAD加上由非默認(rèn)內(nèi)插過(guò)濾器所使 用的經(jīng)加權(quán)的編碼位)的對(duì)可用過(guò)濾器的組合使用最佳選擇準(zhǔn)則的過(guò)程。給定矩陣和向 量，可能有可能計(jì)算對(duì)應(yīng)于決策向量中的每一者的錯(cuò)誤且選擇用于每一子像素位置的指示 最小計(jì)算成本的過(guò)濾器。
在又一實(shí)施例中，利用迭代過(guò)程。此過(guò)程包括從可能的解(任何有效決策向量) 開(kāi)始以及尋找替代性過(guò)濾器提供最大錯(cuò)誤減小的位置。接著用新過(guò)濾器選擇的值更新此新 位置且重復(fù)所述過(guò)程，直到可能無(wú)更多改進(jìn)、改進(jìn)可忽略(低于預(yù)定閾值)或達(dá)到迭代的最 大數(shù)目為止。 在再一實(shí)施例中，使用簡(jiǎn)化的試探法來(lái)使用對(duì)稱類別(symmetry class)尋 找最小成本的近似值。此方法僅考慮兩個(gè)參考?jí)K的位置使用相同過(guò)濾器的錯(cuò)誤貢獻(xiàn) (errorcontribution)。此在所述位置相同時(shí)或在其屬于對(duì)稱類別時(shí)發(fā)生。在另一實(shí)施例中，使用量化表，其改進(jìn)在全像素位置上使用的過(guò)濾器系數(shù)的編碼， 其中量化精度取決于使用不均勻量化過(guò)程的系數(shù)位置。塊匹配為最常用的運(yùn)動(dòng)估計(jì)方法。通常將視頻幀中的每一宏塊(即，16 X 16像素) 與來(lái)自先前幀的相同大小的經(jīng)移位區(qū)域進(jìn)行比較，且選擇導(dǎo)致最小錯(cuò)誤的移位作為用于那 個(gè)宏塊的最佳運(yùn)動(dòng)向量。幀內(nèi)幀(或I-幀)為不參考任何其它幀進(jìn)行譯碼的幀，且可由編碼器產(chǎn)生以產(chǎn)生 隨機(jī)存取點(diǎn)。幀內(nèi)幀通常需要比其它圖片類型多的位來(lái)編碼。常常，I-幀用于隨機(jī)存取且 用作用于解碼其它幀的參考。經(jīng)預(yù)測(cè)幀(或P幀)需要某一(某些)其它幀的先前解碼以便進(jìn)行解碼且可含有 圖像數(shù)據(jù)與運(yùn)動(dòng)向量位移兩者。在H. 264中，在解碼期間經(jīng)預(yù)測(cè)幀可使用多個(gè)先前經(jīng)解碼 的幀作為參考，且相對(duì)于用于其預(yù)測(cè)的所述幀可具有任何的任意顯示次序關(guān)系。而且，通 常，經(jīng)預(yù)測(cè)幀需要比幀內(nèi)幀編碼少的位來(lái)編碼。雙向經(jīng)預(yù)測(cè)幀(或B幀)需要某一(某些)其它幀的先前解碼以便進(jìn)行解碼，可 含有圖像數(shù)據(jù)與運(yùn)動(dòng)向量位移兩者，且包括通過(guò)將使用兩個(gè)不同的先前經(jīng)解碼的參考區(qū)域 獲得的預(yù)測(cè)平均化而形成預(yù)測(cè)的一些預(yù)測(cè)模式。在H. 264中，雙向經(jīng)預(yù)測(cè)幀可用作或可不 用作用于解碼其它圖片的參考。B幀通常需要比幀內(nèi)幀或經(jīng)預(yù)測(cè)幀編碼少的位來(lái)編碼。圖1為說(shuō)明視頻編碼和解碼系統(tǒng)10的框圖。如圖1中所展示，系統(tǒng)10包括經(jīng)由通 信信道16將經(jīng)編碼的視頻發(fā)射到接收裝置14的源裝置12。源裝置12可包括視頻源18、 視頻編碼器20和發(fā)射器22。發(fā)射器22可為有線/無(wú)線發(fā)射器。接收裝置14可包括接收 器對(duì)、視頻解碼器26和視頻顯示裝置觀。在一些方面中，接收器M可為無(wú)線接收器，例如 無(wú)線通信裝置手持機(jī)中的無(wú)線接收器。系統(tǒng)10可經(jīng)配置以支持運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)塊的替代性 過(guò)濾(或自適應(yīng)過(guò)濾)，以改進(jìn)視覺(jué)質(zhì)量與處理效率兩者。在圖1的實(shí)例中，通信信道16可包含任何無(wú)線或有線通信媒體(例如，射頻(RF) 頻譜或一個(gè)或一個(gè)以上物理傳輸線)，或無(wú)線與有線媒體的任何組合。信道16可形成基于 包的網(wǎng)絡(luò)(例如，局域網(wǎng)、廣域網(wǎng)，或例如因特網(wǎng)的全球網(wǎng)絡(luò))的一部分。通信信道16—般 表示用于將視頻數(shù)據(jù)從源裝置12發(fā)射到接收裝置14的任何合適的通信媒體或不同通信媒 體的集合。源裝置12產(chǎn)生用于發(fā)射到目的地裝置14的視頻。然而，在一些情況下，裝置12、 14可以大體上對(duì)稱的方式操作。舉例來(lái)說(shuō)，裝置12、14中的每一者可包括視頻編碼和解碼 組件。因此，系統(tǒng)10可支持視頻裝置12、14之間的(例如)用于視頻串流、視頻廣播或視 頻電話的單向或雙向視頻發(fā)射。視頻源18可包括視頻俘獲裝置，例如一個(gè)或一個(gè)以上視頻相機(jī)、含有先前俘獲的視頻的視頻檔案或者來(lái)自視頻內(nèi)容提供者的實(shí)況轉(zhuǎn)播視頻饋送。作為另一替代情況，視頻 源18可產(chǎn)生基于計(jì)算機(jī)圖形的數(shù)據(jù)作為源視頻，或產(chǎn)生實(shí)況轉(zhuǎn)播視頻與計(jì)算機(jī)產(chǎn)生的視 頻的組合。在一些情況下，如果視頻源18為相機(jī)，則源裝置12與接收裝置14可形成所謂的 相機(jī)電話或視頻電話，包括衛(wèi)星或移動(dòng)無(wú)線電話，或其它無(wú)線通信裝置。因此，在一些方面 中，本申請(qǐng)案中所描述的技術(shù)可實(shí)施于移動(dòng)無(wú)線通信裝置手持機(jī)(例如，移動(dòng)電話手持機(jī)) 內(nèi)。在每一情況下，可由視頻編碼器20編碼經(jīng)俘獲、經(jīng)預(yù)先俘獲或計(jì)算機(jī)產(chǎn)生的視頻以用 于經(jīng)由發(fā)射器22、信道16和接收器M而從視頻源裝置12發(fā)射到視頻接收裝置14的視頻 解碼器沈。顯示器裝置觀可包括多種顯示器裝置中的任一者，例如液晶顯示器(IXD)、等 離子顯示器或有機(jī)發(fā)光二極管(OLED)顯示器。在本申請(qǐng)案的一些方面中，視頻編碼器20和視頻解碼器沈可經(jīng)配置以支持用于 空間、時(shí)間和/或信噪比(SNR)可縮放性(scalability)的可縮放視頻譯碼。編碼器20和 解碼器沈可通過(guò)支持基礎(chǔ)層和一個(gè)或一個(gè)以上可縮放增強(qiáng)層的編碼、發(fā)射和解碼而支持 各種程度的可縮放性。對(duì)于可縮放譯碼，基礎(chǔ)層載運(yùn)具有最小質(zhì)量等級(jí)的視頻數(shù)據(jù)。一個(gè) 或一個(gè)以上增強(qiáng)層載運(yùn)額外位流以支持較高空間、時(shí)間或SNR等級(jí)。視頻編碼器20和視頻解碼器洸可根據(jù)例如MPEG-2、MPEG-4、ITU-T H. 263或ITU-T H. ^4/MPEG-4第10部分(AVC)的視頻壓縮標(biāo)準(zhǔn)來(lái)操作。盡管圖1中未展示，但在一些方 面中，視頻編碼器20和視頻解碼器22可分別與音頻編碼器和解碼器集成，且包括適當(dāng)?shù)?MUX-DEMUX單元或其它硬件和軟件，以處置共同數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻與視頻兩者 的編碼。如果適用，則MUX-DEMUX單元可遵循ITU H. 223多路復(fù)用器協(xié)議，或例如用戶數(shù)據(jù) 報(bào)協(xié)議(UDP)的其它協(xié)議。H. 264標(biāo)準(zhǔn)由ITU-T視頻譯碼專家組和IS0/IEC運(yùn)動(dòng)圖片專家組(MPEG)開(kāi)發(fā)， 作為被稱為聯(lián)合視頻小組(JVT)的合作伙伴的產(chǎn)品。H. 264標(biāo)準(zhǔn)描述于日期為2005年 3月的ITU-T推薦H. 264 “用于通用視聽(tīng)服務(wù)的高級(jí)視頻譯碼(Advanced Video coding forGeneric Audiovisual Services) ” 中，其在本文中可稱作 H. 264 標(biāo)準(zhǔn)或 H. 264 規(guī)范， 或H. ^4/AVC標(biāo)準(zhǔn)或規(guī)范。在一些方面中，可將本申請(qǐng)案中所描述的技術(shù)應(yīng)用于一般遵循 H. 264標(biāo)準(zhǔn)的裝置，或一般不遵循H. 264標(biāo)準(zhǔn)的其它裝置。聯(lián)合視頻小組(JVT)繼續(xù)致力于將可縮放視頻譯碼(SVC)擴(kuò)展到H. 264/ MPEG-4AVC。H. ^4/MPEG_4AVC與演進(jìn)的SVC擴(kuò)展兩者的規(guī)范為聯(lián)合草案(Joint Draft, JD) 的形式。由JVT產(chǎn)生的聯(lián)合可縮放視頻模型(JSVM)實(shí)施用于在可縮放視頻中使用的工具， 其可用于系統(tǒng)10內(nèi)，以用于本申請(qǐng)案中所描述的各種譯碼任務(wù)。在一些方面中，對(duì)于視頻廣播，實(shí)施例涉及使用待公開(kāi)為技術(shù)標(biāo)準(zhǔn)TIA-1099 的僅前向鏈路(FLO)空中接口規(guī)范“用于陸地移動(dòng)多媒體多播的僅前向鏈路空中接口 規(guī)范(Forward Link Only Air Interface Specification for Terrestrial Mobile MultimediaMulticast)，，( "FLO規(guī)范”)的對(duì)增強(qiáng)型H. 264視頻譯碼的應(yīng)用以在陸地移動(dòng) 多媒體多播(TiO)系統(tǒng)中遞送實(shí)時(shí)視頻服務(wù)。FLO規(guī)范包括界定位流語(yǔ)法和語(yǔ)義的實(shí)例 和適合于FLO空中接口的解碼過(guò)程?；蛘?，可根據(jù)例如DVB-H(數(shù)字視頻廣播-手持式)、 ISDB-T (綜合業(yè)務(wù)數(shù)字廣播-陸地型)或DMB (數(shù)字媒體廣播)的其它標(biāo)準(zhǔn)來(lái)廣播視頻。因 此，在一些情況下，源裝置12可為移動(dòng)無(wú)線終端(例如，無(wú)線通信裝置手持機(jī))、視頻串流服 務(wù)器或視頻廣播服務(wù)器。然而，本申請(qǐng)案中所描述的技術(shù)不限于任何特定類型的廣播、多播或點(diǎn)對(duì)點(diǎn)系統(tǒng)。視頻編碼器20和視頻解碼器沈各自可經(jīng)實(shí)施為一個(gè)或一個(gè)以上微處理器、數(shù)字 信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、離散邏輯、軟件、硬 件、固件或其任何組合。因此，本文中所描述的技術(shù)可實(shí)施于一個(gè)或一個(gè)以上集成電路裝置 內(nèi)，其可被統(tǒng)稱為集成電路裝置。此類集成電路裝置可提供于通信裝置(例如，無(wú)線通信裝 置手持機(jī))內(nèi)。視頻編碼器20和視頻解碼器沈中的每一者可包括于一個(gè)或一個(gè)以上編碼 器或解碼器中，所述一個(gè)或一個(gè)以上編碼器或解碼器中的任一者可作為組合的編碼器/解 碼器(CODEC)的部分而集成于相應(yīng)移動(dòng)裝置、訂戶裝置、廣播裝置、服務(wù)器等中。另外，視頻 源裝置12和視頻接收裝置14各自可包括用于發(fā)射和接收經(jīng)編碼的視頻的適當(dāng)調(diào)制、解調(diào)、 頻率轉(zhuǎn)換、過(guò)濾和放大器組件，包括(當(dāng)適用時(shí))足以支持無(wú)線通信的射頻(RF)無(wú)線組件 和天線。然而，為了易于說(shuō)明，圖1中未展示所述組件。如上文所提及，視頻包括一系列視頻幀。視頻編碼器20對(duì)個(gè)別視頻幀內(nèi)的像素 塊進(jìn)行操作以便編碼視頻數(shù)據(jù)。視頻塊可具有固定或不同的大小，且可根據(jù)指定譯碼標(biāo)準(zhǔn) 而在大小上不同。作為實(shí)例，ITU-T H. 264標(biāo)準(zhǔn)支持各種塊大小(例如，用于輝度分量的 16X16、8X8、4X4，和用于色度分量的8X8)的幀內(nèi)預(yù)測(cè)。ITU-T H. 264標(biāo)準(zhǔn)還支持各種塊 大小(例如，用于輝度分量的16X16、16X8、8X16、8X8、8X4、4X8和4X4以及用于色度 分量的對(duì)應(yīng)的經(jīng)縮放大小)的幀間預(yù)測(cè)。較小視頻塊可提供較佳分辨率，且可用于視頻幀 的包括較高層級(jí)的細(xì)節(jié)的位置。一般來(lái)說(shuō)，可將宏塊和各種較小塊視為視頻塊。在一些情 況下，較小塊可被稱作子塊。在預(yù)測(cè)后，可對(duì)8X8殘余塊或4X4殘余塊執(zhí)行變換。而且， 如果使用幀內(nèi)子16X 16預(yù)測(cè)模式，則可向用于色度分量或輝度分量的4X4塊的DC系數(shù)應(yīng) 用額外變換。圖2為說(shuō)明視頻編碼器20的更多細(xì)節(jié)的框圖。視頻編碼器20可執(zhí)行視頻幀內(nèi)的 塊的幀內(nèi)譯碼和幀間譯碼。幀內(nèi)譯碼依賴于空間預(yù)測(cè)來(lái)減少或移除給定視頻幀中的空間冗 余。幀間譯碼依賴于時(shí)間預(yù)測(cè)來(lái)減少或移除鄰近幀內(nèi)的視頻中的時(shí)間冗余。對(duì)于幀間譯碼， 視頻編碼器20執(zhí)行運(yùn)動(dòng)估計(jì)以追蹤兩個(gè)或兩個(gè)以上鄰近幀之間的匹配視頻塊的移動(dòng)。如圖2中所展示，視頻編碼器20接收待編碼的視頻幀內(nèi)的當(dāng)前視頻塊21。在圖2 的實(shí)例中，視頻編碼器20包括運(yùn)動(dòng)估計(jì)單元23、參考幀存儲(chǔ)裝置25、運(yùn)動(dòng)補(bǔ)償單元27、塊變 換單元四、量化單元31、反量化單元33、反變換單元35和熵譯碼單元37。視頻編碼器20 還包括加法器39和加法器41。圖2說(shuō)明用于視頻塊的幀間譯碼的視頻編碼器20的時(shí)間預(yù) 測(cè)組件。盡管為了易于說(shuō)明在圖2中未展示，但視頻編碼器20還可包括用于一些視頻塊的 幀內(nèi)譯碼的空間預(yù)測(cè)組件。運(yùn)動(dòng)估計(jì)單元23將視頻塊21與一個(gè)或一個(gè)以上鄰近視頻幀中的塊進(jìn)行比較以產(chǎn) 生一個(gè)或一個(gè)以上運(yùn)動(dòng)向量。所述鄰近幀可從參考幀存儲(chǔ)裝置25中檢索到。可對(duì)具有可 變大小(例如16X16、16X8、8X16、8X8或更小的塊大小)的塊執(zhí)行運(yùn)動(dòng)估計(jì)。運(yùn)動(dòng)估計(jì) 單元23識(shí)別鄰近幀中與當(dāng)前視頻塊21最緊密匹配的塊(例如，基于速率失真模型)，且確 定塊之間的位移。在此基礎(chǔ)上，運(yùn)動(dòng)估計(jì)單元23產(chǎn)生指示所述位移的量值和軌跡的運(yùn)動(dòng)向 量。運(yùn)動(dòng)向量可具有二分之一像素或四分之一像素的精度，或者甚至更精細(xì)的精度， 從而允許視頻編碼器20追蹤具有比整數(shù)像素位置高的精度的運(yùn)動(dòng)且獲得較佳預(yù)測(cè)塊。當(dāng)使用具有分?jǐn)?shù)像素值的運(yùn)動(dòng)向量時(shí)，可在運(yùn)動(dòng)補(bǔ)償單元27中執(zhí)行內(nèi)插操作。舉例來(lái)說(shuō)，在 H. ^4/AVC標(biāo)準(zhǔn)中，為了獲得在二分之一像素位置處的輝度信號(hào)，可使用具有系數(shù)(1，-5， 20,20, -5,1)/32的6分接頭維納(Wiener)過(guò)濾器。為了獲得在四分之一像素位置處的 輝度信號(hào)，可使用對(duì)在整數(shù)像素位置處的值和在二分之一像素位置處的內(nèi)插值的雙線性過(guò) 濾。雙線性過(guò)濾器還可用于對(duì)色度分量的分?jǐn)?shù)像素內(nèi)插中，色度分量可具有高達(dá)1/8像素 精度。運(yùn)動(dòng)估計(jì)單元23使用速率失真模型識(shí)別視頻塊的最佳運(yùn)動(dòng)向量。通過(guò)使用所得 運(yùn)動(dòng)向量，運(yùn)動(dòng)補(bǔ)償單元27通過(guò)運(yùn)動(dòng)補(bǔ)償而形成預(yù)測(cè)視頻塊。視頻編碼器20通過(guò)在加法器 39處從原始的、當(dāng)前視頻塊21減去由運(yùn)動(dòng)補(bǔ)償單元27產(chǎn)生的預(yù)測(cè)視頻塊而形成殘余視頻 塊。塊變換單元四對(duì)殘余塊應(yīng)用變換。量化單元31量化變換系數(shù)以進(jìn)一步減小位速率。 熵譯碼單元37熵譯碼經(jīng)量化的系數(shù)以進(jìn)一步減小位速率。視頻解碼器沈執(zhí)行反操作以重 建經(jīng)編碼的視頻。反量化單元33和反變換單元35分別應(yīng)用反量化和反變換，以重建殘余塊。加法 器41將經(jīng)重建的殘余塊添加到由運(yùn)動(dòng)補(bǔ)償單元27產(chǎn)生的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)塊以產(chǎn)生用于在參 考幀存儲(chǔ)裝置25中存儲(chǔ)的經(jīng)重建視頻塊(或用于當(dāng)前幀的過(guò)濾器決策)。包含過(guò)濾器決策 單元44的運(yùn)動(dòng)補(bǔ)償單元經(jīng)配置以接收來(lái)自參考幀存儲(chǔ)裝置25的參考幀，接收當(dāng)前幀且產(chǎn) 生待存儲(chǔ)于過(guò)濾器參考幀存儲(chǔ)裝置25中的經(jīng)重建視頻塊。所述經(jīng)重建視頻塊可由運(yùn)動(dòng)估 計(jì)單元23和運(yùn)動(dòng)補(bǔ)償單元27使用以編碼后續(xù)視頻幀中的塊。當(dāng)對(duì)當(dāng)前視頻幀21中的給定塊執(zhí)行運(yùn)動(dòng)補(bǔ)償時(shí)，運(yùn)動(dòng)補(bǔ)償單元27可使用一組固 定的過(guò)濾器來(lái)內(nèi)插來(lái)自參考幀的參考?jí)K。如果當(dāng)前塊是單向預(yù)測(cè)的，則需要一個(gè)參考?jí)K，或 者如果當(dāng)前塊是雙向預(yù)測(cè)的，則需要兩個(gè)參考?jí)K。在H. 264中，在一些情況下，可使用在前 向和后向方向上的多個(gè)參考幀。由運(yùn)動(dòng)補(bǔ)償單元27使用的實(shí)際過(guò)濾器取決于運(yùn)動(dòng)向量的 分?jǐn)?shù)部分。舉例來(lái)說(shuō)，如果運(yùn)動(dòng)向量指向給定維度中的參考幀中的二分之一像素位置，則為 了獲得所述二分之一像素位置的值，可在具有二分之一像素運(yùn)動(dòng)向量的那個(gè)維度中使用默 認(rèn)內(nèi)插過(guò)濾器。如果兩個(gè)運(yùn)動(dòng)向量分量均指向整數(shù)位置，則可在不執(zhí)行任何內(nèi)插過(guò)濾操作 的情況下直接使用來(lái)自參考幀存儲(chǔ)裝置25中的參考幀的像素值。圖3為說(shuō)明如圖2中所展示的參考幀存儲(chǔ)裝置25和過(guò)濾器決策單元44的框圖。 圖3的參考幀存儲(chǔ)裝置25和過(guò)濾器決策單元44的說(shuō)明性框圖包括當(dāng)前幀30、參考幀存儲(chǔ) 裝置25，和過(guò)濾器決策單元44?？蓪?dāng)前幀30發(fā)射到過(guò)濾器決策單元44以用于產(chǎn)生待存 儲(chǔ)于參考幀存儲(chǔ)裝置25中的最終(或經(jīng)重建)參考幀。參考幀存儲(chǔ)裝置25可維持一組參 考幀且將所述所維持的參考幀發(fā)射到運(yùn)動(dòng)補(bǔ)償單元27。在一個(gè)實(shí)施例中，將用默認(rèn)過(guò)濾器 32、34和36內(nèi)插的一組參考幀存儲(chǔ)于參考幀存儲(chǔ)裝置25中且將其發(fā)送到過(guò)濾器決策單元 44。在另一實(shí)施例中，將用替代性過(guò)濾器(或非默認(rèn)過(guò)濾器)38、40和42內(nèi)插的一組參考 幀存儲(chǔ)于參考幀存儲(chǔ)裝置25中且將其發(fā)送到過(guò)濾器決策單元44。在另一實(shí)施例中，如果存 儲(chǔ)器容量有限，則可在需要時(shí)在運(yùn)作中產(chǎn)生經(jīng)內(nèi)插的幀。在一個(gè)實(shí)施例中，實(shí)時(shí)地產(chǎn)生經(jīng)內(nèi) 插的幀，只要原始(非內(nèi)插)幀、內(nèi)插過(guò)濾器和過(guò)濾器選擇是可用的。駐留于視頻編碼器20 中的替代性過(guò)濾器(未展示)可為自適應(yīng)內(nèi)插過(guò)濾器、可分離自適應(yīng)內(nèi)插過(guò)濾器、固定過(guò)濾 器。在另一實(shí)施例中，替代性過(guò)濾器可為提供大的譯碼增益(尤其對(duì)具有高分辨率(例如， 720p)的視頻序列)的自適應(yīng)內(nèi)插過(guò)濾器(AIF)。視頻編碼器20具有用以內(nèi)插參考幀中的塊的一組固定的替代性過(guò)濾器。在又一實(shí)施例中，視頻編碼器20可支持2D不可分離的自 適應(yīng)內(nèi)插過(guò)濾器、可分離的自適應(yīng)內(nèi)插過(guò)濾器、定向自適應(yīng)內(nèi)插過(guò)濾器，和增強(qiáng)型自適應(yīng)內(nèi) 插過(guò)濾器。2D不可分離的自適應(yīng)內(nèi)插過(guò)濾器使用二維矩陣來(lái)內(nèi)插幀?？煞蛛x的自適應(yīng)內(nèi) 插過(guò)濾器使用垂直接著水平掃描來(lái)內(nèi)插幀。定向自適應(yīng)內(nèi)插過(guò)濾器使用對(duì)角線掃描來(lái)內(nèi)插 幀。在另一實(shí)施例中，可通過(guò)將全像素位置過(guò)濾器和過(guò)濾器偏移添加到每一全像素位 置和子像素位置來(lái)使用增強(qiáng)型自適應(yīng)內(nèi)插過(guò)濾器(E-AIF)。對(duì)于全像素位置和每一子像素 位置，E-AIF還估計(jì)替代性過(guò)濾器與默認(rèn)內(nèi)插相比的預(yù)期速率失真增益，且決定是否使用替 代性過(guò)濾器且用信號(hào)向解碼器通知替代性過(guò)濾器。過(guò)濾器決策單元44可比較使用用默認(rèn)過(guò)濾器32、34、36內(nèi)插的參考幀編碼所接收 的當(dāng)前幀30的和位開(kāi)銷(或成本)與使用用替代性過(guò)濾器38、40、42內(nèi)插的參考幀來(lái)編碼 所接收的當(dāng)前幀30的和位開(kāi)銷(或成本)。在一個(gè)實(shí)施例中，過(guò)濾器決策單元44可使用縮 放因子(未展示)來(lái)重建像素位置以確定對(duì)應(yīng)于使用默認(rèn)過(guò)濾器或替代性過(guò)濾器的絕對(duì)錯(cuò) 誤。在另一實(shí)施例中，過(guò)濾器決策單元44可針對(duì)每一像素比較絕對(duì)錯(cuò)誤值，在可用的過(guò)濾 器之間進(jìn)行選擇，且產(chǎn)生最小化位錯(cuò)誤率和失真的決策向量。過(guò)濾器決策單元44還可接收運(yùn)動(dòng)向量(或運(yùn)動(dòng)向量數(shù)據(jù))48。在一個(gè)實(shí)施例中， 過(guò)濾器決策單元可接收當(dāng)前幀30、運(yùn)動(dòng)向量48、經(jīng)內(nèi)插的參考幀(例如，用默認(rèn)過(guò)濾器32、 34,36內(nèi)插的參考幀和用替代性過(guò)濾器38、40、42內(nèi)插的參考幀)，以便產(chǎn)生待存儲(chǔ)于參考 幀存儲(chǔ)裝置25中的最終(或經(jīng)重建)參考幀45、46、47。結(jié)果，過(guò)濾器決策單元44提供經(jīng)內(nèi) 插的參考幀45、46和47，其中使用默認(rèn)過(guò)濾器或替代性過(guò)濾器內(nèi)插每一全像素或子像素。 在另一實(shí)施例中，過(guò)濾器決策單元44可將決策陣列(未展示)輸出到參考幀存儲(chǔ)裝置25。 所述決策陣列(未展示)可提供描述經(jīng)重建參考幀45、46、47的決策值。在一個(gè)實(shí)施例中， 由決策陣列(未展示)提供的決策值可為(例如Ka(I)、b(0)、C(l)、d(0)...]；其中子像 素位置由α字符來(lái)識(shí)別且過(guò)濾器選擇決策是以二進(jìn)制(0或1)的格式來(lái)識(shí)別(當(dāng)使用視 頻編碼器20中可用的默認(rèn)過(guò)濾器或替代性過(guò)濾器時(shí))。在另一實(shí)施例中，由決策陣列提供 的決策值可為(例如)[3(1)、1^2)、((3)、仏4)...]，其中子像素位置由α字符來(lái)識(shí)別且過(guò) 濾器選擇決策是使用用于識(shí)別待針對(duì)每一子像素位置使用的實(shí)際過(guò)濾器類型的數(shù)字格式 來(lái)識(shí)別。在一個(gè)實(shí)施例中，可將多個(gè)默認(rèn)過(guò)濾器和多個(gè)自適應(yīng)內(nèi)插過(guò)濾器彼此進(jìn)行比較，以 便確定用于編碼每一子像素位置的最有效過(guò)濾器。在另一實(shí)施例中，將多個(gè)自適應(yīng)內(nèi)插過(guò) 濾器彼此進(jìn)行比較，以便確定待在針對(duì)每一子像素位置進(jìn)行編碼期間應(yīng)用的最有效自適應(yīng) 過(guò)濾器ο圖4描繪用于使用圖3中所展示的系統(tǒng)確定過(guò)濾器的最佳組合的說(shuō)明性過(guò)程50。 所述過(guò)程開(kāi)始于框51，其中視頻編碼器20計(jì)算參考幀到當(dāng)前幀的運(yùn)動(dòng)向量。所述參考幀可 為幀內(nèi)幀或經(jīng)預(yù)測(cè)幀。當(dāng)前幀30可為雙向經(jīng)預(yù)測(cè)幀。在一個(gè)實(shí)施例中，當(dāng)前幀參考先前幀 內(nèi)幀且應(yīng)用使用塊匹配的有限搜索以計(jì)算描述先前位移的運(yùn)動(dòng)向量。在另一實(shí)施例中，當(dāng) 前幀參考將來(lái)的經(jīng)預(yù)測(cè)幀且應(yīng)用使用塊匹配的有限搜索以計(jì)算描述經(jīng)預(yù)測(cè)位移的運(yùn)動(dòng)向 量。在計(jì)算運(yùn)動(dòng)向量數(shù)據(jù)后，將其發(fā)射到如圖3中所描述的過(guò)濾器決策單元44。過(guò)程50接著進(jìn)行到框52且計(jì)算替代性過(guò)濾器的系數(shù)。在一個(gè)實(shí)施例中，選擇自 適應(yīng)內(nèi)插過(guò)濾器且發(fā)送通常為包含系數(shù)向量和偏移向量的兩個(gè)向量的系數(shù)。舉例來(lái)說(shuō)，包含六個(gè)系數(shù)的系數(shù)向量可為[1，0，1，0，1，1]，且對(duì)應(yīng)偏移向量為[_1，0，2，1，3，0]。針對(duì)每 一子像素位置發(fā)送一個(gè)偏移值加上用于全像素位置的一個(gè)偏移。因此，可存在兩個(gè)向量，一 個(gè)向量用于過(guò)濾器選擇，且具有相同維度的另一向量用于偏移。在另一實(shí)施例中，使用一組 固定的預(yù)先計(jì)算的過(guò)濾器來(lái)代替自適應(yīng)地確定用于每一幀的系數(shù)。過(guò)程50接著進(jìn)行到框53且產(chǎn)生使用替代性過(guò)濾器的參考幀。在一個(gè)實(shí)施例中， 產(chǎn)生使用增強(qiáng)型自適應(yīng)內(nèi)插過(guò)濾器的參考幀且將其存儲(chǔ)于參考幀存儲(chǔ)裝置25中?？墒褂?自適應(yīng)內(nèi)插過(guò)濾器、增強(qiáng)型自適應(yīng)內(nèi)插過(guò)濾器或非默認(rèn)過(guò)濾器的組合來(lái)內(nèi)插參考幀。過(guò)程50接著進(jìn)行到框M且在過(guò)濾器的每個(gè)組合可用的情況下計(jì)算每一塊的錯(cuò) 誤。在一個(gè)實(shí)施例中，將當(dāng)前幀30與使用替代性內(nèi)插過(guò)濾器的經(jīng)內(nèi)插參考幀進(jìn)行比較且確 定速率和失真錯(cuò)誤。在另一實(shí)施例中，將當(dāng)前幀30與使用默認(rèn)H. 264過(guò)濾器的經(jīng)內(nèi)插參考 幀進(jìn)行比較且確定速率和失真錯(cuò)誤。過(guò)程50接著進(jìn)行到框55且確定編碼過(guò)濾器系數(shù)的成本。在一個(gè)實(shí)施例中，圖3 的過(guò)濾器決策單元44確定針對(duì)每一子像素位置使用默認(rèn)內(nèi)插過(guò)濾器對(duì)使用替代性內(nèi)插過(guò) 濾器編碼過(guò)濾器系數(shù)的成本，其中以位開(kāi)銷來(lái)確定所述成本。如果考慮一些位置為對(duì)稱的，則可確定單一過(guò)濾器且從一個(gè)以上子像素位置進(jìn)行 選擇。舉例來(lái)說(shuō)，子像素位置'a'和'c'可使用為彼此為鏡像的過(guò)濾器。過(guò)程50接著進(jìn)行到框56且確定過(guò)濾器的最佳組合。在一個(gè)實(shí)施例中，針對(duì)最終 幀中的每一全像素位置和子像素位置，基于比較時(shí)具有較低錯(cuò)誤和低失真率的過(guò)濾器而關(guān) 于是使用默認(rèn)過(guò)濾器還是替代性過(guò)濾器作出確定。下文描述用于確定每一像素的失真率的數(shù)學(xué)計(jì)算。SADstd，計(jì)算基于默認(rèn)內(nèi)插過(guò)濾器的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)錯(cuò)誤的絕對(duì)差和；SADaif，計(jì)算基于替代性內(nèi)插過(guò)濾器的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)錯(cuò)誤；λ · nBits，計(jì)算編碼過(guò)濾器系數(shù)所必需的輔助信息(side information)的成本 (以位為單位)，將其乘以縮放因子λ并將結(jié)果添加到SADaif ；最終，比較SADstd與SADaif+ λ -nBits且使用最低值來(lái)確定是應(yīng)使用替代性內(nèi)插過(guò) 濾器還是默認(rèn)內(nèi)插過(guò)濾器。在一個(gè)實(shí)施例中，如果過(guò)濾器選擇使用預(yù)定且預(yù)先計(jì)算的過(guò)濾器，則編碼器僅接 收與過(guò)濾器選擇有關(guān)的信息。舉例來(lái)說(shuō)，使用尋找為最佳成本的局部最小近似值的成本的 迭代方法，不需要發(fā)射輔助信息(例如，成本(以位為單位))。圖5為展示用于內(nèi)插的分?jǐn)?shù)像素位置的視頻幀的框圖。而且，圖5說(shuō)明視頻幀中 的一組分?jǐn)?shù)像素(或子像素)位置。在圖5中，存在總共15個(gè)子像素位置，在圖5中標(biāo)記 為“a”到“0”。此外，此框圖可用于提供對(duì)稱數(shù)據(jù)且可導(dǎo)致減少計(jì)算開(kāi)銷。舉例來(lái)說(shuō)，1/2 像素位置'a' 61和'c' 63可為對(duì)稱的，從而減少了內(nèi)插處理中所涉及的計(jì)算開(kāi)銷。在 又一實(shí)例中，子像素位置'C3' 65可與子像素'C4' 69對(duì)稱，從而導(dǎo)致減少內(nèi)插處理期 間的計(jì)算開(kāi)銷。簡(jiǎn)化的試探法僅考慮兩個(gè)參考?jí)K的位置使用相同過(guò)濾器的錯(cuò)誤貢獻(xiàn)。此在所述位 置相同時(shí)或在其屬于相同對(duì)稱類別(例如，圖5中的e、g、m和ο)時(shí)發(fā)生。通過(guò)此方法，有可能累加向量Cti,,,·中的錯(cuò)誤且可將問(wèn)題陳述為
min Σfc,,,·+<■nBitsi)
,d2,...,d ) ,=1歸因于所述決策的獨(dú)立性，可通過(guò)獨(dú)立地最小化每一 Cli來(lái)尋找解。圖6為說(shuō)明運(yùn)動(dòng)估計(jì)的框圖。一般來(lái)說(shuō)，運(yùn)動(dòng)估計(jì)用于確定與參考幀相比當(dāng)前幀 中的每一宏塊的運(yùn)動(dòng)向量。計(jì)算運(yùn)動(dòng)向量的過(guò)程包含執(zhí)行確定當(dāng)前幀中的宏塊與來(lái)自參考 幀的像素塊之間的最佳匹配的搜索算法。一般使用此項(xiàng)技術(shù)中眾所周知的絕對(duì)差和(SAD) 計(jì)算來(lái)執(zhí)行所述搜索算法。具體來(lái)說(shuō)，運(yùn)動(dòng)估計(jì)比較當(dāng)前幀中的每一宏塊與其在先前幀中 的周圍區(qū)域且試圖找到由最小SAD指示的匹配。此外，圖6說(shuō)明一組順序視頻幀之間的關(guān)系。圖6描繪作為參考幀的幀內(nèi)幀(或 I-幀)60和作為當(dāng)前幀的經(jīng)預(yù)測(cè)幀(或P幀)62。經(jīng)預(yù)測(cè)幀(P幀)62界定第一宏塊66且 通過(guò)界定幀內(nèi)幀60 (或參考幀)中的第二宏塊64而執(zhí)行運(yùn)動(dòng)估計(jì)。比較第一宏塊66與第 二宏塊64內(nèi)的像素且計(jì)算絕對(duì)差和(SAD)，并將運(yùn)動(dòng)向量68確定為結(jié)果。圖7為說(shuō)明包括幀內(nèi)幀、經(jīng)預(yù)測(cè)幀和雙向經(jīng)預(yù)測(cè)幀的視頻幀的框圖。如所說(shuō)明，幀 內(nèi)幀70不參考任何其它幀(除了其本身之外)。在一個(gè)實(shí)施例中，幀內(nèi)幀為幀序列中所接 收的第一幀。一般來(lái)說(shuō)，幀內(nèi)幀不參考任何前面的幀且不具有參考將來(lái)的幀的能力。另一 方面，經(jīng)預(yù)測(cè)幀可參考先前幀內(nèi)幀或?qū)?lái)的經(jīng)預(yù)測(cè)幀。如圖中所展示，第一經(jīng)預(yù)測(cè)幀76參 考幀內(nèi)幀70且不參考第一 B幀72或第二 B幀74。B幀通常參考幀內(nèi)幀或經(jīng)預(yù)測(cè)幀(過(guò)去 的與將來(lái)的)。如圖7中所展示，第一 B幀72參考第一幀內(nèi)幀70與第一經(jīng)預(yù)測(cè)幀76兩者 以確定最佳運(yùn)動(dòng)向量。如圖7中所展示，第二 B幀74參考第一幀內(nèi)幀70與第一經(jīng)預(yù)測(cè)幀 76兩者。圖8為說(shuō)明包含雙向經(jīng)預(yù)測(cè)切片的視頻幀的框圖，所述雙向經(jīng)預(yù)測(cè)切片包含兩個(gè) 運(yùn)動(dòng)向量。在一個(gè)實(shí)施例中，第一雙向經(jīng)預(yù)測(cè)幀72參考界定具有16X16的大小的第二幀 內(nèi)幀宏塊806的幀內(nèi)幀70 (前一幀)和界定具有16X 16的大小的第三經(jīng)預(yù)測(cè)宏塊810的 第一經(jīng)預(yù)測(cè)幀76 (將來(lái)的幀)來(lái)界定具有16X16的大小的第一雙向經(jīng)預(yù)測(cè)宏塊814。在另 一實(shí)施例中，參考幀還可為兩個(gè)雙向經(jīng)預(yù)測(cè)幀、兩個(gè)經(jīng)預(yù)測(cè)幀，或經(jīng)預(yù)測(cè)幀與雙向經(jīng)預(yù)測(cè)幀 的組合。第一雙向經(jīng)預(yù)測(cè)幀72計(jì)算并識(shí)別兩個(gè)運(yùn)動(dòng)向量如圖8中所說(shuō)明的第一幀內(nèi)運(yùn)動(dòng) 向量820和第二經(jīng)預(yù)測(cè)運(yùn)動(dòng)向量822。幀內(nèi)幀70識(shí)別關(guān)于第一雙向經(jīng)預(yù)測(cè)幀72具有最小 絕對(duì)差和值的第一幀內(nèi)像素808。如圖8中所展示，第一經(jīng)預(yù)測(cè)幀76識(shí)別關(guān)于第一經(jīng)預(yù)測(cè) 幀72具有最小絕對(duì)差和值的第一經(jīng)預(yù)測(cè)像素812。在識(shí)別第一幀內(nèi)像素808和第一經(jīng)預(yù)測(cè)像素812后，即刻接著建構(gòu)矩陣，如下文所 描述；其中'a'表示第一幀內(nèi)像素808且'b'表示第一經(jīng)預(yù)測(cè)像素812。
矩陣 C= 0，0, a, b 0， 1， a, b 1， 0， a,b 1， 1， a, b 矩陣C含有在預(yù)測(cè)期間所累加的錯(cuò)誤，其中'a'和'b'為子像素位置。因此， 在圖8中，第一幀內(nèi)運(yùn)動(dòng)向量820指向子像素位置'a'且第二經(jīng)預(yù)測(cè)運(yùn)動(dòng)向量822指向子 像素位置'b'。對(duì)于矩陣C= W，0，a，b]，編碼器將添加通過(guò)向第一幀內(nèi)像素808與第一經(jīng)預(yù)測(cè)像素812兩者應(yīng)用默認(rèn)過(guò)濾器(選擇0)而計(jì)算的預(yù)測(cè)錯(cuò)誤。對(duì)于矩陣C= [1,0, a, b]，將通過(guò)添加通過(guò)用自適應(yīng)過(guò)濾器內(nèi)插第一幀內(nèi)像素808且用默認(rèn)過(guò)濾器內(nèi)插第一經(jīng) 預(yù)測(cè)像素812(選擇10)而獲得的預(yù)測(cè)錯(cuò)誤來(lái)更新編碼器。對(duì)于矩陣C= W，l，a，b]，編碼 器將添加通過(guò)用默認(rèn)過(guò)濾器內(nèi)插第一幀內(nèi)像素808且用自適應(yīng)過(guò)濾器內(nèi)插第一經(jīng)預(yù)測(cè)像 素812(選擇01)而獲得的預(yù)測(cè)錯(cuò)誤。最終，對(duì)于矩陣C= [1,1, a, b]，將用從用自適應(yīng)過(guò) 濾器內(nèi)插兩個(gè)像素(選擇11)而獲得的預(yù)測(cè)錯(cuò)誤來(lái)更新編碼器。對(duì)于每一全像素位置和子像素位置，可計(jì)算決策向量D= ((I1, d2，...，dn)，其中 Cli e {0，1}且 i = 1、· · ·、n。用于每一子像素位置的過(guò)濾器旗標(biāo)'1'或'0'表示經(jīng)發(fā)送以指示針對(duì)所述子 像素位置是使用默認(rèn)過(guò)濾器還是替代性過(guò)濾器的一組唯一的過(guò)濾器系數(shù)。如果過(guò)濾器旗標(biāo) 經(jīng)設(shè)定到'1'，則對(duì)用于此子像素位置的替代性過(guò)濾器系數(shù)進(jìn)行預(yù)測(cè)、量化、譯碼且將其 應(yīng)用到對(duì)應(yīng)子像素位置。如果過(guò)濾器旗標(biāo)經(jīng)設(shè)定到'0'，則使用默認(rèn)內(nèi)插過(guò)濾器來(lái)內(nèi)插此 子像素位置和其對(duì)稱的子像素位置。在試探式解中，使用對(duì)稱類別，如果幀內(nèi)像素808與經(jīng)預(yù)測(cè)像素812兩者均指向相
同子像素位置，則累加錯(cuò)誤。舉例來(lái)說(shuō)，可將矩陣簡(jiǎn)化為
矩陣= 0, 0, a, a
0,1, a, a
1,0，a, a 1， 1， a, a在雙預(yù)測(cè)塊中，用于預(yù)測(cè)中的兩個(gè)參考?jí)K的全像素位置或子像素位置可不同，因 此必須針對(duì)位置的每一組合收集SAD錯(cuò)誤。有可能在所有塊中進(jìn)行迭代且在單一回合中， 將原始像素與經(jīng)內(nèi)插像素之間的絕對(duì)差累加到四維矩陣中，其中w表示在過(guò)濾器決策 為屯，Clj e {0，1}時(shí)針對(duì)位置i，j = 1.....η所累加的絕對(duì)差和。對(duì)于經(jīng)編碼的每一塊，位置i和j指代第二幀內(nèi)幀宏塊806 (A)和第三經(jīng)預(yù)測(cè)宏塊 810 (B)。接著，針對(duì)塊814中的每一像素，通過(guò)使用pidtdX和pixAifX (用默認(rèn)過(guò)濾器內(nèi) 插的像素和用替代性過(guò)濾器內(nèi)插的像素)來(lái)計(jì)算四個(gè)預(yù)測(cè)pix_00 = (l-b_scaling)*pixStdA+b_scaling*pixStdB ；pix_01 = (l-b_scaling)*pixStdA+b_scaling*pixAifB ；pix_10 = (l-b_scaling)*pixAifA+b_scaling*pixStdB ；pix_ll = (l-b_scaling)*pixAifA+b_scaling*pixAifB ;最終將經(jīng)重建像素計(jì)算為rec_00 = max(0，min(max—pixel_value，(int) (pix_00+0. 5)))；rec_01 = max (0，min (max—pixel_value，(int) (pix_01+0. 5)))；rec_10 = max (0，min (max—pixel_value，(int) (pix_10+0. 5)))；rec_ll = max (0，min (max—pixel_value，(int) (pix_ll+0. 5)))；且用于確定對(duì)應(yīng)于使用默認(rèn)過(guò)濾器或替代性內(nèi)插過(guò)濾器的絕對(duì)錯(cuò)誤。所述錯(cuò)誤將 在矩陣中經(jīng)累加為C

[i] [j]+ = (double) abs (orig-rec_00)；
C[l] [1] [i] [j]+ = (double) abs (orig-rec_l 1)；C
[1] [i] [j]+ = (double) abs (orig-rec_01)；C[l]
[i] [j]+ = (double) abs (orig-rec_10)；縮放因子b-scaling可為0. 5或根據(jù)當(dāng)前幀和參考幀序列進(jìn)行計(jì)算。此第二方法 可用于更多地加權(quán)源自時(shí)間上較靠近的參考幀的預(yù)測(cè)的貢獻(xiàn)。如果兩個(gè)參考?jí)K中的一者丟失，則僅針對(duì)兩個(gè)位置中的一者累加錯(cuò)誤貢獻(xiàn)。此外， 當(dāng)i = j且對(duì)于兩個(gè)參考?jí)K來(lái)說(shuō)位置相同時(shí)，不累加對(duì)c
[1]和C[l]
的錯(cuò)誤貢獻(xiàn)。對(duì)于每一所使用的替代性過(guò)濾器，可明確地用信號(hào)通知過(guò)濾器系數(shù)，因此每一位
置i = 1.....η(全像素或子像素)具有相關(guān)聯(lián)的加權(quán)成本λ ·ηΒΗ 其中加權(quán)因子反
映位對(duì)速率失真性能的貢獻(xiàn)。如果過(guò)濾器是預(yù)定的或預(yù)先計(jì)算的且可為編碼器所用，則可 能不需要發(fā)射例如成本(以位為單位)的信息。在此體系的情況下，應(yīng)用程序由尋找將最小化以下項(xiàng)的二進(jìn)制決策向量D = (Cl1, d2, . . . , dn)組成
η ηη min Σ Σ c^’υ + Σ 式·λ ■ nBitsi
D=(dx,d2---4n) /=1 j=l =1給定矩陣C^w和向量λ · IiBitsi,有可能徹底地計(jì)算對(duì)應(yīng)于2"個(gè)決策向量中的 每一者的錯(cuò)誤且選擇最小者。緊密近似最佳策略的迭代方法包括從可能的解(任何有效決策向量)開(kāi)始和尋找 替代性過(guò)濾器具有最大錯(cuò)誤減小的位置。接著用新過(guò)濾器選擇的值更新此新位置且重復(fù)所 述過(guò)程，直到可能無(wú)更多改進(jìn)、改進(jìn)可忽略(低于預(yù)定閾值)或達(dá)到迭代的最大數(shù)目為止。 可將所述三個(gè)停止準(zhǔn)則組合在一起。所述方法的偽碼描述如下D
= {0,0,0,...,0} ； //開(kāi)始解SAD = ComputeSAD (D, C) ；//C 為成本矩陣while (不滿足停止準(zhǔn)則){(P，F(xiàn)) = FindPosition(D，C，SAD) ；// 尋找位置和過(guò)濾器//最大程度上減小SADD[P] =F；//更新 DSAD = ComputeSAD (D, C) ；// 更新 SAD}此方法在許多情況下能夠在8到10次迭代中收斂到局部最小值。如果η為位置
的數(shù)目且k為對(duì)于每一位置可用的選擇(過(guò)濾器)的數(shù)目，則每一迭代具有η · (k-1)個(gè)可 能性(所述η個(gè)位置中的每一者上剩余k-Ι個(gè)過(guò)濾器)。如果將迭代的最大數(shù)目限制為至 多c，則此方法將具有在位置和過(guò)濾器的數(shù)目上為線性的計(jì)算復(fù)雜性。使用不均勻量化(即，量化精度)的方法取決于系數(shù)位置。已發(fā)現(xiàn)，與具有較大量 值的系數(shù)(這些為較接近過(guò)濾器中心的系數(shù))相比，具有較小量值的系數(shù)(這些為較遠(yuǎn)離 過(guò)濾器中心的系數(shù))需要較佳精度。矩陣Qfp用于指定整數(shù)像素過(guò)濾器的系數(shù)的量化精度。矩陣中的位的數(shù)目包括用 于符號(hào)的1個(gè)位，因此(例如)將用9個(gè)位(其中1個(gè)位用于符號(hào)且8個(gè)位用于錯(cuò)誤量值) 來(lái)量化中心系數(shù)。
權(quán)利要求
1.一種編碼數(shù)字視頻的方法，所述方法包含 識(shí)別參考幀和當(dāng)前幀；使用默認(rèn)過(guò)濾器內(nèi)插所述參考幀以產(chǎn)生默認(rèn)經(jīng)內(nèi)插幀； 使用替代性過(guò)濾器內(nèi)插所述參考幀以產(chǎn)生替代性經(jīng)內(nèi)插幀；以及 針對(duì)每一子像素位置基于較低和錯(cuò)誤而確定是使用所述默認(rèn)過(guò)濾器還是所述替代性 過(guò)濾器來(lái)產(chǎn)生最終參考幀。
2.根據(jù)權(quán)利要求1所述的方法，其中所述參考幀為經(jīng)預(yù)測(cè)幀。
3.根據(jù)權(quán)利要求1所述的方法，其中所述參考幀為雙向經(jīng)預(yù)測(cè)幀。
4.根據(jù)權(quán)利要求1所述的方法，其中所述默認(rèn)過(guò)濾器為H.264過(guò)濾器
5.根據(jù)權(quán)利要求1所述的方法，其中所述替代性過(guò)濾器為自適應(yīng)內(nèi)插過(guò)濾器。
6.根據(jù)權(quán)利要求1所述的方法，其中所述較低和錯(cuò)誤是基于錯(cuò)誤率與失真的最低組合。
7.一種視頻編碼裝置，其包含運(yùn)動(dòng)補(bǔ)償單元，其經(jīng)配置以使用默認(rèn)過(guò)濾器內(nèi)插第一參考幀以產(chǎn)生默認(rèn)經(jīng)內(nèi)插幀，且 使用替代性過(guò)濾器內(nèi)插第二參考幀以產(chǎn)生替代性經(jīng)內(nèi)插幀；參考幀存儲(chǔ)裝置，其經(jīng)配置以存儲(chǔ)所述默認(rèn)經(jīng)內(nèi)插幀和所述替代性經(jīng)內(nèi)插幀； 過(guò)濾器決策單元，其經(jīng)配置以接收當(dāng)前幀、所述默認(rèn)經(jīng)內(nèi)插幀和所述替代性經(jīng)內(nèi)插幀；針對(duì)每一全像素位置和子像素位置，確定在最終幀中是使用默認(rèn)過(guò)濾器還是替代性過(guò) 濾器；以及產(chǎn)生所述最終幀。
8.根據(jù)權(quán)利要求7所述的視頻編碼裝置，其中所述經(jīng)內(nèi)插參考幀是使用H.264過(guò)濾器 產(chǎn)生的。
9.根據(jù)權(quán)利要求7所述的視頻編碼裝置，其中所述最終參考幀是使用經(jīng)確定具有低錯(cuò) 誤率和低失真率的過(guò)濾器的組合產(chǎn)生的。
10.根據(jù)權(quán)利要求7所述的視頻編碼裝置，其中所述子像素位置為1/2像素、1/4像素 或1/8像素。
11.根據(jù)權(quán)利要求7所述的視頻編碼裝置，其中所述默認(rèn)過(guò)濾器為H.264過(guò)濾器。
12.根據(jù)權(quán)利要求7所述的視頻編碼裝置，其中所述替代性過(guò)濾器為自適應(yīng)內(nèi)插過(guò)濾器。
13.—種視頻編碼裝置，其包含 用于接收當(dāng)前幀的裝置；用于將多個(gè)經(jīng)內(nèi)插參考幀存儲(chǔ)于參考幀存儲(chǔ)裝置中的裝置； 用于接收來(lái)自所述參考幀存儲(chǔ)裝置的所述多個(gè)經(jīng)內(nèi)插參考幀的裝置； 用于產(chǎn)生最終幀的裝置；以及用于針對(duì)所述最終幀中的每一全像素位置和子像素位置而確定是使用默認(rèn)過(guò)濾器還 是替代性過(guò)濾器的裝置。
14.根據(jù)權(quán)利要求13所述的視頻編碼裝置，其中所述多個(gè)經(jīng)內(nèi)插參考幀是使用H.264 過(guò)濾器產(chǎn)生的。
15.根據(jù)權(quán)利要求13所述的視頻編碼裝置，其中所述最終參考幀是使用經(jīng)確定具有低 錯(cuò)誤率和低失真率的過(guò)濾器的組合產(chǎn)生的。
16.根據(jù)權(quán)利要求13所述的視頻編碼裝置，其中所述子像素位置為1/2像素、1/4像素 或1/8像素。
17.根據(jù)權(quán)利要求13所述的視頻編碼裝置，其中所述默認(rèn)過(guò)濾器為H.264過(guò)濾器。
18.根據(jù)權(quán)利要求13所述的視頻編碼裝置，其中所述替代性過(guò)濾器為自適應(yīng)內(nèi)插過(guò)濾器。
19.一種計(jì)算機(jī)可讀媒體，其包含致使處理器執(zhí)行以下操作的指令 識(shí)別參考幀和當(dāng)前幀；使用默認(rèn)過(guò)濾器內(nèi)插所述參考幀以產(chǎn)生默認(rèn)經(jīng)內(nèi)插幀； 使用替代性過(guò)濾器內(nèi)插所述參考幀以產(chǎn)生替代性經(jīng)內(nèi)插幀；以及 針對(duì)每一子像素位置基于較低和錯(cuò)誤而確定是使用所述默認(rèn)過(guò)濾器還是所述替代性 過(guò)濾器來(lái)產(chǎn)生最終參考幀。
20.根據(jù)權(quán)利要求19所述的方法，其中所述參考幀為幀內(nèi)幀。
21.根據(jù)權(quán)利要求19所述的方法，其中所述參考幀為經(jīng)預(yù)測(cè)幀。
22.根據(jù)權(quán)利要求19所述的方法，其中所述默認(rèn)過(guò)濾器為H.264默認(rèn)過(guò)濾器。
23.根據(jù)權(quán)利要求19所述的方法，其中所述替代性過(guò)濾器為自適應(yīng)內(nèi)插過(guò)濾器。
24.根據(jù)權(quán)利要求19所述的方法，其中所述較低和錯(cuò)誤是基于錯(cuò)誤率與失真的最低組合。
25.一種視頻編碼裝置，其包含運(yùn)動(dòng)補(bǔ)償單元，其經(jīng)配置以使用默認(rèn)過(guò)濾器內(nèi)插第一參考幀以產(chǎn)生默認(rèn)經(jīng)內(nèi)插幀，且 使用替代性過(guò)濾器內(nèi)插第二參考幀以產(chǎn)生替代性經(jīng)內(nèi)插幀；過(guò)濾器決策單元，其經(jīng)配置以接收當(dāng)前幀、所述默認(rèn)經(jīng)內(nèi)插幀和所述替代性經(jīng)內(nèi)插幀， 其中所述過(guò)濾器決策單元進(jìn)一步經(jīng)配置以針對(duì)每一全像素位置和子像素位置而確定 在最終幀中是使用默認(rèn)過(guò)濾器還是替代性過(guò)濾器，且產(chǎn)生所述最終幀。
26.根據(jù)權(quán)利要求25所述的視頻編碼裝置，其中所述替代性過(guò)濾器為多個(gè)預(yù)先計(jì)算的 過(guò)濾器中的一者。
27.一種視頻編碼裝置，其包含 用于接收當(dāng)前幀的裝置；用于接收多個(gè)經(jīng)內(nèi)插參考幀的裝置； 用于產(chǎn)生最終幀的裝置；以及用于針對(duì)所述最終幀中的每一全像素位置和子像素位置而確定是使用默認(rèn)過(guò)濾器還 是替代性過(guò)濾器的裝置。
28.根據(jù)權(quán)利要求27所述的視頻編碼裝置，其中所述替代性過(guò)濾器為多個(gè)預(yù)先計(jì)算的 內(nèi)插過(guò)濾器中的一者。
全文摘要
本發(fā)明描述一種用于在編碼器中的多個(gè)可用過(guò)濾器之間進(jìn)行選擇以提供具有低錯(cuò)誤和失真率的幀的方法和裝置。對(duì)于每一全像素位置和子像素位置，通過(guò)估計(jì)使用每一過(guò)濾器的速率失真增益而確定在內(nèi)插期間是使用替代性過(guò)濾器還是默認(rèn)過(guò)濾器且用信號(hào)向解碼器通知對(duì)每一全像素位置和子像素位置應(yīng)用的最佳過(guò)濾器。在一個(gè)實(shí)施例中，識(shí)別參考幀和當(dāng)前幀，使用默認(rèn)過(guò)濾器內(nèi)插所述參考幀以產(chǎn)生默認(rèn)經(jīng)內(nèi)插幀，使用替代性過(guò)濾器內(nèi)插所述參考幀以產(chǎn)生替代性經(jīng)內(nèi)插幀，針對(duì)每一子像素位置基于最小成本而確定是使用所述默認(rèn)過(guò)濾器還是所述替代性過(guò)濾器來(lái)產(chǎn)生最終參考幀。
文檔編號(hào)H04N7/26GK102084655SQ200980126311
公開(kāi)日2011年6月1日 申請(qǐng)日期2009年6月26日 優(yōu)先權(quán)日2008年7月7日
發(fā)明者喬瓦尼·莫塔, 葉琰, 馬爾塔·卡切維奇 申請(qǐng)人:高通股份有限公司