專利名稱：視頻流中的自適應(yīng)圖片組結(jié)構(gòu)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的領(lǐng)域是針對編碼的，更明確地說，所述領(lǐng)域涉及通過自適應(yīng)地指配幀類型 來去除在對視頻進(jìn)行編碼的過程中可實(shí)現(xiàn)的時間冗余。
背景技術(shù)：
在二十世紀(jì)九十年代，電視技術(shù)從使用表示并傳輸視頻的模擬方法轉(zhuǎn)變?yōu)閿?shù)字方法。 一旦接受現(xiàn)存固態(tài)技術(shù)將支持新的處理視頻的方法，數(shù)字視頻的益處就迅速得到認(rèn)可。 可處理數(shù)字視頻以使其與各種類型的接收器匹配，所述接收器具有不同數(shù)目的交錯或漸 進(jìn)的線和線圖案。電纜工業(yè)歡迎在運(yùn)行中實(shí)質(zhì)上改變帶寬-分辨率折衷的機(jī)會，從而允許 在以前只能運(yùn)載一個模擬視頻信道的帶寬中傳輸至多達(dá)十二個視頻信道或7到8個數(shù)字 視頻信道，其具有優(yōu)越的圖片質(zhì)量。數(shù)字圖片將不再受傳輸中的多路徑所導(dǎo)致的重像影 響。
新的技術(shù)提供具有電影院般的圖像和寬屏格式的高清晰度電視(HDTV)的可能性。 不同于4:3的當(dāng)前縱橫比，HDTV的縱橫比為16:9，其類似于電影屏幕。HDTV可包含 杜比數(shù)字(Dolby Digital)環(huán)繞聲，與DVD和許多電影院中所使用的數(shù)字聲效系統(tǒng)相同。 廣播公司可選擇在同一帶寬中傳輸一個高分辨率的HDTV節(jié)目或發(fā)送許多低分辨率的節(jié)
目。數(shù)字電視還可提供交互式視頻和數(shù)據(jù)服務(wù)。
存在驅(qū)動數(shù)字電視的兩種基礎(chǔ)技術(shù)。第一種技術(shù)使用利用了通常在支持視頻的信道 中可用的較高信噪比的傳輸格式。第二種技術(shù)是使用信號處理來去除單個圖片中或圖片 序列中存在的不需要的空間和時間冗余。空間冗余在圖片中表現(xiàn)為具有較少變化的相對 較大的圖片區(qū)域。時間冗余是指圖片的在較遲或較早圖片中再出現(xiàn)的部分。通過消除所 述冗余，可使連續(xù)圖片中所含有的數(shù)據(jù)的復(fù)制減到最小。通過將運(yùn)動向量信息(即對數(shù) 據(jù)區(qū)塊的指針，其將成為對所考慮的區(qū)塊的參考)和指示所述參考區(qū)塊與正被處理的區(qū)塊之間的差異的信息發(fā)送到視頻解碼器來實(shí)現(xiàn)消除。
時間壓縮由標(biāo)準(zhǔn)所允許的運(yùn)動預(yù)測的類型來界定。MPEG2允許三種類型的圖片I (幀內(nèi)編碼)圖片、P (預(yù)測編碼)和B (雙向編碼)圖片。H.264加入了 "跳過幀"編碼 選項(xiàng)。
I圖片在獨(dú)立基礎(chǔ)上被編碼。MPEG2標(biāo)準(zhǔn)允許僅使用空間壓縮來壓縮I圖片，盡管 在更新近的H.264標(biāo)準(zhǔn)中允許I圖片內(nèi)的預(yù)測。
P圖片可直接從在時間上先于其的I圖片或P圖片預(yù)測出，盡管始終可使用空間壓縮 在獨(dú)立基礎(chǔ)上對P圖片中的個別區(qū)塊進(jìn)行編碼。如果最佳預(yù)測區(qū)塊并未充分減少表示P 幀區(qū)塊所需的位的數(shù)目，那么可選擇此選項(xiàng)。
B圖片區(qū)塊的參考源自在時間上橫跨待編碼的幀的I或P圖片。對于MPEG2標(biāo)準(zhǔn)， 只有兩個圖片(一者時間上在前， 一者時間上在后)可用作雙向預(yù)測的參考區(qū)塊源。在 H.264標(biāo)準(zhǔn)中，可使用至多達(dá)32個圖片來查找參考區(qū)塊源。
需要創(chuàng)新性系統(tǒng)來確定如何為幀適當(dāng)?shù)刂概渚幋a類型。

發(fā)明內(nèi)容
此方面的一個方面包括一種對視頻幀進(jìn)行編碼的方法，所述方法包括確定指示選 定幀與至少一個鄰近幀之間的差異的至少一個度量，所述確定是基于與所述鄰近視頻幀 相關(guān)聯(lián)的運(yùn)動信息的；以及基于所確定的度量而自適應(yīng)地為所述視頻幀的每一者指配編
碼方法。，
此方面的又一方面包括一種用于對視頻幀進(jìn)行編碼的設(shè)備，所述設(shè)備包括度量模 塊，其用于確定指示選定幀與至少一個鄰近幀之間的差異的至少一個度量，所述度量是 基于運(yùn)動信息的；以及決策模塊，其基于所確定的度量而自適應(yīng)地為多個幀的每一者指 配編碼方法。
此方面的又一方面包括一種用于對視頻幀進(jìn)行編碼的設(shè)備，所述設(shè)備包括用于確 定指示選定幀與至少一個鄰近幀之間的差異的至少一個度量的裝置，所述度量是基于運(yùn) 動信息的；以及用于基于所確定的度量而自適應(yīng)地為所述幀的每一者指配編碼方法的裝 置。
此方面的又一方面包括一種包括指令的機(jī)器可讀媒體，所述指令在執(zhí)行時致使機(jī)器-確定指示選定幀與至少一個鄰近幀之間的差異的至少一個度量，所述度量是基于運(yùn)動信 息的；且基于所確定的度量而自適應(yīng)地為所述幀的每一者指配編碼方法。
此方面的又一方面包括一種視頻壓縮處理器，其包括用以確定指示選定幀與至少一個鄰近幀之間的差異的至少一個度量，所述度量是基于運(yùn)動信息的；且基于所確定的度
量而自適應(yīng)地為所述幀的每一者指配編碼方法的配置。


圖1是說明視頻傳輸系統(tǒng)的框圖。
圖2是說明圖1的組件的其它方面的框圖。
圖3A是展示將編碼類型指配給幀的系統(tǒng)的結(jié)構(gòu)的框圖。
圖3B是描述圖2的組件中的一者借此計(jì)算幀差異度量的過程的流程圖。
圖4是說明圖2和圖3中的組件借此使用所述幀差異度量來將壓縮類型指配給多個
視頻幀的程序的流程圖。
具體實(shí)施例方式
以下詳細(xì)描述內(nèi)容是針對本發(fā)明的某些具體方面的。然而，可以由權(quán)利要求書界定 和涵蓋的多種不同方式來實(shí)施本發(fā)明。在此描述內(nèi)容中，參考附圖，其中始終用相同數(shù) 字來表示相同部分。
圖1是傳輸系統(tǒng)的功能框圖，所述傳輸系統(tǒng)支持經(jīng)壓縮的視頻數(shù)字傳輸?shù)蕉鄠€終端。 呈現(xiàn)數(shù)字視頻源l，其可以是數(shù)字電纜饋送(digital cable feed)、經(jīng)數(shù)字化的模擬高信號/ 比率源或DVD播放器的未經(jīng)壓縮的數(shù)字輸出。數(shù)字視頻可在傳輸設(shè)施2中壓縮，并在那 調(diào)制到載波上，以便通過網(wǎng)絡(luò)9傳輸?shù)浇K端3。
數(shù)字視頻可具有起源于電視電影或起源于NTSC廣播器材的兩種格式中的一種。區(qū) 分NTSC與電視電影視頻且使后者返回到其原始格式可能是有益的，因?yàn)橐曨l壓縮在來 源的特性是已知的且被用來選擇處理的理想匹配形式時產(chǎn)生最佳結(jié)果。舉例來說，廣播 中止(off-the-air)視頻可以若干方式起源。以常規(guī)方式產(chǎn)生于攝像機(jī)、廣播播音室等的 廣播視頻在美國符合NTSC標(biāo)準(zhǔn)。根據(jù)所述標(biāo)準(zhǔn)，每個幀由兩個字段構(gòu)成。 一個字段由 奇數(shù)線組成，另一個字段由偶數(shù)線組成。雖然以約30幀/秒的速度產(chǎn)生所述幀，但所述 字段是相隔1/60秒的電視攝像機(jī)的圖像的記錄。另一方面，膠片以24幀/秒的速度拍攝， 每個幀由完整的圖像組成。產(chǎn)生膠片的NTSC兼容版本以用于電視電影機(jī)中的廣播，其 中將膠片投影到以標(biāo)稱NTSC幀速率運(yùn)行的視頻成像器上。
在圖2中，以框圖形式展示可用于制備供傳輸?shù)臄?shù)據(jù)的信號制備單元15。在源視頻 單元19中恢復(fù)的數(shù)字視頻幀被傳遞到相位檢測器21。相位檢測器21首先區(qū)分起源于電 視電影的視頻與以標(biāo)準(zhǔn)廣播格式開始的視頻。如果判定視頻是經(jīng)電視電影處理的("是" 決策路徑退出相位檢測器21),那么經(jīng)電視電影處理的視頻返回其原始格式反向電視電影處理裝置(original format inverse telecine) 23。識別并消除冗余幀，且將源自同一視頻 幀的字段重新組織成完整的圖像。由于重構(gòu)的膠片圖像的序列以1/24秒的規(guī)則間隔被攝 影記錄，所以壓縮單元27中所執(zhí)行的運(yùn)動估計(jì)過程，使用經(jīng)反向電視電影處理的圖像比 使用具有不規(guī)則時間基礎(chǔ)的經(jīng)電視電影處理的數(shù)據(jù)更精確。
當(dāng)識別出常規(guī)NTSC視頻(來自21的"否"路徑)時，所述常規(guī)NTSC視頻在區(qū)塊 17中解交錯以供壓縮，從而導(dǎo)致視頻字段以1/60秒的間隔被記錄。字段而不是幀由區(qū)塊 17產(chǎn)生，因?yàn)樽侄卧跁r間上比幀相互更靠近，且可在一個時刻時被掃描。由于上述兩個 原因，用字段找到可用作運(yùn)動估計(jì)的參考的類似區(qū)塊的可能性比用幀找到可用作運(yùn)動估 計(jì)的參考的類似區(qū)塊的可能性高。
所述決策過程隨來自源19的視頻幀流而繼續(xù)，因?yàn)橐曨l流的起源點(diǎn)可在任何時間改 變。可將符合NTSC標(biāo)準(zhǔn)的視頻插入電視電影處理裝置的視頻輸出中，例如作為商業(yè)廣 告。希望檢測器21中作出的決策是準(zhǔn)確的。處理常規(guī)起源的NTSC (像其經(jīng)電視電影處 理那樣)將導(dǎo)致視頻信號中的信息的嚴(yán)重?fù)p失。
信號制備單元15還并入有圖片組(GOP)分割器26，以自適應(yīng)地改變經(jīng)共同編碼的 圖片組的組成。較老的視頻壓縮標(biāo)準(zhǔn)MPEG2不要求GOP具有規(guī)則結(jié)構(gòu)，盡管可強(qiáng)加一 個。MPEG2序列總是以I幀開始，即已經(jīng)在不參考先前圖片的情況下編碼的一個幀。通 常通過固定GOP中緊跟I幀之后的P或預(yù)測性圖片的間隔，來在編碼器處預(yù)先安排 MPEG2GOP格式。P幀是已經(jīng)部分從先前I或P圖片預(yù)測出的圖片。將開始的I幀與隨 后的P幀之間的幀編碼為B幀。"B"幀(B代表雙向)可個別地或同時將先前和接下來 的I或P圖片用作參考。對I幀進(jìn)行編碼所需的位的平均數(shù)目超過對P幀進(jìn)行編碼所需 的位的數(shù)目；同樣，對P幀進(jìn)行編碼所需的位的平均數(shù)目超過對B幀進(jìn)行編碼所需的位 的數(shù)目。跳過的幀(如果使用)可能不需要用于其表示的位。
使用P幀和B幀和(在更新近的壓縮算法中)幀的跳過的一個益處是有可能減小視 頻傳輸大小。當(dāng)時間冗余較高時(即通過消除時間冗余，使圖片間存在較少變化)，P、 B或跳過圖片的使用有效地表示視頻流，因?yàn)檩^早被解碼的I或P圖片較晚被用作對其 它P或B圖片進(jìn)行解碼的參考。
圖片組分割器26自適應(yīng)地對幀進(jìn)行編碼，以使時間冗余減到最小。幀之間的差異被 量化，且在對經(jīng)量化的差異執(zhí)行合適的測試之后，自動作出由I、 P、 B或跳過幀來表示 圖片的決策。預(yù)處理器25輔助GOP分割器26和壓縮器27中的處理，預(yù)處理器25為噪 聲去除提供二維濾波。自適應(yīng)編碼過程具有"固定"編碼過程中不可得到的優(yōu)勢。固定的過程忽略了內(nèi)容 中己經(jīng)發(fā)生較小變化的可能性；然而，自適應(yīng)程序允許多得多的B幀插入每個I幀與P 幀之間，或兩個P幀之間，從而減少充分地表示幀序列所需的位的數(shù)目。相反，例如在 固定編碼過程中，當(dāng)視頻內(nèi)容的變化顯著時，P幀的效率大大地減小，因?yàn)轭A(yù)測到的幀 與參考幀之間的差異太大。在這些情況下，由于攝影角度的變化而導(dǎo)致的失真的緣故， 匹配對象可能在運(yùn)動搜索區(qū)域之外，或匹配對象之間的相似性減小。自適應(yīng)編碼過程可 有益地用于視情況確定何時應(yīng)對P幀進(jìn)行編碼。
在本文所揭示的系統(tǒng)中，自動感測上文描述的情況的類型。本文所描述的自適應(yīng)編 碼過程是靈活的，且可使之適合內(nèi)容的這些變化。所述自適應(yīng)編碼過程用距離的相同可 加性來估算幀差異度量，其可被視為幀之間的距離的測量值。在概念上，假定幀F(xiàn),、 F2 和F3具有幀間距離山2和d23,那么將F,與F3之間的距離視為至少d,2+d23。在此距離類
度量和其它測量值的基礎(chǔ)上進(jìn)行幀指配。圖3A中展示GOP分割器的操作原理，其中GOP 分割器26被分成其功能組件。圖3A中的GOP系統(tǒng)90由度量確定模塊91和指配編碼類 型模塊93組成。
GOP分割器26通過在幀被接收到時向其指配圖片類型而操作。所述圖片類型指示可 用以對每個區(qū)塊進(jìn)行編碼的預(yù)測方法。
在不參考其它圖片的情況下對I圖片進(jìn)行編碼。由于I圖片是獨(dú)立的，所以它們在數(shù)
據(jù)流中提供可開始解碼的存取點(diǎn)。如果幀距其前一幀的"距離"超過場景變化閾值，那 么向所述幀指配I編碼類型。
P圖片可使用先前的I或P圖片進(jìn)行運(yùn)動補(bǔ)償預(yù)測。它們將先前字段或幀中的可從被 預(yù)測的區(qū)塊移位的區(qū)塊用作編碼的基礎(chǔ)。在從所考慮的區(qū)塊中減去參考區(qū)塊之后，對殘 余區(qū)塊進(jìn)行編碼，通常使用離散余弦變換來消除空間冗余。如果幀與上一個被指配為P 幀的幀之間的"距離"超過第二閾值(其通常小于第一閾值)，那么將P編碼類型指配給 所述幀。
如上所述，B幀圖片可使用先前和接下來的P圖片或I圖片來進(jìn)行運(yùn)動補(bǔ)償?？上?前、向后或雙向預(yù)測B圖片中的區(qū)塊；或可在不參考其它幀的情況下對所述區(qū)塊進(jìn)行幀 內(nèi)編碼。在H.264中，參考區(qū)塊可以是多達(dá)32個來自同樣多的幀的區(qū)塊的線性組合。如 果不能將所述幀指配為I或P類型，如果幀距其最近的前一幀的"距離"大于第三閾值 (其通常小于第二閾值)，那么將所述幀指配為B類型。如果不能將所述幀指配成為經(jīng)編 碼的B幀，那么將所述幀指配為"跳過幀"狀態(tài)。此幀可被跳過，因?yàn)槠鋵?shí)質(zhì)上是先前幀的拷貝。
GOP分割器26中發(fā)生的此處理的第一部分是估算對顯示次序中的相鄰幀之間的差
異進(jìn)行量化的度量。此度量是上文提及的距離；用此度量來估算每個幀以獲得其合適的 類型。因此，I幀與鄰近P幀之間，或兩個相繼P幀之間的間隔可以是可變的。通過用基 于區(qū)塊的運(yùn)動補(bǔ)償器處理視頻幀而開始計(jì)算所述度量，其中區(qū)塊是視頻壓縮的基本單位， 通常由16xl6個像素組成，盡管其它區(qū)塊大小(例如8x8、 4x4和8xl6)是可能的。對 于由存在于區(qū)塊17的輸出處的兩個經(jīng)解交錯的字段組成的幀，運(yùn)動補(bǔ)償是在字段基礎(chǔ)上 進(jìn)行的，其中對參考區(qū)塊的搜索在字段而不是幀中發(fā)生。對于當(dāng)前幀的第一字段中的區(qū) 塊，在所述幀的鄰近所述第一字段且緊跟所述第一字段之后的字段中找到前向參考區(qū)塊； 同樣，在所述幀的緊接在當(dāng)前字段之前(即，也鄰近于當(dāng)前字段)的字段中找到后向參 考區(qū)塊。當(dāng)前區(qū)塊被組合成經(jīng)補(bǔ)償字段。所述過程對于幀的第二字段繼續(xù)。將兩個經(jīng)補(bǔ) 償字段進(jìn)行組合以形成經(jīng)前向補(bǔ)償?shù)膸徒?jīng)后向補(bǔ)償?shù)膸?br> 對于反向電視電影處理裝置23中所產(chǎn)生的幀，由于只產(chǎn)生經(jīng)重構(gòu)的膠片幀，所以對 參考區(qū)塊的搜索可只以幀為基礎(chǔ)。找出來自緊鄰于當(dāng)前幀的幀的兩個參考區(qū)塊和兩個差 異(前向和后向)，也導(dǎo)致經(jīng)前向和后向補(bǔ)償?shù)膸??？傊?，運(yùn)動補(bǔ)償器針對每個區(qū)塊產(chǎn)生 運(yùn)動向量和差異度量。應(yīng)注意，度量的差異是在所考慮的字段或幀中的區(qū)塊與最匹配其 的區(qū)塊之間進(jìn)行估算的，所述最匹配其的區(qū)塊位于先前字段或幀中或在緊跟其后的字段 或幀中，視估算前向差異還是后向差異而定。只有亮度值進(jìn)入此計(jì)算中。
因此，運(yùn)動補(bǔ)償步驟產(chǎn)生兩組差異。這些差異是當(dāng)前亮度值的區(qū)塊與取自時間上緊 接在當(dāng)前幀之前和緊接在當(dāng)前幀之后的幀的參考區(qū)塊中的亮度值之間的差異。為區(qū)塊中 的每個像素確定每個前向差異和每個后向差異的絕對值，且每一者分別在整個幀上求和。 當(dāng)處理包括幀的經(jīng)解交錯的NTSC字段時，兩個字段都包含在兩個求和中。以此方式， 找出前向差異和后向差異的經(jīng)求和的絕對值SADp和SADN。
對于每個幀，使用以下關(guān)系來計(jì)算SAD比率，
其中SADp和SADN分別是前向差異和后向差異的經(jīng)求和的絕對值。將較小的正數(shù)添 加到分子e以防止"除零"錯誤。將類似的e項(xiàng)添加到分母，從而進(jìn)一步減少SADp或SADN 接近零時Y的敏感性。在替代方面，所述差異可以是SSD (差異平方和)和SAD (絕對差異和)或SATD, 通過在獲得區(qū)塊元素的差異之前對像素值區(qū)塊應(yīng)用二維離散余弦變換來變換所述像素值 區(qū)塊。在有效視頻的區(qū)域上估算所述總和，盡管在其它方面可使用較小區(qū)域。
還計(jì)算每一幀被接收時(非運(yùn)動補(bǔ)償)的亮度直方圖。所述直方圖對16x16系數(shù)陣 列中的DC系數(shù)(即(O，O)系數(shù))起作用，所述系數(shù)陣列是對亮度值區(qū)塊應(yīng)用二維離散余 弦變換(如果可用)的結(jié)果。16x16區(qū)塊中的256個亮度值的平均值可在直方圖中等效 地使用。對于亮度深度為八個位的圖像，將頻率組的數(shù)目設(shè)置為16。下一個度量估算直 方圖差異
"士IX-w。1 (2)
在以上等式中，a^,.是來自第i個頻率組中的先前幀的區(qū)塊的數(shù)目，且a^,是來自屬 于第i個頻率組中的當(dāng)前幀的區(qū)塊的數(shù)目，w是幀中區(qū)塊的總數(shù)目。 組合這些中間結(jié)果以形成當(dāng)前幀差異度量-
Af =& + /i(2;i + i), (3)
其中Yc是基于當(dāng)前幀的SAD比率，Yp是基于先前幀的SAD比率。如果場景具有平 滑運(yùn)動且其亮度直方圖很少變化，那么M " 1。如果當(dāng)前幀顯示突然的場景變化，那么
Yc將較大，且YP應(yīng)較小。使用比率&而不是單獨(dú)使用Yc,使得所述度量被標(biāo)準(zhǔn)化為內(nèi)容 的活動等級。
圖3B中的數(shù)據(jù)流30說明可用來計(jì)算幀差異度量的某些組件。預(yù)處理器25將經(jīng)交錯 的字段(在視頻具有NTSC源的情況下)和膠片圖像的幀(當(dāng)視頻源是反向電視電影處 理的結(jié)果時)傳遞到雙向運(yùn)動補(bǔ)償器33,所述雙向運(yùn)動補(bǔ)償器33通過將字段(或在視 頻的電影源的情況下，將幀)分成16x16像素區(qū)塊，并將每個區(qū)塊與先前幀的字段的界 定區(qū)域中的所有16x16區(qū)塊進(jìn)行比較來對所述字段(或幀)進(jìn)行操作。選擇提供最佳匹 配的區(qū)塊，并從當(dāng)前區(qū)塊中減去所述區(qū)塊。獲取差異的絕對值，且在包括當(dāng)前區(qū)塊的256 個像素上對結(jié)果進(jìn)行求和。當(dāng)針對字段的所有當(dāng)前區(qū)塊，接著針對兩個字段進(jìn)行此步驟 時，后向差異度量的量SADN己經(jīng)由后向差異模塊37計(jì)算出來。類似的程序可由前向差異模塊36執(zhí)行。前向差異模塊36將時間上緊在當(dāng)前幀之前的幀用作參考區(qū)塊源以導(dǎo)出 前向差異度量SADp。同一估計(jì)程序雖然使用經(jīng)恢復(fù)的膠片幀來進(jìn)行，但仍在反向電視電 影處理中形成輸入幀時發(fā)生。完成幀差異度量的計(jì)算所需的直方圖形成于直方圖差異模 塊41中?；谄淞炼鹊钠骄刀鴮⒚總€16x16區(qū)塊指配給一個頻率組。通過所有256個 像素亮度值一起添加在區(qū)塊中、以256對其進(jìn)行標(biāo)準(zhǔn)化(如果需要)，并遞增平均值將已 被置于其中的頻率組的計(jì)數(shù)來形成此信息。針對每個預(yù)先經(jīng)運(yùn)動補(bǔ)償?shù)膸M(jìn)行一次所述 計(jì)算，所述當(dāng)前幀的直方圖在新的當(dāng)前幀到達(dá)時變成先前幀的直方圖。所述兩個直方圖 通過直方圖差異模塊41中的區(qū)塊的數(shù)目加以區(qū)別和標(biāo)準(zhǔn)化，以形成由等式2界定的X。 這些結(jié)果在幀差異組合器43中組合，幀差異組合器43使用在直方圖差異模塊39、前向 差異模塊36和后向差異模塊36中找到的中間結(jié)果來估算等式(3)中所界定的當(dāng)前幀差 異。
圖4中的流程圖50說明將壓縮類型指配給幀的過程。在一個方面M中，等式3中 所界定的當(dāng)前幀差異是所有相對于幀指配而作出的決策的基礎(chǔ)。如決策區(qū)塊53指示，如 果考慮的幀是序列中的第一個幀，那么緊跟標(biāo)記為"是"的決策路徑之后的是區(qū)塊55， 從而宣布所述幀為I幀。在區(qū)塊57中將累積的幀差異設(shè)置為零，且所述過程返回(在區(qū) 塊58中)到開始區(qū)塊53。如果考慮的幀不是序列中的第一個幀，那么從作出決策的區(qū) 塊53得出標(biāo)記為"否"的路徑，且在測試區(qū)塊59中，相對于場景變化閾值而測試當(dāng)前 幀差異。如果當(dāng)前幀差異大于所述閾值，那么緊跟標(biāo)記為"是"的決策路徑之后的是區(qū) 塊55，從而再次導(dǎo)致I幀的指配。如果當(dāng)前幀差異小于場景變化閾值，那么緊跟"否" 路徑之后的是區(qū)塊61，在區(qū)塊61中，將當(dāng)前幀差異與累積的幀差異相加。所述流程圖 在決策區(qū)塊63處繼續(xù)，將累積的幀差異與閾值t進(jìn)行比較，閾值t通常小于場景變化閾 值。如果累積的幀差異大于t，那么控制轉(zhuǎn)移到區(qū)塊65，且所述幀被指配為P幀；接著 在步驟67中使累積的幀差異復(fù)位為零。如果累積的幀差異小于t，那么控制從區(qū)塊63轉(zhuǎn) 移到區(qū)塊69。在區(qū)塊69處，將當(dāng)前幀差異與T (T小于t)進(jìn)行比較。如果當(dāng)前幀差異小 于T，那么在區(qū)塊73中將幀指配為被跳過；如果當(dāng)前幀差異大于T，那么將幀指配為P幀。
流程圖30的系統(tǒng)及其組件或步驟可由硬件、軟件、固件、中間件、微碼或其任一組 合來實(shí)施。流程圖30的每個功能組件，包含預(yù)處理器35、雙向運(yùn)動補(bǔ)償器33、前向差 異度量模塊36和后向差異度量模塊37、直方圖差異模塊41和幀差異度量組合器43，可 實(shí)現(xiàn)為獨(dú)立組件；合并為另一設(shè)備的組件中的硬件、固件、中間件；或以在處理器上執(zhí) 行的微碼或軟件或其組合的形式實(shí)施。當(dāng)以軟件、固件、中間件或微碼的形式實(shí)施時，執(zhí)行所需任務(wù)的程序代碼或代碼段可存儲在機(jī)器可讀媒體(例如存儲媒體)中。代碼段 可表示步驟、功能、子程序、程序、例行程序、子例行程序、模塊、軟件包、類或指令、 數(shù)據(jù)結(jié)構(gòu)或程序語句的任一組合。代碼段可通過傳遞和/或接收信息、數(shù)據(jù)、自變量、參 數(shù)或存儲器內(nèi)容而耦合到另一代碼段或硬件電路。
接收到且經(jīng)處理的數(shù)據(jù)可存儲在存儲媒體中，所述存儲媒體可包含(例如)連接到 處理器36的配置有芯片的存儲媒體(例如ROM， RAM)或磁盤型存儲媒體(例如磁性 的或光學(xué)的)。在一些方面，組合器43可含有存儲媒體的一部分或全部。
在替代方面，另一幀編碼復(fù)雜性指示符M申被界定為
Af、Afxmin (I，otmax (0，5>1￡>/> - x max (O，群p-m)), (4)
其中a是標(biāo)量，SAZ)p是具有前向運(yùn)動補(bǔ)償?shù)腟A仏MVV是在來自前向運(yùn)動補(bǔ)償?shù)倪\(yùn) 動向量的像素中測量到的長度總和，且s和w巖兩個閾值數(shù)字，其在SADp低于s或A/Vp 低于m時使幀編碼復(fù)雜性指示符變成零。將使用IVP來代替圖4的流程圖50中的當(dāng)前幀 差異。如可看出，只有在前向運(yùn)動補(bǔ)償展示較低等級的運(yùn)動時，]S^才不同于M。在這種 情況下，M小于M。
應(yīng)注意，可將所述方面描述為過程，所述過程可被描繪為流程圖、流程圖解、結(jié)構(gòu) 圖或框圖。盡管流程圖可將操作描述為循序過程，但所述操作中的許多操作可并行或同 時執(zhí)行。另外，可重新排列所述操作的次序。過程在其操作完成時終止。過程可對應(yīng)于 方法、函數(shù)、步驟、子例行程序、子程序等。當(dāng)過程對應(yīng)于函數(shù)時，其終止對應(yīng)于所述 函數(shù)返回到調(diào)用函數(shù)或主函數(shù)。
所屬領(lǐng)域的技術(shù)人員還應(yīng)明了，可在不影響本文所揭示的裝置的操作的情況下，重 新布置所述裝置的一個或一個以上元件。類似地，可在不影響本文所揭示的裝置的操作 的情況下，組合所述裝置的一個或一個以上元件。所屬領(lǐng)域的技術(shù)人員將了解，可使用 多種不同技術(shù)和技法中的任一者來表示信息和信號。所屬領(lǐng)域的技術(shù)人員將進(jìn)一步了解， 結(jié)合本文所揭示的實(shí)例而描述的各種說明性邏輯區(qū)塊、模塊和算法步驟可實(shí)施為電子硬 件、固件、計(jì)算機(jī)軟件、中間件、微碼或其組合。為了清楚地說明硬件與軟件的這種可 互換性，上文已經(jīng)大體上根據(jù)各種說明性組件、區(qū)塊、模塊、電路和步驟的功能性描述 了各種說明性組件、區(qū)塊、模塊、電路和步驟。將此類功能性實(shí)施為硬件還是軟件取決
*在流程圖50中，^^可代替當(dāng)前幀差值M而使用。于特定應(yīng)用和強(qiáng)加于整個系統(tǒng)的設(shè)計(jì)限制。熟練的技術(shù)人員可針對每個特定應(yīng)用以不同 的方式來實(shí)施所描述的功能性，但此類實(shí)施決策不應(yīng)被解釋為導(dǎo)致與所揭示的方法的范 圍脫離。
結(jié)合本文所揭示的實(shí)例而描述的方法或算法的步驟可直接在硬件中、在由處理器執(zhí) 行的軟件模塊中或在所述兩者的組合中實(shí)施。軟件模塊可駐存在RAM存儲器、快閃存儲 器、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移除盤、CD-ROM 或此項(xiàng)技術(shù)中己知的任何其它形式的存儲媒體中。示范性存儲媒體耦合到處理器，使得 處理器可從存儲媒體讀取信息和向存儲媒體寫入信息。在替代方案中，存儲媒體可與處 理器成一體式。處理器和存儲媒體可駐存在專用集成電路(Application Specific Integrated Circuit ， ASIC)中。ASIC可駐存在無線調(diào)制解調(diào)器中。在替代方案中，處理器和存儲 媒體可作為離散組件駐存在無線調(diào)制解調(diào)器中。
另外，可用通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可 編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件或其 經(jīng)設(shè)計(jì)以執(zhí)行本文所描述的功能的任何組合來實(shí)施或執(zhí)行結(jié)合本文所揭示的實(shí)例而描述 的各種說明性邏輯區(qū)塊、組件、模塊和電路。通用處理器可以是微處理器，但在替代方 案中，所述處理器可以是任何常規(guī)處理器、控制器、微控器或狀態(tài)機(jī)。處理器還可實(shí)施 為計(jì)算裝置的組合，例如DSP與微處理器的組合、多個微處理器、結(jié)合DSP核心的一個 或一個以上微處理器，或任何其它此類配置。
提供對所揭示實(shí)例的先前描述是為了使所屬領(lǐng)域的技術(shù)人員能夠制作或使用所揭示 的方法和設(shè)備。所屬領(lǐng)域的技術(shù)人員將容易明了對這些實(shí)例的各種修改，且可在不脫離 所揭示的方法和設(shè)備的精神或范圍的情況下，將本文所界定的原理應(yīng)用于其它實(shí)例，且 可添加額外元件。對所述方面的描述既定為是說明性，且不限制權(quán)利要求書的范圍。
權(quán)利要求
1.一種對視頻幀進(jìn)行編碼的方法，其包括確定指示選定視頻幀與至少一個鄰近視頻幀之間的差異的至少一個度量，其中所述確定是基于與所述鄰近視頻幀相關(guān)聯(lián)的運(yùn)動信息的；以及基于所述所確定的度量自適應(yīng)地將編碼方法指配給所述選定視頻幀。
2. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括基于所述所指配的編碼方法將所述選定 幀編碼為I、 B或P幀。
3. 根據(jù)權(quán)利要求1所述的方法，其中所述所指配的編碼方法包括跳過對所述選定幀的 所述編碼。
4. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括將所述度量與至少一個閾值進(jìn)行比較， 其中基于所述比較確定指配給所述選定視頻幀的所述編碼方法。
5. 根據(jù)權(quán)利要求4所述的方法，其中通過模擬來確定所述閾值。
6. 根據(jù)權(quán)利要求4所述的方法，其中所述閾值指示場景變化。
7. 根據(jù)權(quán)利要求4所述的方法，其進(jìn)一步包括-確定所述度量是否超過所述閾值；以及如果所述度量超過所述閾值，那么以I幀格式對所述選定幀進(jìn)行編碼。
8. 根據(jù)權(quán)利要求7所述的方法，其中如果以所述I幀格式對所述選定幀進(jìn)行編碼，那 么將所述度量設(shè)置為零。
9. 根據(jù)權(quán)利要求4所述的方法，其中指配給所述選定幀的所述編碼方法包括如果每 次比較中所述閾值都大于所述度量，那么跳過對所述選定幀的編碼。
10. —種用于對視頻幀進(jìn)行編碼的設(shè)備，其包括度量模塊，其用于確定指示選定視頻幀與至少一個鄰近幀之間的差異的至少一個 度量，所述度量是基于運(yùn)動信息的；以及決策模塊，其基于所述所確定的度量自適應(yīng)地將編碼方法指配給所述選定視頻 幀。
11. 根據(jù)權(quán)利要求10所述的設(shè)備，其中所述決策模塊的編碼方法包括基于所述所指配 的編碼方法將所述選定幀編碼為I、 B或P幀。
12. 根據(jù)權(quán)利要求10所述的設(shè)備，其中所述決策模塊的所指配的編碼方法包括跳過對 所述選定幀的所述編碼。
13. 根據(jù)權(quán)利要求10所述的設(shè)備，其中所述決策模塊進(jìn)一步包括將所述度量中的至少 一者與至少一個閾值進(jìn)行比較，以選擇所述編碼方法中的一者。
14. 根據(jù)權(quán)利要求13所述的設(shè)備，其中如果以所述I幀格式對所述選定幀進(jìn)行編碼，那 么所述度量模塊將所述度量設(shè)置為零。
15. 根據(jù)權(quán)利要求13所述的設(shè)備，其中所述決策模塊使用指示場景變化的至少一個閾 值。
16. 根據(jù)權(quán)利要求13所述的設(shè)備，其中如果每次比較中所述閾值都大于所述度量，那 么所述決策模塊跳過對所述選定幀的所述編碼。
17. —種用于對視頻幀進(jìn)行編碼的設(shè)備，其包括用于確定指示選定幀與至少一個鄰近幀之間的差異的至少一個度量的裝置，所述 確定是基于與所述鄰近視頻幀相關(guān)聯(lián)的運(yùn)動信息的；以及用于基于所述所確定的度量自適應(yīng)地將編碼方法指配給所述選定視頻幀的裝置。
18. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述用于指配所述編碼方法的裝置包括基于所 述所指配的編碼方法將所述選定幀編碼為I、 B或P幀。
19. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述用于指配所述編碼方法的裝置包括跳過對 所述選定幀的所述編碼。
20. 根據(jù)權(quán)利要求17所述的設(shè)備，其中所述用于自適應(yīng)地指配編碼方法的裝置進(jìn)一步 包括將所述度量與至少一個閾值進(jìn)行比較，以及基于所述比較將所述編碼方法指配 給所述選定視頻幀。
21. 根據(jù)權(quán)利要求18所述的設(shè)備，其中如果所述選定幀被編碼為I幀，那么將所述度量 中的至少一者設(shè)置為零。
22. 根據(jù)權(quán)利要求20所述的設(shè)備，其中通過模擬來確定所述閾值。
23. 根據(jù)權(quán)利要求20所述的設(shè)備，其中所述閾值指示場景變化。
24. 根據(jù)權(quán)利要求20所述的設(shè)備，其中所述用于自適應(yīng)地指配編碼方法的裝置進(jìn)一步 包括確定所述度量是否超過所述閾值，以及如果所述度量超過所述閾值，那么以I 幀格式對所述選定幀進(jìn)行編碼。
25. 根據(jù)權(quán)利要求21所述的設(shè)備，其中所述用于自適應(yīng)地指配所述編碼方法的裝置進(jìn) 一步包括如果每次比較中所述闞值都大于所述度量，那么跳過對所述選定幀的編 碼。
26. 根據(jù)權(quán)利要求24所述的設(shè)備，其中如果以所述I幀格式對所述選定幀進(jìn)行編碼，那么將所述度量設(shè)置為零。
27. —種包括用于對視頻幀進(jìn)行編碼的指令的機(jī)器可讀媒體，其中所述指令在執(zhí)行時致 使機(jī)器確定指示選定幀與鄰近幀之間的差異的至少一個度量，所述度量是基于運(yùn)動信息 .的；以及基于所述所確定的度量自適應(yīng)地將編碼方法指配給所述選定視頻幀。
28. 根據(jù)權(quán)利要求27所述的機(jī)器可讀媒體，其中所述指令進(jìn)一步致使所述機(jī)器基于所 述所指配的編碼方法將所述選定幀編碼為I、 B或P幀。
29. —種視頻編碼處理器，其包括用以以下操作的配置確定指示選定幀與鄰近幀之間的差異的至少一個度量，所述度量是基于運(yùn)動信息 的；以及基于所述所確定的度量自適應(yīng)地為所述幀中的每一者指配編碼方法。
30. 根據(jù)權(quán)利要求29所述的視頻處理器，其中所述指配進(jìn)一步包括基于所述所指配的 編碼方法將所述選定幀編碼為I、 B或P幀。
全文摘要
本系統(tǒng)自適應(yīng)地將用于時間壓縮的圖片類型指配給輸入處的流式視頻的幀?；趯ψ鳛樗鲚斎胩幍乃鰩g的距離的測量值的兩個度量所進(jìn)行的閾值測試，幀可經(jīng)指配以被壓縮為I、P或B幀，或可被系統(tǒng)跳過而根本不被編碼。
文檔編號H04N5/44GK101322413SQ200680045542
公開日2008年12月10日 申請日期2006年10月17日 優(yōu)先權(quán)日2005年10月17日
發(fā)明者濤 田, 維賈雅拉克希米·R·拉韋恩德拉恩 申請人:高通股份有限公司