專利名稱：用于變換域視頻編輯的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻編碼，更特別地，涉及視頻編輯。
背景技術(shù)：
在視頻播放和/或捕獲設(shè)備中，視頻編輯能力是一項(xiàng)越來(lái)越需要 的特征。不同視頻序列之間的變化效果、標(biāo)識(shí)插入和層疊序列是編 輯中最普遍使用的操作。視頻編輯工具使用戶能夠在其視頻剪輯上 應(yīng)用一組效果，以便從功能上、從美學(xué)觀點(diǎn)上更好地表現(xiàn)其視頻。
為了在視頻序列上應(yīng)用視頻編輯效果，存在不同的商用產(chǎn)品。這
些軟件產(chǎn)品主要是針對(duì)PC平臺(tái)的。由于處理能力、存儲(chǔ)器和內(nèi)存限 制在當(dāng)今的PC平臺(tái)中已不是問(wèn)題，所以此類視頻編輯產(chǎn)品中使用的
技術(shù)在空間域中處理大部分為原始格式的視頻序列。就此類技術(shù)而 言，首先對(duì)壓縮視頻進(jìn)行解碼，然后在空間域中引入編輯效果。最 后，再次對(duì)該視頻進(jìn)行編碼。這稱為空間域碎見頻編輯操作。
對(duì)于其處理能力、存儲(chǔ)空間、可用內(nèi)存和電池電力方面的資源很 少的設(shè)備而言，對(duì)視頻序列解碼后再次編碼是高代價(jià)運(yùn)算，該運(yùn)算
花費(fèi)大量時(shí)間，耗費(fèi)大量電池電力。諸如移動(dòng)電話、通信裝置和PDA 的許多最新通信設(shè)備配備了視頻攝像頭，從而使用戶能夠拍攝視頻 剪輯并通過(guò)無(wú)線網(wǎng)絡(luò)發(fā)送它們。允許那些通信設(shè)備的用戶在其終端 上生成高質(zhì)量的視頻是有利的和所期望的。空間域視頻編輯操作不 適合無(wú)線蜂窩環(huán)境。
如上所述，在現(xiàn)有技術(shù)中，大部分視頻效果是在空間域中完成的。 例如，對(duì)于兩個(gè)或多個(gè)序列之間的視頻混合(用于淡出的變化效果 等)，首先對(duì)視頻剪輯進(jìn)行解壓縮，然后根據(jù)以下等式完成效果
7 (x,乂 /)=a! F！ O,乂 0+ a2 F2(x,乂 0(1)原始序列K(x,y,t)和F2(x，y,t)進(jìn)行編輯后的序
列。Od和OC2是根據(jù)所需效果選擇的兩個(gè)加權(quán)參數(shù)。依據(jù)所需效果，
對(duì)該視頻序列的不同顏色分量，在空間域中應(yīng)用等式(l)。
最后，對(duì)最后得到的經(jīng)過(guò)編輯的圖像序列重新編碼。該方法的主 要缺點(diǎn)是，它有大量計(jì)算，特別是在編碼部分中。普通編碼器和解 碼器之間的典型復(fù)雜度比值大致為4。當(dāng)使用該常規(guī)空間域編輯方法 時(shí)，必須對(duì)緊接在第二序列中的轉(zhuǎn)變效果后的所有視頻幀進(jìn)行重新 編碼。
此外，在獲得所需結(jié)果之前，用戶通常多次重復(fù)編輯操作，這并 不奇怪。重復(fù)會(huì)增加編輯操作的復(fù)雜度，并且需要更多處理能力。 因此，重要的是開發(fā)能夠把解碼和編碼運(yùn)算降低到最低程度、在壓 縮域中起作用的有效才支術(shù)，以實(shí)現(xiàn)此類編輯效果。
為了有效地執(zhí)行，視頻壓縮技術(shù)使用在形成該視頻的幀中的空間 冗余。首先，把幀數(shù)據(jù)變換到另一個(gè)域，如離散余弦變換(DCT)域， 以對(duì)該幀數(shù)據(jù)進(jìn)行解相關(guān)。然后對(duì)經(jīng)過(guò)變換的數(shù)據(jù)進(jìn)行量化和熵編 碼。
另外，壓縮技術(shù)使用幀之間的時(shí)間相關(guān)在對(duì)幀進(jìn)行編碼時(shí)，通 過(guò)使用前面的幀，有時(shí)通過(guò)使用后面的幀，能夠顯著縮減要壓縮的 數(shù)據(jù)量。
代表某一幀的某些區(qū)域中的變化的信息足以表示一個(gè)連續(xù)幀。這 稱為預(yù)測(cè)，按這種方式編碼的幀稱為預(yù)測(cè)(P)幀或中間幀。因?yàn)轭A(yù)測(cè) 不會(huì)是100%準(zhǔn)確的(除非經(jīng)歷的變化是以每像素描述的)，所以還 要使用表示誤差的殘留幀來(lái)補(bǔ)償預(yù)測(cè)過(guò)程。
通常把預(yù)測(cè)信息表示成用于描述幀中的各個(gè)對(duì)象的位移的矢量。 這些矢量稱為運(yùn)動(dòng)矢量。估計(jì)這些矢量的過(guò)程稱為運(yùn)動(dòng)估計(jì)。使用 這些矢量檢索幀稱為運(yùn)動(dòng)補(bǔ)償。
通常在幀內(nèi)的塊上應(yīng)用預(yù)測(cè)。不同算法的塊大小不同(例如，8x8 或16x16像素，或2nx2m像素，其中n和m為正整數(shù))。某些塊在幀之間的變化非常顯著，在這一情況下最好與任何先前信息無(wú)關(guān)地 (亦即，在不進(jìn)行預(yù)測(cè)的情況下)發(fā)送全部塊數(shù)據(jù)。這些塊稱為內(nèi) 部塊。
視頻序列中有許多幀，這些幀是完全按內(nèi)部模式編碼的。例如， 序列的第一幀通常是完全按內(nèi)部模式編碼的，因?yàn)樗荒芨鶕?jù)更早 的幀來(lái)預(yù)測(cè)。例如，在場(chǎng)景改變時(shí)，與先前的幀顯著不同的幀通常 也是采用內(nèi)部模式編碼的。編碼模式是由視頻編碼器選擇的。圖1
和圖2分別說(shuō)明典型的視頻編碼器410和解碼器420。
解碼器420處理多路復(fù)用視頻比特流(包括視頻和音頻)，對(duì)其 進(jìn)行多路解復(fù)用以獲得壓縮視頻幀。壓縮數(shù)據(jù)包括熵編碼的量化預(yù) 測(cè)誤差變換系數(shù)，經(jīng)編碼的運(yùn)動(dòng)矢量和宏塊類型信息。對(duì)經(jīng)過(guò)解碼 的量化變換系數(shù)c(x,y,t)進(jìn)行逆量化，其中x，y為系數(shù)的坐標(biāo)，t代 表時(shí)間，以便根據(jù)以下關(guān)系式獲得變換系數(shù)d(x，y，t):
傘,乂W(c(W)) (3)
其中Q"為逆量化運(yùn)算。在標(biāo)量量化的情況中，等式(3)變?yōu)?4W)脅c(W) (4)
其中QP為量化參數(shù)。在逆變換塊中，該變換系數(shù)要進(jìn)行逆變換， 以獲得預(yù)測(cè)誤差Ee(x,y,t):
尺O,乂f^r'(^0:,乂/)) (5)
其中T"為逆變換運(yùn)算，在許多壓縮技術(shù)中，它是逆DCT。 如果數(shù)據(jù)塊為內(nèi)部類型的宏塊，則塊的像素等于Ec(x,y,t)。事實(shí) 上，正如前面說(shuō)明的那樣，沒(méi)有預(yù)測(cè)，亦即(6)
如果數(shù)據(jù)塊為中間類型的宏塊，則通過(guò)在從幀內(nèi)存中取回的參考 幀R(x，y，t-l)上使用接收的運(yùn)動(dòng)矢量(Ax， Ay)找到預(yù)測(cè)的像素位置，來(lái) 重構(gòu)塊的像素。獲得的預(yù)測(cè)幀為
<formula>formula see original document page 11</formula>重構(gòu)的幀為
<formula>formula see original document page 11</formula>通常，混合、變化效果、標(biāo)識(shí)插入和幀重疊是可以利用以下操作 實(shí)現(xiàn)的編輯操作
^W,0 = i>,(W)K"W) (9)
其中《(x，y,t)是根據(jù)W個(gè)Vi(x，y，t)原始序列進(jìn)行編輯后的序列，t 是要發(fā)生的效果的時(shí)間索引。參數(shù)oci(x,y，t)表示在所需時(shí)刻t針對(duì)所 有像素(x,y)引入到K(x，y,t)上的修改。
為簡(jiǎn)單起見，考慮N=2的情況，亦即編輯是通過(guò)使用兩個(gè)輸入 序列實(shí)現(xiàn)的。然而，重要的是強(qiáng)調(diào)所有下述編輯討論均可以推廣到n 個(gè)任意輸入幀以生成一個(gè)經(jīng)過(guò)編輯的輸出幀。
對(duì)于#=2,可以把等式(9)寫作等式(1):
f O'乂 0= a i O，乂 0 ^ 0+ a2(x,乂 0 「2(x，乂 0

發(fā)明內(nèi)容
本發(fā)明提供用于壓縮域操作的方法，以實(shí)現(xiàn)所需的編輯效果，該方法的復(fù)雜度更低，并且基本上可以從任意幀(在任意時(shí)刻t)開始。 根據(jù)本發(fā)明，該方法提供改變效果的可能性，改變效果包括恢復(fù)原 始剪輯。根據(jù)本發(fā)明，在編輯設(shè)備中，從編碼器中獲得視頻序列之
一部分的變換系數(shù)，使得它們可以與該視頻序列的其它部分的變換 系數(shù)、其它視頻序列的變換系數(shù)或指示標(biāo)識(shí)的變換系數(shù)進(jìn)行組合， 從而實(shí)現(xiàn)諸如混合、滑動(dòng)變化和標(biāo)識(shí)插入的 一見頻效果。
因此，本發(fā)明的第一方面提供用于編輯比特流的方法，其中該比
特流承載有指示視頻序列的視頻數(shù)據(jù)。該方法包括
從該比特流中獲取指示該視頻序列的至少 一部分的變換系數(shù)的 數(shù)據(jù)；以及
在該變換域中修改獲取的數(shù)據(jù)，用于在修改的比特流中提供修改 的數(shù)據(jù)，以便在該視頻序列的所述至少一部分中實(shí)現(xiàn)視頻效果。 根據(jù)本發(fā)明，該獲取步驟包括
對(duì)該比特流進(jìn)行解碼，以獲得多個(gè)量化的變換系數(shù)；以及 以逆量化對(duì)量化的變換系數(shù)進(jìn)行轉(zhuǎn)變，以提供變換系數(shù)。 根據(jù)本發(fā)明，修改的數(shù)據(jù)包含多個(gè)量化的修改的變換系數(shù)，并且
該修改步驟包括改變?cè)撟儞Q系數(shù)，以提供多個(gè)修改的變換系數(shù)。該
方法進(jìn)一步包括
量化修改的變換系數(shù)，以提供所述多個(gè)量化的修改的變換系數(shù)。 根據(jù)本發(fā)明，該方法進(jìn)一步包括
獲得指示多個(gè)其它變換系數(shù)的其它數(shù)據(jù)，并且該修改步驟包括， 將其它數(shù)據(jù)與獲取的數(shù)據(jù)進(jìn)行組合，以提供修改的數(shù)據(jù)，并且該組 合步驟包括
以第 一加權(quán)參數(shù)乘以其它數(shù)據(jù)，以提供第 一加權(quán)的數(shù)據(jù)； 以第二加權(quán)參數(shù)乘以獲取的數(shù)據(jù)，以提供第二加權(quán)的數(shù)據(jù)；以及 計(jì)算第 一加權(quán)的數(shù)據(jù)和第二加權(quán)的數(shù)據(jù)之和，以提供其它數(shù)據(jù)。 根據(jù)本發(fā)明，調(diào)整第 一加權(quán)參數(shù)和第二加權(quán)參數(shù)中的 一 個(gè)參數(shù)或 兩個(gè)參數(shù)，以實(shí)現(xiàn)混合效果或滑動(dòng)變化效果。其它數(shù)據(jù)可以經(jīng)由變 換運(yùn)算從內(nèi)存設(shè)備中獲得，或者從同 一 比特流或不同比特流中獲得。根據(jù)本發(fā)明，該方法進(jìn)一步包括
對(duì)該比特流進(jìn)行解碼，以獲得多個(gè)量化的變換系數(shù)；
以逆量化運(yùn)算對(duì)量化的變換系數(shù)進(jìn)行轉(zhuǎn)變，以獲得所述修改中使
用的多個(gè)去量化的變換系數(shù)；
對(duì)去量化的變換系數(shù)進(jìn)行逆變換，以獲得指示預(yù)測(cè)誤差的信息； 將該預(yù)測(cè)誤差與該視頻數(shù)據(jù)中的運(yùn)動(dòng)補(bǔ)償信息進(jìn)行組合，以提供
指示參考幀的其它視頻數(shù)據(jù)；
變換其它視頻數(shù)據(jù)，以提供變換的參考數(shù)據(jù)；以及
將該變換參考數(shù)據(jù)與在所述修改中的變換系數(shù)進(jìn)行組合。
根據(jù)本發(fā)明，該方法進(jìn)一步包括
經(jīng)由變換操作從內(nèi)存設(shè)備中獲得多個(gè)其它變換系數(shù)；以及 將其它變換系數(shù)與在所述修改中的變換系數(shù)進(jìn)行組合。 本發(fā)明的第二方面提供用于編輯比特流的視頻編輯設(shè)備，其中該 比特流承載有指示視頻序列的視頻數(shù)據(jù)。該設(shè)備包括
獲取模塊，響應(yīng)于該比特流，用于獲取指示該視頻序列的至少一
部分的變換系數(shù)的數(shù)據(jù)；以及
修改模塊，響應(yīng)于獲取的數(shù)據(jù)，用于在該變換域中改變?cè)撟儞Q系 數(shù)，以在修改的比特流中提供修改的數(shù)據(jù)，以便在該:規(guī)頻序列的所 述至少一部分中實(shí)現(xiàn)視頻效果。
根據(jù)本發(fā)明，該獲取模塊包括
解碼模塊，響應(yīng)于該比特流，用于獲得多個(gè)量化的變換系數(shù)；以
及
逆量化模塊，響應(yīng)于量化的變換系數(shù)，用于提供變換系數(shù)。
根據(jù)本發(fā)明，該修改模塊在該變換域中把該變換系數(shù)改變成修改 的變換系數(shù)，并且該編輯設(shè)備進(jìn)一步包括
量化模塊，用于量化修改的變換系數(shù)，以在修改的數(shù)據(jù)中提供多 個(gè)量化的修改的變換系數(shù)。
根據(jù)本發(fā)明，該編輯設(shè)備進(jìn)一步包括
另 一 個(gè)獲取模塊，用于獲得指示多個(gè)其它變換系數(shù)的其它數(shù)據(jù)；以及
組合模塊，用于將該獲取的數(shù)據(jù)和其它數(shù)據(jù)進(jìn)行組合，以提供修 改的數(shù)據(jù)。
根據(jù)本發(fā)明，該編輯設(shè)備進(jìn)一步包括
另 一 個(gè)獲取模塊，用于獲得指示多個(gè)其它變換系數(shù)的其它數(shù)據(jù)； 逆變換模塊，響應(yīng)于其它數(shù)據(jù)，用于提供指示預(yù)測(cè)誤差的信息； 組合模塊，響應(yīng)于該預(yù)觀'H吳差和該視頻數(shù)據(jù)中的運(yùn)動(dòng)補(bǔ)償信息，
用于提供指示參考幀的參考數(shù)據(jù)；以及
變換模塊，響應(yīng)于該參考數(shù)據(jù)，用于向該修改模塊提供變換的參
考數(shù)據(jù)，以便基于變換的參考數(shù)據(jù)改變?cè)撟儞Q系數(shù)。 本發(fā)明的第三方面才是供^L頻編碼系統(tǒng)，該系統(tǒng)包括 解碼器；以及
編碼器，用于接收比特流，該比特流承載有指示視頻序列的視頻 數(shù)據(jù)，其中該編碼器包括用于編輯該比特流的視頻編輯設(shè)備，其中 該編輯設(shè)備包括
獲取模塊，響應(yīng)于該比特流，用于獲取指示該視頻序列的至少一 部分的變換系數(shù)的數(shù)據(jù)；以及
修改模塊，響應(yīng)于獲取的數(shù)據(jù)，用于在該變換域中改變?cè)撟儞Q系 數(shù)，以在修改的比特流中提供修改的數(shù)據(jù)，以便在該視頻序列的所 述至少一部分中實(shí)現(xiàn)視頻效果，以及
其中該解碼器能夠
在第 一 模式中運(yùn)行，以便根據(jù)該比特流中承載的視頻數(shù)據(jù)重構(gòu)視 頻，以及
在第二模式中運(yùn)行，以便根據(jù)修改的比特流中的修改的數(shù)據(jù)重構(gòu)視頻。
本發(fā)明的第四方面提供電子設(shè)備，該設(shè)備包括 視頻數(shù)據(jù)獲取模塊，用于獲取比特流，其中該比特流承載有具有 視頻數(shù)據(jù)的視頻序列；以及
視頻編輯設(shè)備，用于編輯該比特流，以實(shí)現(xiàn)視頻效果，其中該編輯設(shè)備包括
第 一模塊，用于從該比特流中獲得該視頻序列的至少 一部分的變
換系數(shù)；
第二模塊，用于在該變換域中修改該變換系數(shù)，以提供修改的變 換系數(shù)；以及
第三模塊，用于把修改的變換系數(shù)轉(zhuǎn)變成修改的比特流中的修改 的視頻數(shù)據(jù)。
本發(fā)明的第五方面提供在視頻編輯設(shè)備中使用的軟件產(chǎn)品，其中 該視頻編輯設(shè)備用于編輯比特流，該比特流承載有指示視頻序列的 視頻數(shù)據(jù)。該軟件產(chǎn)品包括
用于從該比特流中提取數(shù)據(jù)的代碼，該數(shù)據(jù)指示該視頻序列的至 少一部分的多個(gè)變換系數(shù)；以及
用于修改該變換系數(shù)以便提供指示修改的變換系數(shù)的修改的數(shù) 據(jù)的代碼。
該軟件產(chǎn)品進(jìn)一步包括
用于將該視頻序列的所述至少 一 部分的變換系數(shù)與其它變換系 數(shù)進(jìn)行混雜的代碼。
根據(jù)本發(fā)明，用于提取的代碼包括
用于對(duì)該比特流進(jìn)行解碼以獲得多個(gè)量化的變換系數(shù)的代碼；以
及
用于以逆量化對(duì)該量化的變換系數(shù)進(jìn)行轉(zhuǎn)變以提供該變換系數(shù) 的代碼。
根據(jù)本發(fā)明，用于修改的代碼包括
用于改變?cè)撟儞Q系數(shù)以提供多個(gè)修改的變換系數(shù)的代碼，所述軟 件產(chǎn)品進(jìn)一步包括
用于量化該修改的變換系數(shù)以便在修改的比特流中提供多個(gè)量 化的修改的變換系數(shù)的代碼。
根據(jù)本發(fā)明，用于混雜的代碼包括
用于以第 一 加權(quán)參數(shù)乘以該變換系數(shù)以提供第 一 加權(quán)的數(shù)據(jù)的換系數(shù)以提供第二加權(quán)
的數(shù)據(jù)的代碼；以及
用于計(jì)算第 一加權(quán)的數(shù)據(jù)和第二加權(quán)的數(shù)據(jù)之和以提供修改的
數(shù)據(jù)的代碼。
根據(jù)本發(fā)明，該軟件產(chǎn)品包括
用于從內(nèi)存中提取存儲(chǔ)的數(shù)據(jù)以提供其它數(shù)據(jù)的代碼；以及 用于變換其它數(shù)據(jù)以提供其它變換系數(shù)的代碼。 根據(jù)本發(fā)明，該軟件產(chǎn)品包括
用于對(duì)該比特流進(jìn)行解碼以獲得多個(gè)量化的變換系數(shù)的代碼；以
及
用于以逆量化運(yùn)算對(duì)量化的變換系數(shù)進(jìn)行轉(zhuǎn)變以獲取多個(gè)去量 化的變換系數(shù)的代碼；
用于對(duì)去量化的變換系數(shù)進(jìn)行逆變換以獲取指示預(yù)測(cè)誤差的信 息的代碼；
用于將該預(yù)測(cè)誤差與該視頻數(shù)據(jù)中的運(yùn)動(dòng)補(bǔ)償信息進(jìn)行組合以
提供指示參考幀的其它視頻數(shù)據(jù)的代碼；
用于變換其它視頻數(shù)據(jù)以提供變換的參考數(shù)據(jù)的代碼；以及 用于將該變換參考數(shù)據(jù)與該變換系數(shù)進(jìn)行混雜以提供修改的數(shù)
據(jù)的代碼。
通過(guò)結(jié)合圖3-圖13閱讀以下說(shuō)明書，本發(fā)明將變得顯而易見。


圖l是一個(gè)框圖，說(shuō)明現(xiàn)有技術(shù)的視頻編碼器處理； 圖2是一個(gè)框圖，說(shuō)明現(xiàn)有技術(shù)的視頻解碼器處理； 圖3是一個(gè)示意性圖示，表示典型視頻編輯通道； 圖4是 一 個(gè)框圖，說(shuō)明根據(jù)本發(fā)明的用于內(nèi)部幀的漸隱效果的壓
縮i或方法的一個(gè)實(shí)施方式；
圖5是 一 個(gè)框圖，說(shuō)明根據(jù)本發(fā)明的用于中間幀的漸隱效果的壓
縮i或方法的一個(gè)實(shí)施方式；圖6是一個(gè)框圖，說(shuō)明根據(jù)本發(fā)明的利用混合進(jìn)行標(biāo)識(shí)插入的壓 縮域方法的一個(gè)實(shí)施方式；
圖7是一個(gè)框圖，表示用于標(biāo)識(shí)插入的壓縮域方法的一個(gè)實(shí)施方
式；
圖8是 一 個(gè)框圖，表示根據(jù)本發(fā)明的可以用于壓縮域視頻編輯的 一個(gè)擴(kuò)展的視頻編碼器；
圖9是一個(gè)框圖，表示根據(jù)本發(fā)明的可以用于壓縮域視頻編輯的 一個(gè)擴(kuò)展的視頻解碼器；
圖IO是一個(gè)框圖，表示根據(jù)本發(fā)明的可以用于壓縮域視頻編輯 的另一個(gè)擴(kuò)展的視頻解碼器；
圖11 a是 一 個(gè)框圖，表示根據(jù)本發(fā)明的具有壓縮域視頻編輯設(shè)備 的一個(gè)電子設(shè)備；
圖11 b是一個(gè)框圖，表示根據(jù)本發(fā)明的具有壓縮域視頻編輯設(shè)備 的另一個(gè)電子設(shè)備；
圖lie是一個(gè)框圖，表示根據(jù)本發(fā)明的具有壓縮域視頻編輯設(shè)備 的又一個(gè)電子設(shè)備；
圖11 d是 一 個(gè)框圖，表示根據(jù)本發(fā)明的具有壓縮域視頻編輯設(shè)備 的另外一個(gè)電子設(shè)備；
圖12是一個(gè)示意性圖示，表示用于提供編輯效果的軟件程序；
以及
圖13是一個(gè)示意性圖示，表示用于提供編輯效果的另一個(gè)軟件 程序。
具體實(shí)施例方式
本發(fā)明主要涉及當(dāng)序列為壓縮格式時(shí)不同視頻序列之間的變化 效果、標(biāo)識(shí)插入和視頻序列的重疊。同樣，在無(wú)需完全解碼和重新 編碼的情況下，把編輯效果應(yīng)用到視頻序列上。因此，本發(fā)明涉及 視頻編輯中的混合操作和的標(biāo)識(shí)插入操作?；旌鲜菍?duì)序列進(jìn)行組合 或連接的操作，使序列中的全部幀或部分幀重疊。標(biāo)識(shí)插入是插入標(biāo)識(shí)的操作，標(biāo)識(shí)可以是位于視頻序列中的某些幀的特定區(qū)域的圖 像或圖形。
可以分解兩幀之間的變化效果編輯，以便在這兩個(gè)幀的對(duì)應(yīng)宏塊 之間執(zhí)行此類操作。如上所述，壓縮視頻中的宏塊有兩種類型內(nèi)
部的和中間的。因此，在宏塊之間應(yīng)用編輯效果有4種不同組合。
我們將借助于這些宏塊的組合來(lái)展現(xiàn)實(shí)現(xiàn)上述效果的方式。
通常，在一個(gè)通道的一端，編輯才喿作可以發(fā)生在該通道中的一見頻
剪輯上。經(jīng)編輯的視頻剪輯在該通道另一端輸出，如圖3所示。視 頻編輯操作可以在時(shí)刻t開始。正如下文描述的那樣，從那個(gè)時(shí)刻開 始，修改該比特流，以便添加所需效果。
內(nèi)部塊與內(nèi)部塊的混合
在空間域中，該操作是按如下方式完成的
對(duì)于內(nèi)部幀，通過(guò)使用前面小節(jié)中的步驟，我們得到 ^ /)= a! O,乂 0+ a2(/)五20,乂 0 (10)
對(duì)于內(nèi)部幀，通過(guò)使用前面小節(jié)中的步驟，并且在對(duì)特殊效果之 后的幀進(jìn)行變換以后，可以在壓縮域中用下式表示相同操作
g(x,j)= a! 0)^)0,7)+ 002(/)^/2(>,少) (11)
正如從圖4中看到的那樣，變換域方法可以顯著簡(jiǎn)化混合操作。 圖4說(shuō)明用于內(nèi)部幀的漸隱變化效果的壓縮域方法的本發(fā)明的 一個(gè)實(shí)施方式。在相應(yīng)的多路解復(fù)用單元10中對(duì)兩個(gè)壓縮比特流 100、 100，進(jìn)行部分解碼，以得到量化的變換系數(shù)110、 100'或c(i,j)。在逆量化塊20中對(duì)量化的變換系數(shù)進(jìn)行逆量化，以得到逆量化的變
換系數(shù)120或d!(i,j)以及120，或d2(i,j)。在塊22和22，中分別用a!(t) 和0t2(t)對(duì)這些系數(shù)山(i,j)和d2(i，j)的每一個(gè)進(jìn)行縮放，以使其成為經(jīng) 過(guò)縮放的系數(shù)122、 122，。然后，利用求和設(shè)備24計(jì)算得到的系數(shù) 122、 122'的和，以生成加權(quán)和124 (dI2，或(x,y)，參見等式ll)。 在量化塊26中再次量化加權(quán)和124,以生成量化的系數(shù)126，或 e(x,y)。最后，把量化的系數(shù)126發(fā)送到多路解復(fù)用單元70,后者執(zhí) 行熵編碼并與其它所需信息一起進(jìn)行多路復(fù)用，以生成有效的壓縮 視頻比特流170。
應(yīng)該懂得，可以組合逆量化塊、縮放塊和量化塊組合成單個(gè)編碼 塊，或者把縮放塊和量化塊組合為單個(gè)編碼塊。
對(duì)該視頻比特流的亮度分量和色度分量?jī)烧咧貜?fù)該處理。
中間塊與中間塊的混合
通過(guò)計(jì)算殘留誤差和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)之和來(lái)重構(gòu)中間幀，
Fi(Xy力,0+Axi，r+ i'")+五i(Xy) 同樣，
用下式表示漸隱效果的空間域表示
"乂,乂0= 10)(^0+^1，少+~"-1)+&0'少))+ a2(/)(^2(x+Ax2，j+Ay2, 一 1 )+五2(x,力) t (x,乂 /)=ai 0,力+a2(/)五2(x,力+od (/)7 , (x+Axl'y+Ayl, ~ 1) +a2(/)7 2(x+Ax2,>y+Ay2' 1) 請(qǐng)注意，7(^+厶)<1,少+厶^>1)是先前在淡出效果之后重構(gòu)的幀，并且可以用R(x+Ad,y+A^，t-1)進(jìn)行重寫，它代表不應(yīng)用變化效 果時(shí)重構(gòu)的幀
t (x+Axb少+Ay,M)二 oc1(M)W1(x+Axl,_y+Ay1，")+
ot201)i 20+Axl,_y+Ayl,rl)
接著，可以用下式計(jì)算預(yù)測(cè)殘數(shù) 0= ^ O,乂 0- 0+Ax,y+Ayi, /-1)
F(x,乂 /)=0^ (OA (A:,力+a2(0五2O,力+cd (0^ i (x+Axl j+Ay h 1)+ a2,20+AX2，_y+Ay2," 1 01 )W i (x+Axl,_y+Ayl, /-1 )-a201)A2(x+Axl,_y+Ay"-l)
FO,_y,0= ct ,0)510^)+ a20)五2(Xy)-(oci01)-
a2(/-l)W2(Jc+Axl,_y+Ayl,")+ a2,2(x+Ax2,_y+Ay2,/-l) (12) 進(jìn)行新的殘數(shù)數(shù)據(jù)的變換，我們?cè)谧儞Q域中得到兩個(gè)中間塊的混 合效果
aiO)^i(Xy)+ a20)《(Xy)-( ot"")-
a2(/) ，2(x+zW+Ay2,")) (13)
內(nèi)部塊與中間塊的混合
可以用下式表示漸隱效果的空間域表示
O,乂 0=a, (x,_y)+a20)(^2(>+AX2j+Ay2,,-1 )+五2(",力),或
7 (x，乂 0=oc, (OA (X_y)+a2(f)￡2O，;0+a20)A2(>+Ax2,_y+Ay2， ")(14)
因?yàn)檩敵鰹閮?nèi)部塊，亦即沒(méi)有預(yù)測(cè)，所以用下式給出塊的變換，
g(X>U)=ai(OJi(x，>0+a2(O"2(^y)+a2O)r(i 2(x+Ax2,;;+Ay2j-l)) (15)
等式(15)在變換域中給出內(nèi)部塊與中間塊的混合結(jié)果。
中間塊與內(nèi)部塊的混合
此時(shí)，用下式表示漸隱效果的.空間域表示
t (x,乂/)-a,(0(A0c+Axj+Ay"-l)+^(x,力)+oc2(/)E2(x,力，
或
同樣，i (x+A仏y+Ay,，t-l)是先前在淡出效果之后重構(gòu)的幀，并且 可以用R(x+Ax,，y+Ay,，t-1)進(jìn)行重寫，它代表不應(yīng)用變化效果時(shí)重構(gòu)的 幀
7(x+Axl,7+Ayl,")= odOl^/^x+Axj+Ay,,")—
a2(")A20+Axb<y+Ay,M)
可以用下式計(jì)算預(yù)測(cè)殘數(shù)
F(X，乂 0= ^ (A乂 0一《(X + Axl,7 + Ay 1, f-1 )F(x,乂0^ai(0五i(Xy)+a2( )五2(",少)+a"0Wi(x+Axi，J+Ayi,"1)-a, 01(x+Axl,;;+Ay"-1 )-a2(M )i^(x+Axj+Ayl，")
A(x+Ax^+Ayi,")畫o^Ol^O+Ax^+Ay^-l) (16) 進(jìn)行新的殘數(shù)數(shù)據(jù)的變換，我們得到中間塊與內(nèi)部塊的混合效
果
eO，y)=a i (OA 0,力+oc2(/)^2(x,力-(a, 1 )-a! O))
r^Kx+Ax^+Ay^-l))- a2(^l)r(^2(x+Ax,j+Ay^-l)) (17)
中間塊與第 一個(gè)內(nèi)部幀的內(nèi)部塊的混合
這是在中間塊上混合內(nèi)部塊的特例，適用于第一個(gè)內(nèi)部幀。請(qǐng)注
意，可以用002(1-1)=0表示此種情況。處理的其余部分遵循分析。通 過(guò)把002("1)=0應(yīng)用于等式(17)，我們?cè)谧儞Q域中得到如下的最終殘留
系數(shù)
召(x,力cci(/)^(Xy)+a2(^/20,力-(o^01)-odO))rC^iO+AxiJ+Ayi,1))
(18)
接著，對(duì)這些變換系數(shù)e(x，y)進(jìn)行量化，并且將其發(fā)送到熵編碼器。
圖5說(shuō)明用于中間宏塊與中間宏塊的漸隱變化效果的壓縮域解 決方案的本發(fā)明的實(shí)施方式。正如圖5所示，編碼設(shè)備5，包括兩個(gè) 解碼器，它們能夠把兩個(gè)壓縮比特流100、 100，解碼為經(jīng)過(guò)解碼的視 頻序列132、 132'。該解碼器的一部分與圖2所示的用于中間塊解碼 的常規(guī)解碼器類似。因此，可以按常規(guī)方式執(zhí)行在空間域中把壓縮 比特流100、 100，解碼為經(jīng)過(guò)解碼的視頻序列132、 132，的處理。然而，編碼設(shè)備5'進(jìn)一步包括許多處理塊，以便除經(jīng)過(guò)解碼的視頻序
列132、132，之外還在經(jīng)過(guò)編輯的比特流170中產(chǎn)生特殊的漸隱效果。 與圖4所示的處理類似，在逆量化塊20中對(duì)量化的變換系數(shù)110 或c(ij)進(jìn)行逆量化，以獲得逆量化的變換系數(shù)120或山(i,j)以及120， 或d2(i，j)。在塊22、22，中分別用a"t)和0C2(t)對(duì)上述系數(shù)d(i,j)和d2(i，j) 的每一個(gè)進(jìn)行縮放，使其成為經(jīng)過(guò)縮放的系數(shù)122、 122，。利用求和 設(shè)備24計(jì)算得到的系數(shù)的和。由參考標(biāo)號(hào)124表示求和結(jié)果d12(i,j)。 其間，在變換塊38、 38，中對(duì)預(yù)測(cè)的幀136或R"x+Ax!,y+Ay,，t-1)以 及136，或R2(x+Ax2,y+Ay2，t-1)進(jìn)行變換編碼。此外，通過(guò)使用第一個(gè) 視頻剪輯的運(yùn)動(dòng)矢量和第二個(gè)視頻剪輯的重構(gòu)幀，經(jīng)由運(yùn)動(dòng)補(bǔ)償預(yù) 測(cè)塊36，獲得參考?jí)K137R2(x+Ax,，y+Ay!,t-1)。同樣，利用變換塊39， 對(duì)參考?jí)K137，進(jìn)行變換編碼。在變換操作之后，用(a,(t-l)-a,(t))、 0C2(t-l)和隱a2(t)對(duì)分別針對(duì)R"x+Ax!，y+Ayht-1)、 R2(x+Ax2,y+Ay2，t-1) 和R2(x+Ax,，y+Ay,，t-1)的變換系數(shù)138、 138，和139，進(jìn)行縮放。接著， 在求和塊25中，從d,2(i，j)中減去經(jīng)過(guò)縮放的變換系數(shù)。然后在量化 塊26中對(duì)最后得到的系數(shù)125或e(i，j)進(jìn)行量化。最后，把量化的系 數(shù)126發(fā)送到多路復(fù)用單元70,該單元執(zhí)行熵編碼并與其它所需信 息一起進(jìn)^于多^各復(fù)用，以生成有效的壓縮視頻比特流170。
應(yīng)該懂得，可以把逆量化塊、縮放塊和量化塊組合成單個(gè)編碼塊， 或者把縮放塊和量化塊組合成單個(gè)編碼塊。
對(duì)該視頻比特流的亮度分量和色度分量?jī)烧咧貜?fù)該處理。 在典型應(yīng)用中，可以進(jìn)一步改進(jìn)上述處理。例如，根據(jù)本發(fā)明，
法。對(duì)于不是變化幀的那些幀，可以跳過(guò)該操作。在上述情況中， 通過(guò)把一個(gè)加權(quán)參數(shù)設(shè)置為0,即a,(t)^0或oc2(t"0，可以執(zhí)行這種 改進(jìn)過(guò)程。當(dāng)0C2(th0時(shí)，無(wú)需計(jì)算R2(x+Ax2，y+Ay2,t-1)的變換系數(shù) 138，。同樣，當(dāng)a2(t-l)二0時(shí)，無(wú)需計(jì)算137',或R2(x+Ax,，y+Ay,，t-1)。 當(dāng)a,(t-lpa,(t)時(shí)，無(wú)需計(jì)算R,(x+Ax,，y+Aybt-1)的變換系數(shù)138。 當(dāng)a2(t-l)=a2(t)時(shí)，不需要在不同的編碼塊中獨(dú)立計(jì)算說(shuō) R2(x+Ax2，y+Ay2,t-1)和R2(x+Ax,，y+Ay,，t-1)的變換系數(shù)，而是可以按以 下方式進(jìn)行計(jì)算。在計(jì)算R2(x+Ax2，y+Ay2,t-1)和R2(x+Ax!，y+Ay!,t-1) 兩者之后，從R2(x+Ax,，y+Ay!,t-1)中減去塊R2(x+Ax2，y+Ay2,t-1)。在 某一變換塊中，例如在塊39，中，對(duì)該差值進(jìn)行變換編碼。利用ot2(t-l) 或cc2(t)對(duì)該結(jié)果進(jìn)行縮放，然后把經(jīng)過(guò)縮放的結(jié)果提供給求和塊25。 其余步驟與以上結(jié)合圖5而描述的處理相同。
滑動(dòng)變化效果
滑動(dòng)變化效果，也稱為"擦除"效果，在變化期間，它使一個(gè)視 頻剪輯滑動(dòng)到另 一個(gè)。這可以是通過(guò)分配依賴于幀中的空間位置(x，y) 的合適權(quán)重a(x,y,t)來(lái)實(shí)現(xiàn)的。此外，對(duì)于幀V"x,y,t),我們?cè)O(shè)定權(quán) 重od(x,y，t)二0和a"x，y，t)-l，以便指定該滑動(dòng)變化將包含幀1的哪些 部分。同樣，設(shè)置oc2(x，y，t)-0和a2(x，y,t)-l指定幀2將包含該幀的哪 些部分。
標(biāo)識(shí)插入
可以用不同方式實(shí)現(xiàn)標(biāo)識(shí)插入。 一 種方式是借助于混合來(lái)實(shí)現(xiàn)標(biāo) 識(shí)插入，如圖6所示。可選擇地，可以在沒(méi)有混合的情況下實(shí)現(xiàn)標(biāo) 識(shí)插入，如圖7所示。
在借助于混合來(lái)實(shí)現(xiàn)標(biāo)識(shí)插入的情況下，用標(biāo)識(shí)內(nèi)存40中的標(biāo) 識(shí)的變換系數(shù)替換來(lái)自某一解碼器(參見圖5)的變換系數(shù)120,如 圖6所示。如圖所示，變換塊41把標(biāo)識(shí)幀或序列140變換成變換系 數(shù)141。在縮放之后，利用求和塊24計(jì)算變換系數(shù)141和系數(shù)120 的和。同時(shí)，利用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)塊36，處理該標(biāo)識(shí)幀，以生成預(yù)測(cè)的 幀137，。把該結(jié)果變換成變換域系數(shù)139，。其余步驟與圖5描述的 那些步驟類似。
圖7表示在沒(méi)有混合的情況下的標(biāo)識(shí)插入。如圖所示，將變換系 數(shù)141與來(lái)自壓縮比特流100的逆量化的變換系數(shù)120,以及與基于 經(jīng)過(guò)編輯的比特流126的預(yù)測(cè)的幀進(jìn)行混雜。多個(gè)序列或幀的重疊
在上述編輯處理中，把輸入序列的數(shù)目或N設(shè)置成2(等式1)。
同樣地，把運(yùn)動(dòng)預(yù)測(cè)中使用的幀數(shù)或n也設(shè)置成2。然而，根據(jù)本發(fā) 明，可以將變換域編輯的方法推廣為使得幀數(shù)可以從n=2擴(kuò)展到 n=N,其中N是大于2的正整數(shù)。
可以把圖4-圖7所示的壓縮域編輯模塊合并到圖1和圖2所示 的常規(guī)編碼器和解碼器中。例如，常規(guī)編碼器410可以可操作地與 本發(fā)明的編輯模塊5、 5，或7相連。正如圖8所示，擴(kuò)展的編碼器610 具有一個(gè)開關(guān)以選擇向解碼器發(fā)送哪個(gè)比特流。在不進(jìn)行編輯的情
況下，發(fā)送原始比特流100。在進(jìn)行編輯的情況下，發(fā)送經(jīng)過(guò)編輯的 比特流170。同樣地，可以把擴(kuò)展的編碼器610用作典型編碼器，或 者其可以用于壓縮域視頻編輯。
如圖9所示也可以把編輯模塊5、 5，和7的每一個(gè)合并到擴(kuò)展的 解碼器620中。如圖所示，解碼器420可以接受原始比特流100,或 來(lái)自編輯模塊5、 5，或7的經(jīng)過(guò)編輯的比特流170。同樣地，可以把 擴(kuò)展的解碼器620用作典型解碼器，或者其可以用于壓縮域視頻編 輯。
也可以與擴(kuò)展的解碼器630中的常規(guī)解碼器420 —起使用圖6 的編輯模塊8。如圖所示，可以直接從編輯模塊8 (參見圖6)的上 部6獲取原始比特流100的經(jīng)過(guò)解碼的視頻序列?？蛇x擇地，可以 利用編輯才莫塊8的下部5'，編輯比特流100。
正如圖lla-圖llc分別所示的那樣，可以把擴(kuò)展的編碼器610 集成到電子設(shè)備710、 720或730中，以便向電子設(shè)備提供壓縮域視 頻編輯能力。正如圖lla所示，電子設(shè)備710包括擴(kuò)展的編碼器610, 用于接收視頻輸入。把來(lái)自編碼器610的輸出的比特流提供給解碼 器420,從而可以在例如顯示器上觀看經(jīng)過(guò)解碼的視頻。正如圖lib 所示，電子設(shè)備720包括用于拍攝視頻圖片的視頻攝像頭。來(lái)自視 頻攝像頭的視頻信號(hào)被傳送到擴(kuò)展的編碼器610,后者可操作地與存說(shuō)明 攝像頭的視頻輸入以實(shí) 現(xiàn)一種或多種視頻效果。正如圖llc所示，電子設(shè)備730包括發(fā)射
機(jī)，用于發(fā)射來(lái)自擴(kuò)展的編碼器610的比特流。正如圖lld所示， 電子設(shè)備740包括一個(gè)接收機(jī)，用于接收包含視頻數(shù)據(jù)的比特流。 該視頻數(shù)據(jù)被傳送到擴(kuò)展的解碼器620或630。來(lái)自擴(kuò)展的解碼器的 輸出被傳送到顯示器以便觀看。電子設(shè)備710、 720、 730、 740可以 是移動(dòng)終端、計(jì)算機(jī)、個(gè)人數(shù)字助理、視頻錄制系統(tǒng)等。
應(yīng)該懂得，可以利用圖12所示的軟件程序422、 424實(shí)現(xiàn)圖4、 圖5和圖6所示的塊22、 22，提供的視頻效果。例如，這些軟件程序 具有第 一代碼和第二代碼，第 一代碼用于提供指示a(x,y，t)的編輯數(shù) 據(jù)，第二代碼用于通過(guò)乘法運(yùn)算將該編輯數(shù)據(jù)應(yīng)用到變換系數(shù)d(x，y，t) 上。第二代碼還可以包括求和運(yùn)算，以對(duì)經(jīng)過(guò)縮放的變換系數(shù)122、 122，、 142進(jìn)行組合。此外，正如圖13所示，可以利用求和模塊28 中的軟件程序426執(zhí)行塊24和塊25兩者中的求和運(yùn)算(參見圖5 和圖6 )。
總之，本發(fā)明提供用于編輯比特流的方法和設(shè)備，其中該比特流 承載有頻序列中的^f見頻數(shù)據(jù)。該編輯過(guò)程包括
對(duì)該比特流進(jìn)行解碼，以獲得該視頻序列的量化的變換系數(shù)； 對(duì)量化的系數(shù)進(jìn)行逆量化，以獲得變換系數(shù)； 在該變換域中修改該變換系數(shù)； 對(duì)修改的變換系數(shù)進(jìn)行量化。
通過(guò)例如經(jīng)由加權(quán)求和運(yùn)算來(lái)對(duì)該變換系數(shù)和其它變換系數(shù)進(jìn) 行組合，可以修改該變換系數(shù)。可以從同一視頻序列或從不同視頻 序列中獲取其它變換系數(shù)。也可以經(jīng)由變換模塊從內(nèi)存中獲取它們。
可以利用軟件程序中的軟件代碼執(zhí)行這些方法步驟的多個(gè)步驟 或全部步驟。
因此，盡管針對(duì)其優(yōu)選實(shí)施方式描述了本發(fā)明，但是本領(lǐng)域的熟 練技術(shù)人員可以懂得，可以對(duì)其形式和細(xì)節(jié)做出上述以及各種各樣 的其它改變、省略和變更，而并不偏離本發(fā)明的范圍。
權(quán)利要求
1.一種編輯比特流的方法，其中該比特流承載有指示視頻序列的視頻數(shù)據(jù)，所述方法特征在于從該比特流中獲取指示該視頻序列的至少一部分的變換系數(shù)的數(shù)據(jù)；以及在變換域中修改所獲取的數(shù)據(jù)，用于在修改的比特流中提供修改的數(shù)據(jù)，以便在該視頻序列的所述至少一部分中實(shí)現(xiàn)視頻效果。
2. 如權(quán)利要求l的方法，其特征在于所述獲取包括 對(duì)該比特流進(jìn)行解碼，以獲得多個(gè)量化的變換系數(shù)；以及以逆量化對(duì)該量化的變換系數(shù)進(jìn)行轉(zhuǎn)變，以提供該變換系數(shù)。
3. 如權(quán)利要求2的方法，其特征在于該修改的數(shù)據(jù)包含多個(gè)量 化的修改的變換系數(shù)，并且所述修改步驟包括改變?cè)撟儞Q系數(shù)，以 提供多個(gè)修改的變換系數(shù)，所述方法特征還在于量化所修改的變換系數(shù)，以在所修改的比特流中提供多個(gè)量化的 修改的變換系數(shù)。
4. 如權(quán)利要求1的方法，其特征還在于獲得指示多個(gè)其它變換系數(shù)的其它數(shù)據(jù)，其中所述修改包括 將該其它數(shù)據(jù)與所獲取的數(shù)據(jù)進(jìn)行組合，以提供所修改的數(shù)據(jù)。
5. 如權(quán)利要求4的方法，其特征在于所述組合步驟包括 以第 一加權(quán)參數(shù)乘以該其它數(shù)據(jù),以提供第 一加權(quán)的數(shù)據(jù)； 以第二加權(quán)參數(shù)乘以所獲取的數(shù)據(jù)，以提供第二加權(quán)的數(shù)據(jù)；以及計(jì)算該第 一 加權(quán)的數(shù)據(jù)和該第二加權(quán)的數(shù)據(jù)之和，以提供該其它數(shù)據(jù)。
6. 如權(quán)利要求5的方法，其特征在于調(diào)整該第一加權(quán)參數(shù)和該 第二加權(quán)參數(shù)中的 一 個(gè)參數(shù)或兩個(gè)參數(shù)，以實(shí)現(xiàn)混合效果。
7. 如權(quán)利要求5的方法，其特征在于調(diào)整該第一加權(quán)參數(shù)和該 第二加權(quán)參數(shù)中的一個(gè)參數(shù)或兩個(gè)參數(shù)，以實(shí)現(xiàn)滑動(dòng)變化效果。
8. 如權(quán)利要求4的方法，其特征在于該其它數(shù)據(jù)指示該視頻序 列的不同部分的該其它變換系數(shù)。
9. 如權(quán)利要求4的方法，其特征在于該其它數(shù)據(jù)是從不同比特流中獲得的。
10. 如權(quán)利要求4的方法，其特征在于該其它數(shù)據(jù)是經(jīng)由變換運(yùn) 算從內(nèi)存設(shè)備中獲得的。
11. 如權(quán)利要求1的方法，其特征還在于 對(duì)該比特流進(jìn)行解碼，以獲得多個(gè)量化的變換系數(shù)；以及以逆量化運(yùn)算對(duì)該量化的變換系數(shù)進(jìn)行轉(zhuǎn)變，以獲得所述修改步 驟中使用的多個(gè)去量化的變換系數(shù)。
12. 如權(quán)利要求ll的方法，其特征還在于對(duì)該去量化的變換系數(shù)進(jìn)行逆變換，以獲得指示預(yù)觀'J誤差的信白 將該預(yù)測(cè)誤差與該視頻數(shù)據(jù)t的運(yùn)動(dòng)補(bǔ)償信息進(jìn)行組合，以提供指示參考幀的其它視頻數(shù)據(jù)；變換該其它視頻數(shù)據(jù)，以提供變換的參考數(shù)據(jù)；以及 將該變換參考數(shù)據(jù)與在所述修改中的該變換系數(shù)進(jìn)行組合。
13. 如權(quán)利要求12的方法，其特征還在于 經(jīng)由變換運(yùn)算從內(nèi)存設(shè)備中獲得多個(gè)其它變換系數(shù)；以及 將該其它變換系數(shù)與在所述修改中的該變換系數(shù)進(jìn)行組合。
14. 如權(quán)利要求12的方法，其特征還在于 從不同的比特流中獲得多個(gè)其它變換系數(shù)；以及將該其它變換系數(shù)與在所述修改中的該變換系數(shù)進(jìn)行組合。
15. —種用于編輯比特流的視頻編輯設(shè)備，其中該比特流承載有 指示視頻序列的視頻數(shù)據(jù)，所述設(shè)備特征在于獲取模塊，響應(yīng)于該比特流，用于獲取指示該視頻序列的至少一 部分的變換系數(shù)的數(shù)據(jù)；以及修改模塊，響應(yīng)于所獲取的數(shù)據(jù)，用于在該變換域中改變?cè)撟儞Q 系數(shù)，以在修改的比特流中提供修改的數(shù)據(jù)，以便在該視頻序列的所述至少一部分中實(shí)現(xiàn)視頻效果。
16. 如權(quán)利要求15的編輯設(shè)備，其特征在于該獲取模塊包括 解碼模塊，響應(yīng)于該比特流，用于獲得多個(gè)量化的變換系數(shù)；以及逆量化模塊，響應(yīng)于該量化的變換系數(shù)，用于提供該變換系數(shù)。
17. 如權(quán)利要求16的編輯設(shè)備，其特征在于該修改模塊在該變 換域中把該變換系數(shù)改變成修改的變換系數(shù)，所述編輯設(shè)備特征還 在于量化模塊，用于量化所修改的變換系數(shù)，以在所修改的數(shù)據(jù)中提 供多個(gè)量化的修改的變換系數(shù)。
18. 如權(quán)利要求15的編輯設(shè)備，其特征還在于另 一個(gè)獲取模塊，用于獲得指示多個(gè)其它變換系數(shù)的其它數(shù)據(jù)； 以及組合模塊，用于將所獲取的數(shù)據(jù)與該其它數(shù)據(jù)進(jìn)行組合，以提供 修改的數(shù)據(jù)。
19. 如權(quán)利要求18的編輯設(shè)備，其特征在于該其它數(shù)據(jù)是經(jīng)由 變換模塊從內(nèi)存設(shè)備中獲取的。
20. 如權(quán)利要求15的編輯設(shè)備，其特征還在于另 一個(gè)獲取模塊，用于獲得指示多個(gè)其它變換系數(shù)的其它數(shù)據(jù)； 逆變換模塊，響應(yīng)于該其它數(shù)據(jù)，用于提供指示預(yù)測(cè)誤差的信息； 組合模塊，響應(yīng)于該預(yù)測(cè)誤差和該視頻數(shù)據(jù)中的運(yùn)動(dòng)補(bǔ)償信息， 用于提供指示參考幀的參考數(shù)據(jù)；以及變換模塊，響應(yīng)于該參考數(shù)據(jù)，用于向該修改模塊提供變換的參考數(shù)據(jù)，以便基于該變換的參考數(shù)據(jù)改變?cè)撟儞Q系數(shù)。
21. 如權(quán)利要求20的編輯設(shè)備，其特征還在于 另一個(gè)變換模塊，響應(yīng)于內(nèi)存設(shè)備中的附加數(shù)據(jù)，用于向該修改模塊提供變換的附加數(shù)據(jù)，以便基于該變換的附加數(shù)據(jù)進(jìn)一步改變 該變換系數(shù)。
22. —種視頻編碼系統(tǒng)，其特征在于解碼器；以及編碼器，用于接收比特流，該比特流承載有指示視頻序列的視頻 數(shù)據(jù)，其中該編碼器包括用于編輯該比特流的視頻編輯設(shè)備，該編輯設(shè)備包括獲取模塊，響應(yīng)于該比特流，用于獲取指示該視頻序列的至少一 部分的變換系數(shù)的數(shù)據(jù)；以及修改模塊，響應(yīng)于所獲取的數(shù)據(jù)，用于在該變換域中改變?cè)撟儞Q 系數(shù)，以在修改的比特流中提供修改的數(shù)據(jù)，以便在該視頻序列的 所述至少一部分中實(shí)現(xiàn)視頻效果，以及其中該解碼器能夠在第 一模式中運(yùn)行，以便根據(jù)該比特流中承載的該視頻數(shù)據(jù)重構(gòu) 一見頻，以及在第二模式中運(yùn)行，以便根據(jù)該修改的比特流中的該修改的數(shù)據(jù) 重構(gòu)一見頻。
23. —種電子設(shè)備，其特征在于視頻數(shù)據(jù)獲取裝置，用于獲取比特流，其中該比特流承載有具有視頻數(shù)據(jù)的—見頻序列；以及視頻編輯設(shè)備，用于編輯該比特流，以實(shí)現(xiàn)視頻效果，該編輯設(shè)備包括第 一模塊，用于從該比特流中獲得該視頻序列的至少 一部分的變 換系數(shù)；第二模塊，用于在該變換域中修改該變換系數(shù)，以提供修改的變 換系數(shù)；以及第三模塊，用于把該修改的變換系數(shù)轉(zhuǎn)變成修改的比特流中的修 改的視頻數(shù)據(jù)。
24. —種在視頻編輯設(shè)備中使用的嵌入在計(jì)算機(jī)可讀介質(zhì)中的 軟件產(chǎn)品，其中該視頻編輯設(shè)備用于編輯比特流，該比特流承載有 指示視頻序列的視頻數(shù)據(jù)，所述軟件產(chǎn)品特征在于用于從該比特流中提取數(shù)據(jù)的代碼，該數(shù)據(jù)指示該視頻序列的至少一部分的多個(gè)變換系數(shù)；以及用于修改該變換系數(shù)以便提供指示該修改的變換系數(shù)的修改的 數(shù)據(jù)的代碼。
25. 如權(quán)利要求24的軟件產(chǎn)品，其特征還在于用于將該視頻序列的所述至少 一部分的該變換系數(shù)與其它變換 系數(shù)進(jìn)行混雜的代碼。
26. 如權(quán)利要求24的軟件產(chǎn)品，其特征在于用于提取的該代碼 包括 用于對(duì)該比特流進(jìn)行解碼以獲得多個(gè)量化的變換系數(shù)的代碼；以及用于以逆量化對(duì)該量化的變換系數(shù)進(jìn)行轉(zhuǎn)變以提供該變換系數(shù) 的代碼。
27. 如權(quán)利要求26的軟件產(chǎn)品，其特征在于用于修改的該代碼 包括用于改變?cè)撟儞Q系數(shù)以提供多個(gè)修改的變換系數(shù)的代碼，所述軟 件產(chǎn)品特征還在于用于量化該修改的變換系數(shù)以便在修改的比特流中提供多個(gè)量 化的修改的變換系數(shù)的代碼。
28. 如權(quán)利要求25的軟件產(chǎn)品，其特征在于用于混雜的該代碼 包括用于以第 一加權(quán)參數(shù)乘以該變換系數(shù)以提供第 一加權(quán)的數(shù)據(jù)的 代碼，以及以第二加權(quán)參數(shù)乘以該其它變換系數(shù)以提供第二加權(quán)的 數(shù)據(jù)的代碼；以及用于計(jì)算該第 一 加權(quán)的數(shù)據(jù)與該第二加權(quán)的數(shù)據(jù)之和以提供該 修改的數(shù)據(jù)的代碼。
29. 如權(quán)利要求25的軟件產(chǎn)品，其特征還在于用于變換該其它數(shù)據(jù)以提供該其它變換系數(shù)的代碼。
30. 如權(quán)利要求24的軟件產(chǎn)品，其特征還在于用于對(duì)該比特流進(jìn)行解碼以獲得多個(gè)量化的變換系數(shù)的代碼；以及用于以逆量化運(yùn)算對(duì)該量化的變換系數(shù)進(jìn)行轉(zhuǎn)變以獲得多個(gè)該 去量化的變換系數(shù)的代碼；用于對(duì)該去量化的變換系數(shù)進(jìn)行逆變換以獲得指示預(yù)測(cè)誤差的信息的代碼；用于將該預(yù)測(cè)誤差與該視頻數(shù)據(jù)中的運(yùn)動(dòng)補(bǔ)償信息進(jìn)行組合以提供指示參考幀的其它視頻數(shù)據(jù)的代碼；用于將該變換參考數(shù)據(jù)與該變換系數(shù)進(jìn)行混雜以提供修改的數(shù) 據(jù)的代碼。
全文摘要
用于編輯視頻數(shù)據(jù)以便在視頻序列中實(shí)現(xiàn)視頻效果的方法和設(shè)備。從編碼器中獲得該視頻序列的一部分的變換系數(shù)。在組合模塊中將該變換系數(shù)與其它變換系數(shù)進(jìn)行混雜。對(duì)組合模塊的輸出進(jìn)行量化和其它處理，以提供經(jīng)過(guò)編輯的視頻比特流。在組合模塊中，以加權(quán)參數(shù)乘以變換系數(shù)，以實(shí)現(xiàn)不同的視頻效果。此外，可以把內(nèi)存中的標(biāo)識(shí)數(shù)據(jù)變換成用于進(jìn)行混雜的其它變換系數(shù)，以便實(shí)現(xiàn)標(biāo)識(shí)插入效果。再者，可以利用預(yù)測(cè)誤差和從視頻數(shù)據(jù)中獲得的運(yùn)動(dòng)補(bǔ)償信息來(lái)提供參考幀，并且可以利用來(lái)自參考幀的變換數(shù)據(jù)進(jìn)行混雜，以實(shí)現(xiàn)混合效果。
文檔編號(hào)H04N5/265GK101529892SQ200580007469
公開日2009年9月9日 申請(qǐng)日期2005年3月3日 優(yōu)先權(quán)日2004年3月10日
發(fā)明者拉吉普·庫(kù)爾塞爾恩, 費(fèi)米·切比爾, 阿薩德·伊斯拉姆 申請(qǐng)人:諾基亞公司