專利名稱：視頻的壓縮后隱藏?cái)?shù)據(jù)的傳送的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在音頻或視頻信號(hào)中隱藏?cái)?shù)據(jù)的方法及裝置，而更具體地涉及在現(xiàn)有通信信道上正在傳遞的壓縮數(shù)字音頻或視頻數(shù)據(jù)流中提供不可覺察的輔助數(shù)據(jù)信號(hào)的方案。本方案稱作視頻壓縮后隱藏?cái)?shù)據(jù)傳送(PC-HDT)。除了數(shù)字?jǐn)?shù)據(jù)存儲(chǔ)介質(zhì)以外，還公開了從該音頻或視頻信號(hào)恢復(fù)隱藏的數(shù)據(jù)的對(duì)應(yīng)方法及裝置。
通常，攜帶附加信息的傳輸信道的容量受信道帶寬的限制。由于通信信道的帶寬受電磁波譜的現(xiàn)實(shí)性的限制，并且對(duì)于無線信道，可能受法律管制，已研制出用于提高給定帶寬的信道內(nèi)能攜帶的信息量的技術(shù)。例如，用于壓縮數(shù)字?jǐn)?shù)據(jù)以便在給定的帶寬或數(shù)據(jù)存儲(chǔ)空間內(nèi)擠壓更多數(shù)據(jù)的技術(shù)是眾所周知的。
壓縮是指減少編碼源信號(hào)所需的數(shù)據(jù)位數(shù)以便可用解碼器以可接受的保真度恢復(fù)該源信號(hào)而言。例如，已知人眼對(duì)視頻信號(hào)的高頻分量中的幅度變化的敏感度相對(duì)地低。類似地，人耳對(duì)音頻信號(hào)的高頻分量中的幅度變化的敏感度相對(duì)地低。從而，可用分配較少的位給高頻分量的頻率變換技術(shù)編碼音頻與視頻數(shù)據(jù)。以這一方式，減少了必須傳輸?shù)臄?shù)據(jù)位的總數(shù)，同時(shí)仍提供滿意的畫面與聲音。
隨著電視、計(jì)算機(jī)圖形、緊致盤、數(shù)字照相機(jī)之類中數(shù)字音頻及視頻內(nèi)容的使用的增加，在一些情況中可能希望在數(shù)字音頻及視頻信號(hào)中提供隱藏的數(shù)據(jù)。例如，可能希望能攜帶音頻或視頻數(shù)據(jù)的附屬數(shù)據(jù)，以提供防止音頻或視頻信號(hào)未經(jīng)正當(dāng)授權(quán)的復(fù)制，或者控制音頻或視頻節(jié)目或與視頻信號(hào)關(guān)聯(lián)的其它信息(如多媒體)的使用的復(fù)制管理方案。此外，也可能隱藏諸如音頻或視頻節(jié)目的名稱、源、贊助人與/或演出人等標(biāo)識(shí)音頻或視頻信號(hào)的內(nèi)容的信息、以及用于市場研究或商業(yè)驗(yàn)證的民意測驗(yàn)信息。該方案應(yīng)與各種存儲(chǔ)介質(zhì)兼容，其中包括諸如數(shù)字視盤(DVD)等光學(xué)存儲(chǔ)介質(zhì)、包含CD-ROM在內(nèi)的緊致盤(CD)以及諸如視頻盒式錄象帶(VCR)等磁存儲(chǔ)介質(zhì)。
此外，音頻或視頻信號(hào)所攜帶的附屬信息實(shí)際上應(yīng)是不受限制的。例如，允許攜帶與音頻信號(hào)完全無關(guān)的數(shù)據(jù)(如與電影一起傳輸股票價(jià)格數(shù)據(jù)或“電子優(yōu)待券”)是有利的。再者，用來在音頻或視頻信號(hào)中隱藏?cái)?shù)據(jù)的方案應(yīng)能隱藏調(diào)制的載波、未調(diào)制的載波(如導(dǎo)頻)或兩者的組合。
可能進(jìn)一步希望輔助信息基本上不可覺察地與基本音頻或視頻信號(hào)同時(shí)傳輸。在一種這樣的技術(shù)中，音頻或視頻信道的帶寬保持不變，而將附加信息與音頻或視頻信息組裝在一起使之能被檢索而不明顯地降低基本音頻或視頻信號(hào)的質(zhì)量。
這一方案應(yīng)與不具備檢索輔助信息能力的音頻或視頻解碼器以及能夠檢索輔助信息的特殊解碼器兼容。此外，視頻解碼器可具有在將視頻數(shù)據(jù)變換到象素域之前從視頻數(shù)據(jù)中減去補(bǔ)充信息的能力，以便基本上不降低質(zhì)量恢復(fù)視頻信息。
這一方案應(yīng)與現(xiàn)有的數(shù)字視頻數(shù)據(jù)通信方案兼容，在其中將視頻信號(hào)數(shù)字化、空間變換、壓縮、組裝成預(yù)定義的幀格式、然后以位流形式傳輸。因而這一方案應(yīng)允許將隱藏?cái)?shù)據(jù)嵌入壓縮的變換樣本中而無須完全解壓縮該信號(hào)。
這一方案應(yīng)提供一種用于將輔助數(shù)據(jù)隱藏在作為事先存在的位流在現(xiàn)有通信路徑上傳輸?shù)臄?shù)字音頻或視頻數(shù)據(jù)流中的方法，該方法基本上不改變音頻或視頻信號(hào)的質(zhì)量或與位流中的其它數(shù)據(jù)干擾。
具體地，本方案應(yīng)允許在數(shù)字壓縮視頻數(shù)據(jù)流的各副帶(如空間頻率)或數(shù)字壓縮數(shù)據(jù)流的各副帶中提供輔助數(shù)據(jù)。類似地，本方案應(yīng)允許從壓縮的數(shù)字音頻或視頻信號(hào)中恢復(fù)輔助數(shù)據(jù)。最后，本方案應(yīng)提供輔助信號(hào)的頻譜整形以改進(jìn)其隱蔽性。
本發(fā)明涉及具有上述及其它優(yōu)點(diǎn)的用于傳送及恢復(fù)隱藏在數(shù)字音頻或視頻信號(hào)中的信息的方法及裝置。
按照本發(fā)明，提供了以預(yù)先存在的位流在通信信道上傳輸?shù)膲嚎s數(shù)字音頻或視頻信號(hào)中隱藏輔助信息的方法與裝置，而無須為了嵌入輔助數(shù)據(jù)而完全解壓縮該音頻或視頻數(shù)據(jù)。此外，通過將相同的輔助數(shù)據(jù)嵌入到音頻或視頻數(shù)據(jù)的不同副帶中，得到有利的信噪比(SNR)特征。能提供輔助數(shù)據(jù)信號(hào)的頻譜整形來改進(jìn)其隱蔽性。
在數(shù)字視頻數(shù)據(jù)流中提供輔助數(shù)據(jù)副帶樣本的方法包含提供來自數(shù)據(jù)流的多個(gè)視頻變換樣本的步驟。各變換樣本與一個(gè)空間頻率關(guān)聯(lián)?？衫秒x散余弦變換(DCT)或其它變換來空間變換象素?cái)?shù)據(jù)以提供隨后從數(shù)據(jù)流中恢復(fù)的視頻變換樣本。用輔助數(shù)據(jù)信號(hào)將諸如M進(jìn)制擴(kuò)頻信號(hào)(其中M≥2)或其它“白”色噪聲信號(hào)進(jìn)行調(diào)制以提供輔助數(shù)據(jù)副帶樣本。將輔助數(shù)據(jù)副帶樣本與對(duì)應(yīng)的視頻變換樣本組合以產(chǎn)生組合的變換樣本，其中這些輔助數(shù)據(jù)副帶樣本是基本上覺察不到地?cái)y帶的(如不可見地)。這便是，從組合變換樣本恢復(fù)的象素?cái)?shù)據(jù)具有與從視頻變換樣本恢復(fù)的象素?cái)?shù)據(jù)基本上相同的圖象質(zhì)量。對(duì)于一般觀看者，輔助數(shù)據(jù)副帶樣本的存在不降低圖象質(zhì)量。組合變換樣本是為在數(shù)字視頻數(shù)據(jù)流中傳送提供的。
在替代實(shí)施例中，在數(shù)字視頻數(shù)據(jù)流中編碼多層輔助數(shù)據(jù)副帶樣本。各層可具有唯一對(duì)應(yīng)的偽噪聲(PN)序列或者通過移位這些層的相對(duì)位置而使用同一PN序列。此外，可將來自不同輔助信號(hào)的副帶樣本嵌入數(shù)字視頻數(shù)據(jù)流中各自的不同空間頻率(如每一頻率一個(gè)信號(hào))、相同的空間頻率(如每一頻率一個(gè)以上信號(hào))、或它們的組合中。數(shù)字載波序列可包括擴(kuò)展頻譜PN序列、“稀疏”PN序列、“樣本旋轉(zhuǎn)移動(dòng)”序列、或“位旋轉(zhuǎn)移動(dòng)”序列。
當(dāng)視頻變換樣本具有非均勻的功率譜時(shí)，本方法包括歸一化視頻變換樣本來提供近似均勻的功率譜的步驟。歸一化步驟之后去歸一化該組合變換樣本來復(fù)原該視頻變換樣本的非均勻功率譜，及按照非均勻功率譜頻譜整形組合變換樣本中的輔助數(shù)據(jù)副帶樣本。
可用不同的輔助數(shù)據(jù)信號(hào)調(diào)制數(shù)據(jù)載波序列以便允許攜帶其中各自的輔助數(shù)據(jù)副帶樣本對(duì)應(yīng)于不同輔助數(shù)據(jù)信號(hào)的組合變換樣本。這便是各組合變換樣本可攜帶來自不同輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本。在解調(diào)時(shí)，能獨(dú)立地跟蹤這些組合變換樣本來恢復(fù)各自的輔助數(shù)據(jù)信號(hào)。
作為替代，組合變換樣本可攜帶來自單一輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本，使得單一圖象的組合變換樣本的串行解調(diào)能得出來自該單一輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本的串行恢復(fù)。
在另一替代實(shí)施例中，來自多個(gè)輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本攜帶在單一空間頻率中。這允許時(shí)分復(fù)用方案，例如，其中時(shí)間上接連的來自單一空間頻率的第一、第二與第三組合變換樣本分別包含來自第一、第二與第三輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本。
分配位來根據(jù)可見度閾值量化組合副帶樣本，使得輔助數(shù)據(jù)副帶樣本基本上不可覺察的。例如，可見度閾值可提供視頻變換樣本相對(duì)于應(yīng)保持的輔助數(shù)據(jù)副帶樣本的最小信噪比。
視頻變換樣本可包括來自內(nèi)編碼的圖象與/或差分編碼圖象的空間變換象素?cái)?shù)據(jù)。對(duì)于差分編碼圖象，由于減少了分配給編碼差分信號(hào)的位的數(shù)目。相對(duì)于內(nèi)編碼圖象可減小輔助數(shù)據(jù)的位速率。
類似地，提供了從壓縮數(shù)字視頻數(shù)據(jù)流恢復(fù)表示輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本的方法。輔助數(shù)據(jù)副帶樣本是通過用輔助數(shù)據(jù)信號(hào)調(diào)制第一數(shù)據(jù)載波序列提供的。輔助數(shù)據(jù)副帶樣本是與數(shù)據(jù)流中的組合變換樣本中的視頻變換樣本一起攜帶的。
從數(shù)據(jù)流恢復(fù)組合變換樣本，并提供與第一數(shù)據(jù)載波序列對(duì)應(yīng)的復(fù)原數(shù)據(jù)載波序列，利用復(fù)原數(shù)據(jù)載波序列處理組合變換樣本來恢復(fù)輔助數(shù)據(jù)副帶樣本。處理可包含下述步驟利用復(fù)原數(shù)據(jù)載波序列解調(diào)(如混頻)恢復(fù)的組合變換樣本來恢復(fù)輔助數(shù)據(jù)副帶樣本；以及積分恢復(fù)的輔助數(shù)據(jù)副帶樣本來提供去擴(kuò)展輔助數(shù)據(jù)副帶樣本。去擴(kuò)展是通過混頻與積分的組合完成的。跨越選擇的空間頻率求和去擴(kuò)展的輔助數(shù)據(jù)副帶樣本來恢復(fù)輔助數(shù)據(jù)信號(hào)。
當(dāng)視頻變換樣本具有非均勻的功率譜時(shí)，歸一化組合變換樣本來為組合變換樣本中的視頻變換樣本提供大致上均勻的功率譜。
可在視頻變換樣本的多個(gè)空間頻率上濾波復(fù)原數(shù)據(jù)載波序列，在這一情況中可在多個(gè)空間頻率中攜帶輔助數(shù)據(jù)副帶樣本。
還公開了對(duì)應(yīng)的編碼與解碼裝置。
此外，公開了壓縮數(shù)字?jǐn)?shù)據(jù)存儲(chǔ)介質(zhì)，它包含用于存儲(chǔ)包含表示視頻信號(hào)的視頻變換樣本及表示輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本的組合變換樣本的存儲(chǔ)裝置。輔助數(shù)據(jù)副帶樣本是通過在至少對(duì)應(yīng)于視頻變換樣本的一個(gè)空間頻率上用輔助數(shù)據(jù)信號(hào)調(diào)制數(shù)據(jù)載波序列提供的。輔助數(shù)據(jù)副帶樣本基本上不可覺察地?cái)y帶在視頻信號(hào)中，并且是按照視頻變換樣本頻譜整形的。該存儲(chǔ)介質(zhì)還包含用于允許從輔助數(shù)據(jù)副帶樣本恢復(fù)輔助數(shù)據(jù)信號(hào)的裝置。


圖1為常規(guī)心理視覺視頻編碼器的框圖；圖2為作為按照本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送系統(tǒng)的輸入而提供的副帶編碼數(shù)字視頻信號(hào)的常規(guī)幀格式化的示意圖；圖3a為按照本發(fā)明的視頻壓縮后隱藏?cái)?shù)據(jù)傳送編碼器的第一代表性應(yīng)用的框圖；圖3b為按照本發(fā)明的視頻壓縮后隱藏?cái)?shù)據(jù)傳送解碼器的第二代表性應(yīng)用的框圖；圖4為按照本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送系統(tǒng)編碼器的框圖；圖5為按照本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送系統(tǒng)編碼器的另一實(shí)施例的框圖；圖6為按照本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送系統(tǒng)解碼器的框圖；圖7為按照本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送系統(tǒng)編碼器的另一實(shí)施例的框圖；以及圖8為按照本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送系統(tǒng)解碼器的另一實(shí)施例的框圖。
本發(fā)明涉及在現(xiàn)有頻道上正在傳遞的壓縮的數(shù)字視頻數(shù)據(jù)流中提供不能覺察的副帶編碼的輔助數(shù)據(jù)信號(hào)的方法及裝置，短語“副帶編碼的”包含諸如正交鏡象濾波器(QMF)與棱錐編碼等基于濾波器組的編碼以及諸如離散傅里葉變換、離散余弦變換、Karhunen-Loeve變換、WalshHadamard變換、弱波變換及其它已知的空間變換等變換編碼。術(shù)語“變換編碼的”具體指諸如在兩(或多)維空間變換的數(shù)據(jù)。
本發(fā)明是與依賴于包含諸如電影專家組(MPEG)的MPEG-2視頻標(biāo)準(zhǔn)在內(nèi)的某種形式的空間變換編碼技術(shù)的現(xiàn)有當(dāng)代視頻壓縮算法兼容的。在MPEG-2標(biāo)準(zhǔn)下，數(shù)字視頻數(shù)據(jù)能在分組傳送流中與其它數(shù)字?jǐn)?shù)據(jù)(如音頻、閉路字幕數(shù)據(jù)、股票價(jià)格、等等)一起傳輸，該分組傳送流是通過衛(wèi)星或地面方法傳輸?shù)絺€(gè)人家中或有線電視分配系統(tǒng)的頭端的。作為替代，可從諸如數(shù)字視盤(DVD)、緊致盤(CD)或數(shù)字視頻盒式帶(DVC)等編碼的源介質(zhì)本地提供傳送流。
由于成象系統(tǒng)中表示可視信息的方法，在傳統(tǒng)的圖象表示中存在著內(nèi)在冗余性。畫面的數(shù)字表示是通過在各抽樣點(diǎn)(如象素)上記錄場景的強(qiáng)度或亮度(如亮度)達(dá)到的，其中，象素的二維陣列表示畫面。雖然在成象系統(tǒng)中將各象素值表示為幅值或電壓，人的視覺對(duì)象素之間的結(jié)構(gòu)關(guān)系更協(xié)調(diào)，而不是對(duì)單個(gè)象素的精確值。
發(fā)掘象素之間的這一關(guān)系的一種方法是用一組濾波器或頻譜分析儀模擬視覺。這種頻域表示是合理的，因?yàn)榈屯V波的畫面與全帶寬畫面相比看起來只是稍為模糊，但仍傳遞大多數(shù)視覺上重要的信息給人類看者。這對(duì)諸如符合國際標(biāo)準(zhǔn)組織(ISO)頒布的聯(lián)合兩級(jí)成象組(JBIG)與聯(lián)合照相專家組(JPEG)標(biāo)準(zhǔn)的靜止圖象以及諸如符號(hào)MPEG-1或MPEG-2標(biāo)準(zhǔn)的移動(dòng)圖象都正確。這里使用的術(shù)語“視頻”指稱靜止圖象與移動(dòng)兩者。當(dāng)然，一個(gè)移動(dòng)圖象包括一系列靜止圖象。
各圖象(諸如16×16象素宏塊)可獨(dú)立于其它圖象編碼(如內(nèi)編碼)或相對(duì)于諸如來自前一或后一幀的另一圖象差分編碼。
一旦在頻域中，便能利用圖象的逐個(gè)象素表示中的某些冗余，因?yàn)橐曨l對(duì)畫面的高空間頻率分量中引入的噪聲較不敏感。此外，視覺是對(duì)數(shù)性的，在于在給定頻率上的強(qiáng)度值的廣闊范圍上各頻率上所要求的保真度或信噪比(SNR)是在一定程度上恒定的。從而，一旦信噪比超過一定的閾值，噪聲不再可見。見諸如Stromeyer與Julesz“視覺中的空間頻率屏蔽臨界帶與屏蔽擴(kuò)展”美國光學(xué)學(xué)會(huì)學(xué)報(bào)，卷62，1972年10月。所要求的SNR通常大約30dB，在這里稱作“可見度閾值”。已用作帶有寬帶(如隨機(jī))噪聲的模擬電視信號(hào)的可見度閾值的加權(quán)噪聲功率SNR26-52dB也可以是適當(dāng)?shù)摹Ｍǔ?，通過實(shí)驗(yàn)?zāi)艽_定滿意的SNR。在量化視頻圖象時(shí)，在圖象壓縮標(biāo)準(zhǔn)中可使用可見度閾值。
諸如在A.N.Netravali與B.G.Haskell的“數(shù)字畫面，表示與壓縮(第二版)”(Plenum出版社，紐約，NY，1995)中所討論的，人類視覺的心理視覺模型將刺激的可見度閾值定義為變得可見或則成為不可見時(shí)的刺激的強(qiáng)度。這里討論的刺激指稱在其中存在輔助數(shù)據(jù)的圖象區(qū)，這在下面將更全面地說明。在該閾值上人類觀察者檢測出的概率為50％。多種因素影響可見度閾值，其中包含該刺激在其上呈現(xiàn)的平均背景亮度級(jí)、時(shí)間與空間中的閾上亮度變化以及刺激的空間形狀與時(shí)間變化。其它變量包含圖象的尺寸(如電視屏幕)、觀看距離、環(huán)境光強(qiáng)度及觀察者的視覺分辨能力。
對(duì)諸如NTSC(國家電視標(biāo)準(zhǔn)委員會(huì))標(biāo)準(zhǔn)的模擬視頻使用6MHz帶寬對(duì)大多數(shù)觀察者能提供滿意的圖象質(zhì)量。對(duì)應(yīng)的壓縮數(shù)字圖象可在小于5Mbps(兆位每秒)的數(shù)據(jù)率上傳輸。此外，ATSC(高級(jí)電視標(biāo)準(zhǔn)委員會(huì))新提出的高清晰度電視(HDTV)系統(tǒng)能用數(shù)字壓縮在20Mbps上傳輸30MHz帶寬視頻信號(hào)。在這兩種數(shù)字信號(hào)中，都在進(jìn)行分析與壓縮之前用諸如DCT等空間變換將畫面變換到頻域中。
頻域分析對(duì)于視頻不如對(duì)音頻健全與精確，因?yàn)橐曨l的與頻率相關(guān)的屏蔽現(xiàn)象尚未完全理解。感覺信號(hào)在其中是靜止的范圍對(duì)于視覺比對(duì)于聽覺要短得多。從而，與音頻壓縮方案中高達(dá)256點(diǎn)的快速傅里葉變換(FFT)相比，對(duì)于大多數(shù)視頻壓縮方案采用較短的變換大小，諸如8點(diǎn)DCT(在各維上)。同時(shí)，對(duì)于相位信息，視頻比音頻要敏感得多，因此視頻處理必須非常局部化，諸如在各方向上在若干象素以內(nèi)。此外，與音頻中的時(shí)間方向不同，視頻沒有“空間方向性”，因此濾波操作應(yīng)是各向同性的。
可利用多種編碼技術(shù)編碼音頻與視頻數(shù)字?jǐn)?shù)據(jù)。具體地，副帶編碼是頻譜波形編碼的一種形式，它在現(xiàn)代音頻數(shù)據(jù)壓縮方案中常用，但也能用于其它數(shù)據(jù)波形。
一般可使用多種技術(shù)將表示數(shù)據(jù)的模擬波形編碼到數(shù)字域中，這些技術(shù)包含諸如脈沖碼調(diào)制(PCM)與差分脈沖碼調(diào)制(DPCM)等時(shí)間波形編碼、基于模型的源編碼、及頻譜波形編碼。頻譜波形編碼包含自適應(yīng)變換編碼與副帶編碼。這里所用的術(shù)語“副帶編碼”意味著包含基于濾波器組的編碼與變換編碼。這兩種方法是相似的，因?yàn)樵趦煞N情況中都編碼對(duì)應(yīng)于預(yù)定義頻帶或波形的空間頻率的數(shù)據(jù)。
對(duì)于自適應(yīng)變換編碼，將波形抽樣并分成帶有預(yù)定數(shù)目數(shù)據(jù)樣本的幀。利用DCT或其它變換將各幀中的數(shù)據(jù)變換到頻譜域中，然后編碼。
對(duì)于基于濾波器組的編碼，將模擬信號(hào)濾波到若干頻帶或副帶中，并將各副帶中的信號(hào)分開編碼。例如，在語音編碼中，副帶在低頻上通常較窄，因?yàn)樵诘皖l上量化噪聲更引人注意，并分配給低頻副帶比高頻副帶多的編碼位。
可通過測定各副帶中的信號(hào)能量的量從音頻或視頻信號(hào)獲得頻譜包絡(luò)(即功率譜)，其中信號(hào)功率是與信號(hào)幅度的平方成正比的。在編碼之前可利用這一信息來歸一化副帶樣本，例如，通過用最大幅度值定標(biāo)樣本使得所有歸一化樣本具有零與1之間的值。換算因子可與編碼數(shù)據(jù)樣本一起傳輸以便在接收機(jī)上重構(gòu)信號(hào)。
此外，在分配位來編碼各副帶中的數(shù)據(jù)中能有利地利用頻譜包絡(luò)信息。例如，由于副帶中感覺上能容忍的噪聲量是與該副帶中的信號(hào)能量成正比的，具有相對(duì)較高信號(hào)能量的副帶頻率中的量化噪聲更能容忍，而能分配較少的位給來自這些副帶的數(shù)據(jù)樣本。此外，具有明顯高于相鄰副帶的信號(hào)能量的副帶有可能會(huì)“淹沒”相鄰副帶。從而，感覺不到相鄰副帶中的附加量化噪聲，而能分配較少的位用于編碼較弱的副帶。在許多現(xiàn)代音頻編碼器中，通常每一數(shù)據(jù)樣本分配3或4位。對(duì)于視頻變換樣本，可使用多達(dá)8至10位?？蓪⑽环峙鋽?shù)據(jù)與編碼數(shù)據(jù)樣本一起傳輸，以便在接收機(jī)上信號(hào)的逆量化。
圖1為傳統(tǒng)心理視覺視頻編碼器的框圖?？衫靡话阈缘厥境鲈?00上的心理視覺編碼器提供壓縮數(shù)字信號(hào)中的視頻變換樣本給結(jié)合圖4、5與7討論的本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送編碼器。首先，編碼器通過終端105接收數(shù)字視頻數(shù)據(jù)。
通過線路115將數(shù)字視頻信號(hào)傳遞給DCT單元120，及通過線路155給心理視覺模型160。DCT單元120執(zhí)行視頻信號(hào)從時(shí)域到頻域的映射。例如，可用8×8 DCT來提供64個(gè)不同空間頻率中的視頻變換樣本。源圖象樣本的各8×8塊主要是64點(diǎn)離散信號(hào)，它是兩個(gè)空間維度的函數(shù)。DCT單元120將信號(hào)分解成64個(gè)正交基信號(hào)，各基信號(hào)包含描述視頻信號(hào)的頻譜的64個(gè)唯一的空間頻率之一。從DCT單元120輸出的系數(shù)值表示包含在該輸入視頻信號(hào)中的二維空間頻率的相對(duì)量。
在兩個(gè)維度上都是零頻率的系數(shù)為DC系數(shù)，而其余的系數(shù)則是AC系數(shù)。通常，跨越圖象樣本值從象素到象素緩慢地變化，因此信號(hào)能量集中在較低空間頻率中，而許多較高的空間頻率具有零或接近零的幅度。事實(shí)上，大約75％的空間頻率具有零或接近零的能量。
串行化器112以Z字形逐行或其它已知方式掃描視頻變換樣本以通過線路125提供N個(gè)變換樣本的串行(如一維)數(shù)據(jù)流給歸一化單元130。DCT單元120的各輸出真實(shí)地表示落入特定空間頻率內(nèi)的視頻信號(hào)部分。
心理視覺模型160計(jì)算用于以后的位分配及量化中的信號(hào)對(duì)屏蔽之比(SMR)。SMR表示各空間頻率中普通人剛能感覺到的噪聲水平，并且是與空間頻率中的視頻信號(hào)能量成正比的。心理視覺模型160也可考慮空間頻率之間的屏蔽現(xiàn)象，其中具有明顯地較高能量的空間頻率會(huì)“淹沒”相鄰的空間頻率。從而，相鄰的空間頻率的SMR將增加，使它不需要精密量化。
歸一化單元130分析各空間頻率中的視頻變換樣本的信號(hào)幅度來為各空間頻率確定換算因子。然后利用基于這些視頻變換樣本的最大絕對(duì)值的換算因子來歸一化變換樣本。最終將換算因子與編碼數(shù)字視頻信號(hào)一起提供以便在接收機(jī)上能進(jìn)行視頻信號(hào)的完全重構(gòu)。
表示各空間頻率的頻譜包絡(luò)的動(dòng)態(tài)范圍的換算因子是與變換樣本分開編碼的。因?yàn)槿祟愐曈X的限制，允許用比基帶波形樣本少的位來相對(duì)粗糙地量化這些變換樣本。頻譜包絡(luò)信息(換算因子)也能相對(duì)粗糙地編碼并且不需要象變換樣本那樣經(jīng)常更新。這得到明顯的位速率減小(即壓縮)。
通過線路135將歸一化變換樣本與換算因子一起提供給位分配與量化單元140。通過線路165將來自心理視覺模型160的SMR提供給位分配與量化單元140。位分配與量化單元140確定用來表示量化的變換樣本的位數(shù)。位分配必須足夠以便量化噪聲不超過SMR，但也不能大到超過最大編碼位率閾值。
通常，大約75％來自宏塊的變換樣本為零或量化成零。對(duì)于非零變換樣本，每一樣本可分配多達(dá)8或10位。例如，當(dāng)將8位分配給亮度(Y)數(shù)據(jù)樣本時(shí)，便將樣本量化到28＝256個(gè)量化級(jí)之一。也可分配8位給各色度分量U與V。對(duì)于演播室級(jí)別應(yīng)用，每一象素分量可分配高達(dá)10位。確定與各空間頻率中的位分配對(duì)應(yīng)的4位代碼，并最終與編碼變換數(shù)據(jù)樣本一起傳輸以便在接收機(jī)上能逆量化該信號(hào)。可以實(shí)現(xiàn)大約每副帶(如空間頻率)0.5到1.0位的宏塊上的平均位分配。
通過線路145將64個(gè)量化數(shù)據(jù)樣本提供給位流格式化與編碼器單元150。這里，變換樣本、換算因子與位分配代碼是以數(shù)據(jù)分組或幀編碼的?？捎弥T如PCM等傳統(tǒng)調(diào)制技術(shù)編碼各變換樣本。也可采用包含Huffman編碼在內(nèi)的其它壓縮技術(shù)來表示量化的樣本。尤其是可執(zhí)行零變換樣本串的行程長度編碼。通過線路170從心理視覺編碼器100輸出編碼的壓縮數(shù)字?jǐn)?shù)據(jù)流。
圖2為可作為按照本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送系統(tǒng)的輸入而提供的副帶編碼數(shù)字視頻信號(hào)的傳統(tǒng)幀格式化的示意圖。圖2中所示的格式只是可能提供的各種格式中一種可能的示例。在討論的示例中，64個(gè)空間頻率的每一個(gè)包含一個(gè)視頻變換數(shù)據(jù)樣本。從而，各幀將包含多達(dá)64個(gè)視頻變換樣本。
幀250包含標(biāo)識(shí)幀的起點(diǎn)并可具有諸如序列號(hào)、同步數(shù)據(jù)與抽樣率數(shù)據(jù)等其它信息的頭標(biāo)部分210。幀250還包含位分配代碼部分220，該部分指示數(shù)據(jù)的起始位置及使用多少位。幀250還包含指示副帶樣本的動(dòng)態(tài)范圍的換算因子部分230、及副帶(如變換)數(shù)據(jù)樣本部分240。在另一方案中，可在單個(gè)幀中攜帶來自一個(gè)以上頻道的視頻數(shù)據(jù)。
圖3a為按照本發(fā)明的用于視頻的壓縮后隱藏?cái)?shù)據(jù)傳送編碼器的第一代表性應(yīng)用的框圖。多路分解器(未示出)分離來自多路復(fù)用的位流的數(shù)字視頻及其它數(shù)字信號(hào)。然后通過輸入端300與線路305將壓縮的數(shù)字化視頻數(shù)據(jù)流提供給PC-HDT編碼器310。PC-HDT編碼器310還通過線路315接收要嵌入視頻信號(hào)中的輔助數(shù)據(jù)。通過線路320將表示輔助數(shù)據(jù)副帶樣本與視頻數(shù)據(jù)副帶樣本的組合信號(hào)提供給多路復(fù)用器325。其它數(shù)字?jǐn)?shù)據(jù)(如音頻、計(jì)算機(jī)軟件)示出為通過輸入端330與線路335提供給多路復(fù)用器325的，在其中將視頻與其它數(shù)字?jǐn)?shù)據(jù)信號(hào)多路復(fù)用到線路340上的單一多信道數(shù)據(jù)流中。PC-HDT編碼器310能相對(duì)于其它數(shù)字?jǐn)?shù)據(jù)信號(hào)延時(shí)數(shù)字視頻信號(hào)。這能利用諸如用多路復(fù)用器325包含的同步裝置等傳統(tǒng)技術(shù)做到。
再者，雖然只示出一個(gè)視頻與一個(gè)其它數(shù)字?jǐn)?shù)據(jù)信號(hào)，可同時(shí)提供若干信道。例如，線路340上的多路復(fù)用信號(hào)可包含具有視頻與伴音與/或數(shù)據(jù)(如對(duì)不同語言觀看者及聽覺障礙者的電傳正文)、只有視頻節(jié)目及只有各種數(shù)據(jù)節(jié)目(如股票價(jià)格數(shù)據(jù)、氣象數(shù)據(jù))的若干節(jié)目。
通過線路340將多路復(fù)用的數(shù)字?jǐn)?shù)據(jù)流提供給視頻記錄設(shè)備345，在其中將數(shù)據(jù)寫到諸如CD、DVD或DVC等源介質(zhì)355上。源介質(zhì)355可以是用于進(jìn)一步記錄到供廣泛分發(fā)的其它介質(zhì)上的母拷貝。
圖3b為按照本發(fā)明的用于視頻的壓縮后隱藏?cái)?shù)據(jù)傳送解碼器的第二代表性應(yīng)用的框圖。將包含數(shù)字化視頻信號(hào)與隱藏的輔助數(shù)據(jù)的源介質(zhì)提供給讀設(shè)備360，后者可包含例如DVD播放機(jī)。讀設(shè)備360讀該存儲(chǔ)介質(zhì)355并通過線路362輸出數(shù)字?jǐn)?shù)據(jù)流到多路分解器364。多路分解器364從音頻或其它數(shù)字?jǐn)?shù)據(jù)中分離出帶有隱藏的輔助數(shù)據(jù)的視頻數(shù)據(jù)流，并可包含同步裝置來計(jì)算由PC-HDT解碼器368導(dǎo)致的視頻信號(hào)中的延時(shí)。通過線路366將視頻數(shù)據(jù)提供給本發(fā)明的PC-HDT解碼器368，及通過分路線路370給復(fù)制管理單元380。
在PC-HDT解碼器368上，從視頻數(shù)據(jù)流中檢索出輔助數(shù)據(jù)，并通過線路372將其提供給復(fù)制管理單元380。通過線路374將其它數(shù)據(jù)提供給復(fù)制管理或控制單元380。復(fù)制管理單元380利用輔助數(shù)據(jù)來確定是否要從源介質(zhì)355制造數(shù)字信號(hào)的復(fù)制品。如果是，則通過線路382將帶有隱藏的輔助數(shù)據(jù)的視頻信號(hào)提供給視頻記錄設(shè)備386，及通過線路384將其它數(shù)據(jù)信號(hào)提供給記錄設(shè)備386。通過線路388從記錄設(shè)備386提供用來自母源介質(zhì)355的數(shù)字?jǐn)?shù)據(jù)編碼的新的源介質(zhì)390。
注意，新的源介質(zhì)390也編碼有隱藏的輔助數(shù)據(jù)。因此，新的源介質(zhì)390也受到解碼器的復(fù)制管理單元380的控制。以這一方式，分銷商能控制是否能復(fù)制原始的源介質(zhì)。例如，為了保護(hù)權(quán)益信息，銷售商可提供能用來防止復(fù)制源介質(zhì)的輔助數(shù)據(jù)。作為替代，銷售商可提供允許復(fù)制源介質(zhì)的輔助數(shù)據(jù)，諸如設(shè)計(jì)成鼓勵(lì)消費(fèi)者購置其它受保護(hù)的源介質(zhì)的推銷或可展示性材料。
本發(fā)明的附加代表性應(yīng)用是用于諸如通過衛(wèi)星或電纜通信路徑提供的電視信號(hào)等廣播信號(hào)。例如，可以提供伴隨諸如電影或其它特殊整件的電視節(jié)目的數(shù)字音頻聲道。能包括數(shù)百數(shù)字信息信道的多路復(fù)用數(shù)字信號(hào)或傳送數(shù)據(jù)流由在其家中的個(gè)人通過直接廣播衛(wèi)星(DBS)系統(tǒng)或通過電纜通信路徑等接收。
通過杜絕個(gè)人在裝有PC-HDT解碼器的DVD或DVC等設(shè)備上錄制數(shù)字?jǐn)?shù)據(jù)而采用本發(fā)明來提供這些數(shù)字節(jié)目服務(wù)的復(fù)制保護(hù)。特別是，本發(fā)明的PC-HDT編碼器能用來在傳送數(shù)據(jù)流的視頻部分中編碼隱藏的輔助數(shù)據(jù)。此外，可以事先或在某一中間點(diǎn)上將隱藏的輔助數(shù)據(jù)嵌入廣播，并且不與該數(shù)據(jù)流中所攜帶的其它數(shù)據(jù)干擾。例如，電纜頭端操作員可通過衛(wèi)星接收數(shù)字節(jié)目，并在通過電纜網(wǎng)分配之前將隱藏的輔助數(shù)據(jù)嵌入所接收的信號(hào)。
當(dāng)個(gè)人接收組合的數(shù)字視頻與輔助數(shù)據(jù)信號(hào)連同其它伴隨數(shù)據(jù)時(shí)，便用與用戶的電視與高保真立體聲系統(tǒng)通信的機(jī)頂盒解碼及解密數(shù)據(jù)。這種機(jī)頂設(shè)備通常由有線電視經(jīng)營者或DBS服務(wù)供應(yīng)商作為服務(wù)協(xié)議的一部分提供。機(jī)頂盒解壓及解碼視頻信號(hào)及相關(guān)音頻、數(shù)據(jù)或其它信號(hào)(如果有的話)，并為用戶的收聽與收看娛樂再生它們。由于輔助數(shù)據(jù)信號(hào)相對(duì)于正常視頻是看不見的，觀看者不會(huì)檢測到輔助數(shù)據(jù)信號(hào)。
然而，輔助數(shù)據(jù)信號(hào)保持嵌入在視頻信號(hào)中。適當(dāng)?shù)碾娐纺芾幂o助數(shù)據(jù)信號(hào)例如防止用戶在裝有本發(fā)明的PC-HDT解碼器的記錄設(shè)備上復(fù)制該信號(hào)。另外，即使個(gè)人在諸如磁帶錄象機(jī)等傳統(tǒng)記錄設(shè)備上記錄該信號(hào)，輔助數(shù)據(jù)信號(hào)保持嵌入，從而能作為用來檢驗(yàn)任何以后的復(fù)制的合法性的標(biāo)識(shí)標(biāo)記。這有助于阻撓未經(jīng)授權(quán)復(fù)制及銷售節(jié)目的盜版者。
此外，在點(diǎn)對(duì)點(diǎn)分布系統(tǒng)中，視頻數(shù)據(jù)是分開傳輸給個(gè)人的，輔助數(shù)據(jù)信號(hào)能表示唯一的標(biāo)識(shí)號(hào)，諸如定單號(hào)碼或客戶號(hào)碼。這一信息能從音頻信號(hào)的以后的非法復(fù)制中識(shí)別單個(gè)盜版者。
圖4為按照本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送(PC-HDT)系統(tǒng)編碼器310的框圖。該編碼器適用于在音頻與視頻兩種信號(hào)中編碼輔助數(shù)據(jù)，PC-HDT在副帶編碼的壓縮的數(shù)字音頻或視頻信號(hào)中嵌入感覺不到的輔助數(shù)據(jù)而無須完全解壓該信號(hào)。在終端400上的編碼器接收包含壓縮的數(shù)字音頻或視頻數(shù)據(jù)的事先存在的數(shù)字位流，并通過線路403將其提供給多路分解器與解包(如解分組化)單元405。
多路分解器與解包單元405多路分解來自信號(hào)的其余部分的數(shù)字音頻或視頻數(shù)據(jù)的幀或分組。還解包音頻或視頻幀的各部分。例如，參見圖2，從幀250解包位分配數(shù)據(jù)220，并通過線路401將其提供給逆量化器404。解包音頻或視頻副帶樣本240并通過線路402將其提供給逆量化器404。
通常，當(dāng)在進(jìn)入位流之前正規(guī)化音頻或視頻副帶樣本時(shí)，副帶樣本是作為帶有尾數(shù)與指數(shù)部分的十進(jìn)制數(shù)編碼的，其中尾數(shù)表示音頻副帶樣本而指數(shù)表示各副帶的換算因子(如頻譜包絡(luò)信息)。在這一情況中，只有副帶樣本的尾數(shù)需要通過線路402提供給逆量化器404。
取決于分組數(shù)據(jù)流的格式，逆量化器404執(zhí)行不同的功能。例如，副帶樣本通常包括可能以符號(hào)與值表示或以2的補(bǔ)碼表示的二進(jìn)制數(shù)據(jù)。如果不是已經(jīng)這樣提供的，則將副帶樣本轉(zhuǎn)換成2的補(bǔ)碼表示。
此外，在結(jié)合圖1討論的視頻樣本中，提供來自64個(gè)副帶(如空間頻率)的數(shù)據(jù)樣本。從而用字母“N”指示的線路402與406，各表示N＝64條分開的通信線路。
將逆量化后的音頻或視頻數(shù)據(jù)樣本的副帶傳遞給也示出為單個(gè)線路SM0，SM1，SM2，…，SMN-1的線路406。符號(hào)“SM”指示正在提供副帶樣本的尾數(shù)。如果副帶樣本尚未歸一化，可選用地設(shè)置歸一化器408。歸一化器408計(jì)算少數(shù)樣本上的平均能量，并用這一平均能量的平方根去除各單個(gè)樣本，以提供跨越所有副帶的均勻的功率譜。
將歸一化的音頻或視頻副帶樣本提供在用SS0，SS1，SS2，…，SSN-1指示的N條線路上。然后在組合器446、444、442與440上將歸一化副帶樣本分別與輔助數(shù)副帶樣本SPD0，SPD1，SPD2，…，SPDN-1組合。組合器可包括例如加法器。具體地，SS0在組合器466上與SPD0組合，SS1在組合器444上與SPD1組合，SS2在組合器442上與SPD2組合，而SSN-1在組合器440上與SPDN-1組合。其余的音頻或視頻副帶樣本與輔助數(shù)據(jù)副帶樣本(未分開示出)以類似方式組合。
輔助數(shù)據(jù)副帶樣本SPD0，SPD1，SPD2，…，SPDN-1可以是從副帶濾波的偽噪聲(PN)序列及從輔助數(shù)據(jù)波形生成的擴(kuò)展頻譜信號(hào)。具體地，通過線路412將PN序列提供給副帶濾波器組410。PN序列可以是二進(jìn)制或M進(jìn)制(M＞2)或?qū)嶋H上逼近白色噪聲信號(hào)的任何虛擬序列。此外，PN序列能包含多個(gè)離散值或連續(xù)值。副帶濾波器組對(duì)應(yīng)于用來濾波數(shù)字視頻(諸如圖1中所示的DCT單元120)的副帶濾波器組。通過線路414將輔助數(shù)據(jù)信號(hào)提供給常規(guī)的前向糾錯(cuò)(FEC)編碼器416，后者僅管不是必須的，但可在輔助數(shù)據(jù)流中提供冗余數(shù)據(jù)位供下游出錯(cuò)恢復(fù)。
注意，輔助數(shù)據(jù)副帶樣本的數(shù)據(jù)速率明顯慢于音頻或視頻副帶樣本的數(shù)據(jù)速率。對(duì)于視頻，例如，可將模擬NTSC格式電視信號(hào)數(shù)字化成VGA分辨率畫面，后者為480×640象素并在大約30幀/秒上傳輸。因此，每幀具有480×640＝307,200個(gè)樣本(如象素)。假定可見度閾值為30dB及希望的輔助信號(hào)增益為10dB，則需要40dB的處理增益Gp。以dB表示的處理增益用式10log10(擴(kuò)展率)＝Gp(dB)與擴(kuò)展率相關(guān)。從而各輔助數(shù)據(jù)位必須擴(kuò)展到10,000個(gè)象素上(如視頻變換樣本)以達(dá)到Gp＝40dB，從而得出每幀307,200/10,000＝30.7個(gè)輔助數(shù)據(jù)位，或者30.7位/幀×30幀/秒＝921bps。此外，假定使用速率R＝1/2FEC編碼器，則能提供的輔助數(shù)據(jù)位速率大約為921/2bps＝460bps。
通過線路418與422將FEC編碼輔助數(shù)據(jù)信號(hào)提供給多個(gè)調(diào)制器430、432、434及436，它們調(diào)制數(shù)據(jù)載波副帶樣本SP0，SP1，SP2，…，SPN-1以分別提供輔助數(shù)據(jù)副帶樣本序列SPD0，SPD1，SPD2，…，SPDN-1，它們攜帶輔助數(shù)據(jù)副帶樣本。
通過線路419可選地提供功率控制信號(hào)給調(diào)制器420以調(diào)節(jié)線路418上攜帶的輔助數(shù)據(jù)信號(hào)的功率。該功率控制信號(hào)保證輔助數(shù)據(jù)信號(hào)在音頻或視頻副帶樣本的噪聲量化基準(zhǔn)(floor)以下，并能考慮到后面的量化器454中接近零處的可能的非線性，從而使輔助信號(hào)充分量化。例如，功率控制可保持信號(hào)對(duì)量化噪聲能量之比(SNR)為30或功率比為1,000。
調(diào)制的輔助數(shù)據(jù)擴(kuò)展頻譜信號(hào)SPD0，SPD1，SPD2，…，SPDN-1分別與音頻或視頻副帶樣本SS0，SS1，SS2，…，SSN-1組合以生成組合樣本SS’0，SS’1，SS’2，…，SS’N-1，其中在視頻情況中，輔助數(shù)據(jù)副帶樣本是基本上覺察不到(看不見)地?cái)y帶的。通常當(dāng)輔助信號(hào)的數(shù)據(jù)速率增加時(shí)會(huì)出現(xiàn)增加的失真量。
將組合樣本提供給選用的去歸一化器450，后者執(zhí)行歸一化器408的逆操作，以便復(fù)原組合樣本中的音頻或視頻副帶樣本的功率譜。此外，去歸一化器450可檢索從歸一化器408獲得的歸一化數(shù)據(jù)(換算因子)并將其臨時(shí)存儲(chǔ)在存儲(chǔ)器(未示出)中。
注意，按照本發(fā)明，去歸一化器450按照音頻或視頻數(shù)據(jù)的功率譜頻譜整形組合樣本SS’0，SS’1，SS’2，…，SS’N-1中的輔助數(shù)據(jù)副帶樣本。這一頻譜整形有利地增進(jìn)輔助數(shù)據(jù)的隱藏性。
如果在終端400上接收時(shí)音頻或視頻副帶樣本已經(jīng)歸一化，則在解壓組合信號(hào)及將其解調(diào)到基帶時(shí)，按照音頻或視頻數(shù)據(jù)的功率譜頻譜整形輔助數(shù)據(jù)。然后，在兩種情況中，都通過線路452將去歸一化的組合副帶樣本SM’0，SM’1，SM’2，…，SM’N-1提供給量化器454。量化器454利用通過線路407與459提供的位分配數(shù)據(jù)量化組合樣本并在線路456上提供量化數(shù)據(jù)。將量化數(shù)據(jù)、在線路407上提供的解包的壓縮參數(shù)以及線路458上的控制數(shù)據(jù)組裝到新幀中。作為替代，可將量化數(shù)據(jù)提供給同一幀而不是建立一個(gè)新幀?？刂茢?shù)據(jù)包含同步數(shù)據(jù)與循環(huán)冗余檢驗(yàn)(CRC)位。通過線路462提供新幀供傳輸給解碼器。因此所公開的PC-HDT編碼器是完全與現(xiàn)有的分組格式及協(xié)議兼容的。
作為替代，可在不同副帶中攜帶表示不同輔助數(shù)據(jù)信號(hào)的副帶樣本。能利用同一PN序列、同一PN序列的時(shí)移版本、不同的PN序列或它們的任何組合生成不同副帶中的數(shù)據(jù)樣本。此外，可在任何副帶中攜帶來自一個(gè)以上輔助數(shù)據(jù)信號(hào)的樣本。稱作“分層”的這一技術(shù)能通過攜帶利用同一PN序列的時(shí)移版本、不同的PN序列或其任何組合生成的輔助數(shù)據(jù)副帶樣本來完成。
此外，不要求所有副帶都攜帶輔助數(shù)據(jù)副帶樣本。例如，可能希望將副帶濾波PN序列SP0，SP1，SP2，…，SPN-1中選擇的樣本與音頻或視頻副帶樣本SS0，SS1，SS2，…，SSN-1中對(duì)應(yīng)的樣本直接組合來產(chǎn)生組合樣本SS’0，SS’1，SS’2，…，SS’N-1。以這一方式，選擇的副帶濾波PN序列繞過被輔助數(shù)據(jù)信號(hào)的調(diào)制。這可能在例如提供基準(zhǔn)信號(hào)或其它信息給解碼器中是有利的。
此外，由于PN周期是有限的并且副帶濾波器組410的特征是已知的，可以事先計(jì)算副帶濾波PN序列SP0，SP1，SP2，…，SPN-1并將其存儲(chǔ)在查找表中。當(dāng)PC-HDT編碼器重復(fù)地增加已知數(shù)據(jù)時(shí)，也能事先計(jì)算及存儲(chǔ)輔助數(shù)據(jù)副帶樣本SPD0，SPD1，SPD2，…，SPDN-1。以這一方式，能簡化本發(fā)明的PC-HDT編碼器的實(shí)現(xiàn)及減少計(jì)算需求。
圖5為按照本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送系統(tǒng)編碼器的替代實(shí)施例的框圖。該編碼器適用于在音頻與視頻信號(hào)兩者中編碼輔助數(shù)據(jù)。除非另有說明，圖5的元件與圖4中相同編號(hào)的元件對(duì)應(yīng)。在這一實(shí)施例中，通過線路406提供的副帶樣本具有非均勻的功率譜。從而，為了將輔助數(shù)據(jù)副帶樣本SPD0，SPD1，SPD2，…，SPDN-1整形到音頻或視頻副帶樣本的頻譜上，分別通過線路409、411、413與415將音頻或視頻副帶樣本提供給副帶功率控制器(SPC)425、427、429與431。
SPC根據(jù)各副帶中輔助數(shù)據(jù)副帶樣本對(duì)音頻或視頻數(shù)據(jù)副帶樣本的要求的信噪比(SNR)及各該M個(gè)音頻或視頻副帶樣本的幅度SS(i)的平方的平均值的平方根確定功率調(diào)制信號(hào)(P)。這便是，對(duì)于各副帶j，Pi=SNR•1MΣi=1MSSj(i)2]]>分別通過線路417、419、421與423將功率調(diào)制信號(hào)提供給調(diào)制器433、435、437與439。在調(diào)制器433、435、437與439上，調(diào)節(jié)輔助數(shù)據(jù)副帶樣本SPD0，SPD1，SPD2，…，SPDN-1的功率，借此得出功率調(diào)節(jié)的輔助數(shù)據(jù)副帶樣本SPP0，SPP1，SPP2，…，SPPN-1。然后將按照音頻或視頻副帶樣本頻譜整形的功率調(diào)節(jié)的輔助數(shù)據(jù)副帶樣本在組合器(如加法器)446、444、442與440上分別與音頻或視頻副帶樣本SS0，SS1，SS2，…，SSN-1組合，以提供組合樣本SS’0，SS’1，SS’2，…，SS’N-1。將量化的數(shù)據(jù)、線路407上提供的解包的壓縮參數(shù)及線路458上的控制數(shù)據(jù)組裝到新幀中，并通過線路462提供供傳輸?shù)浇獯a器。
事實(shí)上，當(dāng)不歸一化音頻或視頻副帶樣本時(shí)，圖5的實(shí)施例能得到明顯的計(jì)算節(jié)省。通過注意到音頻或視頻副帶樣本的歸一化與去歸一化總的需要2N次運(yùn)算，而通過副帶功率控制的功率調(diào)節(jié)只需N次運(yùn)算(其中N＝副帶數(shù))，便能看出這一點(diǎn)。從而當(dāng)采用圖5的SPC時(shí)，計(jì)算減少50％。
圖6為按照本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送系統(tǒng)解碼器的框圖。該解碼器適用于從音頻與視頻信號(hào)兩者恢復(fù)輔助數(shù)據(jù)。在解碼器368的輸入端600上接收壓縮的數(shù)字分組化流，并通過線路602將其提供給解包與多路分解單元604。逆量化器610通過線路608接收副帶樣本并通過線路606接收位分配數(shù)據(jù)。通過線路612提供逆量化量副帶樣本SM’0，SM’1，SM’2，…，SM’N-1。如果這些副帶樣本尚未歸一化，則在歸一化器614上歸一化它們以提供跨越所有副帶近似均勻的功率譜。如果在數(shù)據(jù)流中提供了換算因子230，則在量化器610上重新?lián)Q算(如歸一化)副帶樣本。
如果組合副帶樣本SM’0，SM’1，SM’2，…，SM’N-1中的音頻或視頻副帶樣本已經(jīng)歸一化，則不需要?dú)w一化器614。在解調(diào)器(如混頻器)620、622、624與626上分別將歸一化的副帶樣本SS0，SS1，SS2，…，SSN-1與恢復(fù)數(shù)據(jù)載波序列SP0，SP1，SP2，…，SPN-1組合。
在這一實(shí)施例中，序列SP0，SP1，SP2，…，SPN-1是從對(duì)應(yīng)于在PC-HDT編碼器上使用的PN序列的副帶濾波的偽噪聲(PN)序列生成的擴(kuò)展頻譜載波信號(hào)。通過線路630將PN序列提供給副帶濾波器組640，后者對(duì)應(yīng)于編碼器的副帶濾波器組。分別將濾波的PN序列SP0，SP1，SP2，…，SPN-1提供給解調(diào)器620、622、624與626。如同對(duì)于PC-HDP編碼器，能事先計(jì)算這些序列并存儲(chǔ)在解碼器上的查找表中以降低計(jì)算需求。
將從濾波的PN序列與組合副帶樣本的乘積構(gòu)成的樣本SSP0，SSP1，SSP2，…，SSPN-1分別提供給積分器650、652、654與656。通過在L個(gè)接連的樣本上積分各副帶中的數(shù)據(jù)，達(dá)到各副帶中的輔助信號(hào)的去擴(kuò)展。去擴(kuò)展主要是用混頻與積分的組合達(dá)到的。用于積分的樣本數(shù)L應(yīng)選擇成在積分SSP0，SSP1，SSP2，…，SSPN-1之前使得L×N(即處理增益)大于PN序列對(duì)音頻或視頻副帶樣本SNR。
將去擴(kuò)展輔助數(shù)據(jù)樣本SC0，SC1，SC2，…，SCN-1提供給加法器660并跨N個(gè)副帶求和而在線路662上恢復(fù)編碼的輔助數(shù)據(jù)樣本。再者，通過增加副帶數(shù)目N可增加PN序列對(duì)去擴(kuò)展后的視頻或音頻副帶樣本的SNR，因?yàn)镾NR與N的平方根成正比。FEC解碼器670解碼線路662的輔助數(shù)據(jù)樣本并校正信道誤差，從而在線路672上提供解碼的輔助數(shù)據(jù)。
然后可在各種應(yīng)用中使用解碼的輔助數(shù)據(jù)。例如，可將輔助數(shù)據(jù)提供給復(fù)制管理設(shè)備來控制音頻、視頻與相關(guān)數(shù)據(jù)信號(hào)的再生。
當(dāng)在不同副帶中攜帶來自不同輔助信號(hào)的輔助數(shù)據(jù)副帶樣本，或者在一個(gè)副帶中攜帶來自一個(gè)以上輔助信號(hào)的輔助數(shù)據(jù)副帶樣本時(shí)，上述恢復(fù)與去擴(kuò)展過程應(yīng)稍加修改。與上述情況的各種組合一起，部分與完全重疊的情況都是可能的。然而，一般地說，PC-HDT解碼器提供與PC-HDT編碼器相反的運(yùn)算。例如，如果組合副帶樣本中攜帶對(duì)應(yīng)于不同輔助信號(hào)的輔助數(shù)據(jù)副帶樣本，則必須修改圖6的實(shí)施例中的積分，使得只將公共的輔助數(shù)據(jù)樣本加在一起。類似地，如果使用不同的PN序列、同一PN序列的時(shí)移版本、或其任何組合編碼輔助數(shù)據(jù)副帶樣本，則必須用對(duì)應(yīng)的PN序列生成副帶濾波的PN序列SP0，SP1，SP2，…，SPN-1。
作為替代，可用檢測線路662的輔助信號(hào)中的能量并將該能量與適當(dāng)?shù)拈撝当容^的閾值器件來取代FEC解碼器670。從而，無須執(zhí)行FEC解碼，解碼器便能確定是否存在輔助信號(hào)。此外，為了提高檢測精確性，解碼器在宣布檢測到之前可檢驗(yàn)一序列輔助數(shù)據(jù)值。如果編碼器對(duì)輔助數(shù)據(jù)采用唯一的模式，能進(jìn)一步方便檢測。
此外，如果將用來生成PN序列的PN發(fā)生器對(duì)音頻或視頻位流鎖定在預(yù)定的模式上，則能增強(qiáng)與簡化壓縮的數(shù)字音頻或視頻位流的采集及與副帶濾波PN序列SP0，SP1，SP2，…，SPN-1的同步。這便是，由于許多現(xiàn)代音頻與視頻壓縮器利用幀結(jié)構(gòu)，其中位的各幀表示固定數(shù)目的音頻或視頻樣本，在給定的時(shí)段中具有固定數(shù)目的幀。從而，通過為濾波的PN序列選擇作為音頻或視頻數(shù)據(jù)幀時(shí)段的整數(shù)倍的重復(fù)時(shí)段，減少了解調(diào)輔助信號(hào)所需的PN序列假設(shè)的數(shù)目。例如，如果PN序列時(shí)段具有4096個(gè)樣本的持續(xù)時(shí)間，則只有4096/256＝16種假設(shè)必須為各副帶測試。
在圖6的PC-HDT解碼器的又另一替代實(shí)施例中，它可與圖5的PC-HDT編碼器結(jié)合使用，其中恢復(fù)后的輔助數(shù)據(jù)副帶樣本具有非均勻的功率譜，可能希望在積分之前歸一化跨越攜帶輔助數(shù)據(jù)副帶樣本的所有副帶的功率譜。這可以通過用類似于圖5的SPC 425、427、429與431的控制器調(diào)節(jié)副帶濾波的PN序列SP0，SP1，SP2，…，SPN-1來完成。
圖7為按照本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送系統(tǒng)編碼器的另一替代實(shí)施例的框圖。該解碼器適用于從音頻與視頻信號(hào)兩者恢復(fù)輔助數(shù)據(jù)。圖7的元件除非另有說明，與圖4中相同編號(hào)的元件對(duì)應(yīng)。在這一實(shí)施例中，通過線路406提供的組合副帶樣本SS0，SS1，SS2，…，SSN-1具有均勻的功率譜。然而，不是提供從帶有幅值+1或-1的偽隨機(jī)變化的值序列生成的副帶濾波的擴(kuò)展頻譜PN序列，而是序列SP0，SP1，SP2，…，SPN-1作為“稀疏”PN序列提供的。
對(duì)于稀疏PN序列，生成包括大多數(shù)零的偽隨機(jī)序列，但帶有例如隨機(jī)散布的值+1與-1。在對(duì)PC-HDT編碼器與解碼器已知的特定位置上加入稀疏PN序列。稀疏PN序列導(dǎo)致較低的數(shù)據(jù)率，因?yàn)樘幚碓鲆鍳p與非零樣本的平均出現(xiàn)成比例減少。例如，如果稀疏PN序列十個(gè)值中有一個(gè)非零值，則處理增益Gp相對(duì)于正常的PN序列減少了因子10。然而，同時(shí)也有利地降低了音頻或視頻副帶樣本的劣化及實(shí)現(xiàn)復(fù)雜性。再者，即使導(dǎo)致較低的數(shù)據(jù)率，在一定情況中是可以接受的，諸如當(dāng)輔助數(shù)據(jù)本身的存在與否是唯一考慮的問題時(shí)。
按照本發(fā)明的這一實(shí)施例，設(shè)置了稀疏PN序列發(fā)生器715、710、705與700。分別將對(duì)應(yīng)的稀疏PN序列SP0，SP1，SP2，…，SPN-1耦合到多個(gè)調(diào)制器430、432、434與436上。調(diào)制器分別調(diào)制稀疏PN序列SP0，SP1，SP2，…，SPN-1以提供輔助數(shù)據(jù)副帶樣本SPD0，SPD1，SPD2，…，SPDN-1。然后在組合器446、444、442與440上分別將輔助數(shù)據(jù)副帶樣本與音頻或視頻副帶SS0，SS1，SS2，…，SSN-1組合，以提供組合樣本SS’0，SS’1，SS’2，…，SS’N-1。然后量化、組裝組合樣本并將其多路復(fù)用到新幀中。
在替代實(shí)施例中，稀疏PN發(fā)生器700、705、710與715可提供不同的稀疏PN序列、相同的稀疏PN序列、同一稀疏PN序列的時(shí)移版本或它們的任何組合。類似地，可繞過選擇的調(diào)制器430、432、434與436使得某些信號(hào)SPD0，SPD1，SPD2，…，SPDN-1不攜帶輔助數(shù)據(jù)。
在本發(fā)明的又另一實(shí)施例中，可利用擴(kuò)展頻譜PN序列與稀疏PN序列兩者來攜帶輔助數(shù)據(jù)副帶樣本。在同一或不同副帶中可同時(shí)或以時(shí)間交錯(cuò)方式利用擴(kuò)展頻譜PN序列與稀疏PN序列。作為示例，可由擴(kuò)展頻譜PN序列在第一副帶中攜帶輔助數(shù)據(jù)副帶樣本的第一序列，而由稀疏PN序列在第二副帶中攜帶輔助數(shù)據(jù)副帶樣本的第二序列。
或者，類似于前面討論的分層方案，第一與第二輔助數(shù)據(jù)副帶樣本序列可分別由擴(kuò)展頻譜PN序列與稀疏PN序列在同一副帶中攜帶。此外，在時(shí)分方案中，給定的輔助數(shù)據(jù)副帶樣本序列首先由擴(kuò)展頻譜PN序列在給定的副帶中攜帶，然后由稀疏PN序列(在同一副帶中)攜帶，等等。此外，第一輔助數(shù)據(jù)副帶樣本序列可由第一副帶中的擴(kuò)展頻譜PN序列攜帶，然后(由同一擴(kuò)展頻譜PN序列)在第二副帶中攜帶，等等。此外，在各種時(shí)間段中可采用同一序列、同一序列的時(shí)移版本、不同序列、或它們的任何組合。
再進(jìn)一步，PC-HDT編碼器可包含用于在擴(kuò)展頻譜與稀疏PN序列之間切換的決策裝置。例如，當(dāng)將輔助數(shù)據(jù)嵌入應(yīng)使失真最小的相當(dāng)高保真度音樂通道中時(shí)，可能希望采用稀疏PN序列，而擴(kuò)展頻譜PN序列則能用于絕對(duì)保真度較不重要的諸如新聞報(bào)道等只有話音的節(jié)目中。在視頻的情況中，當(dāng)將輔助數(shù)據(jù)嵌入每看一次付費(fèi)的電影中時(shí)，可能希望采用稀疏PN序列，而擴(kuò)展頻譜PN序列則能用于網(wǎng)絡(luò)廣播、卡通或視頻游戲中。
在本發(fā)明的又另一實(shí)施例中，與上面討論的稀疏PN序列協(xié)同生成“樣本旋轉(zhuǎn)移動(dòng)”序列。具體地，來自傳送數(shù)據(jù)流的音頻或視頻副帶樣本是偽隨機(jī)選擇的。例如，假定用2的補(bǔ)碼記數(shù)法中的4位表示具有值“+5”(如二進(jìn)制的0101)的副帶樣本。然后，將獨(dú)立生成的當(dāng)前稀疏PN序列值加在該副帶樣本上而建立新的數(shù)據(jù)載波序列。
例如，如果當(dāng)前稀疏PN序列值為“-1”，修正后的副帶樣本將是5-1＝4(二進(jìn)制0100)。如果當(dāng)前稀疏PN序列值為“+1”，則修正后的副帶樣本將是5+1＝6(二進(jìn)制0110)。此外，如果當(dāng)前稀疏PN序列值為“0”，修正后的副帶樣本不改變。此外，當(dāng)分配4位時(shí)，將副帶樣本限制在取“+7”與“-8”之間的值(如二進(jìn)制的0111與1000之間)。從而如果當(dāng)前副帶樣本具有值“+7”而當(dāng)前稀疏PN序列具有值“+1”，則副帶樣本不變。在前面討論的方式中，生成樣本旋轉(zhuǎn)移動(dòng)序列并將其用于攜帶輔助數(shù)據(jù)副帶樣本。此外，對(duì)于樣本旋轉(zhuǎn)移動(dòng)，明顯地減少了所要求的逆量化步驟，因?yàn)樵诟睅颖旧喜恍枰┘訐Q算因子或逆量化等式。唯一的要求是副帶樣本是用2的補(bǔ)碼表示的。
在本發(fā)明的又另一實(shí)施例中，與上面討論的稀疏PN序列協(xié)同生成“位旋轉(zhuǎn)移動(dòng)”序列。偽隨機(jī)地選擇來自傳送數(shù)據(jù)流的音頻或視頻副帶樣本。例如，再一次假定用4位(以2的補(bǔ)碼記數(shù)法)表示具有值“+5”(如二進(jìn)制的0101)的副帶樣本。然后將稀疏PN序列的當(dāng)前狀態(tài)加在該副帶樣本的二進(jìn)制表示的最低位(LSB)上。
例如，副帶樣本“0101”的最低位為“1”。如果當(dāng)前稀疏PN序列值為“-1”，修正的副帶樣本的LSB改變到1-1＝0。如果當(dāng)前稀疏PN序列值為“+1”，修正的副帶樣本將不變，因?yàn)長SB只能取值零或1。此外，如果選擇的音頻或視頻副帶樣本的LSB為“0”，且對(duì)應(yīng)的稀疏PN序列值具有值“1”，則樣本的LSB改變到“1”。如果LSB＝1且對(duì)應(yīng)的稀疏PN序列值具有值“-1”，則LSB改變到“0”。在包含稀疏PN序列具有值“0”的其它情況中，副帶樣本的LSB不變。以前面討論的方式用輔助數(shù)據(jù)副帶樣本調(diào)制得出的位旋轉(zhuǎn)移動(dòng)序列。此外，對(duì)于位旋轉(zhuǎn)移動(dòng)，可以消除要求的逆量化步驟，因?yàn)椴恍枰?的補(bǔ)碼格式提供副帶樣本，或者將換算因子或逆量化等式施加在副帶樣本上。這有利地降低了實(shí)現(xiàn)復(fù)雜性。
此外，在這里討論的變型與組合中，可將樣本旋轉(zhuǎn)移動(dòng)及位旋轉(zhuǎn)移動(dòng)結(jié)合擴(kuò)展頻譜PN序列及稀疏PN序列使用。
圖8為按照本發(fā)明的壓縮后隱藏?cái)?shù)據(jù)傳送系統(tǒng)解碼器的替代實(shí)施例的框圖。該解碼器適用于從音頻與視頻信號(hào)兩者恢復(fù)輔助數(shù)據(jù)。這一解碼器可結(jié)合圖7的編碼器使用。除非另有說明，圖8的元件與圖6的相同編號(hào)的元件對(duì)應(yīng)。在本實(shí)施例中，線路612上的組合樣本SS’0，SS’1，SS’2，…，SS’N-1包含利用稀疏PN序列攜帶的輔助數(shù)據(jù)副帶樣本。從而，解碼器必須使用編碼器所用的相同稀疏PN序列。當(dāng)然，如果使用樣本旋轉(zhuǎn)移動(dòng)或位旋轉(zhuǎn)移動(dòng)序列來攜帶輔助數(shù)據(jù)副帶樣本，解碼器中需要對(duì)應(yīng)的解調(diào)序列。
稀疏PN序列發(fā)生器815、810、805與800分別提供稀疏PN序列SP0，SP1，SP2，…，SPN-1。在解調(diào)器620、622、624與626上分別用稀疏PN序列SP0，SP1，SP2，…，SPN-1解調(diào)組合副帶樣本SS’0，SS’1，SS’2，…，SS’N-1，以提供輔助數(shù)據(jù)副帶樣本SSP0，SSP1，SSP2，…，SSPN-1。然后用積分器650、652、654與656去擴(kuò)展輔助數(shù)據(jù)樣本，在加法器660上求和，并提供給FEC解碼器670，如前面所討論的。
現(xiàn)在應(yīng)已理解本發(fā)明分別在事先存在的副帶編碼的數(shù)字音頻或視頻數(shù)據(jù)流中提供基本上聽不見或感覺不到的輔助數(shù)據(jù)副帶樣本。即使輔助數(shù)據(jù)本身可能不具有任何空間元素，輔助數(shù)據(jù)副帶樣本也是與視頻變換樣本的空間頻率關(guān)聯(lián)的。術(shù)語視頻副帶樣本與視頻變換樣本是可以互換地使用的。從分組化流中的壓縮的、數(shù)字化音頻或視頻數(shù)據(jù)中檢索音頻或視頻副帶樣本并在將其與輔助數(shù)據(jù)副帶樣本組合之前，必要時(shí)將其歸一化。輔助數(shù)據(jù)副帶樣本是通過副帶濾波的PN序列、稀疏PN序列、樣本旋轉(zhuǎn)移動(dòng)序列、或位旋轉(zhuǎn)移動(dòng)序列、或者它們的組合提供的。此外，并非所有音頻或視頻副帶都必須攜帶輔助數(shù)據(jù)。
必要時(shí)，將包含輔助數(shù)據(jù)副帶樣本的組合副帶樣本在與分組的流重新組合成新幀或事先存在的幀的一部分之前去歸一化。在去歸一化或恢復(fù)到數(shù)字音頻或視頻數(shù)據(jù)的基帶期間，將輔助數(shù)據(jù)副帶樣本頻譜整形到音頻或視頻上。
雖然已結(jié)合各種特定實(shí)施例描述了本發(fā)明，熟悉本技術(shù)的人員應(yīng)理解，可以不脫離權(quán)利要求中所陳述的發(fā)明精神與范圍對(duì)其作出許多適應(yīng)與修改。
權(quán)利要求
1.一種用于在壓縮的數(shù)字視頻數(shù)據(jù)流中提供輔助數(shù)據(jù)副帶樣本的方法，包括下述步驟從所述數(shù)據(jù)流提供多個(gè)視頻變換樣本；提供數(shù)據(jù)載波序列；用輔助數(shù)據(jù)信號(hào)調(diào)制所述數(shù)據(jù)載波序列以提供所述輔助數(shù)據(jù)副帶樣本；組合所述輔助數(shù)據(jù)副帶樣本與對(duì)應(yīng)的視頻變換樣本以生成組合的變換樣本，其中所述輔助數(shù)據(jù)副帶樣本是基本上不能覺察地?cái)y帶的；以及提供所述組合變換樣本供在所述數(shù)字視頻數(shù)據(jù)流中傳送。
2.權(quán)利要求1的方法，其中所述視頻變換樣本具有非均勻的功率譜，包括下述進(jìn)一步的步驟歸一化所述視頻變換樣本以提供其近似均勻的功率譜；以及在所述歸一化步驟之后去歸一化所述組合變換樣本以復(fù)原所述視頻變換樣本的所述非均勻功率譜，并按照所述非均勻的功率頻譜整形所述組合變換樣本中的所述輔助數(shù)據(jù)副帶樣本。
3.權(quán)利要求1的方法，其中所述視頻變換樣本具有非均勻的功率譜，包括下述進(jìn)一步的步驟按照所述非均勻的功率譜頻譜整形下述輔助數(shù)據(jù)副帶樣本。
4.權(quán)利要求1的方法，包括下述進(jìn)一步的步驟分組化所述組合變換樣本；以及多路復(fù)用分組化的組合變換樣本到分組化的傳送流中。
5.權(quán)利要求1的方法，其中所述數(shù)據(jù)載波序列是用不同輔助數(shù)據(jù)信號(hào)調(diào)制的，借此允許在組合變換樣本中攜帶對(duì)應(yīng)于所述不同輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本。
6.權(quán)利要求1的方法，其中來自多個(gè)輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本是在所述視頻變換樣本的空間頻率中攜帶的。
7.權(quán)利要求1的方法，包括下述進(jìn)一步的步驟逆量化所述視頻變換樣本；在所述逆量化步驟之后，量化所述組合變換樣本；為所述逆量化步驟分配位；以及按照可見度閾值為所述量化步驟分配位。
8.權(quán)利要求1的方法，其中所述數(shù)據(jù)載波序列包括至少下述之一(a)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的偽噪聲(PN)序列；(b)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同PN變換序列；(c)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一PN變換序列的時(shí)移版本；(d)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的稀疏PN序列；(e)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同稀疏PN序列；(f)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一稀疏PN序列的時(shí)移版本；(g)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的樣本旋轉(zhuǎn)移動(dòng)序列；(h)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同樣本旋轉(zhuǎn)移動(dòng)序列；(i)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一樣本旋轉(zhuǎn)移動(dòng)序列的時(shí)移版本；(j)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的位旋轉(zhuǎn)移動(dòng)序列；(k)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同位旋轉(zhuǎn)移動(dòng)序列；以及(l)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一位旋轉(zhuǎn)移動(dòng)序列的時(shí)移版本。
9.權(quán)利要求1的方法，包括下述進(jìn)一步的步驟組合所述數(shù)據(jù)載波序列與所述視頻變換樣本來產(chǎn)生組合變換樣本，在其中所述數(shù)據(jù)載波序列是基本上不能覺察地?cái)y帶的。
10.權(quán)利要求1的方法，其中所述數(shù)據(jù)載波序列是在所述視頻變換樣本的多個(gè)空間頻率上濾波的。
11.權(quán)利要求1的方法，其中所述輔助數(shù)據(jù)副帶樣本是在所述組合變換樣本的多個(gè)空間頻率中攜帶的。
12.權(quán)利要求1的方法，其中所述視頻變換樣本包括來自內(nèi)編碼的圖象與差分編碼的圖象中至少一種的空間變換的象素?cái)?shù)據(jù)。
13.一種用于從壓縮的數(shù)字視頻數(shù)據(jù)流中恢復(fù)表示輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本的方法，所述輔助數(shù)據(jù)副帶樣本是通過用所述輔助數(shù)據(jù)信號(hào)調(diào)制第一數(shù)據(jù)載波序列提供的，所述輔助數(shù)據(jù)副帶樣本是在所述數(shù)據(jù)流中的組合變換樣本中與視頻變換樣本一起攜帶的，該方法包括下述步驟從所述數(shù)據(jù)流中恢復(fù)所述組合變換樣本；提供對(duì)應(yīng)于所述第一數(shù)據(jù)載波序列的復(fù)原數(shù)據(jù)載波序列；以及用所述復(fù)原數(shù)據(jù)載波序列處理所述組合變換樣本以便從所述恢復(fù)的組合變換樣本中恢復(fù)所述輔助數(shù)據(jù)副帶樣本。
14.權(quán)利要求13的方法，其中所述復(fù)原數(shù)據(jù)載波序列包述至少下述之一(a)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的偽噪聲(PN)序列；(b)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同PN變換序列；(c)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一PN變換序列的時(shí)移版本；(d)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的稀疏PN序列；(e)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同稀疏PN序列；(f)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一稀疏PN序列的時(shí)移版本；(g)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的樣本旋轉(zhuǎn)移動(dòng)序列；(h)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同樣本旋轉(zhuǎn)移動(dòng)序列；(i)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一樣本旋轉(zhuǎn)移動(dòng)序列的時(shí)移版本；(j)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的位旋轉(zhuǎn)移動(dòng)序列；(k)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同位旋轉(zhuǎn)移動(dòng)序列；以及(l)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一位旋轉(zhuǎn)移動(dòng)序列的時(shí)移版本；
15.權(quán)利要求13的方法，其中所述處理步驟包括下述步驟用所述復(fù)原數(shù)據(jù)載波序列解調(diào)所述恢復(fù)的組合變換樣本來恢復(fù)所述輔助數(shù)據(jù)副帶樣本；以及積分所述恢復(fù)的輔助數(shù)據(jù)副帶樣本以提供去擴(kuò)展的輔助數(shù)據(jù)副帶樣本。
16.權(quán)利要求15的方法，包括下述進(jìn)一步的步驟跨越其選擇的空間頻率求和所述去擴(kuò)展的輔助數(shù)據(jù)副帶樣本來恢復(fù)所述輔助數(shù)據(jù)信號(hào)。
17.權(quán)利要求13的方法，其中所述視頻變換樣本具有非均勻的功率譜，包括下述進(jìn)一步的步驟歸一化所述組合變換樣本來為所述組合變換樣本中的所述視頻變換樣本提供近似均勻的功率譜。
18.權(quán)利要求13的方法，包括下述進(jìn)一步的步驟歸一化所述組合變換樣本來為所述輔助數(shù)據(jù)副帶樣本提供近似均勻的功率譜。
19.權(quán)利要求13的方法，包括下述進(jìn)一步的步驟逆量化所述組合變換樣本；以及為所述逆量化步驟分配位。
20.權(quán)利要求13的方法，其中所述復(fù)原數(shù)據(jù)載波序列是在所述視頻變換樣本的多個(gè)空間頻率上濾波的。
21.權(quán)利要求13的方法，其中所述輔助數(shù)據(jù)副帶樣本是在所述組合變換樣本的多個(gè)空間頻率中攜帶的。
22.權(quán)利要求13的方法，其中所述視頻變換樣本包括來自內(nèi)編碼的圖象與差分編碼圖象中至少一種的空間變換的象素?cái)?shù)據(jù)。
23.權(quán)利要求13的方法，其中對(duì)應(yīng)于不同輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本是在所述數(shù)字視頻數(shù)據(jù)流的所述組合變換樣本中攜帶的，包括下述進(jìn)一步的步驟利用不同的復(fù)原數(shù)據(jù)載波序列處理所述組合變換樣本。
24.一種用于在壓縮數(shù)字視頻數(shù)流中提供輔助數(shù)據(jù)副帶樣本的編碼器，包括輸入端，用于接收所述數(shù)字視頻數(shù)據(jù)流及提供多個(gè)視頻變換樣本；數(shù)據(jù)載波發(fā)生器，用于提供數(shù)據(jù)載波序列；調(diào)制器，用于用輔助數(shù)據(jù)信號(hào)調(diào)制所述數(shù)據(jù)載波序列來提供所述輔助數(shù)據(jù)副帶樣本；耦合在所述調(diào)制器上的組合器，用于組合所述輔助數(shù)據(jù)副帶樣本與對(duì)應(yīng)的視頻變換樣本以產(chǎn)生組合變換樣本，其中所述輔助數(shù)據(jù)副帶樣本是基本上不能覺察地?cái)y帶的；以及耦合在所述組合器上的輸出端，用于提供所述組合變換樣本供在所述數(shù)字視頻數(shù)據(jù)流中傳送。
25.權(quán)利要求24的編碼器，其中所述視頻變換樣本具有非均勻的功率譜，還包括歸一化器，用于歸一化所述視頻變換樣本以提供其近似均勻的功率譜；以及去歸一化器，用于在所述歸一化步驟之后去歸一化所述組合變換樣本以復(fù)原所述視頻變換樣本的所述非均勻的功率譜，及按照所述非均勻的功率譜頻譜整形所述組合變換樣本中的所述輔助數(shù)據(jù)副帶樣本。
26.權(quán)利要求24的編碼器，其中所述視頻變換樣本具有非均勻的功率譜，還包括用于按照所述非均勻的功率譜頻譜整形所述輔助數(shù)據(jù)副帶樣本的裝置。
27.權(quán)利要求24的編碼器，還包括分組化器，用于分組化所述組合變換樣本；以及多路復(fù)用器，用于將分組化的組合變換樣本多路復(fù)用到分組化的傳送流中。
28.權(quán)利要求24的編碼器，其中所述數(shù)據(jù)載波序列是用不同輔助數(shù)據(jù)信號(hào)調(diào)制的，借此允許組合變換樣本中攜帶對(duì)應(yīng)于所述不同輔助數(shù)據(jù)信號(hào)的各自的輔助數(shù)據(jù)副帶樣本。
29.權(quán)利要求24的編碼器，其中來自多個(gè)輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本是在所述組合變換樣本的一個(gè)相關(guān)空間頻率中攜帶的。
30.權(quán)利要求24的編碼器，還包括逆量化器，用于逆量化所述視頻變換樣本；量化器，用于量化所述組合變換樣本；以及耦合在所述逆量化器與所述量化器上的位分配裝置，用于為所述逆量化步驟分配位，及用于按照可見度閾值為所述量化步驟分配位。
31.權(quán)利要求24的編碼器，其中所述數(shù)據(jù)載波序列包括下述中至少一種(a)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的偽噪聲(PN)序列；(b)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同PN變換序列；(c)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一PN變換序列的時(shí)移版本；(d)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的稀疏PN序列；(e)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同稀疏PN序列；(f)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一稀疏PN序列的時(shí)移版本；(g)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的樣本旋轉(zhuǎn)移動(dòng)序列；(h)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同樣本旋轉(zhuǎn)移動(dòng)序列；(i)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一樣本旋轉(zhuǎn)移動(dòng)序列的時(shí)移版本；(j)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的位旋轉(zhuǎn)移動(dòng)序列；(k)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同位旋轉(zhuǎn)移動(dòng)序列；以及(l)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一位旋轉(zhuǎn)移動(dòng)序列的時(shí)移版本；
32.權(quán)利要求24的編碼器，還包括用于組合所述數(shù)據(jù)載波序列與所述視頻變換樣本以產(chǎn)生組合的變換樣本的裝置，其中所述數(shù)據(jù)載波序列是基本上不可覺察地?cái)y帶的。
33.權(quán)利要求24的編碼器，其中所述數(shù)據(jù)載波序列是在所述視頻變換樣本的多個(gè)空間頻率上濾波的。
34.權(quán)利要求24的編碼器，其中所述輔助數(shù)據(jù)副帶樣本是在所述組合變換樣本的多個(gè)空間頻率中攜帶的。
35.權(quán)利要求24的編碼器，其中所述視頻變換樣本包括來自內(nèi)編碼的圖象與差分編碼的圖象中至少一種的空間變換象素?cái)?shù)據(jù)。
36.一種用于從壓縮的數(shù)字視頻數(shù)據(jù)流恢復(fù)表示輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本的解碼器，所述輔助數(shù)據(jù)副帶樣本是通過用所述輔助數(shù)據(jù)信號(hào)調(diào)制第一數(shù)據(jù)載波序列提供的，所述輔助數(shù)據(jù)副帶樣本是與視頻變換樣本一起在所述壓縮數(shù)字?jǐn)?shù)據(jù)流中的組合變換樣本中攜帶的，該解碼器包括用于從所述數(shù)據(jù)流中恢復(fù)所述組合變換樣本的裝置；用于提供與所述第一數(shù)據(jù)載波序列對(duì)應(yīng)的復(fù)原數(shù)據(jù)載波序列的裝置，以及用于用所述復(fù)原數(shù)據(jù)載波序列處理所述組合變換樣本而從所述恢復(fù)的組合變換樣本中恢復(fù)所述輔助數(shù)據(jù)副帶樣本的裝置。
37.權(quán)利要求36的解碼器，其中所述復(fù)原數(shù)據(jù)載波序列包括下述中至少一種(a)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的偽噪聲(PN)序列；(b)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同PN變換序列；(c)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一PN變換序列的時(shí)移版本；(d)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的稀疏PN序列；(e)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同稀疏PN序列；(f)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一稀疏PN序列的時(shí)移版本；(g)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的樣本旋轉(zhuǎn)移動(dòng)序列；(h)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同樣本旋轉(zhuǎn)移動(dòng)序列；(i)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一樣本旋轉(zhuǎn)移動(dòng)序列的時(shí)移版本；(j)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的位旋轉(zhuǎn)移動(dòng)序列；(k)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同位旋轉(zhuǎn)移動(dòng)序列；以及(l)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一位旋轉(zhuǎn)移動(dòng)序列的時(shí)移版本；
38.權(quán)利要求36的解碼器，其中所述處理裝置包括利用所述復(fù)原數(shù)據(jù)載波序列解調(diào)所述恢復(fù)的組合變換樣本來恢復(fù)所述輔助數(shù)據(jù)副帶樣本的裝置；以及積分所述恢復(fù)的輔助數(shù)據(jù)副帶樣本來提供去擴(kuò)展的輔助數(shù)據(jù)副帶樣本的裝置。
39.權(quán)利要求38的解碼器，還包括用于跨越其選擇的空間頻率求和所述去擴(kuò)展的輔助數(shù)據(jù)副帶樣本以恢復(fù)所述輔助數(shù)據(jù)信號(hào)的裝置。
40.權(quán)利要求36的解碼器，其中所述視頻變換樣本具有非均勻的功率譜，還包括歸一化器，用于歸一化所述組合副帶樣本中的所述視頻變換樣本來為所述視頻變換樣本提供近似均勻的功率譜。
41.權(quán)利要求36的解碼器，還包括歸一化器，用于歸一化所述組合變換樣本來為所述輔助數(shù)據(jù)副帶樣本提供近似均勻的功率譜。
42.權(quán)利要求36的解碼器，還包括逆量化器，用于逆量化所述組合變換樣本；以及用于為所述逆量化分配位的裝置。
43.權(quán)利要求36的解碼器，其中對(duì)應(yīng)于不同輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本是在所述數(shù)字視頻數(shù)據(jù)流的所述組合變換樣本中攜帶的；以及所述處理裝置利用不同復(fù)原數(shù)據(jù)載波序列處理所述組合變換樣本。
44.權(quán)利要求36的解碼器，其中所述復(fù)原數(shù)據(jù)載波序列是在所述視頻變換樣本的多個(gè)空間頻率上濾波的。
45.權(quán)利要求36的解碼器，其中所述輔助數(shù)據(jù)副帶樣本是在所述組合變換樣本的多個(gè)空間頻率中攜帶的。
46.權(quán)利要求36的解碼器，其中所述視頻變換樣本包括來自內(nèi)編碼的圖象與差分編碼的圖象中至少一種的空間變換的象素?cái)?shù)據(jù)。
47.一種壓縮數(shù)字?jǐn)?shù)據(jù)存儲(chǔ)介質(zhì)，包括(i)存儲(chǔ)裝置，用于存儲(chǔ)包含表示視頻信號(hào)的視頻變換樣本與表示輔助數(shù)據(jù)信號(hào)的輔助數(shù)據(jù)副帶樣本的組合變換樣本；所述輔助數(shù)據(jù)副帶樣本是通過用對(duì)應(yīng)于所述視頻變換樣本的至少一個(gè)空間頻率上的所述輔助數(shù)據(jù)信號(hào)調(diào)制數(shù)據(jù)載波序列提供的；所述輔助數(shù)據(jù)副帶樣本是在所述視頻信號(hào)中基本上不可覺察地?cái)y帶的；所述輔助數(shù)據(jù)信號(hào)是按照所述視頻信號(hào)頻譜整形的；以及(ii)用于允許從所述輔助數(shù)據(jù)副帶樣本中復(fù)原所述輔助數(shù)據(jù)信號(hào)的裝置。
48.權(quán)利要求47的存儲(chǔ)介質(zhì)，其中與不同輔助數(shù)據(jù)信號(hào)對(duì)應(yīng)的輔助數(shù)據(jù)副帶樣本是在所述組合變換樣本中攜帶的。
49.權(quán)利要求47的存儲(chǔ)介質(zhì)，其中與不同輔助數(shù)據(jù)信號(hào)對(duì)應(yīng)的輔助數(shù)據(jù)副帶樣本是在所述視頻變換樣本的相關(guān)空間頻率中攜帶的。
50.權(quán)利要求47的存儲(chǔ)介質(zhì)，其中所述數(shù)據(jù)載波序列包括下述中至少一種(a)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的偽噪聲(PN)序列；(b)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同PN變換序列；(c)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一PN變換序列的時(shí)移版本；(d)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的稀疏PN序列；(e)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同稀疏PN序列；(f)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一稀疏PN序列的時(shí)移版本；(g)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的樣本旋轉(zhuǎn)移動(dòng)序列；(h)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同樣本旋轉(zhuǎn)移動(dòng)序列；(i)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一樣本旋轉(zhuǎn)移動(dòng)序列的時(shí)移版本；(j)在所述視頻變換樣本的至少一個(gè)空間頻率上提供的位旋轉(zhuǎn)移動(dòng)序列；(k)在所述視頻變換樣本的一個(gè)空間頻率上提供的不同位旋轉(zhuǎn)移動(dòng)序列；以及(l)在所述視頻變換樣本的一個(gè)空間頻率上提供的同一位旋轉(zhuǎn)移動(dòng)序列的時(shí)移版本；
51.權(quán)利要求47的存儲(chǔ)介質(zhì)，其中所述數(shù)據(jù)載波序列是在所述視頻變換樣本的多個(gè)空間頻率上濾波的。
52.權(quán)利要求47的存儲(chǔ)介質(zhì)，其中所述輔助數(shù)據(jù)副帶樣本是在所述組合變換樣本的多個(gè)空間頻率上攜帶的。
53.權(quán)利要求47的存儲(chǔ)介質(zhì)，其中所述視頻變換樣本包括來自內(nèi)編碼的圖象與差分編碼的圖象中至少一種的空間變換的象素?cái)?shù)據(jù)。
全文摘要
按照可見度閾值在組合變換樣本中與視頻變換數(shù)據(jù)一起基本上不可覺察地?cái)y帶輔助數(shù)據(jù)(315,414)。輔助數(shù)據(jù)(315,414)提供電視觀看活動(dòng)的檢驗(yàn)的復(fù)制保護(hù)方案的能力。從壓縮的分組化數(shù)據(jù)流中抽取視頻變換樣本(240)并在需要時(shí)將其歸一化。輔助數(shù)據(jù)(315,414)調(diào)制不同空間頻率中的諸如偽噪聲(PN)擴(kuò)展頻譜信號(hào)(412,630)等數(shù)據(jù)載波序列以提供輔助數(shù)據(jù)副帶樣本(SPD
文檔編號(hào)H04N7/24GK1276936SQ98810304
公開日2000年12月13日 申請(qǐng)日期1998年7月22日 優(yōu)先權(quán)日1997年8月18日
發(fā)明者李宗郁, 卡姆蘭·莫阿勒米, 于爾格·欣德林 申請(qǐng)人:索拉納技術(shù)開發(fā)公司