基于多模式特征和張量分解的視頻拷貝檢測(cè)方法
【專利摘要】本發(fā)明提供了一種基于張量分解的視頻拷貝提取方法，包括以下步驟：(1)視頻預(yù)處理：通過時(shí)空采樣是視頻片段標(biāo)準(zhǔn)化；(2)視頻張量建模和張量分解：分別提取視頻的全局、局部和時(shí)域特征，進(jìn)行張量建模，利用Tucker模型進(jìn)行張量分解，得到核張量和低階張量；(3)視頻指紋匹配：利用核張量進(jìn)行粗匹配，利用視頻指紋在粗選集中進(jìn)行精細(xì)匹配。與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)現(xiàn)了視頻多模式特征的真正互補(bǔ)融合，不僅克服了單一模式特征構(gòu)造視頻指紋魯棒性差的缺點(diǎn)，而且還實(shí)現(xiàn)了多種模式特征之間的時(shí)序關(guān)聯(lián)共生性，提高了視頻拷貝檢測(cè)的精確性和效率。
【專利說明】基于多模式特征和張量分解的視頻拷貝檢測(cè)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視頻拷貝檢測(cè)方法，尤其涉及一種基于多模式特征和張量分解的 視頻拷貝檢測(cè)方法，屬于視頻、多媒體信號(hào)處理【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002] 數(shù)字視頻因其直觀、具體和生動(dòng)而逐漸成為用戶首要關(guān)注的多媒體形式。隨著網(wǎng) 絡(luò)技術(shù)的發(fā)展和網(wǎng)絡(luò)帶寬的不斷提高，視頻的傳輸和存儲(chǔ)已經(jīng)變得越來越便捷，因此，互聯(lián) 網(wǎng)視頻網(wǎng)站越來越多，視頻內(nèi)容變得越來越豐富，但隨之而來的網(wǎng)絡(luò)信息安全問題也變得 日漸突出。網(wǎng)絡(luò)用戶可W隨意地下載、編輯視頻并再次上傳，由此網(wǎng)絡(luò)中出現(xiàn)大量重復(fù)視 頻，極大的影響了視頻檢索的效率。同時(shí)，由于互聯(lián)網(wǎng)上對(duì)于海量視頻的管理缺乏規(guī)劃和統(tǒng) 一性，而用戶又可W非常容易地編輯和修改視頻的內(nèi)容，因此網(wǎng)絡(luò)中出現(xiàn)了很多盜版視頻， 常常引起一些知識(shí)產(chǎn)權(quán)等的糾紛，盜版和非法下載的出現(xiàn)極大地危害了版權(quán)所有者的利 益，挫傷了創(chuàng)新的積極性?；趦?nèi)容的視頻拷貝檢測(cè)技術(shù)正是解決上述問題的主要方法。
[0003] 基于內(nèi)容的視頻指紋技術(shù)，或稱為魯棒視頻哈希技術(shù)是基于內(nèi)容的視頻拷貝檢測(cè) 技術(shù)的具體表現(xiàn)形式，該類技術(shù)與數(shù)字視頻水印不同，它不需要在視頻發(fā)布或傳播之前，人 工地在視頻對(duì)象中嵌入附加信息，因此，基于內(nèi)容的視頻拷貝檢測(cè)對(duì)于尚未發(fā)布和已經(jīng)發(fā) 布的視頻都有效；同時(shí)，由于不需要在視頻上嵌入附加信息，它解決了數(shù)字視頻水印技術(shù)中 水印的不可見性和魯棒性之間的矛盾，從而提高了對(duì)于常見攻擊的魯棒性。利用基于內(nèi)容 的視頻拷貝檢測(cè)技術(shù)不但可W在視頻檢索中搜索到多余的視頻拷貝，并將其屏蔽，而且有 助于規(guī)范數(shù)字視頻版權(quán)和傳播的管理；同時(shí)，從另一個(gè)方面，也可W通過該類技術(shù)來對(duì)商 業(yè)視頻及其視頻拷貝進(jìn)行跟蹤分析，W獲得有價(jià)值的營銷策略信息。因此，在個(gè)人視頻制 作與網(wǎng)絡(luò)傳播日益流行的情況下，基于內(nèi)容的視頻拷貝檢測(cè)技術(shù)具有重要的理論價(jià)值和應(yīng) 用價(jià)值，近年來已經(jīng)成為了多媒體信息處理領(lǐng)域的研究熱點(diǎn)，目前基于內(nèi)容的視頻拷貝檢 測(cè)技術(shù)從不同的角度可W有不同的種類劃分，但總體來說，可分為兩大類，一類是基于全局 特征的方法，例如顏色直方圖、分塊灰度順序度量等等，基于頻域的方法也屬于此類別，此 類方法的優(yōu)點(diǎn)是速度快，運(yùn)算量小，缺點(diǎn)是對(duì)于視頻的一些局部攻擊和后期處理攻擊（例 如添加視頻字幕，局部剪切等）的效果不好；第二類是基于局部特征的方法，主要是峽局 部特征點(diǎn)描述子，例如 Harris 特征點(diǎn)、SIFT(Scale Invariant Fea1:ure "Transform)和 SURF (Speed-up Robust Fea化re),此類方法對(duì)視頻局部攻擊具有較好的魯棒性，但有時(shí)算 法的復(fù)雜度較高。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明針對(duì)現(xiàn)有視頻拷貝檢測(cè)技術(shù)方法的不足，提供一種利用張量分解融合多模 式特征的視頻拷貝檢測(cè)方法，本發(fā)明分別提取視頻的全局特征、局部特征和時(shí)域特征，利用 張量分析理論，把視頻多模式特征進(jìn)行融合來計(jì)算視頻指紋。與現(xiàn)有技術(shù)相比，本發(fā)明克服 了單一特征構(gòu)造視頻指紋的局限性，提高了視頻拷貝檢索的效率和精確性，同時(shí)，本發(fā)明利 用高階張量表示視頻，實(shí)現(xiàn)了視頻特征的真正互補(bǔ)融合?，F(xiàn)有的文獻(xiàn)和技術(shù)中，也有基于多 特征融合的視頻拷貝檢測(cè)方法，此類方法一部分是利用同一模式下的不同特征（例如利用 不同的全局特征或不同的局部特征），另一部分是對(duì)多特征簡單拼接綜合或者利用線性、非 線性的加權(quán)來融合特征，該些方法不僅忽視了不同特征之間的量綱的不同，而且還減弱甚 至忽略了視頻中該些多種模式特征之間的時(shí)序關(guān)聯(lián)共生性。與傳統(tǒng)融合特征方法相比，本 發(fā)明的方法利用多線性幾何即高階張量來表達(dá)和分析視頻，張量分解過程中由于對(duì)組成張 量的所有階按交錯(cuò)次序采樣，并非簡單先采樣完某一類型特征再采樣另外類型特征，而是 在采樣過程中對(duì)不同類型特征混合在一起交錯(cuò)采樣，該樣的采樣展開過程體現(xiàn)了不同類 型特征的傳遞和融合，該是傳統(tǒng)的"拼接"和"加權(quán)"無法實(shí)現(xiàn)的。
[0005] 本發(fā)明采用的技術(shù)方案為：
[0006] 一種基于多模式特征和張量分解的視頻拷貝檢測(cè)方法，其特征在于該方法包括W 下步驟：
[0007] (1)視頻預(yù)處理；利用時(shí)空采樣把待測(cè)視頻轉(zhuǎn)換為標(biāo)準(zhǔn)視頻；
[0008] (2)多模式視頻特征提??；提取視頻的全局特征、局部特征和時(shí)域特征；
[0009] (3)多模式特征融合；對(duì)多模式視頻特征構(gòu)造高階張量，并進(jìn)行張量分解獲得高 階張量的低階逼近，利用低階張量構(gòu)造視頻指紋；
[0010] (4)視頻指紋匹配：利用張量分解中的核張量縮小匹配范圍，利用視頻指紋進(jìn)行 詳細(xì)匹配。
[0011] 優(yōu)選地，所述步驟（1)的具體實(shí)現(xiàn)步驟是：
[0012] ①對(duì)視頻進(jìn)行空域和時(shí)域下采樣，把視頻轉(zhuǎn)化為標(biāo)準(zhǔn)視頻F e恨，w、H和K的 值根據(jù)具體系統(tǒng)設(shè)定，使得預(yù)處理過程不會(huì)更改視頻的主要內(nèi)容。
[0013] 優(yōu)選地，所述步驟（2)的具體實(shí)現(xiàn)步驟是：
[0014] ①提取視頻的全局特征，所述全局特征從峽顏色直方圖、峽分塊灰度秩序列和DCT 系數(shù)等特征中選擇；
[0015] ②提取視頻的局部特征，所述局部特征從Harris特征點(diǎn)，SIFT特征點(diǎn)、SURF特征 點(diǎn)等特征中選擇；
[0016] ③提取時(shí)域特征，利用相鄰峽之間的歸一化灰度差作為時(shí)域特征。
[0017] 優(yōu)選地，所述步驟（3)的具體實(shí)現(xiàn)步驟是：
[0018] ①對(duì)于步驟（2)提取的H種模式的特征構(gòu)造H階張量，其中，張量的H階分別為 融合特征、特征向量索引和峽序列索引；
[0019] ②對(duì)視頻張量進(jìn)行化Cker分解，化Cker分解把一個(gè)高階張量分解為核張量和低 階張量的外積的形式，如式（1)所示：

【權(quán)利要求】
1. 一種基于多模式特征和張量分解的視頻拷貝檢測(cè)方法，其特征在于該方法包括以下 步驟： (1) 視頻預(yù)處理：利用時(shí)空采樣把待測(cè)視頻轉(zhuǎn)換為標(biāo)準(zhǔn)視頻； (2) 多模式視頻特征提取：提取視頻的全局特征、局部特征和時(shí)域特征； (3) 多模式特征融合：對(duì)多模式視頻特征構(gòu)造高階張量，并進(jìn)行張量分解獲得高階張 量的低階逼近，利用低階張量構(gòu)造視頻指紋； (4) 視頻指紋匹配：利用張量分解中的核張量縮小匹配范圍，利用視頻指紋進(jìn)行詳細(xì) 匹配。
2. 如權(quán)利要求1所述的基于多模式特征和張量分解的視頻拷貝檢測(cè)方法，其特征在 于：所述步驟（1)的具體實(shí)現(xiàn)步驟是： ①對(duì)視頻進(jìn)行空域和時(shí)域下采樣，把視頻轉(zhuǎn)化為標(biāo)準(zhǔn)視頻F e，W、H和K的值根 據(jù)具體系統(tǒng)設(shè)定，使得預(yù)處理過程不會(huì)更改視頻的主要內(nèi)容。
3. 如權(quán)利要求1所述的基于多模式特征和張量分解的視頻拷貝檢測(cè)方法，其特征在 于：所述步驟（2)的具體實(shí)現(xiàn)步驟是： ① 提取視頻的全局特征，所述全局特征從幀顏色直方圖、幀分塊灰度秩序列和DCT系 數(shù)等特征中選擇； ② 提取視頻的局部特征，所述局部特征從Harris特征點(diǎn)，SIFT特征點(diǎn)、SURF特征點(diǎn)等 特征中選擇； ③ 提取時(shí)域特征，利用相鄰幀之間的歸一化灰度差作為時(shí)域特征。
4. 如權(quán)利要求1所述的基于多模式特征和張量分解的視頻拷貝檢測(cè)方法，其特征在 于：所述步驟（3)的具體實(shí)現(xiàn)步驟是： ① 對(duì)于步驟（2)提取的三種模式的特征構(gòu)造三階張量，其中，張量的三階分別為融合 特征、特征向量索引和幀序列索引； ② 對(duì)視頻張量進(jìn)行Tucker分解，Tucker分解把一個(gè)高階張量分解為核張量和低階張 量的外積的形式，如式（5)所示：
where:A = [a1； a2, aP] G Rixp B = [b" b2,…，bQ] G Rjxq C = [Cl，c2，…，cj G Rkxk k G Rpxqxe (5) 其中K為核張量，A, B和C是一階張量ap, bq和q組成的矩陣，P = Q = R = 1。 ③ 選取一階張量A作為視頻指紋，一階張量A融合了視頻的全局、局部和時(shí)域特征。
5. 如權(quán)利要求1所述的基于多模式特征和張量分解的視頻拷貝檢測(cè)方法，其特征在 于：所述步驟（4)的具體實(shí)現(xiàn)步驟是： ①數(shù)據(jù)庫中除了存儲(chǔ)視頻指紋還存儲(chǔ)相應(yīng)視頻指紋的核張量，設(shè)待測(cè)視頻的核張 量為K，在視頻指紋數(shù)據(jù)庫中搜索核張量的數(shù)值范圍在[K-aK，K+aK]的視頻指紋， a e (〇, 1)是一個(gè)參數(shù)，由此得到一個(gè)粗選指紋集合； ②在粗選指紋集合中，利用視頻指紋進(jìn)行詳細(xì)匹配，從而判定待測(cè)視頻拷貝是否存在 于數(shù)據(jù)庫。
6.如權(quán)利要求5所述的基于多模式特征和張量分解的視頻拷貝檢測(cè)方法，其特征在 于：取a = 0. 2,能保證與待測(cè)視頻內(nèi)容相似的視頻落入粗選指紋集的概率在99. 5%以上， 而且粗選集合的大小在原指紋數(shù)據(jù)庫大小的三分之一以下。
【文檔編號(hào)】G06F17/30GK104331450SQ201410593572
【公開日】2015年2月4日 申請(qǐng)日期:2014年10月29日 優(yōu)先權(quán)日:2014年10月29日
【發(fā)明者】聶秀山 申請(qǐng)人:聶秀山