專利名稱：跨攝像頭視頻摘要提取方法
技術領域：
本發(fā)明涉及視頻處理、內容分析和檢索，具體講涉及跨攝像頭視頻摘要提取方法。
背景技術：
視頻摘要技術可以有效去除不包含顯著視頻語義事件的視頻片段并壓縮用戶感興趣的視頻片段，從而將長時的視頻數(shù)據(jù)的主要內容用精簡的視頻片段進行表征，對于實現(xiàn)快速視頻瀏覽、檢索和降低存儲需求具有重要意義。現(xiàn)有的視頻摘要技術多是針對單目攝像頭采集的視頻內容進行自動分析。但是當面對帶有重疊區(qū)域的多攝像頭采集的海量視頻時，僅僅將現(xiàn)有技術應用于各個獨立攝像頭采集視頻進行視頻摘要時忽略了各攝像頭采集視頻內容的時間和空間的關聯(lián)特性以及內容的重復性，因此現(xiàn)有方法并不能有效去除多攝像頭冗余視頻內容。

發(fā)明內容
為克服現(xiàn)有技術的不足，并為用戶提供一個精簡但內容完整的視頻提綱，本發(fā)明采取的技術方案是，跨攝像頭視頻摘要提取方法，包括下列步驟(1)預處理視頻鏡頭分割、關鍵幀提取及顯著性表示利用圖像的視覺特征和無監(jiān)督聚類方法將各攝像頭采集的視頻分別進行鏡頭分割和關鍵幀提取；通過背景建模和運動區(qū)域提取衡量各鏡頭的運動強度，保留運動強度足夠明顯的鏡頭作為視頻摘要的候選；提取視頻關鍵幀的顏色、紋理和形狀特征并構建數(shù)學模型來計算候選鏡頭各獨立特征的重要性，最后采用線性方式融合多特征重要性，從而形成視頻鏡頭顯著性表示；(2)跨攝像頭視頻鏡頭網(wǎng)絡構建和分析以跨攝像頭視頻鏡頭網(wǎng)絡來表征所提取的各視頻的候選鏡頭的時間和空間的關聯(lián)，其中，每個節(jié)點Su及視頻片段表示第i個攝像頭采集的視頻中的第j個鏡頭，各節(jié)點數(shù)值表示鏡頭顯著性，節(jié)點間的連線表示二者相關聯(lián)，并且關聯(lián)強度由兩鏡頭的相似性度量， 在上述視頻鏡頭分割及顯著性表示的基礎上，得到所需構建網(wǎng)絡的各節(jié)點及其重要性，跨攝像頭視頻鏡頭網(wǎng)絡構建和分析的核心問題轉化為相似鏡頭集團的發(fā)現(xiàn)，由如下兩步驟實現(xiàn)1)節(jié)點間關聯(lián)強度的計算計算并融合鏡頭間的兩類相似性從而度量兩個鏡頭的相似性a.時序關聯(lián)性不同視頻中時序相近的鏡頭更可能包含視覺相近的視頻內容， 因而相似性越高；b.視覺相似性具有相近低層視覺描述的鏡頭相似度越高；2)跨攝像頭視頻鏡頭網(wǎng)絡解耦采用自頂向下的網(wǎng)絡集團分析法進行跨攝像頭視頻鏡頭網(wǎng)絡分解；(3)基于用戶需求的跨攝像頭視頻摘要生成視頻摘要提取方法為對于包含η個鏡頭的鏡頭集團Cs，最終生成的視頻摘要是否包含某個鏡頭由標記向量X = Ix1, K，XiK, XnI表示，其中Xi為1時表示該鏡頭被保留，Xi為0時表示該鏡頭被去除，定義上述多目標優(yōu)化問題目標函數(shù)為
權利要求
1. 一種跨攝像頭視頻摘要提取方法，其特征是，包括下列步驟(1)預處理視頻鏡頭分割、關鍵幀提取及顯著性表示利用圖像的視覺特征和無監(jiān)督聚類方法將各攝像頭采集的視頻分別進行鏡頭分割和關鍵幀提??；通過背景建模和運動區(qū)域提取衡量各鏡頭的運動強度，保留運動強度足夠明顯的鏡頭作為視頻摘要的候選；提取視頻關鍵幀的顏色、紋理和形狀特征并構建數(shù)學模型來計算候選鏡頭各獨立特征的重要性，最后采用線性方式融合多特征重要性，從而形成視頻鏡頭顯著性表示；(2)跨攝像頭視頻鏡頭網(wǎng)絡構建和分析以跨攝像頭視頻鏡頭網(wǎng)絡來表征所提取的各視頻的候選鏡頭的時間和空間的關聯(lián)，其中，每個節(jié)點Su及視頻片段表示第i個攝像頭采集的視頻中的第j個鏡頭，各節(jié)點數(shù)值表示鏡頭顯著性，節(jié)點間的連線表示二者相關聯(lián)，并且關聯(lián)強度由兩鏡頭的相似性度量，在上述視頻鏡頭分割及顯著性表示的基礎上，得到所需構建網(wǎng)絡的各節(jié)點及其重要性，跨攝像頭視頻鏡頭網(wǎng)絡構建和分析的核心問題轉化為相似鏡頭集團的發(fā)現(xiàn)，由如下兩步驟實現(xiàn)1)節(jié)點間關聯(lián)強度的計算計算并融合鏡頭間的兩類相似性從而度量兩個鏡頭的相似性a.時序關聯(lián)性不同視頻中時序相近的鏡頭更可能包含視覺相近的視頻內容，因而相似性越高；b.視覺相似性具有相近低層視覺描述的鏡頭相似度越高；2)跨攝像頭視頻鏡頭網(wǎng)絡解耦采用自頂向下的網(wǎng)絡集團分析法進行跨攝像頭視頻鏡頭網(wǎng)絡分解；(3)基于用戶需求的跨攝像頭視頻摘要生成視頻摘要提取方法為對于包含η個鏡頭的鏡頭集團Cs，最終生成的視頻摘要是否包含某個鏡頭由標記向量χ = Ix1, K，XiK, xj表示，其中Xi為1時表示該鏡頭被保留，Xi為0 時表示該鏡頭被去除，定義上述多目標優(yōu)化問題目標函數(shù)為
全文摘要
本發(fā)明涉及視頻處理、內容分析和檢索。為用戶提供一個精簡但內容完整的視頻提綱，本發(fā)明采取的技術方案是，跨攝像頭視頻摘要提取方法，包括下列步驟(1)預處理視頻鏡頭分割、關鍵幀提取及顯著性表示；(2)跨攝像頭視頻鏡頭網(wǎng)絡構建和分析；(3)基于用戶需求的跨攝像頭視頻摘要生成；本發(fā)明主要應用于視頻處理、內容分析和檢索。
文檔編號G06F17/30GK102184242SQ201110126198
公開日2011年9月14日 申請日期2011年5月16日 優(yōu)先權日2011年5月16日
發(fā)明者劉安安, 蘇育挺 申請人:天津大學