一種基于樹狀運動目標軌跡的視頻摘要生成方法
【專利摘要】本發(fā)明公開了一種基于樹狀運動目標軌跡的視頻摘要生成方法，按照以下步驟實施：步驟1、通過高斯背景建模方法檢測并跟蹤運動目標，獲得運動目標運動軌跡的盒子；步驟2、將運動目標軌跡盒子按照其粘連與否進行聚類，構(gòu)建目標樹；步驟3、對目標樹進行描述；步驟4、將目標樹按照由大到小的降序進行排序；步驟5、初始化構(gòu)建生成視頻摘要的空容器；步驟6、在容器中排入第一個目標樹；步驟7、確定后續(xù)的目標樹排入容器的起始點位置；步驟8、排入目標樹；步驟9、判斷是否目標樹全部排完；步驟10、輸入排入全部目標樹的容器為生成的視頻摘要。本發(fā)明的方法，可保持運動目標在視頻摘要中的連續(xù)性，視頻摘要的濃縮效率高。
【專利說明】一種基于樹狀運動目標軌跡的視頻摘要生成方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像識別【技術(shù)領(lǐng)域】，涉及一種基于樹狀運動目標軌跡的視頻摘要生成 方法。

【背景技術(shù)】
[0002] 視頻摘要技術(shù)有效的將海量視頻數(shù)據(jù)中的冗余剔除并將剩余的有效信息濃縮起 來供人們快速瀏覽。通過觀看視頻摘要，人們就可以既不必瀏覽原始的海量視頻數(shù)據(jù)又能 了解海量視頻的大致內(nèi)容。因為視頻摘要用于對監(jiān)控視頻中所發(fā)生的事件進行快速瀏覽， 同時也需要對瀏覽時發(fā)現(xiàn)的關(guān)注事件進行定位回放，所以，視頻摘要一般的做法均是將原 始視頻中的運動目標進行檢測跟蹤后，將每個運動目標作為一個事件鏈來生成視頻摘要。 這種做法存在致命的問題是，視頻摘要效果的好壞，取決于原始視頻中，運動目標的檢測及 跟蹤效果的好壞。然而，運動目標的檢測跟蹤算法的準確性，極大程度地受限于視頻監(jiān)控環(huán) 境是否復(fù)雜，運動目標是否密集等因素。為此，也限制了視頻摘要的應(yīng)用推廣。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是提供一種基于樹狀運動目標軌跡的視頻摘要生成方法，不再要求 每個運動目標都能夠進行完整的檢測與跟蹤，而是允許幾個發(fā)生粘連、交叉、遮擋等多個目 標，以目標樹的形式進行描述，解決了現(xiàn)有技術(shù)因運動目標檢測跟蹤受限于運動目標密集 程度，以及監(jiān)控環(huán)境復(fù)雜程度而導(dǎo)致的視頻摘要生成受限的問題。
[0004] 本發(fā)明所采用的技術(shù)方案是，一種基于樹狀運動目標軌跡的視頻摘要生成方法， 按照以下步驟實施：
[0005] 步驟1、從監(jiān)控視頻中提取運動目標，獲得運動目標運動軌跡的盒子
[0006] 采用混合高斯背景建模方法提取出監(jiān)控視頻中的運動目標，之后，按照相鄰幀間 重疊面積最大為同一目標的方法進行運動目標跟蹤，在每一幀中，跟蹤得到的每個運動目 標區(qū)域用其最小的外接矩形來表示，
[0007] 每個運動目標的最小外接矩形在一幀圖像中，是一個外接矩形，稱這個外接矩形 所框定的，在本幀圖像中的區(qū)域為一個團塊；這些團塊在時間軸上疊加起來，就形成了一個 盒子，盒子的起點為發(fā)現(xiàn)某個運動目標的幀，終點是運動目標消失在監(jiān)控視域的前一幀，
[0008] 假設(shè)，對每一個出現(xiàn)在視頻監(jiān)控視域中的運動目標，均采用一個盒子來描述的話， 則每個運動目標的描述如式（1)所示：

【權(quán)利要求】
1. 一種基于樹狀運動目標軌跡的視頻摘要生成方法，其特點在于：按照以下步驟實 施： 步驟1、從監(jiān)控視頻中提取運動目標，獲得運動目標運動軌跡的盒子 采用混合高斯背景建模方法提取出監(jiān)控視頻中的運動目標，之后，按照相鄰幀間重疊 面積最大為同一目標的方法進行運動目標跟蹤，在每一幀中，跟蹤得到的每個運動目標區(qū) 域用其最小的外接矩形來表示， 每個運動目標的最小外接矩形在一幀圖像中，是一個外接矩形，稱這個外接矩形所框 定的，在本幀圖像中的區(qū)域為一個團塊；這些外接團塊在時間軸上疊加起來，就形成了一個 盒子，盒子的起點為發(fā)現(xiàn)某個運動目標的幀，終點是運動目標消失在監(jiān)控視域的前一幀， 假設(shè)，對每一個出現(xiàn)在視頻監(jiān)控視域中的運動目標，均采用一個盒子來描述的話，則每 個運動目標的描述如式（1)所示：
其中，OkO表示第k個運動目標，k= 1，2, · · ·，Ns，mk= 1，2, · · ·，Nk，Ns為檢測出的運 動目標的總數(shù)，Nk表示第k個目標持續(xù)的幀數(shù)； (?"" )表示第k個目標在第mk幀中外接矩形左上角的坐標， (?""Ami)表示第k個目標在第mk幀中外接矩形右下角的坐標， (Ο:)表示第k個目標在第mk幀中的質(zhì)心坐標， 本步驟中，在運動目標提取過程中將類似的情況以樹狀結(jié)構(gòu)的形式進行描述，將其 標識為同一個標識，即樹狀結(jié)構(gòu)給出了一個連續(xù)的運動軌跡，不再要求只包括一個運動目 標； 步驟2、運動目標盒子聚類 對所檢測到的運動目標化^')，/";·^'^^^^-)，！^=^，···，^，!!!,= 1，2, ...，Nk，判斷其目標之間在運動過程中是否存在粘連，將存在粘連的目標盒子全部歸 為同一類，即稱之為歸屬同一個目標樹，并且在每一幀中，每一個運動目標由其最小外接矩 形所框定的區(qū)域被稱為樹的一個團塊，如果在一幀中存在多個運動目標時，則該幀中存在 多個團塊； 步驟3、對目標樹進行描述； 步驟4、對步驟3聚類得到的N個目標樹進行排序 對這N個目標樹按照長度由大到小的降序進行排列，為了表示方便，還是設(shè)這N個排序 后的目標樹為Treeid，id= 1，2，···，Ν; 步驟5、設(shè)計摘要生成容器并對其初始化； 步驟6、排入第一個目標樹至容器中； 步驟7、確定目標樹排入容器的位置； 步驟8、將確定位置的待排目標樹排入容器中； 步驟9、判斷是否還存在有需要排入容器里的目標樹 如果沒有，即id=Ν+1則排序完畢退出，轉(zhuǎn)步驟10， 否則，取下一個目標樹Treeid，進入步驟7 ; 步驟10、將容器的元素值取整，則為生成的視頻摘要，即成。
2. 根據(jù)權(quán)利要求1所述的基于樹狀運動目標軌跡的視頻摘要生成方法，其特點在于： 所述的步驟3中，定義目標樹唯一標識的參數(shù)集Treeid，該模型如式（2)所示：
其中，id= 1，2，...，N，id是目標樹的編號， N是步驟2得到的目標樹的總個數(shù)； C,是該目標樹中的運動目標在原始視頻中的起始幀序號， 是其在原始視頻中的結(jié)束幀序號， =d_Cri + 1)就代表該目標樹的長度； 丨為團塊集，卜丨=U 塊的個數(shù)，即由步驟1檢測到的運動目標的個數(shù)，是由步驟2得到的歸為同一棵目標樹的所 有運動目標盒子在相應(yīng)幀中外接矩形所框定的區(qū)域構(gòu)成， } = {姐〇<6,' =1,2,…，中的每個團塊 信息描述為：
其中，4 二 1，2，.··，Α't= 1, 2, · · · ,Δtid， 4是目標樹中第t幀的第ib個團塊在原始視頻中的幀序號， Rec( = (x/,;x/,_>，/)是第ib個團塊在原視頻中外接矩形的左上角和右下角的 坐標，代表了團塊在原始視頻幀中的區(qū)域坐標， f是第ib個團塊的最大外接矩形的長邊邊長的1/2， 〇沿< !-為第ib個團塊區(qū)域的像素值。
3. 根據(jù)權(quán)利要求2所述的基于樹狀運動目標軌跡的視頻摘要生成方法，其特點在于： 所述的步驟5中，所謂的摘要生成容器，是用來將步驟3生成的全部目標樹融合后生成一段 視頻摘要的三維數(shù)組，其中兩維表示視頻摘要幀圖像的大小，與原始視頻幀畫面大小相同， 另外一維表示時間，這樣，便構(gòu)成表達視頻是隨時間變化的圖像幀序列的數(shù)據(jù)形式， 初始化這個三維數(shù)組，稱之為構(gòu)建一個空容器，見式（4):
其中，CiJ1= 0，i= 1，2, · · ·，m，j= 1，2, · · ·，n，1 = 1，2, · ··，Δtc，數(shù)組的大小為mXnXΛt。，m為視頻幀畫面的行數(shù)，η為視頻幀畫面的列數(shù)，Λt。為容器的長度， 初始化時，令Δtc=Δtmax，Δtmax=max{ΔtidIid= 1，2, · · ·，N}，即空容器的長度選 為最大目標樹的長度，經(jīng)過步驟4排序后，Δt_=Δtp 令id= 1，將第一個目標樹排入容器中，排入的位置Ststart= 1。
4. 根據(jù)權(quán)利要求3所述的基于樹狀運動目標軌跡的視頻摘要生成方法，其特點在于： 所述的步驟6中，要將排在第一的最長目標樹Tree1放入容器中，容器中不為0的元素應(yīng)該 為該目標樹的所有團塊，則有式（5):
其中，幺λ：S4，y'l<y<y'l,4 = 1，2"..，，I= 1，2,· · ·，Δtc， 之后，令id=id+1，選出下一個目標樹轉(zhuǎn)步驟7確定排入容器的位置。
5.根據(jù)權(quán)利要求4所述的基于樹狀運動目標軌跡的視頻摘要生成方法，其特點在于：所述的步驟7中，具體包括以下步驟： 7. 1)求待排目標樹與容器中已排目標樹的每幀團塊碰撞 排進新的目標樹時，與已經(jīng)排在容器中的目標樹之間的碰撞檢測過程是，將待排目標 樹從容器的最底部開始往上移動，即從容器范圍tstarte[1，AtJ內(nèi)，由tstart= 1開始，計 算碰撞，即為滿足接受程度碰撞狀態(tài)的目標樹排入， 待排目標樹與容器中的已排目標樹之間在每幀中的團塊碰撞過程是，進入時與已排目 標樹的團塊之間的碰撞即為團塊在幀圖像中的位置兩者有部分或者全部相同，即認定產(chǎn)生 了碰撞，輕微碰撞的情況因為其重疊不嚴重而影響視覺觀察效果也輕微，因此被視作允許 的碰撞， 設(shè)待排目標樹在第ta幀的團塊集為，已經(jīng)排在容器中的目標樹在第ta幀的 團塊集為彳^<!_， 假設(shè){5/〇c<}集中的團塊施來：=(?,Rec<:，<，{_<})，其質(zhì)心坐標為z'a =1,2,,,.,?^ ； 集中的團塊 5/〇C° =〇/: ,Rec/^° , })，其 質(zhì)心坐標為)，人=1,2,·.·,<， 則團塊間兩兩碰撞與否的判斷標準如式（6):
其中，，人=]，2，·，·，<，則在第ta幀中，待排目標樹與容器中的已排目標 樹的碰撞CollUO與否的判斷標準如式（7):
7.2)求待排目標樹與容器中已排目標樹的逐幀碰撞 因為待排目標樹的長度為Atid，因此，在按照步驟7. 1)計算每幀的碰撞，容器 的已排目標樹的位置取為tstart，tstart+l，. . .，tstart-l+Λtid，與待排目標樹所有幀，即 ta= 1，2,. ..，Δtid，逐幀按照步驟7. 1)計算得到每幀的團塊碰撞Colli(ta)，ta = 1,2,...,Δtid； 7. 3)求待排目標樹與容器中已排目標樹的總體碰撞率 待排目標樹起點在tstart位置上與容器中已排目標樹的總體碰撞率&的計算式如式 (8)：
7.4)判斷待排目標樹可放置的位置 根據(jù)式⑶計算得到的碰撞率的取值范圍為Μ0，1]， 用戶需要根據(jù)能夠接受的密集程度，以及對視頻摘要長度的要求，設(shè)置碰撞率閾值 PTh， 如果=O表示待排目標樹與容器內(nèi)的已排目標樹不存在碰撞，如果^A/,，表 明碰撞情況屬于可接受的程度，這時，將待排目標樹排進容器中的tstart的位置上，轉(zhuǎn)步驟8 實現(xiàn)將該目標樹排入容器中； 如果1，表明每幀都有碰撞，這時會大大影響視覺效果，如果>pra，表明 碰撞情況屬于不可接受的程度，為此需要改變待排目標樹的計算碰撞位置，即令tstart=tstart+l，即表明待排目標樹的位置往后移一幀，轉(zhuǎn)步驟7. 1)再次進行碰撞率的計算，直至找 到滿足PtSpj7,的位置tstart。
6.根據(jù)權(quán)利要求5所述的基于樹狀運動目標軌跡的視頻摘要生成方法，其特點在于：所述的步驟8中，要將該目標樹1'代力(1按照步驟7確定的起始位置tstart放入容器中，先調(diào) 整容器的長度，如果tstart+Λtid>Λt。，則有=(Δ&+U,，否則容器長度保持不變，容 器里的元素值的計算如式（9):
其中，X之幺xa < ，片幺凡幺 ％，& = 1，2,..·，<，ta=1，2, · ··，Δtid， (c、...,..,+/Ar/,'::)/2表示求待排目標樹的團塊像素值與容器中相應(yīng)位置上的非零值的 均值， 排完該目標樹之后，令id=id+Ι，即表示目標樹的序號加1的含義。
【文檔編號】H04N21/8549GK104469547SQ201410755692
【公開日】2015年3月25日 申請日期:2014年12月10日 優(yōu)先權(quán)日:2014年12月10日
【發(fā)明者】朱虹, 茍榮濤, 張靜波, 王棟, 邢楠 申請人:西安理工大學