專利名稱：處理動態(tài)圖像的方法及設備的制作方法
技術領域：
本發(fā)明涉及一種處理動態(tài)圖像的方法及設備。
背景技術：
隨著互聯(lián)網(wǎng)技術的發(fā)展以及動態(tài)圖像拍攝設備(包括數(shù)碼相機)的普及，UCC(用 戶創(chuàng)建內(nèi)容)成為了一個公知術語。更便宜的存儲器和更快的寬帶連接網(wǎng)絡，使人們能 夠用動態(tài)圖像而不是靜止圖像來分享信息。而且，服務提供商如YouTube(http:〃www. youtube. com)能夠提供一個容易分享動態(tài)圖像的環(huán)境。 但是，盡管在互聯(lián)網(wǎng)上共享的動態(tài)圖像的數(shù)量急劇增加，動態(tài)圖像搜索技術的發(fā) 展相對緩慢。通常，動態(tài)圖像搜索結果提供一個相關于用戶輸入的關鍵字的動態(tài)圖像的簡 單列表(例如，動態(tài)圖像的標題包括關鍵字)。 在這種情況下，重復示出相同動態(tài)圖像的列表可能被頻繁地提供。這就需要考慮
動態(tài)圖像之間的共同特征(commonality)或相似性，以改進搜索結果。考慮動態(tài)圖像之間
的共同特征和相似性能夠有助于檢測利用內(nèi)容非法散布的著作權侵權。 但是，為了確定動態(tài)圖像的共同特征或相似性，用二進制代碼作動態(tài)圖像的直接
比較需要極強的運算能力。因此就需要能代表動態(tài)圖像信息的相對小型的比較標準(比較
數(shù)據(jù))。 因為即使利用相對小型的比較標準比較大型動態(tài)圖像，也是一項耗時的工作，所 以就需要更有效的比較動態(tài)圖像的方法。 在由搜索引擎提供的動態(tài)圖像搜索結果中，重復示出相同的動態(tài)圖像或極相似的 動態(tài)圖像的列表，作為用于該列表的一個解決方案，就需要一種考慮共同特征(或相似性) 的多個動態(tài)圖像的聚類(clustering)方法。

發(fā)明內(nèi)容
技術問題 —方面，本發(fā)明提供了動態(tài)圖像處理方法及設備，用以提高動態(tài)圖像比較方法并 提高比較結果的效率。 —方面，本發(fā)明提供了一種用以生成動態(tài)圖像的特征向量(幀特征向量)的方法 和設備，所述特征向量能夠作為用于確定動態(tài)圖像之間的共同特征和相似性的比較標準來 使用。 —方面，本發(fā)明提供了一種用以利用動態(tài)圖像的特征向量在兩個動態(tài)圖像之間檢 測共同部分、并且用以獲得共同部分的時間信息的方法和設備。 —方面，本發(fā)明是為了提供一種用以將具有共同特征(即共享共同部分)的動態(tài)
圖像聚集成族的方法和設備。 技術方案 —方面，本發(fā)明提供了一種處理動態(tài)圖像的方法。將動態(tài)圖像的幀劃分生成多個子幀，每個子幀的顏色分布向量能夠被計算。顏色分布向量的一階微分能夠基于顏色分布 向量生成。顏色分布向量的二階微分能夠基于所述幀的顏色分布向量的一階微分生成。所 述幀的特征向量能夠基于顏色分布向量、顏色分布向量的一階微分和顏色分布向量的二階 微分生成。 為了生成幀的特征向量，可以從一組由所述幀的顏色分布向量、所述顏色分布向 量的一階微分和所述顏色分布向量的二階微分的分量所組成的組中選定多個分量作為幀 特征向量的分量。 為了生成子幀的顏色分布向量，通過對子幀的象素的顏色向量取平均值，能夠計 算所述子幀的平均顏色向量。 所述子幀的平均顏色向量能夠被歸一化。在所述平均顏色向量的歸一化過程中， 能夠利用至少一個從由多個子幀的平均顏色向量的最小向量和平均向量所組成的組中選 定的向量。所述多個子幀屬于包括所述子幀并且對應于動態(tài)圖像中子幀的顯示區(qū)域的時間 段。 另一方面，本發(fā)明提供了一種處理動態(tài)圖像的方法。分別對應第一動態(tài)圖像和第
二動態(tài)圖像的幀特征向量能夠被生成。第一動態(tài)圖像和第二動態(tài)圖像的共同部分能夠通過
將第一動態(tài)圖像的幀特征向量與第二動態(tài)圖像的幀特征向量進行比較而被檢測。 為了共同部分的檢測，能夠執(zhí)行動態(tài)圖像區(qū)段的比較。為了動態(tài)圖像區(qū)段的比較，
能夠通過相應地將第一動態(tài)圖像的第一動態(tài)圖像區(qū)段的P(P是任意自然數(shù)，P > 1)幀的特
征向量與第二動態(tài)圖像的第二動態(tài)圖像區(qū)段的P幀的特征向量進行比較，生成第一動態(tài)圖
像區(qū)段和第二動態(tài)圖像區(qū)段的共同特征評估值。第二動態(tài)圖像區(qū)段的P幀能夠具有與第一
動態(tài)圖像區(qū)段的P幀的排列相對應的排列。 共同特征評估值能夠基于第一動態(tài)圖像區(qū)段的特征向量與第二動態(tài)圖像區(qū)段的 相應的特征向量之間的距離生成(第一和第二動態(tài)圖像區(qū)段能夠具有相同長度的At)。
動態(tài)圖像區(qū)段的比較能夠分別對應第一動態(tài)圖像區(qū)段開始時間tl(從第一動態(tài) 圖像的開始點經(jīng)過tl之后)和第二動態(tài)圖像區(qū)段開始時間t2(從第二動態(tài)圖像的開始點 經(jīng)過t2之后)執(zhí)行。tl能夠等于或大于O，并且小于第一動態(tài)圖像的長度。t2能夠等于或 大于0，并且小于第二動態(tài)圖像的長度。 假使共同特征評估值表示第一動態(tài)圖像區(qū)段和第二動態(tài)圖像區(qū)段中的共同特征， 就能夠通過將第一動態(tài)圖像的特征向量與第二動態(tài)圖像的特征向量進行比較，應用比第一 動態(tài)圖像區(qū)段和第二動態(tài)圖像區(qū)段中的P幀的fps(每秒幀數(shù))更大的fps來分別檢測第 一動態(tài)圖像和第二動態(tài)圖像中的共同部分的開始時間和結束時間。 動態(tài)圖像區(qū)段的比較，通過從第二動態(tài)圖像的開始點(t2 = 0)增加第二動態(tài)圖像 區(qū)段的開始時間t2而執(zhí)行，其中開始時間tl設于第一動態(tài)圖像的開始點(tl = 0)。在這 種情況下，為了第二動態(tài)圖像區(qū)段的開始時間tg，所述開始時間tg使得共同特征評估值顯 示第一動態(tài)圖像區(qū)段和第二動態(tài)圖像區(qū)段中的共同特征，共同部分開始_結束點檢測能夠 將第一動態(tài)圖像的特征向量僅與第二動態(tài)圖像的幀的特征向量進行比較，所述第二動態(tài)圖 像的幀位于開始點后tg之后。 為了重復動態(tài)圖像區(qū)段的比較，假使共同特征評估值不滿足需要示出第一動態(tài)圖 像區(qū)段和第二動態(tài)圖像區(qū)段的共同特征的參考值，那么第一動態(tài)圖像區(qū)段開始時間tl的變化和/或第二動態(tài)圖像區(qū)段開始時間t2的變化能夠正比于所述參考值和共同特征評估 值之間的差值。 另一方面，本發(fā)明提供了一種處理動態(tài)圖像的方法。從包括多個動態(tài)圖像的動態(tài) 圖像族中，第一動態(tài)圖像和第二動態(tài)圖像各自的特征向量能夠被生成。通過將第一動態(tài)圖 像的特征向量和第二動態(tài)圖像的特征向量進行比較，能夠檢測兩個動態(tài)圖像的共同部分。 假使第一動態(tài)圖像和第二動態(tài)圖像的共同部分被檢測到，那么族標識符匹配能夠被執(zhí)行用 于使第一動態(tài)圖像和第二動態(tài)圖像具有相同的族標識符。假使在族標識符匹配過程中，一 個動態(tài)圖像中的原來的族標識符被新的族標識符所替代，那么具有原來的族標識符的另一 個動態(tài)圖像(既不是第一動態(tài)圖像，也不是第二動態(tài)圖像)的族標識符的替換能夠被執(zhí)行， 以將原來的族標識符替換為新的族標識符。 在動態(tài)圖像族中用于動態(tài)圖像的文本標記能夠被生成。用于共享文本標記的動態(tài) 圖像的共同部分的檢測和族標識符的處理，能夠先于那些用于并不共享文本標記的動態(tài)圖 像的過程。 上述動態(tài)圖像處理方法(幀特征向量生成方法、共同部分檢測方法和動態(tài)圖像聚 類方法)能夠由計算機執(zhí)行。動態(tài)圖像處理方法能夠作為程序存儲在計算機可讀介質(zhì)中。
另一方面，本發(fā)明提供了一種處理動態(tài)圖像的方法的設備。所述設備的特征向量 生成模塊能夠生成第一動態(tài)圖像的特征向量和第二動態(tài)圖像的特征向量。所述設備的共同 部分檢測模塊能夠通過將第一動態(tài)圖像的特征向量與第二動態(tài)圖像的特征向量進行比較， 檢測第一動態(tài)圖像和第二動態(tài)圖像的共同部分。 特征向量生成模塊能夠計算通過劃分動態(tài)圖像的幀而生成的多個子幀中每個子 幀的顏色分布向量。特征向量生成模塊能夠基于顏色分布向量、顏色分布向量的一階微分 以及顏色分布向量的二階微分，生成幀的特征向量。特征向量生成模塊能夠從由顏色分布 向量的分量、顏色分布向量的一階微分的分量和顏色分布向量的二階微分的分量所組成的 組中，選擇多個分量，作為幀特征向量的分量。 動態(tài)圖像處理設備的共同部分檢測模塊能夠包括動態(tài)圖像區(qū)段比較模塊。動態(tài)圖 像區(qū)段比較模塊能夠生成第一動態(tài)圖像區(qū)段和第二動態(tài)圖像區(qū)段之間的共同特征評估值， 所述第一動態(tài)圖像區(qū)段具有第一動態(tài)圖像的開始點之后的開始時間tl和長度A t，所述第 二動態(tài)圖像區(qū)段具有第二動態(tài)圖像的開始點之后的開始時間t2和長度At。共同特征評估 值能夠通過將第一動態(tài)圖像區(qū)段的P(P是任意自然數(shù)，P > 1)幀的特征向量和第二動態(tài)圖 像區(qū)段的P幀的特征向量進行比較而生成，所述第二動態(tài)圖像區(qū)段的P幀相應地具有與第 一動態(tài)圖像區(qū)段的P幀的排列相對應的排列。 共同部分檢測模塊能夠包括共同部分開始_結束點檢測模塊。共同部分開始_結 束點檢測模塊分別檢測第一動態(tài)圖像和第二動態(tài)圖像的共同部分的開始點和結束點。假使 由動態(tài)圖像區(qū)段比較模塊生成的共同特征評估值表示第一動態(tài)圖像區(qū)段和第二動態(tài)圖像 區(qū)段中的共同特征，就能夠通過將第一動態(tài)圖像的特征向量和第二動態(tài)圖像的特征向量進 行比較，應用比第一動態(tài)圖像區(qū)段和第二動態(tài)圖像區(qū)段中的P幀的fps更大的fps，檢測所 述開始點和結束點。 動態(tài)圖像處理設備能夠包括動態(tài)圖像聚類模塊。假使第一動態(tài)圖像和第二動態(tài)圖 像之間的共同部分由動態(tài)圖像處理設備的共同部分檢測模塊所檢測，那么動態(tài)圖像聚類模塊能夠執(zhí)行族標識符匹配。利用族標識符匹配，第一動態(tài)圖像和第二動態(tài)圖像能夠具有相 同的族標識符。假使在族標識符匹配過程中，原來的族標識符被新的族標識符所替代，那么 動態(tài)圖像聚類模塊能夠用新的族標識符替代另一個動態(tài)圖像(既不是第一動態(tài)圖像，也不 是第二動態(tài)圖像)的原來的族標識符。 動態(tài)圖像處理設備能夠包括文本標記生成模塊。文本標記生成模塊能夠分別生成 第一至第三動態(tài)圖像的文本標記。動態(tài)圖像處理設備的特征向量生成模塊能夠生成第三動 態(tài)圖像的特征向量。 假使第一動態(tài)圖像和第二動態(tài)圖像之間存在共享的文本標記，并且第一動態(tài)圖像 和第三動態(tài)圖像之間不存在共享的文本標記。動態(tài)圖像處理設備的共同部分檢測模塊能夠 先于第一動態(tài)圖像和第三動態(tài)圖像的共同部分檢測而執(zhí)行第一動態(tài)圖像和第二動態(tài)圖像 的共同部分檢測。 通過本發(fā)明的實施例，本發(fā)明額外的方面和優(yōu)勢將在后面的說明中部分地描述， 并且部分地將從說明中明顯地看出或得知。


圖1示出本發(fā)明的一個實施例的動態(tài)圖像的幀和其子幀。
圖2示出本發(fā)明的一個實施例的幀特征向量生成方法的流程圖。 圖3示出本發(fā)明的一個實施例的顏色分布向量、顏色分布向量的一階微分以及顏
色分布向量的二階微分之間的關系。 圖4示出本發(fā)明的一個實施例的顏色分布向量、顏色分布向量的一階微分以及顏 色分布向量的二階微分的特征向量的構成。 圖5示出本發(fā)明的一個實施例的動態(tài)圖像共同部分檢測方法的流程圖。
圖6示出本發(fā)明的一個實施例的動態(tài)圖像區(qū)段比較過程。 圖7示出本發(fā)明的一個實施例的兩個動態(tài)圖像之間的共同部分檢測方法的流程 圖。 圖8示出本發(fā)明的一個實施例的兩個動態(tài)圖像之間的共同特征關系。 圖9示出本發(fā)明的一個實施例的動態(tài)圖像聚類方法的流程圖。 圖10示出本發(fā)明的一個實施例的動態(tài)圖像聚類的條件和結果。 圖11示出本發(fā)明的一個實施例的動態(tài)圖像族的動態(tài)圖像在共同時間軸上的排列結果。 圖12示出本發(fā)明的一個實施例的動態(tài)圖像族的數(shù)據(jù)結構存儲信息。 圖13示出本發(fā)明的一個實施例的動態(tài)圖像族中代表性動態(tài)圖像的確定過程。 圖14示出本發(fā)明的一個實施例的動態(tài)圖像處理設備的構造。
具體實施例方式
下面將參照附圖更加詳細地描述根據(jù)本發(fā)明特定方面的處理動態(tài)圖像的方法和 設備的實施例。但是，實施例的描述并非將本發(fā)明限定于特定的實施例。實施例的描述能 夠理解為包括所有的變換、等效和替代。假使相關現(xiàn)有技術的詳細描述模糊了本發(fā)明的要 點，那么能夠忽略該詳細描述。并且，在對附圖的描述中，用相同的附圖標記所表示的部件是相同的或一致的，不考慮附圖編號，并且省略多余的解釋。
圖1示出本發(fā)明的一個實施例的動態(tài)圖像的幀和其子幀。 幀能夠是組成動態(tài)圖像的靜止圖像。幀能夠用作用于編輯動態(tài)圖像的單位。通常， 動態(tài)圖像能夠被編碼成每秒具有24或30幀。高質(zhì)量的動態(tài)圖像能夠被編碼成每秒具有60 幀。 在本發(fā)明的實施例中，動態(tài)圖像的目標幀不必維持動態(tài)圖像的編碼fps，其中用于 動態(tài)圖像比較的特征向量是從所述動態(tài)圖像的目標幀中提取的。目標幀之間的時間間隔不 必是恒定的。 圖1中的第一幀(110)是動態(tài)圖像的第一幀。對于動態(tài)圖像的時間軸，時間軸的 原點能夠是圖1中動態(tài)圖像的開始點。第一幀能夠是在動態(tài)圖像的開始點(t = 0)的靜止 圖像。 第二幀(120)和第三幀(130)是兩個相鄰的幀。這兩個相鄰的幀之間的時間間隔 能夠作為定義幀的fps的倒數(shù)計算。用于從中提取用于兩個動態(tài)圖像比較的特征向量的幀 能夠被限定于另一個獨立于這兩個動態(tài)圖像的編碼fps的特征fps。 參照圖l，第二幀(120)被以4X4形式劃分，并且第一子幀(121)是第二幀的16 個子幀中的一個。在本發(fā)明的該實施例中，幀的特征向量源于子幀的顏色分布信息。下面 將參照圖2的流程圖詳細描述生成特征向量的過程。 圖2示出本發(fā)明的一個實施例中的幀特征向量生成方法的流程圖。在步驟S210 計算子幀的顏色分布向量時，向量代表子幀的顏色分布，所述子幀通過劃分動態(tài)圖像的幀 而形成。 顏色分布向量是代表每個子幀中顏色分布信息的向量。每個子幀中的信息能夠通 過子幀中象素的顏色向量表達。每個子幀的信息能夠由代表該子幀的顏色分布的向量所代 表。 在該實施例中，以nXn形式劃分的動態(tài)圖像的幀能夠具有n2個子幀。但是，幀不
必以nXn形式劃分。幀能夠以mXn形式劃分(n、m是兩個不同的任意自然數(shù))。 代表性顏色分布向量計算方法是為了獲得子幀中象素的顏色向量的平均向量。子
幀的顏色分布向量能夠通過以下等式表達。
等式1
<formula>formula see original document page 10</formula>
t是表示時間軸上幀的位置的時間變量，其中時間軸具有在動態(tài)圖像的開始點的 原點。i是所述幀的每個子幀的索引(i = 1，2...n2)。 Ri(t)，Gi(t)和Bi(t)分別是子幀 i中紅、綠、藍分量的平均值。 顏色分布向量表示在RGB顏色坐標系中。但是，其它顏色坐標系例如YUV和CYMK 能夠用以表示子幀中象素的顏色向量。子幀的顏色分布向量能夠表示在相同的顏色坐標系 中作為象素的顏色向量。明顯地，一種顏色坐標系中的向量能夠被變換為另一種顏色坐標 系中的向量。 在步驟S220對所獲得的顏色分布向量Di (t)執(zhí)行歸一化。為此，Di (t)能夠除以 顏色分布向量的平均值，所述顏色分布向量的平均值屬于包括t的特定時間段(例如，從 至t+O。該時間段的顏色分布向量的最小值能夠從Di(t)減去。
根據(jù)本發(fā)明的一個實施例，描述了利用子幀的顏色分布向量的最小值和/或平均 值的顏色分布向量的歸一化，其中所述子幀對應于動態(tài)圖像中相同的顯示區(qū)域。但是，顏色 分布向量的歸一化方法不限于在此描述的內(nèi)容。 在步驟S230生成顏色分布向量的一階微分，顏色分布向量的一階微分能夠被定
義為一個子幀的顏色分布向量和另一個子幀的顏色分布向量之間的差值。 但是，一階微分可以不是與顏色分布向量相同維數(shù)的向量。 一階微分可以是作為
一個顏色分布向量的分量與另一個顏色分布向量的對應分量之間的差值計算的標量值。同
理此論述可應用于二階微分。 顏色分布向量的一階微分Eij(t)能夠通過以下數(shù)學等式計算。其中，Eij(t)是
微分向量。等式2
Eij(t) = Di(t)-Dj(t) t是表示時間軸上幀的位置的時間變量，始于動態(tài)圖像的開始點。i和j是子幀的 索引(i，j = 1，2...n、n是任意自然數(shù))。在該實施例中，Di(t)和D j (t)是RGB顏色坐標 系的三維向量。顏色分布向量的一階微分Eij(t)可以是三維向量。 在步驟S240生成顏色分布向量的二階微分，所述顏色分布向量的二階微分能夠 被定義為一個一階微分和另一個一階微分之間的差值。 如之前對一階微分的講述，二階微分可以不是向量。二階微分可以由一個一階微 分和另一個一階微分之間的差值算得，并且所述微分不必是與顏色分布向量或一階微分相 同維數(shù)的向量。 顏色分布向量的二階微分Ai，(t)能夠通過以下數(shù)學等式計算。等式3
Aijkl (t) = (t) _Ekl (t) t是表示時間軸上幀的位置的時間變量，其中時間軸具有在動態(tài)圖像的開始點的 原點。i， j，k和l是子幀的索引(i， j，k，l = 1，2. ..n2)。顏色分布向量、顏色分布向量的 一階微分、顏色分布向量的二階微分之間的關系參照圖3理解。 在步驟S250生成幀的特征向量，幀的特征向量是基于上述計算(SllO， S120， S130， S140)的結果生成。 在該實施例中，在RGB顏色坐標系(3維)中子幀的顏色分布的特征值基于子幀中 象素的顏色向量計算。子幀的顏色分布向量、顏色分布向量的一階微分和顏色分布向量的 二階微分都是三維向量。這些向量的維數(shù)能夠從屬于坐標系的維數(shù)，子幀的顏色分布的特 征值表示在該坐標系。 算得的顏色分布向量、顏色分布向量的一階微分和顏色分布向量的二階微分代表 幀中的信息。因此，代表幀信息的特征向量能夠通過從這些向量中選擇多個分量而生成。
特征向量能夠通過從顏色分布向量、顏色分布向量的一階微分和顏色分布向量的 二階微分的分量所組成的組中選擇不止一個分量而組成。假使從這些向量中選擇h(h是任 意自然數(shù))個分量，那么幀的特征向量可以是h維向量。特征向量的維數(shù)可針對動態(tài)圖像 比較的精確度和速度而更改。 參照圖4能夠理解由向量組成特征向量。在圖4中，示出子幀的顏色分布向量、顏
11色分布向量的一階微分和顏色分布向量的二階微分的不止一個分量。并非必要的是，至少一個分量選自三個向量(子幀的顏色分布向量、顏色分布向量的一階微分和顏色分布向量的二階微分)中的每一個。所述三類中不止一類的向量能夠從特征向量的組成中排除。
上述選擇方法不是生成特征向量的唯一的解決方案，并且另外的計算過程能夠用于從子幀的顏色分布向量、顏色分布向量的一階微分和顏色分布向量的二階微分中生成特征向量。 所述特征向量能夠用作幀的指紋數(shù)據(jù)。對于比較幀的全部信息以確定動態(tài)圖像共同特征或相似性的問題，能夠通過利用上述簡化的特征向量來解決。 特征向量的更高維數(shù)可能需要更強的計算能力，并且能夠提供更精確的動態(tài)圖像比較。因此，確定合適的特征向量維數(shù)是需要的。 參照圖4，一階微分和二階微分是與顏色分布向量相同維數(shù)的向量。如上文所述，一階微分和二階微分可以不是向量。 一階微分和二階微分能夠基于形成特征向量所需的子幀的顏色分布向量的分量而計算。這種情況下，一階微分和二階微分可以是比顏色分布向量更低維數(shù)的向量或是標量值。 動態(tài)圖像數(shù)據(jù)可以分為音頻數(shù)據(jù)和視頻數(shù)據(jù)?？梢詫γ總€數(shù)據(jù)進行特征向量提
取。圖1至圖4的描述主要是關于基于視頻數(shù)據(jù)的幀特征向量提取。 圖5示出本發(fā)明的一個實施例的動態(tài)圖像共同部分檢測方法的流程圖。 在步驟S410生成動態(tài)圖像的特征向量，其中能夠?qū)γ總€比較目標動態(tài)圖像進行
幀的特征向量的提取。特征向量表示動態(tài)圖像中幀的信息。上文參照圖l至圖4對本發(fā)明
的一個實施例的特征向量生成方法進行了描述。 用于檢測共同部分(S420)的特征向量生成方法并不限于上述特征向量生成(提取)方法。從動態(tài)圖像的幀中提取的信息能夠作為在檢測共同部分(S420)中兩個動態(tài)圖像比較的基礎。 在檢測第一動態(tài)圖像和第二動態(tài)圖像的共同部分(S420)中，兩個動態(tài)圖像之間的共同部分能夠通過比較兩個動態(tài)圖像的特征向量來檢測。 共同部分的檢測(S420)能夠包括比較動態(tài)圖像區(qū)段的步驟S421，通過比較動態(tài)圖像的區(qū)段以計算兩個動態(tài)圖像中存在共同部分的可能性；以及檢測共同部分的詳細信息的步驟S422，以獲得共同部分的詳細信息(信息關于每個動態(tài)圖像的共同部分的開始點和結束點)。 在動態(tài)圖像區(qū)段的比較(S421)中，通過比較第一動態(tài)圖像的動態(tài)圖像區(qū)段與第二動態(tài)圖像的動態(tài)圖像區(qū)段，能夠測量兩個動態(tài)圖像中的共同特征。 根據(jù)本發(fā)明的一個實施例，兩個動態(tài)圖像區(qū)段之間的共同特征能夠基于動態(tài)圖像區(qū)段相應的特征向量的比較而計算。 第一和第二動態(tài)圖像區(qū)段的幀中相應兩個特征向量是具有相同的時間間隔的幀的特征向量，所述時間間隔從每個動態(tài)圖像區(qū)段的開始時間開始。 特征向量的比較能夠通過計算第一動態(tài)圖像區(qū)段的特征向量和第二動態(tài)圖像區(qū)段的(相應的)特征向量的距離來實現(xiàn)。 根據(jù)本發(fā)明的一個實施例，上文圖2至圖4所述的特征向量，可以是基于幀的顏色分布向量、顏色分布向量的一階微分和顏色分布向量的二階微分組成的h維向量。假使
12Fb(tl)是F(tl)的特征向量的第b個分量，其中F(tl)是從第一動態(tài)圖像區(qū)段的開始點起tl時間后的幀，并且Gb(t2)是G(t2)的特征向量的第b個分量，其中G(t2)是從第二動態(tài)圖像區(qū)段的開始點起t2時間后的幀，則兩個相應的特征向量之間的距離D(tl， t2)能夠由它們之間的向量長度Ll來定義。所述距離能夠通過下列等式表示。
等式4
D(t!， t2)=》Fb(tJ - Gb(t2) I
w b是特征向量的索引，并且h是特征向量的維數(shù)。 根據(jù)本發(fā)明的一個實施例，可以針對第一和第二動態(tài)圖像區(qū)段的每個特征向量對計算距離。在動態(tài)圖像區(qū)段的比較中，兩個動態(tài)圖像區(qū)段之間的共同特征評估值能夠基于特征向量之間的距離來計算。特征向量對的距離之和或平均值可以是共同特征評估值的基礎。 特征向量之間的距離不必通過向量長度Ll來表示。向量長度L2以及具有有限最大值的向量長度L1等能夠用于表示特征向量之間的距離。而且，假使向量長度L1的值不滿足特定閾值，那么所述距離可以設為0(例如，假使向量長度Ll達到閾值，那么所述距離可以設為l，并且否則所述距離可以設為0)。 滿足預設閾值的共同特征評估值能夠表示兩個目標區(qū)段(第一和第二動態(tài)圖像
區(qū)段)之間存在共同特征。所述閾值能夠基于利用簡單動態(tài)圖像的預測試而確定。 假使針對第一動態(tài)圖像區(qū)段和第二動態(tài)圖像區(qū)段所計算的共同特征評估值表示
沒有共同特征，那么動態(tài)圖像區(qū)段比較可以重復用于第一動態(tài)圖像和第二動態(tài)圖像中動態(tài)
圖像區(qū)段的其它開始點。 假使，共同特征評估值表示兩個動態(tài)圖像區(qū)段之間明顯不同，那么相鄰區(qū)段之間的共同特征也無指望。因此，針對距當前比較目標區(qū)段有相對較長的時間間隔的動態(tài)圖像區(qū)段執(zhí)行動態(tài)圖像區(qū)段比較是有效的。 因此，為了改變時間變量以指向下一個比較目標動態(tài)圖像區(qū)段以重復執(zhí)行比較，
能夠應用與表示共同特征所需要的共同特征評估值和閾值之差成正比的變量。 假使，共同特征評估值表示兩個動態(tài)圖像區(qū)段中有共同特征，就能夠執(zhí)行檢測共
同部分的開始_結束點的步驟S422。 參照圖6能夠理解本發(fā)明的一個實施例的動態(tài)圖像區(qū)段比較過程。第一動態(tài)圖像和第二動態(tài)圖像的動態(tài)圖像區(qū)段的長度分別是At。其中第二動態(tài)圖像區(qū)段的開始點設于第二動態(tài)圖像的開始，動態(tài)圖像區(qū)段比較能夠通過改變從第一動態(tài)圖像的開始起的第一動態(tài)圖像區(qū)段的開始點而重復執(zhí)行。 參照圖6，對于第一動態(tài)圖像區(qū)段的開始點tf，共同特征評估值表示兩個比較目標區(qū)段之間有共同特征。因為共同特征評估值是基于相對較少的幀的比較，所以能夠執(zhí)行共同部分的開始-結束點的檢測(S422)以檢測共同部分的準確的開始-結束點。
通過在共同部分開始_結束點的檢測之前利用更小的fps執(zhí)行動態(tài)圖像區(qū)段的比較，能夠節(jié)省比較很多動態(tài)圖像所需的計算能力。 在共同部分的開始點和結束點的檢測(S422)中，假使在動態(tài)圖像區(qū)段比較(S421)中所算得的共同特征評估值表示兩個動態(tài)圖像區(qū)段中的共同特征，那么能夠分別檢測第一動態(tài)圖像和第二動態(tài)圖像中的共同部分的開始點和結束點。 如上文所述，對于共同部分開始-結束點的檢測，能夠應用比動態(tài)圖像區(qū)段比較中所用的幀的fps更大的fps (每秒幀數(shù))。這樣就能夠提高共同部分開始_結束點檢測的準確性，并節(jié)省用于動態(tài)圖像區(qū)段的比較所需的計算能力。 參照圖6，由于當?shù)谝粍討B(tài)圖像的動態(tài)圖像區(qū)段的開始時間達到tf時才能識別共
同特征，所以共同部分檢測可以限于tf之后執(zhí)行。S卩，在共同部分開始-結束點的檢測中，
第一動態(tài)圖像中只有在tf之后的幀能夠用來與第二動態(tài)圖像的幀進行比較。 如圖6所示，第二動態(tài)圖像的開始部分能夠?qū)诘谝粍討B(tài)圖像的中間部分，并
且反之亦然。即使第一動態(tài)圖像和第二動態(tài)圖像互換，也能夠理解上述參照圖6的描述。 圖7示出本發(fā)明的一個實施例的兩個動態(tài)圖像之間共同部分檢測方法的流程圖，
并且圖8示出本發(fā)明的一個實施例的兩個動態(tài)圖像之間的共同特征關系。 通過在第二動態(tài)圖像的開始點起重復執(zhí)行比較，能夠檢測第二動態(tài)圖像中與第一
動態(tài)圖像的開始區(qū)段(包括第一動態(tài)圖像的開始點的區(qū)段)相同(相同/相似)的區(qū)段
(S450)。圖8示出4類可檢測的共同部分。 在圖8中，在(a)類中，所述兩個動態(tài)圖像能夠完全重疊。在(b)類中，上方的動態(tài)圖像(第一動態(tài)圖像)能夠被包括在下方的動態(tài)圖像(第二動態(tài)圖像)中。在(c)和(d)類中，所述兩個動態(tài)圖像示出部分重疊的共同部分。這4類共同部分能夠通過將上方動態(tài)圖像(第一動態(tài)圖像)的開始部分與下方動態(tài)圖像(第二動態(tài)圖像)進行比較來檢測。
假使共同部分被檢測，那么在步驟S460共同部分的開始_結束點能夠被檢測。例如，第一動態(tài)圖像和第二動態(tài)圖像各自的共同部分的開始點可以是示出每個動態(tài)圖像中的共同特征的動態(tài)圖像區(qū)段的開始點。在圖8中，第一動態(tài)圖像的共同部分開始點可以是第一動態(tài)圖像的開始點，并且由于動態(tài)圖像區(qū)段比較是從第二動態(tài)圖像的開始點重復執(zhí)行至結束點的，所以第二動態(tài)圖像的共同部分開始點可以是示出與第一動態(tài)圖像的動態(tài)圖像區(qū)段的共同特征的第一區(qū)段的開始點。當通過僅比較開始點后的每個動態(tài)圖像的幀的幀特征向量確定共同部分開始點時，就能夠確定共同部分結束點。 在步驟S470此關于共同部分的檢測信息能夠存儲在數(shù)據(jù)庫中。共同部分開始-結束點信息能夠包括時間信息和/或幀信息。同樣，假使在第二動態(tài)圖像中找不到對應于第一動態(tài)圖像的開始(第一)區(qū)段的區(qū)段，那么在步驟S452能夠執(zhí)行針對第二動態(tài)圖像的第一 (開始)區(qū)段的兩個動態(tài)圖像的比較。比較過程可類似于參照圖6所給出的描述。假使在步驟S450、 S452動態(tài)圖像區(qū)段比較中不存在共同特征，就認為兩個動態(tài)圖像之間沒有共同部分。圖7和圖8中動態(tài)圖像區(qū)段的共同部分檢測能夠通過利用參照圖5描述的共同特征評估值來執(zhí)行。 對于動態(tài)圖像之間的共同部分的檢測，還可以附加考慮音頻數(shù)據(jù)生成的特征向量。為了提高利用視頻數(shù)據(jù)生成的幀特征向量所進行的動態(tài)圖像比較的準確性，以及為了驗證比較結果，能夠利用音頻特征向量，假使在動態(tài)圖像中存在空白部分(例如，在一段時間或丟失/損壞的視頻數(shù)據(jù)中全部是黑/藍幀)，那么可以利用從音頻數(shù)據(jù)中提取的音頻特征向量(音頻指紋)。 多種方法能夠用于從音頻數(shù)據(jù)中提取音頻特征向量。例如，音頻特征向量能夠基于動態(tài)圖像的幀的MFCC(Mel倒譜系數(shù))、PLPC(感知線性預測系數(shù))和LPC(線性預測系數(shù))中的至少一個被提取?？梢岳斫猓纛l特征向量生成方法不必限于上述內(nèi)容。也可應用本領域技術人員已知的方法。 圖9示出本發(fā)明的一個實施例的動態(tài)圖像聚類方法的流程圖。參照圖9，生成第一動態(tài)圖像和第二動態(tài)圖像的特征向量的步驟S610、以及檢測兩個動態(tài)圖像的共同部分的步驟S620，先于動態(tài)圖像的族標識符處理而執(zhí)行。這兩個過程已在上文中參照圖1至圖8進行描述。 但是，用于動態(tài)圖像聚類的特征向量生成方法和共同部分檢測方法并不限于上述內(nèi)容。聚類可基于兩個動態(tài)圖像共享共同部分的信息而實現(xiàn)，所述信息是基于另一個標準推得。 在步驟S630處理第一動態(tài)圖像和/或第二動態(tài)圖像的族標識符中，相同的族標識符能夠授于兩個共享共同部分的動態(tài)圖像。另一個動態(tài)圖像(既不是第一動態(tài)圖像，也不是第二動態(tài)圖像)的族標識符能夠被修改為相同的族標識符。 例如，假使兩個共享共同部分的動態(tài)圖像的兩個族標識符是不同的，就必須修改至少其中一個族標識符。動態(tài)圖像的原來的族標識符能被修改成新的族標識符(與其它動態(tài)圖像相同的族標識符)。 假使兩個比較目標動態(tài)圖像并不共享共同部分，新族的新的族標識符能夠被給予該兩個動態(tài)圖像中的動態(tài)圖像。 通過檢查多個動態(tài)圖像的所有可能的對來處理動態(tài)圖像的族標識符是一項辛苦的工作?？梢岳枚喾N節(jié)省計算能力的方法。 例如，對于一樣的(相同的)動態(tài)圖像，可以應用相同的族標識符。用于一樣的動態(tài)圖像之一的比較結果能夠用于另一個一樣的動態(tài)圖像。 同樣，動態(tài)圖像的比較效率能夠通過先于其它動態(tài)圖像而比較更可能組成單獨一族動態(tài)圖像而提高。例如，對于選擇有待比較的動態(tài)圖像，優(yōu)先選擇共享共同部分的動態(tài)圖像對是有效的。 根據(jù)本發(fā)明的一個實施例，用于聚類的動態(tài)圖像能夠從網(wǎng)絡上采集。所選動態(tài)圖
像的文本標記能夠包括動態(tài)圖像的標題、動態(tài)圖像的背景和主題說明文本、由使用者輸入
以搜索動態(tài)圖像的關鍵字以及包括動態(tài)圖像的博文(blog post)的標簽。 圖10示出本發(fā)明的一個實施例的動態(tài)圖像聚類的條件和結果。對于多個動態(tài)圖
像數(shù)據(jù)，動態(tài)圖像聚類能夠包括具有共同特征的數(shù)據(jù)的檢測，所述檢測是通過比較動態(tài)圖
像數(shù)據(jù)和對它們分組而實現(xiàn)的。 參照圖IO，族1僅包括動態(tài)圖像C。這是指沒有其它動態(tài)圖像與動態(tài)圖像C具有
共同特征。族4包括動態(tài)圖像數(shù)據(jù)B-B' -B" -B。這是指在族4中有4個不同的動態(tài)圖像
數(shù)據(jù)具有共同特征。動態(tài)圖像B包括2個相同的(一樣的)動態(tài)圖像。 族L-1包括動態(tài)圖像B和動態(tài)圖像D。該族能夠并入族4。假使族4中動態(tài)圖像
B'和族L-1中動態(tài)圖像B的共同特征被檢測到，那么這兩個族可以合并。但是，假使圖像
D和動態(tài)圖像B之間有共同特征，并且圖像D和動態(tài)圖像B'以及圖像D與動態(tài)圖像B〃沒
有共同特征，那么兩族的合并是選擇性的。 圖11示出本發(fā)明的一個實施例的動態(tài)圖像族的動態(tài)圖像在共同時間軸上的排列結果。其中示出4個動態(tài)圖像V1、V2、V3和V4。這4個動態(tài)圖像參考共同部分而排列。
族中的每個動態(tài)圖像能夠具有關于共同部分(重疊部分)的開始點和結束點的時間信息。動態(tài)圖像V3長度為40秒。動態(tài)圖像V1長度為30秒。 V3中共同部分的開始點結束點信息在相關時間軸上能夠表示為30:40，所述時間軸開始于V3的開始點。對于Vl，共同部分的信息能夠表示為O:lO。從共同部分的開始點時間信息可知，VI比V3遲30秒開始。(兩個動態(tài)圖像的共同部分開始于VI的0秒點和V3的30秒點。)因此，兩個動態(tài)圖像的相關排列能夠通過比較共同部分的開始點信息而確定，所述開始點信息是參考兩個動態(tài)圖像的各自的開始點而表示的。 在這種情況下，通過增加開始點時間的時間差值(30秒)至上述相關時間軸上表示的開始點結束點信息(共同時間軸可以是具有位于最前的動態(tài)圖像的開始點的原點的時間軸)，VI的開始點結束點信息能夠表示在兩個動態(tài)圖像的共同時間軸上。因此，VI的開始點結束點時間信息能夠被變換為30:60秒(在時間軸1)。同樣，V1中共同部分的開始點結束點信息能夠被變換為圖11所示時間軸1上的30:40。 通過對族中動態(tài)圖像重復執(zhí)行這個過程，能夠確定共享共同部分的動態(tài)圖像的相對排列，并且該族中動態(tài)圖像數(shù)據(jù)的時間信息能夠表示在共同時間軸上。
圖12示出本發(fā)明的一個實施例的動態(tài)圖像族的數(shù)據(jù)結構存儲信息。參照圖12，用動態(tài)圖像的標識符和開始點/結束點時間信息描述的每個族都能生成一個動態(tài)圖像列表。
對于族標識符為l，動態(tài)圖像列表由3:0/1202、5:220/600、7:500/700、9:600/800和11:700/900組成。列表中的3、5、7、9和11是動態(tài)圖像(動態(tài)圖像數(shù)據(jù))的標識符。0/1202、220/600、500/700、600/800和700/900是族中每個動態(tài)圖像數(shù)據(jù)的開始點/結束點。 參照圖12，族信息能夠包括等級(rank)信息和族日期信息。等級信息是動態(tài)圖像
列表中動態(tài)圖像數(shù)據(jù)的總數(shù)。族日期信息是動態(tài)圖像列表中動態(tài)圖像的文件生成(修改)
時間信息中最早的時間信息。確定族中動態(tài)圖像的順序時可參考等級信息和族日期信息。 代表性動態(tài)圖像能夠被選擇用于動態(tài)圖像族。例如，代表性動態(tài)圖像可以是示出
動態(tài)圖像族的大體內(nèi)容的動態(tài)圖像。因此，如果一個較長的動態(tài)圖像涵蓋了族中所有動態(tài)
圖像的全部內(nèi)容，那么該動態(tài)圖像能夠被選作該族的代表性動態(tài)圖像。 假使沒有一個動態(tài)圖像能夠涵蓋全部動態(tài)圖像，那么動態(tài)圖像小組(set)中的用
最少的元動態(tài)圖像涵蓋該族內(nèi)容的的動態(tài)圖像能夠作為該族的代表性動態(tài)圖像。 圖13示出本發(fā)明的一個實施例的動態(tài)圖像族中代表性動態(tài)圖像的確定過程。參
照圖13，在步驟S1201，最長的動態(tài)圖像被移動至代表性動態(tài)圖像列表中。假使存在多個最
長的動態(tài)圖像，那么通過參考顯示質(zhì)量信息選定具有最高質(zhì)量的(或任意選定)動態(tài)圖像。 隨后，在剩余的動態(tài)圖像中，接著選定的動態(tài)圖像，其與選定的動態(tài)圖像數(shù)據(jù)不重
疊部分的播放時間最長，并將該動態(tài)圖像移動至代表性動態(tài)圖像列表中。這些過程能夠在
步驟S1202、 S1203重復地執(zhí)行。 通過重復這些過程，能夠得到代表性動態(tài)圖像列表。全部動態(tài)圖像數(shù)據(jù)能夠用代表性動態(tài)圖像列表中的動態(tài)圖像數(shù)據(jù)組成。 圖14示出本發(fā)明的一個實施例的動態(tài)圖像處理設備的構造。參照圖14，動態(tài)圖像處理設備(700)能夠包括特征向量生成模塊(710)、共同部分檢測模塊(720)和動態(tài)圖像聚類模塊(730)。 特征向量生成模塊(710)能夠加載目標動態(tài)圖像，分析該動態(tài)圖像的劃分的幀，并且生成該幀的特征向量。動態(tài)圖像處理設備(700)從作為動態(tài)圖像的幀顯示的靜止圖像的顏色分布信息中，提取出代表幀的特征向量。在該過程中，所述幀能夠被劃分為多個子幀。 顏色分布向量能夠從子幀的象素的顏色向量中獲得。通過利用顏色分布向量的一階微分和二階微分，能夠計算特征向量的分量。關于特征向量生成的詳細描述已在上文參照圖2至圖4給出。 共同部分檢測模塊(720)通過比較動態(tài)圖像而識別目標動態(tài)圖像共享的共同部分。 動態(tài)圖像之間共同部分的檢測能夠通過比較動態(tài)圖像特征向量而執(zhí)行。在這個過程中，共同部分存在的可能性能夠通過動態(tài)圖像區(qū)段的比較而檢領"通過所述區(qū)段比較，所述可能性能夠以共同特征評估值表示。計算共同特征評估值的詳細描述已在上文參照圖5至圖8給出。 同樣，假使共同特征評估值表示兩個動態(tài)圖像之間的共同特征，那么共同部分檢測模塊(720)能夠檢測由兩個動態(tài)圖像分別部分地占據(jù)的共同部分。為此，能夠應用比動態(tài)圖像區(qū)段比較更大的fps (每秒幀數(shù))。共同部分的開始點和結束點能夠被定義為動態(tài)圖像中共同部分的開始/結束時間(或幀)。檢測共同部分的開始-結束點的詳細描述已在上文參照圖5給出，并且省略多余的描述。 動態(tài)圖像聚類模塊(730)能夠?qū)⒐蚕砉餐糠值膭討B(tài)圖像集合為一族。動態(tài)圖像的聚類能夠通過將共享共同部分的動態(tài)圖像賦以相同的標識符而實現(xiàn)。在這個過程中，取代動態(tài)圖像原來的族標識符的新的族標識符被賦于另一個具有原來的族標識符的動態(tài)圖像。 動態(tài)圖像聚類中處理族標識符的詳細描述已在上文參照圖9給出。同樣，值得注
意的是對于共享文本標記的動態(tài)圖像的共同部分檢測和聚類能夠預先地實現(xiàn)。 動態(tài)圖像聚類模塊(730)能夠為已創(chuàng)建的族選擇代表性動態(tài)圖像。如上文參照圖
13的描述，選擇代表性動態(tài)圖像的一般方法是選擇族中最長的動態(tài)圖像。同樣，值得注意的
是，涵蓋動態(tài)圖像族中動態(tài)圖像的全部視頻信息的多個動態(tài)圖像能夠被選定作為代表性動
態(tài)圖像。 動態(tài)圖像聚類模塊(730)能夠安排(轉(zhuǎn)換)已創(chuàng)建族的多個動態(tài)圖像的時間信息。根據(jù)本發(fā)明的一個實施例，共同部分檢測模塊(720)能夠檢測動態(tài)圖像的共同部分在相對時間軸上的開始-結束點，所述時間軸開始于動態(tài)圖像的開始點。參照圖11和圖12所述，通過動態(tài)圖像聚類模塊(730)，族中每個動態(tài)圖像的時間信息(所有動態(tài)圖像的開始-結束點和重疊時間信息)能被表示在共同時間軸上。共同時間軸的原點能夠設于族中最先(最早/最初)的動態(tài)圖像的開始點。 本發(fā)明的一個實施例的動態(tài)圖像處理方法能夠作為數(shù)字代碼被記錄在計算機可讀介質(zhì)上。所述計算機可讀介質(zhì)能夠包括計算機系統(tǒng)可讀的所有類型的媒體。例如，可用ROM、 RAM、 CD-ROM、磁帶、軟盤、光學數(shù)據(jù)存儲介質(zhì)。 上述內(nèi)容已經(jīng)指出本發(fā)明的用于多個實施例的新穎特征，技術人員能夠理解所述設備或方法的形式和細節(jié)的多處省略、替代和變換并不背離本發(fā)明的范圍。因此，本發(fā)明的 范圍是由所附權利要求而不是由前述說明書所限定。在所述權利要求的等價含意和范圍內(nèi) 的所有變化都包含在權利要求的范圍內(nèi)。
工業(yè)適用性
根據(jù)本發(fā)明的一個實施例，提供了用以提高動態(tài)圖像比較方法和提高比較結果的 效率的動態(tài)圖像處理方法和設備。 根據(jù)本發(fā)明的一個實施例，提供了用以生成特征向量的方法和設備，所述特征向 量能夠用作用于確定動態(tài)圖像之間的共同特征和相似性的比較標準。 根據(jù)本發(fā)明的一個實施例，提供了用以利用動態(tài)圖像的特征向量檢測兩個動態(tài)圖 像之間共同部分的方法和設備，以及用以獲得共同部分的時間信息的方法和設備。
根據(jù)本發(fā)明的一個實施例，提供了用以將具有共同特征(即共享共同部分)的動 態(tài)圖像集合為一族的方法和設備。
18
權利要求
一種處理動態(tài)圖像的方法，包括計算通過劃分動態(tài)圖像的幀而生成的多個子幀中每個子幀的顏色分布向量；基于所述顏色分布向量，生成所述顏色分布向量的一階微分；基于所述顏色分布向量的一階微分，生成所述顏色分布向量的二階微分；以及基于所述顏色分布向量、所述顏色分布向量的一階微分以及所述顏色分布向量的二階微分，生成所述幀的特征向量。
2. 根據(jù)權利要求l所述的方法，其特征在于，幀特征向量的生成包括從所述顏色分布 向量、所述顏色分布向量的一階微分以及所述顏色分布向量的二階微分的分量所組成的組 中，選擇多個分量作為所述幀特征向量的分量。
3. 根據(jù)權利要求1所述的方法，其特征在于，所述顏色分布向量的計算包括通過將所 述子幀的象素的顏色向量取平均值，計算所述子幀的平均顏色向量。
4. 根據(jù)權利要求1所述的方法，其特征在于，所述顏色分布向量是利用從RGB、 YUV和 CYMK坐標系所組成的組中選擇的至少一個坐標系來表示的。
5. 根據(jù)權利要求3所述的方法，其特征在于，所述顏色分布向量的計算包括所述子幀 的平均顏色向量的歸一化，并且所述平均顏色向量的歸一化利用了從所述多個子幀的平均顏色向量的最小向量和平 均向量所組成的組中選擇的至少一個向量，所述多個子幀屬于包括所述子幀、并且對應于 與所述子幀在動態(tài)圖像中的顯示區(qū)域相同的顯示區(qū)域的時間段。
6. —種處理動態(tài)圖像的方法，包括生成第一動態(tài)圖像和第二動態(tài)圖像中每一個動態(tài)圖像的幀特征向量；以及 通過將所述第一動態(tài)圖像的所述幀特征向量與所述第二動態(tài)圖像的所述幀特征向量 進行比較，檢測所述第一動態(tài)圖像和所述第二動態(tài)圖像的共同部分，其中所述共同部分的檢測包括通過生成第一動態(tài)圖像區(qū)段和第二動態(tài)圖像區(qū)段的共 同特征評估值來比較動態(tài)圖像區(qū)段，其中所述共同特征評估值是通過將所述第一動態(tài)圖像 的第一動態(tài)圖像區(qū)段的P幀的特征向量與所述第二動態(tài)圖像的第二動態(tài)圖像區(qū)段的P幀的 特征向量進行比較而生成的，其中所述第二動態(tài)圖像區(qū)段的P幀的特征向量的排列與所述 第一動態(tài)圖像區(qū)段的P幀的排列相對應，P為大于或等于1的自然數(shù)。
7. 根據(jù)權利要求6所述的方法，其特征在于，所述共同特征評估值是基于所述第一動 態(tài)圖像區(qū)段的所述特征向量和所述第二動態(tài)圖像區(qū)段的對應的特征向量之間的距離而計 算的。
8. 根據(jù)權利要求6所述的方法，其特征在于，所述第一動態(tài)圖像區(qū)段的特征向量和所 述第二動態(tài)圖像區(qū)段的特征向量之間的距離是基于向量長度L1、向量長度L2、具有有限最 大值的向量長度L1和具有閾函數(shù)的向量長度L1中的至少一個而定義的，并且所述共同特征評估值是基于所述第一動態(tài)圖像區(qū)段和所述第二動態(tài)圖像區(qū)段之間的P 個向量對的距離之和而生成的。
9. 根據(jù)權利要求6所述的方法，其特征在于，所述第一動態(tài)圖像區(qū)段具有在所述第一 動態(tài)圖像開始后的開始時間tl，并且所述第二動態(tài)圖像區(qū)段具有在所述第二動態(tài)圖像開始 后的開始時間t2，并且所述動態(tài)圖像區(qū)段的比較對于tl和t2是重復的，tl是所述第一動態(tài)圖像區(qū)段的開始時間，tl等于或大于0并且小于所述第一動態(tài)圖像的長度，t2是所述第二動態(tài)圖像區(qū)段的 開始時間，t2等于或大于0并且小于所述第二動態(tài)圖像的長度，并且所述共同部分的檢測進一步包括假使所述共同特征評估值表示所述第一動態(tài)圖像區(qū) 段和所述第二動態(tài)圖像區(qū)段存在共同特征，那么檢測共同部分開始-結束點，其中通過應 用比所述第一動態(tài)圖像區(qū)段和所述第二動態(tài)圖像區(qū)段中所述P幀的每秒幀數(shù)更大的每秒 幀數(shù)，來將所述第一動態(tài)圖像的所述特征向量與所述第二動態(tài)圖像的所述特征向量進行比 較，通過分別地檢測所述第一動態(tài)圖像和所述第二動態(tài)圖像的共同部分的開始時間和結束 時間來檢測共同部分開始_結束點。
10. 根據(jù)權利要求9所述的方法，其特征在于，所述動態(tài)圖像區(qū)段的比較是通過設置tl 作為所述第一動態(tài)圖像的開始點(tl = 0)，并從所述第二動態(tài)圖像的開始點(t2 = 0)起增 加t2來執(zhí)行的，并且所述共同部分開始_結束點的檢測將所述第一動態(tài)圖像的所述特征向量僅與位于tg 之后的幀的特征向量進行比較，所述tg是所述第二動態(tài)圖像開始之后的點、是所述第二動 態(tài)圖像區(qū)段的開始時間、并且表示出所述共同特征評估值表示所述第一動態(tài)圖像區(qū)段和 所述第二動態(tài)圖像區(qū)段存在共同特征。
11. 根據(jù)權利要求9所述的方法，其特征在于，當重復所述動態(tài)圖像區(qū)段的比較時，如 果所述共同特征評估值不滿足參考值，那么tl和/或t2的變化正比于所述參考值和所述 共同特征評估值之間的差值，所述參考值表示所述第一動態(tài)圖像區(qū)段和所述第二動態(tài)圖像 區(qū)段存在共同特征。
12. 根據(jù)權利要求6所述的方法，其特征在于，所述動態(tài)圖像共同部分的檢測是通過進 一步參考音頻特征向量執(zhí)行的，所述音頻特征向量是基于從所述第一動態(tài)圖像和所述第二 動態(tài)圖像中提取的音頻數(shù)據(jù)而生成的。
13. —種處理動態(tài)圖像的方法，包括 分別生成第一動態(tài)圖像和第二動態(tài)圖像的特征向量；通過將所述第一動態(tài)圖像的特征向量和所述第二動態(tài)圖像的特征向量進行比較來檢 測兩個動態(tài)圖像的共同部分；以及處理動態(tài)圖像族標識符，其中，假使在所述共同部分的檢測過程中在所述第一動態(tài)圖 像和所述第二動態(tài)圖像中檢測到共同部分，那么通過匹配所述第一動態(tài)圖像和所述第二動 態(tài)圖像的族標識符來處理動態(tài)圖像族標識符，使得所述第一動態(tài)圖像和所述第二動態(tài)圖像 具有相同的族標識符，以及替代族標識符，其中，假使在所述族標識符匹配過程中所述兩個動態(tài)圖像中任一 動態(tài)圖像的原來的族標識符被新的族標識符所替代，那么另一個具有所述原來的族標識符 的動態(tài)圖像的族標識符也將被所述新的族標識符替代。
14. 根據(jù)權利要求13所述的方法，進一步包括 生成第三動態(tài)圖像的特征向量；分別生成所述第一至第三動態(tài)圖像的文本標記；以及通過將所述第一動態(tài)圖像的所述特征向量與所述第三動態(tài)圖像的所述特征向量進行 比較，檢測第一動態(tài)圖像與第三動態(tài)圖像中的共同部分，其中，假使所述第一動態(tài)圖像與所述第二動態(tài)圖像之間有共享的文本標記，而所述第一動態(tài)圖像與所述第三動態(tài)圖像之間沒有共享的文本標記，那么檢測所述第一動態(tài)圖像與 所述第二動態(tài)圖像的共同部分先于檢測所述第一動態(tài)圖像與所述第三動態(tài)圖像的共同部 分。
15. 根據(jù)權利要求14所述的方法，其特征在于，所述文本標記是分別基于所述第一至 第三動態(tài)圖像的標題信息、文件名信息、標簽信息和URL信息中的至少一個獲得的。
16. 根據(jù)權利要求13所述的方法，進一步包括，對于單獨一族中的多個動態(tài)圖像，將所 述多個動態(tài)圖像的時間信息變換到時間軸上，其中所述時間軸共用于所述多個動態(tài)圖像。
17. 根據(jù)權利要求13所述的方法，進一步包括，在單獨一族的多個動態(tài)圖像中確定代 表性動態(tài)圖像，其中，所述代表性動態(tài)圖像是所述單獨一族的多個動態(tài)圖像中最長的動態(tài)圖像。
18. —種記錄有用于執(zhí)行權利要求1-17中任一項所述的方法的程序的記錄介質(zhì)，所述 記錄介質(zhì)為計算機可讀介質(zhì)。
19. 一種處理動態(tài)圖像的設備，包括特征向量生成模塊，用于生成第一動態(tài)圖像與第二動態(tài)圖像中每一個動態(tài)圖像的特征 向量；以及共同部分檢測模塊，用于通過將所述第一動態(tài)圖像的特征向量與所述第二動態(tài)圖像的 特征向量進行比較來檢測所述第一動態(tài)圖像與所述第二動態(tài)圖像中的共同部分，其中所述特征向量生成模塊計算通過劃分所述動態(tài)圖像的幀而生成的多個子幀中每 個子幀的顏色分布向量，并且基于所述顏色分布向量、所述顏色分布向量的一階微分和所 述顏色分布向量的二階微分，生成特征向量。
20. 根據(jù)權利要求19所述的設備，其特征在于，所述特征向量生成模塊從所述顏色分 布向量的分量、所述顏色分布向量的一階微分的分量和所述顏色分布向量的二階微分的分 量所組成的組中選擇多個分量作為所述幀特征向量的分量。
21. —種處理動態(tài)圖像的設備，包括特征向量生成模塊，用于分別生成所述第一動態(tài)圖像和所述第二動態(tài)圖像的特征向 量；以及共同部分檢測模塊，用于通過將所述第一動態(tài)圖像的特征向量與所述第二動態(tài)圖像的 特征向量進行比較，檢測所述第一動態(tài)圖像和所述第二動態(tài)圖像之間的共同部分，其中所述共同部分檢測模塊包括動態(tài)圖像區(qū)段比較模塊，所述動態(tài)圖像區(qū)段比較模塊 用于通過將所述第一動態(tài)圖像的所述第一動態(tài)圖像區(qū)段的P幀的特征向量與所述第二動 態(tài)圖像的所述第二動態(tài)圖像區(qū)段的P幀的特征向量進行比較來生成第一動態(tài)圖像區(qū)段和 第二動態(tài)圖像區(qū)段的共同特征評估值，其中，所述第二動態(tài)圖像區(qū)段的P幀的特征向量的 排列對應于所述第一動態(tài)圖像區(qū)段的P幀的排列，P是大于或等于1的自然數(shù)，所述第一動 態(tài)圖像區(qū)段具有在所述第一動態(tài)圖像開始后的開始時間tl和長度A t，所述第二動態(tài)圖像 區(qū)段具有在所述第二動態(tài)圖像開始后的開始時間t2和長度A t。
22. 根據(jù)權利要求21所述的設備，進一步包括共同部分開始_結束點檢測模塊，假使所述共同特征評估值表示在所述第一動態(tài)圖像 區(qū)段和所述第二動態(tài)圖像區(qū)段中存在共同特征，那么所述共同部分開始_結束點檢測模塊 通過應用比所述第一動態(tài)圖像區(qū)段和所述第二動態(tài)圖像區(qū)段的所述P幀的每秒幀數(shù)更大的每秒幀數(shù)、通過將所述第一動態(tài)圖像的所述特征向量與所述第二動態(tài)圖像的所述特征向 量進行比較，分別檢測所述第一動態(tài)圖像和所述第二動態(tài)圖像中的共同部分的開始時間和 結束時間。
23. —種用于處理動態(tài)圖像的設備，包括特征向量生成模塊，用于生成第一動態(tài)圖像和第二動態(tài)圖像的每一個動態(tài)圖像的特征 向量；以及共同部分檢測模塊，用于通過將所述第一動態(tài)圖像的特征向量與所述第二動態(tài)圖像的 特征向量進行比較來檢測所述第一動態(tài)圖像和所述第二動態(tài)圖像中的共同部分；以及動態(tài)圖像聚類模塊，假使，在共同部分的檢測中，在所述第一動態(tài)圖像和所述第二動態(tài) 圖像中檢測到共同部分，那么所述動態(tài)圖像聚類模塊匹配所述第一動態(tài)圖像和所述第二動 態(tài)圖像的族標識符，使得所述第一動態(tài)圖像和所述第二動態(tài)圖像具有相同的標識符；并且 假使，在族標識符的匹配中，所述兩個動態(tài)圖像的任一動態(tài)圖像的原來的族標識符被新的 族標識符替代，那么另一個具有所述原來的族標識符的動態(tài)圖像的族標識符將被所述新的 族標識符替代。
24. 根據(jù)權利要求23所述的設備，其特征在于，所述特征向量生成模塊生成第三動態(tài)圖像的特征向量，并且進一步包括，文本標記生成模塊，其分別生成所述第一至第三動態(tài)圖像的文本標記，其中，所述第一動態(tài)圖像與所述第二動態(tài)圖像之間有共享的文本標記，而所述第一動 態(tài)圖像與所述第三動態(tài)圖像之間不存在共享的文本標記，共同部分檢測模塊在執(zhí)行所述第 一動態(tài)圖像和所述第三動態(tài)圖像的共同部分的檢測之前，先執(zhí)行所述第一動態(tài)圖像和所述 第二動態(tài)圖像的共同部分的檢測。
全文摘要
本發(fā)明公開了一種處理動態(tài)圖像的方法及設備。提供了一種處理動態(tài)圖像的方法，包括將動態(tài)圖像的幀劃分生成多個子幀，計算每個子幀的顏色分布向量；基于顏色分布向量，生成所述顏色分布向量的一階微分；基于顏色分布向量的一階微分，生成所述顏色分布向量的二階微分；并且基于顏色分布向量、顏色分布向量的一階微分和顏色分布向量的二階微分，生成幀的特征向量。動態(tài)圖像處理方法能夠提供一種通過從動態(tài)圖像的幀中提取特征來確定動態(tài)圖像之間的共同特征的有效的方式。
文檔編號H04N5/00GK101772950SQ200880101785
公開日2010年7月7日 申請日期2008年6月4日 優(yōu)先權日2007年6月4日
發(fā)明者樸大鋒, 李載炯, 趙仙玉, 金潔延 申請人:恩斯沃爾斯有限責任公司