專利名稱：一種電視直播流中的廣告段檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻檢索與視頻檢測技術(shù)領(lǐng)域，尤其涉及一種電視直播流中的廣告段檢測方法。
背景技術(shù)：
目前，隨著經(jīng)濟(jì)的高速發(fā)展，各級電視臺都會在自己的節(jié)目中插播ー些廣告來增加電視臺的收入，同時ー些企業(yè)也愿意出資播放本企業(yè)產(chǎn)品的廣告，一方面可以為企業(yè)做宣傳，另一方面又可以提升企業(yè)產(chǎn)品銷量。而廣告公司和企業(yè)為了確保其視頻廣告取得應(yīng)有的效益，必須派人來監(jiān)瞀電視臺廣告的播放情況，同時文化管理部門會依據(jù)政府的行政命令要求電視臺播放ー些公益廣告、政府通告、通知等，為了確保這些強(qiáng)制性廣告在規(guī)定的時間內(nèi)播出，文化監(jiān)管部門也必須派專人進(jìn)行檢測。
在電視節(jié)目制作過程中，出于商業(yè)目的，通常會加入ー些廣告片段，但在網(wǎng)上視頻點(diǎn)播、媒體資產(chǎn)管理等領(lǐng)域中，為了有效的檢索及瀏覽視頻，插播的廣告片段需要被剔除或者替換成其他視頻。因此，自動、精確的檢測出電視節(jié)目視頻中的廣告片段，成為視頻點(diǎn)播、媒體資產(chǎn)管理等領(lǐng)域中急需解決的問題。目前，視頻廣告的檢測都是通過人工進(jìn)行的，浪費(fèi)了大量的資源。為了有效地檢索相關(guān)視頻信息，需要研發(fā)ー些先進(jìn)技術(shù)對海量的視頻數(shù)據(jù)進(jìn)行分析、瀏覽、檢索和語義內(nèi)容分類。視頻廣告作為ー種獨(dú)立的視頻類型，其檢測與分析作為視頻分類的ー個重要方面也日益受到重視，視頻廣告檢測方法的研究工作也逐漸成為國內(nèi)外視頻應(yīng)用領(lǐng)域的研究熱點(diǎn)之一。對于視頻廣告的檢測，研發(fā)人員基于視頻廣告和普通節(jié)目視頻的特征上的區(qū)別，提出了多種方法?，F(xiàn)在的較為常用的視頻廣告檢測方法大體上分為以下兩類
(I)基于標(biāo)識的方法(Logo-based methods)
此方法是最早的視頻廣告檢測方法。該方法主要利用電視臺的臺標(biāo)進(jìn)行檢測。電視臺在播放普通電視節(jié)目時會將自己的臺標(biāo)顯示出來，而播放廣告時一般就會隱去臺標(biāo)，這使得我們可以通過檢測臺標(biāo)的存在與否來區(qū)分視頻廣告和普通電視節(jié)目視頻。臺標(biāo)一般分為三種靜態(tài)臺標(biāo)、半透明臺標(biāo)和動態(tài)臺標(biāo)。針對不同形態(tài)的臺標(biāo)，都有相應(yīng)的檢測方法，從而實(shí)現(xiàn)對視頻廣告的檢測。其中對于靜態(tài)臺標(biāo)的研究是比較深入的，而且應(yīng)用得很廣泛。但是對于半透明臺標(biāo)和動態(tài)臺標(biāo)，檢測起來比較困難，所以還沒有比較成熟的檢測方法。另外，現(xiàn)在很多電臺在播放視頻廣告的時候也會將臺標(biāo)顯示出來，這時基于標(biāo)識的檢測方法就會失效。(2)基于規(guī)則的方法(Rule-based methods)
基于規(guī)則的方法大多是利用廣告鏡頭的信息來進(jìn)行檢測的，它是通過ー組特征和規(guī)則來區(qū)分廣告和普通電視節(jié)目視頻。由于視頻廣告和普通電視節(jié)目視頻在某些特征方面存在著比較明顯的差異，因此利用這些區(qū)分性比較強(qiáng)的特征，就可以實(shí)現(xiàn)對視頻廣告的檢測。在視頻方面可以通過提取一段視頻巾貞的平均邊緣變化率A-ECR (Average of Edge ChangeRatio )和邊緣變化方差V-ECR (Variance of Change Ratio )以及平均巾貞差A(yù)-FD(Average of Frame Difference)和巾貞方差 V-FD (Variance of Frame Difference)來實(shí)現(xiàn)檢測。在音頻方面，視頻廣告的音頻內(nèi)容和普通電視節(jié)目的音頻內(nèi)容也存在一些明顯的特征上的區(qū)別，比如可以利用音頻多維頻率普系數(shù)(Mel-frequency Cepstral Coefficient)和音頻信息熵來實(shí)現(xiàn)對視頻廣告的分割檢測。不過音頻方面的特征一般都用于輔助視頻特征檢測方面，通過兩者的結(jié)合才能實(shí)現(xiàn)對廣告段更加精確的分割檢測。

發(fā)明內(nèi)容
本發(fā)明的目的是在于提出一種電視直播流中的廣告段檢測方法，對視頻廣告進(jìn)行了鏡頭分割和提取關(guān)鍵幀，基于視頻廣告的視覺特征與普通電視節(jié)目的視覺特征之間的差異對直播視頻流中的視頻廣告進(jìn)行檢測，并提出了視頻廣告數(shù)據(jù)庫的更新策略，能夠大量減少視頻檢測和編輯領(lǐng)域的工作人員的工作量，提高視頻檢測速度和檢測的精確度。本發(fā)明提供了一種電視直播流中的廣告段檢測方法，包括以下步驟
A、提取不少于一個的視頻廣告，建立視頻廣告數(shù)據(jù)庫，提取每個視頻廣告的不少于一 個的視覺特征向量，構(gòu)建數(shù)據(jù)結(jié)構(gòu)來組織所述視頻廣告的所有視覺特征向量；
B、輸入待檢索視頻，提取待檢索視頻的不少于一個的視覺特征向量；
C、將所述待檢索視頻的視覺特征向量與所述數(shù)據(jù)結(jié)構(gòu)中的每個視頻廣告的視覺特征向量進(jìn)行匹配，得到匹配結(jié)果，根據(jù)所述匹配結(jié)果更新所述數(shù)據(jù)結(jié)構(gòu)；
D、根據(jù)所述匹配結(jié)果判斷視頻檢測結(jié)果，將所述檢測結(jié)果輸出。進(jìn)一步地，步驟A中，提取每個視頻廣告的不少于一個的視覺特征向量，還包括以下步驟
將每個視頻廣告分割為不少于一個的鏡頭，提取每個鏡頭的鏡頭關(guān)鍵幀；
提取視頻廣告的每個鏡頭關(guān)鍵幀的不少于一個的視覺特征，所有視頻廣告的鏡頭關(guān)鍵幀的視覺特征構(gòu)成視頻廣告的視覺特征，將視頻廣告的每個視覺特征轉(zhuǎn)換為對應(yīng)的視頻廣告的視覺特征向量。進(jìn)一步地，步驟B中，提取待檢索視頻的不少于一個的視覺特征向量，還包括以下步驟
將待檢索視頻分割為不少于一個的鏡頭，提取每個鏡頭的鏡頭關(guān)鍵幀；
提取待檢索視頻的每個鏡頭關(guān)鍵幀的不少于一個的視覺特征，所有待檢索視頻的鏡頭關(guān)鍵幀的視覺特征組成待檢索視頻的視覺特征，利用距離關(guān)系得到所述待檢索視頻的每個視覺特征對應(yīng)的待檢索視頻的視覺特征向量。進(jìn)一步地，將視頻分割成不少于一個的鏡頭，還包括以下步驟
提取所述視頻的所有視頻幀的顏色直方圖，計(jì)算兩個相鄰視頻圖像幀的顏色直方圖的相似值，作為幀間相似值；
根據(jù)所述視頻的幀間相似值、預(yù)設(shè)的第一閾值、預(yù)設(shè)的第二閾值和預(yù)設(shè)的漸變鏡頭長度第三閾值，確定鏡頭邊界序列。進(jìn)一步地，提取所有視頻幀的顏色直方圖，計(jì)算幀間相似值，還包括以下步驟 對視頻圖像進(jìn)行分塊，共分為塊，其中是列數(shù)，是行數(shù)；
對圖像的每一個圖像塊在HSV顏色空間上提取顏色直方圖，其中把亮度量化為I個區(qū)間，把色調(diào)量化為16個區(qū)間，把色飽和度量化為8個區(qū)間，每一幀圖像得到個有個bin的顏色直方圖，并對得到的顔色直方圖進(jìn)行歸ー化；
采用下面的公式計(jì)算兩個相鄰視頻圖像幀的顏色直方圖的相似值
9
其中，為處于第列第行的塊的權(quán)重，是第幀的第個塊的顔色直方圖的第個bin的值，a和b為視頻圖像幀的序號，函數(shù)是求取兩個值中較小的值。進(jìn)ー步地，根據(jù)整個視頻的幀間相似值、預(yù)設(shè)的第一閾值、預(yù)設(shè)的第二閾值和預(yù)設(shè)的漸變鏡頭長度第三閾值，確定鏡頭邊界序列，還包括以下步驟
輸入整個視頻序列的幀間相似值序列，預(yù)設(shè)高閾值，預(yù)設(shè)低閾值，預(yù)設(shè)漸變鏡頭長度 最低閾值，其中； 根據(jù)每個幀間相似度進(jìn)行判斷
如果且沒有設(shè)置漸變標(biāo)志，判斷鏡頭發(fā)生了突變，輸出突變鏡頭的邊界信息；
如果但設(shè)置了漸變標(biāo)志，則漸變鏡頭長度加I ;
如果但但沒有設(shè)置漸變標(biāo)志，則設(shè)置漸變標(biāo)志，記錄下當(dāng)前圖像幀位置作為候選鏡頭開始邊界，并開始計(jì)數(shù)漸變鏡頭長度；
如果并設(shè)置了漸變標(biāo)志，則檢查漸變鏡頭長度，如果則判斷發(fā)生了漸變，輸出漸變鏡頭的邊界信息，否則判斷不是漸變，取消漸變標(biāo)志，并把漸變鏡頭長度重新置零；
如果且沒有設(shè)置漸變標(biāo)志，則判斷沒有發(fā)生鏡頭變化；
輸出鏡頭邊界序列。進(jìn)ー步地，所述提取每個鏡頭的鏡頭關(guān)鍵幀是提取鏡頭的第一視頻幀和最后ー視頻幀作為鏡頭關(guān)鍵幀。進(jìn)ー步地，所述提取每個鏡頭關(guān)鍵幀的視覺特征是采用SIFT尺度不變特征變換匹配算法提取鏡頭關(guān)鍵幀的視覺特征。
進(jìn)ー步地，將視頻廣告的每個視覺特征轉(zhuǎn)換為對應(yīng)的視頻廣告的視覺特征向量，還包括以下步驟
采用聚類算法對所述視頻廣告的視覺特征進(jìn)行聚類，用每個聚類中心作為視覺單詞，所有視覺單詞構(gòu)成視覺詞匯表；
視頻廣告的每個視覺特征所屬視覺單詞與所述視覺詞匯表的對應(yīng)關(guān)系構(gòu)成視頻廣告的視覺單詞直方圖，用所述視覺單詞直方圖作為視頻廣告的視覺特征向量。進(jìn)ー步地，所述聚類算法是K-均值算法。進(jìn)ー步地，利用距離關(guān)系得到所述待檢索視頻的視覺特征對應(yīng)的待檢索視頻的視覺特征向量，還包括以下步驟
計(jì)算待檢索視頻的視覺特征與視覺詞匯表中每個視覺單詞的相似度，并對相似度進(jìn)行排序，選取相似度最大的視覺單詞；
所述視覺單詞與所述視覺詞匯表的對應(yīng)關(guān)系構(gòu)成待檢索視頻的視覺單詞直方圖，將所述視覺單詞直方圖作為所述待檢索視頻的視覺特征向量。進(jìn)ー步地，步驟A中所述數(shù)據(jù)結(jié)構(gòu)，為KD-樹數(shù)據(jù)結(jié)構(gòu)。進(jìn)ー步地，步驟C中，將所述待檢索視頻的視覺特征向量與所述數(shù)據(jù)結(jié)構(gòu)中的每個視頻廣告的視覺特征向量進(jìn)行匹配，根據(jù)所述匹配結(jié)果更新所述數(shù)據(jù)結(jié)構(gòu)，還包括以下步驟計(jì)算所述待檢索視頻的視覺特征向量與所述數(shù)據(jù)結(jié)構(gòu)中的每個視頻廣告的視覺特征向量之間的相似度；
如果相似度的最大值大于預(yù)設(shè)值，判斷為匹配成功，更新數(shù)據(jù)結(jié)構(gòu)中匹配成功的視覺特征向量的匹配成功次數(shù)和本次匹配成功時間，如果相似度最大值小于預(yù)設(shè)值，判斷為匹配不成功，將所述待檢索視頻的視覺特征向量插入數(shù)據(jù)結(jié)構(gòu)中，刪除數(shù)據(jù)結(jié)構(gòu)中預(yù)設(shè)時間閾值內(nèi)沒有匹配成功的視覺特征向量。進(jìn)一步地，步驟C中，將所述待檢索視頻的特征向量與所述數(shù)據(jù)結(jié)構(gòu)中的每個特征向量進(jìn)行匹配，采用的匹配算法為BBF特征匹配搜索算法。進(jìn)一步地，步驟D中，根據(jù)所有所述匹配結(jié)果計(jì)算視頻檢索結(jié)果并輸出，還包括以下步驟 將匹配成功的視覺特征向量所屬鏡頭標(biāo)記為1，匹配不成功標(biāo)記為0，待檢索視頻表示為一個01序列；
如果所述01序列中連續(xù)預(yù)設(shè)數(shù)量的I中出現(xiàn)一個0，則把O改判為I ;
如果所述01序列中I所占比例大于預(yù)設(shè)值，則判斷待檢索視頻為視頻廣告，小于預(yù)設(shè)值，則判斷待檢索視頻為非視頻廣告。本發(fā)明的技術(shù)效果在于
為視頻檢測和編輯工作領(lǐng)域的工作人員提供一種電視直播流中的廣告段檢測方法，能夠大量減少視頻檢測和編輯領(lǐng)域的工作人員的工作量，提高視頻檢測速度和檢測的精確度。本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。下面通過附圖和實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。


附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中
圖I是本發(fā)明具體實(shí)施方式
中電視直播流中的廣告段檢測方法的流程圖。
具體實(shí)施例方式以下結(jié)合附圖對本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。圖I是本發(fā)明具體實(shí)施方式
中電視直播流中的廣告段檢測方法的流程圖。如圖I所示，視頻廣告檢測方法的流程，具體包括以下步驟
步驟101、提取不少于一個的視頻廣告，建立視頻廣告數(shù)據(jù)庫。步驟102、提取所述視頻廣告的所有視頻幀的顏色直方圖，即對視頻圖像進(jìn)行分塊，共分為塊，其中是列數(shù)，是行數(shù)；對圖像的每一個圖像塊在HSV顏色空間上提取顏色直方圖，其中把亮度量化為I個區(qū)間，把色調(diào)量化為16個區(qū)間，把色飽和度量化為8個區(qū)間，每一幀圖像得到個有個bin的顏色直方圖，對得到的顏色直方圖進(jìn)行歸一化。
計(jì)算兩個相鄰視頻幀的顔色直方圖的相似值，作為幀間相似值。采用下面的公式計(jì)算兩個相鄰視頻圖像幀的顏色直方圖的相似值
其中，為處于第列第行的塊的權(quán)重，是第a幀的第個塊的顔色直方圖的第個bin的值，a和b為視頻圖像幀的序號，函數(shù)是求取兩個倌中較小的侑。計(jì)算所有相鄰視頻幀的幀間相似值，構(gòu)成整個視頻序列的幀間相似值序列。輸入整個視頻序列的幀間相似值序列，預(yù)設(shè)第一閾值=0. 85，預(yù)設(shè)第二閾值=0. 65，預(yù)設(shè)漸變鏡頭長度最低閾值，其中；
根據(jù)每個幀間相似值進(jìn)行判斷
如果且沒有設(shè)置漸變標(biāo)志，判斷鏡頭發(fā)生了突變，輸出突變鏡頭的邊界信息；
如果但設(shè)置了漸變標(biāo)志，則漸變鏡頭長度加I ;
如果但但沒有設(shè)置漸變標(biāo)志，設(shè)置漸變標(biāo)志，記錄下當(dāng)前圖像幀位置作為候選鏡頭開始邊界，并開始計(jì)數(shù)漸變鏡頭長度；
如果并設(shè)置了漸變標(biāo)志，則檢查漸變鏡頭長度，如果則判斷發(fā)生了漸變，輸出漸變鏡頭的邊界信息，否則判斷不是漸變，取消漸變標(biāo)志，并把漸變鏡頭長度重新置零；
如果且沒有設(shè)置漸變標(biāo)志，則判斷沒有發(fā)生鏡頭變化；
輸出鏡頭邊界序列。按照鏡頭邊界序列將每個視頻廣告分割為不少于ー個的鏡頭，提取每個鏡頭的第一視頻巾貞和最后一視頻巾貞作為鏡頭關(guān)鍵中貞。步驟103、采用SIFT尺度不變特征變換匹配算法提取視頻廣告每個鏡頭關(guān)鍵幀的不少于一個的視覺特征，所有視頻廣告的鏡頭關(guān)鍵幀的視覺特征構(gòu)成視頻廣告的視覺特征。步驟104、采用K-均值聚類算法對所述視頻廣告的視覺特征進(jìn)行聚類，用每個聚類中心作為視覺單詞，所有視覺單詞構(gòu)成視覺詞匯表；
視頻廣告的每個視覺特征所屬視覺單詞與所述視覺詞匯表的對應(yīng)關(guān)系構(gòu)成視頻廣告的視覺單詞直方圖，用所述視覺單詞直方圖作為視頻廣告的視覺特征向量。步驟105、輸入待檢索視頻，采用步驟102的方法將待檢索視頻分割為不少于ー個的鏡頭，并提取每個鏡頭的鏡頭關(guān)鍵幀。步驟106、采用SIFT方法提取待檢索視頻每個關(guān)鍵幀的不少于ー個的視覺特征，所有待檢索視頻的鏡頭關(guān)鍵幀視覺特征構(gòu)成待檢索視頻的視覺特征。步驟107、計(jì)算待檢索視頻的視覺特征與視覺詞匯表中每個視覺單詞的相似度，并對相似度進(jìn)行排序，選取相似度最大的視覺單詞；
所述視覺單詞與所述視覺詞匯表的對應(yīng)關(guān)系構(gòu)成待檢索視頻的視覺單詞直方圖，將所述視覺單詞直方圖作為所述待檢索視頻的視覺特征向量。步驟108、采用BBF特征匹配捜索算法將所述待檢索視頻的視覺特征向量與數(shù)據(jù)結(jié)構(gòu)中的每個視頻廣告的視覺特征向量進(jìn)行匹配。即在KD-樹上查找最近鄰，從根開始，在KD-樹上尋找路徑時，錯過的點(diǎn)先塞入優(yōu)先隊(duì)列里，一直掃到葉子節(jié)點(diǎn)，然后再從隊(duì)列中取出目前key值最小的，即維上的距離最小者，重復(fù)上述過程，一直掃到葉子節(jié)點(diǎn)。直到隊(duì)列已空，或者已重復(fù)了 500遍停止。如果找到的最相似的視覺特征向量和待匹配的視覺特征向量的相似度大于閾值0. 85，則說明找到相似的視覺特征向量，匹配成功，更新數(shù)據(jù)結(jié)構(gòu)中匹配成功的視覺特征向量的匹配成功次數(shù)和本次匹配成功時間，否則沒有找到相似的視覺特征向量，匹配不成功，將所述待檢索視頻的視覺特征向量插入數(shù)據(jù)結(jié)構(gòu)中，刪除數(shù)據(jù)結(jié)構(gòu)中180天內(nèi)沒有匹配成功的視覺特征向量。步驟109、將匹配成功的視覺特征向量所屬鏡頭標(biāo)記為1，匹配不成功標(biāo)記為0，待檢索視頻表示為一個01序列；如果所述01序列中連續(xù)5個I中出現(xiàn)一個0，則把O改判為I ;如果所述01序列中I所占比例大于0.8，則判斷待檢索視頻為視頻廣告，小于0.8，則判斷待檢索視頻為非視頻廣告，輸出檢測結(jié)果。最后應(yīng)說明的是以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，盡管參照前述實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，對于本領(lǐng)域的技術(shù)人員來說，其依然可以對前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的 保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種電視直播流中的廣告段檢測方法，其特征在于，包括以下步驟 A、提取不少于一個的視頻廣告，建立視頻廣告數(shù)據(jù)庫，提取每個視頻廣告的不少于一個的視覺特征向量，構(gòu)建數(shù)據(jù)結(jié)構(gòu)來組織所述視頻廣告的所有視覺特征向量； B、輸入待檢索視頻，提取待檢索視頻的不少于一個的視覺特征向量； C、將所述待檢索視頻的視覺特征向量與所述數(shù)據(jù)結(jié)構(gòu)中的每個視頻廣告的視覺特征向量進(jìn)行匹配，得到匹配結(jié)果，根據(jù)所述匹配結(jié)果更新所述數(shù)據(jù)結(jié)構(gòu)； D、根據(jù)所述匹配結(jié)果判斷視頻檢測結(jié)果，將所述檢測結(jié)果輸出。
2.根據(jù)權(quán)利要求I所述一種電視直播流中的廣告段檢測方法，其特征在于，步驟A中，提取每個視頻廣告的不少于一個的視覺特征向量，進(jìn)一步包括以下步驟 將每個視頻廣告分割為不少于一個的鏡頭，提取每個鏡頭的鏡頭關(guān)鍵幀； 提取視頻廣告的每個鏡頭關(guān)鍵幀的不少于一個的視覺特征，所有視頻廣告的鏡頭關(guān)鍵幀的視覺特征構(gòu)成視頻廣告的視覺特征，將視頻廣告的每個視覺特征轉(zhuǎn)換為對應(yīng)的視頻廣告的視覺特征向量。
3.根據(jù)權(quán)利要求I所述一種電視直播流中的廣告段檢測方法，其特征在于，步驟B中，提取待檢索視頻的不少于一個的視覺特征向量，進(jìn)一步包括以下步驟 將待檢索視頻分割為不少于一個的鏡頭，提取每個鏡頭的鏡頭關(guān)鍵幀； 提取待檢索視頻的每個鏡頭關(guān)鍵幀的不少于一個的視覺特征，所有待檢索視頻的鏡頭關(guān)鍵幀的視覺特征組成待檢索視頻的視覺特征，利用距離關(guān)系得到所述待檢索視頻的每個視覺特征對應(yīng)的待檢索視頻的視覺特征向量。
4.根據(jù)權(quán)利要求2或3所述一種電視直播流中的廣告段檢測方法，其特征在于，將視頻分割成不少于一個的鏡頭，進(jìn)一步包括以下步驟 提取所述視頻的所有視頻幀的顏色直方圖，計(jì)算兩個相鄰視頻圖像幀的顏色直方圖的相似值，作為幀間相似值； 根據(jù)所述視頻的幀間相似值、預(yù)設(shè)的第一閾值、預(yù)設(shè)的第二閾值和預(yù)設(shè)的漸變鏡頭長度第三閾值，確定鏡頭邊界序列。
5.根據(jù)權(quán)利要求4所述一種電視直播流中的廣告段檢測方法，其特征在于，提取所有視頻幀的顏色直方圖，計(jì)算幀間相似值，進(jìn)一步包括以下步驟 對視頻圖像進(jìn)行分塊，共分為MXN塊，其中M是列數(shù)，N是行數(shù)； 對圖像的每一個圖像塊在HSV顏色空間上提取顏色直方圖，其中把亮度量化為I個區(qū)間，把色調(diào)量化為16個區(qū)間，把色飽和度量化為8個區(qū)間，每一幀圖像得到MXN個有.16X8X1 = 128個bin的顏色直方圖，并對得到的顏色直方圖進(jìn)行歸一化； 采用下面的公式計(jì)算兩個相鄰視頻圖像幀的顏色直方圖的相似值 M Λ— 128 Λ’(α，Λ) = ΣΣΣ- min( Hu {/>, q, /), Hh (/>, (/，/))， 其屮ifK=， 處?！ん蔖列笫d/·的塊的權(quán)取，的第P X + A的顏色直方丨冬丨的第i個b i η的值，ii和b為視頻_像幀的序'4, min函數(shù)是求取兩個值中較小的值。
6.根據(jù)權(quán)利要求4所述一種電視直播流中的廣告段檢測方法，其特征在于，根據(jù)整個視頻的幀間相似值、預(yù)設(shè)的第一閾值、預(yù)設(shè)的第二閾值和預(yù)設(shè)的漸變鏡頭長度第三閾值，確定鏡頭邊界序列，進(jìn)一步包括以下步驟 輸入整個視頻序列的幀間相似值序列S=Is1, S2, , SnI,預(yù)設(shè)高閾值TH，預(yù)設(shè)低閾值Tl，預(yù)設(shè)漸變鏡頭長度最低閾值Tgradual，其中Tgradual=IO ； 根據(jù)每個幀間相似度Si進(jìn)行判斷 如果SiCIY且沒有設(shè)置漸變標(biāo)志，判斷鏡頭發(fā)生了突變，輸出突變鏡頭的邊界信息； 如果S^Th但設(shè)置了漸變標(biāo)志，則漸變鏡頭長度Length加I ; 如果Si> = IY但Si〈TH但沒有設(shè)置漸變標(biāo)志，則設(shè)置漸變標(biāo)志，記錄下當(dāng)前圖像幀位置作為候選鏡頭開始邊界，并開始計(jì)數(shù)漸變鏡頭長度Length ； 如果Si> = Th并設(shè)置了漸變標(biāo)志，則檢查漸變鏡頭長度，如果Length>TgMdual則判斷發(fā)生了漸變，輸出漸變鏡頭的邊界信息，否則判斷不是漸變，取消漸變標(biāo)志，并把漸變鏡頭長度Length重新置零； 如果Si> = Th且沒有設(shè)置漸變標(biāo)志，則判斷沒有發(fā)生鏡頭變化； 輸出鏡頭邊界序列。
7.根據(jù)權(quán)利要求2或3所述一種電視直播流中的廣告段檢測方法，其特征在于，所述提取每個鏡頭的鏡頭關(guān)鍵幀是提取鏡頭的第一視頻幀和最后一視頻幀作為鏡頭關(guān)鍵幀。
8.根據(jù)權(quán)利要求2或3所述一種電視直播流中的廣告段檢測方法，其特征在于，所述提取每個鏡頭關(guān)鍵幀的視覺特征是采用SIFT尺度不變特征變換匹配算法提取鏡頭關(guān)鍵幀的視覺特征。
9.根據(jù)權(quán)利要求2所述一種電視直播流中的廣告段檢測方法，其特征在于，將視頻廣告的每個視覺特征轉(zhuǎn)換為對應(yīng)的視頻廣告的視覺特征向量，進(jìn)一步包括以下步驟 采用聚類算法對所述視頻廣告的視覺特征進(jìn)行聚類，用每個聚類中心作為視覺單詞，所有視覺單詞構(gòu)成視覺詞匯表； 視頻廣告的每個視覺特征所屬視覺單詞與所述視覺詞匯表的對應(yīng)關(guān)系構(gòu)成視頻廣告的視覺單詞直方圖，用所述視覺單詞直方圖作為視頻廣告的視覺特征向量。
10.根據(jù)權(quán)利要求9所述一種電視直播流中的廣告段檢測方法，其特征在于，所述聚類算法是K-均值算法。
11.根據(jù)權(quán)利要求3或9所述一種電視直播流中的廣告段檢測方法，其特征在于，利用距離關(guān)系得到所述待檢索視頻的視覺特征對應(yīng)的待檢索視頻的視覺特征向量，進(jìn)一步包括以下步驟 計(jì)算待檢索視頻的視覺特征與視覺詞匯表中每個視覺單詞的相似度，并對相似度進(jìn)行排序，選取相似度最大的視覺單詞； 所述視覺單詞與所述視覺詞匯表的對應(yīng)關(guān)系構(gòu)成待檢索視頻的視覺單詞直方圖，將所述視覺單詞直方圖作為所述待檢索視頻的視覺特征向量。
12.根據(jù)權(quán)利要求I所述一種電視直播流中的廣告段檢測方法，其特征在于，步驟A中所述數(shù)據(jù)結(jié)構(gòu)，為KD-樹數(shù)據(jù)結(jié)構(gòu)。
13.根據(jù)權(quán)利要求I所述一種電視直播流中的廣告段檢測方法，其特征在于，步驟C中，將所述待檢索視頻的視覺特征向量與所述數(shù)據(jù)結(jié)構(gòu)中的每個視頻廣告的視覺特征向量進(jìn)行匹配，根據(jù)所述匹配結(jié)果更新所述數(shù)據(jù)結(jié)構(gòu)，進(jìn)一步包括以下步驟 計(jì)算所述待檢索視頻的視覺特征向量與所述數(shù)據(jù)結(jié)構(gòu)中的每個視頻廣告的視覺特征向量之間的相似度； 如果相似度的最大值大于預(yù)設(shè)值，判斷為匹配成功，更新數(shù)據(jù)結(jié)構(gòu)中匹配成功的視覺特征向量的匹配成功次數(shù)和本次匹配成功時間，如果相似度最大值小于預(yù)設(shè)值，判斷為匹配不成功，將所述待檢索視頻的視覺特征向量插入數(shù)據(jù)結(jié)構(gòu)中，刪除數(shù)據(jù)結(jié)構(gòu)中預(yù)設(shè)時間閾值內(nèi)沒有匹配成功的視覺特征向量。
14.根據(jù)權(quán)利要求I所述一種電視直播流中的廣告段檢測方法，其特征在于，步驟C中，將所述待檢索視頻的特征向量與所述數(shù)據(jù)結(jié)構(gòu)中的每個特征向量進(jìn)行匹配，采用的匹配算法為BBF特征匹配搜索算法。
15.根據(jù)權(quán)利要求I所述一種電視直播流中的廣告段檢測方法，其特征在于，步驟D中，根據(jù)所有所述匹配結(jié)果計(jì)算視頻檢索結(jié)果并輸出，進(jìn)一步包括以下步驟 將匹配成功的視覺特征向量所屬鏡頭標(biāo)記為1，匹配不成功標(biāo)記為O，待檢索視頻表示為一個Ol序列； 如果所述01序列中連續(xù)預(yù)設(shè)數(shù)量的I中出現(xiàn)一個0，則把O改判為I ; 如果所述01序列中I所占比例大于預(yù)設(shè)值，則判斷待檢索視頻為視頻廣告，小于預(yù)設(shè)值，則判斷待檢索視頻為非視頻廣告。
全文摘要
本發(fā)明公開了一種電視直播流中的廣告段檢測方法，首先，提取不少于一個的視頻廣告，建立視頻廣告數(shù)據(jù)庫，提取每個視頻廣告的不少于一個的視覺特征向量，構(gòu)建數(shù)據(jù)結(jié)構(gòu)來組織所述視頻廣告的所有視覺特征向量；輸入待檢索視頻，提取待檢索視頻的不少于一個的視覺特征向量；將所述待檢索視頻的視覺特征向量與所述數(shù)據(jù)結(jié)構(gòu)中的每個視頻廣告的視覺特征向量進(jìn)行匹配，得到匹配結(jié)果，根據(jù)所述匹配結(jié)果更新所述數(shù)據(jù)結(jié)構(gòu)；根據(jù)所有所述匹配結(jié)果判斷視頻檢測結(jié)果并輸出。本發(fā)明能夠有效克服現(xiàn)有技術(shù)的不足，為電視直播流中視頻廣告的分析和檢測提供信息和依據(jù)。
文檔編號G06F17/30GK102760169SQ201210194968
公開日2012年10月31日 申請日期2012年6月13日 優(yōu)先權(quán)日2012年6月13日
發(fā)明者劉趙杰 申請人:天脈聚源(北京)傳媒科技有限公司