專利名稱：一種檢測(cè)足球比賽視頻精彩片段的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)一種檢測(cè)體育比賽視頻中精彩片段的方法，特別涉及一種檢測(cè)足球比賽視頻中精彩片段的方法。

背景技術(shù)：
足球運(yùn)動(dòng)是人們所喜愛的一種運(yùn)動(dòng)，足球視頻節(jié)目是人們樂于欣賞的節(jié)目之一。高清晰數(shù)字電視出現(xiàn)、高速視頻傳輸網(wǎng)絡(luò)的建立，為足球視頻節(jié)目的傳播提供了重要手段。每天不同頻道都有大量的足球視頻在同一時(shí)間內(nèi)播出。對(duì)于足球愛好者來說，其不可能不錯(cuò)過任何一場(chǎng)足球比賽節(jié)目。因此對(duì)足球比賽提供精彩片段的摘要和瀏覽方案，能夠節(jié)省人們大量寶貴的時(shí)間，并且又不缺乏對(duì)足球賽況的了解。為了達(dá)到此目的就需要對(duì)足球比賽視頻內(nèi)容進(jìn)行基于精彩片段的檢測(cè)方法。
中國專利ZL02156973.8中公開了一種體育比賽視頻中檢測(cè)精彩片段的方法。在該專利中發(fā)明人運(yùn)用攝像機(jī)的運(yùn)動(dòng)信息，判斷是否發(fā)生慢速的重放鏡頭來進(jìn)行體育比賽精彩片段判斷的，并認(rèn)為重播是來自同一個(gè)攝像機(jī)。然而，具體到足球比賽，在足球視頻中的犯規(guī)、射門、定位球和進(jìn)球都需要給出相應(yīng)的重播鏡頭。這種按照是否發(fā)生重播的精彩片段檢測(cè)的方法就不能對(duì)精彩片段進(jìn)行分類，從而也不能判斷片段所屬的類型。由于不同的用戶對(duì)足球精彩片段的關(guān)注程度不同，這種方法無法給用戶提供一種所需要的足球比賽中的特定精彩片段的瀏覽。


發(fā)明內(nèi)容
本發(fā)明為了解決現(xiàn)有體育比賽視頻精彩片段檢測(cè)方法不適合于足球比賽鏡頭的精彩片段分類及判斷，提出了一種檢測(cè)足球比賽視頻中精彩片段的方法。
為達(dá)到以上目的，本發(fā)明是采用如下技術(shù)方案予以實(shí)現(xiàn)的 一種檢測(cè)足球比賽視頻精彩片段的方法，其特征是，包括下述步驟 步驟1，先對(duì)數(shù)據(jù)庫中足球比賽的壓縮視頻通過解碼器進(jìn)行解碼； 步驟2，進(jìn)行視頻鏡頭邊界檢測(cè)，用于檢測(cè)出視頻中鏡頭的邊界，并按照鏡頭的類型來劃分成重播標(biāo)志、其它鏡頭、重播鏡頭三部分； 步驟3，對(duì)鏡頭類型中的其它鏡頭進(jìn)行特征提取，用于對(duì)壓縮域和象素域中進(jìn)行特征選擇和特征分析，提取特征包括主顏色特征、攝像機(jī)運(yùn)動(dòng)特征，紋理特征和字幕特征；主顏色特征提取中，對(duì)其中的每一幀計(jì)算兩個(gè)特征主顏色連通區(qū)域中的綠色區(qū)域占整個(gè)畫面的比例GR和主顏色連通區(qū)域中運(yùn)動(dòng)對(duì)象區(qū)域所占整個(gè)畫面的比例GP；攝像機(jī)運(yùn)動(dòng)特征中采用基于全局運(yùn)動(dòng)矢量場(chǎng)GMVF來進(jìn)行攝像機(jī)運(yùn)動(dòng)模式判斷；在紋理特征提取中，提取每一幀中的紋理強(qiáng)度信息為Tx； 步驟4，根據(jù)步驟3所提取的主顏色、攝像機(jī)運(yùn)動(dòng)、紋理以及字幕特征來對(duì)足球比賽視頻鏡頭進(jìn)行分類； 步驟5，根據(jù)步驟4的足球比賽視頻鏡頭分類結(jié)果進(jìn)行視頻鏡頭片段邊界檢測(cè)，以確定足球視頻中片段之間的邊界；并提取每個(gè)片段中的觀測(cè)矢量； 步驟6，進(jìn)行片段類型判斷，從一個(gè)片段中所提取的觀測(cè)矢量來判斷該片段所屬的類型，按照基于隱馬爾可夫模型HMM片段類型的分類方法。將該片段劃分到以下5種類型中的一種，分別為射門片段、犯規(guī)片段、進(jìn)球片段、定位球片段和普通片段；其中，選擇射門片段、進(jìn)球片段、定位球片段為精彩片段； 步驟7，對(duì)確定的精彩片段進(jìn)行劃分，即將步驟6中檢測(cè)出的精彩片段按照攝像機(jī)的主運(yùn)動(dòng)方向來劃分到足球比賽中的兩個(gè)球隊(duì)中，以獲得兩個(gè)球隊(duì)在精彩片段數(shù)目上的對(duì)比以及對(duì)進(jìn)球類型進(jìn)行判斷； 步驟8，將分類后的精彩片段進(jìn)行摘錄并存儲(chǔ)到數(shù)據(jù)庫中。
上述方案中，所述的步驟3中，在提取攝像機(jī)運(yùn)動(dòng)特征中，所述的采用基于全局運(yùn)動(dòng)矢量場(chǎng)GMVF來進(jìn)行攝像機(jī)運(yùn)動(dòng)模式判斷的具體方法是，根據(jù)公式(3)-公式(6)中來描述攝像機(jī)的全局運(yùn)動(dòng)的相關(guān)特征 其中，θ(xi、yi)，

和θvar代表運(yùn)動(dòng)矢量(GMVxi，GMVyi)所對(duì)應(yīng)的角度值，全局運(yùn)動(dòng)矢量場(chǎng)中所有運(yùn)動(dòng)矢量所對(duì)應(yīng)的評(píng)價(jià)角度和整個(gè)圖像中運(yùn)動(dòng)矢量的角度方差。(GMVx，GMVy)，(AGMVx，AGMVy)和(GMVDx，GMVDy)分別表示平均的運(yùn)動(dòng)矢量、運(yùn)動(dòng)矢量幅值的平均值以及相應(yīng)的運(yùn)動(dòng)矢量幅值的方差矢量。
所述的步驟4中，視頻鏡頭分類步驟使用了兩個(gè)分類器通過粗分類器先對(duì)鏡頭進(jìn)行粗分類，然后再通過細(xì)分類器對(duì)粗分類鏡頭中的全景鏡頭進(jìn)行細(xì)分類；其中，鏡頭粗分類是將步驟3提取的顏色紋理特征矢量<GR，GP，Tx>劃分成特寫鏡頭、看臺(tái)鏡頭、全景鏡頭和中等鏡頭；鏡頭細(xì)分類是按照公式(3)到公式(6)中所提取的矢量θvar，GMVx，GMVy，AGMVx，AGMVy，GMVDx，和GMVDy所構(gòu)成的一個(gè)7維的全局運(yùn)動(dòng)特征矢量再次將鏡頭粗分類中的全景鏡頭分成縮放鏡頭、跟蹤鏡頭和靜止鏡頭。
所述步驟5中，所述的片段邊界檢測(cè)的方法是判斷片段的全景鏡頭和非全景鏡頭的邊界，一個(gè)片段的起始位置和終止位置都為非全景鏡頭到全景鏡頭的切換位置。
在步驟6中，所述的基于隱馬爾可夫模型HMM片段類型的分類方法是，將一個(gè)片段按照其相應(yīng)的觀測(cè)向量O＝O1，…On，On+1，On+2，On+3和相應(yīng)的射門、犯規(guī)、進(jìn)球、定位球和普通片段的HMM模型參數(shù)λi＝(Ai，Bi，πi)來判斷該片段屬于上述5種類型的哪一種，判斷的方法是計(jì)算一個(gè)片段中的觀測(cè)矢量在上述的5個(gè)HMM模型參數(shù)λi＝(Ai，Bi，πi)的概率P(O|λi)并根據(jù)公式(7)判斷其中的最大值所對(duì)應(yīng)的類別S 然后將該片段劃分到最大值所對(duì)應(yīng)的那個(gè)類型中。
在步驟7中，所述的進(jìn)球類型包括四類任意球進(jìn)球，角球進(jìn)球，點(diǎn)球進(jìn)球，普通進(jìn)球。
本發(fā)明相比現(xiàn)有技術(shù)的優(yōu)點(diǎn)是按照主顏色、紋理、攝像機(jī)運(yùn)動(dòng)和字幕特征將足球比賽視頻鏡頭進(jìn)行分類，在鏡頭分量的基礎(chǔ)上來進(jìn)行片段邊界檢測(cè)和片段中的觀測(cè)矢量提取；在此基礎(chǔ)上進(jìn)行片段類型判斷，將一個(gè)片段用基于隱馬爾可夫模型的方法分成射門片段、犯規(guī)片段、進(jìn)球片段、定位球片段和普通片段；并對(duì)足球比賽視頻中的精彩片段射門片段、進(jìn)球片段、定位球片段進(jìn)行精彩片段劃分，以將足球比賽中的精彩片段劃分到比賽中的兩個(gè)球隊(duì)中并將所進(jìn)球類型按照其進(jìn)球方式劃分成任意球進(jìn)球，角球進(jìn)球，點(diǎn)球進(jìn)球，普通進(jìn)球。這樣我們不僅可以檢測(cè)出一個(gè)足球比賽視頻中的精彩片段還可以確定精彩片段所屬的球隊(duì)以及進(jìn)球的類型。



圖1為本發(fā)明方法的步驟流程圖。
圖2為圖1中步驟4中對(duì)視頻鏡頭進(jìn)行分類的具體流程。
圖3為圖1中步驟5進(jìn)行足球視頻片段邊界定位示意圖。
圖4為圖1中步驟5進(jìn)行足球視頻片段中觀測(cè)矢量提取示意圖。
圖5為圖1中步驟8中對(duì)足球比賽視頻精彩片段瀏覽主窗口，其中W0為瀏覽足球視頻文件打開按鈕，W1是精彩片段內(nèi)容瀏覽窗口，W2是精彩片段內(nèi)容的定位窗口，W3和W4是進(jìn)行瀏覽內(nèi)容選擇的按鈕。
圖6為圖5中點(diǎn)擊W3按鈕進(jìn)入的足球比賽視頻精彩內(nèi)容瀏覽窗口。
圖7為圖5中點(diǎn)擊W4按鈕進(jìn)入的足球比賽視頻進(jìn)球內(nèi)容瀏覽窗口。

具體實(shí)施例方式 以下結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。
圖1給出了本發(fā)明中對(duì)足球比賽視頻中的精彩片段進(jìn)行檢測(cè)的步驟結(jié)構(gòu)框圖。包括步驟1，先對(duì)數(shù)據(jù)庫中足球比賽的壓縮視頻通過解碼器進(jìn)行解碼；然后執(zhí)行步驟2進(jìn)行視頻鏡頭邊界檢測(cè)，用于檢測(cè)出視頻中鏡頭的邊界，并按照鏡頭的類型來劃分成重播標(biāo)志、其它鏡頭、重播鏡頭三部分；執(zhí)行步驟3，對(duì)鏡頭類型中的其它鏡頭進(jìn)行特征提取，用于對(duì)壓縮域和象素域中進(jìn)行特征選擇和特征分析，主要提取出主顏色特征、攝像機(jī)運(yùn)動(dòng)特征，紋理特征和字幕特征；再執(zhí)行步驟4，根據(jù)步驟3所提取的主顏色、攝像機(jī)運(yùn)動(dòng)、紋理以及字幕特征來對(duì)足球比賽視頻鏡頭進(jìn)行分類；接著執(zhí)行步驟5，對(duì)足球視頻精彩片段邊界檢測(cè)，以確定足球視頻中精彩片段與非精彩片段以及他們之間的邊界；并提取每個(gè)片段中的觀測(cè)矢量；然后執(zhí)行步驟6，進(jìn)行片段類型判斷，從一片段中所提取的觀測(cè)矢量來判斷一個(gè)片段所屬的類型，按照似然度的大小將該片段劃分到以下5種類型中的一種，這5種類型分別對(duì)應(yīng)為射門片段、犯規(guī)片段、進(jìn)球片段、定位球片段和普通片段；然后執(zhí)行步驟7，對(duì)確定的精彩片段進(jìn)行劃分，即將步驟6中檢測(cè)出的精彩片段射門、進(jìn)球和定位球片段劃分到足球比賽中的兩個(gè)球隊(duì)中，以獲得兩個(gè)球隊(duì)在精彩片段數(shù)目上的對(duì)比；最后執(zhí)行步驟8，將分類后的精彩片段進(jìn)行摘錄并存儲(chǔ)到數(shù)據(jù)庫中。
在步驟2中，進(jìn)行鏡頭邊界檢測(cè)，可采用文獻(xiàn)H.Pan，B.Li，和M.Sezan，“Automatic detection of replay segments in broadcast sports programsby detecting of logos in scene transitions，”in Proc.IEEE ICASSP，Orlando，F(xiàn)L，May 2002，vol.4，pp.3385-3388中所描述的方法采用基于隱馬爾可夫模型的方法檢測(cè)重播鏡頭，并在重播鏡頭周圍的幀檢測(cè)重播標(biāo)志圖象，就可以將足球比賽視頻分成重播標(biāo)志以及相應(yīng)的重播鏡頭和其它鏡頭。
在步驟3中，對(duì)其他鏡頭進(jìn)行特征提取時(shí)，選用并提取主顏色特征中，我們對(duì)其中的每一幀計(jì)算兩個(gè)特征主顏色(畫面中的綠色)區(qū)域占整個(gè)畫面的比例GR和主顏色連通區(qū)域中運(yùn)動(dòng)對(duì)象區(qū)域所占整個(gè)畫面的比例GP，具體的計(jì)算方法在本領(lǐng)域內(nèi)是公知的。
在提取攝像機(jī)運(yùn)動(dòng)特征中，執(zhí)行全局運(yùn)動(dòng)估計(jì)并提取相應(yīng)的特征以利用其進(jìn)行步驟4中的細(xì)分類。全局運(yùn)動(dòng)的估計(jì)方法可以采用X.Qian，和G.Liu，“Global motion estimation from randomly selected motion vector groupsand GM/LM based applications，”Signal，Image and Video Processing中所描述的方法來估計(jì)全局運(yùn)動(dòng)參數(shù)m＝[m0，m1，…，m5]。當(dāng)我們估計(jì)出全局運(yùn)動(dòng)參數(shù)之后，為了消除壓縮域中的MVF對(duì)于攝像機(jī)運(yùn)動(dòng)模型判斷的影響，我們?cè)谶@里采用全局運(yùn)動(dòng)矢量場(chǎng)(GMVF)來進(jìn)行攝像機(jī)運(yùn)動(dòng)模式判斷。GMVF中在坐標(biāo)(xi，yi)處相應(yīng)的全局運(yùn)動(dòng)矢量(GMVxi，GMVyi)的計(jì)算方法如公式(1)所示 其中(xi，yi)和(xi′，yi′)分別表示當(dāng)前幀和參考幀中的經(jīng)過全局運(yùn)動(dòng)所對(duì)應(yīng)的位置 在GMVF的基礎(chǔ)上我們采用公式(3)-公式(6)中的相關(guān)特征來描述攝像機(jī)的全局運(yùn)動(dòng)模式 其中，θ(xi，yi)，

和θvar代表運(yùn)動(dòng)矢量(GMVxi，GMVyi)所對(duì)應(yīng)的角度值，全局運(yùn)動(dòng)矢量場(chǎng)中所有運(yùn)動(dòng)矢量所對(duì)應(yīng)的評(píng)價(jià)角度和整個(gè)圖像中運(yùn)動(dòng)矢量的角度方差。(GMVx，GMVy)，(AGMVx，AGMVy)和(GMVDx，GMVDy)分別表示平均的運(yùn)動(dòng)矢量、運(yùn)動(dòng)矢量幅值的平均值以及相應(yīng)的運(yùn)動(dòng)矢量幅值的方差矢量。
在紋理特征提取中，我們來獲得其它鏡頭12中每一幀中的紋理強(qiáng)度信息Tx，關(guān)于紋理信息的計(jì)算方法在本領(lǐng)域是已知的。
字幕特征提取中的特征在于判斷足球比賽視頻中手動(dòng)添加的短期字幕的有無以及該類字幕的出現(xiàn)幀和消失幀。這里的手動(dòng)添加的短期字幕指的是在足球比賽中犯規(guī)、進(jìn)球等發(fā)生后視頻中所給出的字幕。這種類型的字幕檢測(cè)以及出現(xiàn)幀和消失幀的確定可采用X.Qian，G.Liu，H.Wang和R.Su，“Text Detection，Localization and Tracking in Compressed Videos”，Signal ProcessingImage Communication中所描述的方法使用壓縮視頻中的I幀的每個(gè)塊中AC系數(shù)表示的紋理來進(jìn)行字幕的檢測(cè)和定位，以及采用每幀中字幕區(qū)域DC圖象差異值來判斷每個(gè)字幕的起始和終止幀。
圖2為圖1中的根據(jù)提取的特征進(jìn)行視頻鏡頭分類步驟4的子步驟，其特點(diǎn)在于使用了兩個(gè)分類器通過粗分類器先對(duì)鏡頭出分類4-1，然后再通過細(xì)分類器對(duì)粗分類鏡頭中的全景鏡頭進(jìn)行細(xì)分類4-2。其中，鏡頭粗分類是將其它鏡頭按照?qǐng)D1中所提取的顏色紋理特征矢量<GR，GP，Tx>劃分成圖2中所示的特寫鏡頭、看臺(tái)鏡頭、全景鏡頭和中等鏡頭；鏡頭細(xì)分類4-2是按照公式(3)到公式(6)中所提取的由θvar，GMVx，GMVy，AGMVx，AGMVy，GMVDx，和GMVDy所構(gòu)成的一個(gè)7維的全局運(yùn)動(dòng)特征矢量再次將鏡頭粗分類中的全景鏡頭劃分成縮放鏡頭、跟蹤鏡頭和靜止鏡頭。在此基礎(chǔ)上，結(jié)合攝像機(jī)運(yùn)動(dòng)的幅值A(chǔ)GMVx和方向特征

再次對(duì)上面劃分的結(jié)果進(jìn)行細(xì)分。例如對(duì)于縮放鏡頭我們可以分成放大鏡頭和縮小鏡頭；對(duì)于靜止鏡頭分成一般靜止鏡頭和靜止于球門鏡頭；對(duì)于跟蹤鏡頭按照幅值可以分成快速的跟蹤鏡頭和慢速的跟蹤鏡頭。還可以再結(jié)合攝像機(jī)的運(yùn)動(dòng)方向可以分成從左到右的快速跟蹤，右到左的快速跟蹤，左到右的慢速跟蹤和右到左的慢速跟蹤。
圖2中的粗分類器和細(xì)分類器的特征都是采用支持向量機(jī)(SVM)，具體的應(yīng)用在本領(lǐng)域內(nèi)是公知的(C.J.C.Burges，“A tutorial on supportvector machines for pattern recognition”Data.Mining and KnowledgeDiscovery.No.2，vol.2，1998，pp.121-167.)。粗分類器是從其它鏡頭中手動(dòng)選取其它鏡頭中的若干特寫鏡頭、看臺(tái)鏡頭、全景鏡頭和中等鏡頭中并提取<GR，GP，Tx>以進(jìn)行模型參數(shù)學(xué)習(xí)。細(xì)分類器是從全景鏡頭中手動(dòng)選取其它鏡頭中的若干縮放鏡頭、跟蹤鏡頭和靜止鏡頭，并提取由θvar，GMVx，GMVy，AGMVx，AGMVy，GMVDx，和GMVDy所構(gòu)成的一個(gè)7維的全局運(yùn)動(dòng)特征矢量以進(jìn)行模型參數(shù)學(xué)習(xí)。
執(zhí)行上述由粗到精的鏡頭分類的步驟4最終可以將整個(gè)視頻序列劃分成看臺(tái)，特寫鏡頭，中等鏡頭，重播標(biāo)志，重播鏡頭，放大，縮小，從左到右的快速跟蹤，從右到左的快速跟蹤，從左到右的慢速跟蹤，從右到左的慢速跟蹤，一般的靜止，和靜止于球門等13種類別。
圖3示出了步驟5中片段邊界檢測(cè)中進(jìn)行片段邊界確定方法。其目的是對(duì)于視頻鏡頭分類步驟4中所劃分鏡頭歸類到不同的片段中。片段邊界檢測(cè)的方法是判斷全景鏡頭和非全景鏡頭的邊界。一個(gè)片段的起始位置和終止位置都為非全景鏡頭到全景鏡頭的切換位置。
圖4示出了在足球視頻片段經(jīng)過邊界檢測(cè)中的一個(gè)片段中如何提取觀測(cè)矢量的示意圖。其特征在于對(duì)于每個(gè)片段我們按照時(shí)間上(temporal)以及總體概括上(overall)兩個(gè)方面來提取該片段所對(duì)應(yīng)的觀測(cè)矢量。假設(shè)一個(gè)片段由n個(gè)鏡頭構(gòu)成，其中每個(gè)鏡頭對(duì)應(yīng)于上述13種類別中的一種，則觀測(cè)矢量為O＝O1，…，On，On+1，…，On+k的維數(shù)為n+k。觀測(cè)序列O中前n個(gè)觀測(cè)值對(duì)應(yīng)于該片段的鏡頭也即temporal部分，其中的每個(gè)觀測(cè)值是上述類別中的一種。后k個(gè)觀測(cè)值On+1，…，On+k是對(duì)該片段的總體概括。在這里可以融合多種形態(tài)的特征，本發(fā)明中k＝3。其中On+1為判斷當(dāng)前片段以及下個(gè)片段中的全局部分是否出現(xiàn)短期字幕，該觀測(cè)值的輸出是根據(jù)字幕提取的檢測(cè)判斷得出的，其中On+2表示是否存在長(zhǎng)時(shí)間的停頓，如果片段中非全景鏡頭的個(gè)數(shù)大于5我們認(rèn)為該片段中存在長(zhǎng)時(shí)間的停頓，否則認(rèn)為不存在。其中On+3表示片段中是否存在感興趣的回放，如果有重播則認(rèn)為是，否則認(rèn)為不是。
在片段邊界檢測(cè)和片段中觀測(cè)矢量提取步驟5的基礎(chǔ)上，執(zhí)行片段類型判斷6，在劃分片段邊界基礎(chǔ)上，進(jìn)行片段的類型識(shí)別才能很好地將一個(gè)片段中的因果聯(lián)系考慮在內(nèi)。在這里我們對(duì)于足球比賽視頻片段分成公眾所熟悉的5個(gè)類別射門片段(shoot)、犯規(guī)片段(foul)、進(jìn)球片段(goal)、定位球片段(placed kick)和普通片段(normal kick)。其中定位球片段包括角球片段(corner kick)、任意球片段(free kick)和點(diǎn)球片段(penalty)三種類型。一個(gè)足球視頻序列可以由上面5個(gè)類別的片段完備的表示出來。這種方式可以反映所定義的5種類型的片段且不會(huì)產(chǎn)生遺漏的情況。
上述片段類型的判斷是采用基于隱馬爾可夫模型(HMM)片段類型的分類方法。具體是將一個(gè)片段按照其相應(yīng)的觀測(cè)向量O＝O1，…On，On+1，On+2，On+3和相應(yīng)的射門、犯規(guī)、進(jìn)球、定位球和普通片段的HMM模型參數(shù)λi＝(Ai，Bi，πi)(其中i＝1、2、3、4、5對(duì)應(yīng)表示未射門、犯規(guī)、進(jìn)球、定位球和普通片段)來判斷該片段屬于上述5種類型的哪一種。判斷的方法是計(jì)算一個(gè)片段中的觀測(cè)矢量在上述的5個(gè)HMM模型參數(shù)λi＝(Ai，Bi，πi)的概率P(O|λi)并根據(jù)公式(7)判斷其中的最大值所對(duì)應(yīng)的類別S 然后將該片段劃分到最大值所對(duì)應(yīng)的那個(gè)類型中。比如，從公式(7)中我們計(jì)算得出一個(gè)片段的P(O|λ2)為最大值，也即那么我們判斷當(dāng)前片段的類型是犯規(guī)。
其中HMM模型的參數(shù)在分類前需要進(jìn)行學(xué)習(xí)(L.R.Rabiner，“Atutorial on hidden markov models and selected applications in speechrecognition，”Proceedings of the IEEE，vol.77，no.2，pp.257-285，1989.)。在HMM參數(shù)學(xué)習(xí)中，從訓(xùn)練視頻中手動(dòng)的選取用于訓(xùn)練的普通片段集合，用于訓(xùn)練的射門片段集合，用于訓(xùn)練的犯規(guī)片段集合，用于訓(xùn)練的進(jìn)球片段集合，以及用于訓(xùn)練的定位球片段集合。標(biāo)記這些訓(xùn)練片段所屬的類型以及執(zhí)行片段觀測(cè)矢量提取。在HMM參數(shù)學(xué)習(xí)中我們采用6狀態(tài)的各態(tài)歷經(jīng)的拓?fù)浣Y(jié)構(gòu)。
在執(zhí)行上述片段類型判斷6中，其中，選擇射門片段、進(jìn)球片段、定位球片段為精彩片段；如果一個(gè)給定的片段被確定為定位球，我們可以按照該片段中球員分布情況以及邊界的方向特征將定位球可以再分成任意球、角球和點(diǎn)球。如采用J.Assfalg，M.Bertini，C.Colombo，A.D.Bimbo，和W.Nunziati，“Semantic annotation of soccer videosautomatic highlightidentification，”Computer Vision and Image Understanding，vol.6，No.4，pp.285-305，Aug.2003中的所描述的方法。
在執(zhí)行片段類型判斷步驟6之后，對(duì)于一個(gè)給定的足球比賽視頻，我們將其劃分成一系列具有明確類型的片段序列。在此基礎(chǔ)上，執(zhí)行精彩片段劃分步驟7，其特征在于實(shí)現(xiàn)對(duì)精彩片段劃分到足球比賽中的兩個(gè)球隊(duì)中以及對(duì)進(jìn)球類型進(jìn)行判斷。精彩片段所屬球隊(duì)劃分的方法是按照攝像機(jī)的主運(yùn)動(dòng)方向來劃分。例如，精彩片段的主運(yùn)動(dòng)方向是從左到右，則將這個(gè)精彩片段劃分到屬于左邊的那支球隊(duì)；反之將這個(gè)精彩片段劃分到屬于右邊的那支球隊(duì)。進(jìn)球類型判斷是按照片段在時(shí)間上的順序關(guān)系來確定的，例如一個(gè)進(jìn)球片段前面的片段是角球，則將該進(jìn)行片段劃分為由角球引起的進(jìn)球(角球進(jìn)球)。這樣，執(zhí)行精彩片段劃分步驟7可以將進(jìn)球類型劃分成如下四類由任意球引起的進(jìn)球(任意球進(jìn)球)，角球引起的進(jìn)球(角球進(jìn)球)，點(diǎn)球引起的進(jìn)球(點(diǎn)球進(jìn)球)，以及普通射門進(jìn)球(普通進(jìn)球)。
在執(zhí)行精彩片段類型劃分步驟7之后，接著可以執(zhí)行精彩片段生成步驟8，其特征是將精彩片段存儲(chǔ)到視頻數(shù)據(jù)庫中并可以給出相應(yīng)的精彩片段瀏覽。
圖5到圖7給出了按本發(fā)明方法得到的足球比賽精彩片段的瀏覽效果圖?？梢园凑杖缦氯齻€(gè)方面來瀏覽所摘錄的足球比賽中的精彩片段 (1)基于整個(gè)視頻中所有射門、進(jìn)球的精彩片段的視頻瀏覽和摘要方案； (2)基于球隊(duì)的精彩片段的視頻瀏覽和摘要方案； (3)基于所有角球進(jìn)球，任意球進(jìn)球，點(diǎn)球進(jìn)球，普通進(jìn)球等精彩片段的視頻瀏覽和摘要方案等。
圖5顯示足球比賽視頻精彩內(nèi)容瀏覽主窗口。其中W0是選擇瀏覽視頻文件按鈕，W5是關(guān)閉瀏覽窗口的按鈕，W1是顯示精彩內(nèi)容的視頻畫面播放窗口，W2是精彩內(nèi)容的在視頻中出現(xiàn)位置等數(shù)據(jù)列表，W3顯示精彩內(nèi)的窗口，W4是顯示精彩進(jìn)球的窗口。當(dāng)按下W0是，我們可以選擇所要瀏覽的足球視頻。選定文所要瀏覽文件后，我們可以點(diǎn)擊W3進(jìn)入如圖6所示的畫面或者點(diǎn)擊W4進(jìn)入如圖7所示的畫面。在圖6中，窗口W33中顯示了比賽中兩支球隊(duì)精彩內(nèi)容的總體概括性對(duì)比數(shù)據(jù)，并且在窗口W34中給出了可供選擇的球隊(duì)(球隊(duì)A或者球隊(duì)B或者兩者)和相應(yīng)的精彩內(nèi)容選項(xiàng)，在點(diǎn)擊瀏覽按鈕之后會(huì)在窗口W31中播放精彩片段，并在窗口W32中給出了片段中在整個(gè)視頻出現(xiàn)的時(shí)間。在圖7中，窗口W43中顯示了比賽中兩支球隊(duì)具體進(jìn)球類型的總體概括性對(duì)比數(shù)據(jù)，并且在窗口W44中給出了可供選擇的球隊(duì)(球隊(duì)A或者球隊(duì)B或者兩者)和相應(yīng)的進(jìn)球內(nèi)容選項(xiàng)，在點(diǎn)擊瀏覽按鈕之后會(huì)在窗口W41中播放精彩片段，并在窗口W42中給出了所選的進(jìn)球片段中在整個(gè)視頻出現(xiàn)的時(shí)間。
權(quán)利要求
1.一種檢測(cè)足球比賽視頻精彩片段的方法，其特征是，包括下述步驟
步驟1，先對(duì)數(shù)據(jù)庫中足球比賽的壓縮視頻通過解碼器進(jìn)行解碼；
步驟2，進(jìn)行視頻鏡頭邊界檢測(cè)，用于檢測(cè)出視頻中鏡頭的邊界，并按照鏡頭的類型來劃分成重播標(biāo)志、其它鏡頭、重播鏡頭三部分；
步驟3，對(duì)鏡頭類型中的其它鏡頭進(jìn)行特征提取，用于對(duì)壓縮域和象素域中進(jìn)行特征選擇和特征分析，提取特征包括主顏色特征、攝像機(jī)運(yùn)動(dòng)特征，紋理特征和字幕特征；主顏色特征提取中，對(duì)其中的每一幀計(jì)算兩個(gè)特征主顏色連通區(qū)域中的綠色區(qū)域占整個(gè)畫面的比例GR和主顏色連通區(qū)域中運(yùn)動(dòng)對(duì)象區(qū)域所占整個(gè)畫面的比例GP；攝像機(jī)運(yùn)動(dòng)特征中采用基于全局運(yùn)動(dòng)矢量場(chǎng)GMVF來進(jìn)行攝像機(jī)運(yùn)動(dòng)模式判斷；在紋理特征提取中，提取每一幀中的紋理強(qiáng)度信息為Tx；
步驟4，根據(jù)步驟3所提取的主顏色、攝像機(jī)運(yùn)動(dòng)、紋理以及字幕特征來對(duì)足球比賽視頻鏡頭進(jìn)行分類；
步驟5，根據(jù)步驟4的足球比賽視頻鏡頭分類結(jié)果進(jìn)行視頻鏡頭片段邊界檢測(cè)，以確定足球視頻中片段之間的邊界；并提取每個(gè)片段中的觀測(cè)矢量；
步驟6，進(jìn)行片段類型判斷，從一個(gè)片段中所提取的觀測(cè)矢量來判斷該片段所屬的類型，按照基于隱馬爾可夫模型HMM片段類型的分類方法。將該片段劃分到以下5種類型中的一種，分別為射門片段、犯規(guī)片段、進(jìn)球片段、定位球片段和普通片段；其中，選擇射門片段、進(jìn)球片段、定位球片段為精彩片段；
步驟7，對(duì)確定的精彩片段進(jìn)行劃分，即將步驟6中檢測(cè)出的精彩片段按照攝像機(jī)的主運(yùn)動(dòng)方向來劃分到足球比賽中的兩個(gè)球隊(duì)中，以獲得兩個(gè)球隊(duì)在精彩片段數(shù)目上的對(duì)比以及對(duì)進(jìn)球類型進(jìn)行判斷；
步驟8，將劃分后的精彩片段進(jìn)行摘錄并存儲(chǔ)到數(shù)據(jù)庫中。
2.根據(jù)權(quán)利要求1所述的檢測(cè)足球比賽視頻精彩片段的方法，其特征是，所述的步驟3中，在提取攝像機(jī)運(yùn)動(dòng)特征中，所述的采用基于全局運(yùn)動(dòng)矢量場(chǎng)GMVF來進(jìn)行攝像機(jī)運(yùn)動(dòng)模式判斷的具體方法是，根據(jù)公式(3)—公式(6)中來描述攝像機(jī)的全局運(yùn)動(dòng)的相關(guān)特征
其中，θ(xi，yi)
和θvar代表運(yùn)動(dòng)矢量(GMVxi；GMVyi)所對(duì)應(yīng)的角度值，全局運(yùn)動(dòng)矢量場(chǎng)中所有運(yùn)動(dòng)矢量所對(duì)應(yīng)的評(píng)價(jià)角度和整個(gè)圖像中運(yùn)動(dòng)矢量的角度方差，(GMVx，GMVy)，(AGMVx，AGMVy)和(GMVDx，GMVDy)分別表示平均的運(yùn)動(dòng)矢量、運(yùn)動(dòng)矢量幅值的平均值以及相應(yīng)的運(yùn)動(dòng)矢量幅值的方差矢量。
3.根據(jù)權(quán)利要求1所述的檢測(cè)足球比賽視頻精彩片段的方法，其特征是，所述的步驟4中，視頻鏡頭分類步驟使用了兩個(gè)分類器通過粗分類器先對(duì)鏡頭進(jìn)行粗分類，然后再通過細(xì)分類器對(duì)粗分類鏡頭中的全景鏡頭進(jìn)行細(xì)分類；其中，鏡頭粗分類是將步驟3提取的顏色紋理特征矢量〈GR，GP，Tx〉劃分成特寫鏡頭、看臺(tái)鏡頭、全景鏡頭和中等鏡頭；鏡頭細(xì)分類是按照公式(3)到公式(6)中所提取的矢量θvar，GMVx，GMVy，AGMVx，AGMVy，GMVDx，和GMVDy所構(gòu)成的一個(gè)7維的全局運(yùn)動(dòng)特征矢量再次將鏡頭粗分類中的全景鏡頭分成縮放鏡頭、跟蹤鏡頭和靜止鏡頭。
4.根據(jù)權(quán)利要求1所述的檢測(cè)足球比賽視頻精彩片段的方法，其特征是，所述步驟5中，所述的片段邊界檢測(cè)的方法是判斷片段的全景鏡頭和非全景鏡頭的邊界，一個(gè)片段的起始位置和終止位置都為非全景鏡頭到全景鏡頭的切換位置。
5.根據(jù)權(quán)利要求1所述的檢測(cè)足球比賽視頻精彩片段的方法，其特征是，在步驟6中，所述的基于隱馬爾可夫模型HMM片段類型的分類方法是，將一個(gè)片段按照其相應(yīng)的觀測(cè)向量O＝O1，…On，On+1，On+2，On+3和相應(yīng)的射門、犯規(guī)、進(jìn)球、定位球和普通片段的HMM模型參數(shù)λi＝(Ai，Bi，πi)來判斷該片段屬于上述5種類型的哪一種，判斷的方法是計(jì)算一個(gè)片段中的觀測(cè)矢量在上述的5個(gè)HMM模型參數(shù)λi＝(Ai，Bi，πi)的概率P(O|λi)并根據(jù)公式(7)判斷其中的最大值所對(duì)應(yīng)的類別S
然后將該片段劃分到最大值所對(duì)應(yīng)的那個(gè)類型中。
6.根據(jù)權(quán)利要求1所述的檢測(cè)足球比賽視頻精彩片段的方法，其特征是，在步驟7中，所述的進(jìn)球類型包括四類任意球進(jìn)球，角球進(jìn)球，點(diǎn)球進(jìn)球，普通進(jìn)球。
全文摘要
本發(fā)明針對(duì)現(xiàn)有體育比賽視頻檢測(cè)精彩片段方法中不能判斷片段所屬的類型，提出了一種檢測(cè)足球視頻精彩片段的方法，包括如下步驟首先對(duì)數(shù)據(jù)庫中足球比賽的壓縮視頻通過解碼器進(jìn)行解碼；接下來進(jìn)行視頻鏡頭邊界檢測(cè)，然后對(duì)鏡頭類型中的其它鏡頭進(jìn)行特征提取，在相應(yīng)特征提取的基礎(chǔ)上進(jìn)行足球視頻鏡頭分類；然后根據(jù)鏡頭分類結(jié)果進(jìn)行視頻鏡頭片段邊界檢測(cè)，并提取每個(gè)片段中的觀測(cè)矢量；再從一個(gè)片段中所提取的觀測(cè)矢量來判斷該片段所屬的類型，接下來對(duì)確定的精彩片段進(jìn)行劃分，最后將劃分后的精彩片段進(jìn)行摘錄并存儲(chǔ)到數(shù)據(jù)庫中。
文檔編號(hào)G06F17/30GK101127866SQ20071001845
公開日2008年2月20日 申請(qǐng)日期2007年8月10日 優(yōu)先權(quán)日2007年8月10日
發(fā)明者錢學(xué)明, 劉貴忠, 歡 汪, 楠 南, 力 孫 申請(qǐng)人:西安交通大學(xué)