專(zhuān)利名稱(chēng)：產(chǎn)生摘要視頻的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種產(chǎn)生視頻摘要的方法和系統(tǒng)，尤其是涉及一種用于密鑰幀抽取以及鏡頭邊界檢測(cè)的方法和系統(tǒng)。
本發(fā)明的背景及現(xiàn)有技術(shù)近來(lái)在個(gè)人計(jì)算機(jī)以及通訊方面的發(fā)展產(chǎn)生了很多種新型的設(shè)備，例如手持計(jì)算機(jī)，個(gè)人數(shù)字助理(PDAs)，智能電話，車(chē)載計(jì)算設(shè)備以及使用戶獲取更多信息的計(jì)算機(jī)。
許多設(shè)備制造商，包括蜂窩電話，PDA以及手持計(jì)算機(jī)的制造商正在努力提高他們的設(shè)備的性能。這些設(shè)備正被賦予日歷工具、地址薄、記錄設(shè)備、全球定位設(shè)備、旅行和地圖工具、電子郵件客戶機(jī)以及網(wǎng)絡(luò)瀏覽器等的功能。結(jié)果，圍繞有關(guān)為這些設(shè)備提供各種信息的應(yīng)用正在形成許多新的行業(yè)。但是，由于許多這些設(shè)備在顯示尺寸，存儲(chǔ)，處理能力以及網(wǎng)絡(luò)接入等方面的限制，設(shè)計(jì)允許這些設(shè)備獲取存儲(chǔ)及處理信息的應(yīng)用就存在著很大的挑戰(zhàn)。
在這些發(fā)展的同時(shí)，在存儲(chǔ)、采集以及網(wǎng)絡(luò)技術(shù)的新發(fā)展導(dǎo)致產(chǎn)生了大量豐富的多媒體內(nèi)容。結(jié)果，在可獲得的豐富內(nèi)容與用戶設(shè)備獲取與處理這些內(nèi)容的能力之間，存在著越來(lái)越多的不匹配。
在這一方面，基于所謂的密鑰幀的視頻摘要是管理與傳輸視頻信息的有效途徑。這一表示方法可在于1999年3月，在韓國(guó)漢城由C.Christopoulos等人發(fā)表的“MPEG-7應(yīng)用通過(guò)內(nèi)容再定位(repurporsing)與媒體轉(zhuǎn)換的通用接入”ISO/IEC/JTC1/SC29/WG11 M4433中描述的MPEG-7應(yīng)用通用多媒體接入中使用，從而將視頻數(shù)據(jù)適用于用戶設(shè)備。
對(duì)于音頻—視頻內(nèi)容，可利用密鑰幀抽取以適合客戶端的帶寬以及計(jì)算能力。例如，低帶寬或者低能力的客戶端，可能請(qǐng)求只傳送音頻信息，或者只傳送音頻信息與一些密鑰幀相合并的信息。高帶寬或者計(jì)算效率高的客戶端可能請(qǐng)求整個(gè)AV內(nèi)容。另外的一個(gè)應(yīng)用是快速瀏覽數(shù)字視頻。以固定的時(shí)間間隔跳過(guò)視頻幀減少了視頻觀看時(shí)間。但是這只是給出了整個(gè)視頻信號(hào)的一個(gè)隨意取樣。
下面將采用如下描述的定義鏡頭鏡頭被定義為一個(gè)攝像機(jī)在時(shí)間與空間上的一個(gè)連續(xù)動(dòng)作中所捕捉的幀的一個(gè)序列，參看J.Monaco，“如何讀電影”，牛津出版社，1981年。
鏡頭邊界在鏡頭之間有一些不同類(lèi)型的邊界。切換是發(fā)生在一個(gè)單獨(dú)的幀中的突然的鏡頭改變。漸變是亮度的逐漸改變變?yōu)橐粋€(gè)黑幀(淡出)或者以黑幀開(kāi)始(淡入)。疊化發(fā)生在第一個(gè)鏡頭的圖像變得更模糊而第二個(gè)鏡頭的圖像變得更明亮的時(shí)候，在轉(zhuǎn)換中的幀表現(xiàn)為一個(gè)圖像疊加在另一個(gè)圖像之上。劃變發(fā)生在當(dāng)?shù)诙€(gè)鏡頭的像素以規(guī)則的形狀例如從幀的左邊界開(kāi)始的一條線取代第一個(gè)鏡頭中的那些像素的時(shí)候。
密鑰幀密鑰幀被定義在每一鏡頭里面。它們代表了根據(jù)主觀或者客觀測(cè)量，與鏡頭的內(nèi)容信息最相關(guān)的少量的幀。
傳統(tǒng)的視頻摘要包括兩個(gè)步驟1.鏡頭邊界檢測(cè)。
2.密鑰幀抽取。
幀的許多特征，例如色彩，運(yùn)動(dòng)以及形狀都被用來(lái)做視頻摘要。在視頻摘要中標(biāo)準(zhǔn)的鏡頭邊界檢測(cè)的運(yùn)算法則基于頻率分布圖?；陬l率分布圖的技術(shù)是魯棒而有效的，這可從以下文章中看出來(lái)，即A.Smeulders與R.Jain所著的“圖像數(shù)據(jù)庫(kù)以及多媒體搜索”，新加坡，1988，以及J.S.Boreczky與L.A.Rowe的“視頻鏡頭邊界檢測(cè)技術(shù)的比較”，圖象與視頻數(shù)據(jù)庫(kù)IV的存儲(chǔ)與恢復(fù)，IS&T/SPIE，1996年度國(guó)際研討會(huì)，關(guān)于電子圖像科學(xué)與技術(shù)，San Jose，CA，1996年2月。
這樣，兩個(gè)圖像的色彩頻率分布圖就可以被計(jì)算出來(lái)。如果這兩個(gè)分布圖之間的歐幾里得距離超過(guò)一定的門(mén)限值，就假設(shè)存在鏡頭邊界。但是，在該鏡頭邊界確定過(guò)程中，沒(méi)有使用有關(guān)運(yùn)動(dòng)的信息。因此，這種技術(shù)對(duì)攝像機(jī)以及物體運(yùn)動(dòng)來(lái)說(shuō)，其場(chǎng)景存在缺陷。
而且，為提供一個(gè)視頻摘要密鑰幀必須從不同的鏡頭中抽取。傳統(tǒng)的密鑰幀抽取計(jì)算法則如在Wayne Wolf的“通過(guò)運(yùn)動(dòng)分析選擇密鑰幀”，ICASSP96的學(xué)報(bào)中描述的那樣，其中使用了光學(xué)流來(lái)確定鏡頭中本地運(yùn)動(dòng)最小值。這些本地運(yùn)動(dòng)最小值被確定與密鑰幀相對(duì)應(yīng)。機(jī)械視覺(jué)和應(yīng)用，1997年第10卷，第2期，51-65頁(yè)中在W.Xiong與J.C.M.Lee，以及R.H.Ma的“通過(guò)鏡頭分割與密鑰幀選擇的自動(dòng)視頻數(shù)據(jù)構(gòu)成”，采用了搜索—擴(kuò)展運(yùn)算法則，其中為了抽取下一個(gè)密鑰幀將先前密鑰幀作為參考。而且，IEEE ICIP 97學(xué)報(bào)，671-674頁(yè)，1997年R.L.Lagendijk、A.Hanjalic、M.Ceccarelli、M.Soletic與E.Persoon的“在SMASH系統(tǒng)中的視覺(jué)搜索”中，采用了鏡頭的累積動(dòng)作以計(jì)算在每一鏡頭中分配的密鑰幀的數(shù)目與位置。兩幀之間的動(dòng)作是通過(guò)頻率分布圖的差進(jìn)行計(jì)算的。這種方法的一個(gè)優(yōu)點(diǎn)在于密鑰幀的數(shù)目可以預(yù)先指定。
發(fā)明概述本發(fā)明的一個(gè)目的是提供一種用于鏡頭邊界檢測(cè)以及密鑰幀抽取的方法和系統(tǒng)，該方法和系統(tǒng)可用于視頻摘要并對(duì)攝像機(jī)與物體的運(yùn)動(dòng)來(lái)說(shuō)是魯棒的。
通過(guò)用于密鑰幀抽取的方法和系統(tǒng)可以得到這一目的以及其他目的，在該抽取過(guò)程中產(chǎn)生了特征點(diǎn)的列表。該列表跟蹤了視頻序列的連續(xù)幀之間的每個(gè)特征點(diǎn)的軌跡。
在兩個(gè)連續(xù)的幀之間，當(dāng)許多新的特征點(diǎn)進(jìn)入列表的時(shí)候或者當(dāng)許多特征點(diǎn)從列表中移走的時(shí)候，就判定發(fā)生了鏡頭分界。于是，就選擇一個(gè)密鑰幀作為特征點(diǎn)列表中的一幀，在該幀上，沒(méi)有或幾乎沒(méi)有特征點(diǎn)進(jìn)入列表或從列表中出去。
通過(guò)使用這樣的從視頻序列中抽取密鑰幀的方法，圖象中的運(yùn)動(dòng)和/或攝像機(jī)的運(yùn)動(dòng)可以加以考慮。這種密鑰幀抽取運(yùn)算法則相對(duì)攝像機(jī)的運(yùn)動(dòng)將具有更好的魯棒性。
附圖的簡(jiǎn)要說(shuō)明本發(fā)明將參照附圖詳細(xì)地描述，其中附

圖1a和1b是表明鏡頭邊界檢測(cè)的運(yùn)算法則的流程圖。
附圖2是表明在連續(xù)的視頻幀中追蹤特征點(diǎn)的裝置的基本方框圖。
附圖3是表明在一個(gè)鏡頭中活動(dòng)性變化的圖。
附圖4表明具有檢測(cè)的特征點(diǎn)的一系列連續(xù)幀。
發(fā)明詳述附圖1a和1b中示出了表明按照第一優(yōu)選實(shí)施例用于鏡頭邊界檢測(cè)的計(jì)算法則中在一次循環(huán)中執(zhí)行的步驟的流程圖。
這樣，參照附圖1a，首先在塊101中輸入第一幀，第一幀的特征點(diǎn)就被抽取，并作為輸入來(lái)預(yù)測(cè)下一幀的特征點(diǎn)。接下來(lái)，在塊103中，計(jì)算下一幀的特征點(diǎn)的預(yù)測(cè)值。之后，在塊105中輸入下一幀，在塊107中按照與塊101中使用的同樣的特征點(diǎn)的計(jì)算法則抽取下一幀的特征點(diǎn)。
有關(guān)抽取特征點(diǎn)的計(jì)算法則的描述有很多，這些算法都與拐角點(diǎn)相對(duì)應(yīng)。例如，國(guó)際技巧與智力聯(lián)合委員會(huì)學(xué)報(bào)第7期，1981年，674-679頁(yè)B.Lucas與T.Kanade的“應(yīng)用于立體視覺(jué)的重復(fù)圖像注冊(cè)技術(shù)”中就描述了一種這樣的方法。還有在IEEE高級(jí)會(huì)議，有關(guān)圖像處理1999年，S.K.Bhattacharjee的“使用終端終止小波的特征點(diǎn)的檢測(cè)”中描述的方法也可以使用。
接下來(lái)，在塊109中，執(zhí)行估測(cè)的特征點(diǎn)與塊107中抽取的特征點(diǎn)之間的數(shù)據(jù)關(guān)聯(lián)。接下來(lái)在塊111中執(zhí)行特征點(diǎn)的列表的更新。接下來(lái)，在塊113中執(zhí)行特征點(diǎn)列表上的每一個(gè)特征點(diǎn)的估測(cè)值的更新。最后，運(yùn)算法則返回到塊103，在塊105中輸入下一幀從而執(zhí)行當(dāng)前估測(cè)特征點(diǎn)與下一幀的特征點(diǎn)之間的數(shù)據(jù)關(guān)聯(lián)。
在附圖1a中，算法每次在塊111中更新特征點(diǎn)的列表時(shí)，都要檢測(cè)是否存在鏡頭邊界。這一鏡頭邊界檢測(cè)過(guò)程在附圖1b中示出。從而，首先在塊131中輸入更新的數(shù)據(jù)。接著在塊133中執(zhí)行特征點(diǎn)的當(dāng)前列表與先前的特征點(diǎn)的列表之間的比較。
如果從特征點(diǎn)的前一個(gè)列表中消失的特征點(diǎn)的數(shù)目，或者如果在當(dāng)前的特征點(diǎn)列表中的新的特征點(diǎn)的數(shù)目大于一個(gè)預(yù)設(shè)的門(mén)限值，程序前進(jìn)到塊135中，在那里當(dāng)前幀被表示為鏡頭邊界。
然后處理返回到塊131。另一方面，如果在塊133中判定出當(dāng)前幀不與鏡頭邊界相對(duì)應(yīng)，則程序直接返回到塊131。
在圖2中示出了附圖1a與1b聯(lián)合描述的使用鏡頭邊界檢測(cè)過(guò)程的密鑰幀抽取的計(jì)算法則的一次循環(huán)。在k時(shí)刻的一幀用P個(gè)特征點(diǎn)的序列xn(k)，n＝1，2，...，P表示，它包括*運(yùn)動(dòng)成分位置(x，y)和速度 *光學(xué)成分例如蓋博響應(yīng)(f1，f2，f3，...)
這里表示在時(shí)刻k(或幀k)的特定的特征點(diǎn)的變量n的特征點(diǎn)數(shù)目P是時(shí)間的函數(shù)。
光學(xué)成分一般為例如蓋博響應(yīng)或者高斯導(dǎo)數(shù)響應(yīng)的濾波響應(yīng)，通過(guò)利用圖像強(qiáng)度作為輸入而進(jìn)計(jì)算，參看J.Opt.Soc.Am，第7卷，第5冊(cè)，第923-932頁(yè)，1990年5月，J.Malik，與P.Perona“利用初期視覺(jué)結(jié)構(gòu)辯別文本”。在這里描述的運(yùn)算法則中光學(xué)成分的使用可以提高特征點(diǎn)抽取中的范圍以及旋轉(zhuǎn)靈敏度，但用與不用光學(xué)成分，可以是隨意的。
特征矢量 也被稱(chēng)為狀態(tài)矢量。它的成分匯總特征點(diǎn)n的當(dāng)前以及過(guò)去歷史，從而預(yù)測(cè)它未來(lái)的軌跡。
特征點(diǎn)對(duì)應(yīng)于象拐角點(diǎn)這樣包含大量特征的點(diǎn)。這些點(diǎn)相對(duì)來(lái)說(shuō)較易跟蹤。
參照?qǐng)D2，首先在特征點(diǎn)抽取階段的塊201中，在k+1時(shí)刻被表示為nth測(cè)量值矢量的矢量zn(k+1)＝(x，y，f1，f2，...)被計(jì)算，n＝1，2，...，P。接下來(lái)，在塊203中測(cè)量值預(yù)測(cè)階段，給出上一幀k的預(yù)測(cè)階段矢量 以估算 ，在A.Gelb.“應(yīng)用最佳估測(cè)”，MIT出版社，1974，中描述的卡曼濾波可作為估測(cè)計(jì)算法則來(lái)使用。
接下來(lái)在塊205中，執(zhí)預(yù)測(cè)的測(cè)量值 與抽取的測(cè)量值z(mì)n(k+1)之間的關(guān)聯(lián)，然后更新特征點(diǎn)列表。
Zn(k+1)＝{zn(1)，zn(2)，...，zn(k+1)表示到k+1時(shí)刻特征點(diǎn)的nth列表。最接近的臨近濾波器在Y.Bar-Shalom，T.E.Fortmann的“跟蹤與數(shù)據(jù)連接”，學(xué)院出版社，1988中有所描述，為了更新特征點(diǎn)列表可用作的數(shù)據(jù)關(guān)聯(lián)。估測(cè)的測(cè)量值矢量 ，來(lái)自于上一幀k的特征點(diǎn)列表zn(k)，以及來(lái)自于當(dāng)前幀k+1的測(cè)量值矢量zn(k+1)在數(shù)據(jù)關(guān)聯(lián)步驟中都被用作輸入。重要的是應(yīng)當(dāng)注意到特征點(diǎn)的數(shù)目P可以隨著時(shí)間而變化。這是由于每一數(shù)據(jù)關(guān)聯(lián)周期都包括特征點(diǎn)的開(kāi)始，特征點(diǎn)的終止以及特征點(diǎn)的保持。
下面給出了一個(gè)用于特征點(diǎn)的不同處理類(lèi)型的定義。
1.特征點(diǎn)開(kāi)始當(dāng)新的特征點(diǎn)被抽取的時(shí)候產(chǎn)生新的特征點(diǎn)。
2.特征點(diǎn)終止當(dāng)特征點(diǎn)不再被抽取的時(shí)候，移走特征點(diǎn)。
3.特征點(diǎn)保持當(dāng)相應(yīng)的特征點(diǎn)被抽取的時(shí)候，更新特征點(diǎn)。
最后，當(dāng)許多特征點(diǎn)同時(shí)終止(例如在切換，淡入，疊化，或者劃變的情況下)或者開(kāi)始(例如在切換，淡出，疊化，或者劃變的情況下)的時(shí)候，該幀被確定為相應(yīng)于一個(gè)鏡頭邊界。
此外，為了檢測(cè)鏡頭邊界定義一個(gè)對(duì)特征點(diǎn)的變化率的活動(dòng)性量度。這樣的一個(gè)量度值在下文中用活動(dòng)性變化表示。這個(gè)活動(dòng)性量度值依賴(lài)于在連續(xù)的幀之間的特征點(diǎn)結(jié)束或者開(kāi)始的數(shù)目。例如，測(cè)量值可以被定義為以百分比計(jì)算的特征點(diǎn)結(jié)束以及開(kāi)始之間的最大值。開(kāi)始特征點(diǎn)的百分值是新的特征點(diǎn)的數(shù)目除以當(dāng)前幀的全部特征點(diǎn)的數(shù)目。終止特征點(diǎn)的百分值是移走的特征的數(shù)目除以前一幀中的全部特征點(diǎn)的數(shù)目。
可以設(shè)定一個(gè)合適的門(mén)限值，如果終止特征點(diǎn)與開(kāi)始特征點(diǎn)之間的最大值高于門(mén)限值，就確定發(fā)生了一個(gè)鏡頭邊界。當(dāng)然其它的活動(dòng)性變化的定義也是可能的。
在附圖4中示出了一個(gè)連續(xù)序列幀k(537)，k+1(540)，k+2(541)，k+3(542)中檢測(cè)的特征點(diǎn)。在幀k+1(540)中來(lái)自于幀k(537)中的大部分特征點(diǎn)都被檢測(cè)到。同時(shí)，幾乎沒(méi)有點(diǎn)停止存在且只有少數(shù)的點(diǎn)第一次開(kāi)始出現(xiàn)。在幀k+3(542)，大部分特征點(diǎn)都消失了。因此該幀被確定為相應(yīng)于鏡頭邊界(切換)。
實(shí)驗(yàn)表明一個(gè)鏡頭包含具有最重要的信息內(nèi)容的一系列連續(xù)的穩(wěn)定狀態(tài)。如圖3所示，在兩個(gè)狀態(tài)之間的轉(zhuǎn)換相應(yīng)于活動(dòng)性變化的峰值。在圖3中，示出的活動(dòng)性變化是時(shí)間(或者幀)的函數(shù)。穩(wěn)定狀態(tài)，即具有低活動(dòng)性變化的平坦部分被檢測(cè)出來(lái)并用于抽取密鑰幀。
再次參照附圖4，在幀k+1(540)中，幀k(537)中的大部分特征點(diǎn)被檢測(cè)到。同時(shí)，幾乎沒(méi)有點(diǎn)停止存在，并且只有少量點(diǎn)開(kāi)始第一次出現(xiàn)。因此，幀k+1可以是一個(gè)合適的密鑰幀。
這樣，一旦使用上述描述的運(yùn)算法則確定了鏡頭邊界，在鏡頭邊界之間的一個(gè)或幾個(gè)本地最小值就被抽取出來(lái)作為密鑰幀。已經(jīng)示出本地最小值發(fā)生在活動(dòng)性變化為常數(shù)的位置。因此沒(méi)有必要抽取本地最小幀本身，只要活動(dòng)性變化為常數(shù)的幀都可以有一個(gè)好的結(jié)果。但是，相應(yīng)于鏡頭邊界之間活動(dòng)性變化中本地最小值的幀會(huì)提供最好的結(jié)果。
這樣，例如，電影導(dǎo)演可以使用攝像機(jī)的移動(dòng)(平移，變焦)來(lái)表明兩個(gè)事件之間的連接。在演員A與演員B彼此說(shuō)話的一個(gè)穩(wěn)定的背景前成像一個(gè)鏡頭。當(dāng)演員A講話的時(shí)候，攝像機(jī)聚焦在A的身上。這相應(yīng)于時(shí)間上的低活動(dòng)性(抽取的特征點(diǎn)沒(méi)有較大的變化)。當(dāng)演員B開(kāi)始說(shuō)話的時(shí)候，攝像機(jī)移向他。這一平移相應(yīng)于幀上的高活動(dòng)性。然后，當(dāng)攝像機(jī)逐漸停留在演員B上的時(shí)候，活動(dòng)性的值再次降為低的值。密鑰幀是從低活動(dòng)性的幀中選擇出來(lái)的，即圖3示出的平坦的部分。
壓縮視頻的應(yīng)用會(huì)使運(yùn)算法則更為快速。但是，為了實(shí)現(xiàn)多目標(biāo)跟蹤而壓縮的域中可用的信息是有限的。折衷的辦法是只解碼視頻序列的I幀。然后I幀就可以應(yīng)用于視頻摘要的運(yùn)算法則當(dāng)中，如前所述。
該選擇是由三個(gè)因素激發(fā)的。首先，I幀頻繁地發(fā)生，例如每12幀中有一個(gè)I幀。由于一個(gè)鏡頭平均持續(xù)5-23秒，該幀的子抽樣是可以接受的，參看例如D.Colla與G.Ghoma的“廣播電視中的圖像活動(dòng)特征”，IEEE trans，通訊，第26卷第1201-1206頁(yè)，1976。第二，這里描述的運(yùn)算法則能夠處理兩個(gè)連續(xù)幀之間的較大的移動(dòng)，這有賴(lài)于卡曼濾波的使用。第三，可以用JPEG編碼或者其它靜態(tài)圖像格式編碼的I幀能夠被獲取，而與視頻序列中的其它幀(例如B-，P-幀)無(wú)關(guān)。
權(quán)利要求
1.一種從視頻信號(hào)中抽取密鑰幀的方法，其特征在于下述步驟從視頻信號(hào)幀中抽取特征點(diǎn)，跟蹤連續(xù)幀之間的特征點(diǎn)，測(cè)量連續(xù)幀之間的新的或者消失的特征點(diǎn)數(shù)目，當(dāng)新的或者消失的特征點(diǎn)數(shù)目高于一個(gè)特定的門(mén)限值的時(shí)候確定視頻信號(hào)中的鏡頭邊界，當(dāng)某一幀位于兩個(gè)鏡頭邊界之間，該鏡頭邊界新的或者消失的特征點(diǎn)符合某一標(biāo)準(zhǔn)時(shí)，該幀選擇為密鑰幀。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于門(mén)限值被定義為以百分比計(jì)算的終止與開(kāi)始的特征點(diǎn)之間的最大值，這里開(kāi)始特征點(diǎn)的百分比為新的特征點(diǎn)數(shù)目除以當(dāng)前幀的全部特征點(diǎn)數(shù)目，終止特征點(diǎn)的百分比為移走的特征點(diǎn)的數(shù)目除以前一幀的全部特征點(diǎn)的數(shù)目。
3.如權(quán)利要求1-2中任何一個(gè)所述的方法，其特征在于密鑰幀是在視頻信號(hào)的一些連續(xù)幀中新的或者消失的特征點(diǎn)為常數(shù)的幀。
4.如權(quán)利要求1-2中任何一個(gè)所述的方法，其特征在于密鑰幀是新的或者消失的特征點(diǎn)與兩個(gè)鏡頭之間的本地最小值相應(yīng)或者其數(shù)目低于一個(gè)特定的預(yù)置門(mén)限值的那一幀。
5.如權(quán)利要求1-4中任何一個(gè)所述的方法，視頻信號(hào)是一個(gè)包括I幀的壓縮視頻信號(hào)，其特征在于只有I幀被解碼并且用作確定鏡頭邊界以及選擇密鑰幀的輸入幀。
6.如權(quán)利要求1-5中任何一個(gè)所述的方法，其特征在于視頻信號(hào)幀中的特征點(diǎn)既使用視頻信號(hào)的運(yùn)動(dòng)成分又使用光學(xué)成分抽取。
7.一種在視頻信號(hào)中檢測(cè)鏡頭邊界的方法，其特征在于包括以下步驟從視頻信號(hào)幀中抽取特征點(diǎn)，跟蹤連續(xù)幀之間的特征點(diǎn)，測(cè)量連續(xù)幀之間的新的或者消失的特征點(diǎn)數(shù)目，當(dāng)新的或者消失的特征點(diǎn)數(shù)目高于一個(gè)特定的門(mén)限值的時(shí)候確定視頻信號(hào)中的鏡頭邊界。
8.一種如權(quán)利要求7所述的方法，其特征在于門(mén)限值被定義為以百分比計(jì)算的終止與開(kāi)始的特征點(diǎn)之間的最大值，這里開(kāi)始特征點(diǎn)的百分比為新的特征點(diǎn)數(shù)目除以當(dāng)前幀的全部特征點(diǎn)數(shù)目，終止特征點(diǎn)的百分比為移走的特征點(diǎn)的數(shù)目除以前一幀的全部特征點(diǎn)的數(shù)目。
9.如權(quán)利要求7-8中的任何一個(gè)所述的方法，其特征在于視頻信號(hào)幀中的特征點(diǎn)既使用視頻信號(hào)的運(yùn)動(dòng)部分又使用光學(xué)部分來(lái)抽取。
10.如權(quán)利要求7-9中的任何一個(gè)所述的方法，視頻信號(hào)是一個(gè)包括I幀的壓縮視頻信號(hào)，其特征在于只有I幀被解碼并且用作確定鏡頭邊界以及選擇密鑰幀的輸入幀。
11.一種用于從視頻信號(hào)中抽取密鑰幀的設(shè)備，其特征在于用于測(cè)量連續(xù)幀之間的新的或者消失的特征點(diǎn)的數(shù)目的裝置，用于當(dāng)新的或者消失的特征點(diǎn)的數(shù)目高于一個(gè)特定的門(mén)限值的時(shí)候確定視頻信號(hào)中的鏡頭邊界的裝置，用于當(dāng)某一幀位于兩個(gè)鏡頭邊界之間，其中新的或者消失的特征點(diǎn)的數(shù)目符合一個(gè)特定的標(biāo)準(zhǔn)時(shí)，將該幀選為密鑰幀的裝置。
12.如權(quán)利要求11所述的設(shè)備，其特征在于門(mén)限值被定義為以百分比計(jì)算的終止與開(kāi)始的特征點(diǎn)之間的最大值，這里開(kāi)始特征點(diǎn)的百分比為新的特征點(diǎn)數(shù)目除以當(dāng)前幀的全部特征點(diǎn)數(shù)目，終止特征點(diǎn)的百分比為移走的特征點(diǎn)的數(shù)目除以前一幀的全部特征點(diǎn)的數(shù)目。
13.如權(quán)利要求11-12中的任何一個(gè)所述的設(shè)備，其特征在于密鑰幀選擇裝置選擇視頻信號(hào)的一些連續(xù)幀中新的或者消失的特征點(diǎn)為常數(shù)的幀。
14.如權(quán)利要求11-12中的任何一個(gè)所述的設(shè)備，其特征在于密鑰幀選擇裝置選擇新的或者消失的特征點(diǎn)與兩個(gè)鏡頭之間的本地最小值相應(yīng)或者其數(shù)目低于一個(gè)特定的預(yù)置門(mén)限值的那一幀。
15.如權(quán)利要求11-14中的任何一個(gè)所述的設(shè)備，視頻信號(hào)是一個(gè)包括I幀的壓縮視頻信號(hào)，其特征在于只有I幀被解碼并且用作確定鏡頭邊界以及選擇密鑰幀的輸入幀。
16.如權(quán)利要求11-15中的任何一個(gè)所述的設(shè)備，其特征在于視頻信號(hào)幀中的特征點(diǎn)的裝置既使用視頻信號(hào)的運(yùn)動(dòng)成分又使用光學(xué)成分來(lái)抽取。
17.一種在視頻信號(hào)中檢測(cè)鏡頭邊界的設(shè)備，其特征在于用于檢測(cè)在連續(xù)的幀之間新的或者消失的特征點(diǎn)的數(shù)目的裝置，用于當(dāng)新的或者消失的特征的數(shù)目高于一個(gè)預(yù)定的門(mén)限值的時(shí)候確定視頻信號(hào)中的鏡頭邊界的裝置。
18.如權(quán)利要求17所述的設(shè)備，其特征在于門(mén)限值被定義為以百分比計(jì)算的終止與開(kāi)始的特征點(diǎn)的最大值，這里開(kāi)始特征點(diǎn)的百分比為新的特征點(diǎn)數(shù)目除以當(dāng)前幀的全部特征點(diǎn)數(shù)目，終止特征點(diǎn)的百分比為移走的特征點(diǎn)的數(shù)目除以前一幀的全部特征點(diǎn)的數(shù)目。
19.如權(quán)利要求17-18中任何一個(gè)所述的設(shè)備，其特征在于視頻信號(hào)幀中的特征點(diǎn)的裝置既使用視頻信號(hào)的運(yùn)動(dòng)部分又使用光學(xué)部分來(lái)抽取。
20.如權(quán)利要求17-19中任何一個(gè)所述的設(shè)備，視頻信號(hào)是一個(gè)包括I幀的壓縮視頻信號(hào)，其特征在于只有I幀被解碼并且用作確定鏡頭邊界以及選擇密鑰幀的輸入幀的裝置。
21.一種用于視頻摘要的系統(tǒng)，包括根據(jù)權(quán)利要求11-20中的任一個(gè)的設(shè)備。
全文摘要
描述了一種用于視頻摘要的運(yùn)算法則。該法則包括光學(xué)與運(yùn)動(dòng)的信息。根據(jù)該運(yùn)算法則特征點(diǎn)之間的對(duì)應(yīng)關(guān)系被用于檢測(cè)鏡頭邊界以及用于選擇密鑰幀。這樣,特征點(diǎn)消失或者出現(xiàn)的比率被用于表示鏡頭轉(zhuǎn)換是否發(fā)生。密鑰幀選擇為活動(dòng)性變化低的幀。
文檔編號(hào)G06T7/20GK1365574SQ0080893
公開(kāi)日2002年8月21日 申請(qǐng)日期2000年6月7日 優(yōu)先權(quán)日1999年6月18日
發(fā)明者Y·阿布德堯伊德, T·埃布拉希米, C·克里斯托普洛斯, I·馬斯伊瓦斯 申請(qǐng)人:艾利森電話股份有限公司