專利名稱：節(jié)目端點(diǎn)時(shí)間檢測裝置和方法以及節(jié)目信息檢索系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體內(nèi)容檢索領(lǐng)域，特別涉及一種采用音頻信號處理的方法對節(jié)目 的端點(diǎn)時(shí)間進(jìn)行檢測的節(jié)目端點(diǎn)時(shí)間檢測裝置和方法以及節(jié)目信息檢索系統(tǒng)。
背景技術(shù)：
一般體育視頻比賽時(shí)間比較長，而往往廣大體育愛好者真正關(guān)心的內(nèi)容通常只占 居整場內(nèi)容的很小一部分。隨著越來越多的體育視頻沖擊，使得人們對體育視頻的有效檢 索和管理的要求也越來越迫切。很多時(shí)候，人們沒有足夠時(shí)間觀看實(shí)況轉(zhuǎn)播，因此，很多愛 好者會采取將體育節(jié)目錄制出來，然后等自己有時(shí)間的時(shí)候再拿出來觀看。在觀看的時(shí)候， 用戶會有選擇的觀看其中的一些重要場次，比如下半場、決賽局等。因此，在這種情況下，能 夠準(zhǔn)確獲取比賽場次的起始時(shí)間信息是非常重要的。另一方面，如果需要從中找到自己關(guān)注的內(nèi)容，往往需要用戶從頭至尾遍歷一遍 之后才能找到所需內(nèi)容，這樣既費(fèi)時(shí)又費(fèi)力。因此，如果能夠有這樣一個(gè)體育內(nèi)容檢索系 統(tǒng)，可以幫助用戶檢索一些真正關(guān)心的內(nèi)容，就可以大大節(jié)約時(shí)間。關(guān)于上述課題，本領(lǐng)域技術(shù)人員進(jìn)行了如下的研究。非專利文獻(xiàn)1中，僅利用語音信息來對廣告，籃球比賽，足球比賽，新聞報(bào)道和天 氣預(yù)報(bào)5類電視節(jié)目進(jìn)行識別，采用的是神經(jīng)網(wǎng)絡(luò)分類器，最后結(jié)合圖像分析以提高準(zhǔn)確 性，沒有對電視節(jié)目的內(nèi)容進(jìn)行分析和檢索。非專利文獻(xiàn)2中，結(jié)合視頻特征用決策樹來檢測足球比賽進(jìn)球場景，但是僅對一 種體育比賽中的進(jìn)球進(jìn)行檢索，該檢測框架僅適用于足球比賽，對于其他的比賽就不適用 了。專利文獻(xiàn)1中，同時(shí)利用音頻和視頻特征對體育比賽進(jìn)行場景分類，包括場地全 景、特寫鏡頭、角球、任意球和進(jìn)球五類場景，其中音頻特征主要是用來識別鼓掌聲和哨聲 兩種類別。專利文獻(xiàn)2中，僅僅利用語音識別技術(shù)得到文本內(nèi)容，在識別后得到的文本內(nèi)容 里面進(jìn)行待搜索內(nèi)容匹配，得到需要檢索的內(nèi)容。專利文獻(xiàn)3中，第一階段對有人工標(biāo)注的多媒體數(shù)據(jù)利用語義標(biāo)簽進(jìn)行相關(guān)音頻 尋找，第二階段，基于語義標(biāo)簽的音頻查詢結(jié)果在線訓(xùn)練該類音樂特征，并利用于音頻內(nèi)容 的查詢。專利文獻(xiàn)4中，提出了一種音頻、視頻內(nèi)容的采集方法和檢索方法，其中音頻方面 采用將聲音分段后識別，生成聲音與文字的對應(yīng)關(guān)系表，用戶使用所需聲音片斷對用的文 字在該對應(yīng)關(guān)系表中進(jìn)行檢索。從以上研究可以看出，目前已有的研究僅對某一兩種體育比賽內(nèi)容的特定內(nèi)容進(jìn) 行分析和檢測，這些研究針對性強(qiáng)，不能很好的擴(kuò)展到其他類別的體育比賽的內(nèi)容檢索中 去。而隨著體育比賽種類的日益增加，消費(fèi)者越來越不可能有足夠的時(shí)間將整場比賽從頭 至尾的觀看一遍了，因此，如何能夠提供一套自動的體育比賽的內(nèi)容檢索系統(tǒng)，從而幫助用戶快速方便的檢索出自己關(guān)注的內(nèi)容是目前廣大體育愛好者們迫切關(guān)注的問題。禾Il文1 :Liu, Ζ.，et al. , "Audio feature extraction and analysis for scenesegmentation and classification，，，Journal of VLSI Signal Processing, pp. 61 to 70(1998).非專利文獻(xiàn)2 =Shu-Ching Chen, Mei-Iing Shyu, Min Chen, Chengcui Zhang, "A decision tree-based multimodal data mining framework for soccer goaldetection，，， 2004 IEEE International Conference on Multimedia and Expo, Volumel, June 2004, pp.265-268.專利文獻(xiàn)1 :US 2005/0195331 Al專利文獻(xiàn)2 :CN101281534專利文獻(xiàn)3 :CN101364222專利文獻(xiàn)4 :CN101102M0

發(fā)明內(nèi)容
為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種節(jié)目端點(diǎn)時(shí)間檢測裝置，通過對所述節(jié)目的 音頻信號進(jìn)行處理，從而檢測所述節(jié)目的端點(diǎn)時(shí)間，該裝置包括音頻分類單元，將所述音 頻信號分類為語音信號部分和非語音信號部分；關(guān)鍵詞檢索單元，從所述語音信號部分檢 索表示節(jié)目開始或結(jié)束的端點(diǎn)關(guān)鍵詞，作為候選的端點(diǎn)關(guān)鍵詞；內(nèi)容分析單元，對通過所述 關(guān)鍵詞檢索單元檢索出的所述候選的端點(diǎn)關(guān)鍵詞的上下文進(jìn)行內(nèi)容分析，以確定所述候選 的端點(diǎn)關(guān)鍵詞是否為有效的端點(diǎn)關(guān)鍵詞；以及節(jié)目端點(diǎn)時(shí)間確定單元，基于所述關(guān)鍵詞檢 索單元的檢索結(jié)果和所述內(nèi)容分析單元的確定結(jié)果進(jìn)行統(tǒng)計(jì)分析，確定節(jié)目的端點(diǎn)時(shí)間。本發(fā)明還提供一種節(jié)目端點(diǎn)時(shí)間檢測方法，通過對所述節(jié)目的音頻信號進(jìn)行處 理，從而檢測所述節(jié)目的端點(diǎn)時(shí)間，該方法包括音頻分類步驟，將所述音頻信號分類為語 音信號部分和非語音信號部分；關(guān)鍵詞檢索步驟，從所述語音信號部分檢索表示節(jié)目開始 或結(jié)束的端點(diǎn)關(guān)鍵詞，作為候選的端點(diǎn)關(guān)鍵詞；內(nèi)容分析步驟，對通過所述關(guān)鍵詞檢索步驟 檢索出的所述候選的端點(diǎn)關(guān)鍵詞的上下文進(jìn)行內(nèi)容分析，以確定所述候選的端點(diǎn)關(guān)鍵詞是 否為有效的端點(diǎn)關(guān)鍵詞；以及節(jié)目端點(diǎn)時(shí)間確定步驟，基于所述關(guān)鍵詞檢索步驟的檢索結(jié) 果和所述內(nèi)容分析步驟的確定結(jié)果進(jìn)行統(tǒng)計(jì)分析，確定節(jié)目的端點(diǎn)時(shí)間。另外，本發(fā)明還提供一種節(jié)目信息檢索系統(tǒng)，通過對所述節(jié)目的音頻信號進(jìn)行處 理，從而獲得用戶所需的節(jié)目信息，該系統(tǒng)包括顯示裝置，用于顯示該系統(tǒng)的用戶界面； 節(jié)目導(dǎo)入裝置，將多個(gè)節(jié)目導(dǎo)入所述節(jié)目信息檢索系統(tǒng)，并在所述顯示裝置中顯示節(jié)目列 表；以及節(jié)目端點(diǎn)時(shí)間檢測裝置，對用戶從節(jié)目列表中選擇的節(jié)目進(jìn)行分析，以得到所述節(jié) 目的端點(diǎn)時(shí)間，并顯示在所述顯示裝置上，所述節(jié)目端點(diǎn)時(shí)間檢測裝置包括音頻分類單 元，將所述音頻信號分類為語音信號部分和非語音信號部分；關(guān)鍵詞檢索單元，從所述語音 信號部分檢索表示節(jié)目開始或結(jié)束的端點(diǎn)關(guān)鍵詞，作為候選的端點(diǎn)關(guān)鍵詞；內(nèi)容分析單元， 對通過所述關(guān)鍵詞檢索單元檢索出的所述候選的端點(diǎn)關(guān)鍵詞的上下文進(jìn)行內(nèi)容分析，以確 定所述候選的端點(diǎn)關(guān)鍵詞是否為有效的端點(diǎn)關(guān)鍵詞；以及節(jié)目端點(diǎn)時(shí)間確定單元，基于所 述關(guān)鍵詞檢索單元的檢索結(jié)果和所述內(nèi)容分析單元的確定結(jié)果進(jìn)行統(tǒng)計(jì)分析，確定節(jié)目的 端點(diǎn)時(shí)間。
通過本發(fā)明的節(jié)目端點(diǎn)時(shí)間檢測裝置和方法，用戶可以快速從冗長的節(jié)目視頻中 輕松地找到節(jié)目的準(zhǔn)確開始和結(jié)束時(shí)間點(diǎn)。另外，通過本發(fā)明的節(jié)目信息檢索系統(tǒng)，可以對節(jié)目內(nèi)容進(jìn)行理解和分析，幫助用 戶提取一些感興趣的事件和信息，比如檢索節(jié)目的類別，檢索精彩事件，檢索關(guān)鍵人名和隊(duì) 名等，檢索不同節(jié)目的開始和結(jié)束時(shí)間點(diǎn)等等。


圖1是表示本發(fā)明的第一實(shí)施例的節(jié)目端點(diǎn)時(shí)間檢測裝置1的方框圖。圖2是表示本發(fā)明的第一實(shí)施例的節(jié)目端點(diǎn)時(shí)間檢測方法的流程圖。圖3是表示本發(fā)明的第二實(shí)施例的節(jié)目端點(diǎn)時(shí)間檢測裝置1’的方框圖。圖4是表示本發(fā)明的第二實(shí)施例的節(jié)目端點(diǎn)時(shí)間檢測裝置1’的模塊概念圖。圖5是表示應(yīng)用了本發(fā)明的節(jié)目端點(diǎn)時(shí)間檢測裝置1 (1’)的節(jié)目信息檢索系統(tǒng)2 的方框圖。圖6是表示節(jié)目信息檢索系統(tǒng)2的用戶界面的一例的示意圖。
具體實(shí)施例方式下面，基于

本發(fā)明的具體實(shí)施方式
。本發(fā)明中所提到的“節(jié)目”一詞包括體育比賽、文藝表演、電視劇、話劇、電視訪談、 音樂會、家庭錄像等等，一切觀眾想要觀看/收聽(視聽)的包括音頻、視頻等在內(nèi)的多媒 體內(nèi)容。另外，節(jié)目的“端點(diǎn)”是指節(jié)目中觀眾所真正關(guān)心的部分的開始點(diǎn)和結(jié)束點(diǎn)，比如 足球比賽中的上下半場的開始點(diǎn)和結(jié)束點(diǎn)。在下面的說明中主要以體育比賽節(jié)目為例進(jìn)行 說明，但本發(fā)明不限于對體育比賽節(jié)目的檢索，本發(fā)明可以適用于包括上述列舉的以及列 舉以外的任何節(jié)目內(nèi)容的檢索。圖1是表示本發(fā)明的第一實(shí)施例的節(jié)目端點(diǎn)時(shí)間檢測裝置1的方框圖。如圖1所示，所述節(jié)目端點(diǎn)時(shí)間檢測裝置1包括音頻分類單元11，將音頻信號分 類為語音信號部分和非語音信號部分；關(guān)鍵詞檢索單元12，從語音信號部分檢索表示節(jié)目 開始或結(jié)束的端點(diǎn)關(guān)鍵詞，作為候選的端點(diǎn)關(guān)鍵詞；內(nèi)容分析單元13，對通過關(guān)鍵詞檢索 單元12檢索出的候選的端點(diǎn)關(guān)鍵詞的上下文進(jìn)行內(nèi)容分析，以確定候選的端點(diǎn)關(guān)鍵詞是 否為有效的端點(diǎn)關(guān)鍵詞；以及節(jié)目端點(diǎn)時(shí)間確定單元14，基于關(guān)鍵詞檢索單元12的檢索結(jié) 果和內(nèi)容分析單元13的確定結(jié)果進(jìn)行統(tǒng)計(jì)分析，確定節(jié)目的端點(diǎn)時(shí)間。上述各單元可以通 過分別獨(dú)立的裝置來實(shí)現(xiàn)，也可以是部分或全部集成在同一集成電路上，也可以采用公知 的計(jì)算機(jī)來實(shí)現(xiàn)，這對于本領(lǐng)域技術(shù)人員是不言而喻的。音頻分類單元11通過未圖示的接口取入音頻信號，并將音頻信號的語音信號部 分和非語音信號部分進(jìn)行分離。作為其分離方法，可以采用基于模型的分類方法，或者基于 聚類的方法，或者二者結(jié)合的方法等多種方法。以二者結(jié)合方法為例，如表1所示，以10種 比賽為例，語音分段的結(jié)果為表 1運(yùn)動精度召回率F值籃球88. 03%91. 40%89. 69%網(wǎng)球92. 05%94. 20%93. 11%足球89. 84%94. 42%92. 07%網(wǎng)球85. 39%94. 37%89. 65%尚爾夫69. 25%94. 87%80. 06%羽毛球92. 34%87. 37%89. 79%乒乓球93. 25%91. 87%92. 56%曲棍球96. 31%86. 89%91. 36%沙灘排球92. 71%89. 74%91. 20%臺球90. 29%91. 95%91. 11%平均88. 90%91. 70%90. 28%其中精度(語音)=正確提取語音的持續(xù)時(shí)間/結(jié)果全部語音的持續(xù)時(shí)間召回率(語音)=正確提取語音的持續(xù)時(shí)間/全部相關(guān)語音的持續(xù)時(shí)間F值=2X精度X召回率/(精度+召回率)作為一例，關(guān)鍵詞檢索單元12首先將由音頻分類單元11分段得到的語音信號部 分進(jìn)行輸入識別系統(tǒng)，將得到的識別結(jié)果構(gòu)建一個(gè)檢索文件，最后在這個(gè)檢索文件里面搜 索需要的關(guān)鍵詞即進(jìn)行關(guān)鍵詞匹配，最終得到關(guān)鍵詞結(jié)果。上述關(guān)鍵詞可以預(yù)先存儲在未 圖示的存儲器中，由關(guān)鍵詞檢索單元12調(diào)用來進(jìn)行上述關(guān)鍵詞檢索。在這里需要選取的 關(guān)鍵詞是指與比賽開始/結(jié)束相關(guān)聯(lián)的詞語，即端點(diǎn)關(guān)鍵詞，比如“比賽開始”、“開始”、“開 球”、“開賽”、“結(jié)束”、“終止”等等。所述未圖示的存儲器中，除了上述端點(diǎn)關(guān)鍵詞之外，還 可以存儲用于其他檢索目的的其它的關(guān)鍵詞以及其它內(nèi)容，這將在下面進(jìn)一步敘述。另外， 由于類似與“比賽開始”這樣的詞語在比賽中間也會出現(xiàn)，因此，我們還需要其他的信息輔 助以得到最終的結(jié)果，從而得到有效的端點(diǎn)關(guān)鍵詞，這將在下面敘述。在10種體育類別105 場比賽中的關(guān)鍵詞檢索性能如表2所示表2
關(guān)鍵詞關(guān)鍵詞運(yùn)動出現(xiàn)個(gè)數(shù)檢測正確率
權(quán)利要求
1.一種節(jié)目端點(diǎn)時(shí)間檢測裝置，通過對所述節(jié)目的音頻信號進(jìn)行處理，從而檢測所述 節(jié)目的端點(diǎn)時(shí)間，該裝置包括音頻分類單元，將所述音頻信號分類為語音信號部分和非語音信號部分；關(guān)鍵詞檢索單元，從所述語音信號部分檢索表示節(jié)目開始或結(jié)束的端點(diǎn)關(guān)鍵詞，作為 候選的端點(diǎn)關(guān)鍵詞；內(nèi)容分析單元，對通過所述關(guān)鍵詞檢索單元檢索出的所述候選的端點(diǎn)關(guān)鍵詞的上下文 進(jìn)行內(nèi)容分析，以確定所述候選的端點(diǎn)關(guān)鍵詞是否為有效的端點(diǎn)關(guān)鍵詞；以及節(jié)目端點(diǎn)時(shí)間確定單元，基于所述關(guān)鍵詞檢索單元的檢索結(jié)果和所述內(nèi)容分析單元的 確定結(jié)果進(jìn)行統(tǒng)計(jì)分析，確定節(jié)目的端點(diǎn)時(shí)間。
2.如權(quán)利要求1所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，其中，所述內(nèi)容分析單元還通過對語音信號部分進(jìn)行內(nèi)容分析，從而確定與所述表示節(jié)目開 始或結(jié)束的端點(diǎn)關(guān)鍵詞相近的表述。
3.如權(quán)利要求1所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，還包括特征音頻檢索單元，其從所述非語音信號部分中，檢索表示節(jié)目開始或結(jié)束的 特征音頻部分，其中，所述節(jié)目端點(diǎn)時(shí)間確定單元還基于所述特征音頻部分來確定節(jié)目的端點(diǎn)時(shí)間。
4.如權(quán)利要求3所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，所述關(guān)鍵詞檢索單元僅對由所述特征音頻部分所確定的時(shí)間范圍內(nèi)的靠近兩端的所 述語音信號部分對進(jìn)行檢索。
5.如權(quán)利要求3所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，還包括音頻場景分析單元，其將所述音頻信號劃分為包含節(jié)目現(xiàn)場音頻部分的多個(gè)場 景部分，其中，所述音頻分類單元僅將所述音頻信號中的所述現(xiàn)場音頻部分分類為語音信號部 分和非語音信號部分。
6.如權(quán)利要求5所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，所述特征音頻檢索單元僅對所述節(jié)目現(xiàn)場音頻部分中的靠近兩端的所述非語音信號 部分進(jìn)行檢索。
7.如權(quán)利要求1所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，還包括固定音頻檢索單元，其在所述非語音信號部分中，檢索固定音頻部分，所述固定 音頻部分是表示節(jié)目即將開始的音頻部分，其中，所述節(jié)目端點(diǎn)時(shí)間確定單元還基于所述固定音頻部分來確定節(jié)目的端點(diǎn)時(shí)間。
8.如權(quán)利要求7所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，所述關(guān)鍵詞檢索單元僅對由所述固定音頻部分所確定的時(shí)間范圍內(nèi)的靠近兩端的所 述語音信號部分對進(jìn)行檢索。
9.如權(quán)利要求7所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，所述固定音頻檢索單元還在由所述音頻場景分析單元劃分的所述多個(gè)場景部分中檢 索所述固定音頻部分。
10.如權(quán)利要求5所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，還包括切換間隙檢測單元，其在所述音頻信號中檢測表示不同節(jié)目部分之間的切換的靜音部分，從而將所述音頻信號劃分為多個(gè)部分，其中，所述音頻場景分析單元對由所述切換間隙檢測單元劃分的多個(gè)部分進(jìn)行分析， 從而分為所述多個(gè)場景部分。
11.如權(quán)利要求1所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，還包括音頻場景分析單元，其將所述音頻信號劃分為包含節(jié)目現(xiàn)場音頻部分的多個(gè)場 景部分，其中，所述音頻分類單元僅將所述音頻信號中的所述現(xiàn)場音頻部分分類為語音信號部 分和非語音信號部分。
12.如權(quán)利要求1 11的任何一項(xiàng)所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，還包括節(jié)目分類單元，從所述語音信號部分檢索表示節(jié)目類型的關(guān)鍵詞，以判斷節(jié)目 類型，其中，所述關(guān)鍵詞檢索單元根據(jù)所述節(jié)目類型來檢索相應(yīng)的端點(diǎn)關(guān)鍵詞。
13.如權(quán)利要求1 11的任何一項(xiàng)所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，還包括語音識別單元，對所述語音信號部分進(jìn)行語音識別，并構(gòu)建相應(yīng)的檢索文件；以及存儲單元，存儲有表示節(jié)目特征的關(guān)鍵詞，所述關(guān)鍵詞至少包括表示節(jié)目開始或結(jié)束的端點(diǎn)關(guān)鍵詞，其中，所述關(guān)鍵詞檢索單元從所述檢索文件中檢索所述表示節(jié)目開始或結(jié)束的端點(diǎn)關(guān) 鍵詞，作為候選的端點(diǎn)關(guān)鍵詞，所述內(nèi)容分析單元對所述檢索文件中通過所述關(guān)鍵詞檢索單元檢索出的所述候選的 端點(diǎn)關(guān)鍵詞的上下文進(jìn)行內(nèi)容分析，以確定有效的端點(diǎn)關(guān)鍵詞。
14.一種節(jié)目端點(diǎn)時(shí)間檢測方法，通過對所述節(jié)目的音頻信號進(jìn)行處理，從而檢測所述 節(jié)目的端點(diǎn)時(shí)間，該方法包括音頻分類步驟，將所述音頻信號分類為語音信號部分和非語音信號部分；關(guān)鍵詞檢索步驟，從所述語音信號部分檢索表示節(jié)目開始或結(jié)束的端點(diǎn)關(guān)鍵詞，作為 候選的端點(diǎn)關(guān)鍵詞；內(nèi)容分析步驟，對通過所述關(guān)鍵詞檢索步驟檢索出的所述候選的端點(diǎn)關(guān)鍵詞的上下文 進(jìn)行內(nèi)容分析，以確定所述候選的端點(diǎn)關(guān)鍵詞是否為有效的端點(diǎn)關(guān)鍵詞；以及節(jié)目端點(diǎn)時(shí)間確定步驟，基于所述關(guān)鍵詞檢索步驟的檢索結(jié)果和所述內(nèi)容分析步驟的 確定結(jié)果進(jìn)行統(tǒng)計(jì)分析，確定節(jié)目的端點(diǎn)時(shí)間。
15.如權(quán)利要求14所述的節(jié)目端點(diǎn)時(shí)間檢測方法，其中，所述內(nèi)容分析步驟中還包括通過對語音信號部分進(jìn)行內(nèi)容分析，從而確定與所述表示 節(jié)目開始或結(jié)束的端點(diǎn)關(guān)鍵詞相近的表述的步驟。
16.如權(quán)利要求14所述的節(jié)目端點(diǎn)時(shí)間檢測方法，還包括特征音頻檢索步驟，其從所述非語音信號部分中，檢索表示節(jié)目開始或結(jié)束的 特征音頻部分，其中，所述節(jié)目端點(diǎn)時(shí)間確定步驟還基于所述特征音頻部分來確定節(jié)目的端點(diǎn)時(shí)間。
17.如權(quán)利要求16所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，所述關(guān)鍵詞檢索步驟中僅對由所述特征音頻部分所確定的時(shí)間范圍內(nèi)的靠近兩端的 所述語音信號部分對進(jìn)行檢索。
18.如權(quán)利要求16所述的節(jié)目端點(diǎn)時(shí)間檢測方法，還包括音頻場景分析步驟，其將所述音頻信號劃分為包含節(jié)目現(xiàn)場音頻部分的多個(gè)部分，其中，所述音頻分類步驟僅將所述音頻信號中的所述現(xiàn)場音頻部分分類為語音信號部 分和非語音信號部分。
19.如權(quán)利要求18所述的節(jié)目端點(diǎn)時(shí)間檢測方法，所述特征音頻檢索步驟中僅對所述節(jié)目現(xiàn)場音頻部分中的靠近兩端的所述非語音信 號部分進(jìn)行檢索。
20.如權(quán)利要求14所述的節(jié)目端點(diǎn)時(shí)間檢測方法，還包括固定音頻檢索步驟，其在所述非語音信號部分中，檢索固定音頻部分，所述固定 音頻部分是表示節(jié)目即將開始的音頻部分，其中，所述節(jié)目端點(diǎn)時(shí)間確定步驟還基于所述固定音頻部分來確定節(jié)目的端點(diǎn)時(shí)間。
21.如權(quán)利要求20所述的節(jié)目端點(diǎn)時(shí)間檢測裝置，所述關(guān)鍵詞檢索步驟中僅對由所述固定音頻部分所確定的時(shí)間范圍內(nèi)的靠近兩端的 所述語音信號部分對進(jìn)行檢索。
22.如權(quán)利要求20所述的節(jié)目端點(diǎn)時(shí)間檢測方法，所述固定音頻檢索步驟中，還在在所述音頻場景分析步驟中劃分的所述多個(gè)場景部分 中檢索所述固定音頻部分。
23.如權(quán)利要求18所述的節(jié)目端點(diǎn)時(shí)間檢測方法，所述音頻場景分析步驟中還包括切換間隙檢測步驟，其在所述音頻信號中檢測表示不 同節(jié)目部分之間的切換的靜音部分，從而將所述音頻信號劃分為多個(gè)部分，其中，所述音頻場景分析步驟中對由所述切換間隙檢測單元劃分的多個(gè)部分進(jìn)行分 析，從而分為所述多個(gè)場景部分。
24.如權(quán)利要求14所述的節(jié)目端點(diǎn)時(shí)間檢測方法，還包括音頻場景分析步驟，其將所述音頻信號劃分為包含節(jié)目現(xiàn)場音頻部分的多個(gè)部分，其中，所述音頻分類步驟僅將所述音頻信號中的所述現(xiàn)場音頻部分分類為語音信號部 分和非語音信號部分。
25.如權(quán)利要求14 M的任何一項(xiàng)所述的節(jié)目端點(diǎn)時(shí)間檢測方法，還包括節(jié)目分類步驟，從所述語音信號部分檢索表示節(jié)目類型的關(guān)鍵詞，以判斷節(jié)目類型； 其中，所述關(guān)鍵詞檢索步驟根據(jù)所述節(jié)目類型來檢索相應(yīng)的端點(diǎn)關(guān)鍵詞。
26.如權(quán)利要求14 M的任何一項(xiàng)所述的節(jié)目端點(diǎn)時(shí)間檢測方法，還包括語音識別步 驟，對所述語音信號部分進(jìn)行語音識別，并構(gòu)建相應(yīng)的檢索文件，其中，所述關(guān)鍵詞檢索步驟從存儲單元中提取表示節(jié)目開始或結(jié)束的端點(diǎn)關(guān)鍵詞，并 從所述檢索文件中檢索所述表示節(jié)目開始或結(jié)束的端點(diǎn)關(guān)鍵詞，作為候選的端點(diǎn)關(guān)鍵詞，所述內(nèi)容分析步驟對所述檢索文件中通過所述關(guān)鍵詞檢索步驟檢索出的所述候選的 端點(diǎn)關(guān)鍵詞的上下文進(jìn)行內(nèi)容分析，以確定有效的端點(diǎn)關(guān)鍵詞。
27.一種節(jié)目信息檢索系統(tǒng)，通過對所述節(jié)目的音頻信號進(jìn)行處理，從而獲得用戶所需 的節(jié)目信息，該系統(tǒng)包括顯示裝置，用于顯示該系統(tǒng)的用戶界面；節(jié)目導(dǎo)入裝置，將多個(gè)節(jié)目導(dǎo)入所述節(jié)目信息檢索系統(tǒng)，并在所述顯示裝置中顯示節(jié) 目列表；以及節(jié)目端點(diǎn)時(shí)間檢測裝置，對用戶從所述節(jié)目列表中選擇的節(jié)目進(jìn)行分析，以得到所述 節(jié)目的端點(diǎn)時(shí)間，并顯示在所述顯示裝置上，所述節(jié)目端點(diǎn)時(shí)間檢測裝置包括音頻分類單元，將所述音頻信號分類為語音信號部分和非語音信號部分；關(guān)鍵詞檢索單元，從所述語音信號部分檢索表示節(jié)目開始或結(jié)束的端點(diǎn)關(guān)鍵詞，作為 候選的端點(diǎn)關(guān)鍵詞；內(nèi)容分析單元，對通過所述關(guān)鍵詞檢索單元檢索出的所述候選的端點(diǎn)關(guān)鍵詞的上下文 進(jìn)行內(nèi)容分析，以確定所述候選的端點(diǎn)關(guān)鍵詞是否為有效的端點(diǎn)關(guān)鍵詞；以及節(jié)目端點(diǎn)時(shí)間確定單元，基于所述關(guān)鍵詞檢索單元的檢索結(jié)果和所述內(nèi)容分析單元的 確定結(jié)果進(jìn)行統(tǒng)計(jì)分析，確定節(jié)目的端點(diǎn)時(shí)間。
28.如權(quán)利要求27所述的信息檢索系統(tǒng)，該系統(tǒng)還包括節(jié)目類別檢索裝置，對于由所述節(jié)目導(dǎo)入裝置導(dǎo)入的所述多個(gè)節(jié)目，根據(jù)節(jié)目所屬的 類別進(jìn)行分類，并按照用戶指示的類別，在顯示裝置上顯示該類別的節(jié)目列表。
29.如權(quán)利要求27所述的信息檢索系統(tǒng)，該系統(tǒng)還包括精彩事件檢索裝置，檢索節(jié)目中出現(xiàn)的喝彩聲片斷，并在顯示裝置上顯示其時(shí)間信息。
30.如權(quán)利要求27所述的信息檢索系統(tǒng)，該系統(tǒng)還包括說話人檢索裝置，檢索特定的說話人說話的節(jié)目部分，并以不同形式將不同說話人的 說話部分的時(shí)間信息顯示在顯示裝置上。
31.如權(quán)利要求27所述的信息檢索系統(tǒng)，其中，所述關(guān)鍵詞檢索單元還在顯示裝置上顯示由用戶從所述節(jié)目列表中選擇的節(jié)目所對 應(yīng)的關(guān)鍵詞列表，并根據(jù)用戶的選擇來檢索相應(yīng)的關(guān)鍵詞，并將該關(guān)鍵詞的時(shí)間信息顯示 在顯示裝置上。
全文摘要
本發(fā)明涉及多媒體內(nèi)容的檢索，提供一種節(jié)目端點(diǎn)時(shí)間檢測裝置，通過對節(jié)目的音頻信號進(jìn)行處理，從而檢測節(jié)目的端點(diǎn)時(shí)間，其包括音頻分類單元，將音頻信號分類為語音信號部分和非語音信號部分；關(guān)鍵詞檢索單元，從語音信號部分檢索表示節(jié)目開始或結(jié)束的端點(diǎn)關(guān)鍵詞，作為候選的端點(diǎn)關(guān)鍵詞；內(nèi)容分析單元，對通過關(guān)鍵詞檢索單元檢索出的候選的端點(diǎn)關(guān)鍵詞的上下文進(jìn)行內(nèi)容分析，以確定候選的端點(diǎn)關(guān)鍵詞是否為有效的端點(diǎn)關(guān)鍵詞；節(jié)目端點(diǎn)時(shí)間確定單元，基于關(guān)鍵詞檢索單元的檢索結(jié)果和內(nèi)容分析單元的確定結(jié)果進(jìn)行統(tǒng)計(jì)分析，確定節(jié)目的端點(diǎn)時(shí)間。另外，本發(fā)明還提供一種節(jié)目信息檢索系統(tǒng)。通過本發(fā)明，可以迅速得到有關(guān)用戶關(guān)注的節(jié)目的節(jié)目信息。
文檔編號G06F17/30GK102073635SQ200910208950
公開日2011年5月25日 申請日期2009年10月30日 優(yōu)先權(quán)日2009年10月30日
發(fā)明者劉昆, 盧鯉, 吳偉國, 索宏斌, 趙慶衛(wèi), 顏永紅 申請人:中國科學(xué)院聲學(xué)研究所, 索尼株式會社