用于在成像設(shè)備中提供組合摘要的方法和設(shè)備的制造方法
【專利說(shuō)明】用于在成像設(shè)備中提供組合摘要的方法和設(shè)備
[0001]本申請(qǐng)要求于2014年10月14日提交到韓國(guó)知識(shí)產(chǎn)權(quán)局的第10-2014 — 0138611號(hào)韓國(guó)專利申請(qǐng)的優(yōu)先權(quán)，該申請(qǐng)的公開(kāi)通過(guò)引用全部合并于此。
技術(shù)領(lǐng)域
[0002]與示例性實(shí)施例一致的設(shè)備和方法涉及視頻監(jiān)控，更具體地講，涉及在視頻監(jiān)控系統(tǒng)中基于音頻數(shù)據(jù)產(chǎn)生并提供視頻摘要或視頻梗概。
【背景技術(shù)】
[0003]在視頻監(jiān)控系統(tǒng)中，使用基于視頻數(shù)據(jù)的視頻摘要/視頻梗概功能對(duì)輸入視頻的視頻數(shù)據(jù)進(jìn)行概括。
[0004]如果在視頻監(jiān)控系統(tǒng)中僅對(duì)視頻數(shù)據(jù)進(jìn)行概括，那么在監(jiān)控相機(jī)的盲點(diǎn)發(fā)生的事件或者沒(méi)有視頻事件而發(fā)生的重要的音頻事件可能被漏掉。
[0005]如果在視頻監(jiān)控系統(tǒng)中僅對(duì)音頻數(shù)據(jù)進(jìn)行概括，與視頻數(shù)據(jù)不同，當(dāng)音頻數(shù)據(jù)沒(méi)有按照時(shí)間順序被聽(tīng)到的時(shí)候，音頻數(shù)據(jù)的內(nèi)容難以理解。當(dāng)同時(shí)再現(xiàn)多種音頻數(shù)據(jù)時(shí)，音頻數(shù)據(jù)的內(nèi)容不太可能被識(shí)別。

【發(fā)明內(nèi)容】

[0006]示例性實(shí)施例提供一種視頻再現(xiàn)設(shè)備和一種在視頻再現(xiàn)設(shè)備提供組合摘要(combined summary)的方法。
[0007]各個(gè)方面將在下面的描述中部分闡述，部分從該描述將是清楚的，或者可以通過(guò)本實(shí)施例的實(shí)踐獲知。
[0008]根據(jù)示例性實(shí)施例，提供一種在視頻再現(xiàn)設(shè)備中提供組合摘要的方法。所述方法可包括:接收至少一個(gè)網(wǎng)絡(luò)相機(jī)捕獲的音頻和視頻；通過(guò)從音頻和視頻中的至少一個(gè)檢測(cè)至少一個(gè)視頻事件來(lái)產(chǎn)生視頻摘要；通過(guò)從音頻和視頻中的至少一個(gè)檢測(cè)至少一個(gè)音頻事件來(lái)產(chǎn)生音頻摘要；提取與所述至少一個(gè)音頻事件相應(yīng)的視頻摘要的至少一個(gè)段，并將提取的視頻摘要的至少一個(gè)段與音頻摘要進(jìn)行存儲(chǔ)；向視頻再現(xiàn)設(shè)備的顯示器提供用于控制視頻摘要的視頻摘要控制接口和用于控制音頻摘要的音頻摘要控制接口。
[0009]上面的方法還可包括:使用視頻摘要控制接口，選擇視頻摘要的檢測(cè)到特定視頻事件的段；使用音頻摘要控制接口，選擇音頻摘要的檢測(cè)到特定音頻事件的段；如果選擇的視頻摘要的段和選擇的音頻摘要的段互相重疊，則在視頻再現(xiàn)設(shè)備的顯示器中，標(biāo)識(shí)重疊的段以與視頻摘要和音頻摘要的其他段進(jìn)行區(qū)分。
[0010]可選地，上述方法還可包括:使用音頻摘要控制接口，選擇音頻摘要的檢測(cè)到特定音頻事件的段；使用視頻摘要控制接口，選擇視頻摘要的檢測(cè)到特定視頻事件的段；如果選擇的視頻摘要的段和選擇的音頻摘要的段互相重疊，則在視頻再現(xiàn)設(shè)備的顯示器中，標(biāo)識(shí)重疊的段以與其他段進(jìn)行區(qū)分。
[0011]可通過(guò)如果從所述音頻和視頻中的至少一個(gè)檢測(cè)到可識(shí)別的特征則確定所述至少一個(gè)音頻事件已經(jīng)發(fā)生，來(lái)從所述音頻和視頻中的至少一個(gè)檢測(cè)所述至少一個(gè)音頻事件。所述可識(shí)別的特征可包括以下項(xiàng)中的至少一個(gè):特定詞、特定特征、特定聲音。
[0012]上面的方法還包括:將可識(shí)別的特征轉(zhuǎn)換為文字；將音頻摘要中的文字與關(guān)于檢測(cè)到可識(shí)別的特征時(shí)的時(shí)間信息進(jìn)行顯示。
[0013]根據(jù)另一個(gè)示例性實(shí)施例，提供從終端接收音頻和視頻并提供組合摘要的方法。所述方法可包括:從音頻和視頻提取包括可識(shí)別的特征的音頻幀；提取與音頻幀相應(yīng)的視頻幀或視頻幀的視頻摘要；將音頻幀鏈接到視頻幀或者視頻幀的視頻摘要；插入表示音頻幀所屬的視頻的時(shí)間的時(shí)間標(biāo)簽。
[0014]根據(jù)另一個(gè)示例性實(shí)施例，提供一種用于提供組合摘要的視頻再現(xiàn)設(shè)備，所述視頻再現(xiàn)設(shè)備可包括:接收器，被配置為接收至少一個(gè)網(wǎng)絡(luò)相機(jī)捕獲的音頻和視頻；視頻摘要產(chǎn)生器，被配置為通過(guò)從音頻和視頻中的至少一個(gè)檢測(cè)至少一個(gè)視頻事件來(lái)產(chǎn)生視頻摘要；音頻摘要產(chǎn)生器，被配置為通過(guò)從音頻和視頻中的至少一個(gè)檢測(cè)至少一個(gè)事件來(lái)產(chǎn)生音頻摘要；音頻摘要存儲(chǔ)器，被配置為提取與所述至少一個(gè)音頻事件相應(yīng)的視頻摘要的至少一個(gè)段，并將提取的視頻摘要的至少一個(gè)段與音頻摘要進(jìn)行存儲(chǔ)；視頻摘要控制接口，被提供用于控制視頻再現(xiàn)設(shè)備的顯示器上的視頻摘要；音頻摘要控制接口，被提供用于控制視頻再現(xiàn)設(shè)備的顯示器上的音頻摘要。
【附圖說(shuō)明】
[0015]通過(guò)下面結(jié)合附圖對(duì)實(shí)施例進(jìn)行的描述，這些和/或其他方面將變得清楚和更容易理解，其中:
[0016]圖1是根據(jù)示例性實(shí)施例的能夠提供組合摘要的視頻再現(xiàn)設(shè)備的框圖；
[0017]圖2示出根據(jù)示例性實(shí)施例的能夠提供組合摘要的視頻再現(xiàn)設(shè)備的組件的一些功能；
[0018]圖3示出根據(jù)示例性實(shí)施例的組合摘要搜索屏幕；
[0019]圖4是根據(jù)另一示例性實(shí)施例的視頻再現(xiàn)設(shè)備的框圖；
[0020]圖5是根據(jù)示例性實(shí)施例的通過(guò)使用音頻幀提取單元處理音頻信號(hào)的處理的流程圖；
[0021]圖6是根據(jù)示例性實(shí)施例的用于將音頻信號(hào)轉(zhuǎn)換為文字的文字轉(zhuǎn)換器的框圖；
[0022]圖7示出根據(jù)示例性實(shí)施例的組合摘要再現(xiàn)屏幕。
【具體實(shí)施方式】
[0023]現(xiàn)在，將對(duì)參照附圖在此描述的示例性實(shí)施例進(jìn)行詳細(xì)地參考。在這點(diǎn)上，實(shí)施例可具有不同的形式，并且不應(yīng)被解釋為局限于在此闡述的描述。因此，以下僅通過(guò)參照附圖描述實(shí)施例，以解釋本發(fā)明構(gòu)思的各個(gè)方面。如在此所使用的，術(shù)語(yǔ)“和/或”包括一個(gè)或多個(gè)相關(guān)所列項(xiàng)的任意和所有組合。當(dāng)諸如“中的至少一個(gè)”的表述在一列元素之后時(shí)，所述表述修飾整列元素，而不是修飾列的單個(gè)元素。
[0024]圖1是根據(jù)示例性實(shí)施例的能夠提供組合摘要的視頻再現(xiàn)設(shè)備的框圖。圖3示出根據(jù)示例性實(shí)施例的組合摘要搜索屏幕，所述組合摘要搜索屏幕包括視頻再現(xiàn)設(shè)備中被支持的視頻摘要控制接口和音頻摘要控制接口。圖7示出根據(jù)示例性實(shí)施例的組合摘要再現(xiàn)屏幕，以解釋再現(xiàn)組合摘要的方法。下面將參照?qǐng)D1、圖3和圖7對(duì)多個(gè)示例性實(shí)施例進(jìn)行描述。
[0025]根據(jù)示例性實(shí)施例，組合摘要可被理解為根據(jù)用戶的選擇，選擇性地再現(xiàn)視頻摘要或音頻摘要，或者同時(shí)再現(xiàn)視頻摘要和音頻摘要。
[0026]可以通過(guò)從音頻中選擇包括特定聲音(sound)和特定詞語(yǔ)的音頻摘要，設(shè)置通過(guò)對(duì)包括特定事件的視頻摘要進(jìn)行組合而被壓縮的視頻的時(shí)間范圍，并提取音頻和視頻幀來(lái)再現(xiàn)組合摘要。
[0027]根據(jù)一個(gè)示例性實(shí)施例，即使單獨(dú)地對(duì)音頻摘要進(jìn)行再現(xiàn)，與所述音頻摘要相應(yīng)的段的視頻幀或者視頻摘要也與音頻摘要一起被再現(xiàn)。
[0028]根據(jù)參照?qǐng)D1的示例性實(shí)施例，視頻再現(xiàn)設(shè)備100包括視頻接收器110、視頻摘要產(chǎn)生器120、視頻摘要存儲(chǔ)器130、包括視頻摘要控制接口 142的視頻摘要再現(xiàn)器140、音頻摘要產(chǎn)生器121、音頻摘要存儲(chǔ)器131以及包括文字顯示器143和音頻摘要控制接口 145的音頻摘要再現(xiàn)器141。
[0029]視頻接收器110從至少一個(gè)相機(jī)CHl至CHN(例如，網(wǎng)絡(luò)相機(jī))接收音頻/視頻。視頻摘要產(chǎn)生器120通過(guò)對(duì)由視頻接收器110接收到的音頻/視頻的視頻數(shù)據(jù)進(jìn)行處理來(lái)產(chǎn)生視頻摘要，并且將視頻摘要存儲(chǔ)在視頻摘要存儲(chǔ)器130中。
[0030]視頻摘要產(chǎn)生器120通過(guò)從音頻/視頻(即，原始音頻/視頻)中檢測(cè)事件來(lái)產(chǎn)生視頻摘要。在此情況下，事件可被定義為包括可識(shí)別的特征的場(chǎng)景。例如，事件可包含對(duì)象(例如，建筑物、汽車(chē)、人、動(dòng)物等)和場(chǎng)景(例如，火災(zāi)、爆炸、事故等)這二者。
[0031]視頻摘要存儲(chǔ)器130將以下二者之一與視頻摘要一起進(jìn)行存儲(chǔ):當(dāng)視頻摘要產(chǎn)生器120產(chǎn)生視頻摘要時(shí)檢測(cè)到的運(yùn)動(dòng)、分析檢測(cè)到的事件的視頻的結(jié)果。
[0032]音頻摘要產(chǎn)生器121通過(guò)對(duì)由視頻接收器110接收到的音頻/視頻的音頻數(shù)據(jù)進(jìn)行處理來(lái)產(chǎn)生音頻摘要，并且將音頻摘要存儲(chǔ)在音頻摘要存儲(chǔ)器131中。音頻摘要存儲(chǔ)器131提取與檢測(cè)到事件的音頻數(shù)據(jù)的每個(gè)段相應(yīng)的視頻幀或者視頻摘要，或者提取視頻摘要，并且將視頻摘要與音頻摘要一起進(jìn)行存