一種用于提取關(guān)鍵幀的多媒體系統(tǒng)及處理方法
【專利摘要】本發(fā)明涉及一種多媒體系統(tǒng)，包括拍攝終端、服務(wù)器和查詢終端；服務(wù)器包括第二傳輸單元、解析單元、數(shù)據(jù)庫、第二存儲(chǔ)單元；其中，解析單元用于從多媒體的視頻中提取關(guān)鍵幀。本發(fā)明還涉及使用所述多媒體系統(tǒng)的多媒體處理方法。
【專利說明】一種用于提取關(guān)鍵幀的多媒體系統(tǒng)及處理方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及多媒體領(lǐng)域，特別涉及能夠進(jìn)行關(guān)鍵幀提取的多媒體領(lǐng)域。

【背景技術(shù)】
[0002] 隨著網(wǎng)絡(luò)和多媒體技術(shù)的廣泛應(yīng)用，網(wǎng)絡(luò)培訓(xùn)已成為員工培訓(xùn)的必然發(fā)展趨勢。 然而，網(wǎng)絡(luò)培訓(xùn)面臨著"來源單一、脫離實(shí)踐、滯后現(xiàn)場"的問題，尤其是缺少以現(xiàn)場案例為 內(nèi)容的生產(chǎn)技能類培訓(xùn)，這勢必會(huì)影響以生產(chǎn)技能操作為主的員工培訓(xùn)效果。因此，積極引 入現(xiàn)場案例教學(xué)，探索智能終端和移動(dòng)網(wǎng)絡(luò)的應(yīng)用，將成為網(wǎng)絡(luò)培訓(xùn)和資源建設(shè)的新方向。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明涉及一種多媒體系統(tǒng)，包括拍攝終端、服務(wù)器和查詢終端；其特征在于：月艮 務(wù)器包括第二傳輸單元、解析單元、數(shù)據(jù)庫、第二存儲(chǔ)單元；查詢終端包括第三攝像單元、第 三輸入單元、查詢單元、第三傳輸單元；其中，解析單元用于從多媒體的視頻中提取關(guān)鍵幀。
[0004] 本發(fā)明還涉及一種使用所述多媒體系統(tǒng)的多媒體處理方法，其特征在于包括以下 步驟：
[0005] 步驟S100,用戶使用拍攝終端拍攝多媒體，所述多媒體包括視頻和音頻；當(dāng)在某 一位置和/或變焦拍攝時(shí)，由計(jì)時(shí)單元記錄下拍攝的開始時(shí)間和結(jié)束時(shí)間；隨后，計(jì)時(shí)單元 將事件、開始時(shí)間和結(jié)束時(shí)間一并保存到第一存儲(chǔ)單元的記錄表中，其中所述事件包括位 置、變焦；
[0006] 步驟S200,將多媒體中的音頻轉(zhuǎn)換為文字，轉(zhuǎn)換后，在拍攝終端上顯示給用戶，供 用戶確認(rèn)；如果用戶認(rèn)為轉(zhuǎn)換的文字內(nèi)容有錯(cuò)誤或需要調(diào)整，則使用拍攝終端的第一輸入 單元進(jìn)行修改；
[0007] 步驟S220,拍攝終端通過第一傳輸單元將拍攝的多媒體、第一存儲(chǔ)單元中的記錄 表、以及經(jīng)過用戶確認(rèn)的文字上傳到服務(wù)器的第二傳輸單元，服務(wù)器將拍攝的多媒體保存 到數(shù)據(jù)庫中，并記錄多媒體ID，所述多媒體ID是上傳的多媒體的唯一標(biāo)識(shí)；
[0008] 步驟S240,服務(wù)器根據(jù)記錄表中的事件、開始時(shí)間和結(jié)束時(shí)間，使用解析單元從多 媒體的視頻中提取關(guān)鍵幀，并確定關(guān)鍵幀的錄制時(shí)長，所述關(guān)鍵幀為拍攝終端在同一事件 下拍攝的視頻幀的代表；提取關(guān)鍵幀的具體過程如下：
[0009] 對(duì)于每個(gè)事件，進(jìn)行采樣，從而獲得每個(gè)事件的采樣幀的集合F :
[0010] F = {F1,F2,......Fi,......Fn}
[0011] 其中，n為定義的采樣頻率，n = 10 ;
[0012] Fi為采樣的第i巾貞，即時(shí)間A Ti所對(duì)應(yīng)的幀：
[0013] A Ti = Tb+(Te - Tb) * (i/n), i〈 = n
[0014] 其中，Tb為每個(gè)事件的開始時(shí)間，Te為每個(gè)事件的結(jié)束時(shí)間；
[0015] 對(duì)于集合F內(nèi)的某一幀F(xiàn)k，根據(jù)以下公式計(jì)算幀F(xiàn)k與視頻幀平均值的平均像素近 似度AFk :

【權(quán)利要求】
1. 一種多媒體系統(tǒng)，包括拍攝終端、服務(wù)器和查詢終端；其特征在于：服務(wù)器包括第二 傳輸單元、解析單元、數(shù)據(jù)庫、第二存儲(chǔ)單元；查詢終端包括第三攝像單元、第三輸入單元、 查詢單元、第三傳輸單元；其中，解析單元用于從多媒體的視頻中提取關(guān)鍵幀。
2. -種使用根據(jù)權(quán)利要求1所述的多媒體系統(tǒng)的多媒體處理方法，其特征在于包括以 下步驟： 步驟S100,用戶使用拍攝終端拍攝多媒體，所述多媒體包括視頻和音頻；當(dāng)在某一位 置和/或變焦拍攝時(shí)，由計(jì)時(shí)單元記錄下拍攝的開始時(shí)間和結(jié)束時(shí)間；隨后，計(jì)時(shí)單元將事 件、開始時(shí)間和結(jié)束時(shí)間一并保存到第一存儲(chǔ)單元的記錄表中，其中所述事件包括位置、變 焦； 步驟S200,將多媒體中的音頻轉(zhuǎn)換為文字，轉(zhuǎn)換后，在拍攝終端上顯示給用戶，供用戶 確認(rèn)；如果用戶認(rèn)為轉(zhuǎn)換的文字內(nèi)容有錯(cuò)誤或需要調(diào)整，則使用拍攝終端的第一輸入單元 進(jìn)行修改； 步驟S220,拍攝終端通過第一傳輸單元將拍攝的多媒體、第一存儲(chǔ)單元中的記錄表、以 及經(jīng)過用戶確認(rèn)的文字上傳到服務(wù)器的第二傳輸單元，服務(wù)器將拍攝的多媒體保存到數(shù)據(jù) 庫中，并記錄多媒體ID，所述多媒體ID是上傳的多媒體的唯一標(biāo)識(shí)； 步驟S240,服務(wù)器根據(jù)記錄表中的事件、開始時(shí)間和結(jié)束時(shí)間，使用解析單元從多媒體 的視頻中提取關(guān)鍵巾貞，并確定關(guān)鍵巾貞的錄制時(shí)長，所述關(guān)鍵巾貞為拍攝終端在同一事件下拍 攝的視頻幀的代表；提取關(guān)鍵幀的具體過程如下： 對(duì)于每個(gè)事件，進(jìn)行采樣，從而獲得每個(gè)事件的采樣幀的集合F : F = {F1,F2,......Fi,......Fn} 其中，η為定義的采樣頻率，η = 10 ; Fi為采樣的第i幀，即時(shí)間Λ Ti所對(duì)應(yīng)的幀： Δ Ti = Tb+ (Te - Tb) *(i/n), i〈 = η 其中，Tb為每個(gè)事件的開始時(shí)間，Te為每個(gè)事件的結(jié)束時(shí)間； 對(duì)于集合F內(nèi)的某一幀F(xiàn)k，根據(jù)以下公式計(jì)算幀F(xiàn)k與視頻幀平均值的平均像素近似度 AFk ：
其中Pkj表示幀F(xiàn)k中的第j個(gè)像素值，Pi j表示幀F(xiàn)i中的第j個(gè)像素值，η為采樣頻 率，m為幀F(xiàn)k中的像素總數(shù)，k的取值為1，2, 3......η ； 如果AFk大于某個(gè)閾值D，則認(rèn)為幀F(xiàn)k屬于噪聲巾貞，予以剔除；反之如果AFk小于或 等于某個(gè)閾值D，則予以保留，從而形成保留幀的集合G : G = {G1,G2, -Gi, -Gt} 其中t〈 = n，Gi為保留幀集合中的第i幀； 對(duì)于集合G中的每一幀，由于其內(nèi)容都比較相似，故可任選一幀作為相應(yīng)事件所對(duì)應(yīng) 的關(guān)鍵巾貞； 步驟S260，得到視頻中每個(gè)事件對(duì)應(yīng)的關(guān)鍵幀和事件的持續(xù)時(shí)間，其中根據(jù)每個(gè)事件 的開始時(shí)間和結(jié)束時(shí)間獲取持續(xù)時(shí)間； 步驟S300,服務(wù)器從上傳的文字中提取文字索引；對(duì)于每一個(gè)多媒體，服務(wù)器形成多 媒體索引表，并存儲(chǔ)在第二存儲(chǔ)單元中；所述多媒體索引表包括：多媒體ID、文字索引、關(guān) 鍵幀集合以及事件持續(xù)時(shí)間集合； 步驟S400,用戶使用查詢終端查找所述多媒體，并將檢索結(jié)果呈現(xiàn)給用戶。
【文檔編號(hào)】G06F17/30GK104391973SQ201410737503
【公開日】2015年3月4日 申請日期:2014年12月5日 優(yōu)先權(quán)日:2014年12月5日
【發(fā)明者】張耀坤, 蘇丹, 秦衡, 謝清玉, 蔣同軍 申請人:國家電網(wǎng)公司, 國網(wǎng)技術(shù)學(xué)院