媒體播放中實(shí)時(shí)自動(dòng)翻譯字幕的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及多媒體播放技術(shù)領(lǐng)域，特別涉及一種媒體播放中實(shí)時(shí)自動(dòng)翻譯字幕的方法和系統(tǒng)。
【背景技術(shù)】
[0002]近年來(lái)，越來(lái)越多的媒體播放需求從傳統(tǒng)屏幕向pc及智能設(shè)備轉(zhuǎn)移，媒體的來(lái)源也更多更快，而對(duì)應(yīng)的多語(yǔ)種字幕往往存在滯后。在媒體播放中，用戶通常期望能同時(shí)看到指定語(yǔ)種的伴隨字幕?，F(xiàn)有的字幕翻譯技術(shù)一般通過(guò)提供字幕編輯的方法實(shí)現(xiàn)翻譯，這種方式需要事先獲得字幕信息進(jìn)行翻譯，然后改變?cè)疵襟w文件或提供獨(dú)立的外部字幕文件。但在一般的播放行為中，特別是在線播放行為中，往往不具備事先獲得原始字幕及改動(dòng)源媒體文件的機(jī)會(huì)。
[0003]因此，在無(wú)指定語(yǔ)種的外部字幕時(shí)，于播放媒體的同時(shí)，顯示用戶期望語(yǔ)種字幕的要求就難以得到滿足。

【發(fā)明內(nèi)容】

[0004]針對(duì)現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問(wèn)題是如何實(shí)現(xiàn)在播放缺少指定語(yǔ)種字幕的媒體時(shí)，實(shí)時(shí)的將原始字幕翻譯成指定語(yǔ)種，并與媒體中原音視頻保持一致的同步關(guān)系。
[0005]為實(shí)現(xiàn)上述目的，一方面，本發(fā)明提供一種媒體播放中實(shí)時(shí)自動(dòng)翻譯字幕的方法，該方法包括如下步驟:
[0006]S1、從媒體源中讀取媒體文件；
[0007]S2、從媒體文件分離出音頻流、視頻流和字幕流，緩沖音頻流和視頻流，并在原始字幕翻譯完成后獲得目標(biāo)語(yǔ)種字幕后與所述目標(biāo)語(yǔ)種字幕進(jìn)行同步；
[0008]S4、解析字幕流中的原始字幕內(nèi)容及顯示時(shí)間并建立時(shí)間軸；
[0009]S5、將原始字幕翻譯到目標(biāo)語(yǔ)種字幕；
[0010]S6、將目標(biāo)語(yǔ)種字幕與緩沖的音頻流和視頻流進(jìn)行同步；
[0011 ] S7、將目標(biāo)語(yǔ)種字幕疊加顯示與媒體視頻內(nèi)容上。
[0012]優(yōu)選地,所述步驟S2具體包括:
[0013]根據(jù)文件封裝格式解析媒體文件獲得音頻流、視頻流和字幕流；
[0014]調(diào)整音頻和視頻的播放時(shí)間，在播放之前讀取原始字幕并進(jìn)行翻譯，調(diào)整的播放時(shí)間不小于翻譯時(shí)間。
[0015]優(yōu)選地,所述步驟S3具體包括:
[0016]根據(jù)字幕流的編碼格式選擇對(duì)應(yīng)地解碼方法獲取原始字幕內(nèi)容及顯示時(shí)間。
[0017]優(yōu)選地,所述步驟S4具體包括:
[0018]將原始字幕翻譯請(qǐng)求發(fā)送至翻譯庫(kù)；
[0019]接受翻譯庫(kù)返回結(jié)果后將目標(biāo)語(yǔ)種字幕內(nèi)容統(tǒng)一轉(zhuǎn)為UTF-8編碼，以顯示與語(yǔ)種無(wú)關(guān)的字幕。
[0020]優(yōu)選地,所述步驟S6具體包括:
[0021]在音視和視頻緩沖區(qū)頭部判斷當(dāng)前數(shù)據(jù)顯示時(shí)間戳是否到達(dá)，到達(dá)則播放音頻和視頻的內(nèi)容；
[0022]在目標(biāo)語(yǔ)種字幕緩沖區(qū)判斷當(dāng)前數(shù)據(jù)顯示時(shí)間戳是否到達(dá)，到達(dá)則將目標(biāo)語(yǔ)種字幕內(nèi)容進(jìn)行顯示；
[0023]保持目標(biāo)語(yǔ)種字幕與音頻和視頻原來(lái)的同步關(guān)系。
[0024]另一方面，本發(fā)明還同時(shí)提供一種媒體播放中實(shí)時(shí)自動(dòng)翻譯字幕的系統(tǒng)，該系統(tǒng)包括:
[0025]解封裝模塊、字幕解碼模塊、數(shù)據(jù)緩沖模塊、翻譯模塊、字幕顯示模塊及播放控制模塊；
[0026]所述解封裝模塊用于分離媒體文件中的音頻流、視頻流和字幕流，將音頻流和視頻流發(fā)送至數(shù)據(jù)緩沖模塊，并將字幕流發(fā)送至字幕解碼模塊；
[0027]所述字幕解碼模塊用于在字幕流中解析出原始字幕內(nèi)容及顯示時(shí)間并建立時(shí)間軸；
[0028]所述數(shù)據(jù)緩沖模塊用于調(diào)整媒體的播放時(shí)間，在播放之前取出原始字幕并進(jìn)行翻譯；
[0029]所述翻譯模塊用于將源語(yǔ)種字幕翻譯成目標(biāo)語(yǔ)種字幕；
[0030]所述字幕顯示模塊用于將目標(biāo)語(yǔ)種字幕疊加顯示與媒體視頻內(nèi)容之前；
[0031 ] 所述播放控制模塊用于同步播放音頻、視頻和字幕內(nèi)容。
[0032]優(yōu)選地，所述解封裝模塊具體包括:
[0033]媒體流獲取模塊，用于根據(jù)文件封裝格式解析媒體文件獲得音頻流、視頻流和字眷流；
[0034]延時(shí)調(diào)整模塊，用于調(diào)整音頻和視頻的播放時(shí)間，在播放之前讀取原始字幕并進(jìn)行翻譯，調(diào)整的播放時(shí)間不小于翻譯時(shí)間。
[0035]優(yōu)選地，所述字幕解碼模塊具體包括:
[0036]翻譯請(qǐng)求發(fā)送模塊，用于將原始字幕翻譯請(qǐng)求發(fā)送至翻譯庫(kù)；
[0037]字幕語(yǔ)種轉(zhuǎn)換模塊，用于在接受翻譯庫(kù)返回結(jié)果后將目標(biāo)語(yǔ)種字幕內(nèi)容統(tǒng)一轉(zhuǎn)為UTF-8編碼，以顯示與語(yǔ)種無(wú)關(guān)的字幕。
[0038]優(yōu)選地，所述字幕解碼模塊還用于:
[0039]根據(jù)字幕流的編碼格式選擇對(duì)應(yīng)地解碼方法獲取原始字幕內(nèi)容及顯示時(shí)間。
[0040]優(yōu)選地，所述播放控制模塊具體包括:
[0041]第一判斷單元，用于在音頻和視頻緩沖區(qū)頭部判斷當(dāng)前數(shù)據(jù)顯示時(shí)間戳是否到達(dá)，到達(dá)則播放音頻和視頻的內(nèi)容；
[0042]第二判斷單元，用于在目標(biāo)語(yǔ)種字幕緩沖區(qū)判斷當(dāng)前數(shù)據(jù)顯示時(shí)間戳是否到達(dá)，到達(dá)則將目標(biāo)語(yǔ)種字幕內(nèi)容進(jìn)行顯示；字幕同步單元，用于保持目標(biāo)語(yǔ)種字幕與音頻和視頻原來(lái)的同步關(guān)系。
[0043]本發(fā)明的提供的媒體播放中實(shí)時(shí)自動(dòng)翻譯字幕的方法和系統(tǒng)中，通過(guò)將從播放文件或網(wǎng)絡(luò)源讀取的原始文件流，由解封裝模塊從原始文件流中分離出音視頻流和字幕流，對(duì)于音視頻流，送入緩沖模塊等待；對(duì)于字幕流，則交由字幕解碼模塊提取出字幕內(nèi)容及顯示時(shí)間，再由翻譯模塊將原始字幕翻譯到目標(biāo)語(yǔ)種字幕，最后通過(guò)播放控制模塊與原音視頻流同步時(shí)間后進(jìn)行播放，字幕顯示模塊負(fù)責(zé)將翻譯后的字幕疊加顯示與媒體視頻內(nèi)容上，從而可以實(shí)現(xiàn)在播放缺少指定語(yǔ)種字幕的媒體時(shí)，實(shí)時(shí)的將原始字幕翻譯成指定語(yǔ)種，并與媒體中原音視頻保持一致的同步關(guān)系。
【附圖說(shuō)明】
[0044]圖1是本發(fā)明的一個(gè)實(shí)施例中的媒體播放中實(shí)時(shí)自動(dòng)翻譯字幕的方法的流程示意圖；
[0045]圖2是本發(fā)明的另一個(gè)實(shí)施例中的媒體播放中實(shí)時(shí)自動(dòng)翻譯字幕的系統(tǒng)的結(jié)構(gòu)不意圖；
[0046]圖3是本發(fā)明的媒體文件中的音頻流、視頻流和字幕流的示意圖；
[0047]圖4a是本發(fā)明的解析后的音頻流、視頻流和字幕流的時(shí)間軸示意圖；
[0048]圖4b是本發(fā)明的音頻流、視頻流和字幕流初始狀態(tài)的時(shí)間軸示意圖；
[0049]圖4c是本發(fā)明的音頻流、視頻流和字幕流在第2秒的時(shí)間軸示意圖；
[0050]圖4d是本發(fā)明的音頻流、視頻流和字幕流在第3秒的時(shí)間軸示意圖；
[0051]圖4e是本發(fā)明的音頻流、視頻流和字幕流在第5秒的時(shí)間軸示意圖；
[0052]圖4f是本發(fā)明的音頻流、視頻流和字幕流在第6秒的時(shí)間軸示意圖；
[0053]圖4g是本發(fā)明的音頻流、視頻流和字幕流在第7秒的時(shí)間軸示意圖。
【具體實(shí)施方式】
[0054]為使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明的技術(shù)方案，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
[0055]圖1是本發(fā)明的實(shí)施例一中的媒體播放中實(shí)時(shí)自動(dòng)翻譯字幕的方法的流程示意圖，如圖1所示，該方法包括步驟:
[0056]S1、從媒體源中讀取媒體文件。
[0057]具體地，可以從播放文件或者網(wǎng)絡(luò)源讀取的原始媒體文件。
[0058]S2、從媒體文件分離出音頻流、視頻流和字幕流，緩沖音頻流和視頻流，并在原始字幕翻譯完成后獲得目標(biāo)語(yǔ)種字幕后與所述目標(biāo)語(yǔ)種字幕進(jìn)行同步。
[0059]優(yōu)選地，優(yōu)選地，步驟S2具體包括:根據(jù)文件封裝格式解析媒體文件獲得音頻流、視頻流和字幕流；調(diào)整音頻和視頻的播放時(shí)間，在播放之前讀取原始字幕并進(jìn)行翻譯，調(diào)整的播放時(shí)間不小于翻譯時(shí)間。具體地，取得文件頭，分析封裝格式特征字段，確定文件封裝格式；按照封裝格式解析文件，對(duì)每一包數(shù)據(jù)區(qū)分索引及媒體類型；將同一索引的包組合在一起還原成獨(dú)立的媒體流。
[0060]S3、解析字幕流中的原始字幕內(nèi)容及顯示時(shí)間并建立時(shí)間軸。
[0061]優(yōu)選地，步驟S3具體包括:根據(jù)字幕流的編碼格式選擇對(duì)應(yīng)地解碼方法獲取原始字幕內(nèi)容及顯示時(shí)間并建立時(shí)間軸。具體地，從解封裝結(jié)果確定字幕編碼格式；選用對(duì)應(yīng)的解碼方法從字幕流中提取原始字幕內(nèi)容及顯示時(shí)間；調(diào)整延后顯示時(shí)間戳參數(shù)，調(diào)整參數(shù)大小與音頻和視頻參數(shù)一樣。
[0062]S4、將原始字幕翻譯到目標(biāo)語(yǔ)種字幕。
[0063]優(yōu)選地，將原始字幕翻譯請(qǐng)求發(fā)送至翻譯庫(kù)；接受翻譯庫(kù)返回結(jié)果后將目標(biāo)語(yǔ)種字幕內(nèi)容統(tǒng)一轉(zhuǎn)為UTF-8編碼，以顯示與語(yǔ)種無(wú)關(guān)的字幕。
[0064]S5、將目標(biāo)語(yǔ)種字幕與緩沖的音頻流和視頻流進(jìn)行同步。
[0065]優(yōu)選地，步驟S5具體包括:在音視和視頻緩沖區(qū)頭部判斷當(dāng)前數(shù)據(jù)顯示時(shí)間戳是否到達(dá)，到達(dá)則播放音頻和視頻的內(nèi)容；在目標(biāo)語(yǔ)種字幕緩沖區(qū)判斷當(dāng)前數(shù)據(jù)顯示時(shí)間戳是否到達(dá)，到達(dá)則將目標(biāo)語(yǔ)種字幕內(nèi)容進(jìn)行顯示；保持目標(biāo)語(yǔ)種字幕與音頻和視頻原來(lái)的同步關(guān)系。
[0066]S6、將目標(biāo)語(yǔ)種字幕疊加顯示與媒體視頻內(nèi)容上。
[0067]本領(lǐng)域相關(guān)技術(shù)人員應(yīng)能理解，與本發(fā)明的方法相對(duì)應(yīng)的，本發(fā)明還同時(shí)包括一種媒體播放中實(shí)時(shí)自動(dòng)翻譯字幕系統(tǒng)，與上述方法步驟一一對(duì)應(yīng)地，如圖2所示，該系統(tǒng)包括:解封裝模塊201、字幕解碼模塊202、數(shù)據(jù)緩沖模塊203、翻譯模塊204、字幕顯示模塊205及播放控制模塊206。
[0068]具體地，解封裝模塊201用于分離媒體文件中的音頻流、視頻流和字幕流，將音頻流和視頻流發(fā)送至數(shù)據(jù)緩沖模塊203，并將字幕流發(fā)送至字幕解碼模塊202。優(yōu)選地，解封裝模塊201具體包括:媒體流獲取模塊2011和延時(shí)調(diào)整模塊2012 ;媒體流獲取模塊2011用于根據(jù)文件封裝格式解析媒體文件獲得音頻流、視頻流和字幕流；延時(shí)調(diào)整模塊2012用于調(diào)整音頻和視頻的播放時(shí)間，在播放之前讀取原始字幕并進(jìn)行翻譯，調(diào)整的播放時(shí)間不小于翻譯時(shí)間。完整的媒體文件大多由多條媒體流構(gòu)成，本實(shí)施例中的媒體流包括但不限于視頻、音頻、字幕等。將所有的媒體流交錯(cuò)的聯(lián)合起來(lái)形成完整文件或其他載體，這個(gè)過(guò)程即為“封裝”;在播放媒體文件時(shí)，需要做封裝的逆過(guò)程，由完整文件重新還原出各條媒體流，這個(gè)過(guò)程既為“