專利名稱：一種基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于信息技術(shù)領(lǐng)域的數(shù)字音視頻編解碼標(biāo)準(zhǔn)相關(guān)的快速編碼方法，尤指一種基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群。
背景技術(shù)：
數(shù)字音視頻編解碼標(biāo)準(zhǔn)是數(shù)字音視頻產(chǎn)業(yè)的共性基礎(chǔ)標(biāo)準(zhǔn)，具有巨大的產(chǎn)業(yè)需求。在未來的五到十年，我國的(高清晰度)數(shù)字電視產(chǎn)業(yè)、高密度光盤產(chǎn)業(yè)、寬帶多媒體應(yīng)用和第三代移動通信產(chǎn)業(yè)將大規(guī)模高速發(fā)展，成為影響國民經(jīng)濟(jì)的重要產(chǎn)業(yè)群。2008年北京奧運(yùn)會將成為高清晰度電視廣播和移動多媒體應(yīng)用的里程碑。
我國牽頭制定的數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)AVS(Audio Video codingStandard)代表了當(dāng)前的國際先進(jìn)水平。AVS標(biāo)準(zhǔn)為我國構(gòu)建“技術(shù)→專利→標(biāo)準(zhǔn)→芯片與軟件→整機(jī)與系統(tǒng)制造→數(shù)字媒體運(yùn)營與文化產(chǎn)業(yè)”的數(shù)字音視頻產(chǎn)業(yè)鏈條提供了重要機(jī)遇。
音視頻編碼是數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)的重要部分，也是復(fù)雜度最高的部分。實(shí)現(xiàn)一種實(shí)時和超實(shí)時的編碼系統(tǒng)對于推動AVS的產(chǎn)業(yè)化具有重要的意義。
目前，在現(xiàn)有技術(shù)中國內(nèi)外常使用基于多DSP(Digital Signal Processor)方法來實(shí)現(xiàn)快速編碼，或使用基于分布式集群環(huán)境來實(shí)現(xiàn)分布式并行快速編碼。上述方法都是利用預(yù)先設(shè)定的計(jì)算資源(有限個CPU)，通過對編碼算法的分割，使用多線程或者多流水線來實(shí)現(xiàn)快速并行編碼。用這些方法可以做到一定程度的快速編碼，但是這些方法存在的不足是由于平臺的局限性，使得其計(jì)算資源有限且成本昂貴，實(shí)用性不是很好，加上并行算法設(shè)計(jì)復(fù)雜，從效果和速度上看都不能很好地實(shí)現(xiàn)實(shí)時甚至超實(shí)時編碼。
因此，現(xiàn)有技術(shù)的不足就需要一種改進(jìn)的快速編碼實(shí)現(xiàn)方法。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)存在的上述不足，從而提供一種方便實(shí)用、支持超實(shí)時編碼的基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群方法。
為了實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案如下一種基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群方法，該方法包括如下步驟1)指定集群服務(wù)器，分析網(wǎng)絡(luò)資源，建立散機(jī)集群環(huán)境；2)根據(jù)步驟1)中建立的集群環(huán)境，建立可配置的分布編碼模型；3)根據(jù)步驟2)中建立的分布編碼模型，在步驟1)中建立的散機(jī)集群環(huán)境中確定參與編碼的計(jì)算機(jī)，從而建立并鎖定編碼集群，根據(jù)這個編碼集群，切分音視頻源，建立任務(wù)進(jìn)程；4)根據(jù)步驟3)中建立的任務(wù)進(jìn)程，分別與編碼集群中的所有計(jì)算機(jī)建立任務(wù)鏈接，并發(fā)送任務(wù)流和任務(wù)指令，建立整個編碼集群調(diào)度和控制環(huán)境，安排并監(jiān)控所有的計(jì)算機(jī)完成指定編碼任務(wù)；5)當(dāng)步驟4)中編碼集群終端完成獨(dú)自的視頻編碼后，服務(wù)器收回編碼結(jié)果，當(dāng)服務(wù)器在收集完成所有的任務(wù)后，首先自動將切分的編碼結(jié)果片段以切分的片段中首楨的楨號為基準(zhǔn)按順序連接起來，然后依次進(jìn)行音頻編碼和復(fù)用的工作，完成整個編碼過程。
在上述步驟中，進(jìn)一步地，步驟3)中所述切分音視頻源，如圖1所示，是通過如下步驟來進(jìn)行(1)首先遍歷音視頻文件，分離出文件的視頻部分，并將節(jié)目流(ProgramStream，簡稱PS)轉(zhuǎn)換為基本視頻流(Elementary Stream，簡稱ES)，得到基本視頻流文件；(2)再次遍歷基本視頻流(ES)文件，搜索視頻文件的序列頭，制作I楨索引文件，作為快速切分視頻段的基礎(chǔ)；(3)根據(jù)需要分布編碼的數(shù)量，等分每段的序列頭數(shù)目，檢索索引文件，根據(jù)其指定的文件信息切分出指定數(shù)目的分段內(nèi)容，得到基本視頻流(ES)文件片段，片段名中包含該片段中首楨的序號，以便服務(wù)端自動連接結(jié)果。
本發(fā)明提供的方法通過指定一臺集群服務(wù)器，通過收集網(wǎng)絡(luò)中空閑的計(jì)算機(jī)資源，根據(jù)實(shí)際編碼的需要，動態(tài)配置分布編碼模型，然后按照GOP(Group Of Picture)為最小單元切割音視頻源，再把這些切割的音視頻單元分布到編碼集群中，通過有效的調(diào)度，實(shí)現(xiàn)快速編碼。服務(wù)器收集所有編碼結(jié)果，完成音頻編碼，最后完成系統(tǒng)復(fù)用。整個架構(gòu)是編碼集群調(diào)度程序放在服務(wù)器端，編碼程序和客戶端任務(wù)調(diào)度程序放在網(wǎng)絡(luò)中每個客戶端。
與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于本方法的優(yōu)點(diǎn)就在于可以利用平時工作的網(wǎng)絡(luò)中的現(xiàn)有資源，不需要預(yù)先購置或者搭建龐大的計(jì)算集群，在網(wǎng)絡(luò)中的空閑計(jì)算資源的基礎(chǔ)上，可以動態(tài)配置用于編碼的集群，自由高效實(shí)現(xiàn)快速編碼。
本發(fā)明具有平臺簡單可動態(tài)配置、操作簡便直觀、資源利用率高、編碼速度快、編碼效果同單機(jī)等特點(diǎn)。實(shí)驗(yàn)表明利用本發(fā)明提出的方法搭建的編碼系統(tǒng)，極大地提高了編碼速度，可以實(shí)現(xiàn)超實(shí)時編碼系統(tǒng)。本發(fā)明也可拓展到其他具有復(fù)雜計(jì)算的領(lǐng)域。


圖1表示本發(fā)明基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群示意圖。
具體實(shí)施例方式
下面結(jié)合附圖和具體實(shí)施方式
對本發(fā)明作進(jìn)一步詳細(xì)描述參照如圖1所示，將MPEG2音視頻文件(DVD)作為輸入的音視頻源，經(jīng)過全解全編實(shí)現(xiàn)編碼集群作為實(shí)施例，一種基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群方法，包括如下步驟1)指定集群服務(wù)器，分析網(wǎng)絡(luò)資源，建立散機(jī)集群環(huán)境；此步驟1)中的“分析網(wǎng)絡(luò)資源，建立散機(jī)集群環(huán)境”是通過如下步驟進(jìn)行的(1)集群服務(wù)器搜索整個網(wǎng)絡(luò)，察看網(wǎng)絡(luò)中每個計(jì)算機(jī)的CPU占用率，根據(jù)CPU占用率生成散機(jī)集群隊(duì)列；(2)對CPU占用率小于10％的計(jì)算機(jī)，自動進(jìn)入散機(jī)集群環(huán)境；(3)對CPU占用率在10％~50％的計(jì)算機(jī)，客戶端任務(wù)調(diào)度程序需要自動察看當(dāng)前計(jì)算機(jī)的鼠標(biāo)活動日志，對近一個小時鼠標(biāo)沒有活動的計(jì)算機(jī)自動進(jìn)入散機(jī)集群環(huán)境；(4)對CPU占用率在50％以上的計(jì)算機(jī)和一個小時以內(nèi)鼠標(biāo)曾有活動的計(jì)算機(jī)，系統(tǒng)發(fā)出詢問任務(wù)請求，接受任務(wù)請求提示的計(jì)算機(jī)自動進(jìn)入散機(jī)集群環(huán)境，拒絕任務(wù)請求提示的計(jì)算機(jī)填入“待查”標(biāo)志進(jìn)入待查計(jì)算機(jī)列表。
2)根據(jù)步驟1)中建立的集群環(huán)境，建立可配置的分布編碼模型；“分布編碼模型”是指需要分布編碼的數(shù)量和參數(shù)，是通過以下步驟得到的(1)分析輸入的音視頻源，得出片長、大小、分辨率、平均碼率和峰值碼率等關(guān)鍵參數(shù)；(2)統(tǒng)計(jì)散機(jī)集群環(huán)境的計(jì)算環(huán)境，包括計(jì)算機(jī)數(shù)量及每臺計(jì)算機(jī)CPU占用率、CPU運(yùn)算速度、內(nèi)存大小、存儲空間等；(3)用戶指定編碼期望時間和質(zhì)量參數(shù)，如碼率大小，得出需要分布編碼的數(shù)量和參數(shù)。
3)根據(jù)步驟2)中建立的分布編碼模型，在步驟1)中建立的散機(jī)集群環(huán)境中確定參與編碼的計(jì)算機(jī)，從而建立并鎖定編碼集群，根據(jù)這個編碼集群，切分音視頻源，建立任務(wù)進(jìn)程；其中，“切分音視頻源”通過如下步驟來進(jìn)行(1)首先遍歷MPEG2音視頻文件，分離出MPEG2文件的視頻部分，并將PS流轉(zhuǎn)換為ES流，得到M2V文件；(2)再次遍歷ES流文件，搜索視頻文件的序列頭，制作索引文件，作為快速切分視頻段的基礎(chǔ)；(3)根據(jù)需要分布編碼的數(shù)量，等分每段的序列頭數(shù)目，檢索索引文件，根據(jù)其指定的文件信息切分出指定數(shù)目的分段內(nèi)容，得到M2V片段，片段名中包含該片段中首楨的序號，以便服務(wù)端自動連接結(jié)果；4)根據(jù)步驟3)中建立的任務(wù)進(jìn)程，分別與編碼集群中的所有計(jì)算機(jī)建立任務(wù)鏈接，并發(fā)送任務(wù)流和任務(wù)指令，建立整個編碼集群調(diào)度和控制環(huán)境，安排并監(jiān)控所有的計(jì)算機(jī)完成指定編碼任務(wù)；此處提到的“建立整個編碼集群調(diào)度和控制環(huán)境”是通過如下步驟進(jìn)行的(1)服務(wù)器啟動服務(wù)后，監(jiān)聽客戶端的連接，并顯示客戶端的狀態(tài)、所接收的任務(wù)名、相對應(yīng)的客戶端的IP地址信息，客戶端利用TCP連接服務(wù)器；(2)當(dāng)服務(wù)器分割完指定的視頻分段后，將其依次分發(fā)給可以接受任務(wù)的客戶端。在傳輸編碼片段前，服務(wù)器預(yù)先發(fā)送編碼需要的參數(shù)到客戶端；(3)客戶端根據(jù)編碼的參數(shù)對分割的視頻片段進(jìn)行編碼，客戶端完成編碼后自動將結(jié)果發(fā)送到服務(wù)器；(4)在編碼過程中服務(wù)端會接收到客戶端編碼的進(jìn)度并更新客戶端的狀態(tài)，顯示出每一任務(wù)的狀態(tài)及進(jìn)度；
(5)錯誤處理當(dāng)連接中斷時，服務(wù)器將任務(wù)發(fā)送給其他未接受任務(wù)的客戶端；5)當(dāng)步驟4)中編碼集群終端完成獨(dú)自的視頻編碼后，服務(wù)器收回編碼結(jié)果，當(dāng)服務(wù)器在收集完成所有的任務(wù)后，首先自動將切分的編碼結(jié)果片段以切分的片段中首楨的楨號為基準(zhǔn)按順序連接起來，然后依次進(jìn)行音頻編碼和復(fù)用的工作，完成整個編碼過程。
為了說明本發(fā)明的優(yōu)點(diǎn)，以一個片源為例，單機(jī)編碼該整個片源大約需要6個小時；而采用本實(shí)施例，實(shí)驗(yàn)平臺選用了一臺主機(jī)，20臺客戶端，對于上述片源1.5個小時的節(jié)目，只需要25分鐘左右即可完成編碼，編碼參數(shù)為GOP＝30，QP＝32。結(jié)果表明音視頻保持同步，播放效果與單機(jī)壓制的相同。而速度大大提高，可以實(shí)現(xiàn)超實(shí)時的編碼系統(tǒng)。由上述數(shù)據(jù)可以看出，本發(fā)明的優(yōu)點(diǎn)是明顯的本發(fā)明具有平臺簡單可動態(tài)配置、操作簡便直觀、資源利用率高、編碼速度快、編碼效果同單機(jī)等優(yōu)點(diǎn)。
最后所應(yīng)說明的是，以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非限制。盡管參照實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，對本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，都不脫離本發(fā)明技術(shù)方案的精神和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
權(quán)利要求
1.一種基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群方法，包括如下步驟1)指定集群服務(wù)器，分析網(wǎng)絡(luò)資源，建立散機(jī)集群環(huán)境；2)根據(jù)步驟1)中建立的集群環(huán)境，建立可配置的分布編碼模型；3)根據(jù)步驟2)中建立的分布編碼模型，在步驟1)中建立的散機(jī)集群環(huán)境中確定參與編碼的計(jì)算機(jī)，從而建立并鎖定編碼集群，根據(jù)這個編碼集群，切分音視頻源，建立任務(wù)進(jìn)程；4)根據(jù)步驟3)中建立的任務(wù)進(jìn)程，分別與編碼集群中的所有計(jì)算機(jī)建立任務(wù)鏈接，并發(fā)送任務(wù)流和任務(wù)指令，建立整個編碼集群調(diào)度和控制環(huán)境，安排并監(jiān)控所有的計(jì)算機(jī)完成指定編碼任務(wù)；5)當(dāng)步驟4)中編碼集群終端完成獨(dú)自的視頻編碼后，服務(wù)器收回編碼結(jié)果，當(dāng)服務(wù)器在收集完成所有的任務(wù)后，首先自動將切分的編碼結(jié)果片段以切分的片段中首楨的楨號為基準(zhǔn)按順序連接起來，然后依次進(jìn)行音頻編碼和復(fù)用的工作，完成整個編碼過程。
2.根據(jù)權(quán)利要求1所述基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群方法，其特征在于，步驟3)中所述切分音視頻源，通過如下步驟來進(jìn)行(1)首先遍歷音視頻文件，分離出文件的視頻部分，并將節(jié)目流轉(zhuǎn)換為視頻基本流，得到視頻基本流文件；(2)再次遍歷該視頻基本流文件，搜索視頻文件的序列頭，制作I楨索引文件，作為快速切分視頻段的基礎(chǔ)；(3)根據(jù)需要分布編碼的數(shù)量，等分每段的序列頭數(shù)目，檢索索引文件，根據(jù)其指定的文件信息切分出指定數(shù)目的分段內(nèi)容，得到視頻基本流文件片段，片段名中包含該片段中首楨的序號，以便服務(wù)端自動連接結(jié)果。
3.根據(jù)權(quán)利要求1所述基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群方法，其特征在于，步驟1)中分析網(wǎng)絡(luò)資源，建立散機(jī)集群環(huán)境通過如下步驟進(jìn)行(1)集群服務(wù)器搜索整個網(wǎng)絡(luò)，察看網(wǎng)絡(luò)中每個計(jì)算機(jī)的CPU占用率，根據(jù)CPU占用率生成散機(jī)集群隊(duì)列；(2)對CPU占用率小于10％的計(jì)算機(jī)，自動進(jìn)入散機(jī)集群環(huán)境；(3)對CPU占用率在10％~50％的計(jì)算機(jī)，客戶端任務(wù)調(diào)度程序需要自動察看當(dāng)前計(jì)算機(jī)的鼠標(biāo)活動日志，對近一個小時鼠標(biāo)沒有活動的計(jì)算機(jī)自動進(jìn)入散機(jī)集群環(huán)境；(4)對CPU占用率在50％以上的計(jì)算機(jī)和一個小時以內(nèi)鼠標(biāo)曾有活動的計(jì)算機(jī)，系統(tǒng)發(fā)出詢問任務(wù)請求，接受任務(wù)請求提示的計(jì)算機(jī)自動進(jìn)入散機(jī)集群環(huán)境，拒絕任務(wù)請求提示的計(jì)算機(jī)填入“待查”標(biāo)志進(jìn)入待查計(jì)算機(jī)列表。
4.根據(jù)權(quán)利要求1所述基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群方法，其特征在于，步驟2)中所述分布編碼模型是指需要分布編碼的數(shù)量和參數(shù)，通過以下步驟得到(1)分析輸入的音視頻源，得出片長、大小、分辨率、平均碼率和峰值碼率等關(guān)鍵參數(shù)；(2)統(tǒng)計(jì)散機(jī)集群環(huán)境的計(jì)算環(huán)境，包括計(jì)算機(jī)數(shù)量及每臺計(jì)算機(jī)CPU占用率、CPU運(yùn)算速度、內(nèi)存大小、存儲空間等；(3)用戶指定編碼期望時間和質(zhì)量參數(shù)，如碼率大小，得出需要分布編碼的數(shù)量和參數(shù)。
5.根據(jù)權(quán)利要求2所述基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群方法，其特征在于，所述切分音視頻源通過如下步驟來進(jìn)行(1)首先遍歷MPEG2音視頻文件，分離出MPEG2文件的視頻部分，并將節(jié)目流轉(zhuǎn)換為視頻基本流，得到M2V文件；(2)再次遍歷該視頻基本流文件，搜索視頻文件的序列頭，制作索引文件，作為快速切分視頻段的基礎(chǔ)；(3)根據(jù)需要分布編碼的數(shù)量，等分每段的序列頭數(shù)目，檢索索引文件，根據(jù)其指定的文件信息切分出指定數(shù)目的分段內(nèi)容，得到M2V片段，片段名中包含該片段中首楨的序號，以便服務(wù)端自動連接結(jié)果。
6.根據(jù)權(quán)利要求1所述基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群方法，其特征在于，所述步驟4)中建立整個編碼集群調(diào)度和控制環(huán)境通過如下步驟進(jìn)行(1)服務(wù)器啟動服務(wù)后，監(jiān)聽客戶端的連接，并顯示客戶端的狀態(tài)、所接收的任務(wù)名、相對應(yīng)的客戶端的IP地址信息，客戶端利用TCP連接服務(wù)器；(2)當(dāng)服務(wù)器分割完指定的視頻分段后，將其依次分發(fā)給可以接受任務(wù)的客戶端。在傳輸編碼片段前，服務(wù)器預(yù)先發(fā)送編碼需要的參數(shù)到客戶端；(3)客戶端根據(jù)編碼的參數(shù)對分割的視頻片段進(jìn)行編碼，客戶端完成編碼后自動將結(jié)果發(fā)送到服務(wù)器；(4)在編碼過程中服務(wù)端會接收到客戶端編碼的進(jìn)度并更新客戶端的狀態(tài)，顯示出每一任務(wù)的狀態(tài)及進(jìn)度；(5)錯誤處理當(dāng)連接中斷時，服務(wù)器將任務(wù)發(fā)送給其他未接受任務(wù)的客戶端。
全文摘要
本發(fā)明公開了一種基于網(wǎng)絡(luò)的動態(tài)可配置編碼集群方法，包括步驟1)建立散機(jī)集群環(huán)境；2)建立可配置的分布編碼模型；3)建立并鎖定編碼集群，根據(jù)這個編碼集群，切分音視頻源，建立任務(wù)進(jìn)程；4)分別與編碼集群中的所有計(jì)算機(jī)建立任務(wù)鏈接，并發(fā)送任務(wù)流和任務(wù)指令，建立整個編碼集群調(diào)度和控制環(huán)境，安排并監(jiān)控所有的計(jì)算機(jī)完成指定編碼任務(wù)；5)服務(wù)器收回編碼結(jié)果，當(dāng)服務(wù)器在收集完成所有的任務(wù)后，首先自動將切分的編碼結(jié)果片段以切分的片段中首楨的楨號為基準(zhǔn)按順序連接起來，然后依次進(jìn)行音頻編碼和復(fù)用的工作，完成整個編碼過程。本發(fā)明具有平臺簡單可動態(tài)配置、操作簡便直觀、資源利用率高、編碼速度快、編碼效果同單機(jī)等優(yōu)點(diǎn)。
文檔編號H04L29/06GK1980398SQ20051012765
公開日2007年6月13日 申請日期2005年12月7日 優(yōu)先權(quán)日2005年12月7日
發(fā)明者高文, 陳熙霖, 魏勇剛, 呼大明, 楊長水, 侯金亭 申請人:聯(lián)合信源數(shù)字音視頻技術(shù)(北京)有限公司