專利名稱：數(shù)據(jù)采集上傳方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)傳輸，特別涉及一種數(shù)據(jù)采集上傳方法和系統(tǒng)。
背景技術(shù)：
近年來，隨著電視臺數(shù)字化進程的快速推進和網(wǎng)絡(luò)視頻應(yīng)用的迅速發(fā)展， 各種多媒體數(shù)字化管理的綜合解決方案在傳統(tǒng)和新興的媒體市場中占據(jù)了大量
的市場份額。視頻采集上栽系統(tǒng)，作為解決方案中最為核心的系統(tǒng)之一，完成 將模擬或數(shù)字信號的各種視頻、音頻數(shù)據(jù)從源設(shè)備中采集捕獲，根據(jù)不同配置 生成壓縮文件，并上載到其他服務(wù)器以完成編輯、入庫、備份、檢索等操作的 功能。可見，視頻采集上載系統(tǒng)是解決方案中其他系統(tǒng)完成相應(yīng)功能的基石， 設(shè)計一個高效、可靠的采集上載系統(tǒng)對提高整個解決方案的性能和穩(wěn)定性都有 非常重要的意義。
傳統(tǒng)的視頻采集上載系統(tǒng)一般采用兩種方法完成上載第一種是按計劃采 集的視、音頻數(shù)據(jù)直接通過傳輸協(xié)議上載到編輯或入庫服務(wù)器，而不在采集服 務(wù)器上生成臨時文件，這樣顯然減少了本地1/0(輸入/輸出)，提高了一定效率， 但一旦網(wǎng)絡(luò)出現(xiàn)異常，采集文件在上載過程中就會產(chǎn)生數(shù)據(jù)丟失，從而導(dǎo)致采 集文件的質(zhì)量下降、可靠性低；第二種是按計劃采集的視、音頻數(shù)據(jù)在采集服 務(wù)器上生成臨時文件，等本次計劃結(jié)束時，即臨時文件生成后，再通過FTP(File Transfer Protocol,文件傳輸協(xié)議)或HTTP ( Hypertext Transfer Protocol, 超文本傳輸協(xié)議)將該臨時文件上載到編輯或入庫服務(wù)器。當(dāng)網(wǎng)絡(luò)出現(xiàn)異常時， 上載過程中丟失的數(shù)據(jù)可以通過臨時文件重新進行發(fā)送，從而保障了采集文件 的質(zhì)量，提高了可靠性，但該方法最大的缺點在于，視頻編輯系統(tǒng)必須在釆集系統(tǒng)采集了整個文件后才能獲得數(shù)據(jù)開始編輯，這樣顯然增加了整個工作流程 的時間。

發(fā)明內(nèi)容
本發(fā)明提供一種數(shù)據(jù)采集上傳方法和系統(tǒng)，用于解決按計劃采集的視、音 頻數(shù)據(jù)不能實現(xiàn)快速和可靠上傳的問題。
為達到上述目的，本發(fā)明采用如下技術(shù)方案 一種數(shù)據(jù)采集上傳方法，包括 采集數(shù)據(jù)并生成臨時文件；
依次緩存所述臨時文件中的部分?jǐn)?shù)據(jù)，并上傳所述部分?jǐn)?shù)據(jù)。 一種數(shù)據(jù)采集上傳系統(tǒng)，包括 凄丈據(jù)采集生成單元用于采集^:據(jù)并生成臨時文件；
緩存上傳單元用于依次緩存所述臨時文件中的部分?jǐn)?shù)據(jù)，并上傳所述部 分?jǐn)?shù)據(jù)。
本發(fā)明中，臨時文件的生成能夠消除網(wǎng)絡(luò)異常帶來的干擾，提高采集文件 的可靠性；另外在臨時文件的生成過程中，本發(fā)明通過依次緩存和上傳臨時文 件中的部分?jǐn)?shù)據(jù)，節(jié)省了時間，能夠?qū)崿F(xiàn)數(shù)據(jù)的快速上傳。因此本發(fā)明能夠使 按計劃采集的視、音頻數(shù)據(jù)實現(xiàn)快速和可靠的上傳。


圖1為本發(fā)明數(shù)據(jù)采集上傳方法的流程圖2為應(yīng)用圖1所示方法的系統(tǒng)結(jié)構(gòu)框架示意圖3為圖2所示系統(tǒng)結(jié)構(gòu)框架中內(nèi)存緩沖的邏輯結(jié)構(gòu)示意圖4為通過圖3所示內(nèi)存緩沖傳輸數(shù)據(jù)時采用的算法基本流程圖5為本發(fā)明凝:據(jù)采集上傳系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施例方式
本發(fā)明提供一種能夠?qū)崿F(xiàn)快速和可靠上傳的數(shù)據(jù)采集上傳方法和系統(tǒng)，下 面結(jié)合附圖對本發(fā)明作詳細描述
如圖1、圖2所示，本發(fā)明的數(shù)據(jù)采集上傳方法，包括 步驟101:采集數(shù)據(jù)并生成臨時文件；
采集服務(wù)器采集了數(shù)據(jù)后在本地生成臨時文件，這樣能夠提高采集文件的 可靠性。
步驟102:依次緩存所述臨時文件中的部分?jǐn)?shù)據(jù)，并上傳所述部分?jǐn)?shù)據(jù)。
為了達到對采集文件盡快進行編輯、入庫或其他梯:作的目的，本發(fā)明采用 一個內(nèi)存緩沖來緩存臨時文件中的數(shù)據(jù)，每一次依次緩存臨時文件中的部分?jǐn)?shù) 據(jù)并進行上傳，直至整個臨時文件的數(shù)據(jù)都上傳完畢。因此在臨時文件生成的 過程中，本發(fā)明就能快速的將臨時文件中的數(shù)據(jù)通過局域網(wǎng)或廣域網(wǎng)向編輯、 入庫或其他類型的服務(wù)器進行分發(fā)。
本發(fā)明中，臨時文件的生成能夠消除網(wǎng)絡(luò)異常帶來的干擾，提高采集文件 的可靠性；另外在臨時文件的生成過程中，本發(fā)明通過依次緩存和上傳臨時文 件中的部分?jǐn)?shù)據(jù)，節(jié)省了時間，能夠?qū)崿F(xiàn)數(shù)據(jù)的快速上傳。因此本發(fā)明能夠使 按計劃采集的視、音頻數(shù)據(jù)實現(xiàn)快速和可靠的上傳。
另外，步驟102中緩存所述臨時文件中的部分?jǐn)?shù)據(jù)是通過循環(huán)一維數(shù)組進 行緩存的，即本發(fā)明中內(nèi)存緩沖結(jié)構(gòu)優(yōu)選采用簡單的循環(huán)一維數(shù)組的結(jié)構(gòu)，這 是出于以下兩點考慮 一是媒體數(shù)據(jù)具有連續(xù)性，所以使用一維數(shù)組比較方便； 二是緩沖是基于漏斗模型， 一邊流進數(shù)據(jù)， 一邊流出數(shù)據(jù)，所以采用循環(huán)數(shù)組， 用兩個指針標(biāo)定內(nèi)存緩沖的首、尾位置，這樣，在動態(tài)的數(shù)據(jù)流入流出的過程 中，不用頻繁的拷貝移動一維數(shù)據(jù)，減少了大數(shù)據(jù)量(媒體數(shù)據(jù)都比較大)的內(nèi)存1/0,提高了效率。
內(nèi)存緩沖采用循環(huán)一維數(shù)組時，在循環(huán)一維數(shù)組的首、尾位置分別設(shè)置首 指針和尾指針，并將所述首、尾位置分別定為數(shù)據(jù)流出端和數(shù)據(jù)流入端，此時，
步驟102中緩存所述臨時文件中的部分?jǐn)?shù)據(jù)具體為
在數(shù)據(jù)流入端，從所述臨時文件中讀取部分?jǐn)?shù)據(jù)，并存儲到所述循環(huán)一維 數(shù)組的尾指針處；
同時所述尾指針根據(jù)所讀取數(shù)據(jù)的數(shù)據(jù)量，向后移動相應(yīng)距離。 步驟102中上傳所述數(shù)據(jù)具體為
在數(shù)據(jù)流出端，從所述循環(huán)一維數(shù)組的首指針處讀取數(shù)據(jù)，并上傳所讀取 的數(shù)據(jù)；
同時所述首指針根據(jù)所讀取數(shù)據(jù)的數(shù)據(jù)量，向后移動相應(yīng)距離。 本發(fā)明中所說的數(shù)據(jù)為視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。 下面詳細說明 一下采用循環(huán)一維數(shù)組時數(shù)據(jù)的傳輸。
如圖3所示，該循環(huán)一維數(shù)組劃為了若干個區(qū)，此處以四個區(qū)分別為I、 II、 III、 IV為例。初始時首、尾指針分別指向I區(qū)開始位置(即最左曲線箭頭發(fā)出 處)和III區(qū)開始位置，代表著初始時緩沖中I和II區(qū)中緩存了數(shù)據(jù)，III和 IV區(qū)為空閑緩存，并且首指針指向了先到的數(shù)據(jù)。接著，隨著數(shù)據(jù)的流入，III 區(qū)存入了本次流入的數(shù)據(jù)，根據(jù)流入數(shù)據(jù)的數(shù)據(jù)量，尾指針也相應(yīng)的指向了 IV 的開始位置，隨著數(shù)據(jù)的流出，I區(qū)存儲的數(shù)據(jù)被分發(fā)出去，根據(jù)流出數(shù)據(jù)的數(shù) 據(jù)量，首指針也相應(yīng)的指向了 II區(qū)開始的位置。這樣，II和III區(qū)緩存了數(shù)據(jù)， I和IV區(qū)成為空閑緩存。由于使用了循環(huán)一維數(shù)組，所以當(dāng)流入數(shù)據(jù)存儲滿IV 區(qū)以后就存儲I區(qū)，首、尾指針的循環(huán)移動使得I和IV區(qū)在邏輯上是連續(xù)的。
在數(shù)據(jù)流入端，可以開啟一個線程異步的從當(dāng)前臨時文件中讀取數(shù)據(jù)并存儲到內(nèi)存緩沖的尾指針處，設(shè)；"表示讀取數(shù)據(jù)的時間間隔，為給定的域值， 每次讀取的數(shù)據(jù)量為間隔時間內(nèi)所生成的數(shù)據(jù)。由于采集程序是按照配置的碼
率進行采集生成文件，所以每次從臨時文件中讀取的數(shù)據(jù)位數(shù)近似為X 4。"， ^"表示采集臨時文件設(shè)置的碼率(bit率)。
在數(shù)據(jù)流出端，也開啟一個線程異步的從內(nèi)存緩沖(即循環(huán)一維數(shù)組)的 首指針處讀取數(shù)據(jù)后向傳輸網(wǎng)絡(luò)分發(fā)。設(shè)L'w表示發(fā)送數(shù)據(jù)的時間間隔，L""為
給定的域值。在這里，我們按照最快傳輸?shù)脑瓌t進行分發(fā)，即將當(dāng)前內(nèi)存緩沖
中緩存的數(shù)據(jù)最大可能的分發(fā)出去，設(shè)^"w為當(dāng)前內(nèi)存緩沖中緩存的數(shù)據(jù)量，〃
為即時的傳輸網(wǎng)絡(luò)帶寬(bps),則即時的帶寬滿負(fù)荷近似為^""x〃，因為每次 分發(fā)的數(shù)據(jù)量最大不能超過即時帶寬滿負(fù)荷的數(shù)據(jù)量，所以每次發(fā)送的數(shù)據(jù)量 近4以為min(M,' x 〃)。
當(dāng)傳輸網(wǎng)絡(luò)出現(xiàn)異常(比如出現(xiàn)抖動，網(wǎng)絡(luò)帶寬被其他系統(tǒng)占據(jù)等)而導(dǎo)
致即時帶寬A降低，從而導(dǎo)致每次發(fā)送的數(shù)據(jù)量min(M-，^"x"降低，那么，在 數(shù)據(jù)流入端，如果下次讀取的數(shù)據(jù)量小于當(dāng)前內(nèi)存緩沖的空閑空間大小的話， 則繼續(xù)向內(nèi)存緩沖的尾指針處存儲所讀取的數(shù)據(jù)；反之，按照防止內(nèi)存緩存上 溢的原則，暫停讀取數(shù)據(jù)，保證緩沖區(qū)不出現(xiàn)上溢的現(xiàn)象，直到流出端分發(fā)出 足夠的數(shù)據(jù)，騰出緩沖的空閑空間，使得下次讀取的數(shù)據(jù)量小于空閑空間大小 時，才重新開始讀取數(shù)據(jù)。
上迷數(shù)據(jù)傳輸過程中算法的基本流程圖可參考圖4。首先，計算當(dāng)前內(nèi)存緩 沖中的空閑空間，然后，判斷內(nèi)存緩沖是否已滿，如果是，則中止讀取臨時文 件中的數(shù)據(jù)，并等待觸發(fā)數(shù)據(jù)流入端線程后，返回初始步驟計算當(dāng)前內(nèi)存緩 沖中的空閑空間；如果否，則讀取臨時文件中的數(shù)據(jù)，并等待觸發(fā)數(shù)據(jù)流出端 線程后，按照最快傳輸原則分發(fā)數(shù)據(jù)到傳輸網(wǎng)絡(luò)，然后等待觸發(fā)數(shù)據(jù)流入端線程后，返回初始步驟計算當(dāng)前內(nèi)存緩沖中的空閑空間。
綜上，本發(fā)明數(shù)據(jù)采集上傳的方法在數(shù)據(jù)流入和流出端，按照最快傳輸?shù)?原則進行，符合盡量快速的將已生成的數(shù)據(jù)分發(fā)到其他服務(wù)器的需求；當(dāng)網(wǎng)絡(luò) 出現(xiàn)短時異常時，在內(nèi)存緩沖空閑空間的大小范圍內(nèi)緩沖讀取的數(shù)據(jù)，并在網(wǎng) 絡(luò)恢復(fù)正常后按最快傳輸原則將緩存數(shù)據(jù)分發(fā)出去，騰出空閑空間，盡可能讀 取數(shù)據(jù)，保證流程通暢；當(dāng)網(wǎng)絡(luò)出現(xiàn)長時異常時，按照防止緩存上溢的原則進 行暫停/恢復(fù)讀取的搡作，保證了數(shù)據(jù)不會丟失，符合對系統(tǒng)可靠的需求。所以， 本發(fā)明的方法可以支持快速、可靠的視頻采集上傳的流程。 同時如圖5所示，本發(fā)明的數(shù)據(jù)采集上傳系統(tǒng)，包括 數(shù)據(jù)采集生成單元501:用于采集lt據(jù)并生成臨時文件； 緩存上傳單元502:用于依次緩存所述臨時文件中的部分?jǐn)?shù)據(jù)，并上傳所述 部分?jǐn)?shù)據(jù)。
其中，數(shù)據(jù)采集生成單元501為采集服務(wù)器，緩存上傳單元502包括緩存 單元5021和上傳單元5022。緩存單元5021:用于通過循環(huán)一維數(shù)組依次緩存 所述臨時文件中的部分?jǐn)?shù)據(jù)；上傳單元5022:用于上傳所述部分?jǐn)?shù)據(jù)。
所述系統(tǒng)還包括接收單元503,用于通過傳輸網(wǎng)絡(luò)從所述緩存上傳單元接 收數(shù)據(jù)。該接收單元503為編輯服務(wù)器、入庫服務(wù)器、備份服務(wù)器和檢索服務(wù) 器中的一種或幾種的組合，也可以為其它類型的服務(wù)器。本實施例中，所述數(shù) 據(jù)為視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。
本實施例中，臨時文件的生成能夠消除網(wǎng)絡(luò)異常帶來的干擾，提高采集文 件的可靠性；另外在臨時文件的生成過程中，本發(fā)明通過依次緩存和上傳臨時 文件中的部分?jǐn)?shù)據(jù)，節(jié)省了時間，能夠?qū)崿F(xiàn)數(shù)據(jù)的快速上傳。因此本發(fā)明能夠 使按計劃采集的視、音頻數(shù)據(jù)實現(xiàn)快速和可靠的上傳。
9以上所述，僅為本發(fā)明的具體實施方式
，但本發(fā)明的保護范圍并不局限于 此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到 變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng) 以權(quán)利要求的保護范圍為準(zhǔn)。
權(quán)利要求
1、一種數(shù)據(jù)采集上傳方法，其特征在于，包括采集數(shù)據(jù)并生成臨時文件；依次緩存所述臨時文件中的部分?jǐn)?shù)據(jù)，并上傳所述部分?jǐn)?shù)據(jù)。
2、 根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集上傳方法，其特征在于，所述緩存所述臨時文件中的部分?jǐn)?shù)據(jù)是通過循環(huán)一維數(shù)組進行緩存的。
3、 根據(jù)權(quán)利要求2所述的數(shù)據(jù)采集上傳方法，其特征在于，所述循環(huán)一維數(shù)組的首、尾位置分別設(shè)有首指針和尾指針，并且所述首、尾位置分別為數(shù)據(jù)流出端和凄t據(jù)流入端。
4、 根據(jù)權(quán)利要求3所述的數(shù)據(jù)采集上傳方法，其特征在于，所述緩存所述臨時文件中的部分?jǐn)?shù)據(jù)具體為在數(shù)據(jù)流入端，從所述臨時文件中讀取部分?jǐn)?shù)據(jù)，并存儲到所述循環(huán)一維數(shù)組的尾指針處；同時所述尾指針根據(jù)所讀取數(shù)據(jù)的數(shù)據(jù)量，向后移動相應(yīng)距離。
5、 根據(jù)權(quán)利要求4所述的數(shù)據(jù)采集上傳方法，其特征在于，所述方法還包括在數(shù)據(jù)流入端，如果下次從所述臨時文件中讀取的數(shù)據(jù)量小于所述循環(huán)一維數(shù)組的空閑空間大小，則向所述循環(huán)一維數(shù)組的尾指針處存儲所讀取的數(shù)據(jù)；反之，則暫停讀取數(shù)據(jù)。
6、 根據(jù)權(quán)利要求4所述的數(shù)據(jù)采集上傳方法，其特征在于，所述上傳所述數(shù)據(jù)具體為在數(shù)據(jù)流出端，從所述循環(huán)一維數(shù)組的首指針處讀取數(shù)據(jù)，并上傳所讀取的數(shù)據(jù)；同時所述首指針根據(jù)所讀取數(shù)據(jù)的數(shù)據(jù)量，向后移動相應(yīng)距離。
7、 根據(jù)權(quán)利要求1至6中任一權(quán)利要求所述的數(shù)據(jù)采集上傳方法，其特征在于，所述數(shù)據(jù)為視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。
8、 一種數(shù)據(jù)采集上傳系統(tǒng)，其特征在于，包括數(shù)據(jù)采集生成單元用于采集數(shù)據(jù)并生成臨時文件；緩存上傳單元用于依次緩存所述臨時文件中的部分?jǐn)?shù)據(jù)，并上傳所述部分?jǐn)?shù)據(jù)。
9、 沖艮據(jù)權(quán)利要求8所述的數(shù)據(jù)采集上傳系統(tǒng)，其特征在于，所述數(shù)據(jù)采集生成單元為采集服務(wù)器，所述緩存上傳單元包括緩存單元和上傳單元，其中，所述緩存單元用于通過循環(huán)一維數(shù)組依次緩存所述臨時文件中的部分?jǐn)?shù)據(jù)；所述上傳單元用于上傳所述部分?jǐn)?shù)據(jù)。
10、 根據(jù)權(quán)利要求8所述的數(shù)據(jù)采集上傳系統(tǒng)，其特征在于，所述系統(tǒng)還包括接收單元用于通過傳輸網(wǎng)絡(luò)從所述緩存上傳單元接收數(shù)據(jù)；其中，所述接收單元為編輯服務(wù)器、入庫服務(wù)器、備份服務(wù)器和檢索服務(wù)器中的一種或幾種的組合。
11、 根據(jù)權(quán)利要求8至10中任一權(quán)利要求所述的數(shù)據(jù)采集上傳系統(tǒng)，其特征在于，所述數(shù)據(jù)為視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。
全文摘要
本發(fā)明公開了一種數(shù)據(jù)采集上傳方法和系統(tǒng)，屬于數(shù)據(jù)傳輸技術(shù)領(lǐng)域，為解決現(xiàn)有技術(shù)中按計劃采集的視、音頻數(shù)據(jù)不能實現(xiàn)快速和可靠上傳的問題而設(shè)計。所述數(shù)據(jù)采集上傳方法，包括采集數(shù)據(jù)并生成臨時文件；依次緩存所述臨時文件中的部分?jǐn)?shù)據(jù)，并上傳所述部分?jǐn)?shù)據(jù)。所述數(shù)據(jù)采集上傳系統(tǒng)，包括數(shù)據(jù)采集生成單元用于采集數(shù)據(jù)并生成臨時文件；緩存上傳單元用于依次緩存所述臨時文件中的部分?jǐn)?shù)據(jù)，并上傳所述部分?jǐn)?shù)據(jù)。
文檔編號H04N7/24GK101651825SQ20081011835
公開日2010年2月17日 申請日期2008年8月13日 優(yōu)先權(quán)日2008年8月13日
發(fā)明者周期律, 宋林鋒, 磊 張 申請人:北大方正集團有限公司;北京大學(xué);北京北大方正電子有限公司