基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的方法與裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻云存儲(chǔ)領(lǐng)域，特別涉及基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的方法與裝置。
【背景技術(shù)】
[0002]視頻云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展出來的一種通過集群應(yīng)用、網(wǎng)格技術(shù)或分式文件系統(tǒng)等功能，通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供高效視頻數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。
[0003]隨著科技的發(fā)展，視頻云部署的規(guī)模越來越大，數(shù)據(jù)量正在以千萬數(shù)量級(jí)增長(zhǎng)，同時(shí)用戶對(duì)視頻云存儲(chǔ)性能和應(yīng)用體驗(yàn)的要求也越來越高。在性能方面的要求主要包括:存儲(chǔ)速度快、數(shù)據(jù)高安全性和系統(tǒng)整體性能實(shí)用率高等。在用戶體驗(yàn)方面的要求主要包括:各項(xiàng)功能的反應(yīng)時(shí)間短，效率高等特點(diǎn)。這種現(xiàn)狀下在視頻云存儲(chǔ)高速寫數(shù)據(jù)和用戶的體驗(yàn)間產(chǎn)生了不可避免的沖突，為了解決這個(gè)問題亟需設(shè)計(jì)從視頻云存儲(chǔ)系統(tǒng)提取(一種基于視頻云存儲(chǔ)系統(tǒng)特性讀取視頻數(shù)據(jù)的方法)數(shù)據(jù)的解決方案，有效的解決視頻云存儲(chǔ)高速存儲(chǔ)和用戶體驗(yàn)間的沖突。
[0004]目前很多系統(tǒng)在存儲(chǔ)和提取數(shù)據(jù)時(shí)大多采用順序存儲(chǔ)順序提取的方式和分塊存儲(chǔ)順序提取的方式，這兩種方式不但效率低而且用戶體驗(yàn)效果差，當(dāng)整個(gè)系統(tǒng)在執(zhí)行大數(shù)據(jù)量存儲(chǔ)和大并發(fā)量提取時(shí)，常常會(huì)導(dǎo)致數(shù)據(jù)丟失等異常發(fā)生，實(shí)際場(chǎng)景描述如圖1和圖2所示。其中，圖1為視頻云存儲(chǔ)系統(tǒng)正常環(huán)境應(yīng)用場(chǎng)景，在正常使用環(huán)境中視頻云存儲(chǔ)系統(tǒng)首先需要滿足對(duì)大數(shù)據(jù)的存儲(chǔ)，并保證數(shù)據(jù)安全可靠，但這種使用場(chǎng)景往往只是一種理想環(huán)境，視頻云存儲(chǔ)可以存儲(chǔ)海量數(shù)據(jù)，同時(shí)也會(huì)有大量的用戶需要同時(shí)提取數(shù)據(jù)，這樣不但會(huì)對(duì)網(wǎng)絡(luò)造成壓力也會(huì)嚴(yán)重影響視頻云存儲(chǔ)系統(tǒng)的系統(tǒng)，如圖2視頻云存儲(chǔ)系統(tǒng)真實(shí)運(yùn)行環(huán)境所示。在異常環(huán)境中由于視頻云存儲(chǔ)的存儲(chǔ)服務(wù)器負(fù)載過高，不但影響提取效率更重要的是會(huì)影響正常的數(shù)據(jù)存儲(chǔ)功能，很可能會(huì)導(dǎo)致數(shù)據(jù)丟失等問題，還可能會(huì)造成更嚴(yán)重的后果。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的方法與裝置，將數(shù)據(jù)分散存儲(chǔ)到不同的存儲(chǔ)服務(wù)器中，有效利用了視頻云存儲(chǔ)系統(tǒng)資源，提升了整體效率；在分散存儲(chǔ)數(shù)據(jù)的基礎(chǔ)上，提取數(shù)據(jù)時(shí)在保證視頻云存儲(chǔ)的分散存儲(chǔ)功能優(yōu)先進(jìn)行的前提下，根據(jù)提取策略并發(fā)地向不同的存儲(chǔ)服務(wù)器提取數(shù)據(jù)，既在一定程度上保證了數(shù)據(jù)的安全性，又能夠高效提取數(shù)據(jù)，減少了視頻云存儲(chǔ)系統(tǒng)中存儲(chǔ)和提取數(shù)據(jù)對(duì)于系統(tǒng)資源搶占的沖突。
[0006]為解決上述技術(shù)問題，本發(fā)明的實(shí)施方式公開了一種基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的方法，包括以下步驟:
[0007]當(dāng)從前端設(shè)備獲取到數(shù)據(jù)時(shí)，對(duì)數(shù)據(jù)按容量進(jìn)行分塊得到數(shù)據(jù)塊，并將數(shù)據(jù)塊分散存儲(chǔ)到至少一個(gè)存儲(chǔ)服務(wù)器的不同存儲(chǔ)設(shè)備中；
[0008]當(dāng)用戶欲從視頻云存儲(chǔ)系統(tǒng)中提取數(shù)據(jù)時(shí)，從管理服務(wù)器中獲取需要提取的數(shù)據(jù)所在的存儲(chǔ)服務(wù)器信息，存儲(chǔ)服務(wù)器信息包括存儲(chǔ)服務(wù)器所存儲(chǔ)的數(shù)據(jù)塊大小和系統(tǒng)負(fù)載高低的信息；
[0009]在保證視頻云存儲(chǔ)的分散存儲(chǔ)功能優(yōu)先進(jìn)行的前提下，根據(jù)數(shù)據(jù)的存儲(chǔ)服務(wù)器信息以及用戶定義的數(shù)據(jù)優(yōu)先級(jí)，制定提取策略，提取策略用于控制并發(fā)提取數(shù)據(jù)的線程數(shù)、各線程提取數(shù)據(jù)的速度以及數(shù)據(jù)提取的優(yōu)先級(jí)；
[0010]根據(jù)制定的提取策略，向存儲(chǔ)服務(wù)器并發(fā)地提取數(shù)據(jù)。
[0011]本發(fā)明的實(shí)施方式還公開了一種基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的裝置，包括:
[0012]分散存儲(chǔ)模塊，用于當(dāng)從前端設(shè)備獲取到數(shù)據(jù)時(shí)，對(duì)數(shù)據(jù)按容量進(jìn)行分塊得到數(shù)據(jù)塊，并將數(shù)據(jù)塊分散存儲(chǔ)到至少一個(gè)存儲(chǔ)服務(wù)器的不同存儲(chǔ)設(shè)備中；
[0013]存儲(chǔ)服務(wù)器信息獲取模塊，用于當(dāng)用戶欲從視頻云存儲(chǔ)系統(tǒng)中提取數(shù)據(jù)時(shí)，從管理服務(wù)器中獲取需要提取的數(shù)據(jù)所在的存儲(chǔ)服務(wù)器信息，存儲(chǔ)服務(wù)器信息包括存儲(chǔ)服務(wù)器所存儲(chǔ)的數(shù)據(jù)塊大小和系統(tǒng)負(fù)載高低的信息；
[0014]提取策略制定模塊，用于在保證視頻云存儲(chǔ)的分散存儲(chǔ)功能優(yōu)先進(jìn)行的前提下，根據(jù)數(shù)據(jù)的存儲(chǔ)服務(wù)器信息以及用戶定義的數(shù)據(jù)優(yōu)先級(jí)，制定提取策略，提取策略用于控制并發(fā)提取數(shù)據(jù)的線程數(shù)、各線程提取數(shù)據(jù)的速度以及數(shù)據(jù)提取的優(yōu)先級(jí)；
[0015]提取模塊，用于根據(jù)制定的提取策略，向存儲(chǔ)服務(wù)器并發(fā)地提取數(shù)據(jù)。
[0016]本發(fā)明實(shí)施方式與現(xiàn)有技術(shù)相比，主要區(qū)別及其效果在于:
[0017]本發(fā)明將數(shù)據(jù)分散存儲(chǔ)到不同的存儲(chǔ)服務(wù)器中，有效利用了視頻云存儲(chǔ)系統(tǒng)資源，提升了整體效率；在分散存儲(chǔ)數(shù)據(jù)的基礎(chǔ)上，提取數(shù)據(jù)時(shí)在保證視頻云存儲(chǔ)的分散存儲(chǔ)功能優(yōu)先進(jìn)行的前提下，根據(jù)提取策略并發(fā)地向不同的存儲(chǔ)服務(wù)器提取數(shù)據(jù)，既在一定程度上保證了數(shù)據(jù)的安全性，又能夠高效提取數(shù)據(jù)，減少了視頻云存儲(chǔ)系統(tǒng)中存儲(chǔ)和提取數(shù)據(jù)對(duì)于系統(tǒng)資源搶占的沖突，保證在海量數(shù)據(jù)存儲(chǔ)和大量數(shù)據(jù)提取時(shí)，視頻云存儲(chǔ)系統(tǒng)能夠正常高效地運(yùn)行。
[0018]進(jìn)一步地，存儲(chǔ)策略可以保證數(shù)據(jù)按照用戶的要求進(jìn)行存儲(chǔ)，同時(shí)保證各個(gè)存儲(chǔ)設(shè)備平攤整個(gè)系統(tǒng)的壓力。
[0019]進(jìn)一步地，根據(jù)數(shù)據(jù)容量大小決定分散粒度，取代現(xiàn)有技術(shù)中按照時(shí)間等因素決定分散粒度，能夠精確控制分散粒度，從而使數(shù)據(jù)存儲(chǔ)均勻，充分利用存儲(chǔ)資源。
[0020]進(jìn)一步地，通過實(shí)時(shí)獲取存儲(chǔ)服務(wù)器的分塊數(shù)據(jù)信息，能夠及時(shí)更新在提取數(shù)據(jù)的過程中存儲(chǔ)服務(wù)器的壓力，從而對(duì)提取速度進(jìn)行動(dòng)態(tài)控制。
【附圖說明】
[0021]圖1是視頻z?存儲(chǔ)系統(tǒng)正常環(huán)境應(yīng)用場(chǎng)景不意圖；
[0022]圖2是視頻z?存儲(chǔ)系統(tǒng)異常環(huán)境應(yīng)用場(chǎng)景不意圖；
[0023]圖3是本發(fā)明第一實(shí)施方式中一種基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的方法的流程示意圖；
[0024]圖4是本發(fā)明第一實(shí)施方式中一種基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的方法的數(shù)據(jù)提取的核心原理圖；
[0025]圖5是本發(fā)明第一實(shí)施方式中一種基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的方法的時(shí)序圖；
[0026]圖6是本發(fā)明第一實(shí)施方式中一種基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的方法的流程圖；
[0027]圖7是本發(fā)明第二實(shí)施方式中一種基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0028]在以下的敘述中，為了使讀者更好地理解本申請(qǐng)而提出了許多技術(shù)細(xì)節(jié)。但是，本領(lǐng)域的普通技術(shù)人員可以理解，即使沒有這些技術(shù)細(xì)節(jié)和基于以下各實(shí)施方式的種種變化和修改，也可以實(shí)現(xiàn)本申請(qǐng)各權(quán)利要求所要求保護(hù)的技術(shù)方案。
[0029]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作進(jìn)一步地詳細(xì)描述。
[0030]本發(fā)明第一實(shí)施方式涉及一種基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的方法，圖3是該基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的方法的流程示意圖。
[0031]具體地說，如圖3所示，該基于視頻云存儲(chǔ)系統(tǒng)的存儲(chǔ)與提取性能平衡的方法包括以下步驟:
[0032]在步驟301中，當(dāng)從前端設(shè)備獲取到數(shù)據(jù)時(shí)，對(duì)數(shù)據(jù)按容量進(jìn)行分塊得到數(shù)據(jù)塊，并將數(shù)據(jù)塊分散存儲(chǔ)到至少一個(gè)存儲(chǔ)服務(wù)器的不同存儲(chǔ)設(shè)備中。
[0033]優(yōu)選地，在步驟301中，將數(shù)據(jù)塊分散存儲(chǔ)到至少一個(gè)存儲(chǔ)服務(wù)器的不同存儲(chǔ)設(shè)備中，包括以下子步驟:
[0034]按設(shè)定的存儲(chǔ)策略為前端設(shè)備預(yù)分配至少一個(gè)存儲(chǔ)服務(wù)器，前端設(shè)備將數(shù)據(jù)塊發(fā)送給分配到的存儲(chǔ)服務(wù)器；
[0035]按設(shè)定的存儲(chǔ)策略為前端設(shè)備預(yù)分配掛接在存儲(chǔ)服務(wù)器上的存儲(chǔ)設(shè)備，存儲(chǔ)服務(wù)器將數(shù)據(jù)塊存儲(chǔ)到分配到的存儲(chǔ)設(shè)備中。
[0036]此外，可以理解，當(dāng)預(yù)分配的存儲(chǔ)空間被寫滿時(shí)，前端設(shè)備需要再次向管理服務(wù)器申請(qǐng)存儲(chǔ)服務(wù)器，并且申請(qǐng)到存儲(chǔ)服務(wù)器后，需要再次向新的存儲(chǔ)服務(wù)器申請(qǐng)存儲(chǔ)空間。
[0037]優(yōu)選地，在步驟301中將數(shù)據(jù)塊分散存儲(chǔ)到至少一個(gè)存儲(chǔ)服務(wù)器的不同存儲(chǔ)設(shè)備中的步驟之前，還包括步驟:
[0038]設(shè)定存儲(chǔ)策略，為數(shù)據(jù)塊的分散存儲(chǔ)預(yù)分配至少一個(gè)存儲(chǔ)服務(wù)器的不同存儲(chǔ)設(shè)備，存儲(chǔ)策略包括:
[0039]前端設(shè)備向管理服務(wù)器申請(qǐng)存儲(chǔ)服務(wù)器時(shí)，如果用戶選擇對(duì)數(shù)據(jù)進(jìn)行分散存儲(chǔ)，則根據(jù)各存儲(chǔ)服務(wù)器的系統(tǒng)性能，為前端設(shè)備分配相應(yīng)的存儲(chǔ)服務(wù)器；如果用戶選擇對(duì)數(shù)據(jù)進(jìn)行集中存儲(chǔ)，則為前端設(shè)備分配集中存儲(chǔ)所指定范圍內(nèi)的存儲(chǔ)服務(wù)器；
[0040]前端設(shè)備向存儲(chǔ)服務(wù)器申請(qǐng)存儲(chǔ)設(shè)備時(shí)，挑選存儲(chǔ)壓力最小的存儲(chǔ)設(shè)備分配給前端設(shè)備。
[0041]存儲(chǔ)策略可以保證數(shù)據(jù)按照用戶的要求進(jìn)行存儲(chǔ)，同時(shí)保證各個(gè)存儲(chǔ)設(shè)備平攤整個(gè)系統(tǒng)的壓力。
[0042]此外，可以理解，用戶選擇進(jìn)行集中存儲(chǔ)時(shí)，管理服務(wù)器為前端設(shè)備分配集中存儲(chǔ)所指定范圍內(nèi)的存儲(chǔ)服務(wù)器，指定范圍內(nèi)的存儲(chǔ)服務(wù)器可以為多臺(tái)，因此集中存儲(chǔ)在本發(fā)明中是一種分散程度較低的分散存儲(chǔ)。
[0043]需要說明的是，當(dāng)從前端設(shè)備獲取到數(shù)據(jù)時(shí)，對(duì)數(shù)據(jù)按容量進(jìn)行分塊得到數(shù)據(jù)塊的步驟中，數(shù)據(jù)塊的大小小于存儲(chǔ)設(shè)備容量大小的千