本發(fā)明涉及大數(shù)據(jù)，具體為基于大數(shù)據(jù)冗余分析的安防監(jiān)控信息存儲系統(tǒng)及方法。

背景技術(shù)：

1、隨著現(xiàn)代社會的發(fā)展，安防監(jiān)控系統(tǒng)在公共安全、企業(yè)安保、家庭安全等多個領(lǐng)域得到了廣泛應(yīng)用。傳統(tǒng)的安防監(jiān)控系統(tǒng)主要依賴于連續(xù)的視頻監(jiān)控和數(shù)據(jù)存儲，但隨著監(jiān)控范圍的擴(kuò)大和高清監(jiān)控設(shè)備的普及，產(chǎn)生的視頻數(shù)據(jù)量急劇增加，給存儲系統(tǒng)帶來了巨大的壓力。此外，傳統(tǒng)的存儲方法存在數(shù)據(jù)冗余嚴(yán)重、檢索效率低、存儲成本高等問題，無法滿足當(dāng)前智能安防系統(tǒng)的需求。

2、大數(shù)據(jù)技術(shù)的發(fā)展為安防監(jiān)控系統(tǒng)的數(shù)據(jù)存儲和管理提供了新的解決方案。通過對視頻數(shù)據(jù)進(jìn)行冗余分析、數(shù)據(jù)清洗、特征提取和異常檢測，可以有效地減少存儲空間，提高數(shù)據(jù)處理和檢索效率。然而，現(xiàn)有技術(shù)中，如何高效地對海量視頻數(shù)據(jù)進(jìn)行實(shí)時處理和存儲，仍然面臨許多技術(shù)難題。

3、現(xiàn)有的安防監(jiān)控信息存儲系統(tǒng)通常采用集中式存儲架構(gòu)，易造成單點(diǎn)故障，無法充分利用分布式存儲的優(yōu)勢。此外，在數(shù)據(jù)傳輸和存儲過程中，數(shù)據(jù)的安全性也未得到充分保障，容易導(dǎo)致數(shù)據(jù)泄露和篡改，因此，針對上述問題提出基于大數(shù)據(jù)冗余分析的安防監(jiān)控信息存儲系統(tǒng)及方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供基于大數(shù)據(jù)冗余分析的安防監(jiān)控信息存儲系統(tǒng)及方法，以解決上述背景技術(shù)中提出的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、基于大數(shù)據(jù)冗余分析的安防監(jiān)控信息存儲系統(tǒng)，包括：

4、視頻采集模塊，用于采集并實(shí)時傳輸安防監(jiān)控視頻數(shù)據(jù)；

5、數(shù)據(jù)傳輸模塊，用于將采集到的視頻數(shù)據(jù)通過有線或無線網(wǎng)絡(luò)傳輸至存儲服務(wù)器；

6、數(shù)據(jù)冗余分析模塊，用于對接收到的視頻數(shù)據(jù)進(jìn)行冗余分析，去除重復(fù)和無用的數(shù)據(jù)；

7、存儲服務(wù)器，用于存儲經(jīng)處理后的安防監(jiān)控視頻數(shù)據(jù)，并提供高效的讀寫功能；

8、數(shù)據(jù)檢索模塊，用于根據(jù)用戶請求高效檢索存儲服務(wù)器中的視頻數(shù)據(jù)；

9、安全模塊，用于確保傳輸和存儲數(shù)據(jù)的安全性，通過加密技術(shù)保護(hù)數(shù)據(jù)的完整性和隱私性。

10、優(yōu)選的，所述數(shù)據(jù)冗余分析模塊包括：

11、數(shù)據(jù)預(yù)處理單元，用于對接收到的視頻數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、分幀處理以及基礎(chǔ)預(yù)處理；

12、重復(fù)數(shù)據(jù)檢測單元，用于檢測視頻數(shù)據(jù)中的重復(fù)內(nèi)容，通過計(jì)算哈希值及內(nèi)容特征實(shí)現(xiàn)高效檢測；

13、數(shù)據(jù)清洗單元，用于清除檢測到的重復(fù)數(shù)據(jù)和無用數(shù)據(jù)，保證存儲數(shù)據(jù)的唯一性和有效性。

14、優(yōu)選的，所述重復(fù)數(shù)據(jù)檢測單元通過結(jié)合哈希算法和內(nèi)容特征提取算法進(jìn)行重復(fù)數(shù)據(jù)檢測，具體計(jì)算公式如下：

15、

16、其中，h(v)表示視頻數(shù)據(jù)，v的加權(quán)哈希值，vi表示第i幀視頻幀，f表示哈希函數(shù)，wi表示第i幀的權(quán)重系數(shù)。

17、優(yōu)選的，所述內(nèi)容特征提取算法采用基于深度學(xué)習(xí)的特征提取方法，計(jì)算公式如下：

18、

19、其中，c(v)表示視頻數(shù)據(jù)v的綜合特征值，fi表示第i幀的特征向量，g表示特征提取函數(shù)，si表示第i幀的特征權(quán)重。

20、優(yōu)選的，所述存儲服務(wù)器采用分布式存儲架構(gòu)，包括多個互聯(lián)存儲節(jié)點(diǎn)，節(jié)點(diǎn)之間通過高速網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)傳輸和同步，具體包括以下功能：

21、冗余存儲管理，通過分布式文件系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)的冗余存儲，提高數(shù)據(jù)存儲的可靠性；

22、負(fù)載均衡，通過負(fù)載均衡算法優(yōu)化數(shù)據(jù)讀取和寫入性能，防止單點(diǎn)瓶頸；

23、數(shù)據(jù)分片與合并，采用數(shù)據(jù)分片技術(shù)將大規(guī)模視頻數(shù)據(jù)劃分為若干小片段存儲，并在需要時進(jìn)行數(shù)據(jù)片段的合并與重構(gòu)，具體計(jì)算模型如下：

24、

25、其中，s(v)表示視頻數(shù)據(jù)v的分片集合，p(vi)表示第i個視頻片段。

26、優(yōu)選的，還包括：

27、異常檢測模塊，用于監(jiān)控系統(tǒng)運(yùn)行狀態(tài)和視頻數(shù)據(jù)質(zhì)量，通過對視頻數(shù)據(jù)進(jìn)行實(shí)時分析，檢測異常情況并進(jìn)行報(bào)警，具體檢測算法包括基于機(jī)器學(xué)習(xí)的異常檢測模型，計(jì)算公式如下：

28、

29、其中，a(v)表示視頻數(shù)據(jù)v的異常值，fi表示第i幀的特征向量，h表示異常檢測函數(shù)，θ表示模型參數(shù)。

30、基于大數(shù)據(jù)冗余分析的安防監(jiān)控信息存儲方法，包括以下步驟：

31、步驟一：采集安防監(jiān)控視頻數(shù)據(jù)，通過視頻采集模塊實(shí)時采集監(jiān)控區(qū)域內(nèi)的視頻數(shù)據(jù)；

32、步驟二：將采集到的視頻數(shù)據(jù)傳輸?shù)酱鎯Ψ?wù)器，通過數(shù)據(jù)傳輸模塊采用有線或無線網(wǎng)絡(luò)進(jìn)行傳輸；

33、步驟三：對接收到的視頻數(shù)據(jù)進(jìn)行冗余分析，通過數(shù)據(jù)冗余分析模塊對視頻數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、分幀處理、重復(fù)數(shù)據(jù)檢測和數(shù)據(jù)清洗；

34、步驟四：存儲處理后的安防監(jiān)控視頻數(shù)據(jù)，將清洗后的視頻數(shù)據(jù)存儲在分布式存儲系統(tǒng)中；

35、步驟五：根據(jù)用戶請求檢索存儲服務(wù)器中的視頻數(shù)據(jù)，通過數(shù)據(jù)檢索模塊實(shí)現(xiàn)高效的數(shù)據(jù)檢索和調(diào)取。

36、優(yōu)選的，步驟三中進(jìn)行冗余分析包括：

37、對視頻數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換和分幀預(yù)處理，保證后續(xù)處理的統(tǒng)一性；

38、通過結(jié)合哈希算法和基于深度學(xué)習(xí)的特征提取算法檢測視頻數(shù)據(jù)中的重復(fù)內(nèi)容，具體計(jì)算公式如下：

39、

40、其中，w(v)表示視頻數(shù)據(jù)v的波動特征值，表示第i幀視頻在時間維度上的變化率，αi表示第i幀的波動權(quán)重系數(shù)；m(v)表示視頻數(shù)據(jù)v的機(jī)器學(xué)習(xí)特征值，fi表示第i幀的特征向量，k表示特征提取函數(shù)，φ表示模型參數(shù)，βi表示第i幀的特征權(quán)重。

41、優(yōu)選的，步驟四中存儲處理后的視頻數(shù)據(jù)采用分布式存儲系統(tǒng)，該系統(tǒng)包括多個存儲節(jié)點(diǎn)，節(jié)點(diǎn)之間通過高速網(wǎng)絡(luò)互聯(lián)，實(shí)現(xiàn)數(shù)據(jù)的冗余存儲和負(fù)載均衡，以提高數(shù)據(jù)存儲的可靠性和讀取速度。具體實(shí)現(xiàn)方式包括：

42、數(shù)據(jù)分片與重組技術(shù)，將大規(guī)模視頻數(shù)據(jù)分片存儲，以提高存儲和讀取效率，并在需要時進(jìn)行數(shù)據(jù)片段的重組；

43、分布式文件系統(tǒng)架構(gòu)，采用分布式文件系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)的可靠存儲和高效訪問；

44、數(shù)據(jù)同步與一致性算法，通過多節(jié)點(diǎn)間的數(shù)據(jù)同步與一致性算法，確保數(shù)據(jù)的高可用性和安全性，具體算法如下：

45、

46、其中，s(v)表示視頻數(shù)據(jù)v的同步特征值，di表示第i數(shù)據(jù)片段，ti表示傳輸時間，γi表示第i數(shù)據(jù)片段的同步權(quán)重。

47、優(yōu)選的，還包括：

48、在檢測到異常情況時向用戶發(fā)送實(shí)時報(bào)警信息，并提供詳細(xì)的異常情況日志和相關(guān)視頻片段的步驟，通過報(bào)警模塊實(shí)現(xiàn)對異常情況的實(shí)時監(jiān)控和報(bào)警功能。異常檢測采用基于時間序列分析和模式識別的算法，通過對視頻數(shù)據(jù)的實(shí)時分析，計(jì)算異常值e(v)，具體計(jì)算公式如下：

49、

50、其中，e(v)表示視頻數(shù)據(jù)v的異常值，r表示基于時間序列分析的異常檢測函數(shù)，μ和σ分別表示時間序列的均值和標(biāo)準(zhǔn)差，δi表示第i幀的異常檢測權(quán)重。

51、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

52、1、本發(fā)明中，通過結(jié)合波動分析算法和基于機(jī)器學(xué)習(xí)的特征提取算法，實(shí)現(xiàn)對視頻數(shù)據(jù)的冗余檢測和數(shù)據(jù)清洗，有效減少數(shù)據(jù)冗余，提高存儲效率。波動特征值和機(jī)器學(xué)習(xí)特征值的計(jì)算模型，保證了重復(fù)數(shù)據(jù)的精確檢測和去除；

53、2、本發(fā)明中，采用分布式存儲系統(tǒng)，包括多個互聯(lián)存儲節(jié)點(diǎn)，節(jié)點(diǎn)之間通過高速網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)傳輸和同步。數(shù)據(jù)分片與重組技術(shù)、分布式文件系統(tǒng)架構(gòu)以及數(shù)據(jù)同步與一致性算法的應(yīng)用，提高了數(shù)據(jù)存儲的可靠性和讀取速度，防止單點(diǎn)瓶頸，提高系統(tǒng)的可擴(kuò)展性；

54、3、本發(fā)明中，通過異常檢測模塊，采用基于時間序列分析和模式識別的算法，對視頻數(shù)據(jù)進(jìn)行實(shí)時分析，計(jì)算異常值，實(shí)現(xiàn)對異常情況的實(shí)時監(jiān)控和報(bào)警功能，增強(qiáng)了安防系統(tǒng)的智能化和反應(yīng)速度；

55、4、本發(fā)明中，通過數(shù)據(jù)檢索模塊，根據(jù)用戶請求高效檢索存儲服務(wù)器中的視頻數(shù)據(jù)，結(jié)合特征提取和索引技術(shù)，提升了數(shù)據(jù)檢索的速度和準(zhǔn)確性，滿足用戶快速獲取關(guān)鍵信息的需求。