專利名稱：數(shù)據(jù)采集存儲系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實用新型涉及移動互聯(lián)網(wǎng)領(lǐng)域，尤其涉及數(shù)據(jù)采集存儲系統(tǒng)。
背景技術(shù)：
作為移動網(wǎng)絡(luò)的運營商來說，往往需要監(jiān)測移動終端對互聯(lián)網(wǎng)數(shù)據(jù)業(yè)務(wù)的使用情況，進而獲取相關(guān)業(yè)務(wù)信息并存儲，如移動終端的上網(wǎng)記錄、通話記錄等?，F(xiàn)有技術(shù)中，一般通過數(shù)據(jù)采集存儲系統(tǒng)去采集移動終端在互聯(lián)網(wǎng)中所進行的數(shù)據(jù)傳輸，以實現(xiàn)對網(wǎng)絡(luò)傳輸數(shù)據(jù)的采集存儲。然而，傳統(tǒng)的數(shù)據(jù)采集存儲系統(tǒng)，在對數(shù)據(jù)傳輸節(jié)點之間的傳輸信號進行采集的過程中，只能做到將采集點的所有數(shù)據(jù)全部采集，進而對采集到的所有數(shù)據(jù)進行存儲；但對于運營商來說，采集到的所有數(shù)據(jù)并不全是所需要的數(shù)據(jù)，其中包含了大量的垃圾數(shù)據(jù)；因而在存儲數(shù)據(jù)的過程中，對這些大量的垃圾數(shù)據(jù)也進行了存儲，從而降低了存儲性能，導(dǎo)致存儲效率較低。

實用新型內(nèi)容本實用新型提出了數(shù)據(jù)采集存儲系統(tǒng)，能夠提高存儲效率。為了達到上述目的，本實用新型的技術(shù)方案是這樣實現(xiàn)的:數(shù)據(jù)采集存儲系統(tǒng)，包括:采集裝置，用于采集數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)；第一發(fā)送裝置，用于將采集到的所述數(shù)據(jù)送入第一緩存；第二發(fā)送裝置，用于當所述第一緩存中的所有數(shù)據(jù)形成的長度達到預(yù)設(shè)閾值時，將第一緩存中的所有數(shù)據(jù)批量送入第二緩存；過濾裝置，用于在第二緩存中，根據(jù)預(yù)先設(shè)置的過濾條件，對采集到的所有數(shù)據(jù)進行過濾處理，得到有效數(shù)據(jù)；存儲裝置，用于將經(jīng)過濾處理得到的所述有效數(shù)據(jù)進行存儲。優(yōu)選地,進一步包括:分光器，用于將數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)男盘柗殖鲆徊糠?；轉(zhuǎn)換裝置，用于將分出的這部分信號轉(zhuǎn)換為二進制數(shù)據(jù)包；所述采集裝置，用于采集所述二進制數(shù)據(jù)包，作為采集到的數(shù)據(jù)。優(yōu)選地，進一步包括:時間戳裝置，用于向所述二進制數(shù)據(jù)包中添加時間戳標識；所述第一發(fā)送裝置，用于將添加了時間戳標識的二進制數(shù)據(jù)包作為采集到的數(shù)據(jù)，送入所述第一緩存中。優(yōu)選地，所述第二發(fā)送裝置包括DMA直接內(nèi)存讀取組件，用于當所述第一緩存中的所有數(shù)據(jù)形成的長度達到所述預(yù)設(shè)閾值時，采用DMA技術(shù)將所有數(shù)據(jù)批量送入所述第二緩存中。優(yōu)選地，該系統(tǒng)進一步包括:分流裝置，用于根據(jù)預(yù)先設(shè)置的IP地址類別，對經(jīng)過濾處理得到的所述有效數(shù)據(jù)進行分流處理，得到均等的多股數(shù)據(jù)。優(yōu)選地，該系統(tǒng)進一步包括輔助裝置，用于輔助所述過濾裝置和/或分流裝置進行相應(yīng)的過濾和/或分流處理。優(yōu)選地，所述輔助裝置包括:哈希表組件，用于設(shè)置IP地址的哈希表，該哈希表中包含有一個以上的IP地址；查找組件，用于在采集到數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)之后，根據(jù)數(shù)據(jù)傳輸節(jié)點中數(shù)據(jù)發(fā)送方或接收方的IP地址，在所述哈希表中進行查找；若查找到與所述數(shù)據(jù)發(fā)送方或接收方的IP地址相符的IP地址，則進行相應(yīng)的過濾和/或分流處理。優(yōu)選地，所述存儲裝置為磁盤陣列，該磁盤陣列由多個小磁盤組成。優(yōu)選地，所述磁盤陣列中的每一個小磁盤為固態(tài)硬盤。優(yōu)選地，所述采集裝置為IP數(shù)據(jù)采集卡。與現(xiàn)有技術(shù)相比，本實用新型提供的數(shù)據(jù)采集存儲系統(tǒng)，通過采集裝置采集數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)，進而通過第一發(fā)送裝置將該數(shù)據(jù)送入第一緩存，當?shù)谝痪彺嬷械乃袛?shù)據(jù)形成的長度達到預(yù)設(shè)閾值時，再通過第二發(fā)送裝置將第一緩存中的所有數(shù)據(jù)批量送入第二緩存中；這樣，則不需要每采集到一個數(shù)據(jù)，則進行一次數(shù)據(jù)輸送，而是采用了兩級緩存，當?shù)谝痪彺嬷械乃袛?shù)據(jù)的長度達到預(yù)設(shè)閾值時，才將所有數(shù)據(jù)批量送入第二緩存，進而實現(xiàn)對采集到的所有數(shù)據(jù)進行二級輸送，從而可提高對采集到的所有數(shù)據(jù)的輸送速率；進一步地，在第二緩存中，根據(jù)預(yù)先設(shè)置的過濾條件，對采集到的所有數(shù)據(jù)進行過濾處理，得到有效數(shù)據(jù)，進而存儲該有效數(shù)據(jù)；這樣，則不需要對采集到的所有數(shù)據(jù)進行存儲，可以根據(jù)預(yù)設(shè)的過濾條件，選擇出有效數(shù)據(jù)，排除大量的垃圾數(shù)據(jù)，從而大大提高了存儲效率，增強存儲性能。

為了更清楚地說明本實用新型實施例或現(xiàn)有技術(shù)中的技術(shù)方案，以下將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，以下描述中的附圖僅僅是本實用新型的一些實施例，對于本領(lǐng)域普通技術(shù)人員而言，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖所示實施例得到其它的實施例及其附圖。圖1本實用新型實施例一提供的一種數(shù)據(jù)采集存儲系統(tǒng)的裝置圖；圖2為本實用新型實施例二提供的另一種數(shù)據(jù)采集存儲系統(tǒng)的裝置圖。
具體實施方式
以下將結(jié)合附圖對本實用新型各實施例的技術(shù)方案進行清楚、完整的描述，顯然，所描述的實施例僅僅是本實用新型的一部分實施例，而不是全部的實施例?；诒緦嵱眯滦椭械膶嵤├?，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所得到的所有其它實施例，都屬于本實用新型所保護的范圍。實施例一本實用新型實施例一提供了一種數(shù)據(jù)采集存儲系統(tǒng)，參見圖1，該系統(tǒng)包括:采集裝置1，用于采集數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)；其中，采集裝置I為IP數(shù)據(jù)采集卡；[0035]數(shù)據(jù)傳輸節(jié)點為移動互聯(lián)網(wǎng)中的數(shù)據(jù)發(fā)送方和數(shù)據(jù)接收方，例如移動終端和基站；采集接口包括:Gn、Gb、G1、Gw、Iu-PSoIP、MMl、MM3、MM4、MM7、SMPP、SMRSE、CMPP、CIMD ；第一發(fā)送裝置2，用于將采集到的所述數(shù)據(jù)送入第一緩存；第二發(fā)送裝置3，用于當所述第一緩存中的所有數(shù)據(jù)形成的長度達到預(yù)設(shè)閾值時，將第一緩存中的所有數(shù)據(jù)批量送入第二緩存；過濾裝置4，用于在第二緩存中，根據(jù)預(yù)先設(shè)置的過濾條件，對采集到的所述數(shù)據(jù)進行過濾處理，得到有效數(shù)據(jù)；具體地，該過濾條件可以是:數(shù)據(jù)傳輸節(jié)點中數(shù)據(jù)發(fā)送方的IP地址、數(shù)據(jù)接收方的IP地址，或者APN接入點，或者協(xié)議類型，等；對于特定端口的采集接口，還可以設(shè)置電話號碼、網(wǎng)絡(luò)類型、用戶終端等過濾條件；存儲裝置5，用于將經(jīng)過濾處理得到的所述有效數(shù)據(jù)進行存儲；本實用新型實施例一提供的數(shù)據(jù)采集存儲系統(tǒng)，通過采集裝置采集數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)，進而通過第一發(fā)送裝置將該數(shù)據(jù)送入第一緩存，當?shù)谝痪彺嬷械乃袛?shù)據(jù)形成的長度達到預(yù)設(shè)閾值時，再通過第二發(fā)送裝置將第一緩存中的所有數(shù)據(jù)批量送入第二緩存中；這樣，則不需要每采集到一個數(shù)據(jù)，則進行一次數(shù)據(jù)輸送，而是采用了兩級緩存，當?shù)谝痪彺嬷械乃袛?shù)據(jù)的長度達到預(yù)設(shè)閾值時，才將所有數(shù)據(jù)批量送入第二緩存，進而實現(xiàn)對采集到的所有數(shù)據(jù)進行二級輸送，從而可提高對采集到的所有數(shù)據(jù)的輸送速率；進一步地，在第二緩存中，根據(jù)預(yù)先設(shè)置的過濾條件，對采集到的所有數(shù)據(jù)進行過濾處理，得到有效數(shù)據(jù)，進而存儲該有效數(shù)據(jù)；這樣，則不需要對采集到的所有數(shù)據(jù)進行存儲，可以根據(jù)預(yù)設(shè)的過濾條件，選擇出有效數(shù)據(jù)，排除大量的垃圾數(shù)據(jù)，從而大大提高了存儲效率，增強存儲性能。為了更清楚地闡述實施例一提供的數(shù)據(jù)采集存儲系統(tǒng)，下面給出該系統(tǒng)的一個優(yōu)選實施例，來具體說明數(shù)據(jù)采集存儲系統(tǒng)的結(jié)構(gòu)，請參見實施例二。實施例二本實用新型實施例二提供了另一種數(shù)據(jù)采集存儲系統(tǒng)，為上述數(shù)據(jù)采集存儲系統(tǒng)的一個優(yōu)選實施方式，其中，數(shù)據(jù)采集存儲是基于硬件設(shè)備實現(xiàn)的，該硬件設(shè)備內(nèi)部設(shè)置有IP數(shù)據(jù)采集卡，以完成數(shù)據(jù)采集過程；該系統(tǒng)中，過濾條件設(shè)置為數(shù)據(jù)發(fā)送方或數(shù)據(jù)接收方的IP地址；具體地，參見圖2，該系統(tǒng)包括:連接裝置21，用于建立數(shù)據(jù)傳輸節(jié)點之間的信號連接；其中，數(shù)據(jù)傳輸節(jié)點為移動互聯(lián)網(wǎng)中的數(shù)據(jù)發(fā)送方和數(shù)據(jù)接收方，例如移動終端和基站；也就是說，在進行采集過程之前，要確保數(shù)據(jù)傳輸節(jié)點之間的信號連接正常；分光器22，用于將數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)男盘柗殖鲆徊糠郑晦D(zhuǎn)換裝置23，用于將分出的這部分信號轉(zhuǎn)換為二進制數(shù)據(jù)包；具體地，可根據(jù)信號傳輸載體的類型，設(shè)置光接口或電接口，將分出的信號轉(zhuǎn)換為二進制數(shù)據(jù)包；[0053]IP數(shù)據(jù)采集卡24，包括:采集裝置241，時間戳裝置242，輸送裝置243，DMA直接內(nèi)存讀取組件244 ;具體地，采集裝置241，用于采集二進制數(shù)據(jù)包；時間戳裝置242，用于向二進制數(shù)據(jù)包中添加時間戳標識；優(yōu)選地，向每個數(shù)據(jù)包中添加的時間戳標識的時間間隔，其精度達到10納秒；這樣，當采集到的所有二進制數(shù)據(jù)包均送入第一緩存中之后，可根據(jù)每個數(shù)據(jù)包攜帶的時間戳標識進行數(shù)據(jù)包的排序，以防止數(shù)據(jù)發(fā)生錯亂；輸送裝置243，用于將添加了時間戳標識的二進制數(shù)據(jù)包送至第一緩存；該第一緩存為硬件設(shè)備內(nèi)設(shè)置的IP數(shù)據(jù)采集卡的緩存；DMA組件244，用于當?shù)谝痪彺嬷写鎯Φ乃卸M制數(shù)據(jù)包形成的長度達到預(yù)設(shè)閾值時，采用DMA直接內(nèi)存技術(shù)將所有二進制數(shù)據(jù)包批量拷貝到第二緩存中；該第二緩存為硬件設(shè)備的緩存；相應(yīng)地，當IP數(shù)據(jù)采集卡內(nèi)的緩存中存放的數(shù)據(jù)包長度達到預(yù)設(shè)閾值時，才將緩存中的所有數(shù)據(jù)批量拷貝到硬件設(shè)備的緩存中；這樣，硬件設(shè)備的緩存中存儲了采集到的數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)；至此，實現(xiàn)了對數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)的采集過程；因為采用DMA技術(shù)將IP數(shù)據(jù)采集卡的緩存中存放的數(shù)據(jù)批量輸出到硬件設(shè)備的緩存中，進而通過PC1-E總線將緩存中的數(shù)據(jù)送入硬件設(shè)備的內(nèi)存映射區(qū)，達到非中斷式的數(shù)據(jù)采集拷貝，而無須通過硬件設(shè)備的CPU來控制，減輕了硬件設(shè)備CPU的處理壓力，提高硬件設(shè)備的整體處理效率；而且，批量輸出方式進一步提高了數(shù)據(jù)輸出的速率；過濾裝置25，用于根據(jù)預(yù)先設(shè)置的過濾條件，對第二緩存中的數(shù)據(jù)進行過濾處理，得到有效數(shù)據(jù)；具體地，可設(shè)置數(shù)據(jù)傳輸節(jié)點中數(shù)據(jù)發(fā)送方的IP地址作為過濾條件，篩選出由該IP地址發(fā)出的數(shù)據(jù)，作為有效數(shù)據(jù)；此時，可直接將過濾處理得到的有效數(shù)據(jù)由第二緩存中直接送入內(nèi)存進行存儲；當然，為了達到更好的效果，在將過濾處理得到的有效數(shù)據(jù)送入內(nèi)存之前，還可進一步對該有效數(shù)據(jù)進行分流處理；具體地，該系統(tǒng)進一步包括分流裝置26，用于根據(jù)預(yù)先設(shè)置的IP地址類別，對經(jīng)過濾處理得到的所述有效數(shù)據(jù)進行分流處理，得到均等的多股數(shù)據(jù)；也就是說，可根據(jù)數(shù)據(jù)發(fā)送方的IP地址或接收方的IP地址，對有效數(shù)據(jù)進行分流處理；存儲裝置27，用于將分流處理得到的每一股數(shù)據(jù)進行分別存儲；也用于將過濾處理得到的有效數(shù)據(jù)直接進行存儲；其中，多個分流使用多進程并行處理，每個分流對應(yīng)一個輸入緩沖區(qū)，一個或多個輸出緩沖區(qū)，進而實現(xiàn)對分流得到的每一股數(shù)據(jù)的分別存儲；這樣，提高了設(shè)備整體的計算速率和存儲速率；為了提高存儲速率，優(yōu)選地，存儲裝置47具體為磁盤陣列RAID，磁盤陣列中包括多個小磁盤；為了進一步提高存儲速率，每一個小磁盤為固態(tài)硬盤；這樣，就可以在保證性能的前提下實現(xiàn)多塊小磁盤的同時讀寫，并且使用固態(tài)硬盤的高速率存儲，進一步解決硬盤的存儲容量及速率瓶頸。此外，為了提高過濾裝置25和分流裝置26的處理速率，該系統(tǒng)進一步包括輔助裝置28，分別與過濾裝置和分流裝置連接，用來輔助過濾裝置和分流裝置進行相應(yīng)的過濾和分流操作；該輔助裝置28包括:哈希表組件281和查找組件282 ;具體地，哈希表組件281，用于設(shè)置IP地址的哈希表，該哈希表中包含有一個以上的IP地址；查找組件282，用于在采集到數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)之后，根據(jù)數(shù)據(jù)傳輸節(jié)點中數(shù)據(jù)發(fā)送方或接收方的IP地址，在所述哈希表中進行查找；若查找到與所述數(shù)據(jù)發(fā)送方或接收方的IP地址相符的IP地址，則進行相應(yīng)的過濾和/或分流處理。本實用新型實施例二提供的數(shù)據(jù)采集存儲系統(tǒng)，能夠大大提高采集和存儲性能，滿足最大采集速率4Gbps不丟包，最多可存儲120T數(shù)據(jù)，可支持數(shù)據(jù)發(fā)送方的IP地址、接收方的IP地址、用戶號碼、APN接入點、網(wǎng)絡(luò)類型等多元素過濾。而且，由于設(shè)置了第一緩存和第二緩存，進而對采集到的所有數(shù)據(jù)先送入第一緩存中，當?shù)谝痪彺嬷械乃袛?shù)據(jù)形成的長度達到預(yù)設(shè)閾值時，再將第一緩存中的所有數(shù)據(jù)批量送入第二緩存中，以在第二緩存中對采集到的所有數(shù)據(jù)進行過濾和/或分流處理；這樣，相比于現(xiàn)有技術(shù)中每采集到一個數(shù)據(jù)，則進行一次輸送，本實用新型中，采用了兩級緩存，當?shù)谝痪彺嬷械乃袛?shù)據(jù)的長度達到預(yù)設(shè)閾值時，才將所有數(shù)據(jù)批量送入第二緩存，進而實現(xiàn)對采集到的所有數(shù)據(jù)進行二級輸送，從而可大大提供對采集到的所有數(shù)據(jù)的輸送速率；進一步地，每采集到一個二進制數(shù)據(jù)包，則向該二進制數(shù)據(jù)包中添加時間戳標識，這樣，當采集到的所有二進制數(shù)據(jù)包均送入第一緩存中之后，可根據(jù)每個數(shù)據(jù)包攜帶的時間戳標識進行數(shù)據(jù)包的排序，以防止數(shù)據(jù)發(fā)生錯亂；此外，本實用新型中，采用DMA直接內(nèi)存技術(shù)將第一緩存中的所有二進制數(shù)據(jù)包批量拷貝到第二緩存中；而第一緩存是IP硬件采集卡的緩存，第二緩存為整體硬件設(shè)備的緩存；也就是說，通過PC1-E總線將IP硬件采集卡的緩存中的數(shù)據(jù)送入硬件設(shè)備的緩存中，達到非中斷式的數(shù)據(jù)采集拷貝，而無須通過硬件設(shè)備的CPU來控制，減輕了硬件設(shè)備CPU的處理壓力，提高硬件設(shè)備的整體處理效率；而且，批量輸出方式進一步提高了數(shù)據(jù)輸出的速率；而且，由于采用由固態(tài)硬盤組成的磁盤陣列來存儲最終的數(shù)據(jù)，可實現(xiàn)對多塊小磁盤的同時讀寫，進一步加快存儲速率。其中，本實用新型中的上述各裝置、組件可以使用現(xiàn)場可編程邏輯陣列(FPGA)、復(fù)雜可編程邏輯器件(CPLD)等數(shù)據(jù)處理芯片實現(xiàn)。本實用新型提供的各種實施例可根據(jù)需要以任意方式相互組合，通過這種組合得到的技術(shù)方案，也在本實用新型的范圍內(nèi)。顯然，本領(lǐng)域技術(shù)人員可以對本實用新型進行各種改動和變型而不脫離本實用新型的精神和范圍。這樣，倘若對本實用新型的這些修改和變型屬于本實用新型權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本實用新型也包含這些改動和變型在內(nèi)。
權(quán)利要求1.數(shù)據(jù)采集存儲系統(tǒng)，其特征在于，包括: 采集裝置，用于采集數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)； 第一發(fā)送裝置，用于將采集到的所述數(shù)據(jù)送入第一緩存； 第二發(fā)送裝置，用于當所述第一緩存中的所有數(shù)據(jù)形成的長度達到預(yù)設(shè)閾值時，將第一緩存中的所有數(shù)據(jù)批量送入第二緩存； 過濾裝置，用于在第二緩存中，根據(jù)預(yù)先設(shè)置的過濾條件，對采集到的所有數(shù)據(jù)進行過濾處理，得到有效數(shù)據(jù)； 存儲裝置，用于將經(jīng)過濾處理得到的所述有效數(shù)據(jù)進行存儲。
2.如權(quán)利要求1所述的數(shù)據(jù)采集存儲系統(tǒng)，其特征在于，進一步包括:分光器，用于將數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)男盘柗殖鲆徊糠郑晦D(zhuǎn)換裝置，用于將分出的這部分信號轉(zhuǎn)換為二進制數(shù)據(jù)包； 所述采集裝置，用于采集所述二進制數(shù)據(jù)包，作為采集到的數(shù)據(jù)。
3.如權(quán)利要求2所述的數(shù)據(jù)采集存儲系統(tǒng)，其特征在于，進一步包括:時間戳裝置，用于向所述二進制數(shù)據(jù)包中添加時間戳標識； 所述第一發(fā)送裝置，用于將添加了時間戳標識的二進制數(shù)據(jù)包作為采集到的數(shù)據(jù)，送入所述第一緩存中。
4.如權(quán)利要求1所述的數(shù)據(jù)采集存儲系統(tǒng)，其特征在于，所述第二發(fā)送裝置包括DMA直接內(nèi)存讀取組件，用于當所述第一緩存中的所有數(shù)據(jù)形成的長度達到所述預(yù)設(shè)閾值時，采用DMA技術(shù)將所有數(shù)據(jù)批量送入所述第二緩存中。
5.如權(quán)利要求1-4任意一項所述的數(shù)據(jù)采集存儲系統(tǒng)，其特征在于，該系統(tǒng)進一步包括: 分流裝置，用于根據(jù)預(yù)先設(shè)置的IP地址類別，對經(jīng)過濾處理得到的所述有效數(shù)據(jù)進行分流處理，得到均等的多股數(shù)據(jù)。
6.如權(quán)利要求5所述的數(shù)據(jù)采集存儲系統(tǒng)，其特征在于，該系統(tǒng)進一步包括輔助裝置，用于輔助所述過濾裝置和/或分流裝置進行相應(yīng)的過濾和/或分流處理。
7.如權(quán)利要求6所述的數(shù)據(jù)采集存儲系統(tǒng)，其特征在于，所述輔助裝置包括: 哈希表組件，用于設(shè)置IP地址的哈希表，該哈希表中包含有一個以上的IP地址； 查找組件，用于在采集到數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)之后，根據(jù)數(shù)據(jù)傳輸節(jié)點中數(shù)據(jù)發(fā)送方或接收方的IP地址，在所述哈希表中進行查找；若查找到與所述數(shù)據(jù)發(fā)送方或接收方的IP地址相符的IP地址,則進行相應(yīng)的過濾和/或分流處理。
8.如權(quán)利要求1-4任意一項所述的數(shù)據(jù)采集存儲系統(tǒng)，其特征在于，所述存儲裝置為磁盤陣列，該磁盤陣列由多個小磁盤組成。
9.如權(quán)利要求8所述的數(shù)據(jù)采集存儲系統(tǒng)，其特征在于，所述磁盤陣列中的每一個小磁盤為固態(tài)硬盤。
10.如權(quán)利要求1-4任意一項所述的數(shù)據(jù)采集存儲系統(tǒng)，其特征在于，所述采集裝置為IP數(shù)據(jù)采集卡。
專利摘要本實用新型屬于移動互聯(lián)網(wǎng)領(lǐng)域，具體為數(shù)據(jù)采集存儲系統(tǒng)，能夠提高存儲效率。數(shù)據(jù)采集存儲系統(tǒng)，包括采集裝置，用于采集數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)臄?shù)據(jù)；第一發(fā)送裝置，用于將采集到的所述數(shù)據(jù)送入第一緩存；第二發(fā)送裝置，用于當所述第一緩存中的所有數(shù)據(jù)形成的長度達到預(yù)設(shè)閾值時，將第一緩存中的所有數(shù)據(jù)批量送入第二緩存；過濾裝置，用于在第二緩存中，根據(jù)預(yù)先設(shè)置的過濾條件，對采集到的所有數(shù)據(jù)進行過濾處理，得到有效數(shù)據(jù)；存儲裝置，用于將經(jīng)過濾處理得到的所述有效數(shù)據(jù)進行存儲。該系統(tǒng)進一步包括分光器，用于將數(shù)據(jù)傳輸節(jié)點之間傳輸?shù)男盘柗殖鲆徊糠?；轉(zhuǎn)換裝置，用于將分出的這部分信號轉(zhuǎn)換為二進制數(shù)據(jù)包。
文檔編號H04L29/08GK202957845SQ20122053187
公開日2013年5月29日 申請日期2012年10月17日 優(yōu)先權(quán)日2012年10月17日
發(fā)明者祝守宇 申請人:北京西塔網(wǎng)絡(luò)科技股份有限公司