基于壓縮、分割技術(shù)的物聯(lián)網(wǎng)大數(shù)據(jù)傳輸中間件的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種傳輸中間件，尤其涉及一種基于壓縮、分割技術(shù)的物聯(lián)網(wǎng)大數(shù)據(jù)傳輸中間件。
【背景技術(shù)】
[0002]目前大部分的物聯(lián)網(wǎng)終端的數(shù)據(jù)由采集工具采集后，都是直接發(fā)送或調(diào)用接口發(fā)送到后臺處理服務(wù)，進(jìn)行數(shù)據(jù)的存儲和處理，這種方式在面向海量的終端數(shù)據(jù)時，傳輸效率較低，會極大的占用網(wǎng)絡(luò)帶寬資源和耗費(fèi)大量的傳輸時間，尤其是在廣域網(wǎng)環(huán)境下，這種資源占用和時間耗費(fèi)更是巨大的，即使部分先進(jìn)的系統(tǒng)采用了壓縮技術(shù)，但是也只是最簡單的數(shù)據(jù)壓縮，并未達(dá)到一個很好的效率，同時也僅僅是針對部分特殊的需求或自己系統(tǒng)定制性開發(fā)的，并不具備通用性。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的就在于為了解決上述問題而提供一種基于壓縮、分割技術(shù)的物聯(lián)網(wǎng)大數(shù)據(jù)傳輸中間件。
[0004]本發(fā)明通過以下技術(shù)方案來實(shí)現(xiàn)上述目的:
[0005]本發(fā)明包括壓縮組件和分割組件，所述壓縮組件通過zlib壓縮算法進(jìn)行運(yùn)行，所述分割組件將海量數(shù)據(jù)中具有共性的數(shù)據(jù)進(jìn)行相應(yīng)的分割處理，提取共性的數(shù)據(jù)和非共性的數(shù)據(jù)，分別傳輸；通過XML配置參數(shù)，達(dá)到通用化的分割，提供原始數(shù)據(jù)的XML信息管理和分割參數(shù)的XML信息管理，系統(tǒng)通過配置相關(guān)的XML信息后，將數(shù)據(jù)提交給組件處理，組件根據(jù)相關(guān)的XML配件文件，進(jìn)行相應(yīng)的分割操作，形成分割后的數(shù)據(jù)，數(shù)據(jù)通過分割后，提取了共性數(shù)據(jù)，所有的共性數(shù)據(jù)傳輸一個樣例即可，后調(diào)用相應(yīng)的傳輸接口進(jìn)行數(shù)據(jù)傳輸，傳輸接口收到相關(guān)數(shù)據(jù)后，通過分割組件將共性數(shù)據(jù)與非共同性數(shù)據(jù)進(jìn)行組裝還原，得到原始的傳輸數(shù)據(jù)，之后再進(jìn)行相應(yīng)的處理邏輯。
[0006]進(jìn)一步，所述壓縮組件通過數(shù)據(jù)發(fā)送端將原始數(shù)據(jù)發(fā)送至壓縮組件壓縮，壓縮后的數(shù)據(jù)通過發(fā)送節(jié)點(diǎn)利用網(wǎng)絡(luò)傳輸發(fā)送至接收節(jié)點(diǎn)，后將壓縮后的數(shù)據(jù)發(fā)送至壓縮組件解壓，恢復(fù)為原始數(shù)據(jù)進(jìn)行存儲處理后儲存在數(shù)據(jù)庫內(nèi)。
[0007]進(jìn)一步，所述分割組件通過數(shù)據(jù)發(fā)送端將原始數(shù)據(jù)發(fā)送至分割組件分割，分割后的數(shù)據(jù)通過發(fā)送節(jié)點(diǎn)利用網(wǎng)絡(luò)傳輸發(fā)送至接收節(jié)點(diǎn)，后將分割后的數(shù)據(jù)發(fā)送至分割組件還原，恢復(fù)為原始數(shù)據(jù)進(jìn)行存儲處理后儲存在數(shù)據(jù)庫內(nèi)。
[0008]本發(fā)明的有益效果在于:
[0009]本發(fā)明通過本專利的壓縮、分割之后的數(shù)據(jù)量，根據(jù)數(shù)據(jù)的類型不同，較以往的數(shù)據(jù)傳輸方式數(shù)據(jù)量減少在30%?70之間；通過對數(shù)據(jù)的有效分割，之后對數(shù)據(jù)進(jìn)行分別傳輸或者壓縮傳輸，較以往完整的傳輸可以有效的減少數(shù)據(jù)的傳輸理，尤其是針對批量有規(guī)律和共性的數(shù)據(jù)，減少的數(shù)據(jù)傳輸量將是巨大的。
【附圖說明】
[0010]圖1是本發(fā)明所述基于壓縮、分割技術(shù)的物聯(lián)網(wǎng)大數(shù)據(jù)傳輸中間件的結(jié)構(gòu)示意圖；
[0011]圖2是本發(fā)明所述壓縮組件的流程結(jié)構(gòu)示意圖；
[0012]圖3是本發(fā)明所述分割組件的流程結(jié)構(gòu)示意圖；
[0013]圖4是本發(fā)明所述壓縮與分割的綜合應(yīng)用的流程結(jié)構(gòu)示意圖；
【具體實(shí)施方式】
[0014]下面結(jié)合附圖對本發(fā)明作進(jìn)一步說明:
[0015]如圖1、圖2和圖3所示:本發(fā)明包括壓縮組件和分割組件，所述壓縮組件通過zlib壓縮算法進(jìn)行運(yùn)行，所述分割組件將海量數(shù)據(jù)中具有共性的數(shù)據(jù)進(jìn)行相應(yīng)的分割處理，提取共性的數(shù)據(jù)和非共性的數(shù)據(jù)，分別傳輸；通過XML配置參數(shù)，達(dá)到通用化的分割，提供原始數(shù)據(jù)的XML信息管理和分割參數(shù)的XML信息管理，系統(tǒng)通過配置相關(guān)的XML信息后，將數(shù)據(jù)提交給組件處理，組件根據(jù)相關(guān)的XML配件文件，進(jìn)行相應(yīng)的分割操作，形成分割后的數(shù)據(jù)，數(shù)據(jù)通過分割后，提取了共性數(shù)據(jù)，所有的共性數(shù)據(jù)傳輸一個樣例即可，后調(diào)用相應(yīng)的傳輸接口進(jìn)行數(shù)據(jù)傳輸，傳輸接口收到相關(guān)數(shù)據(jù)后，通過分割組件將共性數(shù)據(jù)與非共同性數(shù)據(jù)進(jìn)行組裝還原，得到原始的傳輸數(shù)據(jù)，之后再進(jìn)行相應(yīng)的處理邏輯，所述壓縮組件通過數(shù)據(jù)發(fā)送端將原始數(shù)據(jù)發(fā)送至壓縮組件壓縮，壓縮后的數(shù)據(jù)通過發(fā)送節(jié)點(diǎn)利用網(wǎng)絡(luò)傳輸發(fā)送至接收節(jié)點(diǎn)，后將壓縮后的數(shù)據(jù)發(fā)送至壓縮組件解壓，恢復(fù)為原始數(shù)據(jù)進(jìn)行存儲處理后儲存在數(shù)據(jù)庫內(nèi)，所述分割組件通過數(shù)據(jù)發(fā)送端將原始數(shù)據(jù)發(fā)送至分割組件分割，分割后的數(shù)據(jù)通過發(fā)送節(jié)點(diǎn)利用網(wǎng)絡(luò)傳輸發(fā)送至接收節(jié)點(diǎn)，后將分割后的數(shù)據(jù)發(fā)送至分割組件還原，恢復(fù)為原始數(shù)據(jù)進(jìn)行存儲處理后儲存在數(shù)據(jù)庫內(nèi)。
[0016]本發(fā)明的工作原理如下:
[0017]如圖2所示，壓縮組件通過封裝壓縮算法zlib，提供壓縮和解壓縮的功能，系統(tǒng)通過調(diào)用組件功能來實(shí)現(xiàn)相應(yīng)的壓縮和解壓縮功能。系統(tǒng)數(shù)據(jù)先經(jīng)由壓縮組件進(jìn)行壓縮操作，生成壓縮后的數(shù)據(jù)，通過傳輸通道，傳輸?shù)浇邮斩?，接收端收到?shù)據(jù)后，經(jīng)由壓縮組件進(jìn)行解壓縮操作，得到原始的數(shù)據(jù)再進(jìn)行處理。壓縮組件在使用過程中，系統(tǒng)只需要調(diào)用相應(yīng)的組件接口，傳入相應(yīng)的數(shù)據(jù)即可以得到壓縮后的數(shù)據(jù)或解壓后的數(shù)據(jù)。
[0018]圖3為分割數(shù)據(jù)傳輸?shù)牧鞒虉D，要使用分割組件對數(shù)據(jù)進(jìn)行分割處理，需要先配置相應(yīng)的數(shù)據(jù)原始格式XML信息記錄和分割參數(shù)信息，之后調(diào)用分割組件傳輸數(shù)據(jù)，則可以得到分割后的數(shù)據(jù)，包括公有和私有的數(shù)據(jù)記錄，并用相關(guān)的標(biāo)識關(guān)聯(lián)兩關(guān)的數(shù)據(jù)，然后使用傳輸通道傳輸，并由接收端接收，接收端接收后，根據(jù)相應(yīng)的XML參數(shù)信息，將公有數(shù)據(jù)和私有數(shù)據(jù)進(jìn)行組合，得到原始的數(shù)據(jù)，然后進(jìn)行處理和存儲；
[0019]圖4展示了一個綜合利用壓縮和分割技術(shù)的數(shù)據(jù)傳輸過程。其主要是先對原始數(shù)據(jù)進(jìn)行分割，然后再壓縮分割后的數(shù)據(jù)進(jìn)行傳輸，當(dāng)數(shù)據(jù)接收后，對數(shù)據(jù)進(jìn)行又進(jìn)行反向操作，解壓后再封裝，完成數(shù)據(jù)的一次壓縮分割傳輸操作。
[0020]本領(lǐng)域技術(shù)人員不脫離本發(fā)明的實(shí)質(zhì)和精神，可以有多種變形方案實(shí)現(xiàn)本發(fā)明，以上所述僅為本發(fā)明較佳可行的實(shí)施例而已，并非因此局限本發(fā)明的權(quán)利范圍，凡運(yùn)用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)變化，均包含于本發(fā)明的權(quán)利范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于壓縮、分割技術(shù)的物聯(lián)網(wǎng)大數(shù)據(jù)傳輸中間件，其特征在于:包括壓縮組件和分割組件，所述壓縮組件通過zlib壓縮算法進(jìn)行運(yùn)行，所述分割組件將海量數(shù)據(jù)中具有共性的數(shù)據(jù)進(jìn)行相應(yīng)的分割處理，提取共性的數(shù)據(jù)和非共性的數(shù)據(jù)，分別傳輸；通過XML配置參數(shù)，達(dá)到通用化的分割，提供原始數(shù)據(jù)的XML信息管理和分割參數(shù)的XML信息管理，系統(tǒng)通過配置相關(guān)的XML信息后，將數(shù)據(jù)提交給組件處理，組件根據(jù)相關(guān)的XML配件文件，進(jìn)行相應(yīng)的分割操作，形成分割后的數(shù)據(jù)，數(shù)據(jù)通過分割后，提取了共性數(shù)據(jù)，所有的共性數(shù)據(jù)傳輸一個樣例即可，后調(diào)用相應(yīng)的傳輸接口進(jìn)行數(shù)據(jù)傳輸，傳輸接口收到相關(guān)數(shù)據(jù)后，通過分割組件將共性數(shù)據(jù)與非共同性數(shù)據(jù)進(jìn)行組裝還原，得到原始的傳輸數(shù)據(jù)，之后再進(jìn)行相應(yīng)的處理邏輯。2.根據(jù)權(quán)利要求1所述的基于壓縮、分割技術(shù)的物聯(lián)網(wǎng)大數(shù)據(jù)傳輸中間件，其特征在于:所述壓縮組件通過數(shù)據(jù)發(fā)送端將原始數(shù)據(jù)發(fā)送至壓縮組件壓縮，壓縮后的數(shù)據(jù)通過發(fā)送節(jié)點(diǎn)利用網(wǎng)絡(luò)傳輸發(fā)送至接收節(jié)點(diǎn)，后將壓縮后的數(shù)據(jù)發(fā)送至壓縮組件解壓，恢復(fù)為原始數(shù)據(jù)進(jìn)行存儲處理后儲存在數(shù)據(jù)庫內(nèi)。3.根據(jù)權(quán)利要求1所述的基于壓縮、分割技術(shù)的物聯(lián)網(wǎng)大數(shù)據(jù)傳輸中間件，其特征在于:所述分割組件通過數(shù)據(jù)發(fā)送端將原始數(shù)據(jù)發(fā)送至分割組件分割，分割后的數(shù)據(jù)通過發(fā)送節(jié)點(diǎn)利用網(wǎng)絡(luò)傳輸發(fā)送至接收節(jié)點(diǎn)，后將分割后的數(shù)據(jù)發(fā)送至分割組件還原，恢復(fù)為原始數(shù)據(jù)進(jìn)行存儲處理后儲存在數(shù)據(jù)庫內(nèi)。
【專利摘要】本發(fā)明公開了一種基于壓縮、分割技術(shù)的物聯(lián)網(wǎng)大數(shù)據(jù)傳輸中間件，包括壓縮組件和分割組件，所述壓縮組件通過zlib壓縮算法進(jìn)行運(yùn)行，所述分割組件將海量數(shù)據(jù)中具有共性的數(shù)據(jù)進(jìn)行相應(yīng)的分割處理，提取共性的數(shù)據(jù)和非共性的數(shù)據(jù)，分別傳輸。本發(fā)明通過本專利的壓縮、分割之后的數(shù)據(jù)量，根據(jù)數(shù)據(jù)的類型不同，較以往的數(shù)據(jù)傳輸方式數(shù)據(jù)量減少在30％～70之間；通過對數(shù)據(jù)的有效分割，之后對數(shù)據(jù)進(jìn)行分別傳輸或者壓縮傳輸，較以往完整的傳輸可以有效的減少數(shù)據(jù)的傳輸理，尤其是針對批量有規(guī)律和共性的數(shù)據(jù)，減少的數(shù)據(jù)傳輸量將是巨大的。
【IPC分類】G06F17/30
【公開號】CN105302824
【申請?zhí)枴緾N201410304671
【發(fā)明人】周俊, 王義橋, 鄧猛
【申請人】成都卡德智能科技有限公司
【公開日】2016年2月3日
【申請日】2014年7月1日