嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備，包括數(shù)據(jù)包并行分配處理模塊，所述數(shù)據(jù)包并行分配處理模塊連接若干CPU，各CPU都獨(dú)立配有TCP協(xié)議棧模塊，各TCP協(xié)議棧模塊都獨(dú)立配有應(yīng)用層協(xié)議模塊，各CPU都獨(dú)立連接數(shù)據(jù)采集模塊；所述數(shù)據(jù)包并行分配處理模塊包括：報(bào)文收取子模塊，報(bào)文分流子模塊，報(bào)文重處理子模塊。本發(fā)明提供的嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備，其能對(duì)數(shù)據(jù)包進(jìn)行并行分配處理。
【專利說(shuō)明】嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備。
【背景技術(shù)】
[0002]在實(shí)際環(huán)境中，未經(jīng)優(yōu)化的Iinux或window都是單TCP協(xié)議棧，也就是在多核收取報(bào)文時(shí)，公用同一個(gè)協(xié)議棧，這樣在臨界區(qū)要存在很多鎖，系統(tǒng)性能受制于互斥，即使增加硬件成本，也不能顯著提高系統(tǒng)性能。
[0003]共用同一個(gè)IP/TCP協(xié)議棧，多個(gè)CPU同時(shí)收包，在臨界區(qū)內(nèi)會(huì)發(fā)生互斥，高負(fù)載的情況下會(huì)出現(xiàn)CPU等待，多核并行處理能力大打折扣。
[0004]同一個(gè)網(wǎng)卡產(chǎn)生的報(bào)文會(huì)被不同的CPU接收，喪失CPU親和性，這樣同一條流的數(shù)據(jù)會(huì)跨越CPU，CPU會(huì)不斷沖刷cache，單個(gè)CPU效率只能發(fā)揮到原來(lái)的一半。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備，其能對(duì)數(shù)據(jù)包進(jìn)行并行分配處理。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是設(shè)計(jì)一種嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備，包括數(shù)據(jù)包并行分配處理模塊，所述數(shù)據(jù)包并行分配處理模塊連接若干CPU，各CPU都獨(dú)立配有TCP協(xié)議棧模塊，各TCP協(xié)議棧模塊都獨(dú)立配有應(yīng)用層協(xié)議模塊，各CPU都獨(dú)立連接數(shù)據(jù)采集模塊；
[0007]所述數(shù)據(jù)包并行分配處理模塊包括:
[0008]報(bào)文收取子模塊，用于收取IP報(bào)文，并裁判網(wǎng)絡(luò)負(fù)載，輕負(fù)載時(shí)候使用中斷處理，重負(fù)載時(shí)候使用輪詢處理；
[0009]報(bào)文分流子模塊，用于預(yù)抽取IP報(bào)文中的源/目地址和源/目端口及協(xié)議，并以IP報(bào)文的源/目地址和源/目端口及協(xié)議作hash索引，把該IP報(bào)文掛入hash索引所指向CPU的IP報(bào)文隊(duì)列；
[0010]報(bào)文重處理子模塊，用于處理CPU的IP報(bào)文隊(duì)列，觸發(fā)該CPU上軟中斷，由該CPU
做進(jìn)一步處理。
[0011]優(yōu)選的，所述嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備分布式部署在移動(dòng)運(yùn)營(yíng)商IP網(wǎng)內(nèi)的SGSN和GGSN之間。
[0012]優(yōu)選的，所述應(yīng)用層協(xié)議模塊為http協(xié)議模塊、SMTP協(xié)議模塊、POP3協(xié)議模塊或FTP協(xié)議模塊。
[0013]在實(shí)際應(yīng)用的以太網(wǎng)內(nèi)，絕大多數(shù)都是IP報(bào)文。依據(jù)這個(gè)特點(diǎn)，采用由CPUO從網(wǎng)卡收到報(bào)文，以IP報(bào)文的源/目地址，和源/目端口，及協(xié)議(五元組)，作hash索引(該索引具有源目的無(wú)關(guān)性)，由該hash索引定位有相同源/目地址和源/目端口及協(xié)議的數(shù)據(jù)包，視為一個(gè)數(shù)據(jù)“流”，并把一條流，指向到同一個(gè)CPU內(nèi)核處理。因?yàn)橐粋€(gè)流的所有報(bào)文，具有相同的hash索引，所以一條流的所有數(shù)據(jù)包必然能分到同一個(gè)CPU上，這樣增加了CPU親和性，充分利用多核CPU架構(gòu)中每個(gè)CPU擁有獨(dú)立cache的特性，為每個(gè)CPU上運(yùn)行獨(dú)立協(xié)議棧提供數(shù)據(jù)支持。同時(shí)，在每一個(gè)CPU上運(yùn)行多個(gè)獨(dú)立協(xié)議棧，減少報(bào)文間的互斥操作，充分利用多核CPU的特點(diǎn)，處理性能與CPU個(gè)數(shù)類線性增長(zhǎng)。
[0014]此外，分配報(bào)文的CPU，輕負(fù)載時(shí)候使用中斷處理，重負(fù)載時(shí)候使用輪詢處理，增加CPU的有效利用率。
[0015]所述嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備分布式部署在移動(dòng)運(yùn)營(yíng)商IP網(wǎng)內(nèi)的SGSN和GGSN之間，從而具備實(shí)時(shí)采集多種網(wǎng)絡(luò)應(yīng)用流量數(shù)據(jù)的能力，支持分布式采集，集中式管理的應(yīng)用模式。能夠高效處理并關(guān)聯(lián)移動(dòng)網(wǎng)及互聯(lián)網(wǎng)的數(shù)據(jù)，如移動(dòng)用戶的手機(jī)/智能終端的型號(hào)/提供服務(wù)的運(yùn)營(yíng)商/接入點(diǎn)，使用的互聯(lián)網(wǎng)應(yīng)用/使用時(shí)長(zhǎng)/流量等等，并可將處理后數(shù)據(jù)信息輸出至第三方的智能分析管理系
[0016]統(tǒng)。
【專利附圖】

【附圖說(shuō)明】
[0017]圖1是傳統(tǒng)Linux系統(tǒng)架構(gòu)下的示意圖；
[0018]圖2是本發(fā)明的示意圖。
【具體實(shí)施方式】
[0019]如圖1所示，為傳統(tǒng)Linux系統(tǒng)架構(gòu)下的示意圖，其有如下兩個(gè)問(wèn)題:
[0020]共用同一個(gè)IP/TCP協(xié)議棧，多個(gè)CPU同時(shí)收包，在臨界區(qū)內(nèi)會(huì)發(fā)生互斥，高負(fù)載的情況下會(huì)出現(xiàn)CPU等待，多核并行處理能力大打折扣。
[0021]同一個(gè)網(wǎng)卡產(chǎn)生的報(bào)文會(huì)被不同的CPU接收，喪失CPU親和性，這樣同一條流的數(shù)據(jù)會(huì)跨越CPU，CPU會(huì)不斷沖刷cache，單個(gè)CPU效率只能發(fā)揮到原來(lái)的一半。
[0022]下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步描述。以下實(shí)施例僅用于更加清楚地說(shuō)明本發(fā)明的技術(shù)方案，而不能以此來(lái)限制本發(fā)明的保護(hù)范圍。
[0023]本發(fā)明具體實(shí)施的技術(shù)方案是:
[0024]如圖2所示，一種嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備，包括數(shù)據(jù)包并行分配處理模塊，所述數(shù)據(jù)包并行分配處理模塊連接若干CPU，各CPU都獨(dú)立配有TCP協(xié)議棧模塊，各TCP協(xié)議棧模塊都獨(dú)立配有應(yīng)用層協(xié)議模塊，各CPU都獨(dú)立連接數(shù)據(jù)采集模塊；
[0025]所述數(shù)據(jù)包并行分配處理模塊包括:
[0026]報(bào)文收取子模塊，用于收取IP報(bào)文(如由網(wǎng)卡發(fā)來(lái)的IP報(bào)文)，并裁判網(wǎng)絡(luò)負(fù)載，輕負(fù)載時(shí)候使用中斷處理，重負(fù)載時(shí)候使用輪詢處理；
[0027]報(bào)文分流子模塊，用于預(yù)抽取IP報(bào)文中的源/目地址和源/目端口及協(xié)議，并以IP報(bào)文的源/目地址和源/目端口及協(xié)議作hash索引，把該IP報(bào)文掛入hash索引所指向CPU的IP報(bào)文隊(duì)列；
[0028]報(bào)文重處理子模塊，用于處理CPU的IP報(bào)文隊(duì)列，觸發(fā)該CPU上軟中斷，由該CPU
做進(jìn)一步處理。
[0029]所述應(yīng)用層協(xié)議模塊為http協(xié)議模塊、SMTP協(xié)議模塊、POP3協(xié)議模塊或FTP協(xié)議模塊。
[0030]在實(shí)際應(yīng)用的以太網(wǎng)內(nèi)，絕大多數(shù)都是IP報(bào)文。依據(jù)這個(gè)特點(diǎn)，采用由CPUO從網(wǎng)卡收到報(bào)文，以IP報(bào)文的源/目地址，和源/目端口，及協(xié)議(五元組)，作hash索引(該索引具有源目的無(wú)關(guān)性)，由該hash索引定位有相同源/目地址和源/目端口及協(xié)議的數(shù)據(jù)包，視為一個(gè)數(shù)據(jù)“流”，并把一條流，指向到同一個(gè)CPU內(nèi)核處理。因?yàn)橐粋€(gè)流的所有報(bào)文，具有相同的hash索引，所以一條流的所有數(shù)據(jù)包必然能分到同一個(gè)CPU上，這樣增加了CPU親和性，充分利用多核CPU架構(gòu)中每個(gè)CPU擁有獨(dú)立cache的特性，為每個(gè)CPU上運(yùn)行獨(dú)立協(xié)議棧提供數(shù)據(jù)支持。同時(shí)，在每一個(gè)CPU上運(yùn)行多個(gè)獨(dú)立協(xié)議棧，減少報(bào)文間的互斥操作，充分利用多核CPU的特點(diǎn)，處理性能與CPU個(gè)數(shù)類線性增長(zhǎng)。
[0031]此外，分配報(bào)文的CPU，輕負(fù)載時(shí)候使用中斷處理，重負(fù)載時(shí)候使用輪詢處理，增加CPU的有效利用率。
[0032]所述嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備可分布式部署在移動(dòng)運(yùn)營(yíng)商IP網(wǎng)內(nèi)的SGSN和GGSN之間，從而具備實(shí)時(shí)采集多種網(wǎng)絡(luò)應(yīng)用流量數(shù)據(jù)的能力，支持分布式采集，集中式管理的應(yīng)用模式。能夠高效處理并關(guān)聯(lián)移動(dòng)網(wǎng)及互聯(lián)網(wǎng)的數(shù)據(jù)，如移動(dòng)用戶的手機(jī)/智能終端的型號(hào)/提供服務(wù)的運(yùn)營(yíng)商/接入點(diǎn)，使用的互聯(lián)網(wǎng)應(yīng)用/使用時(shí)長(zhǎng)/流量等等，并可將處理后數(shù)據(jù)信息輸出至第三方的智能分析管理系統(tǒng)。
[0033]以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本【技術(shù)領(lǐng)域】的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備，其特征在于，包括數(shù)據(jù)包并行分配處理模塊，所述數(shù)據(jù)包并行分配處理模塊連接若干CPU，各CPU都獨(dú)立配有TCP協(xié)議棧模塊，各TCP協(xié)議棧模塊都獨(dú)立配有應(yīng)用層協(xié)議模塊，各CPU都獨(dú)立連接數(shù)據(jù)采集模塊； 所述數(shù)據(jù)包并行分配處理模塊包括: 報(bào)文收取子模塊，用于收取IP報(bào)文，并裁判網(wǎng)絡(luò)負(fù)載，輕負(fù)載時(shí)候使用中斷處理，重負(fù)載時(shí)候使用輪詢處理； 報(bào)文分流子模塊，用于預(yù)抽取IP報(bào)文中的源/目地址和源/目端口及協(xié)議，并以IP報(bào)文的源/目地址和源/目端口及協(xié)議作ha sh索引，把該IP報(bào)文掛入hash索引所指向CPU的IP報(bào)文隊(duì)列； 報(bào)文重處理子模塊，用于處理CPU的IP報(bào)文隊(duì)列，觸發(fā)該CPU上軟中斷。
2.根據(jù)權(quán)利要求1所述的嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備，其特征在于，所述嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備分布式部署在移動(dòng)運(yùn)營(yíng)商IP網(wǎng)內(nèi)的SGSN和GGSN之間。
3.根據(jù)權(quán)利要求1所述的嵌入式多協(xié)議移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)采集探針設(shè)備，其特征在于，所述應(yīng)用層協(xié)議模塊為http協(xié)議模塊、SMTP協(xié)議模塊、POP3協(xié)議模塊或FTP協(xié)議模塊。
【文檔編號(hào)】H04L29/06GK103532955SQ201310489147
【公開(kāi)日】2014年1月22日 申請(qǐng)日期:2013年10月18日 優(yōu)先權(quán)日:2013年10月18日
【發(fā)明者】周菁, 鄭國(guó)權(quán) 申請(qǐng)人:蘇州斯凱迪網(wǎng)絡(luò)科技有限公司