本技術(shù)涉及智能網(wǎng)關(guān),具體而言,涉及一種數(shù)據(jù)的處理方法及裝置、非易失性存儲(chǔ)介質(zhì)、電子設(shè)備。
背景技術(shù):
1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,傳統(tǒng)的網(wǎng)絡(luò)接入方式已不再能滿足日益增長(zhǎng)的網(wǎng)絡(luò)質(zhì)量和速度需求。光纖入戶(fiber?to?the?room,fttr)設(shè)備,通過光纖直接延伸至用戶家中或企業(yè),顯著提升了網(wǎng)絡(luò)信號(hào)的穩(wěn)定性和傳輸速度,成為提升網(wǎng)絡(luò)質(zhì)量、滿足高帶寬需求、促進(jìn)產(chǎn)業(yè)升級(jí)的優(yōu)選組網(wǎng)方案。對(duì)于集中式的信息和通信技術(shù)功能(information?andcommunication?technology,ict)管理平臺(tái)中部署有大量fttr設(shè)備(即網(wǎng)關(guān)設(shè)備),網(wǎng)關(guān)設(shè)備會(huì)產(chǎn)生大量的上報(bào)信息,如網(wǎng)關(guān)設(shè)備每5秒(s)上報(bào)一次狀態(tài)信息,系統(tǒng)會(huì)產(chǎn)生超過20萬(wàn)的吞吐量,在異常情況下處理量可能更高。相關(guān)技術(shù)中,針對(duì)上述的高并發(fā)消息處理的場(chǎng)景,存在消息處理延遲和阻塞的問題。
2、針對(duì)上述的問題,目前尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供了一種數(shù)據(jù)的處理方法及裝置、非易失性存儲(chǔ)介質(zhì)、電子設(shè)備,以至少解決將相關(guān)技術(shù)的網(wǎng)關(guān)設(shè)備消息處理方案應(yīng)用在高并發(fā)消息處理場(chǎng)景下時(shí)存在的消息處理延遲時(shí)間長(zhǎng)和消息阻塞的技術(shù)問題。
2、根據(jù)本技術(shù)實(shí)施例的一個(gè)方面,提供了一種數(shù)據(jù)的處理方法,包括:在檢測(cè)到網(wǎng)關(guān)設(shè)備上報(bào)消息的情況下,確定部署在集群中的每個(gè)網(wǎng)關(guān)管理平臺(tái)的第一消息容量,其中,第一消息容量用于指示網(wǎng)關(guān)管理平臺(tái)的消息處理能力,網(wǎng)關(guān)管理平臺(tái)的消息處理能力與消息處理能力正相關(guān);根據(jù)第一消息容量在集群中確定目標(biāo)服務(wù)器,其中,目標(biāo)服務(wù)器用于接收網(wǎng)關(guān)設(shè)備上報(bào)的消息,目標(biāo)服務(wù)器對(duì)網(wǎng)關(guān)設(shè)備上報(bào)的消息進(jìn)行時(shí)序性處理和分級(jí)緩存。
3、可選地,根據(jù)第一消息容量在集群中確定目標(biāo)服務(wù)器,包括:對(duì)比集群中部署的全部網(wǎng)關(guān)管理平臺(tái)的第一消息容量,得到對(duì)比結(jié)果;在對(duì)比結(jié)果指示全部網(wǎng)關(guān)管理平臺(tái)的第一消息容量均相同的情況下,依據(jù)第一消息轉(zhuǎn)發(fā)策略在集群中確定目標(biāo)服務(wù)器;在對(duì)比結(jié)果指示全部網(wǎng)關(guān)管理平臺(tái)的第一消息容量不完全相同的情況下,依據(jù)第二消息轉(zhuǎn)發(fā)策略在集群中確定目標(biāo)服務(wù)器,其中,第一消息轉(zhuǎn)發(fā)策略和第二消息轉(zhuǎn)發(fā)策略中用于確定接收概率的方法不同,接收概率為服務(wù)器接收到網(wǎng)關(guān)設(shè)備上報(bào)的消息的概率。
4、可選地,依據(jù)第一消息轉(zhuǎn)發(fā)策略在集群中確定目標(biāo)服務(wù)器,包括:對(duì)于每個(gè)服務(wù)器,確定服務(wù)器的客戶端數(shù)量,其中,客戶端數(shù)量是與服務(wù)器連接的網(wǎng)關(guān)管理平臺(tái)的數(shù)量;確定客戶端數(shù)量與第一消息容量的乘積,并確定乘積與總數(shù)量的第一比值,其中,總數(shù)量是集群中包含的全部網(wǎng)關(guān)管理平臺(tái)的數(shù)量,第一比值用于指示服務(wù)器的接收概率,第一比值與接收概率正相關(guān);根據(jù)多個(gè)服務(wù)器對(duì)應(yīng)的多個(gè)第一比值確定目標(biāo)服務(wù)器。
5、可選地,根據(jù)多個(gè)服務(wù)器對(duì)應(yīng)的多個(gè)第一比值確定目標(biāo)服務(wù)器,包括:獲取隨機(jī)數(shù),并按照第一比值從大到小的順序?qū)Χ鄠€(gè)第一比值依次進(jìn)行累加,其中,每次累加時(shí),對(duì)比累加結(jié)果和隨機(jī)數(shù),直到累加結(jié)果大于或者等于隨機(jī)數(shù),停止累加;將最后一個(gè)進(jìn)行累加的第一比值對(duì)應(yīng)的服務(wù)器確定為目標(biāo)服務(wù)器。
6、可選地,依據(jù)第二消息轉(zhuǎn)發(fā)策略在集群中確定目標(biāo)服務(wù)器,包括:對(duì)于每個(gè)服務(wù)器,根據(jù)與服務(wù)器連接的網(wǎng)關(guān)管理平臺(tái)的數(shù)量和每個(gè)網(wǎng)關(guān)管理平臺(tái)的第一消息容量確定服務(wù)器的第二消息容量,其中,第二消息容量用于指示服務(wù)器的消息處理能力,服務(wù)器的消息處理能力與第二消息容量正相關(guān);根據(jù)集群中部署的全部網(wǎng)關(guān)管理平臺(tái)和每個(gè)網(wǎng)關(guān)管理平臺(tái)的第一消息容量確定集群的第三消息容量,其中,第三消息容量用于指示集群的消息處理能力,集群的消息處理能力與第三消息容量正相關(guān);確定第二消息容量與第三消息容量的第二比值,其中,第二比值用于指示服務(wù)器的接收概率,第二比值與接收概率正相關(guān);根據(jù)多個(gè)服務(wù)器對(duì)應(yīng)的多個(gè)第二比值確定目標(biāo)服務(wù)器。
7、可選地,根據(jù)多個(gè)服務(wù)器對(duì)應(yīng)的多個(gè)第二比值確定目標(biāo)服務(wù)器,包括:獲取隨機(jī)數(shù),并按照第二比值從大到小的順序?qū)Χ鄠€(gè)第二比值依次進(jìn)行累加,其中,每次累加時(shí),對(duì)比累加結(jié)果和隨機(jī)數(shù),直到累加結(jié)果大于或者等于隨機(jī)數(shù),停止累加;將最后一個(gè)進(jìn)行累加的第二比值對(duì)應(yīng)的服務(wù)器確定為目標(biāo)服務(wù)器。
8、可選地,對(duì)網(wǎng)關(guān)設(shè)備上報(bào)的消息進(jìn)行時(shí)序性處理,包括:對(duì)于每條消息,獲取消息攜帶的地址映射值,并確定消息的上報(bào)時(shí)間,其中,地址映射值是上報(bào)消息的網(wǎng)關(guān)設(shè)備的媒體訪問控制mac地址的映射值;將包含相同的地址映射值的消息按照上報(bào)時(shí)間從早到晚的順序存儲(chǔ)為消息序列。
9、可選地,集群中還包括:多個(gè)中間件,其中,中間件至少包括:用于臨時(shí)存儲(chǔ)網(wǎng)關(guān)設(shè)備上報(bào)的消息的第一類中間件、用于永久存儲(chǔ)網(wǎng)關(guān)設(shè)備上報(bào)的消息的第二類中間件;對(duì)網(wǎng)關(guān)設(shè)備上報(bào)的消息進(jìn)行分級(jí)緩存,包括:在接收到網(wǎng)關(guān)設(shè)備上報(bào)的消息后,將消息全部存儲(chǔ)到第一類中間件中;在消息存儲(chǔ)在第一類中間件的時(shí)長(zhǎng)大于預(yù)設(shè)時(shí)長(zhǎng)的情況下,將消息轉(zhuǎn)儲(chǔ)到第二類中間件中。
10、根據(jù)本技術(shù)實(shí)施例的另一方面,還提供了一種數(shù)據(jù)的處理裝置,包括:檢測(cè)模塊,用于在檢測(cè)到網(wǎng)關(guān)設(shè)備上報(bào)消息的情況下,確定部署在集群中的每個(gè)網(wǎng)關(guān)管理平臺(tái)的第一消息容量,其中,第一消息容量用于指示網(wǎng)關(guān)管理平臺(tái)的消息處理能力,網(wǎng)關(guān)管理平臺(tái)的消息處理能力與消息處理能力正相關(guān);確定模塊,用于根據(jù)第一消息容量在集群中確定目標(biāo)服務(wù)器,其中,目標(biāo)服務(wù)器用于接收網(wǎng)關(guān)設(shè)備上報(bào)的消息,目標(biāo)服務(wù)器對(duì)網(wǎng)關(guān)設(shè)備上報(bào)的消息進(jìn)行時(shí)序性處理和分級(jí)緩存。
11、根據(jù)本技術(shù)實(shí)施例的另一方面,還提供了一種非易失性存儲(chǔ)介質(zhì),非易失性存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序,其中,在非易失性存儲(chǔ)介質(zhì)所在設(shè)備通過運(yùn)行計(jì)算機(jī)程序執(zhí)行上述的數(shù)據(jù)的處理方法。
12、根據(jù)本技術(shù)實(shí)施例的另一方面,還提供了一種電子設(shè)備,包括存儲(chǔ)器和處理器,存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序,處理器被設(shè)置為通過計(jì)算機(jī)程序執(zhí)行上述的數(shù)據(jù)的處理方法。
13、根據(jù)本技術(shù)實(shí)施例的另一方面,還提供了一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)指令,計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的數(shù)據(jù)的處理方法的步驟。
14、在本技術(shù)實(shí)施例中,采用在檢測(cè)到網(wǎng)關(guān)設(shè)備上報(bào)消息的情況下,確定部署在集群中的每個(gè)網(wǎng)關(guān)管理平臺(tái)的第一消息容量,其中,第一消息容量用于指示網(wǎng)關(guān)管理平臺(tái)的消息處理能力,網(wǎng)關(guān)管理平臺(tái)的消息處理能力與消息處理能力正相關(guān);根據(jù)第一消息容量在集群中確定目標(biāo)服務(wù)器,其中,目標(biāo)服務(wù)器用于接收網(wǎng)關(guān)設(shè)備上報(bào)的消息,目標(biāo)服務(wù)器對(duì)網(wǎng)關(guān)設(shè)備上報(bào)的消息進(jìn)行時(shí)序性處理和分級(jí)緩存的方式,在將網(wǎng)關(guān)設(shè)備上報(bào)的消息進(jìn)行轉(zhuǎn)發(fā)時(shí)通過資源分級(jí)轉(zhuǎn)發(fā)的方法在集群中確定用于處理網(wǎng)關(guān)設(shè)備上報(bào)的消息的服務(wù)器,其中,資源分級(jí)轉(zhuǎn)發(fā)算法考慮了與服務(wù)器連接的網(wǎng)關(guān)管理平臺(tái)處理消息的能力,達(dá)到了在轉(zhuǎn)發(fā)網(wǎng)關(guān)上報(bào)的消息時(shí),考慮網(wǎng)關(guān)管理平臺(tái)的消息處理能力的目的,因此,能夠?qū)⒕W(wǎng)關(guān)設(shè)備上報(bào)的消息轉(zhuǎn)發(fā)至消息處理能力更強(qiáng)的服務(wù)器處理,從而實(shí)現(xiàn)了提高對(duì)網(wǎng)關(guān)設(shè)備上報(bào)的消息的處理速度的技術(shù)效果;另外,在處理網(wǎng)關(guān)設(shè)備上報(bào)的消息時(shí),采用分級(jí)緩存的策略,能夠有效避免消息阻塞,實(shí)現(xiàn)了提高消息傳遞效率的技術(shù)效果,進(jìn)而解決了將相關(guān)技術(shù)的網(wǎng)關(guān)設(shè)備消息處理方案應(yīng)用在高并發(fā)消息處理場(chǎng)景下時(shí)存在的消息處理延遲時(shí)間長(zhǎng)和消息阻塞技術(shù)問題。