本公開(kāi)涉及計(jì)算機(jī)，具體涉及數(shù)據(jù)處理相關(guān)的，尤其涉及一種數(shù)據(jù)處理方法、數(shù)據(jù)處理裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)業(yè)務(wù)的高速發(fā)展，黑色產(chǎn)業(yè)鏈日趨發(fā)展蔓延，其利用互聯(lián)網(wǎng)技術(shù)實(shí)施網(wǎng)絡(luò)攻擊、竊取信息等網(wǎng)絡(luò)違法行為，對(duì)反作弊業(yè)務(wù)的實(shí)施提出了挑戰(zhàn)，但另一方面也推動(dòng)了反作弊領(lǐng)域的快速發(fā)展，而作為互聯(lián)網(wǎng)業(yè)務(wù)的核心資產(chǎn)的數(shù)據(jù)，其質(zhì)量的優(yōu)劣對(duì)反作弊領(lǐng)域的相關(guān)業(yè)務(wù)(比如風(fēng)控相關(guān)業(yè)務(wù))的發(fā)展起到至關(guān)重要的作用。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)實(shí)施例提出了一種數(shù)據(jù)處理方法、數(shù)據(jù)處理裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。通過(guò)本公開(kāi)實(shí)施例提供的數(shù)據(jù)處理方案，可以提升數(shù)據(jù)處理的完整性和實(shí)效性。

2、第一方面，本公開(kāi)實(shí)施例提出了一種數(shù)據(jù)處理方法，包括：基于預(yù)設(shè)數(shù)據(jù)采集方式，獲取待處理的多種預(yù)設(shè)數(shù)據(jù)格式的數(shù)據(jù)流；其中，預(yù)設(shè)數(shù)據(jù)采集方式包括實(shí)時(shí)數(shù)據(jù)采集方式和離線數(shù)據(jù)采集方式；將多種預(yù)設(shè)數(shù)據(jù)格式的數(shù)據(jù)流緩存至目標(biāo)消息隊(duì)列中；流式處理目標(biāo)消息隊(duì)列中緩存的數(shù)據(jù)流，將多種預(yù)設(shè)數(shù)據(jù)格式的數(shù)據(jù)流解析為目標(biāo)數(shù)據(jù)格式的數(shù)據(jù)流，得到經(jīng)過(guò)流式處理的數(shù)據(jù)流；對(duì)經(jīng)過(guò)流式處理的數(shù)據(jù)流進(jìn)行持久化處理，得到經(jīng)過(guò)持久化處理的數(shù)據(jù)。

3、第二方面，本公開(kāi)實(shí)施例提出了一種數(shù)據(jù)處理裝置，包括：采集模塊、存儲(chǔ)模塊、解析模塊和處理模塊。其中，采集模塊被配置為基于預(yù)設(shè)數(shù)據(jù)采集方式，獲取待處理的多種預(yù)設(shè)數(shù)據(jù)格式的數(shù)據(jù)流；以及該預(yù)設(shè)數(shù)據(jù)采集方式包括實(shí)時(shí)數(shù)據(jù)采集方式和離線數(shù)據(jù)采集方式；存儲(chǔ)模塊被配置為將多種預(yù)設(shè)數(shù)據(jù)格式的數(shù)據(jù)流緩存至目標(biāo)消息隊(duì)列中；解析模塊被配置為流式處理目標(biāo)消息隊(duì)列中緩存的數(shù)據(jù)流，將多種預(yù)設(shè)數(shù)據(jù)格式的數(shù)據(jù)流解析為目標(biāo)數(shù)據(jù)格式的數(shù)據(jù)流，得到經(jīng)過(guò)流式處理的數(shù)據(jù)流；處理模塊被配置為對(duì)經(jīng)過(guò)流式處理的數(shù)據(jù)流進(jìn)行持久化處理，得到經(jīng)過(guò)持久化處理的數(shù)據(jù)。

4、第三方面，本公開(kāi)實(shí)施例提供了一種電子設(shè)備，該電子設(shè)備包括：至少一個(gè)處理器；以及與至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令，該指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器執(zhí)行時(shí)能夠?qū)崿F(xiàn)如上任一實(shí)現(xiàn)方式描述的數(shù)據(jù)處理方法。

5、第四方面，本公開(kāi)實(shí)施例提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行時(shí)能夠?qū)崿F(xiàn)如上任一實(shí)現(xiàn)方式描述的數(shù)據(jù)處理方法。

6、第五方面，本公開(kāi)實(shí)施例提供了一種包括計(jì)算機(jī)程序的計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)能夠?qū)崿F(xiàn)如上任一實(shí)現(xiàn)方式描述的數(shù)據(jù)處理方法的步驟。

7、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開(kāi)的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開(kāi)的范圍。本公開(kāi)的其它特征將通過(guò)以下的說(shuō)明書(shū)而變得容易理解。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述基于預(yù)設(shè)數(shù)據(jù)采集方式，獲取待處理的多種預(yù)設(shè)數(shù)據(jù)格式的數(shù)據(jù)流，包括：

3.根據(jù)權(quán)利要求1所述的方法，其中，所述將所述多種預(yù)設(shè)數(shù)據(jù)格式的數(shù)據(jù)流緩存至目標(biāo)消息隊(duì)列中，包括：

4.根據(jù)權(quán)利要求3所述的方法，其中，所述預(yù)先配置的業(yè)務(wù)主題與消息隊(duì)列之間的對(duì)應(yīng)關(guān)系包括多對(duì)一的關(guān)系。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述將所述多種預(yù)設(shè)數(shù)據(jù)格式的數(shù)據(jù)流解析為目標(biāo)數(shù)據(jù)格式的數(shù)據(jù)流，包括：

6.根據(jù)權(quán)利要求1所述的方法，其中，所述對(duì)所述經(jīng)過(guò)流式處理的數(shù)據(jù)流進(jìn)行持久化處理，包括：

7.根據(jù)權(quán)利要求1所述的方法，其中，所述多種預(yù)設(shè)數(shù)據(jù)格式包括以下至少兩種：腳本語(yǔ)言對(duì)象簡(jiǎn)譜格式、協(xié)議緩沖格式和文本格式。

8.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法，其中，還包括：

9.根據(jù)權(quán)利要求8所述的方法，其中，所述基于所述風(fēng)險(xiǎn)評(píng)估請(qǐng)求對(duì)應(yīng)的風(fēng)險(xiǎn)評(píng)估策略，確定所述待評(píng)估數(shù)據(jù)對(duì)應(yīng)的風(fēng)險(xiǎn)信息，包括：

10.一種數(shù)據(jù)處理裝置，包括：

11.根據(jù)權(quán)利要求10所述的裝置，其中，所述采集模塊具體被配置為：

12.根據(jù)權(quán)利要求10所述的裝置，其中，所述存儲(chǔ)模塊具體被配置為：

13.根據(jù)權(quán)利要求12所述的裝置，其中，所述預(yù)先配置的業(yè)務(wù)主題與消息隊(duì)列之間的對(duì)應(yīng)關(guān)系包括多對(duì)一的關(guān)系。

14.根據(jù)權(quán)利要求10所述的裝置，其中，所述解析模塊具體被配置為：

15.根據(jù)權(quán)利要求10所述的裝置，其中，所述處理模塊具體被配置為：

16.根據(jù)權(quán)利要求10所述的裝置，其中，所述多種預(yù)設(shè)數(shù)據(jù)格式包括以下至少兩種：腳本語(yǔ)言對(duì)象簡(jiǎn)譜格式、協(xié)議緩沖格式和文本格式。

17.根據(jù)權(quán)利要求10-16中任一項(xiàng)所述的裝置，還包括：

18.根據(jù)權(quán)利要求17所述的裝置，其中，所述評(píng)估模塊具體被配置為：

19.一種電子設(shè)備，包括：

20.一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行權(quán)利要求1-9中任一項(xiàng)所述的數(shù)據(jù)處理方法。

21.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1-9中任一項(xiàng)所述的數(shù)據(jù)處理方法的步驟。

技術(shù)總結(jié)
本公開(kāi)提供了一種數(shù)據(jù)處理方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及數(shù)據(jù)處理相關(guān)的技術(shù)領(lǐng)域。該方法包括：基于預(yù)設(shè)數(shù)據(jù)采集方式，獲取待處理的多種預(yù)設(shè)數(shù)據(jù)格式的數(shù)據(jù)流；其中，預(yù)設(shè)數(shù)據(jù)采集方式包括實(shí)時(shí)數(shù)據(jù)采集方式和離線數(shù)據(jù)采集方式；將多種預(yù)設(shè)數(shù)據(jù)格式的數(shù)據(jù)流緩存至目標(biāo)消息隊(duì)列中；流式處理目標(biāo)消息隊(duì)列中緩存的數(shù)據(jù)流，將多種預(yù)設(shè)數(shù)據(jù)格式的數(shù)據(jù)流解析為目標(biāo)數(shù)據(jù)格式的數(shù)據(jù)流，得到經(jīng)過(guò)流式處理的數(shù)據(jù)流；對(duì)經(jīng)過(guò)流式處理的數(shù)據(jù)流進(jìn)行持久化處理，得到經(jīng)過(guò)持久化處理的數(shù)據(jù)。該方法可以提升數(shù)據(jù)處理的完整性和實(shí)效性。

技術(shù)研發(fā)人員：李慶喆,王正華
受保護(hù)的技術(shù)使用者：北京百度網(wǎng)訊科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9