本發(fā)明涉及數(shù)據(jù)處理，尤其涉及一種數(shù)據(jù)評(píng)估方法、裝置、終端和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、數(shù)據(jù)質(zhì)量評(píng)估是一個(gè)確保數(shù)據(jù)準(zhǔn)確、完整、一致且可用的過程。良好的數(shù)據(jù)質(zhì)量對(duì)于做出可靠的決策至關(guān)重要，特別是在數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和業(yè)務(wù)智能等領(lǐng)域。

2、然而，現(xiàn)有的聯(lián)網(wǎng)式數(shù)據(jù)質(zhì)量檢測(cè)評(píng)估難以應(yīng)對(duì)存在安全隱患的網(wǎng)絡(luò)環(huán)境或者斷網(wǎng)情形，只能采用獨(dú)立部署應(yīng)用程序的方式評(píng)估數(shù)據(jù)質(zhì)量，效率慢、成本高，數(shù)據(jù)質(zhì)量評(píng)估過程難以監(jiān)測(cè)，且評(píng)估結(jié)果脫離監(jiān)控環(huán)境，評(píng)估結(jié)果不夠準(zhǔn)確，可信度不高。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種數(shù)據(jù)評(píng)估方法、裝置、終端和存儲(chǔ)介質(zhì)，旨在無法聯(lián)網(wǎng)的情況下或者處于較為復(fù)雜的網(wǎng)絡(luò)環(huán)境的情況下，準(zhǔn)確地實(shí)現(xiàn)數(shù)據(jù)質(zhì)量評(píng)估。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)評(píng)估方法，應(yīng)用于數(shù)據(jù)評(píng)估系統(tǒng)，所述數(shù)據(jù)評(píng)估系統(tǒng)處于網(wǎng)絡(luò)離線狀態(tài)，所述數(shù)據(jù)評(píng)估系統(tǒng)包括數(shù)據(jù)庫，所述數(shù)據(jù)庫用于網(wǎng)絡(luò)離線狀態(tài)下的數(shù)據(jù)存儲(chǔ)；

3、所述方法包括：

4、獲取待評(píng)估數(shù)據(jù)對(duì)應(yīng)的配置信息；

5、基于數(shù)據(jù)評(píng)估標(biāo)準(zhǔn)以及所述待評(píng)估數(shù)據(jù)，生成評(píng)估程序；

6、基于所述配置信息以及所述待評(píng)估數(shù)據(jù)，執(zhí)行所述評(píng)估程序，得到目標(biāo)評(píng)估結(jié)果，其中，所述目標(biāo)評(píng)估結(jié)果用于表征所述待評(píng)估數(shù)據(jù)的數(shù)據(jù)質(zhì)量檢測(cè)結(jié)果。

7、具體地，所述獲取待評(píng)估數(shù)據(jù)對(duì)應(yīng)的配置信息，包括：

8、從初始數(shù)據(jù)中篩選出所述待評(píng)估數(shù)據(jù)；

9、基于所述待評(píng)估數(shù)據(jù)，通過所述數(shù)據(jù)評(píng)估系統(tǒng)進(jìn)行配置，生成所述配置信息，其中，所述配置信息包括待評(píng)估數(shù)據(jù)對(duì)應(yīng)的評(píng)估對(duì)象、待評(píng)估數(shù)據(jù)對(duì)應(yīng)的評(píng)估參數(shù)以及待評(píng)估數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)提取方式。

10、具體地，在所述基于數(shù)據(jù)評(píng)估標(biāo)準(zhǔn)以及所述待評(píng)估數(shù)據(jù)，生成評(píng)估程序之前，所述方法還包括：

11、建立初始數(shù)據(jù)評(píng)估標(biāo)準(zhǔn)；

12、基于初始數(shù)據(jù)評(píng)估標(biāo)準(zhǔn)以及所述初始數(shù)據(jù)，更新所述初始數(shù)據(jù)評(píng)估標(biāo)準(zhǔn)，得到所述數(shù)據(jù)評(píng)估標(biāo)準(zhǔn)。

13、具體地，在所述基于所述配置信息以及所述待評(píng)估數(shù)據(jù)，執(zhí)行所述評(píng)估程序，得到目標(biāo)評(píng)估結(jié)果之前，所述方法還包括：

14、從所述待評(píng)估數(shù)據(jù)中篩選出示例數(shù)據(jù)；

15、通過數(shù)據(jù)一致性驗(yàn)證模型，根據(jù)所述配置信息以及所述示例數(shù)據(jù)，生成數(shù)據(jù)一致性驗(yàn)證結(jié)果，若所述數(shù)據(jù)一致性驗(yàn)證結(jié)果為所述待評(píng)估數(shù)據(jù)符合預(yù)設(shè)數(shù)據(jù)一致性標(biāo)準(zhǔn)，則將所述待評(píng)估數(shù)據(jù)以及所述配置信息存儲(chǔ)至所述數(shù)據(jù)庫；若所述數(shù)據(jù)一致性驗(yàn)證結(jié)果為所述待評(píng)估數(shù)據(jù)不符合所述預(yù)設(shè)數(shù)據(jù)一致性標(biāo)準(zhǔn)，則重新從所述初始數(shù)據(jù)中篩選出待評(píng)估數(shù)據(jù)，直至所述數(shù)據(jù)一致性驗(yàn)證結(jié)果為所述待評(píng)估數(shù)據(jù)符合所述預(yù)設(shè)數(shù)據(jù)一致性標(biāo)準(zhǔn)。

16、具體地，所述數(shù)據(jù)一致性驗(yàn)證模型包括輸入層、嵌入層、編碼層、全連接層以及輸出層；

17、所述通過數(shù)據(jù)一致性驗(yàn)證模型，根據(jù)所述配置信息以及所述示例數(shù)據(jù)，生成數(shù)據(jù)一致性驗(yàn)證結(jié)果，包括：

18、通過所述輸入層，根據(jù)所述配置信息，生成第一特征向量；

19、通過所述輸入層，根據(jù)所述示例數(shù)據(jù)，生成示例數(shù)據(jù)對(duì)應(yīng)的數(shù)值向量；

20、通過所述嵌入層，根據(jù)所述第一特征向量，生成第二特征向量；

21、通過所述編碼層，根據(jù)所述數(shù)值向量以及所述第二特征向量，生成序列化特征向量；

22、通過所述全連接層，根據(jù)所述序列化特征向量，生成輸出向量；

23、通過所述輸出層，根據(jù)所述輸出向量，得到所述數(shù)據(jù)一致性驗(yàn)證結(jié)果。

24、具體地，所述編碼層包括長短期記憶網(wǎng)絡(luò)層；

25、所述通過所述編碼層，根據(jù)所述數(shù)值向量以及所述第二特征向量，生成序列化特征向量，包括：

26、將所述數(shù)值向量以及所述第二向量輸入至所述長短期記憶網(wǎng)絡(luò)層，輸出得到隱狀態(tài)向量以及單元狀態(tài)向量；

27、對(duì)所述隱狀態(tài)向量以及所述單元狀態(tài)向量進(jìn)行整合處理，得到所述序列化特征向量。

28、具體地，所述通過所述輸出層，根據(jù)所述輸出向量，得到所述數(shù)據(jù)一致性驗(yàn)證結(jié)果，包括：

29、將所述輸出向量輸入至所述輸出層，得到輸出概率值，其中，所述輸出概率值用于表征所述待評(píng)估數(shù)據(jù)符合所述預(yù)設(shè)數(shù)據(jù)一致性標(biāo)準(zhǔn)的可能性；

30、若所述輸出概率值大于或等于預(yù)設(shè)概率閾值，則確定所述待評(píng)估數(shù)據(jù)符合所述預(yù)設(shè)數(shù)據(jù)一致性標(biāo)準(zhǔn)；若所述輸出概率值小于預(yù)設(shè)概率閾值，則確定所述待評(píng)估數(shù)據(jù)不符合所述預(yù)設(shè)數(shù)據(jù)一致性標(biāo)準(zhǔn)。

31、為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種數(shù)據(jù)評(píng)估裝置，應(yīng)用于數(shù)據(jù)評(píng)估系統(tǒng)，所述數(shù)據(jù)評(píng)估系統(tǒng)處于網(wǎng)絡(luò)離線狀態(tài)，所述數(shù)據(jù)評(píng)估系統(tǒng)包括數(shù)據(jù)庫，所述數(shù)據(jù)庫用于網(wǎng)絡(luò)離線狀態(tài)下的數(shù)據(jù)存儲(chǔ)；

32、所述裝置包括：

33、第一單元，用于獲取待評(píng)估數(shù)據(jù)對(duì)應(yīng)的配置信息；

34、第二單元，用于基于數(shù)據(jù)評(píng)估標(biāo)準(zhǔn)以及所述待評(píng)估數(shù)據(jù)，生成評(píng)估程序；

35、第三單元，用于基于所述配置信息以及所述待評(píng)估數(shù)據(jù)，執(zhí)行所述評(píng)估程序，得到目標(biāo)評(píng)估結(jié)果，其中，所述目標(biāo)評(píng)估結(jié)果用于表征所述待評(píng)估數(shù)據(jù)的數(shù)據(jù)質(zhì)量檢測(cè)結(jié)果。

36、為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有多條指令，所述指令適于處理器進(jìn)行加載，以執(zhí)行本發(fā)明所提供的任一種方法中的步驟。

37、本發(fā)明提供的一種數(shù)據(jù)評(píng)估方法、裝置、終端和存儲(chǔ)介質(zhì)，首先可以獲取待評(píng)估數(shù)據(jù)對(duì)應(yīng)的配置信息；然后，基于數(shù)據(jù)評(píng)估標(biāo)準(zhǔn)以及所述待評(píng)估數(shù)據(jù)，生成評(píng)估程序；基于所述配置信息以及所述待評(píng)估數(shù)據(jù)，執(zhí)行所述評(píng)估程序，最終得到所述待評(píng)估數(shù)據(jù)的數(shù)據(jù)質(zhì)量檢測(cè)結(jié)果。

38、本發(fā)明相較于現(xiàn)有的對(duì)于數(shù)據(jù)質(zhì)量評(píng)估方式，可以在無法聯(lián)網(wǎng)的情況下或者處于較為復(fù)雜的網(wǎng)絡(luò)環(huán)境的情況下，準(zhǔn)確獲取待評(píng)估數(shù)據(jù)的配置數(shù)據(jù)，并在離線狀態(tài)下執(zhí)行基于數(shù)據(jù)評(píng)估標(biāo)準(zhǔn)的評(píng)估程序，精準(zhǔn)評(píng)價(jià)待評(píng)估數(shù)據(jù)的數(shù)據(jù)質(zhì)量。

技術(shù)特征：

1.一種數(shù)據(jù)評(píng)估方法，其特征在于，應(yīng)用于數(shù)據(jù)評(píng)估系統(tǒng)，所述數(shù)據(jù)評(píng)估系統(tǒng)處于網(wǎng)絡(luò)離線狀態(tài)，所述數(shù)據(jù)評(píng)估系統(tǒng)包括數(shù)據(jù)庫，所述數(shù)據(jù)庫用于網(wǎng)絡(luò)離線狀態(tài)下的數(shù)據(jù)存儲(chǔ)；

2.如權(quán)利要求1所述的方法，其特征在于，所述獲取待評(píng)估數(shù)據(jù)對(duì)應(yīng)的配置信息，包括：

3.如權(quán)利要求2所述的方法，其特征在于，在所述基于數(shù)據(jù)評(píng)估標(biāo)準(zhǔn)以及所述待評(píng)估數(shù)據(jù)，生成評(píng)估程序之前，所述方法還包括：

4.如權(quán)利要求2所述的方法，其特征在于，在所述基于所述配置信息以及所述待評(píng)估數(shù)據(jù)，執(zhí)行所述評(píng)估程序，得到目標(biāo)評(píng)估結(jié)果之前，所述方法還包括：

5.如權(quán)利要求4所述的方法，其特征在于，所述數(shù)據(jù)一致性驗(yàn)證模型包括輸入層、嵌入層、編碼層、全連接層以及輸出層；

6.如權(quán)利要求5所述的方法，其特征在于，所述編碼層包括長短期記憶網(wǎng)絡(luò)層；

7.如權(quán)利要求5所述的方法，其特征在于，所述通過所述輸出層，根據(jù)所述輸出向量，得到所述數(shù)據(jù)一致性驗(yàn)證結(jié)果，包括：

8.一種數(shù)據(jù)評(píng)估裝置，其特征在于，應(yīng)用于數(shù)據(jù)評(píng)估系統(tǒng)，所述數(shù)據(jù)評(píng)估系統(tǒng)處于網(wǎng)絡(luò)離線狀態(tài)，所述數(shù)據(jù)評(píng)估系統(tǒng)包括數(shù)據(jù)庫，所述數(shù)據(jù)庫用于網(wǎng)絡(luò)離線狀態(tài)下的數(shù)據(jù)存儲(chǔ)；

9.一種終端，其特征在于，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有多條指令；所述處理器從所述存儲(chǔ)器中加載指令，以執(zhí)行如權(quán)利要求1～7任一項(xiàng)所述方法中的步驟。

10.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)存儲(chǔ)有多條指令，所述指令適于處理器進(jìn)行加載，以執(zhí)行權(quán)利要求1～7任一項(xiàng)所述方法中的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種數(shù)據(jù)評(píng)估方法、裝置、終端和存儲(chǔ)介質(zhì)，本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，所述方法包括：獲取待評(píng)估數(shù)據(jù)對(duì)應(yīng)的配置信息；基于數(shù)據(jù)評(píng)估標(biāo)準(zhǔn)以及所述待評(píng)估數(shù)據(jù)，生成評(píng)估程序；基于所述配置信息以及所述待評(píng)估數(shù)據(jù)，執(zhí)行所述評(píng)估程序，得到目標(biāo)評(píng)估結(jié)果。本發(fā)明旨在無法聯(lián)網(wǎng)的情況下或者處于較為復(fù)雜的網(wǎng)絡(luò)環(huán)境的情況下，準(zhǔn)確地實(shí)現(xiàn)數(shù)據(jù)質(zhì)量評(píng)估。

技術(shù)研發(fā)人員：彭文華,李衛(wèi),朱倩倩
受保護(hù)的技術(shù)使用者：國家工業(yè)信息安全發(fā)展研究中心
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9