本申請(qǐng)實(shí)施例涉及數(shù)據(jù)分析，尤其涉及一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評(píng)估方法及系統(tǒng)。

背景技術(shù)：

1、隨著在當(dāng)今大數(shù)據(jù)時(shí)代，企業(yè)面臨著海量數(shù)據(jù)的處理挑戰(zhàn)。這些數(shù)據(jù)不僅來(lái)自內(nèi)部系統(tǒng)，還可能包括外部合作伙伴、社交媒體、物聯(lián)網(wǎng)設(shè)備等多種數(shù)據(jù)源。為了確保業(yè)務(wù)決策的有效性和準(zhǔn)確性，企業(yè)需要對(duì)收集到的數(shù)據(jù)進(jìn)行實(shí)時(shí)的質(zhì)量評(píng)估。這種質(zhì)量評(píng)估不僅要覆蓋結(jié)構(gòu)化數(shù)據(jù)，如數(shù)據(jù)庫(kù)記錄，還要能夠解析非結(jié)構(gòu)化數(shù)據(jù)，例如文本、圖像和視頻等，以理解其背后的業(yè)務(wù)含義。此外，隨著業(yè)務(wù)環(huán)境的變化，數(shù)據(jù)驗(yàn)證規(guī)則也需要具備動(dòng)態(tài)調(diào)整的能力，以適應(yīng)不斷變化的數(shù)據(jù)特征。

2、當(dāng)前市面上存在多種針對(duì)數(shù)據(jù)質(zhì)量評(píng)估的方法和技術(shù)工具，它們通常提供了預(yù)設(shè)的數(shù)據(jù)校驗(yàn)規(guī)則來(lái)檢查數(shù)據(jù)的完整性、一致性以及時(shí)效性。部分先進(jìn)的解決方案已經(jīng)開始采用機(jī)器學(xué)習(xí)算法來(lái)自動(dòng)檢測(cè)異常值或模式偏差，并嘗試通過(guò)自然語(yǔ)言處理（nlp）技術(shù)來(lái)理解和分類非結(jié)構(gòu)化數(shù)據(jù)。

3、盡管現(xiàn)有的數(shù)據(jù)質(zhì)量評(píng)估工具已經(jīng)相當(dāng)成熟，但在實(shí)際應(yīng)用中仍存在一些局限性。首先，大多數(shù)傳統(tǒng)方法依賴于靜態(tài)定義的數(shù)據(jù)質(zhì)量規(guī)則，這使得它們難以應(yīng)對(duì)快速變化的數(shù)據(jù)類型和業(yè)務(wù)邏輯。其次，在處理非結(jié)構(gòu)化數(shù)據(jù)時(shí)，現(xiàn)有技術(shù)往往只能實(shí)現(xiàn)表面層次的理解，缺乏深入的語(yǔ)義分析能力，從而影響了數(shù)據(jù)質(zhì)量評(píng)估的整體效果。最后，雖然有些系統(tǒng)開始引入智能算法提高自動(dòng)化程度，但這些算法對(duì)于復(fù)雜邏輯關(guān)系的識(shí)別與處理還不夠精準(zhǔn)，導(dǎo)致最終生成的數(shù)據(jù)質(zhì)量評(píng)價(jià)模型可能不夠全面或準(zhǔn)確。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評(píng)估方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中數(shù)據(jù)質(zhì)量和可用性低的問(wèn)題。

2、第一方面，本申請(qǐng)實(shí)施例提供了一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評(píng)估方法，，包括：

3、接收來(lái)自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)，所述實(shí)時(shí)數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；

4、對(duì)所述非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行意義解析處理，得到所述實(shí)時(shí)數(shù)據(jù)的業(yè)務(wù)語(yǔ)境；

5、根據(jù)所述業(yè)務(wù)語(yǔ)境，對(duì)數(shù)據(jù)驗(yàn)證規(guī)則進(jìn)行動(dòng)態(tài)調(diào)整處理，并通過(guò)智能算法對(duì)所述實(shí)時(shí)數(shù)據(jù)的完整性和一致性進(jìn)行確定處理，得到所述實(shí)時(shí)數(shù)據(jù)的完整性和一致性評(píng)估結(jié)果；

6、對(duì)所述實(shí)時(shí)數(shù)據(jù)間的邏輯關(guān)系進(jìn)行評(píng)估處理，并基于所述邏輯關(guān)系的評(píng)估結(jié)果，結(jié)合所述完整性和一致性評(píng)估結(jié)果，構(gòu)建數(shù)據(jù)質(zhì)量評(píng)價(jià)模型，所述數(shù)據(jù)質(zhì)量評(píng)價(jià)模型用于量化所述實(shí)時(shí)數(shù)據(jù)的準(zhǔn)確性和時(shí)效性；

7、依據(jù)所述數(shù)據(jù)質(zhì)量評(píng)價(jià)模型，生成數(shù)據(jù)質(zhì)量報(bào)告，并根據(jù)所述數(shù)據(jù)質(zhì)量報(bào)告，提出業(yè)務(wù)改進(jìn)措施。

8、第二方面，本申請(qǐng)實(shí)施例提供了一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評(píng)估系統(tǒng)，包括:

9、接收模塊，用于接收來(lái)自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)，所述實(shí)時(shí)數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；

10、解析模塊，用于對(duì)所述非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行意義解析處理，得到所述實(shí)時(shí)數(shù)據(jù)的業(yè)務(wù)語(yǔ)境；

11、調(diào)整模塊，用于根據(jù)所述業(yè)務(wù)語(yǔ)境，對(duì)數(shù)據(jù)驗(yàn)證規(guī)則進(jìn)行動(dòng)態(tài)調(diào)整處理，并通過(guò)智能算法對(duì)所述實(shí)時(shí)數(shù)據(jù)的完整性和一致性進(jìn)行確定處理，得到所述實(shí)時(shí)數(shù)據(jù)的完整性和一致性評(píng)估結(jié)果；

12、構(gòu)建模塊，用于對(duì)所述實(shí)時(shí)數(shù)據(jù)間的邏輯關(guān)系進(jìn)行評(píng)估處理，并基于所述邏輯關(guān)系的評(píng)估結(jié)果，結(jié)合所述完整性和一致性評(píng)估結(jié)果，構(gòu)建數(shù)據(jù)質(zhì)量評(píng)價(jià)模型，所述數(shù)據(jù)質(zhì)量評(píng)價(jià)模型用于量化所述實(shí)時(shí)數(shù)據(jù)的準(zhǔn)確性和時(shí)效性；

13、生成模塊，用于依據(jù)所述數(shù)據(jù)質(zhì)量評(píng)價(jià)模型，生成數(shù)據(jù)質(zhì)量報(bào)告，并根據(jù)所述數(shù)據(jù)質(zhì)量報(bào)告，提出業(yè)務(wù)改進(jìn)措施。

14、第三方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算設(shè)備，包括處理組件以及存儲(chǔ)組件；所述存儲(chǔ)組件存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)指令；所述一個(gè)或多個(gè)計(jì)算機(jī)指令用以被所述處理組件調(diào)用執(zhí)行，實(shí)現(xiàn)如上述第一方面任一項(xiàng)所述的一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評(píng)估方法。

15、第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被計(jì)算機(jī)執(zhí)行時(shí)，實(shí)現(xiàn)如上述第一方面任一項(xiàng)所述的一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評(píng)估方法。

16、本申請(qǐng)實(shí)施例中，接收來(lái)自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)，實(shí)時(shí)數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行意義解析處理，得到實(shí)時(shí)數(shù)據(jù)的業(yè)務(wù)語(yǔ)境；通過(guò)智能算法對(duì)實(shí)時(shí)數(shù)據(jù)的完整性和一致性進(jìn)行確定處理，得到實(shí)時(shí)數(shù)據(jù)的完整性和一致性評(píng)估結(jié)果；基于邏輯關(guān)系的評(píng)估結(jié)果，結(jié)合完整性和一致性評(píng)估結(jié)果，構(gòu)建數(shù)據(jù)質(zhì)量評(píng)價(jià)模型，數(shù)據(jù)質(zhì)量評(píng)價(jià)模型用于量化實(shí)時(shí)數(shù)據(jù)的準(zhǔn)確性和時(shí)效性；生成數(shù)據(jù)質(zhì)量報(bào)告，并根據(jù)數(shù)據(jù)質(zhì)量報(bào)告，提出業(yè)務(wù)改進(jìn)措施；根據(jù)業(yè)務(wù)改進(jìn)措施，優(yōu)化數(shù)據(jù)采集和處理流程。本申請(qǐng)?zhí)峁┑募夹g(shù)方案能夠提升數(shù)據(jù)質(zhì)量評(píng)估的靈活性和效率，并且能夠更好地支持企業(yè)的實(shí)時(shí)數(shù)據(jù)分析需求。

17、本申請(qǐng)的這些方面或其他方面在以下實(shí)施例的描述中會(huì)更加簡(jiǎn)明易懂。

技術(shù)特征：

1.一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評(píng)估方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述實(shí)時(shí)數(shù)據(jù)間的邏輯關(guān)系進(jìn)行評(píng)估處理，并基于所述邏輯關(guān)系的評(píng)估結(jié)果，結(jié)合所述完整性和一致性評(píng)估結(jié)果，構(gòu)建數(shù)據(jù)質(zhì)量評(píng)價(jià)模型，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述邏輯關(guān)系綜合評(píng)估結(jié)果、所述完整性和一致性評(píng)估結(jié)果，量化所述實(shí)時(shí)數(shù)據(jù)的準(zhǔn)確性和時(shí)效性，得到綜合分析結(jié)果，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述業(yè)務(wù)語(yǔ)境，對(duì)數(shù)據(jù)驗(yàn)證規(guī)則進(jìn)行動(dòng)態(tài)調(diào)整處理，并通過(guò)智能算法對(duì)所述實(shí)時(shí)數(shù)據(jù)的完整性和一致性進(jìn)行確定處理，得到所述實(shí)時(shí)數(shù)據(jù)的完整性和一致性評(píng)估結(jié)果，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述應(yīng)用智能算法，對(duì)所述實(shí)時(shí)數(shù)據(jù)進(jìn)行完整性檢查處理，識(shí)別所述實(shí)時(shí)數(shù)據(jù)中是否存在缺失值或空值，并統(tǒng)計(jì)完整性指標(biāo)，得到完整性檢查結(jié)果，包括：

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述通過(guò)所述智能算法，對(duì)所述實(shí)時(shí)數(shù)據(jù)進(jìn)行一致性檢查處理，確保所述實(shí)時(shí)數(shù)據(jù)的不同字段之間具有一致性，得到一致性檢查結(jié)果，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行意義解析處理，得到所述實(shí)時(shí)數(shù)據(jù)的業(yè)務(wù)語(yǔ)境，包括：

8.一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評(píng)估系統(tǒng)，其特征在于，包括:

9.一種計(jì)算設(shè)備，其特征在于，包括處理組件以及存儲(chǔ)組件；所述存儲(chǔ)組件存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)指令；所述一個(gè)或多個(gè)計(jì)算機(jī)指令用以被所述處理組件調(diào)用執(zhí)行，實(shí)現(xiàn)如權(quán)利要求1~7任一項(xiàng)所述的一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評(píng)估方法。

10.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被計(jì)算機(jī)執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1~7任一項(xiàng)所述的一種基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評(píng)估方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┮环N基于大數(shù)據(jù)分析的數(shù)據(jù)質(zhì)量評(píng)估方法及系統(tǒng)。其中，接收來(lái)自不同數(shù)據(jù)源的實(shí)時(shí)數(shù)據(jù)，實(shí)時(shí)數(shù)據(jù)包含結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行意義解析處理，得到實(shí)時(shí)數(shù)據(jù)的業(yè)務(wù)語(yǔ)境；通過(guò)智能算法對(duì)實(shí)時(shí)數(shù)據(jù)的完整性和一致性進(jìn)行確定處理，得到實(shí)時(shí)數(shù)據(jù)的完整性和一致性評(píng)估結(jié)果；基于邏輯關(guān)系的評(píng)估結(jié)果，結(jié)合完整性和一致性評(píng)估結(jié)果，構(gòu)建數(shù)據(jù)質(zhì)量評(píng)價(jià)模型，數(shù)據(jù)質(zhì)量評(píng)價(jià)模型用于量化實(shí)時(shí)數(shù)據(jù)的準(zhǔn)確性和時(shí)效性；生成數(shù)據(jù)質(zhì)量報(bào)告，并根據(jù)數(shù)據(jù)質(zhì)量報(bào)告，提出業(yè)務(wù)改進(jìn)措施；根據(jù)業(yè)務(wù)改進(jìn)措施，優(yōu)化數(shù)據(jù)采集和處理流程。本申請(qǐng)?zhí)峁┑募夹g(shù)方案能夠提升數(shù)據(jù)質(zhì)量評(píng)估的靈活性和效率，并且能夠更好地支持企業(yè)的實(shí)時(shí)數(shù)據(jù)分析需求。

技術(shù)研發(fā)人員：朱瑾鵬,王永祥,任東英,石磊,范長(zhǎng)偉
受保護(hù)的技術(shù)使用者：北京數(shù)洋智慧科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9