本發(fā)明實施例涉及數(shù)據(jù)處理，尤其涉及一種數(shù)據(jù)模型確定方法、裝置、電子設(shè)備、存儲介質(zhì)以及產(chǎn)品。

背景技術(shù)：

1、在大數(shù)據(jù)時代中，隨著數(shù)據(jù)量不斷增長，數(shù)據(jù)倉庫作為一種數(shù)據(jù)管理和處理的解決方案，在高效地管理、分析數(shù)據(jù)等方面得到了廣泛的應(yīng)用。數(shù)據(jù)倉庫的架構(gòu)分層主要按貼源層、通用層以及應(yīng)用層。其中，貼源層是用于收集原始數(shù)據(jù)的數(shù)據(jù)收集層；通用層為進行統(tǒng)一化、標準化的加工后的通用模型；應(yīng)用層包括各類實現(xiàn)不同業(yè)務(wù)需求的數(shù)據(jù)處理模型，具有建設(shè)分析和決策能力。目前，通用層的模型往往無法滿足不斷增長的業(yè)務(wù)數(shù)據(jù)需求，需要另外開發(fā)滿足業(yè)務(wù)數(shù)據(jù)需求的應(yīng)用層數(shù)據(jù)處理模型，來填補通用層的功能空缺。

2、發(fā)明人在基于上述方式實施本技術(shù)方案時，發(fā)現(xiàn)存在如下問題：

3、應(yīng)用層中存在大量冗余的數(shù)據(jù)處理模型，存在存儲資源浪費的問題，進一步的，數(shù)據(jù)處理模型中存在相同的處理字段，在基于冗余的數(shù)據(jù)處理模型進行數(shù)據(jù)處理時，存在浪費算力資源的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種數(shù)據(jù)模型確定方法、裝置、電子設(shè)備、存儲介質(zhì)以及產(chǎn)品，以減少模型的冗余性、提高算力資源和存儲資源的利用率。

2、第一方面，本發(fā)明實施例提供了一種數(shù)據(jù)模型確定方法，該方法包括：

3、根據(jù)至少兩個待融合數(shù)據(jù)模型的運行腳本和輸入源關(guān)聯(lián)信息，確定與每個待融合數(shù)據(jù)模型相對應(yīng)的至少一個元數(shù)據(jù)；

4、根據(jù)至少一個元數(shù)據(jù)所對應(yīng)的標注信息和元數(shù)據(jù)所對應(yīng)的調(diào)度信息，確定元數(shù)據(jù)的復(fù)用度屬性；

5、根據(jù)屬于同一待融合數(shù)據(jù)模型的至少一個元數(shù)據(jù)的復(fù)用度屬性，確定待融合數(shù)據(jù)模型的模型融合屬性；

6、根據(jù)與待融合數(shù)據(jù)模型相關(guān)聯(lián)的模型融合屬性以及至少一個元數(shù)據(jù)的標注信息對至少兩個待融合數(shù)據(jù)模型融合處理，得到目標數(shù)據(jù)模型。

7、進一步的，所述方法還包括：

8、根據(jù)至少兩個待融合數(shù)據(jù)模型的運行腳本和關(guān)鍵詞解析器，確定與至少兩個待融合數(shù)據(jù)模型相對應(yīng)的抽象語法樹；其中，關(guān)鍵詞解析器是根據(jù)預(yù)先配置的語法規(guī)則文件生成的；

9、基于每個待融合數(shù)據(jù)模型的輸入源關(guān)聯(lián)信息遍歷抽象語法樹，得到與每個待融合數(shù)據(jù)模型相對應(yīng)的至少一個元數(shù)據(jù)。

10、進一步的，所述方法還包括：輸入源關(guān)聯(lián)信息包括至少一個父表、與父表關(guān)聯(lián)的子表、父表和子表的上游信息、父表和子表中的字段、應(yīng)用領(lǐng)域以及數(shù)據(jù)處理規(guī)則中的至少一個。

11、進一步的，所述方法還包括：

12、通過下述方式確定元數(shù)據(jù)的標注信息：

13、對于至少一個元數(shù)據(jù)，依據(jù)預(yù)先設(shè)定的一級分類規(guī)則對元數(shù)據(jù)進行一級標注；以及，

14、依據(jù)與一級分類規(guī)則相關(guān)聯(lián)的二級分類規(guī)則對元數(shù)據(jù)進行二級標注；

15、將元數(shù)據(jù)所對應(yīng)的一級標注和二級標注，作為元數(shù)據(jù)的標注信息。

16、進一步的，所述方法還包括：

17、將標注信息相同的元數(shù)據(jù)劃分為一組，得到數(shù)據(jù)集合；

18、根據(jù)數(shù)據(jù)集合中每個元數(shù)據(jù)的調(diào)度信息、運行信息以及權(quán)重信息，確定數(shù)據(jù)集合中每個元數(shù)據(jù)的待融合屬性；

19、根據(jù)與數(shù)據(jù)集合相關(guān)聯(lián)的所有待融合屬性，確定數(shù)據(jù)集合的復(fù)用度屬性，并將復(fù)用度屬性作為數(shù)據(jù)集合中每個元數(shù)據(jù)的復(fù)用度屬性。

20、進一步的，所述方法還包括：

21、通過對同一待融合數(shù)據(jù)模型相關(guān)聯(lián)的至少一個元數(shù)據(jù)的復(fù)用度屬性求和處理，得到待融合數(shù)據(jù)模型的模型融合屬性。

22、進一步的，所述方法還包括：

23、依據(jù)待融合數(shù)據(jù)模型的模型融合屬性，確定模型融合序列；其中，模型融合序列中包括待融合數(shù)據(jù)模型，且待融合數(shù)據(jù)模型是按照融合順序排列的；

24、確定模型融合序列中前兩個待融合數(shù)據(jù)模型的模型相似系數(shù)，并在模型相似系數(shù)滿足預(yù)設(shè)系數(shù)閾值時，將前兩個待融合數(shù)據(jù)模型融合處理，得到融合后的待使用數(shù)據(jù)模型；

25、將前兩個待融合數(shù)據(jù)模型更新為待使用數(shù)據(jù)模型，并將待使用數(shù)據(jù)模型作為待融合數(shù)據(jù)模型，以重復(fù)執(zhí)行確定模型融合序列中前兩個待融合數(shù)據(jù)模型的模型系數(shù)，以及模型系數(shù)滿足預(yù)設(shè)系數(shù)閾值時，確定待使用數(shù)據(jù)模型并更新至模型融合序列中的步驟，直至模型融合序列中包括一個待融合數(shù)據(jù)模型，并將待融合數(shù)據(jù)模型作為目標數(shù)據(jù)模型。

26、進一步的，所述方法還包括：

27、模型相似系數(shù)是通過下述方式確定的：

28、獲取模型融合序列中位于前兩位的第一待融合數(shù)據(jù)模型和第二待融合數(shù)據(jù)模型；

29、根據(jù)第一待融合數(shù)據(jù)模型所關(guān)聯(lián)的至少一個元數(shù)據(jù)的標注信息，以及第二待融合數(shù)據(jù)模型所關(guān)聯(lián)的至少一個元數(shù)據(jù)的標注信息，確定標注信息相同的第一元數(shù)據(jù)數(shù)量以及包括所有標注信息的第二元數(shù)據(jù)數(shù)量；

30、根據(jù)第一元數(shù)據(jù)數(shù)量和第二元數(shù)據(jù)數(shù)量，確定第一待融合數(shù)據(jù)模型和第二待融合數(shù)據(jù)模型之間的模型相似系數(shù)。

31、進一步的，所述方法還包括：

32、根據(jù)第一待融合數(shù)據(jù)模型所關(guān)聯(lián)的至少一個元數(shù)據(jù)的標注信息，以及第二待融合數(shù)據(jù)模型所關(guān)聯(lián)的至少一個元數(shù)據(jù)的標注信息，確定標注信息相同的數(shù)據(jù)候選集合；

33、依據(jù)數(shù)據(jù)獲選集合中每個元數(shù)據(jù)的復(fù)用度屬性，更新數(shù)據(jù)候選集合；

34、依據(jù)更新后的數(shù)據(jù)候選集合，確定與第一待融合數(shù)據(jù)模型和第二待融合數(shù)據(jù)模型所關(guān)聯(lián)的待使用數(shù)據(jù)模型。

35、進一步的，所述方法還包括：

36、在模型相似系數(shù)未滿足預(yù)設(shè)系數(shù)閾值時，將前兩位待融合數(shù)據(jù)模型中位于后一位的待融合數(shù)據(jù)模型從模型融合序列中移除。

37、第二方面，本發(fā)明實施例還提供了一種數(shù)據(jù)模型確定裝置，該裝置包括：

38、元數(shù)據(jù)確定模塊，用于根據(jù)至少兩個待融合數(shù)據(jù)模型的運行腳本和輸入源關(guān)聯(lián)信息，確定與每個所述待融合數(shù)據(jù)模型相對應(yīng)的至少一個元數(shù)據(jù)；

39、復(fù)用度確定模塊，用于根據(jù)所述至少一個元數(shù)據(jù)所對應(yīng)的標注信息和所述元數(shù)據(jù)所對應(yīng)的調(diào)度信息，確定所述元數(shù)據(jù)的復(fù)用度屬性；

40、融合屬性確定模塊，用于根據(jù)屬于同一待融合數(shù)據(jù)模型的至少一個元數(shù)據(jù)的復(fù)用度屬性，確定所述待融合數(shù)據(jù)模型的模型融合屬性；

41、目標模型確定模塊，用于根據(jù)與所述待融合數(shù)據(jù)模型相關(guān)聯(lián)的模型融合屬性以及至少一個元數(shù)據(jù)的標注信息對所述至少兩個待融合數(shù)據(jù)模型融合處理，得到目標數(shù)據(jù)模型。

42、第三方面，本發(fā)明實施例還提供了一種電子設(shè)備，電子設(shè)備包括：

43、一個或多個處理器；

44、存儲裝置，用于存儲一個或多個程序，

45、當一個或多個程序被一個或多個處理器執(zhí)行，使得一個或多個處理器實現(xiàn)如本發(fā)明實施例任一的數(shù)據(jù)模型確定方法。

46、第四方面，本發(fā)明實施例還提供了一種包含計算機可執(zhí)行指令的存儲介質(zhì)，計算機可執(zhí)行指令在由計算機處理器執(zhí)行時用于執(zhí)行如本發(fā)明實施例任一的數(shù)據(jù)模型確定方法。

47、本發(fā)明實施例的技術(shù)方案，對于存在多個數(shù)據(jù)處理模型的情形，可以將這些數(shù)據(jù)處理模型作為待融合數(shù)據(jù)模型，根據(jù)這些待融合數(shù)據(jù)模型的運行腳本和輸入源關(guān)聯(lián)信息，提取各個待融合數(shù)據(jù)模型的關(guān)鍵特征數(shù)據(jù)，得到與每個待融合數(shù)據(jù)模型相對應(yīng)的至少一個元數(shù)據(jù)，隨后，根據(jù)各元數(shù)據(jù)的標注信息和調(diào)度信息，確定各元數(shù)據(jù)的復(fù)用度屬性，進而根據(jù)屬于同一待融合數(shù)據(jù)模型的元數(shù)據(jù)的復(fù)用度屬性，確定待融合數(shù)據(jù)模型的模型融合屬性，從而，根據(jù)的模型融合屬性和元數(shù)據(jù)的標注信息對至少兩個待融合數(shù)據(jù)模型融合處理，得到目標數(shù)據(jù)模型。本實施例的方案，通過對相近的待融合數(shù)據(jù)模型進行融合處理得到目標數(shù)據(jù)模型，減少了模型的冗余性，提高了存儲資源的利用率，進一步的，由于融合后的目標數(shù)據(jù)模型，合并了不同數(shù)據(jù)處理模型的相同處理字段，減少了重復(fù)多次的數(shù)據(jù)處理過程，從而提高了算力資源的利用率。