本技術(shù)屬于人工智能,具體涉及一種數(shù)據(jù)模型的優(yōu)化方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù):
1、數(shù)據(jù)模型成功部署后,確保其穩(wěn)定運(yùn)行并持續(xù)優(yōu)化性能成為關(guān)鍵任務(wù)。盡管開發(fā)階段的驗(yàn)證測(cè)試已經(jīng)進(jìn)行模型性能測(cè)試,為一定程度上保障了模型性能的穩(wěn)定性,但面對(duì)復(fù)雜多變的實(shí)際業(yè)務(wù)場(chǎng)景,開發(fā)數(shù)據(jù)與實(shí)時(shí)生產(chǎn)數(shù)據(jù)之間的差異往往導(dǎo)致預(yù)測(cè)結(jié)果存在偏差。這就要求在模型部署后,仍需持續(xù)收集并分析生產(chǎn)數(shù)據(jù),通過算法優(yōu)化、參數(shù)調(diào)整等手段,不斷縮小這種偏差,確保模型在生產(chǎn)環(huán)境中能夠準(zhǔn)確、高效地運(yùn)行,為企業(yè)帶來真正的價(jià)值。
2、因此,構(gòu)建一套高效的模型效果反饋機(jī)制,以對(duì)模型性能進(jìn)行客觀評(píng)估,并推進(jìn)模型迭代訓(xùn)練成為亟待解決的問題。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例的目的在于提出一種數(shù)據(jù)模型的優(yōu)化方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì),以構(gòu)建一套高效的模型效果反饋機(jī)制,以對(duì)模型性能進(jìn)行客觀評(píng)估,并推進(jìn)模型迭代訓(xùn)練。
2、為了解決上述技術(shù)問題,本技術(shù)實(shí)施例提供一種數(shù)據(jù)模型的優(yōu)化方法,采用了如下所述的技術(shù)方案:
3、一種數(shù)據(jù)模型的優(yōu)化方法,包括:
4、獲取輸入數(shù)據(jù),并將輸入數(shù)據(jù)輸入到數(shù)據(jù)模型,獲取數(shù)據(jù)模型輸出預(yù)測(cè)數(shù)據(jù);
5、獲取輸入數(shù)據(jù)的標(biāo)注標(biāo)簽,以及獲取預(yù)測(cè)數(shù)據(jù)的預(yù)測(cè)標(biāo)簽;
6、根據(jù)標(biāo)注標(biāo)簽對(duì)預(yù)測(cè)標(biāo)簽進(jìn)行校正,得到校正標(biāo)簽;
7、以攜帶標(biāo)注標(biāo)簽的輸入數(shù)據(jù)作為第一樣本數(shù)據(jù),以及以攜帶校正標(biāo)簽的預(yù)測(cè)數(shù)據(jù)作為第二樣本數(shù)據(jù),構(gòu)建迭代訓(xùn)練樣本集;
8、按照設(shè)定目標(biāo)值更新數(shù)據(jù)模型的優(yōu)化參數(shù),得到目標(biāo)優(yōu)化參數(shù);
9、使用迭代訓(xùn)練樣本集對(duì)數(shù)據(jù)模型進(jìn)行迭代訓(xùn)練,直至模型參數(shù)達(dá)到目標(biāo)優(yōu)化參數(shù)為止,輸出更新后的數(shù)據(jù)模型。
10、進(jìn)一步地,在獲取輸入數(shù)據(jù),并將輸入數(shù)據(jù)輸入到數(shù)據(jù)模型,獲取數(shù)據(jù)模型輸出預(yù)測(cè)數(shù)據(jù)的步驟之后,還包括:
11、判斷數(shù)據(jù)模型輸出預(yù)測(cè)數(shù)據(jù)是否為鍵值對(duì)形式,其中,預(yù)測(cè)數(shù)據(jù)的本體為鍵值對(duì)的鍵位,預(yù)測(cè)數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)標(biāo)簽為鍵值對(duì)的值位;
12、若數(shù)據(jù)模型輸出預(yù)測(cè)數(shù)據(jù)不是鍵值對(duì)形式,則通過獲取數(shù)據(jù)模型的生產(chǎn)日志的方式獲取數(shù)據(jù)模型輸出預(yù)測(cè)數(shù)據(jù)。
13、進(jìn)一步地,通過獲取數(shù)據(jù)模型的生產(chǎn)日志的方式獲取數(shù)據(jù)模型輸出預(yù)測(cè)數(shù)據(jù)的步驟,具體包括:
14、獲取數(shù)據(jù)模型針對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)測(cè)處理產(chǎn)生的生產(chǎn)日志片段,其中,生產(chǎn)日志為json類型日志;
15、對(duì)生產(chǎn)日志片段進(jìn)行json路徑解析,得到j(luò)son日志路徑解析結(jié)果;
16、將預(yù)先配置的日志核心字段與json日志路徑解析結(jié)果進(jìn)行匹配映射,根據(jù)匹配結(jié)果獲取數(shù)據(jù)模型輸出預(yù)測(cè)數(shù)據(jù)。
17、進(jìn)一步地,將預(yù)先配置的日志核心字段與json日志路徑解析結(jié)果進(jìn)行匹配映射,根據(jù)匹配結(jié)果獲取數(shù)據(jù)模型輸出預(yù)測(cè)數(shù)據(jù)的步驟,具體包括:
18、遍歷json日志路徑解析結(jié)果,將日志核心字段與json日志路徑解析結(jié)果中的字段進(jìn)行匹配,得到匹配日志字段;
19、在json日志路徑解析結(jié)果中查找匹配日志字段對(duì)應(yīng)的字段值;
20、基于匹配日志字段和字段值構(gòu)建字段鍵值對(duì),將字段鍵值對(duì)作為數(shù)據(jù)模型輸出預(yù)測(cè)數(shù)據(jù)。
21、進(jìn)一步地,根據(jù)標(biāo)注標(biāo)簽對(duì)預(yù)測(cè)標(biāo)簽進(jìn)行校正,得到校正標(biāo)簽的步驟,具體包括:
22、獲取標(biāo)注標(biāo)簽對(duì)應(yīng)的輸入數(shù)據(jù)片段,并基于標(biāo)注標(biāo)簽和輸入數(shù)據(jù)片段構(gòu)建第一數(shù)據(jù)標(biāo)簽組合;
23、獲取預(yù)測(cè)標(biāo)簽對(duì)應(yīng)的預(yù)測(cè)數(shù)據(jù)片段,并基于預(yù)測(cè)標(biāo)簽和預(yù)測(cè)數(shù)據(jù)片段構(gòu)建第二數(shù)據(jù)標(biāo)簽組合;
24、判斷第一數(shù)據(jù)標(biāo)簽組合和第二數(shù)據(jù)標(biāo)簽組合是否一致;
25、若第一數(shù)據(jù)標(biāo)簽組合和第二數(shù)據(jù)標(biāo)簽組合不一致,則根據(jù)第一數(shù)據(jù)標(biāo)簽組合對(duì)預(yù)測(cè)標(biāo)簽進(jìn)行校正,得到校正標(biāo)簽。
26、進(jìn)一步地,根據(jù)第一數(shù)據(jù)標(biāo)簽組合對(duì)預(yù)測(cè)標(biāo)簽進(jìn)行校正,得到校正標(biāo)簽的步驟,具體包括:
27、在預(yù)測(cè)數(shù)據(jù)中識(shí)別與輸入數(shù)據(jù)片段匹配的數(shù)據(jù)片段,得到匹配數(shù)據(jù)片段;
28、確定第一數(shù)據(jù)標(biāo)簽組合中輸入數(shù)據(jù)片段和標(biāo)注標(biāo)簽的匹配關(guān)系,得到真實(shí)標(biāo)簽匹配關(guān)系;
29、根據(jù)真實(shí)標(biāo)簽匹配關(guān)系校正匹配數(shù)據(jù)片段和預(yù)測(cè)標(biāo)簽的匹配關(guān)系,以完成預(yù)測(cè)標(biāo)簽進(jìn)行校正,得到校正標(biāo)簽。
30、進(jìn)一步地,使用迭代訓(xùn)練樣本集對(duì)數(shù)據(jù)模型進(jìn)行迭代訓(xùn)練,直至模型參數(shù)達(dá)到目標(biāo)優(yōu)化參數(shù)為止,輸出更新后的數(shù)據(jù)模型的步驟,具體包括:
31、將迭代訓(xùn)練樣本集輸入到數(shù)據(jù)模型,得到迭代預(yù)測(cè)結(jié)果;
32、將迭代預(yù)測(cè)結(jié)果與預(yù)設(shè)的標(biāo)準(zhǔn)結(jié)果進(jìn)行比較,并計(jì)算數(shù)據(jù)模型的迭代預(yù)測(cè)誤差;
33、使用方向傳播算法將預(yù)測(cè)誤差在數(shù)據(jù)模型中進(jìn)行傳遞;
34、使用梯度下降算法進(jìn)行模型參數(shù)的迭代更新,直至模型參數(shù)達(dá)到目標(biāo)優(yōu)化參數(shù)為止,輸出更新后的數(shù)據(jù)模型。
35、為了解決上述技術(shù)問題,本技術(shù)實(shí)施例還提供一種數(shù)據(jù)模型的優(yōu)化裝置,采用了如下所述的技術(shù)方案:
36、一種數(shù)據(jù)模型的優(yōu)化裝置,包括:
37、數(shù)據(jù)預(yù)測(cè)模塊,用于獲取輸入數(shù)據(jù),并將輸入數(shù)據(jù)輸入到數(shù)據(jù)模型,獲取數(shù)據(jù)模型輸出預(yù)測(cè)數(shù)據(jù);
38、標(biāo)簽獲取模塊,用于獲取輸入數(shù)據(jù)的標(biāo)注標(biāo)簽,以及獲取預(yù)測(cè)數(shù)據(jù)的預(yù)測(cè)標(biāo)簽;
39、標(biāo)簽校正模塊,用于根據(jù)標(biāo)注標(biāo)簽對(duì)預(yù)測(cè)標(biāo)簽進(jìn)行校正,得到校正標(biāo)簽;
40、樣本構(gòu)建模塊,用于以攜帶標(biāo)注標(biāo)簽的輸入數(shù)據(jù)作為第一樣本數(shù)據(jù),以及以攜帶校正標(biāo)簽的預(yù)測(cè)數(shù)據(jù)作為第二樣本數(shù)據(jù),構(gòu)建迭代訓(xùn)練樣本集;
41、參數(shù)設(shè)定模塊,用于按照設(shè)定目標(biāo)值更新數(shù)據(jù)模型的優(yōu)化參數(shù),得到目標(biāo)優(yōu)化參數(shù);
42、迭代訓(xùn)練模塊,用于使用迭代訓(xùn)練樣本集對(duì)數(shù)據(jù)模型進(jìn)行迭代訓(xùn)練,直至模型參數(shù)達(dá)到目標(biāo)優(yōu)化參數(shù)為止,輸出更新后的數(shù)據(jù)模型。
43、為了解決上述技術(shù)問題,本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)設(shè)備,采用了如下所述的技術(shù)方案:
44、一種計(jì)算機(jī)設(shè)備,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)可讀指令,所述處理器執(zhí)行所述計(jì)算機(jī)可讀指令時(shí)實(shí)現(xiàn)如上述任一項(xiàng)所述的數(shù)據(jù)模型的優(yōu)化方法的步驟。
45、為了解決上述技術(shù)問題,本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),采用了如下所述的技術(shù)方案:
46、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)可讀指令,所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述中任一項(xiàng)所述的數(shù)據(jù)模型的優(yōu)化方法的步驟。
47、與現(xiàn)有技術(shù)相比,本技術(shù)實(shí)施例主要有以下有益效果:
48、本技術(shù)公開一種數(shù)據(jù)模型的優(yōu)化方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì),屬于人工智能技術(shù)領(lǐng)域。首先,通過數(shù)據(jù)模型進(jìn)行預(yù)測(cè)獲取預(yù)測(cè)數(shù)據(jù)及其預(yù)測(cè)標(biāo)簽,并將預(yù)測(cè)標(biāo)簽與真實(shí)的標(biāo)注標(biāo)簽進(jìn)行對(duì)比,進(jìn)行預(yù)測(cè)標(biāo)簽的校正。隨后,利用攜帶標(biāo)注標(biāo)簽的輸入數(shù)據(jù)和攜帶校正標(biāo)簽的預(yù)測(cè)數(shù)據(jù)構(gòu)建迭代訓(xùn)練樣本集。接著,根據(jù)設(shè)定目標(biāo)值更新數(shù)據(jù)模型的優(yōu)化參數(shù)。通過不斷使用迭代訓(xùn)練樣本集對(duì)數(shù)據(jù)模型進(jìn)行迭代訓(xùn)練,直至模型參數(shù)達(dá)到目標(biāo)優(yōu)化參數(shù),從而輸出更新后的數(shù)據(jù)模型。本技術(shù)通過引入預(yù)測(cè)標(biāo)簽的校正機(jī)制,并利用校正后的數(shù)據(jù)構(gòu)建迭代訓(xùn)練樣本集,顯著提升了數(shù)據(jù)模型的預(yù)測(cè)準(zhǔn)確性,通過不斷迭代訓(xùn)練,模型參數(shù)逐步優(yōu)化至目標(biāo)值,最終輸出了性能更優(yōu)的數(shù)據(jù)模型,有效增強(qiáng)了模型的泛化能力,提升了數(shù)據(jù)處理的精度和效率。