本發(fā)明涉及機(jī)器學(xué)習(xí)，尤其涉及一種基于低秩分解的參數(shù)更新方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在現(xiàn)代金融行業(yè)中，隨著大數(shù)據(jù)和人工智能技術(shù)的快速發(fā)展，金融機(jī)構(gòu)越來越依賴于數(shù)據(jù)驅(qū)動(dòng)的決策模型。這些模型廣泛應(yīng)用于風(fēng)險(xiǎn)管理、信用評(píng)估、市場(chǎng)預(yù)測(cè)、欺詐檢測(cè)等關(guān)鍵業(yè)務(wù)領(lǐng)域。然而，隨著金融數(shù)據(jù)的規(guī)模和復(fù)雜性的不斷增加，如何有效地訓(xùn)練和優(yōu)化這些模型，特別是在保證模型準(zhǔn)確性的同時(shí)，降低計(jì)算資源的消耗，已成為一項(xiàng)亟待解決的技術(shù)難題。

2、傳統(tǒng)的金融模型通常依賴于大量的歷史數(shù)據(jù)進(jìn)行訓(xùn)練，這些模型的復(fù)雜度和參數(shù)數(shù)量往往非常龐大。這不僅增加了訓(xùn)練和部署的成本，還對(duì)計(jì)算資源提出了更高的要求。此外，由于金融數(shù)據(jù)的多樣性和動(dòng)態(tài)性，模型的泛化能力和實(shí)時(shí)更新的需求也越來越高。

3、為了解決這些問題，近年來，基于低秩分解的模型壓縮和優(yōu)化技術(shù)逐漸受到關(guān)注。低秩分解技術(shù)可以在不顯著降低模型性能的前提下，減少模型的參數(shù)數(shù)量，從而降低計(jì)算復(fù)雜度，適用于在資源有限的環(huán)境中部署金融模型。此外，低秩分解還可以與其他優(yōu)化技術(shù)(如增量式更新、學(xué)習(xí)率衰減)結(jié)合使用，以進(jìn)一步提升模型的實(shí)時(shí)性和精度。

4、在金融領(lǐng)域，使用低秩分解技術(shù)進(jìn)行模型優(yōu)化的典型應(yīng)用包括：

5、信用評(píng)分模型優(yōu)化：通過對(duì)信用評(píng)分模型進(jìn)行低秩分解，可以有效減少模型的計(jì)算負(fù)擔(dān)，提高模型的實(shí)時(shí)評(píng)分能力，特別是在處理海量用戶數(shù)據(jù)時(shí)尤為重要。

6、欺詐檢測(cè)：通過將低秩分解應(yīng)用于欺詐檢測(cè)模型，可以在保證高準(zhǔn)確率的同時(shí)，減少模型在實(shí)際運(yùn)行中的資源消耗，使其能夠在高并發(fā)交易環(huán)境下有效工作。。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種基于低秩分解的參數(shù)更新方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有技術(shù)在處理大規(guī)模金融數(shù)據(jù)時(shí)面臨計(jì)算資源高消耗以及模型性能與復(fù)雜度難以平衡的技術(shù)問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于低秩分解的參數(shù)更新方法，所述基于低秩分解的參數(shù)更新方法包括以下步驟：

3、確定預(yù)訓(xùn)練模型，獲取源數(shù)據(jù)集，利用所述源數(shù)據(jù)集訓(xùn)練所述預(yù)訓(xùn)練模型，得到源模型；

4、固定所述源模型的所有層的參數(shù)，向所述源模型中插入預(yù)設(shè)數(shù)量的數(shù)據(jù)處理層；

5、獲取訓(xùn)練數(shù)據(jù)集，利用所述訓(xùn)練數(shù)據(jù)集訓(xùn)練插入的所述數(shù)據(jù)處理層，利用增量式方式更新所述數(shù)據(jù)處理層的參數(shù)，獲得目標(biāo)模型。

6、在一個(gè)實(shí)施例中，所述利用增量式方式更新所述數(shù)據(jù)處理層的參數(shù)，包括：

7、將所述數(shù)據(jù)處理層的權(quán)重矩陣分解為兩個(gè)秩低于原始權(quán)重矩陣秩的矩陣，分別表示為第一矩陣和第二矩陣；

8、所述第一矩陣的維度與所述源模型的預(yù)訓(xùn)練權(quán)重矩陣的行數(shù)相同，所述第二矩陣的維度與所述源模型的預(yù)訓(xùn)練權(quán)重矩陣的列數(shù)相同；

9、保持源模型的預(yù)訓(xùn)練權(quán)重矩陣不變，更新新增數(shù)據(jù)處理層的第一矩陣和第二矩陣的參數(shù)；

10、更新后的數(shù)據(jù)處理層的權(quán)重矩陣由第一矩陣和第二矩陣的乘積與源模型的預(yù)訓(xùn)練權(quán)重矩陣的和組成，形成目標(biāo)模型的最終權(quán)重矩陣。

11、在一個(gè)實(shí)施例中，所述獲取訓(xùn)練數(shù)據(jù)集，包括：

12、選取候選訓(xùn)練數(shù)據(jù)集，利用詞嵌入技術(shù)將所述候選訓(xùn)練數(shù)據(jù)集和所述源數(shù)據(jù)集中標(biāo)簽轉(zhuǎn)換為向量表示，分別表示為候選標(biāo)簽向量表示和源標(biāo)簽向量表示；

13、利用余弦相似性計(jì)算所述候選標(biāo)簽向量表示和源標(biāo)簽向量表示之間的標(biāo)簽相似度；

14、若所述標(biāo)簽相似度高于相似度閾值，則將所述候選訓(xùn)練數(shù)據(jù)集作為訓(xùn)練所述數(shù)據(jù)處理層的訓(xùn)練數(shù)據(jù)集。

15、在一個(gè)實(shí)施例中，所述利用增量式方式更新所述數(shù)據(jù)處理層的參數(shù)，包括：

16、設(shè)置初始學(xué)習(xí)率以及學(xué)習(xí)率衰減策略，將訓(xùn)練數(shù)據(jù)集分成多個(gè)小批量數(shù)據(jù)，每個(gè)小批量數(shù)據(jù)中包含固定預(yù)設(shè)數(shù)量的樣本；

17、每次從訓(xùn)練數(shù)據(jù)集中提取一個(gè)小批量數(shù)據(jù)，進(jìn)行前向傳播以計(jì)算模型的預(yù)測(cè)結(jié)果；

18、根據(jù)預(yù)測(cè)結(jié)果和實(shí)際標(biāo)簽計(jì)算損失函數(shù)，通過后向傳播計(jì)算損失函數(shù)相對(duì)于數(shù)據(jù)處理層的參數(shù)的梯度，利用當(dāng)前的學(xué)習(xí)率更新參數(shù)；

19、在每次使用小批量數(shù)據(jù)更新數(shù)據(jù)處理層的參數(shù)后，根據(jù)當(dāng)前的學(xué)習(xí)率衰減策略調(diào)整學(xué)習(xí)率，直到所有的小批量數(shù)據(jù)處理完畢。

20、在一個(gè)實(shí)施例中，所述獲得目標(biāo)模型之后，還包括：

21、獲取驗(yàn)證數(shù)據(jù)集，根據(jù)所述目標(biāo)模型的任務(wù)需求確定評(píng)估指標(biāo)；

22、通過所述驗(yàn)證數(shù)據(jù)集計(jì)算所述目標(biāo)模型的預(yù)測(cè)結(jié)果，并根據(jù)選定的評(píng)估指標(biāo)進(jìn)行量化評(píng)估，生成綜合評(píng)估結(jié)果；

23、分析所述綜合評(píng)估結(jié)果，調(diào)整所述目標(biāo)模型的參數(shù)。

24、在一個(gè)實(shí)施例中，向所述源模型中插入預(yù)設(shè)數(shù)量的數(shù)據(jù)處理層，包括：

25、基于目標(biāo)任務(wù)的需求確定插入層的類型，根據(jù)插入層的類型設(shè)計(jì)插入層的預(yù)設(shè)數(shù)量和深度；

26、分析所述源模型的層結(jié)構(gòu)，確定插入層在所述源模型中插入的位置；

27、根據(jù)所述插入層的類型、插入層的預(yù)設(shè)數(shù)量和深度以及插入的位置向所述源模型中插入數(shù)據(jù)處理層；

28、根據(jù)所述插入層的類型確定初始化策略，通過所述初始化策略對(duì)插入的數(shù)據(jù)處理層的所有權(quán)重和偏置進(jìn)行初始化。

29、在一個(gè)實(shí)施例中，確定預(yù)訓(xùn)練模型，獲取源數(shù)據(jù)集，利用所述源數(shù)據(jù)集訓(xùn)練所述預(yù)訓(xùn)練模型，得到源模型，包括：

30、基于目標(biāo)任務(wù)的需求確定預(yù)訓(xùn)練模型，選擇與目標(biāo)任務(wù)的特征匹配的源數(shù)據(jù)集；

31、根據(jù)目標(biāo)任務(wù)的復(fù)雜度與源數(shù)據(jù)集的規(guī)模設(shè)置模型訓(xùn)練的參數(shù)，包括學(xué)習(xí)率與訓(xùn)練輪數(shù)；

32、對(duì)所述源數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理，同時(shí)進(jìn)行標(biāo)準(zhǔn)化或歸一化處理；

33、基于處理后的源數(shù)據(jù)集以及模型訓(xùn)練的參數(shù)訓(xùn)練所述預(yù)訓(xùn)練模型，得到所述源模型。

34、在一個(gè)實(shí)施例中，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種基于低秩分解的參數(shù)更新裝置，所述基于低秩分解的參數(shù)更新裝置包括：

35、模型預(yù)訓(xùn)練模塊，確定預(yù)訓(xùn)練模型，獲取源數(shù)據(jù)集，利用所述源數(shù)據(jù)集訓(xùn)練所述預(yù)訓(xùn)練模型，得到源模型；

36、參數(shù)固定模塊，固定所述源模型的所有層的參數(shù)，向所述源模型中插入預(yù)設(shè)數(shù)量的數(shù)據(jù)處理層；

37、參數(shù)更新模塊，獲取訓(xùn)練數(shù)據(jù)集，利用所述訓(xùn)練數(shù)據(jù)集訓(xùn)練插入的所述數(shù)據(jù)處理層，利用增量式方式更新所述數(shù)據(jù)處理層的參數(shù)，獲得目標(biāo)模型。

38、在一個(gè)實(shí)施例中，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種基于低秩分解的參數(shù)更新設(shè)備，所述基于低秩分解的參數(shù)更新設(shè)備包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的基于低秩分解的參數(shù)更新程序，所述基于低秩分解的參數(shù)更新程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述所述的基于低秩分解的參數(shù)更新方法的步驟。

39、在一個(gè)實(shí)施例中，為實(shí)現(xiàn)上述目的，本發(fā)明還提供一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有基于低秩分解的參數(shù)更新程序，所述基于低秩分解的參數(shù)更新程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的基于低秩分解的參數(shù)更新方法的步驟。

40、有益效果：本發(fā)明涉及一種基于低秩分解的參數(shù)更新方法，旨在解決現(xiàn)有技術(shù)在處理大規(guī)模金融數(shù)據(jù)時(shí)面臨計(jì)算資源高消耗以及模型性能與復(fù)雜度難以平衡的問題。本發(fā)明通過確定預(yù)訓(xùn)練模型并獲取源數(shù)據(jù)集，利用源數(shù)據(jù)集訓(xùn)練預(yù)訓(xùn)練模型得到源模型；固定源模型的所有層的參數(shù)，并在源模型中插入預(yù)設(shè)數(shù)量的數(shù)據(jù)處理層；獲取訓(xùn)練數(shù)據(jù)集并利用訓(xùn)練數(shù)據(jù)集訓(xùn)練插入的數(shù)據(jù)處理層，通過增量式方式更新數(shù)據(jù)處理層的參數(shù)，最終獲得目標(biāo)模型。本發(fā)明適用于處理大規(guī)模數(shù)據(jù)集的場(chǎng)景，有助于解決模型訓(xùn)練過程中計(jì)算資源消耗過大、訓(xùn)練時(shí)間過長(zhǎng)的問題，顯著提高模型的實(shí)用性和響應(yīng)速度，同時(shí)提高了模型在特定任務(wù)上的性能和適應(yīng)性。