本發(fā)明屬于信貸違約預(yù)測(cè)，具體涉及一種基于自注意力機(jī)制的不平衡信貸違約預(yù)測(cè)方法及裝置。

背景技術(shù)：

1、信貸違約預(yù)測(cè)是信貸風(fēng)險(xiǎn)管理的核心任務(wù)，它主要預(yù)測(cè)借款人是否會(huì)發(fā)生違約行為。傳統(tǒng)的信貸違約預(yù)測(cè)主要使用統(tǒng)計(jì)方法，如logistic回歸、決策樹(shù)、支持向量機(jī)等，這些方法已經(jīng)在實(shí)際中得到了廣泛的應(yīng)用。然而，這些傳統(tǒng)方法主在面對(duì)復(fù)雜和非線(xiàn)性的信貸數(shù)據(jù)時(shí)，往往性能有限。此外，相對(duì)于常規(guī)的表格數(shù)據(jù)，金融信貸數(shù)據(jù)通常呈現(xiàn)出特征間的相關(guān)性較低、稀疏性較高以及類(lèi)別不平衡性的特點(diǎn)，這些傳統(tǒng)方法也不能很好地處理數(shù)據(jù)的不平衡問(wèn)題，即正樣本(違約)和負(fù)樣本(未違約)的數(shù)量差異過(guò)大，這會(huì)導(dǎo)致模型的預(yù)測(cè)性能受到影響。

2、為了克服這些問(wèn)題，研究者開(kāi)始嘗試使用深度學(xué)習(xí)方法進(jìn)行信貸違約預(yù)測(cè)。深度學(xué)習(xí)能夠自動(dòng)學(xué)習(xí)和提取特征，對(duì)復(fù)雜和非線(xiàn)性的數(shù)據(jù)具有很好的處理能力。例如，人工神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等都已經(jīng)在信貸違約預(yù)測(cè)中得到了應(yīng)用。盡管如此，深度學(xué)習(xí)方法也存在一些亟待解決的問(wèn)題。首先，信用數(shù)據(jù)復(fù)雜高維稀疏，因此有效信息難以被有效學(xué)習(xí)從而導(dǎo)致性能不佳。與此同時(shí)，對(duì)于不平衡數(shù)據(jù)集，神經(jīng)網(wǎng)絡(luò)容易忽略少類(lèi)樣本。

3、對(duì)于不平衡數(shù)據(jù)的處理，一種常見(jiàn)的方法是采用重采樣技術(shù)，如隨機(jī)過(guò)采樣、隨機(jī)欠采樣、smote等，然而這樣的方法容易造成過(guò)擬合或欠擬合。此外，通過(guò)調(diào)整正負(fù)樣本的懲戒的方法被提出，例如加權(quán)交叉熵，這種方案性能有限。最近，也有研究者開(kāi)始探索使用生成對(duì)抗網(wǎng)絡(luò)以解決數(shù)據(jù)不平衡問(wèn)題，然而模型難以訓(xùn)練并表現(xiàn)出高復(fù)雜性。

4、總的來(lái)說(shuō)，信貸違約預(yù)測(cè)是一個(gè)具有挑戰(zhàn)性的問(wèn)題，需要處理復(fù)雜、非線(xiàn)性和不平衡的數(shù)據(jù)。盡管已有許多方法被提出，但仍有許多問(wèn)題待解決。為解決信貸違約預(yù)測(cè)中信貸數(shù)據(jù)不平衡的問(wèn)題、提高信貸違約預(yù)測(cè)準(zhǔn)確率，需要一種新的信貸違約預(yù)測(cè)方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明是為解決上述問(wèn)題而進(jìn)行的，目的在于提供一種能夠有效解決金融信貸數(shù)據(jù)不平衡問(wèn)題、提高信貸違約預(yù)測(cè)的信貸違約預(yù)測(cè)方法及裝置，本發(fā)明采用了如下技術(shù)方案：

2、本發(fā)明提供了一種基于自注意力機(jī)制的不平衡信貸違約預(yù)測(cè)方法，其特征在于，包括以下步驟：數(shù)據(jù)預(yù)處理步驟：對(duì)用于模型訓(xùn)練的金融信貸數(shù)據(jù)進(jìn)行預(yù)處理，得到訓(xùn)練集；模型訓(xùn)練步驟：基于所述訓(xùn)練集以及早停策略對(duì)基于自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的所述深度神經(jīng)網(wǎng)絡(luò)模型，其中，所述深度神經(jīng)網(wǎng)絡(luò)包括依次連接的第一全連接層、批量歸一化層、自注意力層以及第二全連接層，在訓(xùn)練過(guò)程中，利用f1分?jǐn)?shù)優(yōu)化調(diào)整所述深度神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)率；信貸違約預(yù)測(cè)步驟：將待預(yù)測(cè)的金融信貸數(shù)據(jù)輸入訓(xùn)練好的所述深度神經(jīng)網(wǎng)絡(luò)模型，得到信貸違約的預(yù)測(cè)結(jié)果。

3、本發(fā)明提供的基于自注意力機(jī)制的不平衡信貸違約預(yù)測(cè)方法，還可以具有這樣的技術(shù)特征，其中，所述模型訓(xùn)練步驟包括如下子步驟：初始化用于模型訓(xùn)練的參數(shù)，包括設(shè)置所述深度神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)率的初始值以及最佳f1分?jǐn)?shù)的初始值；基于訓(xùn)練集以及早停策略對(duì)所述深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，直到達(dá)到預(yù)定的訓(xùn)練輪數(shù)并且模型的準(zhǔn)確率不再提升，得到訓(xùn)練好的所述深度神經(jīng)網(wǎng)絡(luò)模型，其中，在所述f1分?jǐn)?shù)小于等于所述最佳f1分?jǐn)?shù)時(shí)重置訓(xùn)練輪次，在所述f1分?jǐn)?shù)大于所述最佳f1分?jǐn)?shù)且達(dá)到預(yù)定的訓(xùn)練輪次時(shí)，更新所述深度神經(jīng)網(wǎng)絡(luò)模型的所述學(xué)習(xí)率。

4、本發(fā)明提供的基于自注意力機(jī)制的不平衡信貸違約預(yù)測(cè)方法，還可以具有這樣的技術(shù)特征，其中，初始化的所述參數(shù)還包括訓(xùn)練輪次、所述深度神經(jīng)網(wǎng)絡(luò)模型的權(quán)重、偏置和學(xué)習(xí)率，基于adam優(yōu)化器進(jìn)行模型訓(xùn)練，初始化的所述參數(shù)還包括所述adam優(yōu)化器中的學(xué)習(xí)率、一階矩估計(jì)和二階矩估計(jì)，基于訓(xùn)練集以及早停策略對(duì)sa-dnn模型進(jìn)行訓(xùn)練的步驟包括：將一組訓(xùn)練集輸入所述深度神經(jīng)網(wǎng)絡(luò)模型，并基于所述深度神經(jīng)網(wǎng)絡(luò)模型的權(quán)重和偏置計(jì)算其梯度；基于所述梯度更新動(dòng)量的所述一階矩估計(jì)和所述二階矩估計(jì)；糾正所述一階矩估計(jì)和所述二階矩估計(jì)的偏差；基于糾正后的所述二階矩估計(jì)，更新所述深度神經(jīng)網(wǎng)絡(luò)模型的權(quán)重和偏置；基于所述深度神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果，計(jì)算此時(shí)的所述f1分?jǐn)?shù)；判斷所述f1分?jǐn)?shù)是否大于所述最佳f1分?jǐn)?shù)，在判斷為是時(shí)，將所述最佳f1分?jǐn)?shù)更新為該f1分?jǐn)?shù)，在判斷為否時(shí)，重置所述訓(xùn)練輪次；判斷所述訓(xùn)練輪次是否達(dá)到第一預(yù)定值，在判斷為是時(shí)更新所述深度神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)率，并更新所述adam優(yōu)化器中的學(xué)習(xí)率；判斷所述訓(xùn)練輪次是否達(dá)到第二預(yù)定值且本次迭代的所述f1分?jǐn)?shù)相對(duì)于上次迭代的所述f1分?jǐn)?shù)沒(méi)有提升，在判斷為是時(shí)，停止模型訓(xùn)練，輸出訓(xùn)練好的所述深度神經(jīng)網(wǎng)絡(luò)模型。

5、本發(fā)明提供的基于自注意力機(jī)制的不平衡信貸違約預(yù)測(cè)方法，還可以具有這樣的技術(shù)特征，其中，所述f1分?jǐn)?shù)的計(jì)算公式為：f1＝2*(precision*recall)/(precision+recall)，式中，precision為精確率，其計(jì)算式為precision＝tp/(tp+fp)，recall為召回率，其計(jì)算式為recall＝tp/(tp+fn)，tp和fp分別是真實(shí)違約用戶(hù)被預(yù)測(cè)為違約和和不違約預(yù)測(cè)標(biāo)簽的指標(biāo)，fn是具有違約用戶(hù)預(yù)測(cè)標(biāo)簽的不違約樣本。

6、本發(fā)明提供的基于自注意力機(jī)制的不平衡信貸違約預(yù)測(cè)方法，還可以具有這樣的技術(shù)特征，其中，所述模型訓(xùn)練步驟中，基于所述深度神經(jīng)網(wǎng)絡(luò)模型的權(quán)重和偏置計(jì)算其梯度，表達(dá)式為：式中，w和b分別為所述深度神經(jīng)網(wǎng)絡(luò)模型的權(quán)重和偏置，基于所述梯度更新動(dòng)量的所述一階矩估計(jì)，表達(dá)式為：mw＝β1·mw+(1-β1)·gw，mb＝β1·mb+(1-β1)·gb，式中，mw是w的一階矩估計(jì)，mb是b的一階矩估計(jì)，β1是一階矩估計(jì)的指數(shù)衰減率，基于所述梯度更新動(dòng)量的所述二階矩估計(jì)，表達(dá)式為：式中，vw是w的二階矩估計(jì)，和vb是b的二階矩估計(jì)，β2是二階矩估計(jì)的指數(shù)衰減率，糾正所述一階矩估計(jì)和所述二階矩估計(jì)的偏差，表達(dá)式為：式中，是β1的t次方，是β2的t次方，t是當(dāng)前迭代次數(shù)，是糾正后的w的一階矩估計(jì)，是糾正后的b的一階矩估計(jì)，是糾正后的w的二階矩估計(jì)，是糾正后的b的二階矩估計(jì)，基于糾正后的所述二階矩估計(jì)，更新深度神經(jīng)網(wǎng)絡(luò)模型的權(quán)重和偏置，表達(dá)式為：式中，η是學(xué)習(xí)率，∈是用于防止分母為0的預(yù)定值。

7、本發(fā)明提供的基于自注意力機(jī)制的不平衡信貸違約預(yù)測(cè)方法，還可以具有這樣的技術(shù)特征，其中，所述模型訓(xùn)練步驟中，所述最佳f1分?jǐn)?shù)的初始值為0，用于判斷所述所述訓(xùn)練輪次的所述第一預(yù)定值為10，更新所述深度神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)率的表達(dá)式為：ξi+1＝ξi*0.1，所述第二預(yù)定值為20。

8、本發(fā)明提供的基于自注意力機(jī)制的不平衡信貸違約預(yù)測(cè)方法，還可以具有這樣的技術(shù)特征，其中，所述深度神經(jīng)網(wǎng)絡(luò)模型中，所述第一全連接層為基于relu激活函數(shù)的全連接層，所述第二全連接層為基于sigmoid激活函數(shù)的全連接層。

9、本發(fā)明提供的基于自注意力機(jī)制的不平衡信貸違約預(yù)測(cè)方法，還可以具有這樣的技術(shù)特征，其中，所述模型訓(xùn)練步驟中，將預(yù)處理后的所述金融信貸數(shù)據(jù)輸入所述深度神經(jīng)網(wǎng)絡(luò)模型，所述第一全連接層的輸出為：x1＝max(0,w1*x+b1)，式中，w1和b1分別是第一全連接層的權(quán)重和偏置，所述批量歸一化層用于對(duì)所述第一全連接層的輸出進(jìn)行批量歸一化，其輸出為：式中，μb和σb分別是批量的均值和標(biāo)準(zhǔn)差，∈是用于防止分母為0的預(yù)定值，γ和β是可學(xué)習(xí)的參數(shù)，所述自注意力層首先將所述批量歸一化層的輸出線(xiàn)性映射到查詢(xún)矩陣q、鍵矩陣k和值矩陣v：式中，wq、wk和wv分別為對(duì)應(yīng)的權(quán)重，bq、bk和bk分別為對(duì)應(yīng)的偏置項(xiàng)，所述自注意力層計(jì)算查詢(xún)矩陣q和鍵矩陣k的每?jī)蓚€(gè)輸入向量的注意力值α，從而得到注意力矩陣：attention＝(α)(i,j)＝softmax(q*k)，所述自注意力層計(jì)算每?jī)蓚€(gè)所述輸入向量對(duì)應(yīng)的輸出向量：xattention＝attention*v，所述第二全連接層對(duì)所述自注意力層的輸出進(jìn)行激活：ypredict＝sigmoid(w4*xattention+b4)，式中，w4和b4分別是第二全連接層的權(quán)重和偏置。

10、本發(fā)明提供的基于自注意力機(jī)制的不平衡信貸違約預(yù)測(cè)方法，還可以具有這樣的技術(shù)特征，其中，所述數(shù)據(jù)預(yù)處理步驟中，對(duì)所述金融信貸數(shù)據(jù)進(jìn)行歸一化處理，表達(dá)式如下：x＝(x-min(x))/(max(x)-min(x))，式中，x為所述金融信貸數(shù)據(jù)的特征。

11、本發(fā)明提供了一種基于自注意力機(jī)制的不平衡信貸違約預(yù)測(cè)裝置，其特征在于，包括：數(shù)據(jù)預(yù)處理部，對(duì)用于模型訓(xùn)練的金融信貸數(shù)據(jù)進(jìn)行預(yù)處理，得到訓(xùn)練集；模型訓(xùn)練部，基于所述訓(xùn)練集以及早停策略對(duì)基于自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的所述深度神經(jīng)網(wǎng)絡(luò)模型，其中，所述深度神經(jīng)網(wǎng)絡(luò)包括依次連接的第一全連接層、批量歸一化層、自注意力層以及第二全連接層，在訓(xùn)練過(guò)程中，利用f1分?jǐn)?shù)優(yōu)化調(diào)整所述深度神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)率；以及信貸違約預(yù)測(cè)部，用于將待預(yù)測(cè)的金融信貸數(shù)據(jù)輸入訓(xùn)練好的所述深度神經(jīng)網(wǎng)絡(luò)模型，得到信貸違約的預(yù)測(cè)結(jié)果。

12、發(fā)明作用與效果

13、根據(jù)本發(fā)明的基于自注意力機(jī)制的不平衡信貸違約預(yù)測(cè)方法及裝置，該方法包括數(shù)據(jù)預(yù)處理步驟、模型訓(xùn)練步驟以及信貸違約預(yù)測(cè)步驟，其中，對(duì)基于自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練并利用該模型進(jìn)行信貸違約的預(yù)測(cè)，該模型利用先進(jìn)的自注意力機(jī)制，能夠有效地提煉出稀疏復(fù)雜的金融信貸數(shù)據(jù)中的關(guān)鍵信息，并通過(guò)學(xué)習(xí)這些關(guān)鍵信息中的內(nèi)在模式，推導(dǎo)出魯棒的預(yù)測(cè)機(jī)制。進(jìn)一步，為了應(yīng)對(duì)金融信貸數(shù)據(jù)的不平衡性，在模型訓(xùn)練步驟中引入了f1分?jǐn)?shù)作為該模型的訓(xùn)練評(píng)價(jià)指標(biāo)，以輔助模型訓(xùn)練，其目的在于找到最優(yōu)的模型狀態(tài)，以更準(zhǔn)確地識(shí)別違約用戶(hù)，從而實(shí)現(xiàn)對(duì)不平衡的金融信貸數(shù)據(jù)的有效學(xué)習(xí)，提高信貸違約預(yù)測(cè)的準(zhǔn)確率。此外，通過(guò)f1分?jǐn)?shù)，可輔助模型快速收斂到最優(yōu)區(qū)別違約樣本的狀態(tài)，可減少模型訓(xùn)練所需的時(shí)間。