一種基于貝葉斯網(wǎng)絡(luò)和互信息的客戶信用評(píng)分方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種利用數(shù)據(jù)挖掘或機(jī)器學(xué)習(xí)技術(shù)進(jìn)行客戶信用評(píng)分的方法，尤其是 一種基于貝葉斯網(wǎng)絡(luò)和互信息的客戶信用評(píng)分方法。
【背景技術(shù)】
[0002] 信用評(píng)分（credit scoring)也稱客戶信用（或資信）評(píng)估（或評(píng)級(jí)），是近年來(lái) 興起的一種為了保障銀行等金融機(jī)構(gòu)的金融安全（即降低其市場(chǎng)活動(dòng)風(fēng)險(xiǎn)）而采用的一種 對(duì)客戶資信進(jìn)行分析預(yù)測(cè)的方法。
[0003] 信用評(píng)分是指根據(jù)客戶的實(shí)證屬性（empirical attributes)(如：客戶的年齡、 學(xué)歷、收入、家庭情況，等）和客戶信用歷史屬性（如：客戶的按時(shí)還款（貸）情況、騙保情 況，等）來(lái)構(gòu)建一個(gè)信用評(píng)分模型（credit scoring model)，然后利用該信用評(píng)分模型來(lái)預(yù) 測(cè)客戶的信用分?jǐn)?shù)（credit score)，從而評(píng)估客戶的未來(lái)信用表現(xiàn)。
[0004] 現(xiàn)有的信用評(píng)分方法主要分為四類（參見(jiàn)："Nan_Chen Hsieha, Lun-Ping Hung:A data driven ensemble classifier for credit scoring analysis.Expert Systems with ApplicationsjVolume 37, Issue IjJanuary 2010, Pages 534 - 545 ；D01:10. 1016/ j.eswa. 2009. 05. 059"）：支持向量機(jī)（support vector machine)方法、決策樹(shù)（decision tree)方法、神經(jīng)網(wǎng)絡(luò)（neural network)方法、以及貝葉斯網(wǎng)絡(luò)(^Bayesian network)方法D
[0005] 支持向量機(jī)方法，典型的是Kima和Ahn于2012年提出的方法（參見(jiàn)：aKyoung-jae Kima，Hyunchul Ahn:A corporate credit rating model using multi-class support vector machines with an ordinal pairwise partitioning approach. Computers&Operations Research, Volume 39,Issue 8,August 2012,Pages 1800 - 1811 ； DOI: 10. 1016/j. con 2011. 06. 023")。該類方法需要通過(guò)訓(xùn)練樣本來(lái)構(gòu)建信用評(píng)分模型，但 由于其難以處理大規(guī)模的訓(xùn)練樣本，在實(shí)際中應(yīng)用效果不佳。
[0006] 決策樹(shù)方法，典型的是Bozsik和K^miendi于2011年提出的方法（參見(jiàn)："j0zsef Bozsikj Gergely Kormendi: Decision tree-based credit decision support system. LINDI 2011_3rd IEEE International Symposium on Logistics and Industrial Informatics，Proceedings，IEEE Computer Society，2011，Pages:189-193 ;D01:10.1109/ LINDI. 2011. 6031145"h該類方法難以根據(jù)不完整的客戶數(shù)據(jù)來(lái)構(gòu)建信用評(píng)分模型，且預(yù) 測(cè)準(zhǔn)確性（accuracy)與精度（precision)較低。
[0007] 神經(jīng)網(wǎng)絡(luò)方法，典型的是Hsieh于2005年提出的方法（參見(jiàn)："Nan-Chen Hsieh:Hybrid mining approach in the design of credit scoring models. Expert Systems with Applications, Volume 28, Issue 4, May 2005, Pages 655 - 665; D0I:10. 1016/j.eswa. 2004. 12.022")。該類方法存在以下缺陷：（1)除了大量客戶數(shù)據(jù)外， 還需很多的輸入?yún)?shù)（如：網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、閾值、權(quán)重值，等）才能構(gòu)建信用評(píng)分模型"2) 信用評(píng)分模型的直觀性、評(píng)價(jià)結(jié)果的可解釋性不夠，從而影響輸出結(jié)果的可信度。
[0008] 貝葉斯網(wǎng)絡(luò)方法，典型的有Pavlenko和Chemyak于2010年提出的方法（參 見(jiàn)："Tatjana Pavlenko, Oleksandr Chernyak:Credit risk modeling using bayesian networks. International Journal of Intelligent Systems, Volume 25,Issue 4, April 2010, pages 326 - 344 ;D01:10. 1002/int. 20410"）以及 Leong 于最近提出的方法 (參見(jiàn)：''Chee Kian Leong:Credit Risk Scoring with Bayesian Network Models. Computational Economics, First online on 24June2015at http://link, springer. com/article/10. 1007/sl0614-015-9505-8 ;D01:10. 1007/sl0614-015-9505-8"）?，F(xiàn)有 研究工作表明，該類方法具有以下優(yōu)點(diǎn)：（1)在預(yù)測(cè)準(zhǔn)確性與精度、信用評(píng)分模型的敏感性 (sensitivity)等方面比現(xiàn)有模型（尤其是基于神經(jīng)網(wǎng)絡(luò)方法的信用評(píng)分模型）更佳；（2) 能處理大規(guī)模的客戶數(shù)據(jù)；（3)貝葉斯網(wǎng)絡(luò)的圖結(jié)構(gòu)（graph structure)和概率參數(shù)估計(jì) (probability parameter estimate)易于根據(jù)實(shí)際情況進(jìn)行合理調(diào)整。
[0009] 在客戶信用評(píng)分方法的實(shí)際應(yīng)用中，常常會(huì)面臨這樣的問(wèn)題或挑戰(zhàn)：有的客戶數(shù) 據(jù)（實(shí)證屬性與信用歷史信息）與客戶的信用表現(xiàn)關(guān)系不大，這就需要合理篩選有用的 客戶數(shù)據(jù)，以便構(gòu)建更有效的信用評(píng)分模型。然而，僅用貝葉斯網(wǎng)絡(luò)無(wú)法解決這個(gè)問(wèn)題。 在概率論和信息論中，互信息（mutual information, MI)(參見(jiàn)："Wenbin Qiana, Wenhao Shu:Mutual information criterion for feature selection from incomplete data. Neurocomputing, Volume 168, 30November 2015,Pages 210 - 220 ；D01:10. 1016/ j. neucom. 2015. 05. 105"）是變量之間相互依賴關(guān)系（mutual dependence)的一種度量，可 用來(lái)有效地衡量變量之間的相關(guān)性。因此，在構(gòu)建基于貝葉斯網(wǎng)絡(luò)的信用評(píng)分模型過(guò)程中， 可借助互信息機(jī)制來(lái)合理篩選有用的客戶數(shù)據(jù)。正是基于這個(gè)思想，本發(fā)明提出一種基于 貝葉斯網(wǎng)絡(luò)和互信息的客戶信用評(píng)分方法。
[0010] 下面簡(jiǎn)要說(shuō)明本發(fā)明技術(shù)方案中采用的若干現(xiàn)有計(jì)算方法或算法。
[0011] 在構(gòu)建初始貝葉斯網(wǎng)絡(luò)過(guò)程中，采用了貝葉斯信息準(zhǔn)則（Bayesian information criterion, BIC)(參見(jiàn)：''Ernst Wit, Edwin van den Heuvel, Jan-ffillem Romei jn: 'All models are wrong···' : an introduction to model uncertainty.Statistica NeerlandicajVolume 66, Issue 3,August 2012,pages 217 - 236 ；D01:10. 1111/ j. 1467-9574. 2012. 00530. x"）對(duì)貝葉斯網(wǎng)絡(luò)進(jìn)行評(píng)分。
[0012] 在構(gòu)建初始貝葉斯網(wǎng)絡(luò)過(guò)程中，采用了爬山（hill climbing)算法（參 見(jiàn)：''J. A. Gamez, J. L. Mateo, and J. M. Puerta, "Learning Bayesian networks by hill climbing:efficient methods based on progressive restriction of the neighborhood, ''Data Mining and Knowledge Discovery, vol. 22, no. I - 2, January 2011，pp. 106 - 148，D0I:10. 1007/sl0618-010-0178-6. "）基于預(yù)處理過(guò)的客戶數(shù)據(jù)來(lái)創(chuàng)建 貝葉斯網(wǎng)絡(luò)。
[0013] 在對(duì)客戶信用評(píng)分模型的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行參數(shù)學(xué)習(xí)過(guò)程中，采用了最大似然估 計(jì)(maximum-likelihood estimation)方法（參見(jiàn)："Michiel Hazewinkel(editor ):"Maximum-likelihood method", Encyclopedia of Mathematics, Springer,2001 ； ISBN978-1-55608-010-4"）。
[0014] 最后，為了評(píng)價(jià)本發(fā)明技術(shù)方案（即基于貝葉斯網(wǎng)絡(luò)和互信息的客戶信用評(píng) 分方法）的性能（客戶信用的預(yù)測(cè)準(zhǔn)確性與精度），在本
【發(fā)明內(nèi)容】
的【具體實(shí)施方式】中， 我們給出了一個(gè)基于基準(zhǔn)（benchmark)客戶數(shù)據(jù)集的具體實(shí)施例，并將本發(fā)明技術(shù)方 案與其他典型的客戶信用評(píng)分方法（決策樹(shù)方法、神經(jīng)網(wǎng)絡(luò)方法、初始貝葉斯網(wǎng)絡(luò)方 法）進(jìn)行了性能比較。在性能比較時(shí)，我們采用了常用的接受者操作特征（receiver operating characteristic, ROC)(參見(jiàn)：''James A. Hanley, Barbara J. McNeil: The meaning and use of the area under a receiver operating characteristic(ROC) curve. Radiology, Volume 143, Is