基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法
【專利摘要】本發(fā)明為一種基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法，主要步驟為：Ⅰ、建立訓(xùn)練樣本矩陣；Ⅱ、在每個(gè)隱層節(jié)點(diǎn)上生成M個(gè)初始寄生巢；Ⅲ、求波形疊加極限學(xué)習(xí)機(jī)分類模型的分類準(zhǔn)確度；Ⅳ、訓(xùn)練樣本隨機(jī)等分為份，求交叉驗(yàn)證的極限學(xué)習(xí)機(jī)分類模型的分類準(zhǔn)確度輸出值；Ⅴ、用反雙曲線正弦函數(shù)和Morlet小波函數(shù)疊加作為極限學(xué)習(xí)機(jī)的激勵(lì)函數(shù)，構(gòu)建波形疊加極限學(xué)習(xí)機(jī)分類模型，得布谷鳥算法當(dāng)前代分類準(zhǔn)確度；Ⅵ、求布谷鳥算法的下一代結(jié)果，以概率Pa新建寄生巢；Ⅶ、重復(fù)迭代，判斷是否終止迭代，滿足終止條件則建立最佳極限學(xué)習(xí)機(jī)分類模型，用于對(duì)于未知樣本進(jìn)行分類。本方法計(jì)算復(fù)雜度低，效率高，分類性能穩(wěn)定精度高，全局最優(yōu)、性泛化能力強(qiáng)。
【專利說(shuō)明】基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)智能、神經(jīng)網(wǎng)絡(luò)【技術(shù)領(lǐng)域】。涉及極限學(xué)習(xí)機(jī)分類方法，具體為一種基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法。

【背景技術(shù)】
[0002]傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法(如BP神經(jīng)網(wǎng)絡(luò)算法)大多數(shù)采用梯度下降法尋優(yōu)方式。極限學(xué)習(xí)機(jī)(Extreme Learning Machine, ELM)與之不同，是2006年由Huang等人根據(jù)摩爾-彭羅斯(MP)廣義逆矩陣?yán)碚撎岢龅?，是一種簡(jiǎn)單有效的單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法(Single-Hidden-Layer Feedforward Neural Network, SLFNs)。該方法具有與神經(jīng)網(wǎng)絡(luò)相同的全局逼近性質(zhì)，通過(guò)隨機(jī)生成網(wǎng)絡(luò)輸入權(quán)值及隱層神經(jīng)元，并設(shè)置隱層節(jié)點(diǎn)數(shù)，便可以通過(guò)據(jù)摩爾-彭羅斯(MP)廣義逆得出輸出權(quán)重的最優(yōu)解。該方法在保證良好泛化性能的同時(shí)，極大地提高了學(xué)習(xí)速度，同時(shí)避免了由于梯度下降法產(chǎn)生的訓(xùn)練速度慢、過(guò)學(xué)習(xí)、易陷入局部極小值以及對(duì)學(xué)習(xí)率的難確定等諸多問(wèn)題。然而極限學(xué)習(xí)機(jī)的本身也存在固有缺陷，由于隱含層初始參數(shù)連接權(quán)值、偏置值與節(jié)點(diǎn)個(gè)數(shù)對(duì)的參數(shù)設(shè)置對(duì)分類結(jié)果具有較大影響，且極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)輸入權(quán)值及隱層神經(jīng)元偏移量是隨機(jī)生成的，不可避免的一些較為差的隨機(jī)參數(shù)被選出來(lái)，嚴(yán)重影響極限學(xué)習(xí)機(jī)的穩(wěn)定性和泛化能力，導(dǎo)致單個(gè)極限學(xué)習(xí)機(jī)的學(xué)習(xí)性能具有不確定性。
[0003]為解決上述極限學(xué)習(xí)機(jī)存在的問(wèn)題，近年來(lái)集中于針對(duì)參數(shù)優(yōu)化的方法改善極限學(xué)習(xí)機(jī)分類器的方案，如申請(qǐng)?zhí)枮?01210141568.6的中國(guó)發(fā)明專利“融合最小二乘向量機(jī)回歸學(xué)習(xí)思想的改進(jìn)極限學(xué)習(xí)機(jī)”，以及申請(qǐng)?zhí)枮?01310351903.X的中國(guó)發(fā)明專利申請(qǐng)“一種使用遺傳算法優(yōu)化極限學(xué)習(xí)機(jī)的集成框架方法”，都是通過(guò)參數(shù)優(yōu)化的方法改善極限學(xué)習(xí)機(jī)的分類性能和擬合能力，然而這些改進(jìn)的方法容易陷入局部最小點(diǎn)、分類結(jié)果不穩(wěn)定以及分類可靠性差。申請(qǐng)?zhí)枮?01310425815.X的中國(guó)發(fā)明專利申請(qǐng)“基于變長(zhǎng)度粒子群優(yōu)化算法的極限學(xué)習(xí)機(jī)”的方案雖然被廣泛采用，然而粒子群優(yōu)化極限學(xué)習(xí)機(jī)計(jì)算復(fù)雜度過(guò)高、計(jì)算時(shí)間比較長(zhǎng)。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是針對(duì)現(xiàn)有極限學(xué)習(xí)機(jī)分類方法的分類效果不穩(wěn)定以及分類準(zhǔn)確度較低等問(wèn)題，提供一種基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法，本分類方法利用兩種波形疊加作為波形疊加極限學(xué)習(xí)機(jī)的激勵(lì)函數(shù)代替標(biāo)準(zhǔn)極限學(xué)習(xí)機(jī)的單一激勵(lì)函數(shù)，增加了快速收斂性能以及信號(hào)高低頻動(dòng)態(tài)逼近能力，同時(shí)結(jié)合布谷鳥尋優(yōu)算法優(yōu)化極限學(xué)習(xí)機(jī)參數(shù)，建立最佳波形疊加極限學(xué)習(xí)機(jī)分類模型。本發(fā)明的波形疊加極限學(xué)習(xí)機(jī)分類方法在可接受的時(shí)間內(nèi)，相比傳統(tǒng)極限學(xué)習(xí)機(jī)分類建模方法具有更高的分類準(zhǔn)確率、調(diào)參更快捷以及尋優(yōu)能力強(qiáng)等特點(diǎn)，解決現(xiàn)有標(biāo)準(zhǔn)極限學(xué)習(xí)機(jī)分類結(jié)果不穩(wěn)定，分類可靠性差等問(wèn)題。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明所提供的基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法包括如下步驟:
[0006]步驟1、訓(xùn)練樣本的矩陣
[0007]在N個(gè)樣本集中抽取Ntl個(gè)樣本作為訓(xùn)練樣本，N0 ^ 50，輸入訓(xùn)練樣本的矩陣為(Xj, yj)，j = I, 2，---,NojXj = [Xj1, xJ2,…，Xjn]T e Rn, Yj = Iiyjl, yJ2,…，yJm]T e Rm，其中 T 表示轉(zhuǎn)置，R為實(shí)數(shù)集合，m和η表示樣本的特征維數(shù)。Xj表示訓(xùn)練樣本，Yj表示訓(xùn)練樣本的分類標(biāo)簽，設(shè)定不同類別的不同輸出標(biāo)簽值。如二分類時(shí)可為-1和+1，三分類時(shí)為0、1和
2。隱層節(jié)點(diǎn)的數(shù)目為分>1，由于計(jì)算復(fù)雜度和計(jì)算時(shí)間隨著隱層節(jié)點(diǎn)數(shù)增加而增加，因此需要根據(jù)具體實(shí)施方案的時(shí)間限制選擇隱層節(jié)點(diǎn)數(shù)。本發(fā)明方法中隱層結(jié)點(diǎn)的數(shù)目分的優(yōu)選值域?yàn)閇1,100] ο
[0008]步驟I1、生成初始寄生巢
[0009]使用布谷鳥尋優(yōu)算法隨機(jī)初始化值域?yàn)閇-0.5,0.5]輸入節(jié)點(diǎn)的隱層節(jié)點(diǎn)權(quán)重Wk以及隱層神經(jīng)元的閾值bk，t = l，2，...,#，同時(shí)在每個(gè)隱層節(jié)點(diǎn)上生成M個(gè)初始寄生巢(或稱為初始種群)《ik和bik，i = 1,2,…，M，初始寄生巢數(shù)M>1。
[0010]步驟II1、求波形疊加極限學(xué)習(xí)機(jī)分類模型的分類準(zhǔn)確度
[0011]本方法的波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式為:
_ 2] / (X) = Σ β, I' (θ，Ψ )(co,/;.-V + bik)，

k;\
[0013]j = I, 2, - ,N0, i = I, 2,...，M，k = \,2,---,N ,
[0014]其中7=1(欠+/2)，&與&分別表示不同的兩種波形函數(shù)，θ (t) =arcsinh(t),Ψ (? = J^ejwut^ 'k''\ Wtl >5且IctlS 2，β k為波形疊加極限學(xué)習(xí)機(jī)分類模型系數(shù)，
[0015]所述為反雙曲線正弦函數(shù)，f'=0 (0 = arcsinh(l) = --|^τγτ，
[0016]f2 為 Morlet 小波函數(shù)，/2=ψ (t) = em,t丨?)? cos(w0i)e(砂)，
[0017]本方法取/； = cos( Viy )e,_0-5i:!，
[0018]本方法用此兩種波形疊加作為激勵(lì)函數(shù)代替標(biāo)準(zhǔn)極限學(xué)習(xí)機(jī)的單一激勵(lì)函數(shù)，增加了快速收斂性能以及信號(hào)高低頻動(dòng)態(tài)逼近能力。得到本非線性逼近極限學(xué)習(xí)機(jī)分類方法的激勵(lì)函數(shù)為波形疊加雙激勵(lì)函數(shù)7=去〔arcsin吵)+cos(w0t)e' )。
[0019]其中反雙曲線正弦函數(shù)的加快了函數(shù)的快速收斂，小波函數(shù)則具有強(qiáng)調(diào)高低頻波形信號(hào)相似能力，兩種激勵(lì)函數(shù)疊加組合改善了標(biāo)準(zhǔn)極限學(xué)習(xí)機(jī)的網(wǎng)絡(luò)結(jié)構(gòu)使得隱含層網(wǎng)絡(luò)具有更強(qiáng)的動(dòng)態(tài)性能處理能力。
[0020]波形疊加極限學(xué)習(xí)機(jī)的矩陣表示為:
[0021]Havg^k = Y,
[0022]其中

g( W1-X1+Zj1)…
[0023]Harg = / (θ ,ψ):…:=7(θ，ψ，//)，

/(Wl-^+0l) ■■.s(W^.% +i,.v)jjVx^
β；?pflg(>V1-X1+/)1)...gfu^-.T,+/)-)
[0024]其中β=: ,T=: H=:...:=G(a,b,x)?

LiVIvxjb ^(νΗ-χ^+?,)...
[0025]則最小輸出權(quán)重矩陣^: ^k=HavjT={HTavgHavgjl H1avgT，其中//:為神經(jīng)網(wǎng)絡(luò)的隱層輸出矩陣H的Moore-penrose逆，由廣義逆定理通過(guò)奇異值分解求得Hav/。
[0026]本步驟先將訓(xùn)練樣本(\，Yj)、步驟II所得的M個(gè)初始寄生巢的隨機(jī)數(shù)權(quán)重Wk以及閾值bk輸入波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式中，求出最小輸出權(quán)重矩陣β,;然后將測(cè)試樣本分類模型參數(shù)βΛ、隱層節(jié)點(diǎn)權(quán)重wk以及隱層神經(jīng)元的閾值bk輸入波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式中，獲取新的波形疊加極限學(xué)習(xí)機(jī)分類標(biāo)簽y, j ;最后得到訓(xùn)

, 、count I V =V.1練樣本(XjJj)分類準(zhǔn)確度為./:('.馬九)=-^^*100%，i = 1,2,…，M，此為第i


作O
次\訓(xùn)練樣本輸入的波形疊加極限學(xué)習(xí)機(jī)分類模型分類準(zhǔn)確度。
[0027]步驟IV、交叉驗(yàn)證
[0028]為了使波形疊加極限學(xué)習(xí)機(jī)分類模型具有更好的泛化能力，進(jìn)行交叉驗(yàn)證。
[0029]IV -1、將N。個(gè)訓(xùn)練樣本隨機(jī)等分為A份，克為N。的因數(shù)，0<Μ<Ν0.,
M
[0030]IV-2、從?份訓(xùn)練樣本中抽取一份i個(gè)樣本作為交叉驗(yàn)證測(cè)試樣本(Xlq，y1(1),
MM
/-12.,#，_7其中第q次交叉驗(yàn)證測(cè)試樣本的分類標(biāo)簽為{ylq，y2(1，...Ai/ Q 一丨，-*，，^，



JSf
，YiJ ;剩余(i —)份(A f )個(gè)樣本作為交叉驗(yàn)證訓(xùn)練樣本，
[0031]IV -3、將剩余(M-ι )份交叉驗(yàn)證訓(xùn)練樣本和寄生巢ω ik和bik輸入波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式中，得到最小輸出權(quán)重矩陣μ
[0032]IV _4、將抽取的一份&個(gè)交叉驗(yàn)證測(cè)試樣本的Xlq、最小輸出權(quán)重矩陣β以及寄生巢《ik和bik輸入波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式中得到該分類模型輸出的分類標(biāo)簽值為I' lq ;記錄第q次交叉驗(yàn)證的波形疊加極限學(xué)習(xí)機(jī)分類模型輸出的分類標(biāo)簽值h' lq,y/ 2q，…，太lq};步驟IV-3所得波形疊加極限學(xué)習(xí)機(jī)分類模型輸出的分類標(biāo)簽值l' iq等于該交叉驗(yàn)證測(cè)試樣本的分類標(biāo)簽y1(1的個(gè)數(shù)count {y' lq = ylq}、與交叉驗(yàn)證測(cè)試樣本個(gè)數(shù)4之比即為波形疊加極限學(xué)習(xí)機(jī)分類模型第q次交叉驗(yàn)證的分類準(zhǔn)確度。
M
[0033]IV -5、重復(fù)步驟IV-丨?IV-4 V/ 01 ;
[0034]求所得到竝個(gè)分類準(zhǔn)確度的算術(shù)平均值
f \
[0035]7(.νω*Α-)=去Σ -，/ = 1,2，...，吾，g = l,2，.--,M，
V MJ
[0036]f(x!q,(Oik,b,k)^ N0個(gè)訓(xùn)練樣本i倍交叉驗(yàn)證的波形疊加極限學(xué)習(xí)機(jī)分類模型的分類準(zhǔn)確度輸出值。
[0037]步驟V、求目標(biāo)函數(shù)
[0038]求步驟III所得的訓(xùn)練樣本分類準(zhǔn)確度& (Xj, ω ik, bik)和步驟IV所得的訓(xùn)練樣本交叉驗(yàn)證的輸出值二者平均值的公式作為目標(biāo)函數(shù)，即目標(biāo)函數(shù)為:
[0039]Yi =^fi + f^\, i = 1，2，...，Μ，其中 > =為布谷鳥算法第 η0 代目標(biāo)函數(shù)的結(jié)果，說(shuō)明此代的分類準(zhǔn)確度，η0為迭代的次數(shù)，設(shè)置布谷鳥算法的最大迭代次數(shù)為Mn，其中
M
[0040]最大迭代次數(shù)Mn設(shè)置為100。
[0041]步驟V1、求布谷鳥算法的下一代結(jié)果
[0042]V1-1、步驟V得到布谷鳥算法的第Iitl代目標(biāo)函數(shù)結(jié)果F2,，對(duì)比該組M個(gè)寄生巢中目標(biāo)函數(shù)值，將目標(biāo)函數(shù)值最高maxlf?)對(duì)應(yīng)的寄生巢ω' &和1^ ik作為當(dāng)前代最優(yōu)寄生巢保留；采用萊維飛行的理論(sigma分布的可變步長(zhǎng))、求該組中剩余的M-1個(gè)寄生巢對(duì)應(yīng)的M-1個(gè)臨近寄生巢和&，并對(duì)比M-1個(gè)寄生巢和其對(duì)應(yīng)臨近寄生巢的目標(biāo)函數(shù)值大小。如果臨近寄生巢(?—和&對(duì)應(yīng)的目標(biāo)函數(shù)值^大于當(dāng)前代寄生巢?ik和bik的對(duì)應(yīng)目標(biāo)函數(shù)值，臨近寄生巢替代原位置的寄生巢；反之，保留原位置的寄生巢。
[0043]VI _2、由于寄生巢數(shù)量是固定的以及萊維飛行的理論的局限性，使得布谷鳥算法容易陷入局部最優(yōu)值，希望以一定概率跳出該局限。布谷鳥所選寄生巢的宿主鳥發(fā)現(xiàn)外來(lái)鳥蛋并另建一個(gè)新巢的概率為匕，Pa值域?yàn)閇0，1]，即以概率PJ逭機(jī)新建M*Paf寄生巢COik和bik，并隨機(jī)替代步驟V1-1所得的除當(dāng)前代最優(yōu)寄生巢以外的其它M-1個(gè)寄生巢(包括臨近寄生巢或原位置的寄生巢)中的M*Pa個(gè)。
[0044]將步驟V1-2處理所得的M-1個(gè)寄生巢和步驟V1-1保留的最優(yōu)寄生巢一起作為下一代的寄生巢，按照步驟III?V求布谷鳥算法的下一代目標(biāo)函數(shù)結(jié)果。
[0045]步驟νπ、建立最佳波形疊加極限學(xué)習(xí)機(jī)分類模型
[0046]按照步驟III?VI重復(fù)迭代，每一代求得目標(biāo)函數(shù)的分類準(zhǔn)確度max Y；^ ,多次迭代后，當(dāng)目標(biāo)函數(shù)值達(dá)到100%，停止迭代，以此時(shí)的寄生巢為最優(yōu)的寄生巢ω' 11;和屮ik；若目標(biāo)函數(shù)值未達(dá)到100%，繼續(xù)重復(fù)步驟III?VI，當(dāng)達(dá)到最大迭代次數(shù)Mn后，結(jié)束迭代，
以此時(shí)滿足目標(biāo)函數(shù)值maxyU/)最大的寄生巢為最優(yōu)的寄生巢ω ' ^和!]' ik ；
[0047]將最優(yōu)寄生巢的ω'ik帶入f(x)中，構(gòu)建最佳波形疊加極限學(xué)習(xí)機(jī)分類模型，

N ^ _
[0048]/(X)= ^β,,ΑΘ,ψΧω；,.χ + 4)

^=I
[0049]此分類模型即可用于對(duì)于未知樣本進(jìn)行分類，其分類準(zhǔn)確度最高、分類穩(wěn)定性最好。
[0050]與現(xiàn)有技術(shù)相比，本發(fā)明基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法的優(yōu)點(diǎn)為:1、采用反雙曲線正弦函數(shù)和Morlet小波函數(shù)來(lái)代替原有的單一激勵(lì)函數(shù),加快了函數(shù)的快速收斂性，強(qiáng)調(diào)了高低頻波形信號(hào)相似能力，該種雙激勵(lì)函數(shù)組合的方式改進(jìn)標(biāo)準(zhǔn)極限學(xué)習(xí)機(jī)的結(jié)構(gòu)，使得隱含層網(wǎng)絡(luò)具有更強(qiáng)的動(dòng)態(tài)性能處理能力以及收斂速度和穩(wěn)健性，并為其他學(xué)習(xí)算法的核函數(shù)提出了一種信號(hào)特征提取及擬合的新思想；2、采用波形疊加極限學(xué)習(xí)機(jī)分類模型避免了求解線性不可分問(wèn)題計(jì)算復(fù)雜度過(guò)高、分類性能不穩(wěn)定以及對(duì)訓(xùn)練樣本數(shù)據(jù)敏感等問(wèn)題；3、本發(fā)明采用布谷鳥參數(shù)優(yōu)化方法，參數(shù)調(diào)整簡(jiǎn)單，全局最優(yōu)性及泛化能力強(qiáng)，加快了分類模型的收斂速度；4、本方法可進(jìn)行二分類或多分類實(shí)驗(yàn)，相比其他方法具有更穩(wěn)定分類性能和更高的分類準(zhǔn)確度以及對(duì)訓(xùn)練樣本的敏感性小等特點(diǎn)；特別適用于近紅外光譜檢測(cè)分析結(jié)果的分類，如近紅外光譜的真假藥品鑒別。

【專利附圖】

【附圖說(shuō)明】
[0051]圖1為本基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法實(shí)施例1流程示意圖；
[0052]圖2為本基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法實(shí)施例及實(shí)施例2流程圖；
[0053]圖3為本基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法實(shí)施例數(shù)據(jù)集I樣本光譜吸光率曲線圖；
[0054]圖4為本基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法實(shí)施例數(shù)據(jù)集2樣本光譜吸光率曲線圖；
[0055]圖5為本基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法實(shí)施例數(shù)據(jù)集3樣本光譜吸光率曲線圖；

【具體實(shí)施方式】
[0056]本發(fā)明是一種基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法，實(shí)施例均為本方法用于近紅外光譜的藥品分類，下面結(jié)合附圖以及具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步的說(shuō)明，但本發(fā)明的保護(hù)范圍并不限于此。
[0057]近紅外光譜藥品鑒別方法由于能同時(shí)對(duì)多組樣品進(jìn)行快速無(wú)損的測(cè)定和判別，因而在藥物分析領(lǐng)域中得到廣泛重視與推廣。然而該方法具有譜帶寬、重疊嚴(yán)重、吸收信號(hào)弱及信息解析復(fù)雜等特點(diǎn)，傳統(tǒng)分類方法的預(yù)測(cè)精度和穩(wěn)健性很難達(dá)到實(shí)際應(yīng)用的需要，且實(shí)際情況往往存在建模樣本數(shù)量少，實(shí)驗(yàn)結(jié)果偏差較大；分類算法對(duì)訓(xùn)練樣本敏感，導(dǎo)致分類器穩(wěn)定性及可靠性較差；分類問(wèn)題計(jì)算復(fù)雜度較高等問(wèn)題。
[0058]各實(shí)施例所采用的軟件為0PUS7.0 ( 一階導(dǎo)數(shù)化和矢量歸一化預(yù)處理預(yù)處理)及Lunix服務(wù)器下Mac版Matlab2013a(分類器模型建立)。
[0059]各實(shí)施例中程序來(lái)源:
[0060]極限學(xué)習(xí)機(jī)程序來(lái)源黃廣斌(2004,http://www.ntu.edu.sg/home/egbhuang/elm_codes.html)、
[0061]布谷鳥算法Xin-She Yang (2009, Cambridge University)) >
[0062]粒子群算法(http://www.1lovematlab.cn/thread-64644-l_l.html)
[0063]偏最小二乘PLS (http:// www.1lovematlab.cn/forum.DhD ? mod =viewthread&tid = 171645)。
[0064]實(shí)施例1不同活性物質(zhì)濃度近紅外檢測(cè)光譜的藥品樣本分類
[0065]對(duì)來(lái)自 http: //www.models, life, ku.dk/Tablets 公共數(shù)據(jù)網(wǎng)站的 310 個(gè)藥品近紅外光譜進(jìn)行藥品活性物質(zhì)鑒別。其中近紅外光譜波長(zhǎng)范圍在7400-10507nm，4類不同劑量的藥品分為兩種，一種為5mg，其活性物質(zhì)濃度5.6% w/w ;另一種為10、15、20mg，其活性物質(zhì)濃度8.0% w/w。藥品活性物質(zhì)的成分含量不足會(huì)使得藥品療效降低，少數(shù)不良廠家偷工減料故意減少藥品活性物質(zhì)的含量，若這些假冒偽劣藥品不被檢測(cè)出來(lái)、流通于市面，將會(huì)嚴(yán)重危害消費(fèi)者的權(quán)益和健康。
[0066]本實(shí)施例首先采用近紅外光譜儀獲取各個(gè)藥品樣本的檢測(cè)光譜，然后利用0PUS7.0對(duì)所得檢測(cè)光譜進(jìn)行一階導(dǎo)數(shù)化(13個(gè)平滑點(diǎn))和矢量歸一化預(yù)處理預(yù)處理，消除由于偏移和漂移引起的光譜偏差。同時(shí)為減少導(dǎo)數(shù)光譜的噪聲，利用Matlab函數(shù)對(duì)光譜樣本進(jìn)行7點(diǎn)Savitzky-Golay平滑和0_1歸一化處理，最后通過(guò)偏最小二乘PLS特征提取方法對(duì)處理后的光譜樣本的數(shù)據(jù)信息進(jìn)行分解和篩選，提取對(duì)決策變量Y解釋性最強(qiáng)的輸入特征空間上的X進(jìn)行訓(xùn)練,壓縮后本例樣本的特征維數(shù)為2?3維。
[0067]本實(shí)施例基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法用于藥品樣本的檢測(cè)光譜分類的流程如圖1所示，具體步驟如下:
[0068]步驟1、訓(xùn)練樣本的矩陣
[0069]將N = 310的樣本集按照上述光譜預(yù)處理方法平滑和0-1歸一化處理后，從310個(gè)樣本中隨機(jī)抽取活性物質(zhì)濃度為5.6%的藥品光譜樣本40個(gè)作為正類樣本(真藥)，活性物質(zhì)濃度為8.0%的藥品光譜樣本120個(gè)作為負(fù)類樣本(假藥)，抽取Ntl = 160個(gè)藥品光譜樣本作為訓(xùn)練樣本，剩余的150個(gè)混合藥品光譜樣本作為測(cè)試樣本，其中樣本的特征維數(shù)m和η由原來(lái)的404維經(jīng)過(guò)PLS壓縮后為2?3維，隱層節(jié)點(diǎn)的數(shù)目為；=20 , Xj為訓(xùn)練樣本，y,為分類標(biāo)簽，j = 1，2，…160，本例負(fù)類樣本分類標(biāo)簽值為-1、正類樣本分類標(biāo)簽值為+1。
[0070]步驟I1、生成初始寄生巢
[0071]使用布谷鳥尋優(yōu)算法隨機(jī)初始化值域?yàn)閇-0.5，0.5]輸入節(jié)點(diǎn)隱層節(jié)點(diǎn)權(quán)重Wk以及隱層神經(jīng)元的閾值bk，k = 1，2，…20，并同時(shí)在各隱層節(jié)點(diǎn)生成初始寄生巢為M = 20個(gè)Oik 和 bik，i = 1，2，…，20。
[0072]步驟II1、求波形疊加極限學(xué)習(xí)機(jī)分類模型的分類準(zhǔn)確度
[0073]本方法的波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式為:
[0074]./' (X) = [ β,' 7(θ ,ψ ) (ω"'.X + Ir,)，


左二 I
[0075]j = 1，2，…，160，i = 1，2，…，20，k = 1，2，…20，
[0076]其中7=丄(/J+/2)，Θ(t) = arcsinh(t), Ψ =^，β k 為波形疊加極限學(xué)習(xí)機(jī)分類模型系數(shù)，
[0077]本例用為反雙曲線正弦函數(shù)
[0078]-/?=θ (O = arCsin Kt) = L 2 ,

\ι+χ?
[0079]本例f2為Morlet小波函數(shù),選取頻率wQ = 5、W0 = 7與W0 = 9,
[0080]/ι=ψ (?) = cos(5i)e( °'5i )-cos(7i)e( °'5；) +cos(9i)e( °'5i ),
[0081]本例基于波形疊加極限學(xué)習(xí)機(jī)分類方法的激勵(lì)函數(shù)為
[0082]/=^- (arcsin/?(,) + cos(5/)e '.) - cos(7/)e ""' ' +cos(9/)e ))，
[0083]本步驟先將訓(xùn)練樣本(Xj，Yj)、權(quán)重Wk以及閾值bk輸入波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式中，求出最小輸出權(quán)重矩陣13,然后將測(cè)試樣本模型參數(shù)β\隱層節(jié)點(diǎn)權(quán)重Wk以及隱層神經(jīng)元的閾值bk輸入波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式中，獲取新的波形疊加極限學(xué)習(xí)機(jī)分類模型的分類標(biāo)簽值太j ;最后得到訓(xùn)練樣本(\，Yj)分類準(zhǔn)確度為
/x count { V； =v:I
?/;(?Α)=~^-^-*\00% ,1 = 1,2,…，20。
[0084]步驟IV、交叉驗(yàn)證
[0085]IV -1、將N。= 160個(gè)訓(xùn)練樣本隨機(jī)等分力M =5份，一份為32個(gè)樣本；
[0086]IV -2、從5份訓(xùn)練樣本中抽取一份32個(gè)梓本作為交叉驗(yàn)證測(cè)試樣本(xlq, ylq)，I=1,2,…，32，q = 1,2,…，5 ;剩余4份4X32個(gè)樣本作為交叉驗(yàn)證訓(xùn)練樣本，
[0087]IV -3、將剩余4份交叉驗(yàn)證訓(xùn)練樣本和寄生巢ω ik和bik輸入波形疊加極限學(xué)習(xí)機(jī)分類模型中，得到最小輸出權(quán)重矩罔P，
[0088]IV _4、將抽取的一份32個(gè)交叉驗(yàn)證測(cè)試樣本的Xlq、最小輸出權(quán)重矩陣以及寄生巢ω ik和bik輸入波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式中，得到輸出的分類標(biāo)簽值為I' lq;記錄第q次交叉驗(yàn)證的分類標(biāo)簽輸出值{y'2q，…，y' lq};步驟IV-3所得波形疊加極限學(xué)習(xí)機(jī)分類模型的分類標(biāo)簽值f lq等于該交叉驗(yàn)證測(cè)試樣本的分類標(biāo)簽值ylq的個(gè)數(shù)count {y, lq = ylq}與交叉驗(yàn)證測(cè)試樣本個(gè)數(shù)32之比、作為第q次波形疊加極限學(xué)習(xí)機(jī)分類模型的交叉驗(yàn)證的分類準(zhǔn)確度。
[0089]IV -5、重復(fù)5次步驟II1-1?II1-4，得到5個(gè)分類準(zhǔn)確度；
[0090]求所得M= 5個(gè)的交叉驗(yàn)證分類準(zhǔn)確度的算術(shù)平均值7(?,ω?7,~)，此為160個(gè)訓(xùn)練樣本5倍交叉驗(yàn)證的輸出值。
[0091]步驟V、求目標(biāo)函數(shù)
[0092]求步驟III所得的訓(xùn)練樣本(\，Yj)的分類準(zhǔn)確度f(wàn)i (Xj, ω ik, bik)和步驟IV所得的訓(xùn)練樣本交叉驗(yàn)證的輸出值Λ—) 二者平均值的公式作為目標(biāo)函數(shù)，
I r -? I COWU\ V =v:\ I colon\ )?=ν;.,}
[0093]gp:Z=丄「/； + /；]=丄-^........1il+Ay -L.1!........:Jll ”()()％.1 2L 1 2 16032
Lq V.)_
[0094]其中}，…,?為布谷鳥算法第n(l代目標(biāo)函數(shù)的結(jié)果，本例最大迭代次數(shù)為 Mn = 100，I ^n0 ^ 5, i = 1,2,…，20。
[0095]步驟V1、求布谷鳥算法的下一代結(jié)果
[0096]V1-1、步驟V得到布谷鳥算法的第Iitl代目標(biāo)函數(shù)結(jié)果}^=.^,Γ2，...,，對(duì)比該組20個(gè)寄生巢中目標(biāo)函數(shù)值，將目標(biāo)函數(shù)值最高maxlf?)對(duì)應(yīng)的寄生巢ω' ijjPb' 11;作為當(dāng)前代最優(yōu)寄生巢保留；采用萊維飛行的理論(sigma分布的可變步長(zhǎng))求該組中剩余的
19個(gè)寄生巢對(duì)應(yīng)的19個(gè)臨近寄生巢和&，并對(duì)比19個(gè)寄生巢和其對(duì)應(yīng)臨近寄生巢的目標(biāo)函數(shù)值大小。如果臨近寄生巢的目標(biāo)函數(shù)值大于其對(duì)應(yīng)寄生巢的目標(biāo)函數(shù)值，臨近寄生巢替代原位置的寄生巢；反之，保留原位置的寄生巢。
[0097]V1-2、以概率Pa = 0.25隨機(jī)新建4個(gè)寄生巢ω ik和bik，并隨機(jī)替代步驟VI _1所得除當(dāng)前代最優(yōu)寄生巢以外的其它19個(gè)寄生巢(包括臨近寄生巢或原位置的寄生巢)中的4個(gè)。
[0098]將步驟V1-2處理所得的19個(gè)寄生巢和步驟V1-1保留的最優(yōu)寄生巢一起作為下一代的寄生巢，按照步驟III?V求布谷鳥算法的下一代目標(biāo)函數(shù)結(jié)果?:<%+11。
[0099]步驟νπ、建立最佳波形疊加極限學(xué)習(xí)機(jī)分類模型
[0100]按照步驟III?VI重復(fù)迭代，每一代求得目標(biāo)函數(shù)的分類準(zhǔn)確度max ，多次迭代后，當(dāng)目標(biāo)函數(shù)值達(dá)到100%，停止迭代，以此時(shí)的寄生巢為最優(yōu)的寄生巢ω' 11;和屮ik；若目標(biāo)函數(shù)值未達(dá)到100%，繼續(xù)重復(fù)步驟III?VI，當(dāng)達(dá)到最大迭代次數(shù)100后，結(jié)束迭代，以此時(shí)滿足目標(biāo)函數(shù)值max 大的寄生巢為最優(yōu)的寄生巢ω' ^和^ ik ；
[0101]將最優(yōu)寄生巢的ω'ik帶入f(x)中，構(gòu)建最佳波形疊加極限學(xué)習(xí)機(jī)分類模型，

TV ^ _
[0102]fix)= Σβ?θ,ψ)(ω;Α.χ+&)

k=l
[0103]此分類模型即可用于對(duì)于未知樣本進(jìn)行分類，其分類準(zhǔn)確度最高、分類穩(wěn)定性最好。所獲得的最佳波形疊加極限學(xué)習(xí)機(jī)分類模型即可用于對(duì)相同的藥品活性物質(zhì)的未知樣本進(jìn)行分類。
[0104]為了驗(yàn)證本發(fā)明基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法針對(duì)不同活性濃度的藥品樣本集建立數(shù)學(xué)模型獲取分類準(zhǔn)確度以及分類穩(wěn)定性，本例進(jìn)行了第二次實(shí)驗(yàn)，仍使用與第一次實(shí)驗(yàn)相同的預(yù)處理后的4類不同劑量、活性物質(zhì)濃度分別為5.6%和
8.0%的310個(gè)藥品樣本近紅外檢測(cè)光譜。隨機(jī)抽取濃度為5.6%的樣本50個(gè)作為正類樣本(真藥)，濃度為8.0 %的樣本150個(gè)作為負(fù)類樣本(假藥)，即第二次實(shí)施的訓(xùn)練樣本為200個(gè)，剩余的110個(gè)混合樣本為測(cè)試樣本。
[0105]第二次實(shí)驗(yàn)步驟與第一次實(shí)驗(yàn)步驟相同，第二次實(shí)驗(yàn)步驟不再詳述。
[0106]本例兩次實(shí)驗(yàn)所用訓(xùn)練樣本和測(cè)試樣本主要特征如表1所示。表1中“維數(shù)”表示光譜樣本的維數(shù)(樣本采集點(diǎn)個(gè)數(shù))，其值決定PLS壓縮后的樣本維數(shù)以及建立分類模型所需要的訓(xùn)練時(shí)間；表1中“屬性數(shù)”表示本例藥品樣本中不同劑量藥品種類數(shù)。
[0107]表1實(shí)施例1兩次實(shí)驗(yàn)樣本集情況一覽表
[0108]

【權(quán)利要求】
1.一種基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法，其特征在于包括如下步驟: 步驟1、訓(xùn)練樣本的矩陣 在N個(gè)樣本集中抽取Nci個(gè)樣本作為訓(xùn)練樣本，Nci彡50，輸入訓(xùn)練樣本的矩陣為(Xy Yj)，j = I, 2，..., N0,Xj = [Xj1, xJ2,…，Xjn]T e Rn, Yj = Iiyjl, yJ2,…，yJm]T e Rm，其中 T 表示轉(zhuǎn)置，R為實(shí)數(shù)集合，m和η表示樣本的特征維數(shù)；χ]表示訓(xùn)練樣本,Yj表示訓(xùn)練樣本的分類標(biāo)簽，設(shè)定不同類別的不同輸出標(biāo)簽值；隱層節(jié)點(diǎn)的數(shù)目為A > I ； 步驟I1、生成初始寄生巢 使用布谷鳥尋優(yōu)算法隨機(jī)初始化值域?yàn)閇-0.5,0.5]輸入節(jié)點(diǎn)的隱層節(jié)點(diǎn)權(quán)重wk以及隱層神經(jīng)元的閾值bk，左=1.2.....々，同時(shí)在每個(gè)隱層節(jié)點(diǎn)上生成M個(gè)初始寄生巢Coil^Pbik,i = 1，2，…，M，初始寄生巢數(shù)為M>1 ； 步驟II1、求波形疊加極限學(xué)習(xí)機(jī)分類模型的分類準(zhǔn)確度 本方法的波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式為:
其中 7=-(/+/2)，9 (t) =arcsinh(t), Ψ (0 = 4^-—°)，Wci > 5 且k。> 2,βk為波形疊加極限學(xué)習(xí)機(jī)分類模型系數(shù)， 所述&為反雙曲線正弦函數(shù)，f^0 (,)=arcsin /?⑴=Ι,(1+$)!2， f2 為 Morlet 小波函數(shù)，f =ψ ⑷=^ X C0S ( Vlo0丨’
本方法取 /2 = cos(w0i)e(~0 M ), 波形疊加雙激勵(lì)函數(shù)為7=去〔arcsin嶺) + cos(w0i)e(—丨J; 基于波形疊加極限學(xué)習(xí)機(jī)的矩陣表示為:
則最小輸出權(quán)重矩陣民:PiHlJ，其中H11':為神經(jīng)網(wǎng)絡(luò)的隱層輸出矩陣H的Moore-penrose逆，由廣義逆定理通過(guò)奇異值分解求得HavJ ; 本步驟先將訓(xùn)練樣本權(quán)重Wk以及閾值bk輸入波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式中，求出最小輸出權(quán)重矩陣β;;然后將測(cè)試樣本模型參數(shù)&、隱層節(jié)點(diǎn)權(quán)重Wk以及隱層神經(jīng)元的閾值bk輸入波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式中，獲取新的波形疊加極限學(xué)習(xí)機(jī)分類模型的分類標(biāo)簽值V j ;最后得到訓(xùn)練樣本(\，yP分類準(zhǔn)確度為,
步驟IV、交叉驗(yàn)證 IV -1、將Ntl個(gè)訓(xùn)練樣本隨機(jī)等分為分份，A為Ntl的因數(shù)，0<Μ<ΛΓ0； IV-2、從份訓(xùn)練樣本中抽取一份I個(gè)樣本作為交叉驗(yàn)證測(cè)試樣本(xlq，y1(1)，其中第q次交叉驗(yàn)證測(cè)試樣本的分類標(biāo)簽為{ylq，y2(1，…,Y1J ;剩余,G , λ份do個(gè)樣本作為交叉驗(yàn)證訓(xùn)練樣本，將剩余(1-1 )份交叉驗(yàn)證訓(xùn)練樣本和寄生巢《ik和bik輸入波形疊加極限學(xué)習(xí)機(jī)分類模型中，得到最小輸出權(quán)重矩陣PtIV _4、將抽取的一份4個(gè)交叉驗(yàn)證測(cè)試樣本的Xlq、最小輸出權(quán)重矩陣6以及寄生巢《ik和bik輸入波形疊加極限學(xué)習(xí)機(jī)分類模型的表達(dá)式中得到該分類模型輸出的分類標(biāo)簽值為I' lq ;記錄第q次交叉驗(yàn)證的波形疊加極限學(xué)習(xí)機(jī)分類模型輸出的分類標(biāo)簽值h' l' 2q，…，太lq};步驟IV-3所得波形疊加極限學(xué)習(xí)機(jī)分類模型輸出的分類標(biāo)簽值l' I,等于該交叉驗(yàn)證測(cè)試樣本的分類標(biāo)簽y1(1的個(gè)數(shù)count {y' lq = ylq}、與交叉驗(yàn)證測(cè)試樣本個(gè)數(shù)I之比即為波形疊加極限學(xué)習(xí)機(jī)分類模型第q次交叉驗(yàn)證的分類準(zhǔn)確度；
M IV -5、重復(fù)步驟IV-1?IV-4 A次； 求所得到A個(gè)分類準(zhǔn)確度的算術(shù)平均值
7(?—Α)為Ntl個(gè)訓(xùn)練樣本分倍交叉驗(yàn)證的波形疊加極限學(xué)習(xí)機(jī)分類模型的分類準(zhǔn)確度輸出值； 步驟V、求目標(biāo)函數(shù) 求步驟III所得的訓(xùn)練樣本分類準(zhǔn)確度為AOcy ?ik, bik)和步驟IV所得的訓(xùn)練樣本交叉驗(yàn)證的輸出值二者平均值的公式作為目標(biāo)函數(shù)，即目標(biāo)函數(shù)為: Y ' +fi]J i = 1，2，…，Μ,其中=為布谷鳥算法第nQ代目標(biāo)函數(shù)的結(jié)果，n0為迭代的次數(shù)，設(shè)置布谷鳥算法的最大迭代次數(shù)為Mn，其中I < n{) < ;

M 步驟V1、求布谷鳥算法的下一代結(jié)果 V1-1、步驟V得到布谷鳥算法的第Iitl代目標(biāo)函數(shù)結(jié)果}^Hn...,}^，對(duì)比該組M個(gè)寄生巢中目標(biāo)函數(shù)值，將目標(biāo)函數(shù)值最高max#"1*)對(duì)應(yīng)的寄生巢ω'ik作為當(dāng)前代最優(yōu)寄生巢保留；采用萊維飛行的理論、求該組中剩余的M-1個(gè)寄生巢對(duì)應(yīng)的M-1個(gè)臨近寄生巢(^_和&，并對(duì)比M-1個(gè)寄生巢和其對(duì)應(yīng)臨近寄生巢的目標(biāo)函數(shù)值大??；如果臨近寄生巢的目標(biāo)函數(shù)值大于其對(duì)應(yīng)寄生巢的目標(biāo)函數(shù)值，臨近寄生巢替代原位置的寄生巢；反之，保留原位置的寄生巢； V1-2、布谷鳥所選寄生巢的宿主鳥發(fā)現(xiàn)外來(lái)鳥蛋并另建一個(gè)新巢的概率為Pa，Pa值域?yàn)閇0，1]，即以概率匕隨機(jī)新建M*Paf寄生巢COik和bik，并隨機(jī)替代步驟V1-1所得的除當(dāng)前代最優(yōu)寄生巢以外的其它M-1個(gè)寄生巢中的M*Paf ; 將步驟V1-2處理所得的M-1個(gè)寄生巢和步驟V1-1保留的最優(yōu)寄生巢一起作為下一代的寄生巢，按照步驟III?V求布谷鳥算法的下一代目標(biāo)函數(shù)結(jié) 步驟VI1、建立最佳波形疊加極限學(xué)習(xí)機(jī)分類模型 按照步驟III?VI重復(fù)迭代，每一代求得目標(biāo)函數(shù)的分類準(zhǔn)確度max ，多次迭代后，當(dāng)目標(biāo)函數(shù)值達(dá)到100%，停止迭代，以此時(shí)的寄生巢為最優(yōu)的寄生巢ω'ik;若目標(biāo)函數(shù)值未達(dá)到100%，繼續(xù)重復(fù)步驟III?VI，當(dāng)達(dá)到最大迭代次數(shù)^后，結(jié)束迭代，以此時(shí)滿足目標(biāo)函數(shù)值max}；l令I(lǐng)最大的寄生巢為最優(yōu)的寄生巢ω'ik； 將最優(yōu)寄生巢的ω'ik帶入f(x)中，構(gòu)建最佳波形疊加極限學(xué)習(xí)機(jī)分類模型， 此分類模型即可用于對(duì)于未知樣本進(jìn)行分類。
2.根據(jù)權(quán)利要求1所述的基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法，其特征在于: 所述步驟II中，進(jìn)行二分類時(shí)輸出標(biāo)簽值設(shè)置為-1和+1，進(jìn)行三分類時(shí)輸出標(biāo)簽值設(shè)置為0、1和2。
3.根據(jù)權(quán)利要求1所述的基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法，其特征在于: 所述步驟II中，隱層結(jié)點(diǎn)的數(shù)目分的值域?yàn)閇1，100]。
4.根據(jù)權(quán)利要求1所述的基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法，其特征在于: 所述步驟IV中設(shè)置最大迭代次數(shù)Mn= 100。
5.根據(jù)權(quán)利要求1所述的基于波形疊加布谷鳥優(yōu)化的極限學(xué)習(xí)機(jī)分類方法，其特征在于: 所述步驟IV中 選取頻率 得極限學(xué)習(xí)機(jī)分類方法的激勵(lì)函數(shù)為
【文檔編號(hào)】G06F17/30GK104166691SQ201410365700
【公開(kāi)日】2014年11月26日 申請(qǐng)日期:2014年7月29日 優(yōu)先權(quán)日:2014年7月29日
【發(fā)明者】劉振丙, 蔣淑潔, 楊輝華, 張學(xué)博, 何其佳 申請(qǐng)人:桂林電子科技大學(xué)