一種基于改進型極限學(xué)習(xí)機的手寫數(shù)字識別方法
【專利摘要】本發(fā)明涉及一種基于改進型極限學(xué)習(xí)機的手寫數(shù)字識別方法，包括以下步驟：對訓(xùn)練樣本的手寫數(shù)字圖像進行預(yù)處理；對預(yù)處理后的手寫數(shù)字圖像進行逐像素特征提取，以獲得訓(xùn)練樣本和測試樣本；對輸入樣本進行主成分分析；極限學(xué)習(xí)機引入了非線性修正的ELM算法對手寫數(shù)字進行識別。本發(fā)明能夠提高手寫數(shù)字識別的準確率。
【專利說明】
一種基于改進型極限學(xué)習(xí)機的手寫數(shù)字識別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及手寫數(shù)字識別技術(shù)領(lǐng)域，特別是涉及一種基于改進型極限學(xué)習(xí)機的手 寫數(shù)字識別方法。
【背景技術(shù)】
[0002] 極限學(xué)習(xí)機(Extreme Learning Machine,ELM)算法是基于單隱層前饋神經(jīng)網(wǎng)絡(luò) 的基礎(chǔ)上提出來的。單隱層前饋神經(jīng)網(wǎng)絡(luò)是一類特殊的前向神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)只包含 一個隱藏層。由于單隱藏層前向神經(jīng)網(wǎng)絡(luò)可以精確逼近任意非線性連續(xù)函數(shù)，因此單隱藏 層前向神經(jīng)網(wǎng)絡(luò)無論是在理論分析方面，還是在工程應(yīng)用方面都十分普遍。但與之類似的 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)普遍采用基于梯度下降算法來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，該方法需要多次迭代尋找最優(yōu) 值，故不可避免的存在收斂速度慢、易陷入局部極小值等缺點。為了解決這一問題，黃廣斌 教授在2004年提出了一種新型的SLFN算法一一極限學(xué)習(xí)機。
[0003] 與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，ELM算法具有如下優(yōu)點：1)ELM算法的結(jié)構(gòu)簡單，網(wǎng)絡(luò)中的 輸入權(quán)值和隱藏層偏置是隨機生成;2)ELM算法是通過最小二乘法求解輸出權(quán)值，故只需一 次矩陣運算就能確定輸出權(quán)值。由于ELM算法的學(xué)習(xí)速度快、學(xué)習(xí)精度高和泛化性能好，目 前正受到國內(nèi)研究學(xué)者的廣泛關(guān)注與研究，其理論越來越成熟且改進算法也層出不窮。
[0004] 然而該方法并沒有解決由激活函數(shù)過飽和而導(dǎo)致收斂速度變慢和梯度彌散導(dǎo)致 的不收斂等問題。在傳統(tǒng)的ELM算中普遍采用的激活函數(shù)是S i gmo i d函數(shù)和正切(Tanh)函 數(shù)，上述函數(shù)雖然有效避免了由線性映射而使神經(jīng)網(wǎng)絡(luò)表達能力不足的問題，但使用該類 激活函數(shù)由于過飽和現(xiàn)象而導(dǎo)致的收斂速度變慢、學(xué)習(xí)精度降低等問題沒有得到有效解 決，尤其是Tanh函數(shù)存在負數(shù)值會使得網(wǎng)絡(luò)的應(yīng)用效果變得很差。
[0005] 如何進一步優(yōu)化ELM算法，普遍采用的是從隱藏層結(jié)點數(shù)、輸入權(quán)值和隱藏層偏 置、ELM算法的結(jié)構(gòu)等方面來著手進行改進的，但很少有人從激活函數(shù)方面來優(yōu)化ELM算法 解決其過飽和問題，而激活函數(shù)恰恰是神經(jīng)網(wǎng)絡(luò)中最為重要的部分之一。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明所要解決的技術(shù)問題是提供一種基于改進型極限學(xué)習(xí)機的手寫數(shù)字識別 方法，能夠提高手寫數(shù)字識別的準確率。
[0007] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:提供一種基于改進型極限學(xué)習(xí)機的 手寫數(shù)字識別方法，包括以下步驟：
[0008] (1)對訓(xùn)練樣本的手寫數(shù)字圖像進行預(yù)處理；
[0009] (2)對預(yù)處理后的手寫數(shù)字圖像進行逐像素特征提取，以獲得訓(xùn)練樣本和測試樣 本；
[0010] (3)對輸入樣本進行主成分分析；
[0011] (4)極限學(xué)習(xí)機引入了非線性修正的ELM算法對手寫數(shù)字進行識別。
[0012] 所述步驟(1)包括以下子步驟：
[0013] (11)對手寫數(shù)字圖像進行二值化處理；
[0014] (12)對二值化處理后的圖像進行空白切割；
[0015] (13)采用歸一化操作來統(tǒng)一數(shù)字圖像的尺寸。
[0016] 所述步驟(2)具體為:對預(yù)處理后的手寫數(shù)字圖像進行逐行逐列地掃描，當(dāng)遇到黑 色像素時其特征值記為1，當(dāng)遇到白色像素時其特征值記為〇,形成相同特征向量矩陣組成 特征向量集，并將得到的特征向量集分成兩份，一份為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本，另一份為測試 樣本。
[0017] 所述步驟(3)包括以下子步驟：
[0018] (31)計算樣本的均值向量，并利用均值向量將所有樣本中心化；
[0019] (32)計算樣本的協(xié)方差矩陣，并對其特征值進行分解，并將特征向量按其對應(yīng)的 特征值由大到小降序排列；
[0020] (33)取特征值排在前85%的樣本作為訓(xùn)練或測試所需樣本。
[0021]所述步驟(4)中非線性修正的ELM算法為在原有的ELM算法中引入ReNLUs激活函數(shù)
得到，其中，非線性修正的ELM算法的激活函數(shù)為 ，a為控制 參數(shù)，取值范圍為0.7-0.8。
[0022]有益效果
[0023]由于采用了上述的技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有以下的優(yōu)點和積極效 果:本發(fā)明使得手寫數(shù)字樣本的采集更加方便有效;采用主成分分析實現(xiàn)去冗余、降維可以 使ELM算法的運行效率更高、網(wǎng)絡(luò)更穩(wěn)定;改進的ELM算法學(xué)習(xí)速度更快、手寫數(shù)字識別率更 尚。
【附圖說明】
[0024]圖1是各類激活函數(shù)曲線圖；
[0025]圖2是改進的非線性修正函數(shù)曲線圖；
[0026]圖3是手寫數(shù)字識別精度曲線圖。
【具體實施方式】
[0027] 下面結(jié)合具體實施例，進一步闡述本發(fā)明。應(yīng)理解，這些實施例僅用于說明本發(fā)明 而不用于限制本發(fā)明的范圍。此外應(yīng)理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領(lǐng)域技術(shù)人 員可以對本發(fā)明作各種改動或修改，這些等價形式同樣落于本申請所附權(quán)利要求書所限定 的范圍。
[0028] 本發(fā)明的實施方式涉及一種基于改進型極限學(xué)習(xí)機的手寫數(shù)字識別方法，包括以 下步驟:對訓(xùn)練樣本的手寫數(shù)字圖像進行預(yù)處理;對預(yù)處理后的手寫數(shù)字圖像進行逐像素 特征提取，以獲得訓(xùn)練樣本和測試樣本;對輸入樣本進行主成分分析;極限學(xué)習(xí)機引入了非 線性修正的ELM算法對手寫數(shù)字進行識別。
[0029]為了驗證本發(fā)明的有效性，通過對幾種常用激活函數(shù)和改進的激活函數(shù)下的ELM 算法進行了對比。常用的激活函數(shù)有：正切函數(shù)（T a n h)、S i g m 〇 i d函數(shù)、線性修正單元 (ReLUs)、Softplus函數(shù)，上述函數(shù)曲線圖如圖2所示，可知Tanh函數(shù)和Sigmoid函數(shù)其函數(shù) 值在兩端臨界值附近時處于飽和狀態(tài);線性修正單元(ReLUs)、S〇ftplus函數(shù)則不會存在類 似情況。為對基于改進型極限學(xué)習(xí)機算法進行驗證，分別將上述激活函數(shù)和非線性修正的 ELM算法結(jié)果進行對比，在隱藏層結(jié)點相同的情況下分別測量50次，得到訓(xùn)練和測試精度、 訓(xùn)練和測試時間、訓(xùn)練和測試精度標準差結(jié)果取平均值進行比較。
[0030] 本實施例的具體步驟如下：
[0031] 手寫數(shù)字圖像進行預(yù)處理
[0032] 在進行手寫特征提取之前要進行預(yù)處理，適當(dāng)?shù)念A(yù)處理將有助于特征值的提取， 降低算法的復(fù)雜程度、加快識別速度。而一個好的特征提取方法則可以減少不必要的預(yù)處 理步驟，降低整個識別過程所花費的時間，故預(yù)處理和特征提取是相互影響、相輔相成的。 具體有如下幾個步驟:圖像二值化、空白切割和歸一化調(diào)整。
[0033] (1)圖像二值化
[0034] MNIST數(shù)據(jù)庫的手寫數(shù)字對圖像二值化，即手寫數(shù)字樣本均為256級的灰度圖像， 圖像中的每一個像素都對應(yīng)有一個灰度值，其范圍為0-255之間。二值化就是根據(jù)圖像中像 素灰度值將其處理為黑白兩種顏色，采用給定的閾值(150)將圖像分為黑白兩種顏色，超過 閾值的像素置1(白色），否則為〇(黑色）。
[0035] (2)空白切割
[0036] MNIST數(shù)據(jù)庫的手寫數(shù)字樣本是28*28像素大小的數(shù)字圖像，但是真正的數(shù)字大小 為20*20像素，其它的均為空白部分。空白切割主要有兩個步驟：1)找出一個字符的起點；2) 由該起點，依所需方向?qū)ふ业阶址K點。其目的是為了盡可能減少無效特征地干擾。
[0037] (3)歸一化
[0038] 在空白切割后會有字符圖像大小不一的情況。因此，有必要采取歸一化操作來統(tǒng) 一數(shù)字圖像的大小。假設(shè)一個長度為X像素，寬度為Y像素的二值化手寫數(shù)字圖像用坐標函 數(shù)f(x，y)表示，x = l，2,…，X;y=l，2，-_，Y，再令一個長度為Μ像素、寬度為N像素的歸一化 數(shù)字圖像以坐標g(m，n)表示，m=l，2,…，Μ;η=1，2，···，Ν;歸一化原理中，原先的數(shù)字圖像 坐標(x，y)與歸一化坐標(m，n)的轉(zhuǎn)換關(guān)系為公式（1)(不考慮旋轉(zhuǎn)及尺寸大小的相關(guān)系 數(shù))：
[0040] 該步驟主要目的是為了提取好的手寫數(shù)字特征減少不必要的外界干擾(噪聲、非 數(shù)字部分等）。
[0041] 手寫數(shù)字特征提取
[0042]特征提取就是從一系列預(yù)處理后的字符圖像中提取最能體現(xiàn)這個字符特點的特 征向量。采用逐像素特征提取法，對圖像進行逐行逐列地掃描，當(dāng)遇到黑色像素時其特征為 1，當(dāng)遇到白色像素時其特征值為0,這樣就可以形成相同特征向量矩陣組成特征向量集。 [00 43]輸入樣本進行主成分分析
[0044]對于d維空間的中的η個樣本11，12，一，&可以看成是一個11維隨機變量，其矩陣形 式為Χ= [XI，Χ2，…，xn]，對所有的X取平均值得：
[0046]其中，η表示樣本的總個數(shù)，u表示樣本均值。那么就可以用下式來定義樣本集X對 應(yīng)的協(xié)方差矩陣Si:
[0048] 設(shè)Si的秩為k，Ai，λ2，…是矩陣Si的特征值，且λι^：λ2^：，…，為對應(yīng)的特 征向量，貝1與Wi滿足
[0049] SiWi = AiWi,i = 1,2,··· ,k (4)
[0050] 令W= [wi ,W2,…，wk]，在主成分分析中可以將特征向量wi稱為這組向量的主成分 (Principal component)，W為這組樣本的主成分矩陣。
[0051] 對于一個η維隨機變量X，經(jīng)過下式變換：
[0052] y=ffTx (5)
[0053] 這樣就將原本為η維向量空間的輸入數(shù)據(jù)投影到了k維輸出空間，其中k<<n。也 就是說，PCA可以將大量的相關(guān)輸入數(shù)據(jù)轉(zhuǎn)化成一系列的統(tǒng)計去相關(guān)分量或特征，其按照方 差遞減來排序，取特征值排在前85 %的樣本作為訓(xùn)練和測試樣本。
[0054] 非線性修正的ELM算法
[0055]為解決激活函數(shù)過飽和問題，在原有的ELM算法中引入非線性修正的函數(shù)，該函數(shù) 具有ReLUs函數(shù)的稀疏表達能力和Softplus函數(shù)光滑和不飽和特性。綜合這兩個函數(shù)的優(yōu) 點得到了非線性修正的ELM網(wǎng)絡(luò)模型，該模型的收斂速度和泛化性能提到了了明顯的體現(xiàn)。 [0056] 具體實現(xiàn)如下：
[0057] 1. ELM 算法
[0058] 任意給定N個不同樣本{(Xi，ti)，i = l，…，N}，其中Xi為輸入值，ti為輸出值，它們 的維數(shù)分別為:Xi= (Xil，Xi2,…，XiN)TeRn，ti = (til，ti2,…，tim)TeRm,具有L個隱藏層結(jié)點 的單隱藏層前向神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型為：
[0060]其中(^=((^1，€42，~，€^)1'和1^分別是第1個隱藏層結(jié)點的輸入權(quán)值和閾值，隊= (&1，&2，一，^)是連接第：[個隱藏層結(jié)點到輸出層的輸出權(quán)值必^)=6(€4，13^」)表示關(guān) 于輸出Xj的第i個隱藏層結(jié)點輸出。
[0061 ]假設(shè)網(wǎng)絡(luò)的實際輸出等于期望輸出，則有
[0063] 上述N個等式可以寫成如下矩陣形式
[0064] Ηβ = Τ (8)
[0065] 其中
[0068] Η為隱藏層輸出矩陣，其第i行表示第i個輸入^關(guān)于隱藏層的全體輸出，第j列表 示全體輸入XI，X2，…XN關(guān)于第j個隱藏層結(jié)點的輸出。
[0069] 在ELM算法中，輸入權(quán)重α和閾值b服從某種連續(xù)概率分布隨機選取，這樣公式(8) 即可看作以β為變量的一個線性系統(tǒng)。求解該線性系統(tǒng)，即尋找最小輸出權(quán)值使//Ηβ-Τ// 達到最小。ELM算法米用最小二乘法計算爹,其解可以表不為
[0070] β = H fT (11)
[0071] 為了防止過擬合，使其具有更好的泛化性能，在原有的ELM算法基礎(chǔ)上引入了正則 項，其表達式為
[0074]其中，ε為測試所得的輸出值與真實值之間的誤差，而γ即為調(diào)節(jié)兩者權(quán)值的比例 參數(shù)，ε與邱勺平方和分別代表經(jīng)驗風(fēng)險與結(jié)構(gòu)風(fēng)險。
[0075]通過Lagrange方程將公式（12)轉(zhuǎn)化為極值問題來求解最終的輸出權(quán)，其中用γ來 調(diào)節(jié)經(jīng)驗風(fēng)險與結(jié)構(gòu)風(fēng)險的比例，公式（12)的Lagrange表達式為
[0077]上式中λ是Lagrange乘數(shù)，且都是非負數(shù)。求Lagrange方程的梯度并令其為0:
[0079]另外有如下兩種情況求解輸出權(quán)值：1)如果訓(xùn)練樣本數(shù)大于隱藏層結(jié)點數(shù)L，則有 1)如果訓(xùn)練樣本數(shù)大于隱藏層結(jié)點數(shù)L，則有
[0081] 2)如果訓(xùn)練樣本數(shù)小于隱藏層結(jié)點數(shù)L，則有
[0083] 2.激活函數(shù)的改進
[0084] 2.1 ReLUs 函數(shù)
[0085] ReLUs激活函數(shù)的表達式如公式（17)，該函數(shù)的特點為自變量小于零的函數(shù)值為 零，大于零的部分則保持不變。這種通過強制某些數(shù)據(jù)置〇的方法，使得訓(xùn)練后的網(wǎng)絡(luò)具有 一定的稀疏性。ReLUs函數(shù)與傳統(tǒng)的Sigmoid函數(shù)相比，其形式簡單不會出現(xiàn)過飽和問題，也 沒有用到冪指數(shù)運算和除法運算等復(fù)雜的運算，因此使用ReLUs函數(shù)的神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí) 速度更快、泛化性能更好等特點。
[0086] g(x) =max(0,x) (17)
[0087] 雖然ReLUs函數(shù)具有上述的諸多優(yōu)點，但它只是單純的將大于0的部分保留了下 來，該方法強制迫使大多數(shù)隱藏單元置零，從而達到稀疏的能力，由于利用的是線性映射， 減小了網(wǎng)絡(luò)的表達能力。研究表明，非線性映射更加接近生物學(xué)中的激活模型，同時模型的 表達能力會得到顯著增強。因此，與ReLUs相似的非線性Softplus函數(shù)被提了出來。
[0088] 2.2 Softplus函數(shù)
[0089] Softplus函數(shù)是對全部數(shù)據(jù)進行了非線性映射，是一種不飽和的非線性函數(shù)其表 達式如公式（18)，SoftpluS函數(shù)是ReLUs函數(shù)的近似光滑表示如圖1(左)所示，該函數(shù)更加 符合神經(jīng)元的激活特性。
[0090] g(x)=log(l+exp(x)) (18)
[0091 ] Softplus函數(shù)不具備稀疏表達的能力，收斂速度比ReLUs函數(shù)要慢很多。但該函數(shù) 連續(xù)可微并且變化平緩，比Sigmoid函數(shù)更加接近生物學(xué)的激活特性，同時解決了 Sigmoid 函數(shù)的假飽和現(xiàn)象，易于網(wǎng)絡(luò)訓(xùn)練和泛化性能的提高。雖然該函數(shù)的表達性能更優(yōu)于ReLUs 函數(shù)和Sigmoid函數(shù)，即精確度相對于后者有所提高，但是其并沒有加速神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速 度。
[0092] 2.3非線性修正的激活函數(shù)
[0093]由于ReLUs函數(shù)具有稀疏表達的能力，而Softplus函數(shù)具有光滑非線性和不飽和 的特點。因此本實施例綜合ReLUs和Softplus各自的優(yōu)點，即前者的稀疏性和后者的光滑非 線性特性結(jié)合起來，其函數(shù)曲線如圖2(左)所示，可以發(fā)現(xiàn)ReNLUs函數(shù)兼具ReLUs稀疏特性 和Softplus函數(shù)的非線性、光滑和不飽和特性。
[0094]在ELM算法中使用了一種非線性修正的激活函數(shù)來代替?zhèn)鹘y(tǒng)的激活函數(shù)，從而達 到優(yōu)化ELM神經(jīng)網(wǎng)絡(luò)的目的。為了進一步提升激活函數(shù)對模型的可控性，本實施例在原有的 Softplus函數(shù)前加了一個控制參數(shù)a，可以通過控制參數(shù)a來調(diào)節(jié)網(wǎng)絡(luò)的收斂速度和學(xué)習(xí)精 度(取a = 0.7-0.8)，其函數(shù)曲線圖如圖2(右)所示。
[0095] ReNLUs函數(shù)能夠在原有ELM算法的基礎(chǔ)上更進一步的優(yōu)化神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)精度和 收斂速度，提高神經(jīng)網(wǎng)絡(luò)的泛化性能。非線性修正的激活函數(shù)在大于零的部分連續(xù)光滑，激 活函數(shù)逐漸增大，導(dǎo)數(shù)呈現(xiàn)出遞增的趨勢。因此，非線性修正的激活函數(shù)可以使網(wǎng)絡(luò)模型更 容易收斂，本文提出的非線性修正激活函數(shù)表達式為：
[0097] 在手寫數(shù)字的數(shù)據(jù)庫上進行了測試，取隱藏層結(jié)點數(shù)為50,分別對比了Tanh、 Sigmoid、ReLUs、Softplus和ReNLUs激活函數(shù)下的ELM的數(shù)字識別結(jié)果，實驗結(jié)果如表1。
[0098] 為了更加直觀、高效的體現(xiàn)改進型極限學(xué)習(xí)機在手寫數(shù)字效果上的優(yōu)越性，分別 選取了在不同隱藏層結(jié)點數(shù)的情況下，測量50次后取平均值，得到不同隱藏層結(jié)點的平均 訓(xùn)練精度圖（圖3左)和平均測試精度圖（圖3右）。圖3表明隨著隱藏層結(jié)點數(shù)的增加，其平均 訓(xùn)練精度和測試精度呈逐漸遞增的趨勢，基于改進型極限學(xué)習(xí)機的手寫數(shù)字識別率是最高 的。
[0099]表1各激活函數(shù)下ELM的性能指標
[0101]對比表1的各項數(shù)據(jù)不難發(fā)現(xiàn)，非線性修正的ELM算法在手寫數(shù)字識別中其訓(xùn)練精 度、測試精度的結(jié)果要優(yōu)于其它激活函數(shù)下的ELM結(jié)果，相對于傳統(tǒng)的激活函數(shù)其訓(xùn)練和測 試精度提升了 1.5-2% ;對于訓(xùn)練時間和測試時間，很明顯ReLUs激活函數(shù)的ELM算法最佳 (訓(xùn)練時間ReNLUs與ReLUs差不多，測試時間雖比ReLUs長，但比其他還是要好的），比較激活 函數(shù)復(fù)雜程度也易得出此結(jié)論;最后比較一下訓(xùn)練精度和測試精度標準差，該指標主要來 說明由于輸入權(quán)值和隱藏層偏置隨機設(shè)置，對網(wǎng)絡(luò)學(xué)習(xí)精度的影響，其值越小說明網(wǎng)絡(luò)模 型越穩(wěn)定、泛化性能越好，比較發(fā)現(xiàn)使用ReNLUs激活函數(shù)的ELM最為穩(wěn)定。綜合表1的各項性 能指標可以得出一一基于改進型極限學(xué)習(xí)機的手寫數(shù)字識別效果最好。
【主權(quán)項】
1. 一種基于改進型極限學(xué)習(xí)機的手寫數(shù)字識別方法，其特征在于，包括W下步驟： (1) 對訓(xùn)練樣本的手寫數(shù)字圖像進行預(yù)處理； (2) 對預(yù)處理后的手寫數(shù)字圖像進行逐像素特征提取，W獲得訓(xùn)練樣本和測試樣本； (3) 對輸入樣本進行主成分分析； (4) 極限學(xué)習(xí)機引入了非線性修正的ELM算法對手寫數(shù)字進行識別。2. 根據(jù)權(quán)利要求1所述的基于改進型極限學(xué)習(xí)機的手寫數(shù)字識別方法，其特征在于，所 述步驟(1)包括W下子步驟： (11) 對手寫數(shù)字圖像進行二值化處理； (12) 對二值化處理后的圖像進行空白切割； (13) 采用歸一化操作來統(tǒng)一數(shù)字圖像的尺寸。3. 根據(jù)權(quán)利要求1所述的基于改進型極限學(xué)習(xí)機的手寫數(shù)字識別方法，其特征在于，所 述步驟(2)具體為:對預(yù)處理后的手寫數(shù)字圖像進行逐行逐列地掃描，當(dāng)遇到黑色像素時其 特征值記為1，當(dāng)遇到白色像素時其特征值記為0,形成相同特征向量矩陣組成特征向量集， 并將得到的特征向量集分成兩份，一份為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本，另一份為測試樣本。4. 根據(jù)權(quán)利要求1所述的基于改進型極限學(xué)習(xí)機的手寫數(shù)字識別方法，其特征在于，所 述步驟(3)包括W下子步驟： (31) 計算樣本的均值向量，并利用均值向量將所有樣本中屯、化； (32) 計算樣本的協(xié)方差矩陣，并對其特征值進行分解，并將特征向量按其對應(yīng)的特征 值由大到小降序排列； (33) 取特征值排在前85%的樣本作為訓(xùn)練或測試所需樣本。5. 根據(jù)權(quán)利要求1所述的基于改進型極限學(xué)習(xí)機的手寫數(shù)字識別方法，其特征在于，所 述步驟(4)中非線性修正的ELM算法為在原有的ELM算法中引入ReNLUs激活函數(shù)得到，其中， 非線性修正的ELM算法的激活函數(shù)呆婦控制參數(shù)，取值范 圍為 0.7-0.8。
【文檔編號】G06N3/04GK106096543SQ201610404547
【公開日】2016年11月9日
【申請日】2016年6月8日
【發(fā)明人】彭敬濤, 陳亮, 余敖, 李佳
【申請人】東華大學(xué)