基于計算機輸入下的稀疏自編碼的脫機手寫體識別方法
【專利說明】基于計算機輸入下的稀疏自編碼的脫機手寫體識別方法
[0001] 本發(fā)明涉及模式識別、光學(xué)字符識別技術(shù)、深度學(xué)習(xí)領(lǐng)域，特別是涉及一種計算機 輸入下的稀疏自編碼的脫機手寫體識別方法。
【背景技術(shù)】
[0002] 手寫體字符識別是光學(xué)字符識別技術(shù)（OpticalCharacterRecognition，簡稱 OCR)的一個分支，它研宄的對象是：如何使計算機自動辨認(rèn)人手寫在紙張上的字符。在整 個OCR領(lǐng)域中，最為困難的就是脫機手寫字符的識別。
[0003] 數(shù)字識別就是通過計算機用數(shù)學(xué)技術(shù)方法來研宄模式的自動處理和識別。隨著計 算機技術(shù)的發(fā)展，人類對模式識別技術(shù)提出了更高的要求。特別是對于大量己有的印刷資 料和手稿，計算機自動識別輸入己成為必須研宄的課題，字符識別是智能計算機接口的一 個重要組成部分，所以在文獻檢索、辦公自動化、郵政系統(tǒng)、銀行票據(jù)處理等方面有著廣闊 的應(yīng)用前景。
[0004] 本申請?zhí)岢鲆环N基于計算機輸入下的稀疏自編碼的脫機手寫體識別方法，能夠提 高數(shù)據(jù)集的泛化能力以及手寫體識別率。

【發(fā)明內(nèi)容】

[0005] 有鑒于此，本申請?zhí)峁┮环N基于計算機輸入下的稀疏自編碼的脫機手寫體識別方 法，識別算法一方面訓(xùn)練過程均是采用無監(jiān)督的特征學(xué)習(xí)，對數(shù)據(jù)集的泛化能力較好；另一 方面，沒采用傳統(tǒng)視覺特征，對圖像識別的干擾小，識別率較高。
[0006] 為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：
[0007] -種基于計算機輸入下的稀疏自編碼的脫機手寫體識別方法，其特征在于包括以 下步驟：步驟一：選取手寫體庫，并將圖像訓(xùn)練集和測試集兩個子數(shù)據(jù)集；步驟二：采用稀 疏自編碼來構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，并獲得學(xué)習(xí)到的特征；步驟三：使用ZCA白化對訓(xùn)練集樣本 數(shù)據(jù)進行預(yù)處理和可視化，得到含有豐富邊緣的特征，到此得到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)；步 驟四，將每張圖像分成小塊，取其中一個小塊學(xué)習(xí)到特征，依次與剩下的小塊進行卷積運算 并提取訓(xùn)練集圖像的各個特征；步驟五，采用PSO算法快速得到多分類支持向量機參數(shù)；步 驟六，將測試集數(shù)據(jù)輸入到多分類支持向量機中，得到分類結(jié)果，即得到該測試集手寫體的 識別率。
[0008] 進一步，在步驟二中具體包括以下步驟：21 :假設(shè)神經(jīng)元激活函數(shù)為f (z)，用 表示神經(jīng)網(wǎng)絡(luò)中第1層中第i個神經(jīng)元的輸出值of = 激活函數(shù)一般采用Sigmoid 函數(shù)；22 :在自編碼神經(jīng)網(wǎng)絡(luò)中，仍然采用BP算法并讓訓(xùn)練集輸入樣本與輸出結(jié)果目標(biāo)相 等，即y1= xi '則訓(xùn)練集樣本集表示為{x1，X2,. . .，X1，. . .，xm}，1彡i彡m(m為訓(xùn)練集樣本 數(shù)量）；23 :用表示第i組樣本輸入 >倩況下隱藏層第j個神經(jīng)元的輸出值，則隱 藏層（1 = 2)中第j個神經(jīng)元的平均激活值為
【主權(quán)項】
1. 基于計算機輸入下的稀疏自編碼的脫機手寫體識別方法，其特征在于，該方法包括 以下步驟： 步驟一：選取手寫體圖像庫，并將圖像訓(xùn)練集和測試集兩個子數(shù)據(jù)集； 步驟二：采用稀疏自編碼來構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，并獲得學(xué)習(xí)到的特征； 步驟三：使用ZCA白化對訓(xùn)練集樣本數(shù)據(jù)進行預(yù)處理和可視化，得到含有豐富邊緣的 特征，得到訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)； 步驟四，將每張大圖像分割成小塊學(xué)習(xí)特征，并用前面學(xué)習(xí)到的特征參數(shù)對剩下的小 塊依次進行卷積運算并提取訓(xùn)練集圖像的各個特征； 步驟五，采用PSO算法快速得到多分類支持向量機參數(shù)； 步驟六，將測試集數(shù)據(jù)輸入到多分類支持向量機中，得到識別結(jié)果，并得到該測試集手 寫體識別的正確率。
2. 如權(quán)利要求書1所述的手寫體識別方法，其特征在于：在步驟二中具體包括：21 : 假設(shè)神經(jīng)元激活函數(shù)為f(z)，用表示神經(jīng)網(wǎng)絡(luò)中第1層中第i個神經(jīng)元的輸出值 of = f(zf〕，激活函數(shù)一般采用sigmoid函數(shù)；22 :在自編碼神經(jīng)網(wǎng)絡(luò)中，仍然采用BP 算法并讓訓(xùn)練集輸入樣本與輸出結(jié)果目標(biāo)相等，即yi= X 1，則訓(xùn)練集樣本集表示為lx1， X2，. . .，Ρ，. · .，xm}，1彡i彡m(m為訓(xùn)練集樣本數(shù)量）；23 :用表示第i組樣本輸入Xi 情況下隱藏層第j個神經(jīng)元的輸出值，則隱藏層（1 = 2)中第j個神經(jīng)元的平均激活值為： P； = 士ΣΓ=?ι〇52)(Λ：'然后為該神經(jīng)網(wǎng)絡(luò)加入上述的稀疏性限制，也即讓p' j= p，p為稀 疏性參數(shù)，通常是一個很小的真分?jǐn)?shù)，也就是說要使第j個隱藏神經(jīng)元的平均激活值接近 于P ;24:為了實現(xiàn)稀疏性限制，特定義代價目標(biāo)函數(shù)為：J(xv，b)=mi+ 最后一部分是懲罰項，該項是懲罰那些V #Pp顯著不同的情況以實現(xiàn)對該神經(jīng)網(wǎng)絡(luò)的稀 疏性限制，KL(p'」|p)是P' ^與P間的相對熵，相對熵是一種常用的測量兩個分布間差 異的方法；25 :確定W和b的迭代規(guī)則，待迭代算法收斂或達(dá)到最大迭代次數(shù)，隱藏單元就 獲得學(xué)習(xí)好的特征，即訓(xùn)練好了稀疏自編碼深度神經(jīng)網(wǎng)絡(luò)的權(quán)值向量W和偏置向量b。
3. 如權(quán)利要求書1所述的手寫體識別方法，其特征在于，在步驟三中具體包括：31 :ZCA 白化在本文中主要是兩個應(yīng)用：對訓(xùn)練集樣本數(shù)據(jù)進行預(yù)處理和可視化學(xué)習(xí)到的特征。通 過調(diào)節(jié)ZCA白化數(shù)學(xué)公式中白化參數(shù)ζ，從而改變數(shù)據(jù)的預(yù)處理，直到得到較好的特征為 止，較好的特征圖像中含有豐富的邊緣信息等。
4. 如權(quán)利要求書1所述的手寫體識別方法，其特征在于，在步驟四中具體包括：41 :先 從大圖像（DiniagJDiniage)中取一個大小為Dpatc;h*D patc;h的小塊學(xué)習(xí)特征，這可以用稀疏自編碼 神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成；42 :然后用前面學(xué)習(xí)到的特征參數(shù)依次對剩下的小塊訓(xùn)練圖像進行卷 積運算提取訓(xùn)練圖像的各個特征，卷積運算步長為1。
5. 如權(quán)利要求書1所述的手寫體識別方法，其特征在于，在述步驟五中包括：51 :采用 PSO算法可以精確并快速的得出多分類SVM參數(shù)c和γ的最優(yōu)解。
6. 如權(quán)利要求書1所述的手寫體識別方法，其特征在于，在步驟六中包括：61 :將步驟 Sl中的測試集，輸入訓(xùn)練好的多分類SVM中得到分類標(biāo)簽；62 :若多分類SVM輸出標(biāo)簽與測 試樣本一致，表明識別結(jié)果正確，反之，則識別結(jié)果錯誤；63 :統(tǒng)計整個測試集中識別正確 樣本數(shù)量除以樣本總數(shù)，得到針對該測試集手寫體識別的正確率。
【專利摘要】本發(fā)明屬于模式識別領(lǐng)域，公開了一種基于計算機輸入下的稀疏自編碼的手寫體識別方法，該方法包括：選取手寫體圖像庫，并分為訓(xùn)練集和測試集兩個子數(shù)據(jù)集；采用稀疏自編碼來構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，并獲得特征；使用ZCA白化數(shù)據(jù)進行預(yù)處理和可視化得到更好的特征，到此訓(xùn)練好稀疏自編碼深度神經(jīng)網(wǎng)絡(luò)；將每張圖像分成小塊，取其中一個小塊學(xué)習(xí)到特征，依次與剩下的小塊進行卷積運算并提取訓(xùn)練集圖像的各個特征；采用PSO算法快速得到多分類支持向量機參數(shù)；將測試集數(shù)據(jù)輸入到多分類支持向量機中，得到分類結(jié)果，并得到該測試集識別的正確率。本發(fā)明的手寫體識別方法，對數(shù)據(jù)的泛化能力比較好，并且手寫體識別率較高。
【IPC分類】G06N3-08, G06K9-62
【公開號】CN104834941
【申請?zhí)枴緾N201510255508
【發(fā)明人】張可, 柴毅, 袁媛, 邱煥敏, 王一鳴
【申請人】重慶大學(xué)
【公開日】2015年8月12日
【申請日】2015年5月19日