前饋網(wǎng)絡的自適應動態(tài)協(xié)同粒子群優(yōu)化方法
【專利摘要】本發(fā)明揭示了一種前饋網(wǎng)絡的自適應動態(tài)協(xié)同粒子群優(yōu)化方法，包括：S1、對粒子進行初始化，初始化子種群；S2、記錄粒子個體極值pi，每個子種群極值pn，全局極值pg；S3、以每個子種群pn優(yōu)劣給子種群排序，并確定子種群的協(xié)同粒子個數(shù)；S4、子種群中的粒子向其自身極值pi和子種群極值pn學習；S5、隨機從其它子種群中的選取協(xié)同粒子，協(xié)同粒子向其自身極值pi和子種群極值pn學習，并根據(jù)粒子優(yōu)劣隨時更新協(xié)同學習粒子的自身極值和其所在子種群的社會極值；S6、根據(jù)S4、S5依次更新粒子信息后，隨機從較差子種群中選取少于兩個粒子，使其成為現(xiàn)在較優(yōu)子種群中的一員；S7、滿足所有停止條件，停止計算，否則轉(zhuǎn)入S2進行下一次迭代。本發(fā)明可提高網(wǎng)絡學習能力和識別能力。
【專利說明】前饋網(wǎng)絡的自適應動態(tài)協(xié)同粒子群優(yōu)化方法
【技術(shù)領域】
[0001]本發(fā)明屬于模式分類領域。本文設計出一種動態(tài)自適應的協(xié)同粒子群算法優(yōu)化前 饋網(wǎng)絡，在人臉識別、笑臉識別、性別識別等領域有很廣泛的應用。
【背景技術(shù)】
[0002]神經(jīng)網(wǎng)絡以其自學習、自組織、容錯特性以及模擬非線性關(guān)系的能力使其特別適 合解決模式分類問題。Hornik證明三層前饋神經(jīng)網(wǎng)絡能夠以任意精度模擬復雜的非線性關(guān) 系[參考文獻I]。神經(jīng)網(wǎng)絡上述性能的實現(xiàn)，依賴于在一個良好目標函數(shù)的指引下，對神經(jīng) 網(wǎng)絡結(jié)構(gòu)和權(quán)值的充分訓練，從而實現(xiàn)在有限的學習樣本集中獲得整個種群的規(guī)律[參考 文獻2]。神經(jīng)網(wǎng)絡結(jié)構(gòu)，目標函數(shù)和學習算法對網(wǎng)絡性能具有決定性作用。
[0003]為了提高神經(jīng)網(wǎng)絡的學習能力，研究者先后采用BP算法[參考文獻3]，遺傳算 法[參考文獻4]和粒子群算法[參考文獻5]優(yōu)化前饋網(wǎng)絡參數(shù)。但在實際應用中，算法 往往易于陷入局部極值或?qū)W習效率不高等問題，導致神經(jīng)網(wǎng)絡的泛化能力不足。1992年， Moody通過證明，對于已經(jīng)達到一定訓練精度的神經(jīng)網(wǎng)絡，其網(wǎng)絡的有效參數(shù)越少網(wǎng)絡的性 能越優(yōu)[參考文獻6]。從而為了更好的提高網(wǎng)絡的泛化能力，研究者在網(wǎng)絡結(jié)構(gòu)中加入連 接權(quán)的開關(guān)系數(shù)，同時優(yōu)化網(wǎng)絡的連接權(quán)值和開關(guān)系數(shù)，精簡網(wǎng)絡有效參數(shù)，從而進一步提 高網(wǎng)絡的泛化性能[參考文獻7，8]。同時，神經(jīng)網(wǎng)絡結(jié)構(gòu)復雜性對網(wǎng)絡的性能有很大的影 響[參考文獻2]:規(guī)模過小神經(jīng)網(wǎng)絡,處理固有復雜問題的能力不足[參考文獻9];規(guī)模 過大神經(jīng)網(wǎng)絡，雖然具有較好的學習精度[參考文獻10]，但容易陷入“過擬合”[參考文獻
9]，而且需要較大的存儲空間和計算時間[參考文獻10]。對于三層前饋網(wǎng)絡結(jié)構(gòu)優(yōu)化算法 比較著名是隱層神經(jīng)元增長型[參考文獻11]、刪減型[參考文獻12]和遺傳算法[參考文 獻13]。對于增長型或者刪減型的神經(jīng)網(wǎng)絡結(jié)構(gòu)優(yōu)化算法，受初始化網(wǎng)絡結(jié)構(gòu)的影響較大， 而且網(wǎng)絡結(jié)構(gòu)均朝一個方向進行尋優(yōu)，容易錯失最佳網(wǎng)絡結(jié)構(gòu)。同時，對于遺傳算法，當其 尋優(yōu)到最優(yōu)解附近時，收斂速度緩慢，容易陷入局部極值[參考文獻14]，而且遺傳算法的 運行時間和計算復雜度是隨問題規(guī)模呈指數(shù)增長的[參考文獻15]。同遺傳算法相比，粒子 群算法增加了記憶功能，算法實現(xiàn)更簡單，尋優(yōu)性能更穩(wěn)定，粒子群算法越來越多的應用在 傳統(tǒng)遺傳算法求解問題中。文獻[參考文獻16]成功實現(xiàn)了在基本粒子群算法優(yōu)化網(wǎng)絡權(quán) 值的同時，采用離散二進制粒子群算法優(yōu)化網(wǎng)絡結(jié)構(gòu)。但離散二進制粒子群算法是一種間 接的優(yōu)化策略，沒有能充分應用粒子群算法的尋優(yōu)性能[參考文獻17]。
[0004]同時上述算法均以訓練樣本均方誤差作為網(wǎng)絡的目標函數(shù)，本身就意味著:只要 擬合曲線經(jīng)過訓練樣本就可以了，導致算法有無窮多個相等的全局最小點(值為0)，但符 合網(wǎng)絡擬合曲線只有一條[參考文獻18]。算法采用這種目標函數(shù)，容易陷入局部極值，從 而導致網(wǎng)絡泛化能力不足。
[0005]有鑒于此，如今迫切需要設計一種新的優(yōu)化算法，以克服現(xiàn)有方法的上述缺陷。

【發(fā)明內(nèi)容】
[0006]本發(fā)明所要解決的技術(shù)問題是:提供一種前饋網(wǎng)絡的自適應動態(tài)協(xié)同粒子群優(yōu)化 方法，可提高網(wǎng)絡學習能力和識別能力。
[0007]為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案:
[0008]一種前饋網(wǎng)絡的自適應動態(tài)協(xié)同粒子群優(yōu)化方法，其特征在于，所述方法包括如 下步驟:
[0009]步驟S1、對粒子進行初始化，并由目標函數(shù)，初始化子種群；
[0010]步驟S2、記錄粒子個體極值Pi，每個子種群極值pn，全局極值Pg ；
[0011]步驟S3、以每個子種群Pn優(yōu)劣給子種群排序，并確定子種群的協(xié)同粒子個數(shù)；
[0012]步驟S4、子種群中的粒子向其自身極值Pi和子種群極值pn學習；
[0013]步驟S5、隨機從其它子種群中選取協(xié)同粒子，協(xié)同粒子向其自身極值Pi和子種群 極值Pn學習，并根據(jù)粒子優(yōu)劣隨時更新協(xié)同學習粒子的自身極值和其所在子種群的社會極 值；同時每一代，粒子更新之后，重新確定每個種群的社會極值，再根據(jù)子種群中社會極值 的優(yōu)劣，對其重新排列，之后根據(jù)Pn的優(yōu)劣把一部分子種群設為較優(yōu)子種群，另一部分設為 較差子種群；
[0014]步驟S6、根據(jù)步驟S4、步驟S5依次更新粒子信息之后，隨機從較差子種群并且其 子種群規(guī)模大于二的子種群中選取少于兩個粒子，使其成為現(xiàn)在較優(yōu)子種群中的一員；
[0015]步驟S7、滿足所有停止條件，停止計算，否則轉(zhuǎn)入步驟S2進行下一次迭代。
[0016]作為本發(fā)明的一種優(yōu)選方案，步驟SI中，隨機生成F個粒子，F(xiàn)為種群個數(shù)，每個 粒子代表優(yōu)化問題的一個可行解，再根據(jù)粒子適應值按降序排列；把排序后的粒子平均分 配到m個子種群中；其中，第I個粒子分入第I個子種群中，第2個粒子分入第2個子種群， 第m個粒子分入第m個子種群，第m+1個粒子分入第I個子種群，依次類推，直到將所有的 粒子平均分入到m個子種群；
[0017]再采用動態(tài)協(xié)同模型進行粒子飛行；假設下標為i的粒子為第j個子種群中成員； 采用子種群局部極值Pn作為粒子社會學習的對象；Pnj是第j個子種群內(nèi)所有粒子經(jīng)歷過 的最佳位置；這樣，可以得到:
[0018]X' = X(Pi+P"j)
[0019]式中j=(l，2，...，m)，X'表示粒子X向Pi和Pnj飛行后的下一個位置；第j個子 種群中的每個粒子在以Piy.為社會極值學習的同時，其它子種群中的部分粒子在Piy.的吸引 下，成為第j個子種群的協(xié)同粒子，以Pw.為社會經(jīng)驗學習，實現(xiàn)子種群間粒子信息的交流； 每個子種群的協(xié)同粒子個數(shù)以子種群總數(shù)m為基數(shù)依次遞減，S卩:第一子種群的協(xié)同粒子 個數(shù)為m，第二子種群的協(xié)同粒子個數(shù)為m-1，依次類推；
[0020]同時每一代，粒子更新之后，重新確定每個種群的社會極值，再根據(jù)子種群中社會 極值的優(yōu)劣，對其重新排列，之后根據(jù)Pn的優(yōu)劣把一半子種群設為較優(yōu)子種群，另一半設為 較差子種群；較差子種群中的非社會極值粒子會受到較優(yōu)子種群的吸引，而脫離該較差子 種群成為較優(yōu)子種群中的粒子；
[0021]為了保證種群能協(xié)同進化，每個子種群最少粒子個數(shù)不能小于2，當較差子種群的 粒子個數(shù)均為2時，粒子不脫離較差子種群；同時為了保證整個種群學習的穩(wěn)定性，每代脫 離較差子種群總數(shù)不能超過兩個粒子。
[0022]本發(fā)明的有益效果在于:本發(fā)明提出的前饋網(wǎng)絡的自適應動態(tài)協(xié)同粒子群優(yōu)化方法，可以提高網(wǎng)絡學習能力和識別能力。
[0023]神經(jīng)網(wǎng)絡的性能是由網(wǎng)絡結(jié)構(gòu)和權(quán)值共同確定的。本發(fā)明給出了一種動態(tài)協(xié)同粒 子群算法，兼顧PSO算法全局社會結(jié)構(gòu)收斂的快速性，并加強了局部社會搜索的開發(fā)性，實 現(xiàn)了神經(jīng)網(wǎng)絡結(jié)構(gòu)和權(quán)值同時優(yōu)化，同時對目標函數(shù)采用“動態(tài)正則化”，使網(wǎng)絡的尋優(yōu)能 力和泛化能力都有很大的提高。將該模型應用到UCI標準數(shù)據(jù)集進行仿真實驗，實驗結(jié)果 驗證了本文方法可以提高網(wǎng)絡的學習和泛化能力。
[0024]由于神經(jīng)網(wǎng)絡在學習過程中存在冗余節(jié)點，導致神經(jīng)網(wǎng)絡的學習效率低、網(wǎng)絡性 能差。本發(fā)明算法實現(xiàn)了在訓練神經(jīng)網(wǎng)絡權(quán)值的同時優(yōu)化網(wǎng)絡結(jié)構(gòu)，同時在保證網(wǎng)絡訓練 精度的情況下，實現(xiàn)網(wǎng)絡參數(shù)的最簡化。采用一種目標函數(shù)動態(tài)正則化的方法，使網(wǎng)絡訓練 和識別相統(tǒng)一，提高了網(wǎng)絡的泛化能力。為了提高算法的尋優(yōu)效率，提出自適應動態(tài)協(xié)同的 粒子尋優(yōu)模型，擴大了粒子的搜索范圍，有效避免粒子陷于局部極值的可能性，而且在保證 粒子全局尋優(yōu)性能的前提下，增強了算法局部搜索能力，加速了算法的收斂過程。網(wǎng)絡結(jié)構(gòu) 動態(tài)優(yōu)化有利于網(wǎng)絡結(jié)構(gòu)能夠根據(jù)問題規(guī)模動態(tài)調(diào)整網(wǎng)絡結(jié)構(gòu)，避免神經(jīng)網(wǎng)絡對初始網(wǎng)絡 結(jié)構(gòu)的依賴同時避免了網(wǎng)絡規(guī)模冗余或過小對神經(jīng)網(wǎng)絡性能的影響。通過仿真實驗有力的 證明了本發(fā)明方法可以提高網(wǎng)絡的學習和泛化能力。
【專利附圖】

【附圖說明】
[0025]圖1為粒子編碼網(wǎng)絡結(jié)構(gòu)示意圖。
[0026]圖2(a)為網(wǎng)絡結(jié)構(gòu)X的示意圖。
[0027]圖2(b)為網(wǎng)絡結(jié)構(gòu)Y的示意圖。
[0028]圖2(c)為網(wǎng)絡結(jié)構(gòu)R的示意圖。
[0029]圖2(d)為網(wǎng)絡結(jié)構(gòu)W的示意圖。
[0030]圖2(e)為網(wǎng)絡結(jié)構(gòu)P的示意圖。
[0031]圖3為前饋網(wǎng)絡的自適應動態(tài)協(xié)同粒子群優(yōu)化方法的流程圖。
【具體實施方式】
[0032]下面結(jié)合附圖詳細說明本發(fā)明的優(yōu)選實施例。
[0033]實施例一
[0034]本發(fā)明為了提高網(wǎng)絡學習能力和識別能力，從網(wǎng)絡結(jié)構(gòu)、目標函數(shù)和網(wǎng)絡尋優(yōu)算 法出發(fā)，設計出一種能夠?qū)崿F(xiàn)網(wǎng)絡學習和識別相統(tǒng)一的目標函數(shù)，以其為“指揮棒”采用一 種改進的粒子群算法實現(xiàn)網(wǎng)絡結(jié)構(gòu)和權(quán)值同時優(yōu)化，使網(wǎng)絡能夠快速從學習樣本中，總結(jié) 所有樣本的內(nèi)部規(guī)律，從而促使網(wǎng)絡學習能力和識別能力均提高。
[0035]I前饋網(wǎng)絡的粒子群算法優(yōu)化
[0036]1.1基本PSO算法
[0037]粒子群算法是粒子向自身經(jīng)驗Pi和群體經(jīng)驗Pg不斷學習，實現(xiàn)在解空間的尋優(yōu)。 假設粒子群中第i個粒子在d維空間中的位置為Xi= (xn,xi2,xid)，飛行速度為Vi= (vn, Vi2,...，Vid),其經(jīng)歷過的最好位置為PiMPu pi2,...，Pid)，所有粒子經(jīng)歷過的最好位置為 Pg= (pgl, Pg2,, Pgd)。每一代粒子按下式更新:
[0038]
【權(quán)利要求】
1.一種前饋網(wǎng)絡的自適應動態(tài)協(xié)同粒子群優(yōu)化方法，其特征在于，所述方法包括如下步驟:步驟S1、對粒子進行初始化，并由目標函數(shù)，初始化子種群；步驟S2、記錄粒子個體極值Pi,每個子種群極值pn，全局極值Pg ；步驟S3、以每個子種群pn優(yōu)劣給子種群排序，并確定子種群的協(xié)同粒子個數(shù)；步驟S4、子種群中的粒子向其自身極值Pi和子種群極值Pn學習；步驟S5、隨機從其它子種群中選取協(xié)同粒子，協(xié)同粒子向其自身極值Pi和子種群極值 Pn學習，并根據(jù)粒子優(yōu)劣隨時更新協(xié)同學習粒子的自身極值和其所在子種群的社會極值; 同時每一代，粒子更新之后，重新確定每個種群的社會極值，再根據(jù)子種群中社會極值的優(yōu)劣，對其重新排列，之后根據(jù)Pn的優(yōu)劣把一部分子種群設為較優(yōu)子種群，另一部分設為較差子種群；步驟S6、根據(jù)步驟S4、步驟S5依次更新粒子信息之后，隨機從較差子種群并且其子種群規(guī)模大于二的子種群中選取少于兩個粒子，使其成為現(xiàn)在較優(yōu)子種群中的一員；步驟S7、滿足所有停止條件，停止計算，否則轉(zhuǎn)入步驟S2進行下一次迭代。
2.根據(jù)權(quán)利要求1所述的前饋網(wǎng)絡的自適應動態(tài)協(xié)同粒子群優(yōu)化方法，其特征在于: 步驟SI中，隨機生成F個粒子，F(xiàn)為種群個數(shù)，每個粒子代表優(yōu)化問題的一個可行解，再根據(jù)粒子適應值按降序排列；把排序后的粒子平均分配到m個子種群中；其中，第I個粒子分入第I個子種群中，第2個粒子分入第2個子種群，第m個粒子分入第m個子種群，第 m+1個粒子分入第I個子種群，依次類推，直到將所有的粒子平均分入到m個子種群；再采用動態(tài)協(xié)同模型進行粒子飛行；假設下標為i的粒子為第j個子種群中成員；采用子種群局部極值Pn作為粒子社會學習的對象；PW是第j個子種群內(nèi)所有粒子經(jīng)歷過的最佳位置；這樣，可以得到: y _ -^(Pi+Pnj)式中j=(l，2，...，m)，X'表示粒子X向Pi和Pnj飛行后的下一個位置；第j個子種群中的每個粒子在以Piy為社會極值學習的同時，其它子種群中的部分粒子在？?的吸引下，成為第j個子種群的協(xié)同粒子，以Pw為社會經(jīng)驗學習，實現(xiàn)子種群間粒子信息的交流；每個子種群的協(xié)同粒子個數(shù)以子種群總數(shù)m為基數(shù)依次遞減，即:第一子種群的協(xié)同粒子個數(shù)為 m，第二子種群的協(xié)同粒子個數(shù)為m-1，依次類推；同時每一代，粒子更新之后，重新確定每個種群的社會極值，再根據(jù)子種群中社會極值的優(yōu)劣，對其重新排列，之后根據(jù)Pn的優(yōu)劣把一半子種群設為較優(yōu)子種群，另一半設為較差子種群；較差子種群中的非社會極值粒子會受到較優(yōu)子種群的吸引，而脫離該較差子種群成為較優(yōu)子種群中的粒子；為了保證種群能協(xié)同進化，每個子種群最少粒子個數(shù)不能小于2，當較差子種群的粒子個數(shù)均為2時，粒子不脫離較差子種群；同時為了保證整個種群學習的穩(wěn)定性，每代脫離較差子種群總數(shù)不能超過兩個粒子。
【文檔編號】G06N3/02GK103530687SQ201310441205
【公開日】2014年1月22日 申請日期:2013年9月23日 優(yōu)先權(quán)日:2013年9月23日
【發(fā)明者】李保印 申請人:聞泰通訊股份有限公司