專利名稱：基于線性規(guī)劃的高效超平面分類方法
技術(shù)領(lǐng)域：
本發(fā)明涉及模式識別、機器學(xué)習(xí)領(lǐng)域，尤其是基于線性規(guī)劃實現(xiàn)的高效分類方法。
背景技術(shù)：
超平面常用于構(gòu)建分類器，如在二分類情況時，根據(jù)經(jīng)驗風(fēng)險最小原則，可簡單地尋找一個超平面使得錯分樣本最少(F. W. SMITH, 1968.)。由于根據(jù)經(jīng)驗風(fēng)險最小原則確定的超平面常常推廣能力較弱，不適應(yīng)現(xiàn)代模式識別發(fā)展需要。為此，在結(jié)構(gòu)風(fēng)險最小原則下，基于最優(yōu)超平面提出了支持向量機(V. N. Vapnik, 1998)。支持向量機旨在尋找一超平面，在超平面垂直方向兩類樣本的兩個最近鄰點具有最大距離。支持向量機推廣能力佳， 已獲得較廣泛應(yīng)用，但是在使用支持向量機時需要求解二次數(shù)學(xué)規(guī)劃問題，計算量大，尤其是具有海量訓(xùn)練樣本時，支持向量機的訓(xùn)練問題往往成為應(yīng)用桎梏。在優(yōu)化規(guī)模相同時，一次規(guī)劃問題相對于二次規(guī)劃問題常具有較高求解效率。結(jié)合一次規(guī)劃和支持向量機優(yōu)點， Q. mi等提出了一次規(guī)劃支持向量機(Q. Wu and D. -X. Zhou, 2005)，可適應(yīng)大規(guī)模樣本的分類。一次規(guī)劃支持向量機具有多種形式，有些以減小超平面一次項系數(shù)向量的二次范數(shù)為目的(V. N. Vapnik, 1998)，把規(guī)模為k的二次規(guī)劃問題等價為規(guī)模為k2的一次規(guī)劃問題；有些僅以增大最近鄰樣本的距離為目的(W. Zhou, L. Siang & L. Jiao, 2002)，與支持向量機的優(yōu)化效果具有明顯卻別，支持向量機不僅使得最近鄰樣本在某個方向相距最大，同時也考慮了使得兩類樣本易于區(qū)分的整體優(yōu)化效應(yīng)。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)不足，提供基于線性規(guī)劃的高效超平面分類方法， 包括兩類共五個分類器。第一類基于線性規(guī)劃的高效超平面分類方法包括兩個分類器，其實現(xiàn)步驟如下 (a) 尋找一個超平面，使得兩類樣本分別在超平面正負兩邊，且兩類樣本離超平面
距離和盡量遠，用以下一次規(guī)劃問題確定超平面
權(quán)利要求
1.基于線性優(yōu)化實現(xiàn)的快速超平面分類方法可歸為兩類，分別需要一個和兩個超平面，其特征在于1)建立超平面時，優(yōu)化各樣本與超平面的距離和；2)用數(shù)學(xué)一次規(guī)劃方法求解超平面，求解速度快；3)用松弛參數(shù)提高分類方法的非線性分類適應(yīng)性；4)用核方法進一步提高分類方法非線性分類能力。
2.根據(jù)權(quán)利要求1所述優(yōu)化各樣本與超平面距離和，其特征在于優(yōu)化各樣本 ^與超平面￡ . ^Ix + h = 0的距離和時，優(yōu)化[^3" +b而不是優(yōu)化
3.根據(jù)權(quán)利要求1所述的第一類快速超平面分類方法，包括兩個分類器LPHC-1-1和 LPHC-1-2，其特征在于包括以下步驟步驟1 對線性可分的兩類樣本建立一超平面L :y=wTx+b,使得yi=l的正樣本Xi滿足 wTXi+b>0, Yi=-I的負樣本Xi滿足wTXi+b<0，并且為使得所建立超平面具有好的分類推廣能力，盡量增大各樣本與超平面的距離和Igma^bEi IwVbUBP 對于線性可分情況我們提出LPHC-I分類器，其超平面L :y=wTx+b從以下關(guān)系解出步驟2 =LPHC-I分類器不適于對線性不可分樣本進行分類，為此引入松弛參數(shù)IiX) 和Jli彡0，允許少部分yi=l的正樣本位于超平面L的負方向，wTXi+b>-〖i ；少部分7嚴-1的負樣本位于超平面L的正方向，W1X^ni ；且錯分的樣本應(yīng)盡可能少，因此從LPHC-I衍生出第一類快速超平面分類方法的第一個分類器步驟3 線性優(yōu)化速度與變量個數(shù)密切相關(guān)，為加快求解速度，對LPHC-1-1中ξ i > 0 和Hi > 0分別用一個數(shù)ξ > 0和η > 0替代，得到第二個分類器
4.根據(jù)權(quán)利要求1所述的第二類快速超平面分類方法，包括LPHC-2-1、LPHC-2-2和 LPHC-2-3三個分類器，其特征在于步驟1 建立兩個超平面Ll和L2，使得Ll緊貼yi=l的正樣本，盡量遠離yi=_l的負樣本；L2緊貼yi=-l的負樣本，遠離yi=l的正樣本，即從以下優(yōu)化問題中求解Ll和L2
5.根據(jù)權(quán)利要求 1 所述的進一步提高 LPHC-1-1、LPHC-1-2, LPHC-2-1、LPHC-2-2、 LPHC-2-3非線性分類能力的核方法，其特征在于
全文摘要
本發(fā)明公開了五個基于線性規(guī)劃的高效超平面分類器，五個分類器需要用線性規(guī)劃高效地確定一個或二個超平面。在線性可分條件下，用線性規(guī)劃確定一超平面，使得兩類樣本到超平面的距離和最大。為弱化線性可分條件，兩種不同策略得到兩個分類器。在線性可分假設(shè)下，用線性規(guī)劃求解出兩超平面，一個超平面貼近一類樣本。兩超平面組成的分類器易解決異或問題，三種不同的弱化線性可分假設(shè)條件的策略產(chǎn)生另外三個分類器。測試表明這些分類器具有很高求解效率，第一類分類器的分類能力接近支持向量機，第二類分類器適合解決異或問題。
文檔編號G06F17/30GK102236704SQ20111015753
公開日2011年11月9日 申請日期2011年6月13日 優(yōu)先權(quán)日2011年6月13日
發(fā)明者劉怡光 申請人:劉怡光