一種基于靈敏度分析的非線性支持向量回歸特征提取方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及特征提取技術(shù)，特別是一種在非線性支持向量回歸框架下對(duì)特征進(jìn)行 提取的方法。
[0002] 特征提取方法在圖像處理和模式識(shí)別等領(lǐng)域中應(yīng)用非常廣泛，可以用于降低原始 數(shù)據(jù)的維數(shù)和對(duì)數(shù)據(jù)進(jìn)行分類，是應(yīng)對(duì)大數(shù)據(jù)分析時(shí)所面臨的維數(shù)災(zāi)難的有效手段，此外 特征提取還可以在醫(yī)學(xué)圖像處理領(lǐng)域用作疾病區(qū)域的映射，在遙感圖像處理領(lǐng)域用作感興 趣區(qū)域的提取等。特征提取就是將描述模式的特征向量中包含有用信息的元素進(jìn)行提取 (或選擇）的技術(shù)，不包含有用信息的元素將被剔除，從而達(dá)到降維和消除干擾、提高計(jì)算 效率的目的?；诨貧w（或預(yù)測(cè)）的特征提取，是在回歸算法的框架內(nèi)，利用各元素對(duì)回歸 結(jié)果所產(chǎn)生的影響，對(duì)各元素包含的信息量（重要性）進(jìn)行評(píng)價(jià)，最終實(shí)現(xiàn)特征提取的過(guò)程 (Guyon,Isabelle,andAndreElisseeff."AnintroductiontoVariableandfeature selection."TheJournalofMachineLearningResearch3(2003) :1157-1182. )〇 支 持向量回歸是一種泛化能力較強(qiáng)的預(yù)測(cè)算法，對(duì)于高維數(shù)、小樣本問(wèn)題效果較好，在很多應(yīng) 用中，不僅需要知道預(yù)測(cè)結(jié)果，還要進(jìn)行特征提取，但目前在支持向量回歸算法的框架下， 尤其是在非線性支持向量機(jī)（非線性核函數(shù)的支持向量機(jī)）框架下的特征提取算法，還沒(méi) 有出現(xiàn)。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種新的基于靈敏度分析 和非線性支持向量機(jī)對(duì)特征進(jìn)行提取的方法，該方法可在支持向量回歸進(jìn)行預(yù)測(cè)的同時(shí)， 實(shí)現(xiàn)特征的提取。
[0004] 本發(fā)明提出一種基于非線性支持向量回歸和靈敏度場(chǎng)相結(jié)合的特征提取方案，所 謂非線性支持向量回歸，就是使用非線性核的支持向量回歸算法。根據(jù)一組觀測(cè)值（樣本） {(Xl，yi)}，支持向量回歸通過(guò)訓(xùn)練得到一個(gè)擬合函數(shù)f(X)，其中\(zhòng)是Μ維輸入特征向量且 i= 1，"·，Ν，函數(shù)f(x)的形式如下：
[0005]
[0006] 其中，·=智調(diào)》是核函數(shù)，由支持向量機(jī)原理，b(標(biāo)量）、< 和通過(guò)樣本訓(xùn)練，根據(jù)以下優(yōu)化函數(shù)取得：
[0007]

[0011] 其中，s(l)是特征向量X的第1個(gè)特征的靈敏度值，J(x)為目標(biāo)函數(shù)，Xl為特征 向量的第1個(gè)元素。對(duì)于離散系統(tǒng)，靈敏度S(1)應(yīng)表示為
[0013] 本發(fā)明中，定義目標(biāo)函數(shù)力、/〇?) ==|y-y(：X)]2/2,U:中，y是樣本X對(duì)應(yīng)的輸出， 魏罐為其預(yù)測(cè)值。
[0014] 本發(fā)明所要解決的技術(shù)問(wèn)題是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的。本發(fā)明是一種基于非線 性支持向量回歸和靈敏度分析的特征提取方法，其特點(diǎn)是：第一步，構(gòu)建訓(xùn)練樣本集；第二 步，運(yùn)行支持向量回歸算法；第三步，計(jì)算特征向量每個(gè)元素的靈敏度值；第四步，選擇較 大的靈敏度值對(duì)應(yīng)的特征作為提取結(jié)果。
[0015] 本發(fā)明所述構(gòu)建訓(xùn)練樣本集，具體為：構(gòu)建一個(gè)輸入矩陣，訓(xùn)練樣本的特征向量 (輸入向量）作為輸入矩陣的行，同時(shí)生成輸出向量，輸出向量的兀素與輸入矩陣的行相對(duì) 應(yīng)，即輸出向量的第i個(gè)兀素yi就是輸入矩陣第i行（第i個(gè)輸入向量Xi)所對(duì)應(yīng)的輸出 值。
[0016] 所述運(yùn)行支持向量回歸算法，具體為：通過(guò)公式（2)進(jìn)行訓(xùn)練，訓(xùn)練后得到b、 和:級(jí)f所述預(yù)測(cè)值，具體為：
[0017] 所述計(jì)算特征向量每個(gè)元素的靈敏度值，具體為：通過(guò)公式
[0021] 所述K(Xi，X)，具體為：對(duì)于高斯核函數(shù)K(Xi，X) =exp(_ ||Xi_x|| 2/〇 2);對(duì)于多
[0023] 所述選擇較大的靈敏度值對(duì)應(yīng)的特征作為提取結(jié)果，具體為：設(shè)定一個(gè)閾值T，當(dāng) S(l) >Τ時(shí)，則第1個(gè)特征就是想要的特征；否則，丟棄此特征。
[0024] 本發(fā)明與已有的技術(shù)相比具有以下優(yōu)點(diǎn)：本發(fā)明通過(guò)一種基于靈敏度分析的非線 性支持向量機(jī)的特征提取方法，利用了非線性支持向量機(jī)泛化能力強(qiáng)的優(yōu)點(diǎn)，提高了特征 提取的準(zhǔn)確率。本發(fā)明提出了一種新的目標(biāo)函數(shù)/&> =汐選取該目標(biāo)函數(shù)的目的 是提高預(yù)測(cè)精度，所提取的特征能夠提高預(yù)測(cè)的準(zhǔn)確率。本發(fā)明方法可以用于圖像處理和 模式識(shí)別等領(lǐng)域，可以用于降低原始數(shù)據(jù)的維數(shù)和對(duì)數(shù)據(jù)進(jìn)行分類，還可以在醫(yī)學(xué)圖像處 理領(lǐng)域用作疾病區(qū)域的映射，在遙感圖像處理領(lǐng)域用作感興趣區(qū)域的提取。
【附圖說(shuō)明】
[0025] 圖1為本發(fā)明構(gòu)建的訓(xùn)練樣本集和輸出向量；
[0026] 圖2為本發(fā)明的算法流程框圖。
【具體實(shí)施方式】
[0027] 下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)描述，以便于本領(lǐng)域的技術(shù)人員進(jìn) 一步的理解本發(fā)明，而不構(gòu)成對(duì)其權(quán)利的限制。需要強(qiáng)調(diào)的是，以下實(shí)施例僅是本發(fā)明的一 種優(yōu)選實(shí)施方式而已，對(duì)于本技術(shù)領(lǐng)域的技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明的核心思想和基 本原理的前提下，可以進(jìn)行改進(jìn)和修改，或者利用本發(fā)明的主要方法、核心思想和基本原理 解決其他領(lǐng)域的技術(shù)問(wèn)題，都應(yīng)視為本發(fā)明的保護(hù)范圍。
[0028] 實(shí)施例1，一種基于非線性支持向量回歸和靈敏度分析的特征提取方法，第一步， 構(gòu)建訓(xùn)練樣本集；第二步，依次選擇各樣本作為測(cè)試樣本X，運(yùn)行支持向量回歸算法得到 、％+和b和預(yù)測(cè)結(jié)果約如第三步，計(jì)算特征向量每個(gè)元素的靈敏度值；第四步，判斷是 否所有樣本都經(jīng)過(guò)測(cè)試，如果是，跳到第五步，否則，跳到第二步；第五步，選擇較大的靈敏 度值對(duì)應(yīng)的特征作為提取結(jié)果，生成新的特征向量。
[0029] 實(shí)施例2,參照附圖1，實(shí)施例1所述基于非線性支持向量回歸和靈敏度分析的特 征提取方法中：
[0030]構(gòu)建訓(xùn)練樣本集的具體步驟如下：
[0031] (1)構(gòu)建輸入集，就是將原始特征向量作為行，每一行一個(gè)特征向量Xi;
[0032] ⑵構(gòu)建輸出向量，就是由輸入矩陣的每一行（每一個(gè)特征向量所對(duì)應(yīng)的輸出 yi構(gòu)成輸出向量。
[0033]所述依次選擇各樣本作為測(cè)試樣本X，運(yùn)行支持向量回歸算法得到和b和預(yù)測(cè)結(jié)果100,具體方法是：依次選擇χ=Xi作為測(cè)試樣本，從訓(xùn)練集中剔除該樣本，用 其余樣本進(jìn)行訓(xùn)練，得到相應(yīng)的和b，并計(jì)算預(yù)測(cè)結(jié)果
[0034] 所述計(jì)算特征向量每個(gè)元素的靈敏度值，具體方法為：通過(guò)公式
[0038] 所述判斷是否所有樣本都經(jīng)過(guò)測(cè)試，具體方法為：如果i=N，則所有樣本都經(jīng)過(guò) 測(cè)試；如果i<N，則仍有樣本未經(jīng)過(guò)測(cè)試。
[0039] 所述選擇較大的靈敏度值對(duì)應(yīng)的特征作為提取結(jié)果，具體方法為：設(shè)定一個(gè)閾值 T，當(dāng)S(1) >T時(shí)，則第1個(gè)特征就是想要的特征；否則，丟棄此特征。
[0040] 實(shí)施例3,參照?qǐng)D2,利用實(shí)施例1所述的一種基于非線性支持向量回歸和靈敏度 分析的特征提取方法實(shí)驗(yàn)。實(shí)驗(yàn)步驟如下：
[0041] 步驟S101 :開(kāi)始，構(gòu)建樣本集，選擇模式識(shí)別領(lǐng)域著名的IRIS數(shù)據(jù)集作為實(shí)驗(yàn)數(shù) 據(jù)，該實(shí)驗(yàn)數(shù)據(jù)共有150個(gè)樣本，分為三類，每類50個(gè)樣本，每個(gè)樣本4個(gè)特征，我們將類別 把類別標(biāo)號(hào)1、2和3作為樣本的輸出值，進(jìn)行預(yù)測(cè)。原始的4個(gè)特征為有效特征，為了實(shí)驗(yàn)， 為每個(gè)樣本增加4個(gè)特征，增加的四個(gè)特征為隨機(jī)數(shù)。構(gòu)建新的樣本集，在新樣本集中，前 4個(gè)樣本為有效特征，后4個(gè)為無(wú)效特征。對(duì)應(yīng)的輸出向量由樣本相應(yīng)的類別標(biāo)記構(gòu)成，樣 本個(gè)數(shù)N= 150,樣本維數(shù)Μ= 8 ;
[0042]步驟S102:選擇高斯核函數(shù)Κ(Χρ X)=exp(-|| χ「χ|| 2/ 〇2)，運(yùn)行支持向量機(jī)回 歸的算法程序得到b，并計(jì)算f
[0045]
S(l) = 0· 5074,S(2) = 0· 3059,S(3) = 0· 8247,S(4) = 0· 4063,S(5) = 0· 2641，S(6)= 0· 2474,S(7) = 0· 2521，S(8) = 0· 2370 ;
[0046] 步驟S106 :設(shè)定閾值T= 0. 4,確定所選擇的特征為，特征1、特征2、特征3和特征 4〇
【主權(quán)項(xiàng)】
1. 一種基于靈敏度分析和非線性支持向量回歸的特征提取方法，其特征在于，其步驟 如下： (1)構(gòu)建訓(xùn)練樣本集；具體步驟為：構(gòu)建一個(gè)輸入矩陣，訓(xùn)練樣本的特征向量一-輸入 向量作為輸入矩陣的行，同時(shí)生成輸出向量，輸出向量的元素i為輸入矩陣的行一一特 征向量所相對(duì)應(yīng)的輸出值yi; 似運(yùn)行支持向量回歸算法；具體步驟為：依次選擇X= 作為測(cè)試樣本，從訓(xùn)練集中 剔除該樣本，用其余樣本進(jìn)行訓(xùn)練運(yùn)行支持向量機(jī)回歸算法，得到相應(yīng)的和b，并 計(jì)算對(duì)。 (3) 計(jì)算特征向量每個(gè)元素一一特征的靈敏度值；計(jì)算公式為：其目標(biāo)函數(shù)定義為其中，y是輸 入向量X對(duì)應(yīng)的輸出值，為其對(duì)應(yīng)的預(yù)測(cè)值；的計(jì)算，通過(guò)公式完成； (4) 選擇較大的靈敏度值對(duì)應(yīng)的特征作為提取結(jié)果，完成特征提取。2. 根據(jù)權(quán)利要求1所述的特征提取方法，其特征在于，的計(jì)算，具體方法 為：對(duì)于高斯核函數(shù)完成。3. 根據(jù)權(quán)利要求1所述的特征提取方法，其特征在于，步驟（4)所述的選擇較大的靈敏 度值對(duì)應(yīng)的特征作為提取結(jié)果，具體步驟為：設(shè)定一個(gè)闊值T，當(dāng)S(1) >T時(shí)，則第1個(gè)特 征就是想要的特征；否則，丟棄此特征。
【專利摘要】本發(fā)明涉及一種基于靈敏度分析和非線性支持向量回歸的特征提取方法，方法包括：首先構(gòu)建訓(xùn)練樣本集；然后運(yùn)行支持向量回歸算法；接著計(jì)算特征向量每個(gè)元素（特征）的靈敏度值；最后，選擇較大的靈敏度值對(duì)應(yīng)的特征作為提取結(jié)果。本發(fā)明具有特征提取準(zhǔn)確率高，且提取的特征能夠提高預(yù)測(cè)精度的優(yōu)點(diǎn)。本發(fā)明方法可以用于圖像處理和模式識(shí)別等領(lǐng)域，可以用于降低原始數(shù)據(jù)的維數(shù)和對(duì)數(shù)據(jù)進(jìn)行分類，還可以在醫(yī)學(xué)圖像處理領(lǐng)域用作疾病區(qū)域的映射，在遙感圖像處理領(lǐng)域用作感興趣區(qū)域的提取。
【IPC分類】G06K9/62
【公開(kāi)號(hào)】CN105243392
【申請(qǐng)?zhí)枴緾N201510645164
【發(fā)明人】劉瑞明, 龔成龍, 張珍
【申請(qǐng)人】淮海工學(xué)院, 江蘇省海洋資源開(kāi)發(fā)研究院(連云港)
【公開(kāi)日】2016年1月13日
【申請(qǐng)日】2015年10月8日