專利名稱：：基于有監(jiān)督的近鄰保持嵌入和支持向量機(jī)的人臉識別方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種人臉識別方法，具體地說，是涉及一種基于有監(jiān)督的近鄰保持嵌入(SNPE)和支持向量機(jī)(SVM)的人臉識別方法，屬于圖像處理和模式識別
技術(shù)領(lǐng)域：
。
背景技術(shù)：
：人臉識別是一個(gè)模式識別問題，特征提取是模式識別中的分類系統(tǒng)均需要解決的一個(gè)重要環(huán)節(jié)，其主要目標(biāo)是在獲得最優(yōu)、最顯著特征的同時(shí)丟棄無關(guān)或次要的信息，降低數(shù)據(jù)的維數(shù)以減低分類系統(tǒng)的復(fù)雜性，這就涉及到所謂的流形學(xué)習(xí)問題。流形學(xué)習(xí)中經(jīng)典的技術(shù)為線性降維方法，例如主成分分析法(PCA)可以實(shí)現(xiàn)流形的線性或接近于線性的嵌入；當(dāng)有可用的類信息時(shí)，線性判別分析法(LDA)可以尋找一個(gè)最優(yōu)的線性子空間以用來分類。<旦是這些線性降維方法存在著很大的缺點(diǎn)由于降維算法是線性變換，所以降維到低維空間后樣本數(shù)據(jù)有可能產(chǎn)生重疊，對于后期的分類就會產(chǎn)生不好的影響。而且大多數(shù)線性降維的算法不能很好地保持類內(nèi)及類間的樣本結(jié)構(gòu)，影響了特征提取的效果。近幾年，一些非線性降維算法被提出。這些算法主要是發(fā)現(xiàn)流形中的非線性結(jié)構(gòu)，例如拉普拉斯特征匹配法、局部線性嵌入(LLE)和等距離映射(Isomap)等。非線性降維方法能夠保持樣本的拓樸結(jié)構(gòu)，但是計(jì)算量大，而且這種方法只適用于訓(xùn)練樣本，怎樣使單個(gè)測試樣本降維一直是個(gè)難點(diǎn)?；诤说乃惴ㄒ脖惶岢?，例如基于核的主成分分析法(KPCA)、基于核的線性判別分析法(KLDA)等。這些算法能產(chǎn)生非線性映射，^f旦是卻沒有考慮到樣本數(shù)據(jù)的流形結(jié)構(gòu)，致使降維效果并不十分理想。傳統(tǒng)的人臉識別方法有最近鄰法、歐氏距離法、馬氏距離法和神經(jīng)網(wǎng)絡(luò)法等。相對于其維數(shù)而言，人臉樣本很少，是一個(gè)小樣本問題。對于人臉識別這種小樣本問題，傳統(tǒng)的分類方法一方面容易出現(xiàn)過學(xué)習(xí)現(xiàn)象，導(dǎo)致算法泛化能力差；另一方面，傳統(tǒng)的分類方法學(xué)習(xí)性能差，無法勝任人臉分類這個(gè)非線性很強(qiáng)的分類模式。SVM是為解決小樣本問題的學(xué)習(xí)和分類而提出的，它可以克服神經(jīng)網(wǎng)絡(luò)等方法所固有的過學(xué)習(xí)和欠學(xué)習(xí)問題，同時(shí)又具有很強(qiáng)的非線性分類能力。
發(fā)明內(nèi)容本發(fā)明提供了一種基于有監(jiān)督的近鄰保持嵌入和支持向量機(jī)的人臉識別方法，能夠解決線性降維方法不能4艮好地保持類內(nèi)及類間的樣本結(jié)構(gòu)、非線性降維方法計(jì)算量大以及普通分類器存在的過學(xué)習(xí)和欠學(xué)習(xí)問題。為解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案予以實(shí)現(xiàn)一種基于有監(jiān)督的近鄰保持嵌入和支持向量機(jī)的人臉識別方法，包括以下步驟a、對給定的一組數(shù)據(jù)樣本構(gòu)造一個(gè)權(quán)值矩陣，用來描述各個(gè)數(shù)據(jù)樣本之間的關(guān)系；b、根據(jù)步驟a所得的權(quán)值矩陣，求解關(guān)于數(shù)據(jù)樣本的一個(gè)泛化特征向量問題，尋找到將數(shù)據(jù)樣本映射到低維數(shù)據(jù)空間的嵌入矩陣；c、利用步驟b獲得的嵌入矩陣對數(shù)據(jù)樣本進(jìn)行特征提取，獲得數(shù)據(jù)樣本映射到低維空間的特征數(shù)據(jù)；d、采用支持向量機(jī)對步驟c所獲得的數(shù)據(jù)樣本的特征數(shù)據(jù)進(jìn)行模式分類，實(shí)現(xiàn)對數(shù)據(jù)樣本的類型識別。其中，所述步驟a中構(gòu)造權(quán)值矩陣包括下述兩個(gè)步驟al、利用已知的類別信息以及類內(nèi)的樣本數(shù)確定《值，構(gòu)造《近鄰；bl、按照下述過程計(jì)算權(quán)值矩陣『代表權(quán)值矩陣，則^為第f個(gè)樣本x,到第乂個(gè)樣本^的權(quán)值，當(dāng)?shù)趤V個(gè)樣本不屬于第f'個(gè)樣本的X近鄰時(shí)，^為0，然后通過求解下述約束條件下的最小化目標(biāo)函數(shù)，計(jì)算出權(quán)值矩陣『<formula>formulaseeoriginaldocumentpage6</formula>、-約束條件為進(jìn)一步的，所述嵌入矩陣的維數(shù)比所述數(shù)據(jù)樣本的總類別數(shù)少1。所述步驟d可以采用兩分類支持向量機(jī)級聯(lián)模型實(shí)現(xiàn)多分類模式的分類。再進(jìn)一步的，構(gòu)造權(quán)值矩陣之前應(yīng)先對所述數(shù)據(jù)樣本進(jìn)行預(yù)處理。優(yōu)選采用"立方巻積"的插值方法對所述數(shù)據(jù)樣本進(jìn)行縮放預(yù)處理。具體來講，在本發(fā)明的人臉識別方法中，具體包括訓(xùn)練過程和測試過程兩部分，其中，所述訓(xùn)練過程具體包括下述步驟a2、首先對數(shù)據(jù)樣本進(jìn)行預(yù)處理，組成訓(xùn)練樣本；b2、對上述訓(xùn)練樣本構(gòu)造一個(gè)權(quán)值矩陣，用來描述各個(gè)訓(xùn)練樣本之間的關(guān)系，并利用所述權(quán)值矩陣求解訓(xùn)練樣本對應(yīng)的嵌入矩陣；c2、利用步驟b2獲得的嵌入矩陣對訓(xùn)練樣本進(jìn)行特征提取，獲得訓(xùn)練樣本映射到低維空間的特征數(shù)據(jù)；d2、基于步驟c2所獲得的訓(xùn)練樣本的特征數(shù)據(jù)構(gòu)造兩分類支持向量機(jī)級聯(lián)模型，設(shè)定核函數(shù)類型以及懲罰系數(shù)，進(jìn)行支持向量枳4莫型訓(xùn)練。其中，所述支持向量機(jī)的核函數(shù)為線性核函數(shù)、多項(xiàng)式核函數(shù)和徑向基核函數(shù)中的一種。所述支持向量機(jī)的懲罰系數(shù)設(shè)定為1-100。所述測試過程具體包括如下步驟a3、首先對數(shù)據(jù)樣本進(jìn)行預(yù)處理，組成測試樣本；b3、利用訓(xùn)練過程中獲得的嵌入矩陣對測試樣本進(jìn)行特征提取，獲得測試樣本映射到低維空間的特征數(shù)據(jù)；c3、將步驟b3所獲得的測試樣本的特征數(shù)據(jù)輸入到已訓(xùn)練好的支持向量機(jī)模型中，進(jìn)行測試樣本的類型識別。與現(xiàn)有4支術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和積;f及效果體現(xiàn)在以下兩方面1、特征提取上采用了SNPE算法，克服了PCA等傳統(tǒng)線性降維方法容易產(chǎn)生樣本數(shù)據(jù)重疊、不能4艮好地保持類內(nèi)及類間的樣本結(jié)構(gòu)的不足，以及LLE等非線性降維算法計(jì)算量大的缺點(diǎn)，SNPE算法很好地保持了數(shù)據(jù)集的局部流形結(jié)構(gòu)，既能做到最優(yōu)的降維，又在^f艮大程度上減少了算法的運(yùn)行時(shí)間。2、分類算法上采用兩分類SVM級聯(lián)模型實(shí)現(xiàn)多分類模式的分類，所需的支持向量個(gè)數(shù)較少，而且一旦加入一個(gè)新類時(shí)，只需在最前端添加一個(gè)經(jīng)過訓(xùn)練的兩分類SVM即可，而不必更改或者重新訓(xùn)練原有的SVM群組，因此，有效減少了計(jì)算量。圖1是PCA降維后的樣本臉(PCAfaces)和SNPE降維后的樣本臉(SNPEfaces)示意圖2是通過兩分類SVM級聯(lián)^t型實(shí)現(xiàn)多分類的示意圖；圖3是0RL人臉庫中的部分人臉圖像樣本。務(wù)體實(shí)施方式下面結(jié)合附圖對本發(fā)明的實(shí)施方式作進(jìn)一步詳細(xì)的說明。首先介紹一下本發(fā)明的基本設(shè)計(jì)思想1、特征提取上，在周圍空間中給定一組數(shù)據(jù)樣本，首先構(gòu)造一個(gè)權(quán)值矩陣用來描述個(gè)數(shù)據(jù)樣本之間的關(guān)系。對于每一個(gè)數(shù)據(jù)樣本點(diǎn)，用它近鄰的數(shù)據(jù)樣本的線性組合來表示，組合系數(shù)就構(gòu)成了權(quán)值矩陣。然后，尋找最優(yōu)的嵌入使得這種近鄰結(jié)構(gòu)也能夠保持在低維空間中，并且利用已知的類別信息及類內(nèi)樣本數(shù)來確定尺值。這樣就避免了傳統(tǒng)近鄰保持嵌入(NPE)算法中的第一步，既能保證尺值選擇的準(zhǔn)確性，做到最優(yōu)的降維，又能很大程度上減少算法的運(yùn)行時(shí)間。2、分類算法上，采用兩分類SVM級聯(lián)模型來實(shí)現(xiàn)多分類模式分類。這種分類算法的優(yōu)點(diǎn)是所需的支持向量數(shù)較少，而且一旦加入一個(gè)新類時(shí)，只需在最前端添加一個(gè)經(jīng)過訓(xùn)練的兩分類SVM即可，而不必更改或者重新訓(xùn)練原有的SVM群組，從而可以減少了計(jì)算量。下面對具體實(shí)現(xiàn)方法進(jìn)行詳細(xì)闡述。圖1為PCA降維后的樣本臉(PCAfaces)與SNPE降維后的樣本臉(SNPEfaces)的對照示意圖。PCA方法是通過特征的線性組合來降維，4巴數(shù)據(jù)投影到低維線性子空間。但是人臉圖像并不是特征的線性組合，由PCAfaces可以看出，特征提取后的結(jié)果雖然保持了人臉輪廓，但是依然有大量噪聲存在，局部的線性結(jié)構(gòu)并沒有保持，一些樣本點(diǎn)產(chǎn)生了重疊。而SNPE是非線性的降維方法，由SNPEfaces可以看出，特征提取后的人臉圖像噪聲很少(有效地去除了光照等噪聲的影響)，而且樣本的低維流形結(jié)構(gòu)是局部線性的，保持了流形領(lǐng)域的不變性，非常適合于機(jī)器識別。參見圖2和圖3所示，以0RL人臉數(shù)據(jù)庫為樣本具體說明一下本發(fā)明的實(shí)施步驟。首先，從0RL人臉庫中讀取40個(gè)類別、每類五個(gè)樣本共200個(gè)人臉樣本數(shù)據(jù)^;…，^。，義e^作為訓(xùn)練過程的樣本數(shù)據(jù)。對每一幅人臉圖像;c,采用"立方巻積"的插值方法進(jìn)行縮放預(yù)處理后，每一幅人臉圖像可堆疊成32x32維向量，然后再展成I024xl維向量，200個(gè)樣本數(shù)據(jù)可組成訓(xùn)練樣本力ra！、。^。。。然后對訓(xùn)練樣本X的/",x2。。進(jìn)行SNPE變換首先，構(gòu)造《近鄰(ON)。K最近鄰法直接找出相對于第Z個(gè)樣本點(diǎn)x'的《近鄰樣本點(diǎn)、，利用已知的類別信息及類內(nèi)樣本數(shù)來確定《值。因?yàn)槊款惾四樦羞x取了五個(gè)樣本，即每類里面含有五個(gè)樣本數(shù)，所以，選取《=4，直接找出相對于第/個(gè)樣本點(diǎn);c,的《近鄰樣本點(diǎn)、；然后，計(jì)算權(quán)值矩陣?！捍頇?quán)值矩陣，則^為第/個(gè)樣本x,到第y個(gè)樣本xJ々^又值，當(dāng)?shù)趛個(gè)樣本不屬于第/個(gè)樣本的《近鄰時(shí)，K為0，然后通過求解下述約束條件下的最小化目標(biāo)函數(shù)，可以計(jì)算出權(quán)值矩陣『<formula>formulaseeoriginaldocumentpage9</formula>約束條件為<formula>formulaseeoriginaldocumentpage9</formula>下一步，計(jì)算嵌入矩陣。求解下列泛化特征向量問題1縱、=;ux、(*);其中，<formula>formulaseeoriginaldocumentpage9</formula>令列向量"。,",，…,"w為式(*)對應(yīng)于特征值排序后的解，則嵌入矩陣為X,~>少，=fx,上式中，d為嵌入空間的維數(shù)。d的值對降維效果影響很大，如果c/太小，即降維空間維數(shù)太低，數(shù)據(jù)可能會產(chǎn)生重疊；如果"太大，降維時(shí)就會增加不必要的噪聲。嵌入空間的理想的維數(shù)"應(yīng)該比總類別數(shù)少1,所以，本實(shí)施例中共有40個(gè)類別，維數(shù)d選擇為39,則本實(shí)施例的嵌入矩陣^為1024x39維的矩陣。利用上述求得的嵌入矩陣對訓(xùn)練樣本進(jìn)行特征提取，得到訓(xùn)練樣本映射到低維空間的特征數(shù)據(jù)，即<formula>formulaseeoriginaldocumentpage10</formula>/"。最后，基于力ra/"狄2。。構(gòu)造兩分類SVM級聯(lián);f莫型，即采用"l對l"的分類模式訓(xùn)練SVM模型。例如將第一類和最后一類即第四十類作為兩類進(jìn)行第一個(gè)分類器SVM1的設(shè)計(jì)，將第二類與第四十類作為兩類進(jìn)行第二個(gè)分類器SVM2的訓(xùn)練。逐次進(jìn)行上述分類訓(xùn)練過程，最后設(shè)計(jì)出39個(gè)SVM子分類器，所有的子分類器構(gòu)成了本實(shí)施例人臉識別中的分類器。上述SVM模型訓(xùn)練過程中，核函數(shù)類型分別選擇線性核函數(shù)、多項(xiàng)式核函數(shù)和徑向基核函數(shù)，懲罰系數(shù)OIO。訓(xùn)練過程結(jié)束后，再進(jìn)4于人臉識別的測試過程。從0RL人臉庫中讀取40個(gè)類別、每類五個(gè)樣本共200個(gè)人臉樣本數(shù)據(jù)作為測試過程的樣本數(shù)據(jù)。按照與訓(xùn)練數(shù)據(jù)相同的處理方式，首先對樣本數(shù)據(jù)進(jìn)行預(yù)處理，得到測試樣本數(shù)據(jù)；然后利用訓(xùn)練過程中得到的嵌入矩陣對測試樣本數(shù)據(jù)進(jìn)行特征提取，得到降維后的測試樣本數(shù)據(jù)；最后將降維后的測試樣本數(shù)據(jù)輸入到訓(xùn)練過程中訓(xùn)練好的SVM分類模型中進(jìn)行分類識別。如果樣本類別增加，只需在分類器最前端添加一個(gè)經(jīng)過訓(xùn)練的兩分類SVM子分類器即可，而不必更改或者重新訓(xùn)練原有的SVM子分類器，因此可以有效地減少計(jì)算量。下面各表列出了分別選用不同的特征提取方法與SVM結(jié)合進(jìn)行人臉識別的實(shí)驗(yàn)數(shù)據(jù)。其中，表一為基于PCA和SVM進(jìn)行人臉識別的實(shí)驗(yàn)數(shù)據(jù)，表二為基于LLE和SVM進(jìn)行人臉識別的實(shí)驗(yàn)數(shù)據(jù)，表三為基于SNPE和SVM進(jìn)行人臉識別的實(shí)驗(yàn)數(shù)據(jù)。表一<table>tableseeoriginaldocumentpage10</column></row><table>表二<table>tableseeoriginaldocumentpage11</column></row><table>從上面各表實(shí)驗(yàn)數(shù)據(jù)的對比可以看出基于SNPE和SVM的人臉識別方法運(yùn)行時(shí)間較短、識別率較高，在選擇多項(xiàng)式核函數(shù)時(shí)能達(dá)到100%的識別率。應(yīng)當(dāng)指出，上述說明并非是對本發(fā)明的限制，本發(fā)明也并不僅限于上述舉例，本
技術(shù)領(lǐng)域：
的普通技術(shù)人員在本發(fā)明的實(shí)質(zhì)范圍內(nèi)所做出的修改、變形、添加或替換，也應(yīng)屬于本發(fā)明的保護(hù)范圍。權(quán)利要求1、一種基于有監(jiān)督的近鄰保持嵌入和支持向量機(jī)的人臉識別方法，包括訓(xùn)練過程和測試過程，其特征在于，包括以下步驟a、對給定的一組數(shù)據(jù)樣本構(gòu)造一個(gè)權(quán)值矩陣，用來描述各個(gè)數(shù)據(jù)樣本之間的關(guān)系；b、根據(jù)步驟a所得的權(quán)值矩陣，求解關(guān)于數(shù)據(jù)樣本的一個(gè)泛化特征向量問題，尋找到將數(shù)據(jù)樣本映射到低維數(shù)據(jù)空間的嵌入矩陣；c、利用步驟b獲得的嵌入矩陣對數(shù)據(jù)樣本進(jìn)行特征提取，獲得數(shù)據(jù)樣本映射到低維空間的特征數(shù)據(jù)；d、采用支持向量機(jī)對步驟c所獲得的數(shù)據(jù)樣本的特征數(shù)據(jù)進(jìn)行模式分類，實(shí)現(xiàn)對數(shù)據(jù)樣本的類型識別。2、根據(jù)權(quán)利要求1所述的人臉識別方法，其特征在于，在所述步驟a中，構(gòu)造權(quán)值矩陣包括下述兩個(gè)步驟al、利用已知的類別信息以及類內(nèi)的樣本數(shù)確定《值，構(gòu)造《近鄰；bl、按照下述過程計(jì)算權(quán)值矩陣『代表權(quán)值矩陣，則^為第/個(gè)樣本x,到第y'個(gè)樣本、的權(quán)值，當(dāng)?shù)趛'個(gè)樣本不屬于第/個(gè)樣本的《近鄰時(shí)，^為0，然后通過求解下述約束條件下的最小化目標(biāo)函數(shù)，計(jì)算出權(quán)值矩陣『<formula>formulaseeoriginaldocumentpage2</formula>約束條件為<formula>formulaseeoriginaldocumentpage2</formula>3、根據(jù)權(quán)利要求1所述的人臉識別方法，其特征在于，所述嵌入矩陣的維數(shù)比所述數(shù)據(jù)樣本的總類別數(shù)少1。4、根據(jù)權(quán)利要求1所述的人臉識別方法，其特征在于，所述步驟d采用兩分類支持向量機(jī)級聯(lián)模型實(shí)現(xiàn)多分類模式的分類。5、根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的人臉識別方法，其特征在于，構(gòu)造權(quán)值矩陣之前先對所述數(shù)據(jù)樣本進(jìn)行預(yù)處理。6、根據(jù)權(quán)利要求5所述的人臉識別方法，其特征在于，采用"立方巻積"的插值方法對所述數(shù)據(jù)樣本進(jìn)行縮放預(yù)處理。7、才艮據(jù)權(quán)利要求1所述的人臉識別方法，其特征在于，所述訓(xùn)練過程包括下述步驟a2、首先對數(shù)據(jù)樣本進(jìn)行預(yù)處理，組成訓(xùn)練樣本；b2、對上述訓(xùn)練樣本構(gòu)造一個(gè)權(quán)值矩陣，用來描述各個(gè)訓(xùn)練樣本之間的關(guān)系，并利用所述權(quán)值矩陣求解訓(xùn)練樣本對應(yīng)的嵌入矩陣；c2、利用步驟b2獲得的嵌入矩陣對訓(xùn)練樣本進(jìn)行特征提取，獲得訓(xùn)練樣本映射到低維空間的特征數(shù)據(jù)；d2、基于步驟c2所獲得的訓(xùn)練樣本的特征數(shù)據(jù)構(gòu)造兩分類支持向量機(jī)級聯(lián)模型，設(shè)定核函數(shù)類型以及懲罰系數(shù)，進(jìn)行支持向量積^莫型訓(xùn)練。8、根據(jù)權(quán)利要求7所述的人臉識別方法，其特征在于，所述支持向量機(jī)的核函數(shù)為線性核函數(shù)、多項(xiàng)式核函數(shù)和徑向基核函數(shù)中的一種。9、根據(jù)權(quán)利要求7所述的人臉識別方法，其特征在于，所述支持向量機(jī)的懲罰系數(shù)設(shè)定為1-100。10、根據(jù)權(quán)利要求7-9中任一項(xiàng)所述的人臉識別方法，其特征在于，所述測試過程包括下述步驟a3、首先對數(shù)據(jù)樣本進(jìn)行預(yù)處理，組成測試樣本；b3、利用訓(xùn)練過程中獲得的嵌入矩陣對測試樣本進(jìn)行特征提取，獲得測試樣本映射到低維空間的特征數(shù)據(jù)；c3、將步驟b3所獲得的測試樣本的特征數(shù)據(jù)輸入到已訓(xùn)練好的支持向量機(jī)模型中，進(jìn)行測試樣本的類型識別。全文摘要本發(fā)明公開了一種基于有監(jiān)督的近鄰保持嵌入(SNPE)和支持向量機(jī)(SVM)的人臉識別方法，包括訓(xùn)練過程和測試過程，具體包括下述步驟a.對給定的一組數(shù)據(jù)樣本構(gòu)造一個(gè)權(quán)值矩陣；b.根據(jù)步驟a所得的權(quán)值矩陣，求解關(guān)于數(shù)據(jù)樣本的一個(gè)泛化特征向量問題，尋找到將數(shù)據(jù)樣本映射到低維數(shù)據(jù)空間的嵌入矩陣；c.利用上述嵌入矩陣對數(shù)據(jù)樣本進(jìn)行特征提取，獲得低維空間的特征數(shù)據(jù)；d.采用SVM對步驟c所獲得的特征數(shù)據(jù)進(jìn)行模式分類，實(shí)現(xiàn)對數(shù)據(jù)樣本的類型識別。本發(fā)明提供的人臉識別方法，能夠解決現(xiàn)有技術(shù)中線性降維方法不能很好地保持類內(nèi)及類間的樣本結(jié)構(gòu)、非線性降維方法計(jì)算量大以及普通分類器存在的過學(xué)習(xí)和欠學(xué)習(xí)等問題。文檔編號G06K9/62GK101187986SQ20071011488公開日2008年5月28日申請日期2007年11月27日優(yōu)先權(quán)日2007年11月27日發(fā)明者微劉,鋒郭申請人:海信集團(tuán)有限公司