基于lrr?lda的圖像特征提取方法
【專利摘要】本發(fā)明提出了一種基于LRR?LDA的圖像特征提取方法，用于解決現(xiàn)有方法SRC?DP中存在的所提取樣本特征信息不完整和在樣本類別數(shù)目較大的情況下，識別的有效性差的技術問題。包括如下步驟：1.輸入訓練樣本，給定迭代步長，初始化投影矩陣；2.對訓練樣本進行投影，分別計算投影樣本的類內(nèi)、類間離散度矩陣；3.求解投影樣本的低秩表示系數(shù)矩陣，分別計算投影樣本的類內(nèi)、類間重構(gòu)殘差離散度矩陣；4.構(gòu)造目標函數(shù)求解新的投影矩陣；5.對步驟2?4進行迭代，直至循環(huán)次數(shù)等于迭代步長，輸出最終投影矩陣。本發(fā)明具有圖像分類準確性高的特點,可用于警務系統(tǒng)中人物身份的判別或影像拍攝中物體的查找。
【專利說明】
基于LRR-LDA的圖像特征提取方法
技術領域
[0001] 本發(fā)明屬于圖像處理技術領域，涉及一種圖像特征提取方法，具體涉及一種基于 LRR-LDA的圖像特征提取方法，可用于影像拍攝等領域中物體的查找或者警務系統(tǒng)中人物 身份的判別。
【背景技術】
[0002] 圖像識別是機器學習、模式識別和計算機視覺領域既熱門又具有挑戰(zhàn)性的研究方 向之一，因其具有簡單、高效、安全、低成本等優(yōu)勢現(xiàn)在已經(jīng)廣泛應用在智能交通、生物醫(yī) 學、電子商務、遙感技術、軍事和多媒體網(wǎng)絡通信等領域。圖像識別屬于高維空間下的模式 識別問題。因此在對圖像進行識別時其首先要對圖像進行特征提取，然后在低維的子空間 進行分類判別。由于圖像往往會受到視角、光照、遮擋等成像因素的影響，這給圖像的特征 提取帶來了很大的挑戰(zhàn)。
[0003] 目前，各種特征提取的方法在圖像識別領域得到了廣泛的應用。從原理上主要分 為基于保持流形結(jié)構(gòu)、基于低秩理論和基于稀疏理論三類。其中基于保持流形結(jié)構(gòu)的特征 提取方法是通過尋找一個投影方向，將高維空間的原始樣本降到低維子空間來解決，同時 保持高維空間中樣本流形結(jié)構(gòu)。例如P · N· Belhumeur，J · P ·Hespanha，and D · J ·Kriegman， uEigenfaces vs.Fisherfaces:Recognition Using Class Specific Linear Pro jection /'European Conf · Computer Vision，1996，pp · 45-58，該論文提出了一種代表 性的算法線性判別分析LDA，LDA雖然具有突出的數(shù)據(jù)壓縮能力，能有效地融合訓練樣本的 類別信息，但是用這種方法在進行特征提取時，由于只考慮樣本的整體判別信息，而沒有從 重構(gòu)的角度對樣本進行分析，從而導致分類的結(jié)果不理想。基于低秩理論的特征提取方法 主要是利用低秩表示方法從重構(gòu)的角度對樣本進行處理和分析。例如Liu ,Guangcan， Zhouchen Lin, and Yong Yu."Robust Subspace Segmentation by Low-Rank Representation. 〃ICML. 2010。該論文提出了一種代表性的算法低秩表示LRR，LRR克服了基 于子空間學習的特征提取方法的缺點，然而該方法忽略了數(shù)據(jù)的判別信息，從而使得整體 分類結(jié)果不理想。基于稀疏理論的特征提取方法是基于采樣稀疏信號表示理論，將圖像識 別看作多個線性回歸模型的分類問題，測試樣本可以用訓練樣本庫中同類樣本的線性組合 來表不。例如 Yang J, Chu D , Zhang L, et al .Sparse representation classifier steered discriminative projection with applications to face recognition. IEEE Transactions on Neural Networks&Learning Systems,2013,24(7): 1023-1035。該論文 提出了一種基于判別投影的稀疏表示分類器SRC-DP，SRC-DP解決了 LRR和LDA因為僅考慮樣 本重構(gòu)信息或者僅考慮樣本判別信息導致的識別率較低的問題，主要基于判別信息，通過 殘差重構(gòu)準則進行類別重建，從而實現(xiàn)特征提取的目的。但是SRC-DP由于僅僅考慮了樣本 的局部重構(gòu)和判別信息，忽略了樣本的全局幾何結(jié)構(gòu)，造成提取的樣本特征信息不完整，影 響最終的分類效果，特別是在樣本類別數(shù)目較大的情況下，識別的有效性差。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于克服上述已有技術存在的不足，提出了一種基于LRR-LDA的特 征提取方法，用于解決SRC-DP中存在的所提取樣本特征信息不完整和在樣本類別數(shù)目較大 的情況下，識別的有效性差的技術問題。
[0005] 本發(fā)明的技術關鍵是:在考慮對數(shù)據(jù)重構(gòu)問題的同時，加上了對數(shù)據(jù)整體判別結(jié) 構(gòu)的分析，其實現(xiàn)步驟包括如下：
[0006] (1)將圖像庫中的每一幅圖像轉(zhuǎn)化為列向量并存儲，得到向量集A，從向量集A中抽 取部分向量，構(gòu)成原始空間的訓練樣本集X= [X^X2,…,X1,...，Xc] eRMXN，其中R表示實數(shù) 域，M表示原始空間中訓練樣本的維度，C表示原始空間中訓練樣本的類別數(shù)，
,N1表示第i類的訓練樣本數(shù)
I示所有訓練樣本的總 數(shù)；
[0007] (2)利用編程軟件隨機生成投影矩陣P1GRMxd，其中d為低維空間中訓練樣本的維 度，且d〈〈M;
[0008] (3)對投影矩陣進行更新，令k=l為當前迭代次數(shù)，設最大迭代步數(shù)為m，通過以下 步驟實施；
[0009] (3a)將構(gòu)成原始空間中的訓練樣本集X中的所有訓練樣本，投影到d維空間上，得 到d維空間的訓練樣本集Y = PkTXeRdxN，其中T表示對矩陣進行轉(zhuǎn)置運算；
[0010] (3b)利用線性判別分析方法LDA分別計算得到的d維空間的訓練樣本集Y的類間離 散度矩陣Sb和類內(nèi)離散度矩陣S w;
[0011] (3c)求解d維空間的訓練樣本集Y對應的低秩表示系數(shù)矩陣S，求解表達式為:min S| |*+γ I |E| |2,ls.t.Y=YS+E，其中E為噪聲矩陣，γ為比例系數(shù)，I I I I*表示矩陣的核范數(shù)， I I |21表示矩陣的21范數(shù)；
[0012] (3d)利用求解所得的低秩表示系數(shù)矩陣S分別計算d維空間訓練樣本的類間殘差 離散度矩陣Eb和類內(nèi)殘差離散度矩陣E w;
[0013] (3e)利用計算得到的Sb、Sw、Eb和Ew構(gòu)建廣義特征方程，并求解該廣義特征方程，按 如下步驟實現(xiàn)：
[0014] (3el)構(gòu)建廣義特征方程：（Eb+0Sb)ai = Ai(Ew+0Sw)ai i = l，. . .d;其中權(quán)重系數(shù)β， M為特征值，ai為特征值\1對應的特征向量；
[0015] (3e2)求解廣義特征方程的特征值M，并對d個特征值11由大到小進行排列，滿足A 1 ^ . . . ^ . . . ^ AcJ ；
[0016] (3e3)利用特征值Ai對應的特征向量ai構(gòu)造新的投影矩陣P k+1=[ai，. . .ai，. . .ad];
[0017] ⑷令k = k+l，判斷k與m的大小，當k〈m時，執(zhí)行步驟(3a);當k=m時，輸出最終的投 影矩陣Pm。
[0018] 本發(fā)明與現(xiàn)有技術相比，具有如下優(yōu)點：
[0019] (1)本發(fā)明由于在計算低維空間訓練樣本的類間殘差離散度矩陣和類內(nèi)殘差離散 度矩陣時，利用低維空間的訓練樣本集的低秩表示系數(shù)矩陣，保留了樣本的全局幾何結(jié)構(gòu)， 使得提取的樣本特征信息更加完整，與現(xiàn)有技術SRC-DP中采用低維空間的訓練樣本集的稀 疏表示系數(shù)矩陣求解離散度矩陣相比，提高了樣本分類的準確性。
[0020] (2)本發(fā)明由于在對樣本進行特征提取時，采用迭代方法求解投影矩陣，使得投影 矩陣不斷得到優(yōu)化，保證即使在樣本類別數(shù)目較大的情況下，最終獲得的投影矩陣也可以 很好的提取樣本的特征信息，與現(xiàn)有技術SRC-DP中采用的求解投影矩陣的方式相比，有效 的提高了樣本的分類識別率。
【附圖說明】
[0021] 圖1是本發(fā)明的實現(xiàn)流程圖；
[0022]圖2是用本發(fā)明與現(xiàn)有SRC-DP方法在CMU-PIE圖像數(shù)據(jù)庫中進行圖像分類的實驗 結(jié)果對比圖；
【具體實施方式】
[0023]以下結(jié)合附圖和實施例，對本發(fā)明的技術方案與效果進行詳細描述。
[0024]參照圖1，本發(fā)明的實現(xiàn)步驟如下：
[0025] 步驟1:輸入訓練樣本集。
[0026] 把給定圖像庫中的每一幅圖像轉(zhuǎn)化為列向量并存儲，得到向量集A，從向量集A中 抽取部分向量，構(gòu)成原始空間的訓練樣本集X = [X1，X2，…，Xi，. . .，Xc] e Rmxn，其中R表示實 數(shù)域，M表示原始空間中訓練樣本的維度，C表示原始空間中訓練樣本的類別數(shù)，
N1表示第i類的訓練樣本數(shù)，W = ELM表示所有訓練樣本的總 數(shù)；
[0027]步驟2:初始化投影矩陣。
[0028]為了將原始訓練樣本投影到低維空間，由MATLAB軟件中的rand函數(shù)隨機生成一個 矩陣PieRMxd，其中d為低維空間中訓練樣本的維度，在本發(fā)明中取d=150,即把原始訓練樣 本降到150維。
[0029] 步驟3:給定迭代步長，對投影矩陣進行更新。
[0030] 給定最大迭代步數(shù)m，最大迭代步數(shù)m由收斂效果決定，在本發(fā)明中m=10,設當前 迭代次數(shù)k= 1;通過以下步驟更新投影矩陣。
[0031] 步驟3a:將原始訓練樣本投影到低維空間。
[0032] 將構(gòu)成原始空間中的訓練樣本集X中的所有訓練樣本，投影到d維空間上，得到d維 空間的訓練樣本集Y=PkTX e RdxN，其中T表示對矩陣進行轉(zhuǎn)置運算。
[0033] 步驟3b:計算低維空間中訓練樣本的離散度矩陣。
[0034] 利用線性判別分析方法LDA分別計算低維空間中訓練樣本的類間離散度矩陣Sb和 類內(nèi)離散度矩陣Sw，其計算公式如下：
[0035]
[0036]
[0037] 空間中所有訓練樣本的均值。
[0038] 步驟3c:求解低維空間中訓練樣本的低秩表示系數(shù)矩陣。
[0039] 求解d維空間的訓練樣本集Y對應的低秩表示系數(shù)矩陣S，求解表達式為:min| |S 卜+γ I |E| |2>1 s.t.Y=YS+E，其中E為噪聲矩陣，γ為比例系數(shù)，I I I I*表示矩陣的核范數(shù)，I I21表示矩陣的21范數(shù)，在本發(fā)明中γ =0.7。
[0040] 步驟3d:求解低維空間中訓練樣本的重構(gòu)離散度矩陣。
[0041] 由步驟3c中求解所得的低維空間中訓練樣本的低秩表示系數(shù)矩陣S，分別計算原 始訓練樣本的類間重構(gòu)離散度矩陣Eb和類內(nèi)重構(gòu)離散度矩陣E W，其計算公式如下：
[0042]
[0043]
[0044] 其中，夂(<)表示不同類之間的重構(gòu)系數(shù)向量，該向量中只保留第k類相關的值，其 他的置0,第k類對樣本夂的重構(gòu)表示為 ：i^(^)，k=l，2,...，C且k乒i;4(·^)表示同類之間 的重構(gòu)系數(shù)向量，該向量中只保留第i類相關的值，其他的置0,第i類對樣本g的重構(gòu)表示 為剛)。
[0045] 步驟3e:構(gòu)建目標函數(shù)。
[0046]根據(jù)步驟3b和步驟3d計算出的離散度矩陣Sb、Sw、Eb和E w，由最大化類間離散度矩 陣Sb和類間重構(gòu)尚散度矩陣Eb，以及最小化類內(nèi)尚散度矩陣Sw和類內(nèi)重構(gòu)尚散度矩陣Ew，構(gòu) 建如下目標函數(shù)：
[0047]
[0048]其中tr( ·)是對矩陣的跡操作算子。權(quán)重系數(shù)β，用來調(diào)節(jié)判別結(jié)構(gòu)與重構(gòu)結(jié)構(gòu)的 比例關系，β取值范圍為[0，1]，在本發(fā)明中認為判別結(jié)構(gòu)與重構(gòu)結(jié)構(gòu)其同等重要作用，因此 β=1ο
[0049] 步驟3f:求解目標函數(shù)，得到新的投影矩陣。
[0050] 首先，利用拉格朗日乘數(shù)法將目標函數(shù)的求解轉(zhuǎn)化為計算廣義特征方程對應的特 征向量，其中廣義特征方程可以寫為：
[0051] (Eb+PSb)ai = Ai(Ew+PSw)ai i = I, . . .d；
[0052] Ai為特征值，ai為特征值\1對應的特征向量；
[0053]其次，求解構(gòu)建的廣義特征方程表達式中特征值\，并對d個特征值由大到小進行 排列，滿足..彡Xi...彡Ad;
[0054] 最后，利用特征值Ai對應的特征向量ai構(gòu)造新的投影矩陣Pk+1=[ ai，. . .ai，. . .ad];
[0055] 步驟4:判斷迭代條件，直到輸出最終投影矩陣。
[0056] 令k = k+l，判斷k與m的大小，當k〈m時，執(zhí)行步驟3a;當k = m時，輸出最終的投影矩 陣Pm 〇
[0057]以下結(jié)合仿真實驗，對本發(fā)明的技術效果作進一步說明：
[0058] 1.仿真條件和內(nèi)容
[0059] 1.1仿真條件
[0060]選取CMU-PIE數(shù)據(jù)庫在MATLAB軟件上進行仿真實驗。其中CMU-PIE數(shù)據(jù)庫由美國卡 耐基梅隆大學創(chuàng)建，該庫是由68位志愿者在13種不同姿態(tài)、4種不同表情和43種不同光照的 條件下拍攝的超過40000張的人臉圖像組成。每張圖像被裁剪成大小為64*64個像素的圖 像。
[0061] 1.2仿真內(nèi)容：
[0062] 用本發(fā)明與現(xiàn)有SRC-DP方法進行圖像分類的仿真實驗對比，其結(jié)果如圖2所示。實 驗過程中，為了避免過擬合現(xiàn)象，在執(zhí)行本發(fā)明和現(xiàn)有算法SRC-DP前首先用主成分分析PCA 對數(shù)據(jù)樣本預降維，降到150維，然后利用每種方法計算出的投影矩陣對測試樣本進行投 影，即對測試樣本進行特征提取，最后利用稀疏表示分類器對處理后測試樣本進行分類，得 出分類識別率，其中識別率高則表示提取的特征更好。在CMU-PIE數(shù)據(jù)庫上，用本發(fā)明和現(xiàn) 有SRC-DP特征提取方法進行4組對比實驗，每組實驗分別選擇25類、40類、55類、68類圖像作 為樣本，每類樣本中隨機選取30張圖片作為訓練，其余圖像作為測試樣本。
[0063] 2.仿真結(jié)果分析
[0064] 參照圖2,當樣本類別數(shù)為25類和40類時，現(xiàn)有方法SRC-DP的識別率在97%左右， 本發(fā)明識別率在98 %左右；當樣本類別數(shù)為55類時和68類時，現(xiàn)有方法SRC-DP的識別率分 別降到了96.23%和95.57%，本發(fā)明識別率依然可以達到97.80%和97.69%。因此，本發(fā)明 在四組實驗中的樣本分類識別率均高于現(xiàn)有方法SRC-DP，尤其當類別數(shù)目較多時，本發(fā)明 方法識別效果明顯優(yōu)于SRC-DP，這表明與現(xiàn)有方法SRC-DP相比，當樣本類別數(shù)目較大的情 況下，本發(fā)明具有更好的識別有效性。
【主權(quán)項】
1. 一種基于LRR-LDA的圖像特征提取方法，包括如下步驟： (1) 將圖像庫中的每一幅圖像轉(zhuǎn)化為列向量并存儲，得到向量集A，從向量集A中抽取部分 向量，構(gòu)成原始空間的訓練樣本集X=[Xi，X2,...，Xi,...，Xc]eR MXN，其中R表示實數(shù)域，M表示原 始空間中訓練樣本的維度，C表示原始空間中訓練樣本的類別數(shù)，Λ =[?，··…A]^RU", &表示第i類的訓練樣本數(shù)，iV = Μ表示所有訓練樣本的總數(shù)； (2) 利用編程軟件隨機生成投影矩陣PieRMxd，其中d為低維空間中訓練樣本的維度，且 d?M； (3) 對投影矩陣進行更新，令k=l為當前迭代次數(shù)，設最大迭代步數(shù)為m，通過以下步驟 實施； (3a)將構(gòu)成原始空間中的訓練樣本集X中的所有訓練樣本，投影到d維空間上，得到d維 空間的訓練樣本集F = P/.Xe #'其中T表示對矩陣進行轉(zhuǎn)置運算； (3b)利用線性判別分析方法LDA分別計算得到的d維空間的訓練樣本集Y的類間離散度 矩陣Sb和類內(nèi)離散度矩陣Sw; (3c)求解d維空間的訓練樣本集Y對應的低秩表示系數(shù)矩陣S，求解表達式為:min| |S| I* + γ I |E| |2>1 s.t. Y=YS+E，其中E為噪聲矩陣，γ為比例系數(shù)，I I I I*表示矩陣的核范數(shù)，I 121表示矩陣的21范數(shù)； (3d)利用求解所得的低秩表示系數(shù)矩陣S分別計算d維空間訓練樣本的類間殘差離散 度矩陣Eb和類內(nèi)殘差離散度矩陣Ew; (3e)利用計算得到的Sb、Sw、Eb和Ew構(gòu)建廣義特征方程，并求解該廣義特征方程，按如下 步驟實現(xiàn)： (3el)構(gòu)建廣義特征方程：（Eb+0Sb)ai = Ai(Ew+0Sw)ai i = l其中權(quán)重系數(shù)β*為 特征值，ai為特征值&對應的特征向量； (3e2)求解廣義特征方程的特征值，并對d個特征值11由大到小進行排列，滿足λ: ^ ^ λ?. . . ^ ； (3e3)利用特征值人1對應的特征向量ai構(gòu)造新的投影矩陣Pk+1=[ai，. . .ai，. . .ad]; (4) 令k = k+l，判斷k與m的大小，當k〈m時，執(zhí)行步驟(3a);當k=m時，輸出最終的投影矩 陣Pm〇2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟(3b)中所述的利用線性判別分析方法 LDA分別計算得到的d維空間的訓練樣本集Y的類間離散度矩陣Sb和類內(nèi)離散度矩陣Sw，通過 如下公式計算：其中乂 e#是低維空間中第i類的第j個訓練樣本，mi是訓練樣本d維空間中第i類訓練 樣本的均值，m是d維空間中所有訓練樣本的均值。3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟(3d)中所述的利用求解所得的d維空 間的訓練樣本集Y的低秩表示矩陣S，分別計算d維空間訓練樣本的類間殘差離散度矩陣Eb 和類內(nèi)殘差離散度矩陣Ew，通過如下公式計算：其中，4(以表示不同類之間的重構(gòu)系數(shù)向量，該向量中只保留第k類相關的值，其他的 置〇,第k類對樣本％的重構(gòu)表示為彳），k=l，2,...，C且k乒表示同類之間的重 構(gòu)系數(shù)向量，該向量中只保留第i類相關的值，其他的置〇,第i類對樣本^的重構(gòu)表示為 Yd{s))〇
【文檔編號】G06K9/62GK106056131SQ201610334078
【公開日】2016年10月26日
【申請日】2016年5月19日
【發(fā)明人】王前前, 劉陽, 高全學
【申請人】西安電子科技大學