專利名稱：一種實(shí)時(shí)魯棒的遠(yuǎn)紅外車載行人檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺與模式識別、智能交通系統(tǒng)(intelligenttransportation systems, ITS)領(lǐng)域,具體為一種基于遠(yuǎn)紅外視頻的車載行人檢測方法。
背景技術(shù)：
汽車駕駛輔助系統(tǒng)中的車載行人檢測是智能交通系統(tǒng)的一個(gè)重要組成部分，該研究主題直接來源于社會與市場需求，具有較好的應(yīng)用前景和市場價(jià)值。因夜間所致機(jī)動車輛交通事故而造成的人員傷亡約為白天的3 4倍(C.Fors, S.-0.Lundkvist,Night-time traffic in urban areas: a literature review on road user aspects,Technical Report, VTI rapport 650A， 2009)。公路運(yùn)輸在我國綜合運(yùn)輸市場中發(fā)揮著舉足輕重的作用，承擔(dān)著90%以上的份額。隨著汽車市場的快速發(fā)展和安防意識的日益強(qiáng)化，人們對汽車安全保障技術(shù)的需求越來越高。在雨夜、雪天或大霧等能見度較低的情況下，現(xiàn)有汽車照明系統(tǒng)視距不遠(yuǎn)、效果不佳的弊端已成為汽車行駛的安全隱患之一；減少道路交通事故和人員傷亡已成為全社會廣為關(guān)注的問題。探索車載夜間行人檢測方法尤為迫切。目前，基于遠(yuǎn)紅外探測器的車載夜間行人檢測輔助系統(tǒng)已被少數(shù)發(fā)達(dá)國家應(yīng)用于高檔豪華轎車，在國內(nèi)，已有相關(guān)的技術(shù)研究和少量應(yīng)用，但是，不僅缺乏系統(tǒng)的基礎(chǔ)性工作，而且多個(gè)技術(shù)挑戰(zhàn)亟待解決。紅外行人檢測方法主要包括感興趣區(qū)域提取和行人識別兩個(gè)部分。根據(jù)行人目標(biāo)區(qū)域往往比背景亮度高的特點(diǎn)，提取紅外圖像的感興趣區(qū)域通常首選閾值分割法。全局閾值分割法(如 M.Bertozzi, A.Broggi, C.H.Gomez, R.1.Fedriga, G.Vezzoni,M.Del Rose, Pedestrian detection in far infrared images based on the useof probabilistic templates, in: Proceedings of IEEE Intelligent VehiclesSymposium, 2007)計(jì)算簡單,執(zhí)行速度快,但未能較好處理不同圖像巾貞的行人目標(biāo)在外觀表象上的差異，經(jīng)常導(dǎo)致目標(biāo)分割結(jié)果不完整。為此，出現(xiàn)了更為魯棒的局部閾值分割法(如 J.F.Ge, Y.P.Luo, G.M.Tei, Real-time pedestrian detection and trackingat nighttime for driver-assistance systems, IEEE Transactions on IntelligentTransportation Systems, 2009),這類方法通過局部鄰域像素的灰度統(tǒng)計(jì)分布規(guī)律確定每一個(gè)像素的劃分閾值。受可見光圖像中滑窗方法的啟發(fā)，Sun(H.Sun, C.Wang, B.L.Wang, N.El-Sheimy, Pyramid binary pattern features for real-time pedestriandetection from infrared videos, Neurocomputing, 2011)針對基于紅外視頻的實(shí)時(shí)行人檢測提出一種局部滑窗法，通過掃描圖像中的關(guān)鍵點(diǎn)，在所有關(guān)鍵點(diǎn)鄰域范圍內(nèi)利用滑窗法搜索行人候選區(qū)域。然而，已有的感興趣區(qū)域提取方法大多針對整個(gè)圖像空間進(jìn)行搜索，搜索空間較大造成計(jì)算開銷較高，直接影響檢測系統(tǒng)的實(shí)時(shí)性。即使利用了局部滑窗法，關(guān)鍵點(diǎn)的提取仍然依賴于對整幅輸入圖像進(jìn)行掃描，獲得關(guān)鍵點(diǎn)數(shù)量也較為可觀，時(shí)間開銷問題仍然未得到較好解決。常用的行人識別方法主要分為模板匹配法和學(xué)習(xí)判別法。模板匹配法(如D.0lmeda, A.de la Escalera, J.M.Armingol, Detection and tracking of pedestriansin infrared images, in: Proceedings of International Conference on Signals,Circuits and Systems, 2009)通過歸納表征行人的外觀模式、運(yùn)動規(guī)律和特征的判斷規(guī)則或描述性知識，構(gòu)造相應(yīng)的行人模板，進(jìn)而采用這些模板對感興趣區(qū)域進(jìn)行匹配識另1J。學(xué)習(xí)判別法(如 R.0’Malley, E.Jones, M.Glavin, Detection of pedestriansin far-1nfrared automotive night vision using region-growing and clothingdistortion compensation, Infrared Physics & Technology, 2010)結(jié)合不同的行人描述特征和學(xué)習(xí)算法，對大量樣本進(jìn)行學(xué)習(xí)獲得行人分類器，再利用行人分類器進(jìn)行在線行人識別。在模板匹配法中，由于行人外觀模式和某些規(guī)律、特征的多變性和復(fù)雜性，對其進(jìn)行歸納、描述的準(zhǔn)確程度受到限制，很難設(shè)計(jì)魯棒可行的行人模板庫，且規(guī)模龐大的行人模板庫將明顯增加識別環(huán)節(jié)的計(jì)算開銷，影響檢測系統(tǒng)的實(shí)時(shí)性。所以一個(gè)時(shí)期以來，學(xué)習(xí)判別法較為流行，這類方法利用行人和背景在外觀表象方面體現(xiàn)出來的統(tǒng)計(jì)規(guī)律，通過提取目標(biāo)的抽象特征，離線訓(xùn)練行人分類器，從而對在線感興趣區(qū)域進(jìn)行判斷。在學(xué)習(xí)判別法中，行人目標(biāo)的特征表示方法對行人識別效果有顯著性影響。梯度方向直方圖特征能夠有效描述行人的局部邊緣輪廓特性，能夠在一定程度上保證行人檢測的準(zhǔn)確率，已成為目前行人檢測的主流特征提取方法之一(D.Geronimo, A.M.Lopez, A.D.Sappa, T.Graf, Survey of pedestrian detection for advanceddriver assistance systems, IEEE Transactions on Pattern Analysis and MachineIntelligence, 2010)。然而，不同于可見光圖像中的行人目標(biāo)，遠(yuǎn)紅外圖像中的行人目標(biāo)一般具有較為顯著的邊緣輪廓，但缺乏豐富的內(nèi)部紋理信息；梯度方向直方圖特征長于描述目標(biāo)的局部形狀特征，而不擅提取目標(biāo)內(nèi)部的紋理特征。傳統(tǒng)的梯度方向直方圖特征多半有效描述了紅外行人目標(biāo)的邊緣輪廓區(qū)域；但是，尚未涉及深入針對紅外圖像的特性和梯度方向直方圖特征不擅提取目標(biāo)紋理信息的特性，進(jìn)一步發(fā)掘強(qiáng)化梯度方向直方圖特征對紅外行人的表征能力的新方法。支持向量機(jī)和各類boosting 方法(D.Geronimo, A.M.Lopez, A.D.Sappa, T.Graf, Survey of pedestrian detection for advanced driver assistance systems,IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010)是行人檢測中經(jīng)常使用的學(xué)習(xí)算法。但是，行人分類器的離線訓(xùn)練機(jī)制的研究(S.Walk, N.Majer,K.Schindler, B.Schiele, New features and insights for pedestrian detection,in: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,2010)目前尚未得到足夠重視。研究表明，在初始訓(xùn)練樣本集和判別規(guī)則已經(jīng)確定的前提下，訓(xùn)練機(jī)制將影響行人分類器的泛化能力。尤其對于汽車駕駛輔助系統(tǒng)中行人檢測這類開放性的目標(biāo)檢測問題，行人和背景模式都存在由大范圍的外觀/尺度變化等因素造成的差異性，僅通過簡單方式獲取訓(xùn)練樣本集，而對樣本集容量的選取、樣本的代表性考慮尚缺乏充分的依據(jù)，分類器泛化能力明顯受到影響。 綜上所述，盡管目前的紅外車載行人檢測方法已經(jīng)初有成效，但在檢測準(zhǔn)確率、檢測效率和魯棒性方面仍然迫切需要進(jìn)一步改進(jìn)。

發(fā)明內(nèi)容
本發(fā)明的在于提供一種實(shí)時(shí)魯棒的遠(yuǎn)紅外車載行人檢測方法，旨在促進(jìn)解決已有的遠(yuǎn)紅外行人檢測方法的檢測準(zhǔn)確率不達(dá)標(biāo)和/或不盡如人意、實(shí)時(shí)性需要提高、魯棒性不強(qiáng)等問題，改善夜間車載行人檢測系統(tǒng)的可用性。一種實(shí)時(shí)魯棒的遠(yuǎn)紅外車載行人檢測方法，其包括如下步驟:(I)通過基于像素梯度垂直投影法捕捉輸入圖像序列中的行人預(yù)選區(qū)域；(2)采用局部閾值化方法和形態(tài)學(xué)后處理技術(shù)從行人預(yù)選區(qū)域中提取感興趣區(qū)域(regions of interest, ROIs)；(3)提取多級熵加權(quán)梯度方向直方圖特征(pyramid entropy weightedhistograms of oriented gradients, PEWHOG)描述感興趣區(qū)域；(4)利用支持向量機(jī)(support vector machine, SVM)算法離線訓(xùn)練行人分類器；(5)利用行人分類器在線判斷感興趣區(qū)域，并通過多幀校驗(yàn)方法篩選行人分類器的判斷結(jié)果，實(shí)現(xiàn)行人檢測。進(jìn)一步的，步驟(I)所述行人預(yù)選區(qū)域通過以下方法獲得:利用遠(yuǎn)紅外圖像中行人垂直邊緣區(qū)域呈現(xiàn)像素灰度快速變化的特性，通過基于像素梯度的垂直投影捕捉輸入圖像中亮度發(fā)生突變的區(qū)域作為行人預(yù)選區(qū)域，改善提取感興趣區(qū)域的實(shí)時(shí)性。進(jìn)一步的，步驟(2)所述局部閾值化方法是根據(jù)輸入圖像中每個(gè)像素水平鄰域的像素灰度值的統(tǒng)計(jì)特性確定劃分閾值，對輸入圖像進(jìn)行二值化處理得到二值圖像；步驟(2)所述形態(tài)學(xué)后處理技術(shù)具體是通過形態(tài)學(xué)腐蝕運(yùn)算濾除二值圖像中的噪聲像素，并利用形態(tài)學(xué)膨脹運(yùn)算填補(bǔ)弱連接區(qū)域(weakly connected regions),再利用8_連通標(biāo)記法提取所述二值圖像中的所有連通區(qū)域作為感興趣區(qū)域。進(jìn)一步的，步驟(4)所述離線訓(xùn)練行人分類器具體指:收集含有行人的圖片樣本和僅含有背景的圖片樣本構(gòu)成訓(xùn)練樣本空間，根據(jù)所述含有行人的圖片樣本的三個(gè)高度區(qū)間劃分訓(xùn)練樣本空間，構(gòu)成三個(gè)互不相交的訓(xùn)練子集；所述高度是指含有行人的圖片樣本在垂直方向上包含的像素?cái)?shù)；分別提取各個(gè)訓(xùn)練子集的多級熵加權(quán)梯度方向直方圖特征，采用迭代收集困難樣本的訓(xùn)練機(jī)制對各個(gè)訓(xùn)練子集進(jìn)行學(xué)習(xí)；所述學(xué)習(xí)采用基于直方圖交叉核(histogram intersection kernel, HIK)的支持向量機(jī)學(xué)習(xí)算法,獲得三分支結(jié)構(gòu)的支持向量機(jī)行人分類器。進(jìn)一步的，通過手工裁剪和/或步驟⑴ 步驟(2)所述的方法獲取含有行人的圖片樣本和僅含有背景的圖片樣本，組成所述訓(xùn)練樣本空間；所有圖片樣本的高度均大于或等于12個(gè)像素:高度大于或等于64個(gè)像素的歸為近距離樣本子集，并將近距離樣本子集中的樣本尺度調(diào)整為32像素X 80像素；高度大于或等于32個(gè)像素且小于64個(gè)像素的歸為中等距離樣本子集，并將中距離樣本子集中的樣本尺度調(diào)整為24像素X 64像素；其余歸為遠(yuǎn)距離樣本子集，并將遠(yuǎn)距離樣本子集中的樣本尺度調(diào)整為12像素X 32像素；所述尺度調(diào)整均采用雙線性插值法實(shí)現(xiàn)。進(jìn)一步的，在多種單元格(cell)粒度劃分方式下提取熵加權(quán)梯度方向直方圖特征(entropy weighted histograms of oriented gradients, EWHOG),通過并接方式組成步驟(3)所述的多級熵加權(quán)梯度方向直方圖特征；所述多種單元格(cell)粒度劃分方式是指通過由粗到細(xì)的分級方式對圖片樣本進(jìn)行單元格劃分；步驟(3)所述多級熵加權(quán)梯度方向直方圖特征用于顯著表征遠(yuǎn)紅外行人邊緣輪廓的空間分布特性；所述熵加權(quán)梯度方向直方圖特征是利用信息熵對經(jīng)典梯度方向直方圖特征(histograms of orientedgradients, HOG)中不同塊(block)提供的梯度方向直方圖特征分量進(jìn)行加權(quán)得到的特征。進(jìn)一步的，所述迭代收集困難樣本的訓(xùn)練機(jī)制為:行人分類器的離線訓(xùn)練過程結(jié)合自舉法(bootstrapping)和提前終止法(early-stopping strategy),迭代收集困難樣本并進(jìn)行行人分類器訓(xùn)練，當(dāng)行人分類器在驗(yàn)證集上的全局分類準(zhǔn)確率的增量小于預(yù)定的閾值時(shí)停止迭代過程；所述迭代指反復(fù)收集困難樣本和調(diào)整分類器的決策超平面，輸出泛化能力較強(qiáng)的行人分類器；所述驗(yàn)證集為與訓(xùn)練集不相交的圖片樣本集和/或視頻集；所述驗(yàn)證集與訓(xùn)練集均屬于圖片樣本集；所述視頻集是包含客觀標(biāo)準(zhǔn)的視頻集，且訓(xùn)練集不從這個(gè)視頻集中獲取。進(jìn)一步的，步驟(5)分兩步實(shí)現(xiàn)行人檢測，第一步是利用行人分類器在線判斷感興趣區(qū)域，第二步是通過多幀校驗(yàn)方法篩選行人分類器的判斷結(jié)果；所述通過多幀校驗(yàn)方法篩選行人分類器的判斷結(jié)果是指:對連續(xù)多幀圖像中均出現(xiàn)的同一目標(biāo)且被行人分類器連續(xù)判斷為行人的結(jié)果給予保留，而對連續(xù)多幀圖像中均出現(xiàn)的同一目標(biāo)而未被行人分類器連續(xù)判斷為行人的結(jié)果給予排除。與現(xiàn)有遠(yuǎn)紅外夜間車載行人檢測技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)和效果:本發(fā)明的步驟(I)和步驟(2)所述的方法既能夠更準(zhǔn)確地搜索感興趣區(qū)域，又能明顯提高感興趣區(qū)域提取階段的處理速度；步驟(3)所述的多級熵加權(quán)梯度方向直方圖特征能夠更為精細(xì)地描述遠(yuǎn)紅外行人目標(biāo)，明顯提高遠(yuǎn)紅外行人檢測的準(zhǔn)確率；行人分類器的離線迭代訓(xùn)練機(jī)制有利于收集難以通過手工方式獲得的困難負(fù)樣本，有效改善行人分類器的魯棒性；且這種迭代訓(xùn)練機(jī)制適合但不限于遠(yuǎn)紅外夜間車載行人檢測分類器的訓(xùn)練過程。本發(fā)明行人分類器的訓(xùn)練過程在兩個(gè)獨(dú)立的遠(yuǎn)紅外視頻集上進(jìn)行，分別用作產(chǎn)生困難樣本的原始視頻集和驗(yàn)證視頻集，兩個(gè)視頻集中都包含經(jīng)人工標(biāo)記的客觀標(biāo)準(zhǔn)(ground truth)。因此,該方法并非單純依賴通過人工收集和/或隨機(jī)篩選的正負(fù)圖片樣本集產(chǎn)生困難樣本，由此可以避免人工收集和/或隨機(jī)篩選的樣本過于簡單而無助于提高行人分類器的魯棒性的問題。本發(fā)明的另一個(gè)優(yōu)勢在于不僅能檢測處于靜止、行走或者跑步等運(yùn)動方式下的直立行人，還適合檢測騎自行車或摩托車的人體。


圖1為實(shí)施方式中遠(yuǎn)紅外車載行人檢測方法的原理流程實(shí)施例圖。圖2為實(shí)施方式中提取多級熵加權(quán)梯度方向直方圖特征過程中由粗到細(xì)進(jìn)行多級單元格多粒度劃分的實(shí)施例示意圖。圖3為實(shí)施方式中基于熵加權(quán)梯度方向直方圖特征EWH0G、多級熵加權(quán)梯度方向直方圖特征PEWH0G，以及基于經(jīng)典梯度方向直方圖特征HOG的描述方法下行人分類器分類效果的接收器工作曲線(receiver operating characteristic, ROC)對比實(shí)施例圖。
圖4為實(shí)施方式中三分支結(jié)構(gòu)支持向量機(jī)行人分類器的結(jié)構(gòu)實(shí)施例圖。圖5a為實(shí)施方式中迭代訓(xùn)練機(jī)制下迭代次數(shù)與系統(tǒng)性能之間的關(guān)系實(shí)施例圖。圖5b為實(shí)施方式中迭代訓(xùn)練機(jī)制下迭代次數(shù)與總的誤檢次數(shù)之間的關(guān)系實(shí)施例圖。圖6a為實(shí)施方式中一幀原始輸入圖像的實(shí)施例圖。圖6b為實(shí)施方式中圖6a所示輸入圖像的二值梯度圖像的實(shí)施例圖。圖6c為實(shí)施方式中所得梯度垂直投影曲線實(shí)施例圖。圖6d為實(shí)施方式中所得行人預(yù)選區(qū)域?qū)嵤├龍D。圖6e為實(shí)施方式中經(jīng)局部閾值化方法和形態(tài)學(xué)后處理技術(shù)處理后的二值分割結(jié)果實(shí)施例圖。圖6f為實(shí)施方式中感興趣區(qū)域ROIs的提取結(jié)果實(shí)施例圖。
具體實(shí)施例方式以下結(jié)合附圖給出詳細(xì)的實(shí)施例 操作過程。附圖所示實(shí)施例以本發(fā)明技術(shù)方案為前提，附圖所述的實(shí)施例屬于但不限于本發(fā)明保護(hù)范圍。本發(fā)明方法的整體流程如圖1所示，本發(fā)明方法主體包括兩部分:行人分類器的離線訓(xùn)練和行人的在線檢測。(I)行人分類器的離線訓(xùn)練訓(xùn)練樣本準(zhǔn)備:所有訓(xùn)練樣本均取自實(shí)拍的遠(yuǎn)紅外視頻，其中，為數(shù)約1/2的訓(xùn)練樣本通過人工裁剪的方式從遠(yuǎn)紅外視頻中獲得，其余訓(xùn)練樣本通過本發(fā)明步驟(I)和步驟
(2)所述的方法獲得，所有訓(xùn)練樣本均為圖片樣本，其中，正樣本為包含行人的圖片樣本，具體為處于靜止、行走或者跑步等運(yùn)動狀態(tài)的直立行人或騎自行車/摩托車的人體；負(fù)樣本為僅包含背景的圖片樣本。根據(jù)正樣本高度區(qū)間將訓(xùn)練樣本空間劃分為三個(gè)互不相交的子空間(訓(xùn)練子集)，并分別采用雙線性插值法對圖片樣本進(jìn)行相應(yīng)的尺度調(diào)整。所有訓(xùn)練樣本高度均大于或等于12個(gè)像素，所述訓(xùn)練樣本高度是指圖片樣本在垂直方向上包含的像素?cái)?shù)。高度大于或等于64個(gè)像素的歸為近距離訓(xùn)練樣本子集，并將該子集中的樣本尺度調(diào)整為32像素X80像素；高度大于或等32個(gè)像素且小于64個(gè)像素的歸為中等距離訓(xùn)練樣本子集，并將該子集中的樣本尺度調(diào)整為24像素X64像素；其余歸為遠(yuǎn)距離訓(xùn)練樣本子集，并將該子集中的樣本尺度調(diào)整為12像素X 32像素。(2)提取所有樣本的多級熵加權(quán)梯度方向直方圖特征在計(jì)算經(jīng)典的梯度方向直方圖特征的基礎(chǔ)上，利用熵(entropy)的概念對局部塊(block)內(nèi)像素梯度的分布特性進(jìn)行描述，并以此作為權(quán)重對相應(yīng)塊(block)提供的梯度方向直方圖特征分量進(jìn)行加權(quán)。第k個(gè)塊(block)提供的熵Wk為
權(quán)利要求
1.一種實(shí)時(shí)魯棒的遠(yuǎn)紅外車載行人檢測方法，其特征在于包括如下步驟: (1)通過基于像素梯度垂直投影法捕捉輸入圖像序列中的行人預(yù)選區(qū)域； (2)采用局部閾值化方法和形態(tài)學(xué)后處理技術(shù)從行人預(yù)選區(qū)域中提取感興趣區(qū)域(regions of interest, ROIs)； (3)提取多級熵加權(quán)梯度方向直方圖特征(pyramidentropy weighted histograms oforiented gradients, PEWHOG)描述感興趣區(qū)域； (4)利用支持向量機(jī)(supportvector machine, SVM)算法離線訓(xùn)練行人分類器； (5)利用行人分類器在線判斷感興趣區(qū)域，并通過多幀校驗(yàn)方法篩選行人分類器的判斷結(jié)果，實(shí)現(xiàn)行人檢測。
2.根據(jù)權(quán)利要求1所述實(shí)時(shí)魯棒的遠(yuǎn)紅外車載行人檢測方法，其特征在于，步驟(I)所述行人預(yù)選區(qū)域通過以下方法獲得:利用遠(yuǎn)紅外圖像中行人垂直邊緣區(qū)域呈現(xiàn)像素灰度快速變化的特性，通過基于像素梯度的垂直投影捕捉輸入圖像中亮度發(fā)生突變的區(qū)域作為行人預(yù)選區(qū)域，改善提取感興趣區(qū)域的實(shí)時(shí)性。
3.根據(jù)權(quán)利要求1所述實(shí)時(shí)魯棒的遠(yuǎn)紅外車載行人檢測方法，其特征在于，步驟(2)所述局部閾值化方法是根據(jù)輸入圖像中每個(gè)像素水平鄰域的像素灰度值的統(tǒng)計(jì)特性確定劃分閾值，對輸入圖像進(jìn)行二值化處理得到二值圖像；步驟(2)所述形態(tài)學(xué)后處理技術(shù)具體是通過形態(tài)學(xué)腐蝕運(yùn)算濾除二值圖像中的噪聲像素，并利用形態(tài)學(xué)膨脹運(yùn)算填補(bǔ)弱連接區(qū)域(weakly connected regions),再利用8_連通標(biāo)記法提取所述二值圖像中的所有連通區(qū)域作為感興趣區(qū)域。
4.根據(jù)權(quán)利要求1所述實(shí)時(shí)魯棒的遠(yuǎn)紅外車載行人檢測方法，其特征在于，步驟(4)所述離線訓(xùn)練行人分類器具體 指:收集含有行人的圖片樣本和僅含有背景的圖片樣本構(gòu)成訓(xùn)練樣本空間，根據(jù)所述含有行人的圖片樣本的三個(gè)高度區(qū)間劃分訓(xùn)練樣本空間，構(gòu)成三個(gè)互不相交的訓(xùn)練子集；所述高度是指含有行人的圖片樣本在垂直方向上包含的像素?cái)?shù)；分別提取各個(gè)訓(xùn)練子集的多級熵加權(quán)梯度方向直方圖特征，采用迭代收集困難樣本的訓(xùn)練機(jī)制對各個(gè)訓(xùn)練子集進(jìn)行學(xué)習(xí)；所述學(xué)習(xí)采用基于直方圖交叉核(histogram intersectionkernel, HIK)的支持向量機(jī)學(xué)習(xí)算法，獲得三分支結(jié)構(gòu)支持向量機(jī)行人分類器。
5.根據(jù)權(quán)利要求4所述實(shí)時(shí)魯棒的遠(yuǎn)紅外車載行人檢測方法，其特征在于通過手工裁剪和/或步驟(I) 步驟(2)所述的方法獲取含有行人的圖片樣本和僅含有背景的圖片樣本，組成所述訓(xùn)練樣本空間；所有圖片樣本的高度均大于或等于12個(gè)像素:高度大于或等于64個(gè)像素的歸為近距離樣本子集，并將近距離樣本子集中的樣本尺度調(diào)整為32像素X80像素；高度大于或等于32個(gè)像素且小于64個(gè)像素的歸為中等距離樣本子集，并將中距離樣本子集中的樣本尺度調(diào)整為24像素X 64像素；其余歸為遠(yuǎn)距離樣本子集，并將遠(yuǎn)距離樣本子集中的樣本尺度調(diào)整為12像素X32像素；所述尺度調(diào)整均采用雙線性插值法實(shí)現(xiàn)。
6.根據(jù)權(quán)利要求1所述實(shí)時(shí)魯棒的遠(yuǎn)紅外車載行人檢測方法，其特征在于在多種單元格(cell)粒度劃分方式下提取熵加權(quán)梯度方向直方圖特征(entropy weightedhistograms of oriented gradients, EWHOG),通過并接方式組成步驟(3)所述的多級熵加權(quán)梯度方向直方圖特征；所述多種單元格(cell)粒度劃分方式是指通過由粗到細(xì)的分級方式對圖片樣本進(jìn)行單元格劃分；步驟(3)所述多級熵加權(quán)梯度方向直方圖特征用于顯著表征遠(yuǎn)紅外行人邊緣輪廓的空間分布特性；所述熵加權(quán)梯度方向直方圖特征是利用信息熵對經(jīng)典梯度方向直方圖特征(histograms of oriented gradients, HOG)中不同塊(block)提供的梯度方向直方圖特征分量進(jìn)行加權(quán)得到的特征。
7.根據(jù)權(quán)利要求4所述實(shí)時(shí)魯棒的遠(yuǎn)紅外車載行人檢測方法，其特征在于所述迭代收集困難樣本的訓(xùn)練機(jī)制為:行人分類器的離線訓(xùn)練過程結(jié)合自舉法(bootstrapping)和提前終止法(early-stopping strategy),迭代收集困難樣本并進(jìn)行行人分類器訓(xùn)練，當(dāng)行人分類器在驗(yàn)證集上的全局分類準(zhǔn)確率的增量小于預(yù)定的閾值時(shí)停止迭代過程；所述迭代指反復(fù)收集困難樣本和調(diào)整分類器的決策超平面，輸出泛化能力較強(qiáng)的行人分類器；所述驗(yàn)證集為與訓(xùn)練集不相交的圖片樣本集和/或視頻集。
8.根據(jù)權(quán)利要求1所述實(shí)時(shí)魯棒的遠(yuǎn)紅外車載行人檢測方法，其特征在于，步驟(5)分兩步實(shí)現(xiàn)行人檢測，第一步是利用行人分類器在線判斷感興趣區(qū)域，第二步是通過多幀校驗(yàn)方法篩選行人分類器的判斷結(jié)果；所述通過多幀校驗(yàn)方法篩選行人分類器的判斷結(jié)果是指:對連續(xù)多幀圖像中均出現(xiàn)的同一目標(biāo)且被行人分類器連續(xù)判斷為行人的結(jié)果給予保留，而對連續(xù)多幀圖像中均出現(xiàn)的同一目標(biāo)而未被行人分類器連續(xù)判斷為行人的結(jié)果給予排 除。
全文摘要
本發(fā)明公開一種實(shí)時(shí)魯棒的遠(yuǎn)紅外車載行人檢測方法。該方法利用像素梯度的垂直投影捕捉輸入圖像中潛在的行人預(yù)選區(qū)域，采用局部閾值化方法和形態(tài)學(xué)后處理技術(shù)從行人預(yù)選區(qū)域中搜索感興趣區(qū)域；提取多級熵加權(quán)梯度方向直方圖特征描述感興趣區(qū)域并輸入支持向量機(jī)行人分類器進(jìn)行在線感興趣區(qū)域判斷，通過多幀校驗(yàn)篩選行人分類器判斷結(jié)果實(shí)現(xiàn)行人檢測。根據(jù)樣本高度分布劃分訓(xùn)練樣本空間，構(gòu)建三分支結(jié)構(gòu)的分類框架；結(jié)合自舉法和提前終止法迭代收集困難樣本和訓(xùn)練行人分類器。本發(fā)明不僅提高了行人檢測的準(zhǔn)確率，還能降低虛警率、改善輸入圖像處理速度和分類器泛化能力，提供了一種有效的夜間車載輔助行人預(yù)警方法。
文檔編號G06K9/66GK103198332SQ20131010477
公開日2013年7月10日 申請日期2013年3月28日 優(yōu)先權(quán)日2012年12月14日
發(fā)明者劉瓊, 莊家俊, 王國華, 魏澄, 廖永貴 申請人:華南理工大學(xué)