本發(fā)明涉及計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域,特別是涉及一種移動(dòng)終端及其目標(biāo)檢測(cè)方法及裝置。
相關(guān)術(shù)語(yǔ)解釋
Histogram of Oriented Gradient——HOG——梯度方向直方圖;
Support Vector Machine——SVM——支持向量機(jī);
Convolutional Neural Network——CNN——卷積神經(jīng)網(wǎng)絡(luò);
Deformable Part-based Model——DPM——基于部件的變形模型;
Cascade——級(jí)聯(lián);
Image Pyramids——圖像金字塔;
Feature Pyramids——特征金字塔;
Haar——哈爾。
背景技術(shù):
當(dāng)前,包括智能手機(jī)、平板電腦在內(nèi)的許多產(chǎn)品,都會(huì)帶有目標(biāo)檢測(cè)的功能,例如人手檢測(cè)、人臉檢測(cè)、行人檢測(cè)等。
以人手檢測(cè)為例,人手檢測(cè)的主要目的,是在圖像和視頻中檢測(cè)出人手的目標(biāo)實(shí)例,可應(yīng)用于手勢(shì)識(shí)別、人機(jī)交互等。
目標(biāo)檢測(cè)與識(shí)別是計(jì)算機(jī)視覺領(lǐng)域一個(gè)極具挑戰(zhàn)性的課題,目標(biāo)檢測(cè)是目標(biāo)識(shí)別的前提,可以直接影響識(shí)別成功率的大小。作為手勢(shì)識(shí)別的初始化步驟,人手檢測(cè)也不例外。
現(xiàn)有技術(shù)中存在多種目標(biāo)識(shí)別和檢測(cè)的方法,按照模型來(lái)區(qū)分的話,主流的方案有:
1)自提升級(jí)聯(lián)模型(AdaBoost Cascaded Model),主要和哈爾特征一起 應(yīng)用于人臉檢測(cè)(Face Detection)領(lǐng)域。該方案使用簡(jiǎn)單的哈爾特征學(xué)習(xí)許多簡(jiǎn)單的弱分類器(Weak Classifier),在訓(xùn)練階段不斷調(diào)整被錯(cuò)誤分類樣本的權(quán)重,最后通過(guò)加權(quán)平均來(lái)獲得最終分類器。在實(shí)際檢測(cè)時(shí)采用級(jí)聯(lián)結(jié)構(gòu),每一層濾掉大部分非人臉候選,同時(shí)讓大部分人臉候選通過(guò),從而加速檢測(cè)。
2)支持向量機(jī)(Support Vector Machine,SVM),主要和梯度方向直方圖(Histogram of Oriented Gradient,HOG)特征一起應(yīng)用于行人檢測(cè)(Pedestrian Detection)領(lǐng)域。該方案計(jì)算稠密的梯度方向特征,使用簡(jiǎn)單的線性SVM對(duì)高維的HOG描述子進(jìn)行分類就能取得很好的效果。
3)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是近年大熱的方法,適用于泛化目標(biāo)(Generalized Object)的檢測(cè)與識(shí)別。對(duì)輸入圖像進(jìn)行多層的卷積、池化操作,再通過(guò)Softmax分類器進(jìn)行分類即完成檢測(cè)過(guò)程。盡管實(shí)現(xiàn)的過(guò)程近似于“黑盒”,但結(jié)果卻超過(guò)了其他方法。
4)基于部件的變形模型(Deformable Part-based Model,DPM),主要和梯度方向直方圖(HOG)特征一起應(yīng)用于泛化目標(biāo)的檢測(cè)與識(shí)別,尤其適合對(duì)非剛性目標(biāo)的檢測(cè)和識(shí)別。該方法的核心要素,是將部件相對(duì)位置和整體位置視為隱變量,使用隱形SVM(Latent-SVM)完成半監(jiān)督學(xué)習(xí)。該方法也可以實(shí)現(xiàn)級(jí)聯(lián)檢測(cè),在不影響檢測(cè)質(zhì)量的前提下,可以實(shí)現(xiàn)一個(gè)數(shù)量級(jí)的速度提升。這是目前最好的目標(biāo)檢測(cè)方法之一。
發(fā)明人發(fā)現(xiàn),上述現(xiàn)有技術(shù)的方案存在一定的缺陷,具體如下:
關(guān)于上述方案1),哈爾特征與自提升級(jí)聯(lián)模型目前主要在人臉檢測(cè)上取得了成功,從現(xiàn)有公開的論文、專利來(lái)看,在其他類別的目標(biāo)檢測(cè)中未必表現(xiàn)最好,有一定的局限性。主要原因是哈爾特征適用于紋理信息豐富的目標(biāo),卻未必適用于邊緣輪廓信息豐富的目標(biāo),如行人。
關(guān)于上述方案2),HOG特征和SVM分類器實(shí)現(xiàn)的行人檢測(cè)器效果較好,但對(duì)變形或是側(cè)面視角的行人目標(biāo)的處理是它的弊端。究其原因,是因?yàn)闆]有針對(duì)變形和多視角的處理機(jī)制。
關(guān)于上述方案3),CNN模型和Softmax分類器實(shí)現(xiàn)的泛化目標(biāo)檢測(cè)器,在現(xiàn)有的標(biāo)準(zhǔn)數(shù)據(jù)集如:Visual Object Classes Challenge、ImageNet上的檢測(cè) 結(jié)果好于其他方法,同時(shí)也低于人類視覺系統(tǒng)的檢測(cè)水平。但這類方法的操作近似“黑盒”,針對(duì)特定目標(biāo)的檢測(cè)、調(diào)參也需要耗費(fèi)極大的人力。從目前的趨勢(shì)來(lái)看,這類方法還需要進(jìn)一步完善和改進(jìn)。
關(guān)于上述方案4),基于DPM模型和HOG特征的檢測(cè)器,雖然適用于變形和多視角的目標(biāo)。但計(jì)算復(fù)雜度高、計(jì)算量大的問題影響了它的實(shí)際應(yīng)用。尤其是對(duì)于以智能手機(jī)為代表移動(dòng)終端而言,由于智能手機(jī)的運(yùn)算能力遠(yuǎn)不如大型計(jì)算機(jī),因此,該方案由于其計(jì)算復(fù)雜度高、計(jì)算量大的問題目前還無(wú)法在智能手機(jī)等移動(dòng)終端上應(yīng)用。
具體地,基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法,在進(jìn)行檢測(cè)時(shí),可以采用級(jí)聯(lián)檢測(cè)的方式。
在介紹級(jí)聯(lián)檢測(cè)前,先簡(jiǎn)單說(shuō)明經(jīng)典檢測(cè)方案的算法流程。經(jīng)典檢測(cè)方案是遍歷所有的組件和尺度,如式8對(duì)根濾波器與特征進(jìn)行模板匹配運(yùn)算。再如式9對(duì)所有部件濾波器與特征進(jìn)行的模板匹配運(yùn)算,并使用距離變換(Distance Transform)的方法減去對(duì)應(yīng)的變形代價(jià)(Deformation Cost)。最后所有的變形部件響應(yīng)圖(Deformed Part Score)會(huì)累加到根響應(yīng)圖(Root Score)上。完成累加后,會(huì)在最終的根響應(yīng)圖上進(jìn)行如式10的閾值操作和非極值抑制操作,從而給出檢測(cè)結(jié)果。
式8:RScs=TM(Rc,Fs)
式9:RScs←RScs+DT1≤q≤Q(TM(Pcq,Fs),Dcq)
其中,Rc代表組件c的根濾波器(Root Filter),F(xiàn)s代表尺度s的特征圖像,RScs是Rc和Fs進(jìn)行模板匹配生成的根響應(yīng)圖(Root Score)。Pcq代表組件c的第q個(gè)部件濾波器(Part Filter),Dcq代表組件c第q個(gè)部件的變性參數(shù)。TM代表模板匹配(Template Matching)操作,DT代表距離變換(Distance Transform)操作。
式10:Pos=NMS(RS>T)(10)
其中,RS代表最終的根響應(yīng)圖,T代表閾值,NMS代表非極值抑制(Non Maximum Suppression),Pos是輸出的檢測(cè)結(jié)果。
由于經(jīng)典檢測(cè)方案需要遍歷整個(gè)特征金字塔,并計(jì)算所有的部件響應(yīng)值 (Part Score)和對(duì)應(yīng)的變形代價(jià)(Deformation Cost)。這種策略的計(jì)算復(fù)雜度很高,影響了DPM方法的實(shí)際應(yīng)用。
級(jí)聯(lián)檢測(cè)模型是在經(jīng)典檢測(cè)模型的基礎(chǔ)上,訓(xùn)練出一組閾值用于檢測(cè)階段的快速計(jì)算。首先是確定級(jí)聯(lián)次序,即級(jí)聯(lián)檢測(cè)時(shí)累加部件濾波器響應(yīng)值的順序。計(jì)算訓(xùn)練樣本中所有部件濾波器的響應(yīng)值,再依據(jù)信息熵理論,先選出方差大的部件濾波器,直至選出所有部件濾波器。
確定級(jí)聯(lián)順序后,依次累加根濾波器的響應(yīng)值和各個(gè)部件濾波器的響應(yīng)值。同時(shí)根據(jù)概率近似正確(Probably Approximately Correct,PAC)原則計(jì)算出閾值(假設(shè)修剪的閾值和變形修剪的閾值)。如式11、式12所示:
式11:
式12:
其中,q∈{1,2,...,Q}是級(jí)聯(lián)檢測(cè)的階段索引值,Ω是訓(xùn)練樣本集,R是根響應(yīng)圖像,P是部件響應(yīng)圖像,D是變形代價(jià)圖像,Th是假設(shè)修剪(Hypothesis Pruning)的閾值,Td是變形修剪(Deformation Pruning)的閾值。
級(jí)聯(lián)檢測(cè)中,依據(jù)事先確定的級(jí)聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口;在所述依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值的過(guò)程中,依據(jù)所述假設(shè)修剪的閾值和變形修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行假設(shè)修剪和變形修剪。
上述方案盡管已經(jīng)通過(guò)級(jí)聯(lián)檢測(cè)的方式降低了處理過(guò)程中所涉及的計(jì)算復(fù)雜度和計(jì)算量,但對(duì)于智能手機(jī)等移動(dòng)終端的計(jì)算能力而言,仍然過(guò)大。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明解決的技術(shù)問題是:對(duì)于基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法,如何使得其處理過(guò)程中所涉及的計(jì)算復(fù)雜度和計(jì)算量能夠在智能手機(jī)等移動(dòng)終端所允許的范圍之內(nèi)。
為了解決上述技術(shù)問題,本發(fā)明實(shí)施例提供一種目標(biāo)檢測(cè)方法,包括:
訓(xùn)練目標(biāo)的根濾波器和多個(gè)部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣 本和各個(gè)部件濾波器的樣本;
采用基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式進(jìn)行搜索,確定目標(biāo)位置;
所述采用基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式進(jìn)行搜索包括:
計(jì)算訓(xùn)練的所述根濾波器的樣本的響應(yīng)值,計(jì)算訓(xùn)練的各個(gè)所述部件濾波器的樣本的響應(yīng)值;
確定級(jí)聯(lián)順序;
計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值;
依據(jù)所述級(jí)聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口;在所述依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值的過(guò)程中,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪;
依據(jù)所述關(guān)于目標(biāo)位置的候選窗口,確定目標(biāo)位置。
可選的,所述計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計(jì)算出假設(shè)修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價(jià)圖像。
可選的,所述計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計(jì)算出變形修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價(jià)圖像。
可選的,所述計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計(jì)算出近似正樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點(diǎn),p′為鄰域內(nèi)任一像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,S為響應(yīng)圖像。
可選的,所述計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計(jì)算出近似負(fù)樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點(diǎn),p′為鄰域內(nèi)任一像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,S為響應(yīng)圖像。
可選的,所述確定級(jí)聯(lián)順序?yàn)椋菏褂秘澙匪惴ù_定級(jí)聯(lián)順序。
可選的,所述計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值為:根據(jù)概率近似正確原則計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值。
可選的,所述依據(jù)所述級(jí)聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口包括:
步驟a)在所述根濾波器的樣本的響應(yīng)值的基礎(chǔ)上,依據(jù)所述級(jí)聯(lián)順序,依次累加各個(gè)部件濾波器的樣本的響應(yīng)值;
步驟b)在累加部件濾波器的樣本的響應(yīng)值之后,依據(jù)所述假設(shè)修剪的閾 值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行假設(shè)修剪、變形修剪、近似正樣本修剪和近似負(fù)樣本修剪;
重復(fù)上述步驟a)至b),直至累加完各個(gè)部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口。
可選的,所述依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪包括:
采用以下公式進(jìn)行近似正樣本修剪:
其中,p為當(dāng)前像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,p′為鄰域內(nèi)任一像素點(diǎn),S(p)為當(dāng)前像素點(diǎn)的響應(yīng)值,Tpq為第q個(gè)近似正樣本修剪的閾值,prune代表修剪操作。
可選的,所述依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪包括:
采用以下公式進(jìn)行近似負(fù)樣本修剪:
其中,p為當(dāng)前像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,p′為鄰域內(nèi)任一像素點(diǎn),S(p)為當(dāng)前像素點(diǎn)的響應(yīng)值,Tnq為第q個(gè)近似負(fù)樣本修剪的閾值,prune代表修剪操作。
可選的,所述訓(xùn)練目標(biāo)的根濾波器和多個(gè)部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個(gè)部件濾波器的樣本包括:對(duì)于根濾波器/每一個(gè)部件濾波器,
使用標(biāo)準(zhǔn)的支持向量機(jī)訓(xùn)練出初始根濾波器/部件濾波器;
使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本。
可選的,所述使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練包括:使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器進(jìn)行重 選正樣本、數(shù)據(jù)挖掘和隨機(jī)梯度下降法優(yōu)化。
可選的,在所述得到關(guān)于目標(biāo)位置的候選窗口之后,在所述確定目標(biāo)位置之前,還包括:
對(duì)所述候選窗口進(jìn)行非極值抑制操作。
為了解決上述技術(shù)問題,本發(fā)明實(shí)施例還提供一種目標(biāo)檢測(cè)裝置,包括:樣本訓(xùn)練單元和目標(biāo)搜索單元;其中:
樣本訓(xùn)練單元,適于訓(xùn)練目標(biāo)的根濾波器和多個(gè)部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個(gè)部件濾波器的樣本;
目標(biāo)搜索單元,適于采用基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式進(jìn)行搜索,確定目標(biāo)位置;
所述目標(biāo)搜索單元包括:響應(yīng)值計(jì)算子單元、級(jí)聯(lián)順序確定子單元、閾值計(jì)算子單元、響應(yīng)值累加子單元和目標(biāo)位置確定子單元;其中:
響應(yīng)值計(jì)算子單元,適于計(jì)算訓(xùn)練的所述根濾波器的樣本的響應(yīng)值,計(jì)算訓(xùn)練的各個(gè)所述部件濾波器的樣本的響應(yīng)值;
級(jí)聯(lián)順序確定子單元,適于確定級(jí)聯(lián)順序;
閾值計(jì)算子單元,適于計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值;
響應(yīng)值累加子單元,適于依據(jù)所述級(jí)聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口;在所述依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值的過(guò)程中,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪;
目標(biāo)位置確定子單元,適于依據(jù)所述關(guān)于目標(biāo)位置的候選窗口,確定目標(biāo)位置。
可選的,所述閾值計(jì)算子單元計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計(jì)算出假設(shè)修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價(jià)圖像。
可選的,所述閾值計(jì)算子單元計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計(jì)算出變形修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價(jià)圖像。
可選的,所述閾值計(jì)算子單元計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計(jì)算出近似正樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點(diǎn),p′為鄰域內(nèi)任一像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,S為響應(yīng)圖像。
可選的,所述閾值計(jì)算子單元計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計(jì)算出近似負(fù)樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點(diǎn),p′為鄰域內(nèi)任一像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,S為響應(yīng)圖像。
可選的,所述級(jí)聯(lián)順序確定子單元確定級(jí)聯(lián)順序?yàn)椋菏褂秘澙匪惴ù_定 級(jí)聯(lián)順序。
可選的,所述閾值計(jì)算子單元計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值為:根據(jù)概率近似正確原則計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值。
可選的,所述響應(yīng)值累加子單元依據(jù)所述級(jí)聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口包括:
步驟a)在所述根濾波器的樣本的響應(yīng)值的基礎(chǔ)上,依據(jù)所述級(jí)聯(lián)順序,依次累加各個(gè)部件濾波器的樣本的響應(yīng)值;
步驟b)在累加部件濾波器的樣本的響應(yīng)值之后,依據(jù)所述假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行假設(shè)修剪、變形修剪、近似正樣本修剪和近似負(fù)樣本修剪;
重復(fù)上述步驟a)至b),直至累加完各個(gè)部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口。
可選的,所述響應(yīng)值累加子單元依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪包括:
采用以下公式進(jìn)行近似正樣本修剪:
其中,p為當(dāng)前像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,p′為鄰域內(nèi)任一像素點(diǎn),S(p)為當(dāng)前像素點(diǎn)的響應(yīng)值,Tpq為第q個(gè)近似正樣本修剪的閾值,prune代表修剪操作。
可選的,所述響應(yīng)值累加子單元依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪包括:
采用以下公式進(jìn)行近似負(fù)樣本修剪:
其中,p為當(dāng)前像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,p′為鄰域內(nèi)任一像素點(diǎn),S(p)為當(dāng)前像素點(diǎn)的響應(yīng)值,Tnq為第q個(gè)近似負(fù)樣本修剪的閾值,prune代表修剪操作。
可選的,所述樣本訓(xùn)練單元訓(xùn)練目標(biāo)的根濾波器和多個(gè)部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個(gè)部件濾波器的樣本包括:對(duì)于根濾波器/每一個(gè)部件濾波器,
使用標(biāo)準(zhǔn)的支持向量機(jī)訓(xùn)練出初始根濾波器/部件濾波器;
使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本。
可選的,所述目標(biāo)搜索單元還包括:
非極值抑制子單元,適于在所述得到關(guān)于目標(biāo)位置的候選窗口之后,在所述確定目標(biāo)位置之前,對(duì)所述候選窗口進(jìn)行非極值抑制操作。
為了解決上述技術(shù)問題,本發(fā)明實(shí)施例還提供一種移動(dòng)終端,包括上述目標(biāo)檢測(cè)裝置。
可選的,所述移動(dòng)終端為智能手機(jī)或平板電腦。
與現(xiàn)有技術(shù)相比,本發(fā)明的技術(shù)方案具有以下有益效果:
在現(xiàn)有技術(shù)中基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法的基礎(chǔ)上進(jìn)行了改進(jìn),在采用基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式進(jìn)行搜索的過(guò)程中,預(yù)先計(jì)算出近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪,從而減小了后續(xù)迭代過(guò)程中的運(yùn)算量,使得基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法所涉及的計(jì)算復(fù)雜度和計(jì)算量能夠在智能手機(jī)等移動(dòng)終端所允許的范圍之內(nèi)。
進(jìn)一步地,根據(jù)概率近似正確原則計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,從而提高閾值計(jì)算的精度和效率。
進(jìn)一步地,在訓(xùn)練目標(biāo)的根濾波器/部件濾波器的過(guò)程中,在使用標(biāo)準(zhǔn)的支持向量機(jī)訓(xùn)練出初始根濾波器/部件濾波器的基礎(chǔ)上,進(jìn)一步使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器采用重選正樣本、數(shù)據(jù)挖掘和隨機(jī)梯度下降法優(yōu)化的方式繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本,從而提高根濾波器/部件濾波器樣本的精度,以便于降低后續(xù)目標(biāo)搜索過(guò)程中的計(jì)算復(fù)雜度和計(jì)算量。
附圖說(shuō)明
圖1為本發(fā)明實(shí)施例中目標(biāo)檢測(cè)方法流程圖;
圖2為本發(fā)明實(shí)施例中基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式進(jìn)行搜索方法流程圖;
圖3為本發(fā)明實(shí)施例中累加根濾波器/部件濾波器的樣本的響應(yīng)值方法流程圖;
圖4為本發(fā)明實(shí)施例中目標(biāo)檢測(cè)裝置結(jié)構(gòu)框圖;
圖5為本發(fā)明實(shí)施例中另一種目標(biāo)檢測(cè)方法流程圖;
圖6為本發(fā)明實(shí)施例中提取HOG特征方法流程圖。
具體實(shí)施方式
根據(jù)背景技術(shù)部分的分析可知,基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法(即方案4))在使用級(jí)聯(lián)檢測(cè)技術(shù)時(shí),可以在不影響檢測(cè)質(zhì)量的前提下,實(shí)現(xiàn)一個(gè)數(shù)量級(jí)的檢測(cè)速度提升,是目前最好的目標(biāo)檢測(cè)方法之一。
但該方案計(jì)算復(fù)雜度高、計(jì)算量大的問題影響了它的實(shí)際應(yīng)用。尤其是對(duì)于以智能手機(jī)為代表移動(dòng)終端而言,由于智能手機(jī)的運(yùn)算能力遠(yuǎn)不如大型計(jì)算機(jī),因此,該方案由于其計(jì)算復(fù)雜度高、計(jì)算量大的問題目前還無(wú)法在智能手機(jī)等移動(dòng)終端上應(yīng)用。
發(fā)明人針對(duì)該方案計(jì)算復(fù)雜度高、計(jì)算量大的缺陷進(jìn)行了改進(jìn)。在采用基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式進(jìn)行搜索的過(guò)程中,預(yù)先計(jì)算出近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù) 樣本修剪。
發(fā)明人經(jīng)研究后提出:在依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值的過(guò)程中,可以進(jìn)行近似正樣本修剪(當(dāng)前像素點(diǎn)的鄰域中,存在響應(yīng)值高出當(dāng)前點(diǎn)足夠多的像素點(diǎn)時(shí),將修剪當(dāng)前像素點(diǎn)),這是因?yàn)?,這部分像素即使不修剪,在后處理的非極值抑制中也會(huì)將其排除;還可以進(jìn)行近似負(fù)樣本修剪(當(dāng)前像素點(diǎn)的響應(yīng)值足夠低時(shí),將修剪當(dāng)前像素點(diǎn)的鄰域),這是因?yàn)椋诋?dāng)前像素點(diǎn)的響應(yīng)值很低的情況下,它的鄰域內(nèi)像素點(diǎn)的響應(yīng)值通常也比較低,這部分像素即使不修剪,通常也會(huì)在對(duì)后續(xù)級(jí)聯(lián)的修剪中被修剪。本發(fā)明將后續(xù)必然被修剪、或者是極有可能被修剪的像素點(diǎn)提前修剪,可以減少對(duì)這部分后續(xù)必然被修剪、或者是極有可能被修剪的像素點(diǎn)的無(wú)意義的計(jì)算,因而降低了計(jì)算復(fù)雜度和計(jì)算量,使得基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法所涉及的計(jì)算復(fù)雜度和計(jì)算量能夠在智能手機(jī)等移動(dòng)終端所允許的范圍之內(nèi)。
為使本領(lǐng)域技術(shù)人員更好地理解和實(shí)現(xiàn)本發(fā)明,以下參照附圖,通過(guò)具體實(shí)施例進(jìn)行詳細(xì)說(shuō)明。
實(shí)施例一
如下所述,本發(fā)明實(shí)施例提供一種目標(biāo)檢測(cè)方法。
本實(shí)施例中的目標(biāo)檢測(cè)方法,在現(xiàn)有技術(shù)中基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法的基礎(chǔ)上進(jìn)行了改進(jìn),大大減小了其實(shí)現(xiàn)過(guò)程中所涉及的計(jì)算復(fù)雜度和計(jì)算量,使得其處理過(guò)程中所涉及的計(jì)算復(fù)雜度和計(jì)算量能夠在智能手機(jī)等移動(dòng)終端所允許的范圍之內(nèi)。
本發(fā)明所提供的方案適用于泛化目標(biāo)的檢測(cè),例如在人手檢測(cè)、人臉檢測(cè)、行人檢測(cè)等領(lǐng)域均可適用。尤其適合對(duì)非剛性目標(biāo)的檢測(cè)。
參照?qǐng)D1所示的目標(biāo)檢測(cè)方法流程圖:
基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法包括:
S101,訓(xùn)練目標(biāo)的根濾波器和多個(gè)部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個(gè)部件濾波器的樣本。
基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法需要先訓(xùn)練目標(biāo)的根濾波器和多個(gè)部件濾波器,從而在后續(xù)的目標(biāo)檢測(cè)過(guò)程中,可以利用對(duì)這些根濾波器和部件濾波器響應(yīng)值的累加值,來(lái)確定目標(biāo)(在另一場(chǎng)景中的)位置。
在具體實(shí)施中,所述訓(xùn)練目標(biāo)的根濾波器和多個(gè)部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個(gè)部件濾波器的樣本可以包括:對(duì)于根濾波器/每一個(gè)部件濾波器,分別執(zhí)行以下步驟:
使用標(biāo)準(zhǔn)的支持向量機(jī)訓(xùn)練出初始根濾波器/部件濾波器;
使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本。
其中,所述使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練具體可以包括:使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器進(jìn)行重選正樣本、數(shù)據(jù)挖掘和隨機(jī)梯度下降法優(yōu)化。
通過(guò)以上對(duì)技術(shù)方案的描述可以看出:本實(shí)施例中,在訓(xùn)練目標(biāo)的根濾波器/部件濾波器的過(guò)程中,在使用標(biāo)準(zhǔn)的支持向量機(jī)訓(xùn)練出初始根濾波器/部件濾波器的基礎(chǔ)上,進(jìn)一步使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器采用重選正樣本、數(shù)據(jù)挖掘和隨機(jī)梯度下降法優(yōu)化的方式繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本,從而提高根濾波器/部件濾波器樣本的精度,以便于降低后續(xù)目標(biāo)搜索過(guò)程中的計(jì)算復(fù)雜度和計(jì)算量。
S102,采用基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式進(jìn)行搜索,確定目標(biāo)位置。
其中,如圖2所示,所述采用基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式進(jìn)行搜索(即步驟S102)包括:
S201,計(jì)算訓(xùn)練的所述根濾波器的樣本的響應(yīng)值,計(jì)算訓(xùn)練的各個(gè)所述部件濾波器的樣本的響應(yīng)值。
計(jì)算得出的根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值,會(huì)用于后續(xù)的步驟S202和步驟S204。
S202,確定級(jí)聯(lián)順序。
級(jí)聯(lián)順序,即級(jí)聯(lián)檢測(cè)過(guò)程中以何種順序來(lái)依次累加根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值。相對(duì)于經(jīng)典檢測(cè)方案而言(經(jīng)典檢測(cè)不涉及級(jí)聯(lián)順序),可以提高后續(xù)的計(jì)算效率。
在具體實(shí)施中,可以使用貪婪算法來(lái)確定級(jí)聯(lián)順序。
S203,計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值。
與現(xiàn)有技術(shù)的不同之處在于,現(xiàn)有技術(shù)在后續(xù)依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值的過(guò)程中,通常只進(jìn)行假設(shè)修剪和變形修剪,而不會(huì)進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪,因此,在此步驟中只需要計(jì)算假設(shè)修剪的閾值和變形修剪的閾值,而不會(huì)計(jì)算近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值。而本實(shí)施例在后續(xù)依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值的過(guò)程中(即步驟S204),需要進(jìn)行假設(shè)修剪、變形修剪、近似正樣本修剪和近似負(fù)樣本修剪,因此,在此步驟中計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值。
在具體實(shí)施中,所述計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值可以包括:
采用以下公式計(jì)算出假設(shè)修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價(jià)圖像;
采用以下公式計(jì)算出變形修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價(jià)圖像;
采用以下公式計(jì)算出近似正樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點(diǎn),p′為鄰域內(nèi)任一像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,S為響應(yīng)圖像;
采用以下公式計(jì)算出近似負(fù)樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點(diǎn),p′為鄰域內(nèi)任一像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,S為響應(yīng)圖像。
以上公式采用概率近似正確(Probably Approximately Correct,PAC)原則來(lái)計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值??梢岳斫獾氖?,在其他實(shí)施例中,也可以采用其他方式得出上述閾值。
通過(guò)以上對(duì)技術(shù)方案的描述可以看出:本實(shí)施例中,根據(jù)概率近似正確原則計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,從而提高閾值計(jì)算的精度和效率。
S204,依據(jù)所述級(jí)聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口。
與現(xiàn)有技術(shù)的不同之處在于,如前所述,現(xiàn)有技術(shù)在依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值的過(guò)程中,通常只進(jìn)行假設(shè)修剪和變形修剪,而不會(huì)進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪。而本實(shí)施例在依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值的過(guò)程中,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪。
通過(guò)以上對(duì)技術(shù)方案的描述可以看出:本實(shí)施例中,在現(xiàn)有技術(shù)中基于 DPM模型和HOG特征的目標(biāo)檢測(cè)方法的基礎(chǔ)上進(jìn)行了改進(jìn),在采用基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式進(jìn)行搜索的過(guò)程中,預(yù)先計(jì)算出近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪,從而減小了后續(xù)迭代過(guò)程中的運(yùn)算量,使得基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法所涉及的計(jì)算復(fù)雜度和計(jì)算量能夠在智能手機(jī)等移動(dòng)終端所允許的范圍之內(nèi)。
可以理解的是,本實(shí)施例在進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪的基礎(chǔ)上,也可以進(jìn)行假設(shè)修剪和變形修剪。
在具體實(shí)施中,所述依據(jù)所述級(jí)聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口可以包括:
步驟a)在所述根濾波器的樣本的響應(yīng)值的基礎(chǔ)上,依據(jù)所述級(jí)聯(lián)順序,依次累加各個(gè)部件濾波器的樣本的響應(yīng)值;
步驟b)在累加部件濾波器的樣本的響應(yīng)值之后,依據(jù)所述假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行假設(shè)修剪、變形修剪、近似正樣本修剪和近似負(fù)樣本修剪;
重復(fù)上述步驟a)至b),直至累加完各個(gè)部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口。
其中,所述依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪可以包括:
采用以下公式進(jìn)行近似正樣本修剪:
其中,p為當(dāng)前像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,p′為鄰域內(nèi)任一像素點(diǎn),S(p)為當(dāng)前像素點(diǎn)的響應(yīng)值,Tpq為第q個(gè)近似正樣本修剪的閾值,prune代表修剪操作;
采用以下公式進(jìn)行近似負(fù)樣本修剪:
其中,p為當(dāng)前像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,p′為鄰域內(nèi)任一像素點(diǎn),S(p)為當(dāng)前像素點(diǎn)的響應(yīng)值,Tnq為第q個(gè)近似負(fù)樣本修剪的閾值,prune代表修剪操作。
具體地,可以如圖3所示,每一個(gè)部件濾波器的累加對(duì)應(yīng)于一個(gè)循環(huán),在每一個(gè)循環(huán)中,依次進(jìn)行近似負(fù)樣本修剪、假設(shè)修剪、近似正樣本修剪、累加部件濾波器的樣本的響應(yīng)值、變形修剪。不斷迭代,直至累加完各個(gè)部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口。
S205,依據(jù)所述關(guān)于目標(biāo)位置的候選窗口,確定目標(biāo)位置。
經(jīng)過(guò)級(jí)聯(lián)檢測(cè)(即步驟S201至步驟S204)后,通常會(huì)留下少量的候選窗口(Candidate Window)。
如果采用單目標(biāo)方案(即檢測(cè)目標(biāo)在場(chǎng)景中的位置,且目標(biāo)只存在于場(chǎng)景中的至多一個(gè)位置),則后續(xù)選取響應(yīng)值最大的候選窗口,作為目標(biāo)位置。
如果采用多目標(biāo)方案(即檢測(cè)目標(biāo)在場(chǎng)景中的位置,目標(biāo)可以存在于場(chǎng)景中的多個(gè)位置),則可以在所述得到關(guān)于目標(biāo)位置的候選窗口之后,在所述確定目標(biāo)位置之前,對(duì)所述候選窗口進(jìn)行非極值抑制操作,以在非極值抑制操作中未被排除的候選窗口,作為目標(biāo)位置。
實(shí)施例二
如下所述,本發(fā)明實(shí)施例提供一種目標(biāo)檢測(cè)裝置。
參照?qǐng)D4所示的目標(biāo)檢測(cè)裝置結(jié)構(gòu)框圖。
所述目標(biāo)檢測(cè)裝置包括:樣本訓(xùn)練單元401和目標(biāo)搜索單元402;其中各單元的主要功能如下:
樣本訓(xùn)練單元401,適于訓(xùn)練目標(biāo)的根濾波器和多個(gè)部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個(gè)部件濾波器的樣本;
目標(biāo)搜索單元402,適于采用基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式進(jìn)行搜索,確定目標(biāo)位置;
所述目標(biāo)搜索單元402包括:響應(yīng)值計(jì)算子單元4021、級(jí)聯(lián)順序確定子單元4022、閾值計(jì)算子單元4023、響應(yīng)值累加子單元4024和目標(biāo)位置確定子單元4025;其中:
響應(yīng)值計(jì)算子單元4021,適于計(jì)算訓(xùn)練的所述根濾波器的樣本的響應(yīng)值,計(jì)算訓(xùn)練的各個(gè)所述部件濾波器的樣本的響應(yīng)值;
級(jí)聯(lián)順序確定子單元4022,適于確定級(jí)聯(lián)順序;
閾值計(jì)算子單元4023,適于計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值;
響應(yīng)值累加子單元4024,適于依據(jù)所述級(jí)聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口;在所述依次累加所述根濾波器的樣本的響應(yīng)值和各個(gè)所述部件濾波器的樣本的響應(yīng)值的過(guò)程中,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪;
目標(biāo)位置確定子單元4025,適于依據(jù)所述關(guān)于目標(biāo)位置的候選窗口,確定目標(biāo)位置。
通過(guò)以上對(duì)技術(shù)方案的描述可以看出:本實(shí)施例中,在現(xiàn)有技術(shù)中基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法的基礎(chǔ)上進(jìn)行了改進(jìn),在采用基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式進(jìn)行搜索的過(guò)程中,預(yù)先計(jì)算出近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪,從而減小了后續(xù)迭代過(guò)程中的運(yùn)算量,使得基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法所涉及的計(jì)算復(fù)雜度和計(jì)算量能夠在智能手機(jī)等移動(dòng)終端所允許的范圍之內(nèi)。
在具體實(shí)施中,所述閾值計(jì)算子單元計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值可以包括:
采用以下公式計(jì)算出假設(shè)修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價(jià)圖像;
采用以下公式計(jì)算出變形修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價(jià)圖像;
采用以下公式計(jì)算出近似正樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點(diǎn),p′為鄰域內(nèi)任一像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,S為響應(yīng)圖像;
采用以下公式計(jì)算出近似負(fù)樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級(jí)聯(lián)檢測(cè)的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點(diǎn),p′為鄰域內(nèi)任一像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,S為響應(yīng)圖像。
通過(guò)以上對(duì)技術(shù)方案的描述可以看出:本實(shí)施例中,根據(jù)概率近似正確原則計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,從而提高閾值計(jì)算的精度和效率。
在具體實(shí)施中,所述級(jí)聯(lián)順序確定子單元確定級(jí)聯(lián)順序可以是:使用貪婪算法確定級(jí)聯(lián)順序。
在具體實(shí)施中,所述閾值計(jì)算子單元計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值可以是:根據(jù)概率近似正確原則計(jì)算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值。
在具體實(shí)施中,所述響應(yīng)值累加子單元依據(jù)所述級(jí)聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口可以包括:
步驟a)在所述根濾波器的樣本的響應(yīng)值的基礎(chǔ)上,依據(jù)所述級(jí)聯(lián)順序,依次累加各個(gè)部件濾波器的樣本的響應(yīng)值;
步驟b)在累加部件濾波器的樣本的響應(yīng)值之后,依據(jù)所述假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行假設(shè)修剪、變形修剪、近似正樣本修剪和近似負(fù)樣本修剪;
重復(fù)上述步驟a)至b),直至累加完各個(gè)部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口。
在具體實(shí)施中,所述響應(yīng)值累加子單元依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪包括:
采用以下公式進(jìn)行近似正樣本修剪:
其中,p為當(dāng)前像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,p′為鄰域內(nèi)任一像素點(diǎn),S(p)為當(dāng)前像素點(diǎn)的響應(yīng)值,Tpq為第q個(gè)近似正樣本修剪的閾值,prune代表修剪操作;
采用以下公式進(jìn)行近似負(fù)樣本修剪:
其中,p為當(dāng)前像素點(diǎn),N(p)為當(dāng)前像素點(diǎn)的鄰域,p′為鄰域內(nèi)任一像素點(diǎn),S(p)為當(dāng)前像素點(diǎn)的響應(yīng)值,Tnq為第q個(gè)近似負(fù)樣本修剪的閾值,prune代表修剪操作。
在具體實(shí)施中,所述樣本訓(xùn)練單元訓(xùn)練目標(biāo)的根濾波器和多個(gè)部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個(gè)部件濾波器的樣本可以包括:對(duì)于根濾波器/每一個(gè)部件濾波器,
使用標(biāo)準(zhǔn)的支持向量機(jī)訓(xùn)練出初始根濾波器/部件濾波器;
使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本。
在具體實(shí)施中,所述使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練可以包括:使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器進(jìn)行重選正樣本、數(shù)據(jù)挖掘和隨機(jī)梯度下降法優(yōu)化。
通過(guò)以上對(duì)技術(shù)方案的描述可以看出:本實(shí)施例中,在訓(xùn)練目標(biāo)的根濾波器/部件濾波器的過(guò)程中,在使用標(biāo)準(zhǔn)的支持向量機(jī)訓(xùn)練出初始根濾波器/部件濾波器的基礎(chǔ)上,進(jìn)一步使用隱變量支持向量機(jī)對(duì)所述初始根濾波器/部件濾波器采用重選正樣本、數(shù)據(jù)挖掘和隨機(jī)梯度下降法優(yōu)化的方式繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本,從而提高根濾波器/部件濾波器樣本的精度,以便于降低后續(xù)目標(biāo)搜索過(guò)程中的計(jì)算復(fù)雜度和計(jì)算量。
在具體實(shí)施中,所述目標(biāo)搜索單元還可以包括:
非極值抑制子單元,適于在所述得到關(guān)于目標(biāo)位置的候選窗口之后,在所述確定目標(biāo)位置之前,對(duì)所述候選窗口進(jìn)行非極值抑制操作。
實(shí)施例三
如下所述,本發(fā)明實(shí)施例提供一種移動(dòng)終端。
與現(xiàn)有技術(shù)的不同之處在于,所述移動(dòng)終端包括如本發(fā)明實(shí)施例中所提供的目標(biāo)檢測(cè)裝置。該移動(dòng)終端在現(xiàn)有技術(shù)中基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法的基礎(chǔ)上進(jìn)行了改進(jìn),在采用基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式進(jìn)行搜索的過(guò)程中,預(yù)先計(jì)算出近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對(duì)累加后的響應(yīng)值進(jìn)行近似正樣本修剪和近似負(fù)樣本修剪,從而減小了后續(xù)迭代過(guò)程中的運(yùn)算量,使得基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法所涉及的計(jì)算復(fù)雜度和計(jì)算量能夠在智能手機(jī)等移動(dòng)終端所允許的范圍之內(nèi)。
在具體實(shí)施中,所述移動(dòng)終端可以是智能手機(jī)或平板電腦。
實(shí)施例四
如下所述,本發(fā)明實(shí)施例提供一種目標(biāo)檢測(cè)方法。
參照?qǐng)D5所示的目標(biāo)檢測(cè)方法流程圖:
基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法包括:
S501,構(gòu)造圖像金字塔。
為了實(shí)現(xiàn)對(duì)多尺度人手目標(biāo)的檢測(cè),需要構(gòu)造圖像金字塔,并計(jì)算相應(yīng)的特征金字塔。
構(gòu)造圖像金字塔需要進(jìn)行降采樣,本實(shí)施例中采用兩種方式:雙三次插值(Bicubic Interpolation)和雙線性插值。對(duì)于相差一個(gè)尺度的降采樣,采用更快捷的雙線性插值。同一層(Octave)尺度下的降采樣,采用雙三次插值。這種區(qū)分性降采樣策略可以在保證圖像質(zhì)量的前提下,盡可能的降低計(jì)算復(fù)雜度。
S502,計(jì)算出圖像金字塔所對(duì)應(yīng)的基于HOG的特征金字塔;
在完成圖像金字塔后,需要計(jì)算出對(duì)應(yīng)的特征金字塔。所述計(jì)算出圖像金字塔所對(duì)應(yīng)的基于HOG的特征金字塔包括:提取HOG特征。
如圖6所示,本實(shí)施例通過(guò)如下步驟提取HOG特征:
S601,計(jì)算梯度圖像。
在計(jì)算梯度圖像的過(guò)程中,為了減小計(jì)算量,可以將輸入圖像轉(zhuǎn)換為灰度格式,再使用一維中心模板P=[-1,0,1]和它的轉(zhuǎn)置PT分別對(duì)灰度格式的輸入圖像進(jìn)行濾波,分別計(jì)算出x,y方向的梯度圖像,即Gx,Gy。再如式1計(jì)算出梯度幅值圖像GM:
式1:
通常將梯度方向劃分為M個(gè)方向,如式2計(jì)算出梯度方向編碼圖像GO。
式2:
其中,[]表示取整函數(shù),mod表示取模函數(shù),GO是{1,2,...,M}范圍內(nèi)的整數(shù)。
在所述計(jì)算梯度圖像之后,還包括:將梯度方向劃分為M個(gè)方向,采用 式2計(jì)算出梯度方向編碼圖像GO;
式2:
其中,[]表示取整函數(shù),mod表示取模函數(shù),GO是{1,2,...,M}范圍內(nèi)的整數(shù)。
S602,進(jìn)行直方圖統(tǒng)計(jì)。
在計(jì)算出梯度圖像之后,進(jìn)行直方圖統(tǒng)計(jì)。
對(duì)大小為w*h的梯度圖像,可以以大小為k*k的元胞為單元進(jìn)行統(tǒng)計(jì)。通??梢圆捎秒p線性插值(Bilinear Interpolation),即梯度圖像中任一像素會(huì)同時(shí)被納入周圍四個(gè)相鄰的元胞進(jìn)行統(tǒng)計(jì)。針對(duì)每一編碼方向m,可以統(tǒng)計(jì)出維數(shù)為的二維直方圖H(x,y,m),其中,整體得直方圖維數(shù)是表示向下取整。
S603,進(jìn)行歸一化和截?cái)唷?/p>
在進(jìn)行直方圖統(tǒng)計(jì)之后,進(jìn)行歸一化和截?cái)唷?/p>
本實(shí)施例中,所述進(jìn)行歸一化和截?cái)喟ǎ?/p>
預(yù)先建立第一查找表,所述第一查找表將多個(gè)數(shù)值與它們各自的開方倒數(shù)對(duì)應(yīng)保存;
累積每一方向直方圖的二階范數(shù),獲得梯度能量圖像;
依據(jù)所述梯度能量圖像和所述第一查找表,計(jì)算出HOG特征。
其中,所述建立第一查找表具體可以包括:
形成的函數(shù)曲線;
基于所述函數(shù)曲線,采用分段擬合的方法獲得多個(gè)數(shù)值與它們各自的開方倒數(shù);
將多個(gè)數(shù)值與它們各自的開方倒數(shù)對(duì)應(yīng)保存,形成第一查找表。
所述依據(jù)所述梯度能量圖像和所述第一查找表,計(jì)算出HOG特征具體可以包括:
采用式8獲得歸一化圖像的平方
式8:
其中,
依據(jù)所述第一查找表,獲得歸一化圖像的平方對(duì)應(yīng)的開方倒數(shù)
依據(jù)采用式5和式6計(jì)算出F1(x,y,m)和F2(x,y,(δ,γ));
式5:
式6:
其中,T1、T2為對(duì)應(yīng)的截?cái)嚅撝担?/p>
依據(jù)F1(x,y,m)和F2(x,y,(δ,γ)),計(jì)算出HOG特征F=[F1,F2]。
經(jīng)過(guò)上述步驟S601至S603,完成了對(duì)HOG特征的提取。
通過(guò)以上對(duì)技術(shù)方案的描述可以看出:本實(shí)施例中,在現(xiàn)有技術(shù)中基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法的基礎(chǔ)上進(jìn)行了改進(jìn),預(yù)先建立第一查找表,所述第一查找表將多個(gè)數(shù)值與它們各自的開方倒數(shù)對(duì)應(yīng)保存,在進(jìn)行歸一化和截?cái)嗟倪^(guò)程中,依據(jù)梯度能量圖像和預(yù)先建立的所述第一查找表,計(jì)算出HOG特征,從而避免了歸一化處理過(guò)程中大量的除法運(yùn)算和開方運(yùn)算,使得基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法所涉及的計(jì)算復(fù)雜度和計(jì)算量能夠在智能手機(jī)等移動(dòng)終端所允許的范圍之內(nèi)。
若圖像尺寸較大,為保證檢測(cè)質(zhì)量,每層(Octave)需計(jì)算更多的級(jí)數(shù)(Level)。如果每一級(jí)都計(jì)算HOG特征,則計(jì)算復(fù)雜度會(huì)很高。
實(shí)踐表明,對(duì)于尺度相近的圖像,它們的HOG特征呈現(xiàn)近似指數(shù)函數(shù)的關(guān)系。
本實(shí)施例只計(jì)算少量尺度的HOG特征,其他相鄰尺度的HOG特征可以 通過(guò)如式7的近似計(jì)算得到。
式7:FS≈R(F,S)·S-λ
其中,F(xiàn)表示已知特征,F(xiàn)S表示所要求解的近似特征,S表示相對(duì)尺度,λ表示指數(shù)函數(shù)的系數(shù),R函數(shù)表示以相對(duì)尺度S對(duì)已知特征F進(jìn)行重采樣。
通過(guò)以上對(duì)技術(shù)方案的描述可以看出:本實(shí)施例中,在計(jì)算圖像金字塔所對(duì)應(yīng)的基于HOG的特征金字塔的過(guò)程中,只計(jì)算少量尺度的HOG特征,在此基礎(chǔ)上通過(guò)近似計(jì)算得到其他相鄰尺度的HOG特征,從而在對(duì)檢測(cè)質(zhì)量影響不大的前提下,進(jìn)一步降低基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法所涉及的計(jì)算復(fù)雜度和計(jì)算量。
S503,采用基于部件的變形模型和級(jí)聯(lián)檢測(cè)的方式對(duì)特征金字塔進(jìn)行搜索,確定目標(biāo)位置。
至此,實(shí)現(xiàn)了基于DPM模型和HOG特征的目標(biāo)檢測(cè)。本實(shí)施例在現(xiàn)有技術(shù)中基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法的基礎(chǔ)上進(jìn)行了改進(jìn),在進(jìn)行歸一化處理的過(guò)程中(步驟S603),避免了大量的除法運(yùn)算和開方運(yùn)算,在計(jì)算圖像金字塔所對(duì)應(yīng)的基于HOG的特征金字塔的過(guò)程中(步驟S502),避免了計(jì)算大量尺度的HOG特征,在對(duì)檢測(cè)質(zhì)量影響不大的前提下大大減小了計(jì)算復(fù)雜度和計(jì)算量,使得基于DPM模型和HOG特征的目標(biāo)檢測(cè)方法其處理過(guò)程中所涉及的計(jì)算復(fù)雜度和計(jì)算量能夠在智能手機(jī)等移動(dòng)終端所允許的范圍之內(nèi),便于該目標(biāo)檢測(cè)方法在移動(dòng)終端上的應(yīng)用。
本領(lǐng)域普通技術(shù)人員可以理解,上述實(shí)施例的各種方法中,全部或部分步驟是可以通過(guò)程序指示相關(guān)的硬件來(lái)完成的,該程序可以存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,存儲(chǔ)介質(zhì)可以包括:ROM、RAM、磁盤或光盤等。
雖然本發(fā)明披露如上,但本發(fā)明并非限定于此。任何本領(lǐng)域技術(shù)人員,在不脫離本發(fā)明的精神和范圍內(nèi),均可作各種更動(dòng)與修改,因此本發(fā)明的保護(hù)范圍應(yīng)當(dāng)以權(quán)利要求所限定的范圍為準(zhǔn)。