一種基于顏色描述的可變形部件模型物體檢測方法
【專利摘要】本發(fā)明公開了一種基于顏色描述的可變形部件模型物體檢測方法，本發(fā)明屬于圖像目標(biāo)檢測【技術(shù)領(lǐng)域】，本發(fā)明方法提出一種智能的融合形狀與顏色特征的物體檢測方法，以可變形部件模型為底層框架，在訓(xùn)練模板時(shí)在原有的梯度方向直方圖特征空間中加入基于語言學(xué)的Color?Name顏色描述符，得到特定物體類型的形狀模板與顏色模板，最后在檢測階段利用梯度方向直方圖形狀模板與Color?Name顏色模板雙模板匹配的滑動(dòng)窗口方法檢測物體。本發(fā)明方法克服了傳統(tǒng)方法由于使用單一特征描述物體而產(chǎn)生誤檢測的缺點(diǎn)。
【專利說明】一種基于顏色描述的可變形部件模型物體檢測方法

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明屬于圖像目標(biāo)檢測【技術(shù)領(lǐng)域】，以可變形部件模型(DPM，DeformablePart Model)為底層框架，在訓(xùn)練模板時(shí)在原有的梯度方向直方圖(HOG，Histograms ofOriented Gradients)特征空間中加入基于語言學(xué)的Color Name顏色描述符,在檢測階段利用梯度方向直方圖形狀模板與顏色模板雙模板匹配的滑動(dòng)窗口方法檢測目標(biāo)。本發(fā)明不僅利用傳統(tǒng)可變形部件模型中的部件模型、多視角混合模型使得檢測具有類似人類識(shí)別物體的靈活性，并且由于顏色描述的引入，使得本發(fā)明方法具有類似人類觀察物體特征的多樣性，這些因素縮小了物體檢測中存在的語義鴻溝。

【背景技術(shù)】
[0002]近年來，服務(wù)機(jī)器人技術(shù)的研究取得了很大進(jìn)展，各種類型的服務(wù)機(jī)器人已在家政、娛樂、安保等多個(gè)領(lǐng)域展現(xiàn)出功能豐富的應(yīng)用。物體的操作與搬運(yùn)是服務(wù)機(jī)器人最重要的基礎(chǔ)功能之一，支撐起了復(fù)雜環(huán)境中機(jī)器人的各類高級(jí)應(yīng)用。而一個(gè)功能完善的物體操作過程的實(shí)現(xiàn)離不開實(shí)時(shí)、準(zhǔn)確的物體檢測。為了準(zhǔn)確地執(zhí)行手臂規(guī)劃和抓取操作，服務(wù)機(jī)器人的視覺感知系統(tǒng)不僅需要識(shí)別出目標(biāo)物體，還需要提供目標(biāo)物體及其附近障礙物的準(zhǔn)確空間位置信息，而環(huán)境的復(fù)雜性，如光照變化、局部遮擋、旋轉(zhuǎn)變化等因素的存在，導(dǎo)致物體檢測任務(wù)具有很高的難度。
[0003]Pascal VOC挑戰(zhàn)賽是視覺物體檢測、識(shí)別和分類的一個(gè)基準(zhǔn)測試。從2005年起，該組織每年都會(huì)提供一系列帶標(biāo)簽的圖片，挑戰(zhàn)者通過設(shè)計(jì)各種方法，僅根據(jù)圖片內(nèi)容來將其分類，最終通過準(zhǔn)確率、召回率來評(píng)價(jià)算法的效果。該挑戰(zhàn)賽及其所使用的數(shù)據(jù)集已經(jīng)成為了物體檢測領(lǐng)域普遍接受的一種標(biāo)準(zhǔn)。2005年物體檢測競賽中，Darmstadt團(tuán)隊(duì)的Mar1 Fritz等使用視覺單詞(visual words)描述圖像局部特征,并使用SVM實(shí)現(xiàn)檢測,該方法在他們參加的幾類物體檢測中得到了較好的性能。2006年最佳物體檢測算法是Dalal和Triggs提出的梯度方向直方圖(HOG)模型。他們的工作主要集中于魯棒圖像特征描述研究，提出了物體檢測領(lǐng)域中具有重要地位的梯度方向直方圖(HOG)特征。梯度方向直方圖特征通過將圖像劃分成小的胞元(cell)，在每個(gè)胞元內(nèi)部進(jìn)行梯度方向統(tǒng)計(jì)得到直方圖描述。與尺度不變特征轉(zhuǎn)換(SIFT)特征相比，梯度方向直方圖特征不具有尺度不變性，但計(jì)算速度要快得多。Dalal和Triggs方法的整體檢測框架依然是滑動(dòng)窗口策略為基礎(chǔ)，并且使用線性分類器進(jìn)行分類。這個(gè)模型本質(zhì)上是一個(gè)全局剛性模板模型，需要對(duì)整個(gè)物體進(jìn)行全局匹配，對(duì)物體形變不能很好地匹配處理。
[0004]2007年Felzenszwalb等提出了物體檢測領(lǐng)域里程碑式的工作:可變形部件模型，并以此取得了當(dāng)年P(guān)ascal VOC物體檢測競賽的冠軍。該方法底層特征采用了 Dalal和Triggs提出的梯度方向直方圖特征,但與Dalal等人的全局剛體模板模型不同的是,可變形部件模型由一個(gè)根模型和若干可形變部件組成，由于子模型以及子模型與根模型之間形變模型的加入，可變形部件模型能夠適應(yīng)非剛性形變物體的檢測，并且，可變形部件模型引入了混合模型概念，即訓(xùn)練出不同視角下的物體模型以用于檢測(每個(gè)視角的模型被稱之為一個(gè)組件)，另一個(gè)重要的改進(jìn)是提出了 L-SVM模型，通過隱變量來建模物體部件的空間配置，并使用判別式方法進(jìn)行訓(xùn)練優(yōu)化?？勺冃尾考Ｐ偷於水?dāng)今物體檢測研究的基礎(chǔ)，也成為后續(xù)Pascal VOC競賽中物體檢測任務(wù)的基礎(chǔ)框架。然而，同目前大多數(shù)先進(jìn)的物體檢測方法一樣，可變形部件模型是僅僅基于灰度特征進(jìn)行檢測的，忽略了對(duì)圖像的顏色特征的描述。而對(duì)于人類而言，顏色是能夠被用來描述和區(qū)分不同物體的一個(gè)重要屬性。Berlin和Kay從語言學(xué)的角度將顏色歸結(jié)為11個(gè)基本種類:黑色、藍(lán)色、棕色、灰色、綠色、橙色、粉色、紫色、紅色、白色、黃色，稱為Color Name。也就是說,幾個(gè)不同顏色值的顏色可能都被稱作藍(lán)色。J.van de Weijer等人利用PLSA方法在Google圖片集上學(xué)習(xí)得到了Color Name與特定顏色空間值對(duì)應(yīng)的檢索表用以描述不同顏色值對(duì)應(yīng)的語言學(xué)上的顏色名稱。
[0005]本發(fā)明旨在提出一種更加智能的融合形狀與顏色特征的物體檢測方法，以可變形部件模型為底層框架，在訓(xùn)練模板時(shí)在原有的梯度方向直方圖特征空間中加入基于語言學(xué)的Color Name描述符，得到特定物體類型的形狀模板與顏色模板，最后在檢測階段利用形狀模板與顏色模板雙模板匹配的滑動(dòng)窗口方法檢測物體。
[0006]參考文獻(xiàn):
[0007]1.Everingham Mj Van Gool Lj Williams CK I，et al.The pascal visualobject classes(voc)challenge [J].1nternat1nal journal of computervis1n, 2010，88 (2): 303-338.
[0008]2.Everingham M，Zisserman A, Williams CK I，et al.The2005pascal visualobject classes challenge[M]//Machine Learning Challenges.Evaluating PredictiveUncertainty, Visual Object Classificat1n, and Recognising Tectual Entailment.Springer Berlin Heidelberg, 2006:117-176.
[0009]3.Dalai N，Triggs B.Histograms of oriented gradients for humandetect1n[C]//Computer Vis1n and Pattern Recognit1n, 2005.CVPR2005.1EEEComputer Society Conference on.1EEE，2005，1:886-893.
[0010]4.2.Felzenszwalb P，McAllester D，Ramanan D.A discriminativelytrained, multiscale, deformable part model[C]//Computer Vis1n and PatternRecognit1n, 2008.CVPR2008.1EEE Conference on.1EEE,2008:1-8.


【發(fā)明內(nèi)容】

[0011]本發(fā)明通過在梯度方向直方圖特征中加入顏色特征，設(shè)計(jì)并實(shí)現(xiàn)了整個(gè)物體檢測方法。由于傳統(tǒng)的可變形部件模型方法僅僅利用了圖像的像素灰度和梯度信息，忽略了圖像的彩色信息，因而它不可避免的對(duì)于那些在灰度上相近而在顏色信息上有差別的圖像物體產(chǎn)生誤匹配，L*a*b*顏色空間對(duì)色差的感知是線性的，而且是設(shè)備無關(guān)的顏色空間，故可以消除在不同設(shè)備上進(jìn)行嚴(yán)格命名計(jì)算而產(chǎn)生的誤差。L*a*b*顏色空間的色域遠(yuǎn)遠(yuǎn)大于其他任何的設(shè)備相關(guān)的色彩空間，從而在色彩的轉(zhuǎn)換映射過程中不會(huì)在基準(zhǔn)色彩空間上損失色域范圍。因此，本發(fā)明采用L*a*b*顏色空間模型。傳統(tǒng)的可變形部件模型方法僅通過形狀模板與圖像的匹配進(jìn)行物體檢測，然而在實(shí)際當(dāng)中，一些非目標(biāo)物體的區(qū)域也可能匹配形狀模板，需要其他特征的匹配來增加檢測的置信度，去除誤檢測。本發(fā)明在此基礎(chǔ)上引入顏色模板與圖像的匹配，只有與形狀模板與顏色模板同時(shí)匹配的圖像區(qū)域才被認(rèn)定為被檢測物體。改進(jìn)后的方法克服了傳統(tǒng)方法由于使用單一特征描述物體而產(chǎn)生誤檢測的缺點(diǎn)。
[0012]本發(fā)明是采用以下技術(shù)手段實(shí)現(xiàn)的:
[0013]一種基于顏色描述的可變形部件模型物體檢測方法，其特征在于包括如下步驟:
[0014]步驟1:基于顏色描述的可變形部件模型訓(xùn)練；
[0015]根據(jù)訓(xùn)練樣本是否含有特定物體以及物體位置，訓(xùn)練出特定物體的模板，該模板包括描述物體整體特征的根模板、描述局部特征的部件模板以及整體特征與局部特征之間的距尚約束關(guān)系；
[0016]步驟1.1:準(zhǔn)備圖片訓(xùn)練集，選取圖片，根據(jù)圖片提供的標(biāo)簽信息，包括每張圖片包含何種物體以及各個(gè)物體所在的位置的包圍盒坐標(biāo)，根據(jù)訓(xùn)練集中的標(biāo)簽信息確定需要訓(xùn)練的物體模型的正樣本集P以及負(fù)樣本集N，其中含有特定物體的樣本稱為正樣本，反之稱為負(fù)樣本；
[0017]步驟1.2:初始化根模板；
[0018]步驟1.2.1:將正樣本集P中的標(biāo)注方框按其長寬比排序，將最大長寬比與最小長寬比之間平均分為m個(gè)區(qū)間，從而將不同長寬比的標(biāo)注方框劃分到這m個(gè)區(qū)間內(nèi)，形成P1,..., Pffl組，每組內(nèi)的包圍盒具有相似的長寬比，訓(xùn)練m個(gè)不同的根模板F/ &...，F(xiàn)； 0,每組包圍盒對(duì)應(yīng)一個(gè),從負(fù)樣本集N中的圖片上隨機(jī)選擇子窗口來產(chǎn)生負(fù)樣本；
[0019]步驟1.2.2:提取樣本的Color Name與梯度方向直方圖HOG聯(lián)合特征，方法如下:
[0020]樣本灰度化，計(jì)算樣本的梯度方向直方圖特征，將樣本圖像分成若干個(gè)胞元cell，3X3像素的方格，采用9個(gè)bin的直方圖來統(tǒng)計(jì)這些胞元的對(duì)比度不敏感梯度信息；將胞元的梯度方向360度分成9個(gè)方向塊，對(duì)胞元內(nèi)每個(gè)像素用梯度方向在直方圖中進(jìn)行加權(quán)投影，得到梯度方向直方圖，即該胞元對(duì)應(yīng)的9維特征向量，位置(i，j)處cell對(duì)應(yīng)的特征向量記為C(i，j);將梯度方向360度分成18個(gè)方向塊，得到該胞元對(duì)應(yīng)的18維特征向量；使用該胞元的4個(gè)小塊block的能量對(duì)胞元特征向量進(jìn)行規(guī)范化,然后使用閾值對(duì)規(guī)范化后向量的各分量進(jìn)行截?cái)?，形?維規(guī)范化特征向量；C(i，j)對(duì)應(yīng)的量化因子計(jì)算方法如下:

【權(quán)利要求】
1.一種基于顏色描述的可變形部件模型物體檢測方法，其特征在于包括如下步驟: 步驟1:基于顏色描述的可變形部件模型訓(xùn)練； 根據(jù)訓(xùn)練樣本是否含有特定物體以及物體位置，訓(xùn)練出特定物體的模板，該模板包括描述物體整體特征的根模板、描述局部特征的部件模板以及整體特征與局部特征之間的距離約束關(guān)系； 步驟1.1:準(zhǔn)備圖片訓(xùn)練集，選取圖片，根據(jù)圖片提供的標(biāo)簽信息，包括每張圖片包含何種物體以及各個(gè)物體所在的位置的包圍盒坐標(biāo)，根據(jù)訓(xùn)練集中的標(biāo)簽信息確定需要訓(xùn)練的物體模型的正樣本集P以及負(fù)樣本集N，其中含有特定物體的樣本稱為正樣本，反之稱為負(fù)樣本； 步驟1.2:初始化根模板； 步驟1.2.1:將正樣本集P中的標(biāo)注方框按其長寬比排序，將最大長寬比與最小長寬比之間平均分為m個(gè)區(qū)間，從而將不同長寬比的標(biāo)注方框劃分到這m個(gè)區(qū)間內(nèi)，形成P1,..., Pffl組，每組內(nèi)的包圍盒具有相似的長寬比，訓(xùn)練m個(gè)不同的根模板F/ &...，F(xiàn)； 0,每組包圍盒對(duì)應(yīng)一個(gè)，從負(fù)樣本集N中的圖片上隨機(jī)選擇子窗口來產(chǎn)生負(fù)樣本； 步驟1.2.2:提取樣本的Color Name與梯度方向直方圖HOG聯(lián)合特征,方法如下: 樣本灰度化，計(jì)算樣本的梯度方向直方圖特征，將樣本圖像分成若干個(gè)胞元cell，3X3像素的方格，采用9個(gè)bin的直方圖來統(tǒng)計(jì)這些胞元的對(duì)比度不敏感梯度信息；將胞元的梯度方向360度分成9個(gè)方向塊，對(duì)胞元內(nèi)每個(gè)像素用梯度方向在直方圖中進(jìn)行加權(quán)投影，得到梯度方向直方圖，即該胞元對(duì)應(yīng)的9維特征向量，位置(i，j)處cell對(duì)應(yīng)的特征向量記為C(i，j);將梯度方向360度分成18個(gè)方向塊，得到該胞元對(duì)應(yīng)的18維特征向量；使用該胞元的4個(gè)小塊block的能量對(duì)胞元特征向量進(jìn)行規(guī)范化,然后使用閾值對(duì)規(guī)范化后向量的各分量進(jìn)行截?cái)啵纬?維規(guī)范化特征向量；C(i，j)對(duì)應(yīng)的量化因子計(jì)算方法如下:
其中，δ，Y e {-1，1}，每個(gè)因子都是對(duì)包含(i，j)在內(nèi)的4個(gè)胞元組成的小塊的梯度能量的度量；用Ta (V)表示對(duì)向量V的元素用閾值a修剪后形成的向量，Ta (V)的第i個(gè)元素是V中第i個(gè)元素和a兩者中的最小值；對(duì)基于胞元的特征映射C進(jìn)行歸一化并截?cái)?，截?cái)嚅撝等 = 0.2，4維特征向量如下:
最后，連接這些向量，形成一個(gè)31維向量，用來表示每個(gè)胞元；之后計(jì)算樣本的ColorName特征,Color Name特征是一個(gè)11維向量,每一維向量描述了像素或某一圖像區(qū)域中的顏色屬于11種顏色的概率，在梯度方向直方圖描述符后面加上Color Name特征，形成新的42維Color Name與梯度方向直方圖聯(lián)合特征,將樣本內(nèi)的所有小塊的Color Name與梯度方向直方圖聯(lián)合特征描述符串聯(lián)起來得到該樣本的Color Name與梯度方向直方圖聯(lián)合特征Fi,使用標(biāo)準(zhǔn)支持向量機(jī)訓(xùn)練Fi,形成m個(gè)初始根模板；步驟1.3:建立并優(yōu)化混合模板； 步驟1.3.1:將步驟1.2中得到的m個(gè)初始根模板串接起來形成不含部件的混合模板，提取混合模板的多層Color Name與梯度方向直方圖聯(lián)合特征Fi,多層特征提取分為三個(gè)層次:第一，以4X4的小塊(block)計(jì)算Color Name與梯度方向直方圖聯(lián)合特征,從原圖像開始，每一步以相對(duì)于上一步2Vinteval的倍數(shù)進(jìn)行下采樣，其中，interval為采樣參數(shù)，直到經(jīng)歷interval步驟到達(dá)原圖像尺寸的1/2為止,這一步驟共得到interval層特征；第二，以8X8的小塊block計(jì)算Color Name與梯度方向直方圖聯(lián)合特征,從原圖像開始,每一步以相對(duì)于上一步21/inteval的倍數(shù)進(jìn)行下采樣，直到經(jīng)歷interval步驟到達(dá)原圖像尺寸的1/2為止,這一步驟共得到interval層特征；第三，以8X8的小塊block計(jì)算Color Name與梯度方向直方圖聯(lián)合特征，從原圖像的一半大小開始，每一步以相對(duì)于上一步2"inteval的倍數(shù)進(jìn)行下采樣，直到特征規(guī)模降到小塊大小為止；其中，正樣本取interval = 5，負(fù)樣本取interval = 2每層特征的提取方法同步驟1.2 ; 步驟1.3.2:在完整樣本集P和N上利用隱支持向量機(jī)訓(xùn)練混合模板的模板，分為兩部分，通過兩部分的循環(huán)迭代優(yōu)化模板:第一部分，重新標(biāo)注正樣本:設(shè)Zp為在正樣本集P與負(fù)樣本集N的合集中正樣本的隱藏變量值，即包圍盒位置坐標(biāo)，在固定模板的情況下，計(jì)算出與模板卷積得分最高的Zp作為新的正樣本標(biāo)注；第二部分:在固定Zp的情況下去掉遠(yuǎn)離分界面的負(fù)樣本，保留靠近分界面的負(fù)樣本，并利用梯度下降法優(yōu)化模板； 步驟1.4:初始化部件模板并優(yōu)化混合模板與部件模板的聯(lián)合模板； 步驟1.4.1:設(shè)定部件的數(shù)量為6個(gè)，形狀為矩形，選擇根模板中能量最大的位置作為部件的位置，然后將該位置能量清零，重新在根模板中選擇最大能量位置，直到6個(gè)部件位置搜索完畢，部件模板的分辨率初始化為根模板的2倍； 步驟1.4.2:將部件模板與步驟1.3中的混合模板串接，在完整樣本集P和N上用步驟.1.3中的隱支持向量機(jī)方法重新訓(xùn)練聯(lián)合模板的參數(shù)； 步驟1.4.3:將訓(xùn)練出的聯(lián)合模板拆分為梯度方向直方圖形狀模板和Color Name顏色模板； 步驟2:利用訓(xùn)練出的兩個(gè)模板檢測目標(biāo)物體； 步驟2.1:基于可變形部件模型的檢測； 步驟2.1.1:利用滑動(dòng)窗口方法計(jì)算形狀模板與查詢圖像特征空間的卷積得分得到候選包圍盒，特征提取過程中，采用多層特征的形式，提取方法與步驟1.3.1相同，采樣參數(shù)取 interval = 10 ； 步驟2.1.2:計(jì)算檢測圖像的梯度方向直方圖多層特征，并計(jì)算檢測圖像特征與根模板的卷積值Ftl’.Φ (H，P(l)，其中Ftl’是根模板，Φ(Η，Ρ(Ι)是與根模板位置相同的檢測圖像特征； 步驟2.1.3:計(jì)算檢測圖像的雙倍分辨率梯度方向直方圖多層特征，并計(jì)算檢測圖像特征空間與部件模板的卷積值
其中Fi’是部件模板，Φ (H，Pi)是與部件模板位置相同的檢測圖像特征； 步驟2.1.4:計(jì)算部件模板距離變換后的值
，其中(1力=1，2，...，η)一個(gè)四維向量，指定φd(dx, dy)的參數(shù)，Φd(dx, dy) = (dx, dy, dx2, dy2)是形變特征,描述部件實(shí)際位置遠(yuǎn)離理想位置的程度； 步驟2.1.5:計(jì)算步驟2.1.2與步驟2.1.4得出的值的代數(shù)和，得到檢測窗口的得分，該得分反映模板與檢測圖像的匹配程度，得出基于形狀模板的物體預(yù)測方框； 步驟2.2:基于Color Name的誤預(yù)測方框抑制； 計(jì)算出候選方框內(nèi)各個(gè)像素的Color Name，統(tǒng)計(jì)方框內(nèi)11種顏色的分布直方圖以及訓(xùn)練出的顏色模板的11種顏色的分布直方圖，利用余弦距離比較兩個(gè)直方圖的相似度，當(dāng)相似度低于30%時(shí)去掉該候選預(yù)測方框，從而完成最終的目標(biāo)檢測。
2.根據(jù)權(quán)利要求1所述的模板，其特征在于:其是一系列含有訓(xùn)練過的物體特征的矩形框。
【文檔編號(hào)】G06K9/66GK104134071SQ201410277452
【公開日】2014年11月5日 申請(qǐng)日期:2014年6月20日 優(yōu)先權(quán)日:2014年6月20日
【發(fā)明者】楊金福, 張濟(jì)昭, 高晶鈺, 張珊珊, 李明愛, 張強(qiáng), 陳浩 申請(qǐng)人:北京工業(yè)大學(xué)