两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

食物圖像檢測方法及裝置與流程

文檔序號:11200202閱讀:500來源:國知局
食物圖像檢測方法及裝置與流程

本發(fā)明涉及圖像處理領(lǐng)域,特別是涉及一種食物圖像檢測方法及裝置。



背景技術(shù):

目前,智能終端設(shè)備已成為人們生活中必不可少的物品,人們經(jīng)常在智能終端中存儲拍攝的各類照片。隨著人們生活水平的提高,人們越來越重視飲食健康,經(jīng)常會選取智能終端內(nèi)存儲的食物圖片進(jìn)行膳食分析或健康分析,然而,傳統(tǒng)用戶選取食物圖片的方式為人工查找,用戶要在雜亂無章的、數(shù)目繁多的照片中逐張查看,選出包括食物圖像的圖片,食物圖像選取效率低,且用戶人工勞動強(qiáng)度大,用戶選取食物圖像非常不方便。



技術(shù)實(shí)現(xiàn)要素:

基于此,有必要針對傳統(tǒng)在智能終端中選取食物圖像效率低、操作不方便的問題,提供一種食物圖像檢測方法及裝置。

一種食物圖像檢測方法,包括以下步驟:

獲取目標(biāo)圖像;

對獲取到的目標(biāo)圖像進(jìn)行預(yù)處理;

將預(yù)處理后的目標(biāo)圖像輸入食物圖像檢測模型,得到目標(biāo)圖像的食物特征隸屬度;

將食物特征隸屬度與預(yù)設(shè)食物特征隸屬度閾值進(jìn)行比較;

當(dāng)食物特征隸屬度大于或等于預(yù)設(shè)食物特征隸屬度閾值時(shí),標(biāo)記目標(biāo)圖像為食物圖像。

在其中一個(gè)實(shí)施例中,上述食物圖像檢測方法還包括:

當(dāng)食物特征隸屬度大于或等于預(yù)設(shè)食物特征隸屬度閾值時(shí),獲取目標(biāo)圖像中食物圖像的位置,標(biāo)記食物圖像的位置。

在其中一個(gè)實(shí)施例中,獲取目標(biāo)圖像的步驟之前,還包括對食物圖像樣本集進(jìn)行可變形部件模型算法訓(xùn)練得到食物圖像檢測模型的步驟,對食物圖像樣本集進(jìn)行可變形部件模型算法訓(xùn)練得到食物圖像檢測模型的步驟包括:

獲取食物圖像樣本集,食物圖像樣本集包括多張食物圖像;

對食物圖像進(jìn)行預(yù)處理;

對食物特征圖像進(jìn)行食物位置標(biāo)注;

將完成食物位置標(biāo)注的食物圖像輸入可變形部件模型,將食物位置處的圖像劃分為多個(gè)檢測窗口,提取每個(gè)檢測窗口內(nèi)的食物圖像梯度特征,生成食物梯度特征直方圖,獲取多個(gè)食物梯度特征直方圖;對多個(gè)食物圖像梯度特征直方圖進(jìn)行線性擬合得到食物圖像檢測模型。

在其中一個(gè)實(shí)施例中,對多張食物圖像的食物圖像梯度特征直方圖進(jìn)行線性擬合得到食物圖像檢測模型的步驟之前,還包括:

通過可變形部件模型檢測多張非食物圖像,獲取多個(gè)非食物圖像梯度特征直方圖;

將多個(gè)非食物圖像梯度特征直方圖和多個(gè)食物圖像梯度特征直方圖進(jìn)行支持向量機(jī)分類,獲取多個(gè)用于進(jìn)行線性擬合的食物圖像梯度特征直方圖。

在其中一個(gè)實(shí)施例中,上述食物圖像檢測方法還包括:

獲取多張食物圖像和多張非食物圖像;

獲取預(yù)設(shè)食物特征隸屬度閾值范圍;

將多張食物圖像和多張非食物圖像輸入食物圖像檢測模型,根據(jù)預(yù)設(shè)食物特征隸屬度閾值范圍選取多個(gè)食物特征隸屬度閾值檢測多張食物圖像和多張非食物圖像,計(jì)算每個(gè)食物特征隸屬度閾值對應(yīng)的查準(zhǔn)率和查全率,選取得到的查準(zhǔn)率與查全率之和最大的食物特征隸屬度閾值為預(yù)設(shè)食物特征隸屬度閾值。

一種食物圖像檢測裝置,包括:

目標(biāo)圖像獲取模塊,用于獲取目標(biāo)圖像;

圖像預(yù)處理模塊,用于對獲取到的目標(biāo)圖像進(jìn)行預(yù)處理;

圖像檢測模塊,用于將預(yù)處理后的目標(biāo)圖像輸入食物圖像檢測模型,得到目標(biāo)圖像的食物特征隸屬度;

閾值比較模塊,用于將食物特征隸屬度與預(yù)設(shè)食物特征隸屬度閾值進(jìn)行比較;

圖像標(biāo)記模塊,用于當(dāng)食物特征隸屬度大于或等于預(yù)設(shè)食物特征隸屬度閾值時(shí),標(biāo)記目標(biāo)圖像為食物圖像。

在其中一個(gè)實(shí)施例中,上述食物圖像檢測裝置還包括:

位置標(biāo)記模塊,用于當(dāng)食物特征隸屬度大于或等于預(yù)設(shè)食物特征隸屬度閾值時(shí),獲取目標(biāo)圖像中食物圖像的位置,標(biāo)記食物圖像的位置。

在其中一個(gè)實(shí)施例中,上述食物圖像檢測裝置還包括用于對食物圖像樣本集進(jìn)行可變形部件模型算法訓(xùn)練得到食物圖像檢測模型的模型訓(xùn)練模塊,該模型訓(xùn)練模塊包括:

第一樣本圖像獲取模塊,用于獲取食物圖像樣本集,食物圖像樣本集包括多張食物圖像;

樣本圖像預(yù)處理模塊,用于對食物圖像進(jìn)行預(yù)處理;

樣本圖像標(biāo)記模塊,用于對食物特征圖像進(jìn)行食物位置標(biāo)注;

圖像訓(xùn)練模塊,用于將完成食物位置標(biāo)注的食物圖像輸入可變形部件模型,將食物位置處的圖像劃分為多個(gè)檢測窗口,提取每個(gè)檢測窗口內(nèi)的食物圖像梯度特征,生成食物梯度特征直方圖,獲取多個(gè)食物梯度特征直方圖;對多個(gè)食物圖像梯度特征直方圖進(jìn)行線性擬合得到食物圖像檢測模型。

在其中一個(gè)實(shí)施例中,上述模型訓(xùn)練模塊還包括:

第二樣本圖像獲取模塊,用于通過可變形部件模型檢測多張非食物圖像,獲取多個(gè)非食物圖像梯度特征直方圖;

梯度特征直方圖分類模塊,用于將多個(gè)非食物圖像梯度特征直方圖和多個(gè)食物圖像梯度特征直方圖進(jìn)行支持向量機(jī)分類,獲取多個(gè)用于進(jìn)行線性擬合的食物圖像梯度特征直方圖。

在其中一個(gè)實(shí)施例中,上述模型訓(xùn)練模塊還包括:

檢測圖像獲取模塊,用于獲取多張食物圖像和多張非食物圖像;

隸屬度閾值獲取模塊,用于獲取預(yù)設(shè)食物特征隸屬度閾值范圍;

預(yù)設(shè)隸屬度閾值選取模塊,用于將多張食物圖像和多張非食物圖像輸入食物圖像檢測模型,根據(jù)預(yù)設(shè)食物特征隸屬度閾值范圍選取多個(gè)食物特征隸屬度閾值檢測多張食物圖像和多張非食物圖像,計(jì)算每個(gè)食物特征隸屬度閾值對應(yīng)的查準(zhǔn)率和查全率,選取得到的查準(zhǔn)率與查全率之和最大的食物特征隸屬度閾值為預(yù)設(shè)食物特征隸屬度閾值。

上述食物圖像檢測方法及裝置,通過食物圖像檢測模型檢測目標(biāo)圖像,得到目標(biāo)圖像的食物特征隸屬度,并將目標(biāo)圖像的食物特征隸屬度與預(yù)設(shè)食物特征隸屬度閾值進(jìn)行比較,當(dāng)食物特征隸屬度大于或等于預(yù)設(shè)食物特征隸屬度閾值時(shí),標(biāo)記目標(biāo)圖像為食物圖像,實(shí)現(xiàn)了食物圖像自動檢測,食物圖像檢測效率高,能夠大大提高食物圖像選取效率,有效降低人工勞動強(qiáng)度,方便用戶快速、準(zhǔn)確的選取食物圖片。

附圖說明

圖1為一個(gè)實(shí)施例中食物圖像檢測方法的流程圖;

圖2為一個(gè)實(shí)施例中訓(xùn)練得到食物圖像檢測模型的方法流程圖;

圖3為一個(gè)實(shí)施例中根據(jù)每個(gè)食物特征隸屬度閾值對應(yīng)的檢測查準(zhǔn)率和檢測查全率繪制的查準(zhǔn)率-查全率曲線示意圖;

圖4為一個(gè)實(shí)施例中食物圖像檢測裝置的結(jié)構(gòu)示意圖;

圖5為又一個(gè)實(shí)施例中食物圖像檢測裝置的結(jié)構(gòu)示意圖;

圖6為一個(gè)實(shí)施例中模型訓(xùn)練模塊的結(jié)構(gòu)示意圖;

圖7為又一個(gè)實(shí)施例中模型訓(xùn)練模塊的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。

請參閱圖1,一種食物圖像檢測方法,包括以下步驟:

步驟102:獲取目標(biāo)圖像。

目標(biāo)圖像為待檢測圖像,目標(biāo)圖像可以是用戶輸入或指定的任意圖像,如,目標(biāo)圖像可以是食物圖像、人物圖像或風(fēng)景圖像等任意圖像,終端獲取到待檢測的目標(biāo)圖像后執(zhí)行步驟104。本實(shí)施例中,終端可以是智能手機(jī)、平板電腦或便攜式可穿戴設(shè)備等電子設(shè)備,本實(shí)施例不做具體限定。

步驟104:對獲取到的目標(biāo)圖像進(jìn)行預(yù)處理。

具體地,對目標(biāo)圖像進(jìn)行預(yù)處理包括對目標(biāo)圖像的尺寸大小、各像素點(diǎn)數(shù)據(jù)等進(jìn)行標(biāo)準(zhǔn)化處理使圖像符合檢測模型的輸入需求。

步驟106:將預(yù)處理后的目標(biāo)圖像輸入食物圖像檢測模型,得到目標(biāo)圖像的食物特征隸屬度。

具體地,食物圖像檢測模型是通過對食物圖像樣本集進(jìn)行可變形部件模型算法訓(xùn)練得到的,食物圖像檢測模型的輸出結(jié)果為目標(biāo)圖像的食物特征隸屬度。本實(shí)施例中,食物特征隸屬度即為目標(biāo)圖像與食物圖像梯度特征直方圖的相似度。食物圖像檢測模型存儲可變形模型部件算法和通過對食物圖像樣本集進(jìn)行可變形部件模型算法訓(xùn)練得到的食物圖像梯度特征直方圖,食物圖像檢測模型對目標(biāo)圖像進(jìn)行可變形部件模型算法檢測,計(jì)算目標(biāo)圖像的梯度特征直方圖與存儲的食物圖像梯度特征直方圖的相似度,得到目標(biāo)圖像的事物特征隸屬度。終端將經(jīng)過預(yù)處理后的目標(biāo)圖像輸入食物圖像檢測模型可以獲得目標(biāo)圖像的食物圖像隸屬度。

步驟108:將食物特征隸屬度與預(yù)設(shè)食物特征隸屬度閾值進(jìn)行比較。

具體地,當(dāng)獲取到目標(biāo)圖像的食物圖像隸屬度后,將得到的目標(biāo)圖像食物隸屬度與預(yù)設(shè)食物特征隸屬度閾值進(jìn)行比較,判斷目標(biāo)圖像是否為食物圖像,當(dāng)食物特征隸屬度大于或等于預(yù)設(shè)食物特征隸屬度閾值時(shí),目標(biāo)圖像為食物圖像,執(zhí)行步驟110;否則,目標(biāo)圖像為非食物圖像,不做處理。

步驟110:當(dāng)食物特征隸屬度大于或等于預(yù)設(shè)食物特征隸屬度閾值時(shí),標(biāo)記目標(biāo)圖像為食物圖像。

上述食物圖像檢測方法,通過食物圖像檢測模型檢測目標(biāo)圖像,得到目標(biāo)圖像的食物特征隸屬度,并將目標(biāo)圖像的食物特征隸屬度與預(yù)設(shè)食物特征隸屬度閾值進(jìn)行比較,當(dāng)食物特征隸屬度大于或等于預(yù)設(shè)食物特征隸屬度閾值時(shí),標(biāo)記目標(biāo)圖像為食物圖像,實(shí)現(xiàn)了食物圖像自動檢測,食物圖像檢測效率高,能夠大大提高食物圖像選取效率,有效降低人工勞動強(qiáng)度,方便用戶快速、準(zhǔn)確的選取食物圖片。

在一個(gè)實(shí)施例中,上述食物圖像檢測方法還包括:當(dāng)食物特征隸屬度大于或等于預(yù)設(shè)食物特征隸屬度閾值時(shí),獲取目標(biāo)圖像中食物圖像的位置,標(biāo)記食物圖像的位置。

具體地,當(dāng)食物特征隸屬于閾值大于或等于預(yù)設(shè)食物特征隸屬度閾值時(shí),目標(biāo)圖像為食物圖像,此時(shí),進(jìn)一步分析目標(biāo)圖像中食物圖像的位置,并對食物圖像的位置進(jìn)行標(biāo)記,如可采用矩形框標(biāo)記等,以輸出食物圖像的位置。

在一個(gè)實(shí)施例中,獲取目標(biāo)圖像的步驟之前,還包括對食物圖像樣本集進(jìn)行可變形部件模型算法訓(xùn)練得到食物圖像檢測模型的步驟,如圖2所示,對食物圖像樣本集進(jìn)行可變形部件模型算法訓(xùn)練得到食物圖像檢測模型的步驟包括:

步驟202:獲取食物圖像樣本集,食物圖像樣本集包括多張食物圖像。

本實(shí)施例中,采集多張食物圖像建立食物圖像樣本集,如,食物圖像包括糕點(diǎn)、面食、糖類、蝦類、肉類、骨類、魚類和蔬菜類等八個(gè)類別的食物圖像。具體地,分別選取以上八個(gè)類別的食物圖像各500張,共計(jì)4000張食物圖像建立食物圖像樣本集。具體食物圖像數(shù)量可根據(jù)實(shí)際精度要求進(jìn)行選取,本實(shí)施例不做具體限定。

步驟204:對食物圖像進(jìn)行預(yù)處理。

具體地,對食物圖像樣本集中的所有食物圖像進(jìn)行圖像寬度縮放預(yù)處理,將每張樣本食物圖像的寬度均縮放到400像素,以保證終端運(yùn)行速度。

步驟206:對食物特征圖像進(jìn)行食物位置標(biāo)注。

具體地,通過人工在各樣本食物圖像中標(biāo)注食物位置,終端記錄人工標(biāo)注的食物位置。如,本實(shí)施例中,人工采用外接矩形框標(biāo)出食物位置,終端記錄外接矩形框的左上角和右下角的x坐標(biāo)和y坐標(biāo),記錄食物位置。例如,樣本食物圖像中包括3碗菜,則人工標(biāo)記3碗菜的外接矩形框,終端記錄每個(gè)外接矩形框的左上角和右下角的x坐標(biāo)和y坐標(biāo)。

步驟208:將完成食物位置標(biāo)注的食物圖像輸入可變形部件模型,將食物位置處的圖像劃分為多個(gè)檢測窗口,提取每個(gè)檢測窗口內(nèi)的食物圖像梯度特征,生成食物梯度特征直方圖,獲取多個(gè)食物梯度特征直方圖;對多個(gè)食物圖像梯度特征直方圖進(jìn)行線性擬合得到食物圖像檢測模型。

對標(biāo)注好食物位置的樣本食物圖像輸入可變形部件模型,本實(shí)施例中,采用dpm(deformablepartmodels)可變形部件模型算法在matlab(matrix&laboratory,矩陣實(shí)驗(yàn)室)中進(jìn)行訓(xùn)練,獲得.mat格式的食物圖像檢測模型,并將.mat格式的模型轉(zhuǎn)為.txt格式的模型文件進(jìn)行存儲。

可變形部件模型算法主要包括兩方面內(nèi)容:可變形部件模型和多模型,可變形部件模型是指把物體當(dāng)做由多個(gè)可變形和移動位置的部件構(gòu)成,并根據(jù)這些部件與模型常見位置的差異評估其匹配程度,這樣可以應(yīng)對物體變形的情況,能提高檢測準(zhǔn)確率。一般的,訓(xùn)練時(shí)會自動發(fā)現(xiàn)多個(gè)多個(gè)部件,生成多個(gè)子模型,實(shí)際檢測時(shí)包含一個(gè)根模型和多個(gè)子模型。多模型是指針對物體不同視角或不同形狀采用不同模型,如食物圖像的俯視圖和側(cè)視圖,或圓形食物與長條形食物,檢測到的特征差異是很大的,如果僅采用同一個(gè)模型去匹配,那么準(zhǔn)確率就會很低。本實(shí)施例中,食物圖像檢測模型包括3個(gè)不同視角的根模型,分別為俯視視角根模型,45°視角根模型和側(cè)面20°視角根模型,每個(gè)視角的根模型包括8個(gè)部件,即每個(gè)視角的根模型包括八個(gè)子模型,子模型的分辨率為根模型的分辨率的2倍,能夠有效保證檢測精度。具體根模型的數(shù)量可根據(jù)標(biāo)記的食物位置處的圖像長寬比來區(qū)分,實(shí)際應(yīng)用中如果需要更高的檢測精度可以在訓(xùn)練時(shí)增加根模型數(shù)量。

具體地,本實(shí)施例中,將完成食物位置標(biāo)注的食物圖像輸入可變形部件模型進(jìn)行訓(xùn)練,會根據(jù)標(biāo)注的食物圖像塊的長寬比劃分到3個(gè)類別,1:1,1:0.8,1:0.6;長寬比接近1:1的屬于俯視視角,接近1:0.8的屬于45°視角,接近1:0.6的屬于20°視角,對每個(gè)類別對應(yīng)地建立1個(gè)根模型,并基于每個(gè)根模型生成八個(gè)子模型。對標(biāo)注的食物圖像塊,提取每個(gè)檢測窗口內(nèi)的食物圖像梯度特征,生成樣本食物圖像的食物梯度特征直方圖,對每張樣本食物圖像進(jìn)行上述操作,獲取多個(gè)樣本圖像的食物梯度特征直方圖;再對獲取到的多個(gè)食物圖像梯度特征直方圖進(jìn)行線性擬合得到食物圖像檢測模型。

在一個(gè)實(shí)施例中,步驟208中,對多張食物圖像的食物圖像梯度特征直方圖進(jìn)行線性擬合得到食物圖像檢測模型的步驟之前,還包括:通過可變形部件模型檢測多張非食物圖像,獲取多個(gè)非食物圖像梯度特征直方圖;將多個(gè)非食物圖像梯度特征直方圖和多個(gè)食物圖像梯度特征直方圖進(jìn)行支持向量機(jī)分類,獲取多個(gè)用于進(jìn)行線性擬合的食物圖像梯度特征直方圖。

具體地,非食物圖像可以為包括人物圖像、景物圖像等不包含食物圖像的圖片。本實(shí)施例中,選取20000張非食物圖像輸入可變性部件模型進(jìn)行檢測,與上述對食物圖像樣本集進(jìn)行可變形部件模型算法訓(xùn)練得到食物圖像檢測模型的步驟相同,首先對非食物圖像樣本集中的所有圖像進(jìn)行預(yù)處理,將圖像寬度縮放到400像素,再通過人工標(biāo)注非食物圖像中的圖像主體(如人物或景物)的位置,之后將非食物圖像輸入可變形部件模型,將標(biāo)注的圖像主體位置處的圖像劃分為多個(gè)檢測窗口,提取每個(gè)檢測窗口內(nèi)的非食物圖像梯度特征,生成非食物梯度特征直方圖,獲取多個(gè)非食物梯度特征直方圖;然后,將獲取到的多個(gè)非食物圖像梯度特征直方圖和多個(gè)食物圖像梯度特征直方圖進(jìn)行支持向量機(jī)分類,得到食物圖像與非食物圖像的梯度特征分類閾值,將滿足梯度特征分類閾值要求即梯度特征值大于分類閾值的梯度特征直方圖做為用于進(jìn)行線性擬合的食物圖像梯度特征直方圖,獲取多個(gè)用于進(jìn)行線性擬合的食物圖像梯度特征直方圖。本實(shí)施例中,將食物圖像做為正樣本,并采集非食物圖像做為負(fù)樣本,通過負(fù)樣本圖像的梯度特征直方圖對正樣本圖像的梯度特征直方圖進(jìn)行分類驗(yàn)證,能夠提高食物檢測模型的訓(xùn)練精度,從而有效保證食物檢測模型的檢測精度。

在一個(gè)實(shí)施例中,上述對食物圖像樣本集進(jìn)行可變形部件模型算法訓(xùn)練得到食物圖像檢測模型的步驟還包括:獲取多張食物圖像和多張非食物圖像;獲取預(yù)設(shè)食物特征隸屬度閾值范圍;將多張食物圖像和多張非食物圖像輸入食物圖像檢測模型,根據(jù)預(yù)設(shè)食物特征隸屬度閾值范圍選取多個(gè)食物特征隸屬度閾值檢測多張食物圖像和多張非食物圖像,計(jì)算每個(gè)食物特征隸屬度閾值對應(yīng)的查準(zhǔn)率和查全率,選取得到的查準(zhǔn)率和查全率相等的食物特征隸屬度閾值為預(yù)設(shè)食物特征隸屬度閾值。

本實(shí)施例中,在完成食物圖像檢測模型訓(xùn)練后,采用不同的食物特征隸屬度閾值對食物圖像檢測模型進(jìn)行食物特征隸屬度閾值選取測試,根據(jù)預(yù)設(shè)食物特征隸屬度閾值范圍選取多個(gè)食物特征隸屬度閾值檢測多張食物圖像和多張非食物圖像,計(jì)算每個(gè)食物特征隸屬度閾值對應(yīng)的查準(zhǔn)率和查全率,繪制查準(zhǔn)率-查全率曲線(p-r曲線),得到p-r曲線中查準(zhǔn)率和查全率相等的查準(zhǔn)率-查全率平衡點(diǎn)坐標(biāo),將與查準(zhǔn)率-查全率平衡點(diǎn)坐標(biāo)對應(yīng)的食物特征隸屬度閾值做為預(yù)設(shè)食物特征隸屬度閾值。由于隨著食物特征隸屬度閾值遞增,查準(zhǔn)率會逐漸升高,查全率會逐漸變低,為保證食物圖像檢測精度,需要同時(shí)保證查準(zhǔn)率和查全率,本實(shí)施例中將得到的查準(zhǔn)率和查全率相等的事物特征隸屬度閾值做為用于食物圖像檢測的最優(yōu)食物特征隸屬度閾值,并通過繪制p-r曲線獲取查準(zhǔn)率-查全率平衡點(diǎn),進(jìn)而確定預(yù)設(shè)食物特征隸屬度閾值,能夠有效保證預(yù)設(shè)食物特征隸屬度閾值的選取精度,保證食物圖像檢測模型的檢測精度。

具體地,本實(shí)施例中,選取400張食物圖像和600張非食物圖像共1000張圖像做為測試圖像集,預(yù)設(shè)食物特征隸屬度閾值范圍為-2~0,以0.2為步長,選取-1.4、-1.2、-1.0、-0.8、-0.6、-0.4及-0.2七個(gè)食物特征隸屬度閾值進(jìn)行食物圖像檢測測試。選定測試圖像集和食物特征隸屬度閾值后,將測試圖像集中的食物圖像和非食物圖像均輸入食物圖像檢測模型,根據(jù)選定的七個(gè)食物特征隸屬度閾值分別對輸入圖像進(jìn)行檢測,計(jì)算各食物特征隸屬度閾值對應(yīng)的查準(zhǔn)率(precision)和查全率(即召回率(recall)),繪制查準(zhǔn)率-查全率曲線(p-r曲線),得到如圖3所示的p-r曲線示意圖。如圖3所示,a點(diǎn)的坐標(biāo)對應(yīng)食物特征隸屬度閾值為-1.4時(shí)對測試集圖像進(jìn)行檢測得到的查準(zhǔn)率和查全率,查準(zhǔn)率和查全率之和為1.8002;b點(diǎn)的坐標(biāo)對應(yīng)食物特征隸屬度閾值為-1.2時(shí)對測試集圖像進(jìn)行檢測得到的查準(zhǔn)率和查全率,查準(zhǔn)率和查全率之和為1.8454;以此類推,g點(diǎn)的坐標(biāo)對應(yīng)食物特征隸屬度閾值為-0.2時(shí)對測試集圖像進(jìn)行檢測得到的查準(zhǔn)率和查全率,查準(zhǔn)率和查全率之和為1.7655。根據(jù)a點(diǎn)坐標(biāo)至j點(diǎn)坐標(biāo)繪制得到p-r曲線后,獲取查準(zhǔn)率與查全率之和最大值為1.8665,對應(yīng)c點(diǎn),因此,得到與查準(zhǔn)率與查全率之和最大的c點(diǎn)坐標(biāo)對應(yīng)的食物特征隸屬度閾值為-1.0,確定預(yù)設(shè)食物特征隸屬度閾值為-1.0。本實(shí)施例中,查準(zhǔn)率查全率之和最大值剛好為c點(diǎn)坐標(biāo)之和,因此直接確定預(yù)設(shè)食物特征隸屬度閾值為-1.0。在其他實(shí)施例中,若查準(zhǔn)率與查全率之和最大的坐標(biāo)點(diǎn)位于兩個(gè)已知食物特征隸屬度閾值的坐標(biāo)點(diǎn)之間,則需進(jìn)一步在相鄰的兩個(gè)已知食物特征隸屬度閾值之間選取多個(gè)食物特征隸屬度閾值對測試集圖像進(jìn)行檢測,最終得到與查準(zhǔn)率與查全率之和最大的坐標(biāo)點(diǎn)對應(yīng)的食物特征隸屬度閾值確定為預(yù)設(shè)食物特征隸屬度閾值。

進(jìn)一步的,本實(shí)施例中,選取得到的查準(zhǔn)率與查全率之和最大的食物特征隸屬度閾值作為預(yù)設(shè)食物特征隸屬度閾值,但是,在實(shí)際應(yīng)用中,可根據(jù)實(shí)際需要選取其它方式確定預(yù)設(shè)食物特征隸屬度閾值,如,在其它實(shí)施例中,還可以選擇得到的查準(zhǔn)率和查全率相等的食物特征隸屬度閾值作為預(yù)設(shè)食物特征隸屬度閾值;也可以選擇得到的查準(zhǔn)率最高或查全率最高的食物特征隸屬度閾值作為預(yù)設(shè)食物特征隸屬度閾值,以上選取得到的查準(zhǔn)率與查全率之和最大的食物特征隸屬度閾值作為預(yù)設(shè)食物特征隸屬度閾值只是一個(gè)實(shí)施例,并不做具體限定。

以下列舉具體實(shí)施例,以介紹采用上述食物圖像檢測方法檢測單張待檢測圖像是否為食物圖像的詳細(xì)過程為例,對上述食物圖像檢測方法進(jìn)行詳細(xì)說明。

步驟1),獲取待檢測的目標(biāo)圖像。

步驟2),對目標(biāo)圖像進(jìn)行預(yù)處理。

為提高檢測速度,先將目標(biāo)圖像的寬度縮放為400像素,再對目標(biāo)圖像進(jìn)行4-10次金字塔縮放,每次金字塔縮放后對縮放后的目標(biāo)圖像進(jìn)行一次圖像檢測,判斷目標(biāo)圖像是否為食物圖像,本實(shí)施例中,對目標(biāo)圖像進(jìn)行4次金字塔縮放,最終將圖像寬度縮放至50像素,可以將檢測時(shí)間降低至0.8s。

步驟3),將預(yù)處理后的目標(biāo)圖像輸入食物圖像檢測模型,得到目標(biāo)圖像的食物特征隸屬度。

本實(shí)施例中,每完成一次金字塔縮放后,將縮放后的目標(biāo)圖像輸入食物圖像檢測模型進(jìn)行可變形部件模型算法檢測,將目標(biāo)圖像劃分為八個(gè)部件,生成八個(gè)檢測窗口,之后以固定窗口大小滑動檢測每個(gè)檢測窗口的食物特征隸屬度,得到目標(biāo)圖像的食物特征隸屬度。具體地,先提取每個(gè)檢測窗口內(nèi)的圖像梯度特征,分別生成與每個(gè)檢測窗口的圖像對應(yīng)的窗口圖像梯度特征直方圖,再將提取到每個(gè)檢測窗口圖像的窗口圖像梯度特征直方圖與食物圖像檢測模型中的各根模型和子模型進(jìn)行匹配,通過可變形部件模型算法計(jì)算各個(gè)檢測窗口圖像與各根模型和各子模型的相似度得分,再根據(jù)預(yù)設(shè)根模型得分權(quán)重值和子模型得分權(quán)重值計(jì)算檢測窗口圖像的總得分,得到各檢測窗口圖像的食物特征隸屬度閾值li(i=1~8);之后,選取食物特征隸屬度閾值最大的檢測窗口圖像的食物特征隸屬度閾值作為目標(biāo)圖像的食物特征隸屬度閾值。具地的,本實(shí)施例中,檢測窗口圖像的食物特征隸屬度li通過以下公式計(jì)算得到:

li=(ai+bi+ci)*w1+(a1i+a2i+…a8i+b1i+b2i+…b8i+c1i+c2i+…c8i)*w2

其中,ai為檢測窗口圖像與俯視視角根模型的相似度得分,a1i~a8i分別為檢測窗口圖像與俯視視角根模型的八個(gè)子模型的相似度得分;

bi為檢測窗口圖像與45°視角根模型的相似度得分,b1i~b8i分別為檢測窗口圖像與45°視角根模型的八個(gè)子模型的相似度得分;

ci為檢測窗口圖像與側(cè)面20°視角根模型的相似度得分,c1i~c8i分別為檢測窗口圖像與側(cè)面20°視角根模型的八個(gè)子模型的相似度得分;

w1為預(yù)設(shè)根模型相似度得分權(quán)重,w2為預(yù)設(shè)子模型相似度得分權(quán)重。

本實(shí)施例中,通過可變形部件模型算法計(jì)算各個(gè)檢測窗口圖像與各根模型和各子模型的相似度得分時(shí),先對各個(gè)檢測窗口圖像進(jìn)行可變形部件模型算法檢測,獲取檢測窗口圖像與各根模型及各子模型的理想模型位置,即錨點(diǎn)的位置坐標(biāo),并計(jì)算檢測窗口圖像與各根模型的響應(yīng)分?jǐn)?shù)及與各子模型的響應(yīng)分?jǐn)?shù),最后,根據(jù)以下公式分別計(jì)算檢測窗口圖像與各根模型和各子模型的相似度得分:

1)、檢測窗口圖像與根模型的相似度得分計(jì)算公式如下:

其中:

x0,y0,l0分別為檢測窗口圖像與根模型的錨點(diǎn)的橫坐標(biāo),縱坐標(biāo)及尺度;

為檢測窗口圖像與根模型的相似度得分;

為檢測窗口圖像與子模型的相似度得分;

b為不同子模型之間的偏移系數(shù);

n為部件數(shù),這里是8;

2(x0,y0)表示子模型的像素為原始的2倍;

vi為錨點(diǎn)和理想檢測點(diǎn)之間的偏移系數(shù);

λ為檢測窗口圖像在金字塔中的層數(shù)。

2)、檢測窗口圖像與某個(gè)子模型的詳細(xì)響應(yīng)得分計(jì)算公式如下:

這是在該子模型的理想位置附近,尋找一個(gè)綜合匹配和形變最優(yōu)的位置。

其中:

x,y為訓(xùn)練出來的子模型的理想位置,即子模型相對于根模型錨點(diǎn)的坐標(biāo);

ri,l(x+dx,y+dy)為檢測窗口圖像與子模型的響應(yīng)分?jǐn)?shù);

di為子模型偏移損失系數(shù);

φd(dx,dy)為子模型的錨點(diǎn)和子模型的檢測點(diǎn)之間的距離。

步驟4),將獲取到的目標(biāo)圖像的食物特征隸屬度閾值與預(yù)設(shè)食物特征隸屬度閾值進(jìn)行比較,如果目標(biāo)圖像的食物特征隸屬度閾值大于或等于預(yù)設(shè)食物特征隸屬度閾值,則目標(biāo)圖像為食物圖像。

具體地,為進(jìn)一步提高檢測速度,如果僅檢測目標(biāo)圖像是否為食物圖像,無需定位食物圖像的具體位置,則只要在某次金字塔縮放后檢測獲取到的目標(biāo)圖像的食物特征隸屬度閾值大于或等于預(yù)設(shè)食物特征圖像隸屬度閾值即可輸出目標(biāo)圖像為食物圖像的檢測結(jié)果,如,經(jīng)過第1次金字塔縮放后,檢測得到目標(biāo)圖像的食物特征隸屬度為-1.5,小于預(yù)設(shè)食物特征隸屬度閾值-1.03,經(jīng)過第2次金字塔縮放后,檢測得到目標(biāo)圖像的食物特征隸屬度為-0.9,大于預(yù)設(shè)食物特征隸屬度閾值-1.03,目標(biāo)圖像為食物圖像,輸出檢測結(jié)果,目標(biāo)圖像檢測結(jié)束,無需再進(jìn)行下一次縮放及檢測。而如果經(jīng)過4次金字塔縮放后檢測獲取到的目標(biāo)圖像的食物特征隸屬度閾值仍小于預(yù)設(shè)食物特征隸屬度閾值,則輸出目標(biāo)圖像為非食物圖像的檢測結(jié)果。進(jìn)一步的,如果需要輸出食物圖像的具體位置,則需要進(jìn)行4次金字塔縮放檢測,即完成全部次數(shù)的金字塔縮放及檢測后再進(jìn)行非極大值抑制得到食物圖像位置,具體的,當(dāng)有多次縮放后的檢測結(jié)果均為目標(biāo)圖像為食物圖像,表示檢測結(jié)果有重疊,此時(shí),選取獲取到的食物特征隸屬度最大的一次金字塔縮放后的圖像確定食物圖像位置,具體選擇該圖像的八個(gè)檢測窗口中檢測窗口圖像的食物特征隸屬度li最大的檢測窗口圖像為食物圖像位置,在該檢測窗口位置標(biāo)記外接矩形框并輸出外接矩形框。

請參閱圖4,在一個(gè)實(shí)施例中,提供了一種食物圖像檢測裝置400,包括:

目標(biāo)圖像獲取模塊402,用于獲取目標(biāo)圖像。

圖像預(yù)處理模塊404,用于對獲取到的目標(biāo)圖像進(jìn)行預(yù)處理。

圖像檢測模塊406,用于將預(yù)處理后的目標(biāo)圖像輸入食物圖像檢測模型,得到目標(biāo)圖像的食物特征隸屬度。

閾值比較模塊408,用于將食物特征隸屬度與預(yù)設(shè)食物特征隸屬度閾值進(jìn)行比較。

圖像標(biāo)記模塊410,用于當(dāng)食物特征隸屬度大于或等于預(yù)設(shè)食物特征隸屬度閾值時(shí),標(biāo)記目標(biāo)圖像為食物圖像。

如圖5所示,在一個(gè)實(shí)施例中,上述食物圖像檢測裝置400還包括:

位置標(biāo)記模塊412,用于當(dāng)食物特征隸屬度大于或等于預(yù)設(shè)食物特征隸屬度閾值時(shí),獲取目標(biāo)圖像中食物圖像的位置,標(biāo)記食物圖像的位置。

如圖5所示,在一個(gè)實(shí)施例中,上述食物圖像檢測裝置還包括用于對食物圖像樣本集進(jìn)行可變形部件模型算法訓(xùn)練得到食物圖像檢測模型的模型訓(xùn)練模塊414,請參閱圖6,模型訓(xùn)練模塊414包括:

第一樣本圖像獲取模塊4141,用于獲取食物圖像樣本集,食物圖像樣本集包括多張食物圖像。

樣本圖像預(yù)處理模塊4142,用于對食物圖像進(jìn)行預(yù)處理。

樣本圖像標(biāo)記模塊4143,用于對食物特征圖像進(jìn)行食物位置標(biāo)注。

圖像訓(xùn)練模塊4144,用于將完成食物位置標(biāo)注的食物圖像輸入可變形部件模型,將食物位置處的圖像劃分為多個(gè)檢測窗口,提取每個(gè)檢測窗口內(nèi)的食物圖像梯度特征,生成食物梯度特征直方圖,獲取多個(gè)食物梯度特征直方圖;對多個(gè)食物圖像梯度特征直方圖進(jìn)行線性擬合得到食物圖像檢測模型。

如圖7所示,在一個(gè)實(shí)施例中,模型訓(xùn)練模塊414還包括:

第二樣本圖像獲取模塊4145,用于通過可變形部件模型檢測多張非食物圖像,獲取多個(gè)非食物圖像梯度特征直方圖。

梯度特征直方圖分類模塊4146,用于將多個(gè)非食物圖像梯度特征直方圖和多個(gè)食物圖像梯度特征直方圖進(jìn)行支持向量機(jī)分類,獲取多個(gè)用于進(jìn)行線性擬合的食物圖像梯度特征直方圖。

在一個(gè)實(shí)施例中,上述模型訓(xùn)練模塊414還包括:

檢測圖像獲取模塊4147,用于獲取多張食物圖像和多張非食物圖像。

隸屬度閾值獲取模塊4148,用于獲取預(yù)設(shè)食物特征隸屬度閾值范圍。

預(yù)設(shè)隸屬度閾值選取模塊4149,用于將多張食物圖像和多張非食物圖像輸入食物圖像檢測模型,根據(jù)預(yù)設(shè)食物特征隸屬度閾值范圍選取多個(gè)食物特征隸屬度閾值檢測多張食物圖像和多張非食物圖像,計(jì)算每個(gè)食物特征隸屬度閾值對應(yīng)的查準(zhǔn)率和查全率,選取得到的查準(zhǔn)率和查全率相等的食物特征隸屬度閾值為預(yù)設(shè)食物特征隸屬度閾值。

以上所述實(shí)施例的各技術(shù)特征可以進(jìn)行任意的組合,為使描述簡潔,未對上述實(shí)施例中的各個(gè)技術(shù)特征所有可能的組合都進(jìn)行描述,然而,只要這些技術(shù)特征的組合不存在矛盾,都應(yīng)當(dāng)認(rèn)為是本說明書記載的范圍。

以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式,其描述較為具體和詳細(xì),但并不能因此而理解為對發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是,對于本領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干變形和改進(jìn),這些都屬于本發(fā)明的保護(hù)范圍。因此,本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。

當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1
息烽县| 什邡市| 乌兰浩特市| 武平县| 吴堡县| 军事| 色达县| 仪陇县| 铅山县| 辛集市| 阿克苏市| 青阳县| 金昌市| 潢川县| 宽城| 桐庐县| 三穗县| 镇江市| 威信县| 抚松县| 泸水县| 潜山县| 宁强县| 拜泉县| 夏邑县| 湖北省| 旺苍县| 札达县| 台北市| 闻喜县| 乐陵市| 潍坊市| 原阳县| 潮安县| 寻乌县| 福鼎市| 乌拉特中旗| 周口市| 南乐县| 上虞市| 新晃|