本發(fā)明涉及圖像識(shí)別的技術(shù)領(lǐng)域,尤其是涉及一種目標(biāo)檢測(cè)的方法和裝置。
背景技術(shù):
圖像識(shí)別對(duì)于人類來說并不困難,通過對(duì)圖像中不同顏色模塊的感知很容易定位并分類出其中的目標(biāo)物體。但是,隨著科技的發(fā)展,人們期待機(jī)器也同樣具有圖像識(shí)別的功能,以便使機(jī)器能更加智能化,協(xié)助人類探索自然或服務(wù)于人們的生活,例如,服務(wù)于盲人的生活,幫助盲人識(shí)別物體。
然而機(jī)器識(shí)別圖像,首先面對(duì)的是rgb像素矩陣,其很難從圖像中直接得到狗和貓這樣的抽象概念并定位其位置,雖然在眾多科研工作者的努力之下,現(xiàn)有技術(shù)對(duì)一些特定目標(biāo)的檢測(cè),比如人臉、盲道、路牌,已經(jīng)有非常成熟的技術(shù)。但是,當(dāng)圖像中多個(gè)物體和雜亂的背景遮擋而重疊在一起時(shí),機(jī)器的目標(biāo)檢測(cè)則更加困難,容易將偽目標(biāo)作為目標(biāo)進(jìn)行識(shí)別,尤其是偽目標(biāo)還會(huì)給目標(biāo)定位帶來干擾,從而存在目標(biāo)及其距離識(shí)別錯(cuò)誤率高的問題。
技術(shù)實(shí)現(xiàn)要素:
有鑒于此,本發(fā)明的目的在于提供一種目標(biāo)檢測(cè)的方法和裝置,以緩解現(xiàn)有的圖像識(shí)別技術(shù)由于無法準(zhǔn)確識(shí)別偽目標(biāo)導(dǎo)致的除偽目標(biāo)之外的其他目標(biāo)與攝像裝置之間的距離的測(cè)量精度較差的技術(shù)問題。
第一方面,本發(fā)明實(shí)施例提供了一種目標(biāo)檢測(cè)的方法,包括:
獲取攝像裝置采集的圖像信息,其中,所述圖像信息為所述攝像裝置可視區(qū)域內(nèi)的圖像信息;
對(duì)所述圖像信息中包含的至少一個(gè)目標(biāo)進(jìn)行分析,以在所述至少一個(gè)目標(biāo)中確定偽目標(biāo);
確定所述至少一個(gè)目標(biāo)中除所述偽目標(biāo)之外的任意一個(gè)目標(biāo)與所述攝像裝置的距離。
結(jié)合第一方面,本發(fā)明實(shí)施例提供了第一方面的第一種可能的實(shí)施方式,其中,對(duì)所述圖像信息中包含的至少一個(gè)目標(biāo)進(jìn)行分析,以在所述至少一個(gè)目標(biāo)中確定偽目標(biāo),包括:
通過基于圖像訓(xùn)練集的深度學(xué)習(xí)技術(shù)對(duì)所述圖像信息進(jìn)行識(shí)別,得到所述圖像信息中每個(gè)目標(biāo)的屬性信息,其中,所述屬性信息包括:類別信息和位置信息;
通過立體匹配算法對(duì)所述圖像信息進(jìn)行處理,以得到所述圖像信息的深度圖;
根據(jù)每個(gè)所述目標(biāo)的位置信息,從所述圖像信息的深度圖中提取出每個(gè)所述目標(biāo)的深度圖;
根據(jù)每個(gè)所述目標(biāo)的深度圖,從所述至少一個(gè)目標(biāo)中選出所述偽目標(biāo)。
結(jié)合第一方面的第一種可能的實(shí)施方式,本發(fā)明實(shí)施例提供了第一方面的第二種可能的實(shí)施方式,其中,根據(jù)每個(gè)所述目標(biāo)的深度圖,從所述至少一個(gè)目標(biāo)中選出所述偽目標(biāo),包括:
基于每個(gè)所述目標(biāo)的深度圖確定每個(gè)所述目標(biāo)的至少一個(gè)景深差值;
將每個(gè)所述目標(biāo)的至少一個(gè)景深差值與預(yù)設(shè)景深差值作比較;
確定大于預(yù)設(shè)景深差值的景深差值對(duì)應(yīng)的目標(biāo)為所述偽目標(biāo)。
結(jié)合第一方面的第一種可能的實(shí)施方式,本發(fā)明實(shí)施例提供了第一方面的第三種可能的實(shí)施方式,其中,通過基于圖像訓(xùn)練集的深度學(xué)習(xí)技術(shù)對(duì)所述圖像信息進(jìn)行識(shí)別,得到所述圖像信息中每個(gè)目標(biāo)的屬性信息,包括:
通過神經(jīng)網(wǎng)絡(luò)模型,將所述圖像訓(xùn)練集中的圖像進(jìn)行特征提取,建立圖像類別數(shù)據(jù)庫,其中,所述圖像類別數(shù)據(jù)庫中包括多種物體的類別特征;
采用bing特征算法,對(duì)每個(gè)所述圖像信息進(jìn)行特征提取,得到至少一個(gè)目標(biāo)特征;
將每個(gè)所述目標(biāo)特征與所述類別特征進(jìn)行匹配,并根據(jù)匹配結(jié)果確定所述圖像信息中包含的目標(biāo)的類別信息。
結(jié)合第一方面的第一種可能的實(shí)施方式,本發(fā)明實(shí)施例提供了第一方面的第四種可能的實(shí)施方式,其中,所述圖像訓(xùn)練集至少包括以下之一:imagenet數(shù)據(jù)集、cophir數(shù)據(jù)集、自建數(shù)據(jù)集,其中,所述自建數(shù)據(jù)集包括增補(bǔ)圖像,所述增補(bǔ)圖像為用于反應(yīng)交通和/或平安城市的圖像。
結(jié)合第一方面的第一種可能的實(shí)施方式,本發(fā)明實(shí)施例提供了第一方面的第五種可能的實(shí)施方式,其中,確定所述至少一個(gè)目標(biāo)中除所述偽目標(biāo)之外的任意一個(gè)目標(biāo)與所述攝像裝置的距離,包括:
計(jì)算所述至少一個(gè)目標(biāo)中除所述偽目標(biāo)之外的任意一個(gè)目標(biāo)在所述目標(biāo)的深度圖中的全部像素點(diǎn)的景深值的平均值,得到景深均值,并將所述景深均值作為所述目標(biāo)與所述攝像裝置之間的距離。
結(jié)合第一方面的第一種可能的實(shí)施方式,本發(fā)明實(shí)施例提供了第一方面的第六種可能的實(shí)施方式,其中,所述立體匹配算法采用sgbm算法。
結(jié)合第一方面的第一種可能的實(shí)施方式,本發(fā)明實(shí)施例提供了第一方面的第七種可能的實(shí)施方式,其中,,所述攝像裝置包括:雙目攝像裝置和/或三目攝像裝置。
第二方面,本發(fā)明實(shí)施例還提供一種目標(biāo)檢測(cè)的裝置,包括:圖像信息獲取模塊,用于獲取攝像裝置采集的圖像信息,其中,所述圖像信息為所述攝像裝置可視區(qū)域內(nèi)的圖像信息;
圖像信息分析模塊,用于對(duì)所述圖像信息中包含的至少一個(gè)目標(biāo)進(jìn)行分析,以在所述至少一個(gè)目標(biāo)中確定偽目標(biāo);
目標(biāo)距離確定模塊,用于確定所述至少一個(gè)目標(biāo)中除所述偽目標(biāo)之外的任意一個(gè)目標(biāo)與所述攝像裝置的距離。
結(jié)合第二方面,本發(fā)明實(shí)施例提供了第二方面的第一種可能的實(shí)施方式,其中,所述裝置還包括信息輸出模塊,所述信息輸出模塊用于將所述至少一個(gè)目標(biāo)中除所述偽目標(biāo)之外的任意一個(gè)目標(biāo)與所述攝像裝置的距離輸出。
本發(fā)明實(shí)施例帶來了以下有益效果:
首先在獲取了攝像裝置采集的圖像信息后,通過對(duì)圖像信息中包含的至少一個(gè)目標(biāo)進(jìn)行分析而確定偽目標(biāo),實(shí)現(xiàn)了對(duì)偽目標(biāo)檢測(cè)的目的;最后確定出至少一個(gè)目標(biāo)中除偽目標(biāo)之外的任意一個(gè)目標(biāo)與攝像裝置的距離,從而過濾掉了至少一個(gè)目標(biāo)中的偽目標(biāo),避免了偽目標(biāo)給目標(biāo)定位帶來的干擾,實(shí)現(xiàn)了目標(biāo)及其距離的精確檢測(cè)。
因而,本發(fā)明緩解了現(xiàn)有的圖像識(shí)別技術(shù)由于無法準(zhǔn)確識(shí)別偽目標(biāo)導(dǎo)致的除偽目標(biāo)之外的其他目標(biāo)與攝像裝置之間的距離的測(cè)量精度較差的技術(shù)問題,達(dá)到了準(zhǔn)確確定除偽目標(biāo)之外的其他目標(biāo)與攝像裝置之間的距離的技術(shù)效果。
本發(fā)明的其他特征和優(yōu)點(diǎn)將在隨后的說明書中闡述,并且,部分地從說明書中變得顯而易見,或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂,下文特舉較佳實(shí)施例,并配合所附附圖,作詳細(xì)說明如下。
附圖說明
為了更清楚地說明本發(fā)明具體實(shí)施方式或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)具體實(shí)施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖是本發(fā)明的一些實(shí)施方式,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實(shí)施例一提供的一種目標(biāo)檢測(cè)的方法的流程圖;
圖2為對(duì)圖像信息中包含的至少一個(gè)目標(biāo)進(jìn)行分析,以在至少一個(gè)目標(biāo)中確定偽目標(biāo)的流程圖;
圖3為根據(jù)每個(gè)目標(biāo)的深度圖,從至少一個(gè)目標(biāo)中選出偽目標(biāo)的流程圖;
圖4為通過基于圖像訓(xùn)練集的深度學(xué)習(xí)技術(shù)對(duì)圖像信息進(jìn)行識(shí)別,得到圖像信息中每個(gè)目標(biāo)的屬性信息的流程圖;
圖5為基于bing特征算法,得到圖像信息中每個(gè)目標(biāo)的屬性信息的流程圖;
圖6為本發(fā)明實(shí)施例二提供的一種目標(biāo)檢測(cè)的裝置的結(jié)構(gòu)示意圖。
圖標(biāo):61-圖像信息獲取模塊;62-圖像信息分析模塊;63-目標(biāo)距離確定模塊。
具體實(shí)施方式
為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
目前圖像識(shí)別技術(shù)中,機(jī)器的目標(biāo)檢測(cè)容易將偽目標(biāo)作為目標(biāo)進(jìn)行識(shí)別,存在由于無法準(zhǔn)確識(shí)別偽目標(biāo)導(dǎo)致的除偽目標(biāo)之外的其他目標(biāo)與攝像裝置之間的距離的測(cè)量精度較差的技術(shù)問題,基于此,本發(fā)明實(shí)施例提供的一種目標(biāo)檢測(cè)的方法和裝置,可以緩解由于無法準(zhǔn)確識(shí)別偽目標(biāo)導(dǎo)致的除偽目標(biāo)之外的其他目標(biāo)與攝像裝置之間的距離的測(cè)量精度較差的技術(shù)問題。
為便于對(duì)本實(shí)施例進(jìn)行理解,首先對(duì)本發(fā)明實(shí)施例所公開的一種目標(biāo)檢測(cè)的方法進(jìn)行詳細(xì)介紹。
實(shí)施例一:
本發(fā)明實(shí)施例提供的一種目標(biāo)檢測(cè)的方法,如圖1所示,包括:
步驟s102,獲取攝像裝置采集的圖像信息,其中,圖像信息為攝像裝置可視區(qū)域內(nèi)的圖像信息。
具體地,該圖像可以是圖片,也可以是視頻幀圖像。
步驟s104,對(duì)圖像信息中包含的至少一個(gè)目標(biāo)進(jìn)行分析,以便在至少一個(gè)目標(biāo)中確定偽目標(biāo)。
具體地,即對(duì)圖像中包含的全部目標(biāo)都進(jìn)行分析,確定每個(gè)目標(biāo)是否為偽目標(biāo)。需要說明的是,這里的偽目標(biāo),指目標(biāo)不是一個(gè)完整的物體,可以是三維中間中的多個(gè)物體前后放置后投影在同一副平面圖像中而組成的類似一個(gè)完整物體的目標(biāo)。
步驟s106,確定至少一個(gè)目標(biāo)中除偽目標(biāo)之外的任意一個(gè)目標(biāo)與攝像裝置的距離。
具體地,將在圖像中包含的目標(biāo)中,濾掉偽目標(biāo)之后,得到剩余目標(biāo),再計(jì)算每個(gè)剩余目標(biāo)與攝像裝置的距離。
本發(fā)明實(shí)施例中的目標(biāo)檢測(cè)的方法,首先在獲取了攝像裝置采集的圖像信息后,通過對(duì)圖像信息中包含的至少一個(gè)目標(biāo)進(jìn)行分析而確定偽目標(biāo),實(shí)現(xiàn)了對(duì)偽目標(biāo)檢測(cè)的目的;最后確定出至少一個(gè)目標(biāo)中除偽目標(biāo)之外的任意一個(gè)目標(biāo)與攝像裝置的距離,從而過濾掉了至少一個(gè)目標(biāo)中的偽目標(biāo),避免了偽目標(biāo)給目標(biāo)定位帶來的干擾,實(shí)現(xiàn)了目標(biāo)及其距離的精確檢測(cè)。
因而,本發(fā)明緩解了現(xiàn)有的圖像識(shí)別技術(shù)由于無法準(zhǔn)確識(shí)別偽目標(biāo)導(dǎo)致的除偽目標(biāo)之外的其他目標(biāo)與攝像裝置之間的距離的測(cè)量精度較差的技術(shù)問題,達(dá)到了準(zhǔn)確確定除偽目標(biāo)之外的其他目標(biāo)與攝像裝置之間的距離的技術(shù)效果。
本發(fā)明實(shí)施例的一個(gè)可選實(shí)施方式中,如圖2所示,對(duì)圖像信息中包含的至少一個(gè)目標(biāo)進(jìn)行分析,以在至少一個(gè)目標(biāo)中確定偽目標(biāo),包括:
步驟s201,通過基于圖像訓(xùn)練集的深度學(xué)習(xí)技術(shù)對(duì)圖像信息進(jìn)行識(shí)別,得到圖像信息中每個(gè)目標(biāo)的屬性信息,其中,屬性信息包括:類別信息和位置信息。
需要說明的是,基于圖像訓(xùn)練集的深度學(xué)習(xí)技術(shù),即指深度學(xué)習(xí)技術(shù)中用來對(duì)圖像信息進(jìn)行識(shí)別的類別特征,是從圖像訓(xùn)練集中提取出來的,圖像訓(xùn)練集包含有大量的各類圖像。
此外,每個(gè)目標(biāo)的位置信息,指每個(gè)目標(biāo)的圖像區(qū)域在攝像裝置采集的整個(gè)圖像中的位置,每個(gè)目標(biāo)的類別信息及位置信息的獲取方法為:在圖像中利用滑動(dòng)窗口進(jìn)行不同尺度的區(qū)域提取,然后使用深度學(xué)習(xí)訓(xùn)練好的目標(biāo)模型對(duì)每個(gè)區(qū)域進(jìn)行分類,得到類別和置信度,從而獲取到圖像中目標(biāo)的類別和其所在區(qū)域的位置,其中,目標(biāo)模型為包括類別特征的模型。
步驟s203,通過立體匹配算法對(duì)圖像信息進(jìn)行處理,以得到圖像信息的深度圖。
具體地,圖像信息的深度圖,即指圖像中各個(gè)像素點(diǎn)的景深分布圖。
步驟s205,根據(jù)每個(gè)目標(biāo)的位置信息,從圖像信息的深度圖中提取出每個(gè)目標(biāo)的深度圖。
具體地,將每個(gè)目標(biāo)的圖像區(qū)域在攝像裝置采集的整個(gè)圖像中的位置坐標(biāo),映射到圖像信息的深度圖中,從而找出圖像信息的深度圖中的每個(gè)目標(biāo)的深度圖區(qū)域。
步驟s207,根據(jù)每個(gè)目標(biāo)的深度圖,從至少一個(gè)目標(biāo)中選出偽目標(biāo)。
傳統(tǒng)方法中,更多的是基于固定的期望檢測(cè)的目標(biāo)設(shè)計(jì)識(shí)別方案,如導(dǎo)盲眼鏡系統(tǒng)會(huì)基于紅綠燈、障礙物、路況設(shè)計(jì)獨(dú)立模塊進(jìn)行目標(biāo)識(shí)別,每個(gè)識(shí)別模塊的算法獨(dú)立設(shè)計(jì),對(duì)多種期望檢測(cè)的目標(biāo)需要設(shè)計(jì)多個(gè)識(shí)別模塊,每個(gè)識(shí)別模塊缺少靈活的通用性和擴(kuò)展性。此外,以上每個(gè)識(shí)別模塊都是算法人員根據(jù)當(dāng)前使用環(huán)境中的待識(shí)別目標(biāo)的特定特征進(jìn)行設(shè)計(jì),沒有考慮到不同地域中的所有同類目標(biāo),例如,針對(duì)紅綠燈的識(shí)別模塊可能只是根據(jù)當(dāng)前使用環(huán)境中的圓形紅綠燈的特征進(jìn)行設(shè)計(jì),但對(duì)于其他地區(qū)的箭頭燈、文字燈等,不再適用,即缺乏普適性。
相比于傳統(tǒng)方法,本發(fā)明實(shí)施例的可選實(shí)施方式中使用的基于圖像訓(xùn)練集的深度學(xué)習(xí)技術(shù),由于圖像訓(xùn)練集包含有大量的各類圖像,從而從圖像訓(xùn)練集中提取出來的類別特征更加全面、更加準(zhǔn)確,增多了識(shí)別的種類,提升了識(shí)別的效果,緩解了傳統(tǒng)方法中針對(duì)特定目標(biāo)獨(dú)立提取識(shí)別特征而帶來的普適性較差的技術(shù)問題。
可選地,圖像訓(xùn)練集至少包括以下之一:imagenet數(shù)據(jù)集、cophir數(shù)據(jù)集、自建數(shù)據(jù)集,其中,自建數(shù)據(jù)集包括增補(bǔ)圖像,增補(bǔ)圖像為用于反應(yīng)交通和/或平安城市的圖像。
imagenet數(shù)據(jù)集、cophir數(shù)據(jù)集都是現(xiàn)有的數(shù)據(jù)集,其中,imagenet數(shù)據(jù)集是擁有超過1500萬張帶標(biāo)簽的高分辨率圖像,這些圖像分屬于大概22000個(gè)類別;而cophir數(shù)據(jù)集擁有1億600萬張圖像。鑒于生活環(huán)境中設(shè)備的快更新速率和多樣復(fù)雜性,自建數(shù)據(jù)集重新收集圖片而組建,自建數(shù)據(jù)集主要包括用于反應(yīng)交通和/或平安城市的圖像。
本發(fā)明實(shí)施例的一個(gè)可選實(shí)施方式中,如圖3所示,根據(jù)每個(gè)目標(biāo)的深度圖,從至少一個(gè)目標(biāo)中選出偽目標(biāo),包括:
步驟s302,基于每個(gè)目標(biāo)的深度圖確定每個(gè)目標(biāo)的至少一個(gè)景深差值。
具體地,為檢測(cè)的精確性,可以是每個(gè)目標(biāo)的深度圖中的每個(gè)像素點(diǎn),求取其與其它像素點(diǎn)的景深差值,從而求出多個(gè)景深差值;但是,若考慮到檢測(cè)速率,可以選取間隔多個(gè)像素點(diǎn)的兩個(gè)像素點(diǎn),求取這兩個(gè)像素點(diǎn)之間的景深差值。
步驟s304,將每個(gè)目標(biāo)的至少一個(gè)景深差值與預(yù)設(shè)景深差值作比較。
步驟s306,確定大于預(yù)設(shè)景深差值的景深差值對(duì)應(yīng)的目標(biāo)為偽目標(biāo)。
具體地,若某一景深差值大于預(yù)設(shè)景深差值,則將這一景深差值求取使基于的目標(biāo)確定為偽目標(biāo)。
通過基于圖像訓(xùn)練集的深度學(xué)習(xí)技術(shù)對(duì)圖像信息進(jìn)行識(shí)別,得到圖像信息中每個(gè)目標(biāo)的屬性信息的步驟中,目標(biāo)識(shí)別的錯(cuò)誤多數(shù)來源于多目標(biāo)重疊投影到鏡頭所產(chǎn)生的在圖像平面的重合遮擋,鑒于此,本發(fā)明實(shí)施例的可選實(shí)施方式中,將大于預(yù)設(shè)景深差值的景深差值對(duì)應(yīng)的目標(biāo)作為偽目標(biāo),即有效的識(shí)別出了重疊遮擋產(chǎn)生的偽目標(biāo)。
本發(fā)明實(shí)施例的可選實(shí)施方式中,通過每個(gè)目標(biāo)的深度圖獲得了每個(gè)目標(biāo)的圖像信息的維度數(shù)據(jù),進(jìn)而通過對(duì)維度數(shù)據(jù)的判斷分析,有效提升了識(shí)別的準(zhǔn)確率。
本發(fā)明實(shí)施例的一個(gè)可選實(shí)施方式中,如圖4所示,通過基于圖像訓(xùn)練集的深度學(xué)習(xí)技術(shù)對(duì)圖像信息進(jìn)行識(shí)別,得到圖像信息中每個(gè)目標(biāo)的屬性信息,包括:
步驟s401,通過神經(jīng)網(wǎng)絡(luò)模型,將圖像訓(xùn)練集中的圖像進(jìn)行特征提取,建立圖像類別數(shù)據(jù)庫,其中,圖像類別數(shù)據(jù)庫中包括多種物體的類別特征。
在深度學(xué)習(xí)領(lǐng)域,很多網(wǎng)絡(luò)可以實(shí)現(xiàn)目標(biāo)分類,如vggnet、googlenet、resnet等,可選地,本發(fā)明實(shí)施例采用了googlenet,具體地,在深度上,采用了更深的網(wǎng)絡(luò)層次,在不同深度處增加了兩個(gè)loss來保證梯度回傳消失現(xiàn)象;在寬度上,增加了多種核1x1、3x3、5x5及直接maxpooling,同時(shí)增加了inception結(jié)構(gòu),即在3x3、5x5、maxpooling后分別加上了1x1的卷積核,以降低featuremap厚度。
步驟s403,采用bing特征算法,對(duì)每個(gè)圖像信息進(jìn)行特征提取,得到至少一個(gè)目標(biāo)特征。
步驟s405,將每個(gè)目標(biāo)特征與類別特征進(jìn)行匹配,并根據(jù)匹配結(jié)果確定圖像信息中包含的目標(biāo)的類別信息。
bing(binarizednormedgradients)特征算法,,即二值化標(biāo)準(zhǔn)梯度算法。一般對(duì)于訓(xùn)練好的分類器,都會(huì)通過滑動(dòng)窗口的方式做目標(biāo)檢測(cè)和識(shí)別分類,在移動(dòng)領(lǐng)域的識(shí)別,采用bing特征算法,即二值化標(biāo)準(zhǔn)梯度算法,提高了檢測(cè)速度,將搜索的窗口減少到原來的0.2%左右,極大提升了目標(biāo)預(yù)檢測(cè)的速度。
圖5所示為基于bing特征算法,得到圖像信息中每個(gè)目標(biāo)的屬性信息的流程圖,包括:
步驟s501,通過每個(gè)目標(biāo)的圖像區(qū)域在攝像裝置采集的整個(gè)圖像中的位置,在圖像信息中獲得目標(biāo)窗口圖像和非目標(biāo)窗口圖像,其中,目標(biāo)窗口圖像作為正樣本,非目標(biāo)窗口圖像作為負(fù)樣本;
步驟s503,構(gòu)建不同尺度的正樣本圖像和不同尺度的負(fù)樣本圖像;
步驟s505,將所有正樣本圖像和負(fù)樣本圖像都重構(gòu)成8像素*8像素的圖像;
步驟s507,利用重構(gòu)后的所有尺度的正樣本圖像、所有尺度的正樣本圖像的水平翻轉(zhuǎn)圖像、所有負(fù)樣本圖像計(jì)算bing特征,將bing特征通過svw訓(xùn)練,獲得初始第一階段模板,其中第一階段模板中含有表征目標(biāo)的目標(biāo)特征;
步驟s509,基于初始第一階段模板,計(jì)算不同尺度第一階段模板對(duì)初始第一階段模板的系數(shù)與偏移量,其中,這里第一階段模板的尺度和正樣本圖像的尺度一一對(duì)應(yīng);
步驟s511,基于不同尺度第一階段模板對(duì)初始第一階段模板的系數(shù)與偏移量,對(duì)于每個(gè)目標(biāo)的不同尺度模板,將其中的目標(biāo)特征與圖像類別數(shù)據(jù)庫中的類別特征進(jìn)行匹配,確定和每個(gè)目標(biāo)的所有尺度模板匹配度最高的類別特征所表征的類別即目標(biāo)的類別信息。
本發(fā)明實(shí)施例的一個(gè)可選實(shí)施方式中,確定至少一個(gè)目標(biāo)中除偽目標(biāo)之外的任意一個(gè)目標(biāo)與攝像裝置的距離,包括:
計(jì)算至少一個(gè)目標(biāo)中除偽目標(biāo)之外的任意一個(gè)目標(biāo)在目標(biāo)的深度圖中的全部像素點(diǎn)的景深值的平均值,得到景深均值,并將景深均值作為目標(biāo)與攝像裝置之間的距離。
現(xiàn)有的導(dǎo)盲領(lǐng)域中,目標(biāo)測(cè)距基本是基于超聲波實(shí)現(xiàn),僅僅將最接近的物體視為目標(biāo),并測(cè)出其距離。本發(fā)明實(shí)施例中,首先是目標(biāo)的檢測(cè)和識(shí)別,然后根據(jù)每個(gè)目標(biāo)獨(dú)立計(jì)算距離信息,距離是作為目標(biāo)的屬性之一,用戶可從中選擇性的獲取感興趣的目標(biāo)距離自己的距離,更為靈活和實(shí)用。
本發(fā)明實(shí)施例的一個(gè)可選實(shí)施方式中,立體匹配算法采用sgbm算法,sgbm算法作為一種全局匹配算法,立體匹配的效果明顯好于局部匹配算法,包括以下步驟:圖像梯度計(jì)算步驟、代價(jià)計(jì)算步驟、動(dòng)態(tài)規(guī)劃步驟和后處理步驟,具體地:
圖像梯度計(jì)算步驟為:
對(duì)原始圖像做水平sobel變換,表示如下:
sobel(x,y)=2[p(x+1,y)-p(x-1,y)]+p(x+1,y-1)-p(x-1,y-1)+p(x+1,y+1)-p(x-1,y+1)
其中,p為像素值,x和y為圖像的橫坐標(biāo)和縱坐標(biāo),sobel(x,y)表示梯度信息。
以如下映射函數(shù)f對(duì)sobel變換后的圖像做重映射
其中,p為像素值;filter為常數(shù)參數(shù),默認(rèn)取值為15。
代價(jià)計(jì)算步驟為:
首選對(duì)于圖像梯度計(jì)算步驟中的梯度信息經(jīng)過基于采樣的方法得到的梯度代價(jià);
其次原圖像經(jīng)過基于采樣的方法得到的sad代價(jià)。
動(dòng)態(tài)規(guī)劃步驟為:
以如下公式計(jì)算,默認(rèn)4條路徑
lr(p,d)=c(p,d)+min(lr(p-r,d),
lr(p-r,d-1)+p1,lr(p-r,d+1)+p1,
其中p1和p2為常數(shù)參數(shù);lr(p,d)表示沿從左到右方向,當(dāng)目前像素p的視差取值為d時(shí)的最小代價(jià)值;c(p,d)為當(dāng)前像素p和移動(dòng)d之后的像素q之間,經(jīng)過半個(gè)像素插值后,尋找的兩個(gè)像素點(diǎn)灰度或者rgb差值的最小值;i、k為序列標(biāo)號(hào)。
后處理步驟為:
首先,進(jìn)行唯一性檢測(cè),深度窗口范圍內(nèi)最低代價(jià)是次低代價(jià)的(1+uniquenessratio/100)倍時(shí),最低代價(jià)對(duì)應(yīng)的深度值才是該像素點(diǎn)的深度,否則該像素點(diǎn)的深度為0。其中uniquenessratio為視差唯一性百分比,可選地,計(jì)算中為了得到滿足實(shí)際需要的深度值計(jì)算精度值,uniquenessratio取值范圍為5-15。
其次,以如下插值公式做亞像素插值,sp為取值,d為坐標(biāo),max表示取極大值,denom2為中間計(jì)算結(jié)果:
最后,進(jìn)行左右一致性檢測(cè),誤差閾值默認(rèn)為1。
本發(fā)明實(shí)施例的一個(gè)可選實(shí)施方式中,攝像裝置包括:雙目攝像裝置和/或三目攝像裝置。
在攝像裝置采集圖像信息時(shí),單目相機(jī)的問題在于不利于獲取深度信息,對(duì)于陰影、光照、誤檢等問題缺少有效的二次過濾;而深度相機(jī)雖然可以為系統(tǒng)提供三維景深信息,但無論是基于激光結(jié)構(gòu)光還是tof相機(jī),都存在分辨率偏小、檢測(cè)距離和范圍偏小、深度相機(jī)和rgb相機(jī)難以同步等問題,常規(guī)范圍為0.5米到3米,更遠(yuǎn)處需要更大的功率,相應(yīng)的深度信息精度隨之下降。而雙目攝像裝置和三目攝像裝置可實(shí)現(xiàn)圖像處理前的多幅不同角度圖像的數(shù)據(jù)同步,雙鏡頭或三鏡頭分辨率一致,檢測(cè)距離較遠(yuǎn),功耗較低。
實(shí)施例二:
本發(fā)明實(shí)施例提供的一種目標(biāo)檢測(cè)的裝置,如圖6所示,該裝置包括:
圖像信息獲取模塊61,用于獲取攝像裝置采集的圖像信息,其中,圖像信息為攝像裝置可視區(qū)域內(nèi)的圖像信息;
圖像信息分析模塊62,用于對(duì)圖像信息中包含的至少一個(gè)目標(biāo)進(jìn)行分析,以在至少一個(gè)目標(biāo)中確定偽目標(biāo);
目標(biāo)距離確定模塊63,用于確定至少一個(gè)目標(biāo)中除偽目標(biāo)之外的任意一個(gè)目標(biāo)與攝像裝置的距離。
首先在圖像信息獲取模塊61獲取了攝像裝置采集的圖像信息后,圖像信息分析模塊62通過對(duì)圖像信息中包含的至少一個(gè)目標(biāo)進(jìn)行分析而確定偽目標(biāo),實(shí)現(xiàn)了對(duì)偽目標(biāo)檢測(cè)的目的;最后目標(biāo)距離確定模塊63確定出至少一個(gè)目標(biāo)中除偽目標(biāo)之外的任意一個(gè)目標(biāo)與攝像裝置的距離,從而過濾掉了至少一個(gè)目標(biāo)中的偽目標(biāo),避免了偽目標(biāo)給目標(biāo)定位帶來的干擾,實(shí)現(xiàn)了目標(biāo)及其距離的精確檢測(cè)。
因而,本發(fā)明緩解了現(xiàn)有的圖像識(shí)別技術(shù)由于無法準(zhǔn)確識(shí)別偽目標(biāo)導(dǎo)致的除偽目標(biāo)之外的其他目標(biāo)與攝像裝置之間的距離的測(cè)量精度較差的技術(shù)問題,達(dá)到了準(zhǔn)確確定除偽目標(biāo)之外的其他目標(biāo)與攝像裝置之間的距離的技術(shù)效果。
可選地,攝像裝置包括:雙目攝像裝置和/或三目攝像裝置。
可選地,圖像信息分析模塊62,包括:
目標(biāo)屬性確定模塊,用于通過基于圖像訓(xùn)練集的深度學(xué)習(xí)技術(shù)對(duì)圖像信息進(jìn)行識(shí)別,得到圖像信息中每個(gè)目標(biāo)的屬性信息,其中,屬性信息包括:類別信息和位置信息。
圖像訓(xùn)練集可以至少包括以下之一:imagenet數(shù)據(jù)集、cophir數(shù)據(jù)集、自建數(shù)據(jù)集,其中,自建數(shù)據(jù)集包括增補(bǔ)圖像,增補(bǔ)圖像為用于反應(yīng)交通和/或平安城市的圖像。
圖像信息的深度圖計(jì)算模塊,用于通過立體匹配算法對(duì)圖像信息進(jìn)行處理,以得到圖像信息的深度圖。
立體匹配算法可以采用sgbm算法。
目標(biāo)深度圖提取模塊,用于根據(jù)每個(gè)目標(biāo)的位置信息,從圖像信息的深度圖中提取出每個(gè)目標(biāo)的深度圖。
偽目標(biāo)篩選模塊,用于根據(jù)每個(gè)目標(biāo)的深度圖,從至少一個(gè)目標(biāo)中選出偽目標(biāo)。
可選地,偽目標(biāo)篩選模塊根據(jù)每個(gè)目標(biāo)的深度圖,從至少一個(gè)目標(biāo)中選出偽目標(biāo),包括:
基于每個(gè)目標(biāo)的深度圖確定每個(gè)目標(biāo)的至少一個(gè)景深差值;
將每個(gè)目標(biāo)的至少一個(gè)景深差值與預(yù)設(shè)景深差值作比較;
確定大于預(yù)設(shè)景深差值的景深差值對(duì)應(yīng)的目標(biāo)為偽目標(biāo)。
可選地,目標(biāo)屬性確定模塊通過基于圖像訓(xùn)練集的深度學(xué)習(xí)技術(shù)對(duì)所述圖像信息進(jìn)行識(shí)別,得到所述圖像信息中每個(gè)目標(biāo)的屬性信息,包括:
通過神經(jīng)網(wǎng)絡(luò)模型,將所述圖像訓(xùn)練集中的圖像進(jìn)行特征提取,建立圖像類別數(shù)據(jù)庫,其中,所述圖像類別數(shù)據(jù)庫中包括多種物體的類別特征;
采用bing特征算法,對(duì)每個(gè)所述圖像信息進(jìn)行特征提取,得到至少一個(gè)目標(biāo)特征;
將每個(gè)所述目標(biāo)特征與所述類別特征進(jìn)行匹配,并根據(jù)匹配結(jié)果確定所述圖像信息中包含的目標(biāo)的類別信息。
可選地,目標(biāo)距離確定模塊63確定至少一個(gè)目標(biāo)中除偽目標(biāo)之外的任意一個(gè)目標(biāo)與攝像裝置的距離,包括計(jì)算至少一個(gè)目標(biāo)中除偽目標(biāo)之外的任意一個(gè)目標(biāo)在目標(biāo)的深度圖中的全部像素點(diǎn)的景深值的平均值,得到景深均值,并將景深均值作為目標(biāo)與攝像裝置之間的距離。
本發(fā)明實(shí)施例的一個(gè)可選實(shí)施方式中,裝置還包括信息輸出模塊,其中,
信息輸出模塊用于將至少一個(gè)目標(biāo)中除偽目標(biāo)之外的任意一個(gè)目標(biāo)與攝像裝置的距離輸出。
本發(fā)明實(shí)施例的可選實(shí)施方式提供的目標(biāo)檢測(cè)的裝置可安裝在眼鏡框架上,盲人戴上后可以有效識(shí)別周圍的物體并感知到周圍不同物體距自己的距離。
本發(fā)明實(shí)施例所提供的目標(biāo)檢測(cè)的方法和裝置的計(jì)算機(jī)程序產(chǎn)品,包括存儲(chǔ)了程序代碼的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述程序代碼包括的指令可用于執(zhí)行前面方法實(shí)施例中所述的方法,具體實(shí)現(xiàn)可參見方法實(shí)施例,在此不再贅述。
所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的系統(tǒng)和裝置的具體工作過程,可以參考前述方法實(shí)施例中的對(duì)應(yīng)過程,在此不再贅述。
另外,在本發(fā)明實(shí)施例的描述中,除非另有明確的規(guī)定和限定,術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解,例如,可以是固定連接,也可以是可拆卸連接,或一體地連接;可以是機(jī)械連接,也可以是電連接;可以是直接相連,也可以通過中間媒介間接相連,可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言,可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。
所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:u盤、移動(dòng)硬盤、只讀存儲(chǔ)器(rom,read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram,randomaccessmemory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。
在本發(fā)明的描述中,需要說明的是,術(shù)語“中心”、“上”、“下”、“左”、“右”、“豎直”、“水平”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系,僅是為了便于描述本發(fā)明和簡化描述,而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作,因此不能理解為對(duì)本發(fā)明的限制。
此外,術(shù)語“第一”、“第二”、“第三”僅用于描述目的,而不能理解為指示或暗示相對(duì)重要性。
在本發(fā)明的描述中,需要說明的是,除非另有明確的規(guī)定和限定,術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解,例如,可以是固定連接,也可以是可拆卸連接,或一體地連接;可以是機(jī)械連接,也可以是電連接;可以是直接相連,也可以通過中間媒介間接相連,可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言,可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。
最后應(yīng)說明的是:以上所述實(shí)施例,僅為本發(fā)明的具體實(shí)施方式,用以說明本發(fā)明的技術(shù)方案,而非對(duì)其限制,本發(fā)明的保護(hù)范圍并不局限于此,盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),其依然可以對(duì)前述實(shí)施例所記載的技術(shù)方案進(jìn)行修改或可輕易想到變化,或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換;而這些修改、變化或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實(shí)施例技術(shù)方案的精神和范圍,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此,本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。