一種基于相似度學(xué)習(xí)的車輛檢索方法
【技術(shù)領(lǐng)域】
:
[0001]本發(fā)明是關(guān)于視頻、圖像中相似車輛檢索的一種方法，不但在一般場(chǎng)景下具有較高的檢測(cè)率和精確度，而且在目標(biāo)車輛存在較大的姿態(tài)和光照變化時(shí)，本方法依然具有很好的表現(xiàn)。
【背景技術(shù)】
:
[0002]當(dāng)前城市各種道路和重要區(qū)域都設(shè)置有攝像頭，采集到的車輛圖片在維護(hù)治安中起到很重要的作用。傳統(tǒng)的相似車輛檢索都是基于車牌識(shí)別技術(shù)，但對(duì)于假牌車，套牌車的檢索效果很差。為此，本發(fā)明提出一種不依賴車牌識(shí)別的相似車輛檢索，可以有效的解決套牌車，無(wú)牌車無(wú)法檢索的問(wèn)題。

【發(fā)明內(nèi)容】

:
[0003]本發(fā)明針對(duì)實(shí)際車輛檢索應(yīng)用的需求，設(shè)計(jì)了一種對(duì)光照變換和姿態(tài)變換具有較強(qiáng)魯棒性的方法。
[0004]本發(fā)明由以下兩部分構(gòu)成:
[0005]1.特征提取模塊
[0006]給定車輛區(qū)域，獲得SIFT特征點(diǎn)和描述后，使用聚類算法對(duì)SIFT特征離散化。為了彌補(bǔ)SIFT特征缺少位置信息的缺陷，進(jìn)一步使用鄰域內(nèi)離散SIFT特征分布生成鄰域特征，作為最終的特征點(diǎn)描述。
[0007]2.相似度學(xué)習(xí)模塊
[0008]每一個(gè)車輛圖片由一批特征來(lái)表示，一對(duì)相似車輛圖片的特征組成一個(gè)正樣本，一對(duì)不同車輛圖片的特征組成一個(gè)負(fù)樣本。如此收集大量的正負(fù)樣本后，利用隨機(jī)森林方法進(jìn)行相似度學(xué)習(xí)，獲得分類器可以用來(lái)判斷兩個(gè)車輛是否相似，達(dá)到相似車輛檢索的目的。
【附圖說(shuō)明】
:
[0009]后續(xù)結(jié)合附圖的詳細(xì)說(shuō)明將更為清晰的解釋本發(fā)明的特征，目的和優(yōu)勢(shì)，其中:
[0010]圖1是本發(fā)明的整體架構(gòu)示意圖
[0011]圖2是本發(fā)明的特征提取模塊流程圖
[0012]圖3是本發(fā)明的相似度學(xué)習(xí)模塊流程圖
[0013]圖4是本發(fā)明的詳細(xì)訓(xùn)練流程圖
[0014]圖5是本發(fā)明的詳細(xì)預(yù)測(cè)流程圖
【具體實(shí)施方式】
:
[0015]現(xiàn)在，將參照附圖描述本發(fā)明的優(yōu)選實(shí)施例。
[0016]圖1是表示本發(fā)明裝置的整體架構(gòu)示意圖。
[0017]如圖1所示，本發(fā)明由鄰域特征提取模塊和相似度學(xué)習(xí)模塊兩部分組成。鄰域特征提取模塊完成從車輛圖片中獲取一種對(duì)光照，姿態(tài)都有較好魯棒性的局部特征。相似度學(xué)習(xí)模塊通過(guò)合理的構(gòu)造正負(fù)樣本集，利用隨機(jī)森林學(xué)習(xí)相似度評(píng)估模型，達(dá)到相似車輛檢索的目的。
[0018]圖2是表示本發(fā)明的鄰域特征提取模塊的流程圖。
[0019]如圖2所示，本發(fā)明優(yōu)選實(shí)例的特征提取模塊詳細(xì)步驟如下:
[0020](S21)輸入原始的車輛圖片庫(kù)。
[0021]車輛區(qū)域定義為車輛正面的一個(gè)矩形區(qū)域，上邊緣到駕駛室車窗頂部，下邊緣到車牌底部，左邊緣到車輛駕駛室車窗左邊界，右邊緣到駕駛室車窗右邊界。
[0022](S22)從圖片庫(kù)中提取SIFT特征集。
[0023]提取SIFT特征點(diǎn)首先需要建立圖像的高斯金字塔，金字塔中像素的值如果超過(guò)鄰域內(nèi)其他像素，則選擇改點(diǎn)作為特征點(diǎn)。從特征點(diǎn)鄰域內(nèi)生成一個(gè)128維的向量用來(lái)描述該特征點(diǎn)，這個(gè)向量就是SIFT特征。
[0024](S23)利用K均值聚類方法對(duì)SIFT特征集離散化。
[0025]從圖片庫(kù)中可以提取大量的SIFT特征集，利用K均值聚類對(duì)其作離散化。K均值聚類通過(guò)迭代的方式，把每一個(gè)SIFT特征劃分到距離其最近的聚類中，最終SIFT特征集被劃分成K個(gè)離散的聚類，認(rèn)為同一個(gè)聚類的SIFT特征是一樣的，則可以使用類編號(hào)表示SIFT特征，即離散SIFT特征。本發(fā)明的優(yōu)選實(shí)例中取K值為100000。
[0026](S24)生成鄰域特征
[0027]為了彌補(bǔ)SIFT特征缺少特征相對(duì)位置關(guān)系的缺陷，要把離散化的SIFT進(jìn)一步轉(zhuǎn)換成鄰域特征。假設(shè)SIFT聚類個(gè)數(shù)為K，選擇NX N的鄰域，則鄰域特征可以表示為一個(gè)整數(shù)序列，其元素的值不超過(guò)KXNXN。給定一個(gè)SIFT特征點(diǎn)，以其為中心定義一個(gè)NXN的鄰域。按照如下規(guī)則生成一個(gè)矩陣:同一個(gè)子區(qū)域內(nèi)，同一個(gè)離散SIFT特征出現(xiàn)多次只記錄一次；如果第k個(gè)離散SIFT特征出現(xiàn)在第η個(gè)區(qū)域內(nèi)，則矩陣第η行的第k個(gè)值置為1，否則置為0。最終的整數(shù)序列按照下面的步驟生成:初始序列為空，自左向右，自上而下掃描矩陣，如果第η行第k個(gè)值為1，則在序列中增加一個(gè)整數(shù)，值為(n-1) XK+k，忽略值為0的元素，由此得到一個(gè)整數(shù)序列，這個(gè)序列就是鄰域特征。本發(fā)明的優(yōu)先實(shí)例中K取100000，N取3
[0028]圖3是本發(fā)明的相似度學(xué)習(xí)模塊的流程圖。
[0029]如圖3所示，本發(fā)明優(yōu)選實(shí)例的相似度學(xué)習(xí)模塊的詳細(xì)步驟如下:
[0030](S31)輸入鄰域特征
[0031](S32)構(gòu)造訓(xùn)練樣本
[0032]—個(gè)訓(xùn)練樣本由三部分構(gòu)成:圖像A的鄰域特征集，圖像B的鄰域特征集以及相似度標(biāo)志Y。Y取1時(shí)表示正樣本，其中A和B是相似車輛的不同圖片；Y取0時(shí)表示負(fù)樣本，其中Α和Β是不相似車輛的圖片。
[0033](S33)隨機(jī)森林訓(xùn)練模塊
[0034]隨機(jī)森林是隨機(jī)樹(shù)的集合，隨機(jī)樹(shù)由內(nèi)節(jié)點(diǎn)和葉子節(jié)點(diǎn)構(gòu)成，訓(xùn)練時(shí)內(nèi)節(jié)點(diǎn)隨機(jī)選定一個(gè)特征，按照樣本中兩個(gè)特征集是否包含該特征，把樣本劃分成兩個(gè)不相交的集合，如此不斷劃分樣本集，產(chǎn)生新的內(nèi)節(jié)點(diǎn)，直至某終止條件時(shí)，生成一個(gè)葉子節(jié)點(diǎn)。葉子節(jié)點(diǎn)記錄節(jié)點(diǎn)內(nèi)正樣本在節(jié)點(diǎn)內(nèi)總樣本中的比例，表示該葉子節(jié)點(diǎn)內(nèi)正樣本的置信度。訓(xùn)練過(guò)程中，三個(gè)重要的訓(xùn)練參數(shù)是，隨機(jī)樹(shù)允許的最大深度D，隨機(jī)樹(shù)的個(gè)數(shù)T以及節(jié)點(diǎn)內(nèi)最小樣本數(shù)L。本發(fā)明的優(yōu)選實(shí)例中D取500，T取20000，L取1000.
[0035]圖4是本發(fā)明的詳細(xì)訓(xùn)練流程圖。
[0036]如圖4所示，本發(fā)明的優(yōu)選實(shí)例的訓(xùn)練流程詳細(xì)步驟如下:
[0037](S41)輸入車輛圖片庫(kù)
[0038]具體要求和S21 —致
[0039](S42) SIFT 特征提取
[0040]具體操作和S22 —致
[0041](S43)K均值聚類訓(xùn)練
[0042]具體操作和S23 —致
[0043](S44)生成鄰域特征
[0044]具體操作和S44 —致
[0045](S45)構(gòu)造訓(xùn)練樣本
[0046]具體操作和S32 —致
[0047](S46)訓(xùn)練隨機(jī)森林
[0048]具體操作和S33 —致
[0049]圖5是本發(fā)明的詳細(xì)預(yù)測(cè)流程圖。
[0050]如圖5所示，本發(fā)明的優(yōu)選實(shí)例的預(yù)測(cè)流程詳細(xì)步驟如下:
[0051](S51)輸入查詢圖片
[0052]查詢圖的要求和(S21)中的描述一致
[0053](S52)提取 SIFT 特征
[0054]具體操作和S22 —致
[0055](S53) K均值聚類預(yù)測(cè)模塊
[0056]K均值聚類預(yù)測(cè)的具體流程是:計(jì)算樣本到每一個(gè)聚類中心的距離，選取最小距離對(duì)應(yīng)的聚類編號(hào)作為輸出。
[0057](S54)生成鄰域特征
[0058]具體操作和S24 —致
[0059](S55)隨機(jī)森林預(yù)測(cè)模塊
[0060]隨機(jī)森林的預(yù)測(cè)是通過(guò)隨機(jī)樹(shù)的預(yù)測(cè)來(lái)實(shí)現(xiàn)的。查詢圖特征和圖像庫(kù)中每個(gè)車輛圖片的特征組成一個(gè)查詢樣本，被分發(fā)給每一個(gè)隨機(jī)樹(shù)，查詢樣本從內(nèi)節(jié)點(diǎn)向葉子節(jié)點(diǎn)移動(dòng)，抵達(dá)內(nèi)節(jié)點(diǎn)時(shí)按照訓(xùn)練時(shí)確定的內(nèi)節(jié)點(diǎn)規(guī)則決定下一步移動(dòng)方向，抵達(dá)葉子節(jié)點(diǎn)時(shí)把訓(xùn)練時(shí)確定的正樣本置信度作為隨機(jī)樹(shù)的輸出。所有隨機(jī)樹(shù)的輸出經(jīng)過(guò)投票后作為隨機(jī)森林的輸出，表示查詢圖和該庫(kù)存圖的相似度，最終按照相似度由大到小的次序輸出查詢結(jié)果Ο
[0061]盡管出于說(shuō)明性目的已經(jīng)公開(kāi)本發(fā)明的優(yōu)選實(shí)施例，但是本領(lǐng)域的普通技術(shù)人員將懂得各種變更，增加或是替代都是可能的，并不脫離如附帶的權(quán)利要求書(shū)中所公開(kāi)的本發(fā)明的精神和范圍。
【主權(quán)項(xiàng)】
1.一種基于相似度學(xué)習(xí)的車輛檢索方法，其特征在于，包括以下步驟: 步驟A:從圖片中提取SIFT特征，利用K均值聚類方法對(duì)SIFT特征集離散化； 步驟B:基于離散SIFT特征，構(gòu)造鄰域特征； 步驟C:相似車輛圖片對(duì)作為正樣本，不相似車輛圖片對(duì)作為負(fù)樣本，收集大量的正負(fù)樣本構(gòu)成隨機(jī)森林的訓(xùn)練集，進(jìn)行相似度學(xué)習(xí)； 步驟D:給定一個(gè)車輛圖庫(kù)，輸入一個(gè)測(cè)試車輛圖，查詢圖庫(kù)中和測(cè)試圖相似的車輛。首先提取測(cè)試車輛圖的鄰域特征，依次和圖庫(kù)中每個(gè)車輛圖的鄰域特征組成測(cè)試樣本，利用訓(xùn)練得到的隨機(jī)森林模型判斷二者相似度，達(dá)到相似車輛檢索的目的。2.根據(jù)權(quán)利要求1所述的基于相似度學(xué)習(xí)的車輛檢索方法，其特征在于所述步驟B的具體方法是:假設(shè)SIFT聚類個(gè)數(shù)為K，選擇NXN的鄰域，則鄰域特征可以表示為一個(gè)整數(shù)序列，其元素的值不超過(guò)KXNXN。給定一個(gè)SIFT特征點(diǎn)，以其為中心定義一個(gè)NXN的鄰域。按照如下規(guī)則生成一個(gè)矩陣:同一個(gè)子區(qū)域內(nèi)，同一個(gè)離散SIFT特征出現(xiàn)多次只記錄一次；如果第k個(gè)離散SIFT特征出現(xiàn)在第η個(gè)區(qū)域內(nèi)，則矩陣第η行的第k個(gè)值置為1，否則置為0。最終的整數(shù)序列按照下面的步驟生成:初始序列為空，自左向右，自上而下掃描矩陣，如果第η行第k個(gè)值為1，則在序列中增加一個(gè)整數(shù)，值為(n-1) XK+k，忽略值為0的元素，由此得到一個(gè)整數(shù)序列，這個(gè)序列就是鄰域特征。3.根據(jù)權(quán)利要求1所述的基于相似度學(xué)習(xí)的車輛檢索方法，其特征在于所述步驟C的具體方法是:一個(gè)訓(xùn)練樣本由三部分構(gòu)成:圖像A的鄰域特征集，圖像B的鄰域特征集以及相似度標(biāo)志Y。Y取1時(shí)表示正樣本，其中A和B是相似車輛的不同圖片；Y取0時(shí)表示負(fù)樣本，其中Α和B是不相似車輛的圖片。隨機(jī)森林是隨機(jī)樹(shù)的集合，隨機(jī)樹(shù)由內(nèi)節(jié)點(diǎn)和葉子節(jié)點(diǎn)構(gòu)成，訓(xùn)練時(shí)內(nèi)節(jié)點(diǎn)隨機(jī)選定一個(gè)特征，按照樣本中兩個(gè)特征集是否包含該特征，把樣本劃分成兩個(gè)不相交的集合，如此不斷劃分樣本集，產(chǎn)生新的內(nèi)節(jié)點(diǎn)，直至某終止條件時(shí)，生成一個(gè)葉子節(jié)點(diǎn)。葉子節(jié)點(diǎn)記錄節(jié)點(diǎn)內(nèi)正樣本在節(jié)點(diǎn)內(nèi)總樣本中的比例，表示該葉子節(jié)點(diǎn)內(nèi)正樣本的置信度。訓(xùn)練過(guò)程中，三個(gè)重要的訓(xùn)練參數(shù)是，隨機(jī)樹(shù)允許的最大深度D，隨機(jī)樹(shù)的個(gè)數(shù)T以及節(jié)點(diǎn)內(nèi)最小樣本數(shù)L。4.根據(jù)權(quán)利要求1所述的基于相似度學(xué)習(xí)的車輛檢索方法，其特征在于所述步驟D的具體方法是:從一個(gè)車輛圖片上提取SIFT特征，計(jì)算SIFT特征到訓(xùn)練階段確定的聚類中心的距離，距離最小的聚類中心作為離散SIFT特征，獲得全部的離散SIFT特征后轉(zhuǎn)換成鄰域特征，如此得到兩個(gè)圖對(duì)應(yīng)的鄰域特征后，送入訓(xùn)練后的隨機(jī)森林模型。隨機(jī)森林的預(yù)測(cè)是通過(guò)隨機(jī)樹(shù)的預(yù)測(cè)來(lái)實(shí)現(xiàn)的，待測(cè)試的兩組鄰域特征，被分發(fā)給每一個(gè)隨機(jī)樹(shù)，查詢樣本從內(nèi)節(jié)點(diǎn)向葉子節(jié)點(diǎn)移動(dòng)，抵達(dá)內(nèi)節(jié)點(diǎn)時(shí)按照訓(xùn)練時(shí)確定的內(nèi)節(jié)點(diǎn)規(guī)則決定下一步移動(dòng)方向，抵達(dá)葉子節(jié)點(diǎn)時(shí)把訓(xùn)練時(shí)確定的正樣本置信度作為隨機(jī)樹(shù)的輸出。所有隨機(jī)樹(shù)的輸出經(jīng)過(guò)投票后作為隨機(jī)森林的輸出，表示兩個(gè)測(cè)試圖的相似度，最終按照相似度由大到小的次序輸出查詢結(jié)果，達(dá)到相似車輛檢索的目的。
【專利摘要】本發(fā)明公開(kāi)了一種基于相似度學(xué)習(xí)的車輛檢索方法，相對(duì)于傳統(tǒng)基于車牌號(hào)碼的車輛檢索方法，本發(fā)明中的方法不僅有效避免了對(duì)車牌識(shí)別準(zhǔn)確度的依賴，而且還可以對(duì)假牌車和套牌車進(jìn)行檢索，大大提高車輛檢索的可用性和可靠性。本發(fā)明公開(kāi)的方法首先提取圖片中車輛區(qū)域的SIFT特征，利用聚類算法離散化后，轉(zhuǎn)換成表述能力更強(qiáng)的鄰域特征，作為基礎(chǔ)的車輛描述特征，然后利用隨機(jī)森林方法進(jìn)行相似度學(xué)習(xí)，得到相似度預(yù)測(cè)模型可以用來(lái)判斷圖片中兩個(gè)車輛是否屬于相似車輛。
【IPC分類】G06F17/30, G06K9/46, G06K9/62
【公開(kāi)號(hào)】CN105488099
【申請(qǐng)?zhí)枴緾N201510744990
【發(fā)明人】曾凡濤
【申請(qǐng)人】杭州全實(shí)鷹科技有限公司
【公開(kāi)日】2016年4月13日
【申請(qǐng)日】2015年11月3日