一種基于深度圖像與可見光圖像融合的前景檢測方法
【專利摘要】本發(fā)明公開了一種基于深度圖像與可見光圖像融合的前景檢測方法，首先對(duì)可見光圖像以及深度圖像進(jìn)行背景建模，在深度圖像的背景建模中，對(duì)深度值和深度值是否有效的概率進(jìn)行了建模，在可見光圖像中，利用時(shí)空域混合隨機(jī)采樣得到背景模型，然后再對(duì)檢測到的前景進(jìn)行融合。本發(fā)明將可見光圖像與深度圖像進(jìn)行了有機(jī)融合，克服了單獨(dú)利用可見光圖像或者深度圖像進(jìn)行前景檢測可能存在的檢測不準(zhǔn)確的問題。
【專利說明】一種基于深度圖像與可見光圖像融合的前景檢測方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻圖像中的前景檢測領(lǐng)域，特別是一種基于深度圖像與可見光圖 像融合的前景檢測方法。

【背景技術(shù)】
[0002] 視頻圖像中的前景檢測是計(jì)算機(jī)視覺可視化應(yīng)用系統(tǒng)中最基礎(chǔ)也是最重要的部 分。目前學(xué)術(shù)界以及工業(yè)界都已有較多的前景檢測方案，不過基本上都是利用的可見光圖 像，其前景檢測基本分為三大類：幀間差，減背景，光流法。由于可見光圖像的顏色信息并 不穩(wěn)定，光照變化、陰影、反射、樹葉搖曳、相機(jī)抖動(dòng)等都將降導(dǎo)致圖像的變化，降低僅依賴 于顏色信息的前景檢測準(zhǔn)確度，進(jìn)而影響系統(tǒng)后續(xù)分析的準(zhǔn)確性以及穩(wěn)定性，因而精準(zhǔn)的 前景檢測迄今為止還是一個(gè)尚未很好解決的開放性問題。這些導(dǎo)致計(jì)算機(jī)視覺應(yīng)用系統(tǒng) 性能達(dá)不到需求的根本原因就在于在透視成像變換的過程中丟失了深度信息，而深度信息 在前景檢測中起著決定性的作用，因此在前景檢測中有效融入深度圖像的信息是至關(guān)重要 的。目前，深度圖像也開始逐漸獨(dú)立的應(yīng)用于視頻前景檢測，通常深度信息獲取的方式有以 下三種：基于雙目視覺的方法，基于飛行時(shí)間的方法和基于光斑編碼的方法。基于雙目視覺 的方法無法得到密集的點(diǎn)云數(shù)據(jù)，因?yàn)樵陬伾钠教箙^(qū)域得不到準(zhǔn)確的視差數(shù)據(jù)?；陲w 行時(shí)間法的方式成像精度高，但是速度較慢，體積，質(zhì)量，尺寸都較大，而且成本較高?；?光斑的方法能夠得到密集點(diǎn)云，測量速度較快，成本較低，體積、質(zhì)量以及功耗都可以做得 較好，雖測量精度不如飛行時(shí)間法，在三種方法的對(duì)比中也能具有較好的綜合性能。另外光 斑編碼以及飛行時(shí)間法都有一個(gè)較明顯的缺陷，如果光照區(qū)域表面對(duì)主動(dòng)光的反射率較低 或者有強(qiáng)光干擾，可能使得探測器無法檢測到反射回來的主動(dòng)光信號(hào)，也就不能夠得到有 效的深度值?？梢姽鈭D像與深入圖像之間還未能進(jìn)行有效的融合以便提升檢測的性能。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明所要解決的技術(shù)問題是，針對(duì)現(xiàn)有技術(shù)不足，提供一種基于深度圖像與可 見光圖像融合的前景檢測方法，將可見光圖像與深度圖像進(jìn)行有機(jī)融合，解決單獨(dú)利用可 見光圖像或者深度圖像進(jìn)行前景檢測可能存在的檢測不準(zhǔn)確的問題；提高依據(jù)深度圖像進(jìn) 行前景檢測的準(zhǔn)確度。
[0004] 為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是：一種基于深度圖像與可見光 圖像融合的前景檢測方法，包括以下步驟：
[0005] 1)連續(xù)選取N幀深度圖像，統(tǒng)計(jì)所述深度圖像各個(gè)像素上深度值為有效值，即深 度值被正確測量的次數(shù)，當(dāng)深度值無法被測量時(shí)，像素值為一個(gè)與探測器有關(guān)的默認(rèn)值，將 各個(gè)像素深度值被正確測量的次數(shù)存入矩陣Time validato，同時(shí)累加有效深度值的和，存入 矩陣Cbpthae。，利用矩陣點(diǎn)除沒

【權(quán)利要求】
1. 一種基于深度圖像與可見光圖像融合的前景檢測方法，其特征在于，包括以下步 驟： 1) 連續(xù)選取N幀深度圖像，統(tǒng)計(jì)所述深度圖像各個(gè)像素上深度值為有效值，即深度 值被正確測量的次數(shù)，將各個(gè)像素深度值被正確測量的次數(shù)存入矩陣Timevalidate，同時(shí)累
var表示由各個(gè)像素上有效深度值的方差構(gòu)成的矩陣； 2) 將所述深度圖像中深度值為有效值的概率小于7?=,的像素集合記為FGL,,, 將所述深度圖像中深度值為有效值的概率大于FA=的像素集合記為FG^5將 所述深度圖像中深度值為有效值，且與所述深度圖像的平均有效深度值滿足公式
的概率閾值；7?=為深度值有效的概率閾值；Cbpthem表示當(dāng)前幀深度圖像中點(diǎn)（u，V)的 深度值；depthbg(u, V)表示當(dāng)前巾貞深度圖像中點(diǎn)（u, V)平均有效深度值； 3) 選取多幀可見光圖像，將所述可見光圖像中當(dāng)前像素及其周圍M個(gè)鄰域像素歷史灰 度值或者顏色值所構(gòu)成的集合定義為背景模型；若所述當(dāng)前像素的灰度值或者顏色值與所 述背景模型中某個(gè)元素的灰度值或者顏色值之差低于閾值Tdmm，則表示當(dāng)前像素與該元素 匹配；若所述背景模型中與所述當(dāng)前像素匹配的元素的個(gè)數(shù)與所述背景模型中元素的個(gè)數(shù) 之比大于Thcari，則當(dāng)前像素為背景，反之當(dāng)前像素為前景；同理判斷所述可見光圖像中的 其余所有像素是否為前景，最后得到的所有前景組成前景集合FGcto ; 4) 利用下式得到融合后的前景FGt:
其中，（Ieptham (u, V) = invalide表示當(dāng)前巾貞深度圖像中點(diǎn)（u, V)深度值無效； intensity。^為當(dāng)前幀可見光圖像的灰度；Cr為低灰度閾值； 為高灰度閾值。
2. 根據(jù)權(quán)利要求1所述的基于深度圖像與可見光圖像融合的前景檢測方法，其特征在 于，所述步驟 2)中，71=, = 0? 1 ; 77!= = 0.9 -
3. 根據(jù)權(quán)利要求1或2所述的基于深度圖像與可見光圖像融合的前景檢測方法，其特 征在于，所述步驟3)中，M = 20 ;Theml = 0. 2 ;對(duì)于灰度圖像，Tdmm = 20 ;對(duì)于彩色圖像， Tchrom = 40 〇
4.根據(jù)權(quán)利要求3所述的基于深度圖像與可見光圖像融合的前景檢測方法，其特征在 于，//Zw= 30; Ihkkk = 225 〇 -J , gmy , ^ mX
【文檔編號(hào)】G06T7/00GK104361577SQ201410558371
【公開日】2015年2月18日 申請日期:2014年10月20日 優(yōu)先權(quán)日:2014年10月20日
【發(fā)明者】不公告發(fā)明人 申請人:湖南戍融智能科技有限公司