本發(fā)明涉及計(jì)算機(jī)視覺(jué)的圖像處理，特別是圖像識(shí)別檢測(cè)這一部分。

背景技術(shù)：

目前主要通過(guò)兩方面來(lái)實(shí)現(xiàn)對(duì)火焰的檢測(cè)，包括火焰?zhèn)鞲衅鳈z測(cè)和計(jì)算機(jī)視覺(jué)檢測(cè)。人們已經(jīng)利用多種傳感器開(kāi)發(fā)出非常多的煙火監(jiān)測(cè)系統(tǒng)。常規(guī)的監(jiān)測(cè)器主要針對(duì)煙霧、熱和輻射3類對(duì)象，多數(shù)采用的都是針對(duì)顆粒、溫度、空氣濕度、透明度、煙霧等物理采樣的點(diǎn)式傳感器，也有傳統(tǒng)的紫外或紅外光譜測(cè)量?jī)x。但這些近距傳感器和光電設(shè)備在操作難度、可靠性、檢測(cè)效率、場(chǎng)地適用性、成本和通用性等方面都存在局限性。而通過(guò)計(jì)算機(jī)視覺(jué)來(lái)檢測(cè)火焰，通常通過(guò)火焰的靜態(tài)特征研究，即指對(duì)含有火焰的圖像進(jìn)行色彩、輪廓、能量、紋理等角度的特征提取。以上靜態(tài)特征的檢測(cè)算法均存在一定的缺陷：①如基于顏色的檢測(cè)特征，模型簡(jiǎn)單但虛警率很高，且容易受成像設(shè)備的局限而產(chǎn)生漏檢及誤檢；②火焰的非剛性特征極大制約其輪廓提取，無(wú)法做到通用環(huán)境下的高檢測(cè)率；③光學(xué)設(shè)備的精度和火源距離的限制使得火焰本身的精細(xì)紋理提取困難，且紋理特征計(jì)算量大，應(yīng)用性受到局限。

楊駿等人針對(duì)視頻火焰技術(shù)提出了視頻火焰檢測(cè)的幾個(gè)主要方面，包括其相對(duì)傳統(tǒng)檢測(cè)器的優(yōu)勢(shì)、火焰特性的分類與描述、代表性的檢測(cè)方法、典型的系統(tǒng)方案及其發(fā)展趨勢(shì)等；探討了其中涉及的系統(tǒng)通用性、實(shí)時(shí)性、智能性、評(píng)測(cè)標(biāo)準(zhǔn)和多傳感器融合等關(guān)鍵問(wèn)題；還介紹了一種新的基于層次注意的視頻火焰檢測(cè)模型及多源感知信息的顯著性融合框架，嘗試借助顯著性特征描述和低冗余計(jì)算來(lái)提升煙火監(jiān)測(cè)系統(tǒng)的效率和主動(dòng)性。

現(xiàn)有技術(shù)文獻(xiàn)

楊俊,王潤(rùn)生.基于計(jì)算機(jī)視覺(jué)的視頻火焰檢測(cè)技術(shù)[J].中國(guó)圖象圖形學(xué)報(bào).2008,13(7):1222-1234.

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提出了一種基于機(jī)器人自主滅火的火焰視頻檢測(cè)算法。該算法首先結(jié)合多種傳感器來(lái)進(jìn)行實(shí)現(xiàn)初步判斷，然后綜合火焰的動(dòng)態(tài)特征等，使用混合高斯模型分割出運(yùn)動(dòng)目標(biāo)區(qū)域，結(jié)合火焰的靜態(tài)特征提取運(yùn)動(dòng)區(qū)域的候選火焰目標(biāo)，并進(jìn)行分割。最后結(jié)合雙目攝像頭來(lái)實(shí)現(xiàn)跟蹤攝像機(jī)火焰運(yùn)動(dòng)在三維空間的位置和方向，提取其深度信息，提供機(jī)器人自主滅火的路徑等信息，實(shí)現(xiàn)對(duì)火焰比較精準(zhǔn)的檢測(cè)。

附圖說(shuō)明

圖1為火焰檢測(cè)方法流程框圖；

圖2為RGB顏色空間；

圖3為火焰尖角結(jié)構(gòu)元素；

圖4為零散非火焰像素點(diǎn)示例圖(a)-(c)均為火焰像素點(diǎn),(d)-(f)均不是火焰像素點(diǎn)；

圖5為火焰檢測(cè)效果圖；

圖6為混合高斯模型提取火焰運(yùn)動(dòng)區(qū)域圖；

圖7為立體視覺(jué)圖；

圖8為打火機(jī)例子1；

圖9為打火機(jī)例子2。

具體實(shí)施方式

以下參考附圖來(lái)說(shuō)明本發(fā)明的具體實(shí)施方式。

A.首先說(shuō)明本發(fā)明的第1實(shí)施方式。

圖1示出了自主滅火機(jī)器人火焰檢測(cè)方法流程框圖。主要包括傳感器檢測(cè)、動(dòng)態(tài)、靜態(tài)等特征的視覺(jué)檢測(cè)、提取深度信息、提供路徑等六個(gè)方面。自主滅火機(jī)器人在滅火過(guò)程中用到的硬件設(shè)備，主要是一些傳感器和雙目攝像頭的結(jié)合實(shí)現(xiàn)對(duì)火焰的檢測(cè)。傳感器包括DS18B20TO-92溫度傳感器、煙霧傳感器MQ-2、濱松火焰?zhèn)鞲衅鱎2868，雙目攝像頭采用ZED相機(jī)。

B.接下來(lái)說(shuō)明本發(fā)明的第2實(shí)施方式。

圖2示出了RGB顏色空間，顏色空間作為特定事物的色彩在特定空間內(nèi)的表達(dá)形式?；鹧婵梢暬憩F(xiàn)的眾多特征中，顏色特征最直接、最明顯，因此火焰也有其視覺(jué)上的顏色具體化描述。檢測(cè)視頻場(chǎng)景中出現(xiàn)的火焰區(qū)域，必須將其顏色在特定空間內(nèi)具體參數(shù)化。通過(guò)對(duì)大量火焰像素和火焰塊區(qū)域進(jìn)行采樣分析，可以建立通用性非可控火焰模型。同時(shí)利用這些火焰顏色檢測(cè)模型，可以檢測(cè)出滿足疑似火焰顏色區(qū)域，為后續(xù)檢測(cè)提供精確定位的疑似火焰區(qū)域，提高檢測(cè)效率。

RGB顏色空間利用了物理學(xué)中的三原色疊加從而組成產(chǎn)生各種不同顏色的原理。在RGB顏色空間中，3個(gè)軸分別是為R、G、B三個(gè)分量。則任意色光F都可以用R、G、B三色不同分量的相加混合而成：

F＝r[R]+g[G]+b[B]

任一色彩F是這個(gè)立方體坐標(biāo)中的一點(diǎn)，調(diào)整三色系數(shù)r、g、b中的任一系數(shù)都會(huì)改變F的坐標(biāo)值，也即改變了F的色值。也即是說(shuō)，任何一種顏色都可以用三種基本顏色按照不同的比例混合得到。其中，各個(gè)分量的數(shù)值越小，亮度越低。數(shù)值越大，亮度越高；如：原點(diǎn)對(duì)應(yīng)為黑色(0，0，0)，離原點(diǎn)最遠(yuǎn)的定點(diǎn)為白色(255，255，255)。且由黑到白的灰度分布在原點(diǎn)到最遠(yuǎn)點(diǎn)間的連線上，每一種顏色獨(dú)有其唯一的RGB指與它對(duì)應(yīng)。RGB色彩空間采用物理三基色表示，是根據(jù)人眼識(shí)別的顏色定義出的空間。在分析大量的火焰像素區(qū)域后，可以得到了紅綠藍(lán)三通道間的規(guī)律，即紅色通道值不僅比綠色通道值高，而且遠(yuǎn)比藍(lán)色通道值高，具體條件表示如下：

條件1：R＞R_T

條件2：R≥G＞B

條件3：S≥(255-R)*S_T/R_T

其中R_T是紅色通道的值，S是飽和度值，且當(dāng)R取得R_T時(shí)，S_T即是該像素的飽和度值。當(dāng)滿足上述條件時(shí)，認(rèn)為該像素點(diǎn)是火焰像素。

圖3示出了火焰尖角結(jié)構(gòu)元素?；鹧媸欠莿傂晕矬w，其形態(tài)持續(xù)變化取決于燃料或空氣流動(dòng)等周圍因素，故常規(guī)的形狀分析方法很難有效描述火焰的形狀及其演化。觀察發(fā)現(xiàn)，火焰輪廓的時(shí)變特性主要集中于外焰形態(tài)變化，而外焰中最為顯著的特征就是火焰尖角，尋找外焰輪廓中含有尖角結(jié)構(gòu)形態(tài)元素的數(shù)量(見(jiàn)圖5)是一種很實(shí)用的方法，在檢測(cè)到火焰的時(shí)候，同時(shí)對(duì)火焰特有的尖角特征進(jìn)行檢測(cè)，針對(duì)火焰的尖角具有一定的角度，這樣可以檢測(cè)出是否有尖角，從而判斷一些區(qū)域是否是火焰區(qū)域。

圖4為零散非火焰像素點(diǎn)示例圖，其中(a)-(c)均為火焰像素點(diǎn),(d)-(f)均不是火焰像素點(diǎn)。攝像頭檢測(cè)到的火焰像素點(diǎn)均以不定形狀塊的形式存在，所以一些受光照或噪聲點(diǎn)等影響的零散像素點(diǎn)不能當(dāng)成火焰點(diǎn)，必須將其濾除。此時(shí)，可以將圖像分成3*3的小塊，在每一塊中，中間的像素點(diǎn)必須檢測(cè)為火焰點(diǎn)，同時(shí)其周邊的8個(gè)相鄰域像素點(diǎn)也必須超過(guò)一定的數(shù)量才能算是火焰像素點(diǎn)。

對(duì)于這樣一個(gè)3*3塊，分別編號(hào)為1-4、X(中心點(diǎn))、5-8。當(dāng)檢測(cè)到X位置時(shí)，必須同時(shí)滿足兩個(gè)條件：當(dāng)X為火焰像素點(diǎn)；且當(dāng)標(biāo)記了1-8中8個(gè)鄰域中必須有至少兩個(gè)是火焰像素點(diǎn)，這時(shí)才能確定X是火焰像素點(diǎn)。

火焰在燃燒過(guò)程中會(huì)逐漸變大，而不僅僅是一個(gè)零散點(diǎn)。只有類似于LED指示燈等在圖像很遠(yuǎn)時(shí)拍攝的視頻圖像才會(huì)是一個(gè)小小的點(diǎn)。如圖中火焰點(diǎn)存在均是連通成塊的，因此通過(guò)對(duì)前面檢測(cè)到的疑似火焰部分檢測(cè)后，再對(duì)每個(gè)像素點(diǎn)進(jìn)行篩選即可濾除那些零散非火焰像素點(diǎn)，這樣就保留了不定形狀和面積的成塊的火焰部分。

在檢測(cè)火焰輪廓的同時(shí)，可以檢測(cè)火焰在視頻窗口中的面積百分比，對(duì)于大小的火焰大小的面積，在檢測(cè)火焰大小的時(shí)候，設(shè)置檢測(cè)到火焰的面積的值，如果在視頻窗口中只是一小部分的話，就忽略不計(jì)。為了更方便的分別對(duì)火焰候選區(qū)域進(jìn)行特征判別，首先我們得對(duì)處理后的結(jié)果中的各個(gè)分離部分進(jìn)行標(biāo)記。這里采用了8連通鄰域(像素的鄰域即像素周圍的八個(gè)點(diǎn))來(lái)確定某一像素所屬的標(biāo)簽。假設(shè)圖像的總面積為area，其各個(gè)候選區(qū)域的面積area(i)，(其中i＝1,2,…N)時(shí)，當(dāng)其面積比例N小于(在這里設(shè)置為0.005)時(shí)，我們便可以認(rèn)為此塊區(qū)域并非是火焰位置，很有可能是一些較小的圖像噪聲等等，這樣就可以根據(jù)面積比例來(lái)刪除一些虛假區(qū)域，可以實(shí)現(xiàn)較好的圖像效果處理。

經(jīng)過(guò)上述的原理檢測(cè)后，使用小型的火焰進(jìn)行了測(cè)試，火焰靜態(tài)特征檢測(cè)效果如圖5所示。

C.接下來(lái)說(shuō)明本發(fā)明的第3實(shí)施方式。

混合高斯模型算法的基本思想是：對(duì)圖像中每一個(gè)像素點(diǎn)的顏色值建立混合高斯模型，通過(guò)一段時(shí)間的采樣觀測(cè)，根據(jù)各個(gè)高斯分布的持續(xù)性和變動(dòng)性的差異，判斷哪一個(gè)分布更加接近于真實(shí)背景，該高斯分布就作為背景模型。如果圖像中像素點(diǎn)的顏色值不符合該高斯分布，則被認(rèn)為是目標(biāo)點(diǎn)。即利用當(dāng)前幀和視頻序列中的當(dāng)前背景幀進(jìn)行加權(quán)平均來(lái)更新背景，混合高斯模型使用K(基本為3到5個(gè))個(gè)高斯模型來(lái)表征圖像中各個(gè)像素點(diǎn)的特征，在新一幀圖像獲得后更新混合高斯模型，用當(dāng)前圖像中的每個(gè)像素點(diǎn)與混合高斯模型匹配，如果成功則判定該點(diǎn)為背景點(diǎn)，否則為前景點(diǎn)。通觀整個(gè)高斯模型，主要是有方差和均值兩個(gè)參數(shù)決定，對(duì)均值和方差的學(xué)習(xí)，采取不同的學(xué)習(xí)機(jī)制，將直接影響到模型的穩(wěn)定性、精確性和收斂性。由于我們是對(duì)運(yùn)動(dòng)目標(biāo)的背景提取建模，因此需要對(duì)高斯模型中方差和均值兩個(gè)參數(shù)實(shí)時(shí)更新。具體計(jì)算方法如下。

設(shè)圖像中位置為(x₀,y₀)的像素點(diǎn)在一段時(shí)間內(nèi)的觀測(cè)值為：

{X₁,…,X_t}＝{I(x₀,y₀,i):1≤i≤t}

利用多個(gè)高斯分布對(duì)上式中的觀測(cè)值進(jìn)行建模，可以得到當(dāng)前像素點(diǎn)的顏色值概率為：

其中，K為高斯分布的個(gè)數(shù)(通常取3-5)；ω_i,t為權(quán)重的估計(jì)值，即t時(shí)刻該像素點(diǎn)屬于第i個(gè)高斯分布的可能性的大??；μ_i,t為t時(shí)刻第i個(gè)高斯分布的均值；Σ_i,t為第i個(gè)高斯分布的協(xié)方差矩陣；η為高斯分布概率密度函數(shù)：

為了計(jì)算簡(jiǎn)便，假定像素點(diǎn)顏色值的三個(gè)分量(R,G,B)相互獨(dú)立，并且具有相同的方差，則式中的協(xié)方差矩陣可以寫為：

這樣，就建立起了被觀察像素點(diǎn)(x₀,y₀)顏色值的高斯混合模型。對(duì)于輸入圖像中的像素點(diǎn)(x0,y0,t)，將它的顏色值與已存在的K個(gè)高斯分布相比較，判斷其是否和已經(jīng)存在的高斯分布相匹配，如果匹配，則該像素點(diǎn)為背景點(diǎn)。如果沒(méi)有找到匹配的高斯分布，則將輸入像素的顏色值作為均值，建立一個(gè)新的高斯分布，代替之前K個(gè)高斯分布中概率最小、權(quán)重最低的分布，該分布具有較大的方差和較低的權(quán)重，從而重新建立背景模型。

如果存在匹配的高斯分布，則背景模型中各個(gè)參數(shù)進(jìn)行如下更新：

ω_k,t＝(1-α)ω_k,t-1+α(M_k,t)

μ_t＝(1-ρ)μ_t-1+ρX_t

其中，α是模型學(xué)習(xí)速率，1/α表征了模型參數(shù)變化的速率；對(duì)于匹配的高斯分布M_k,t為1，其余不匹配的高斯分布，M_k,t為0，ρ為參數(shù)學(xué)習(xí)速率，定義為：

ρ＝αη(X_t|μ_k.σ_k)

這樣，就實(shí)現(xiàn)了高斯混合模型的更新。高斯混合模型的方法，能夠充分表征場(chǎng)景的多模態(tài)特性；可以很快適應(yīng)背景的變化，即使是當(dāng)場(chǎng)景中有光照變化、小幅度重復(fù)運(yùn)動(dòng)(如戶外場(chǎng)景中樹(shù)枝的輕微擾動(dòng))時(shí)，也能檢測(cè)出運(yùn)動(dòng)目標(biāo)；如果場(chǎng)景中有目標(biāo)進(jìn)入，長(zhǎng)時(shí)間停留而成為背景，高斯混合模型方法同樣可以及時(shí)地更新背景模型。下面針對(duì)一個(gè)拍攝的火焰視頻進(jìn)行試驗(yàn)，取其中的25-32幀，高斯混合模型的實(shí)驗(yàn)結(jié)果如圖6所示。

D.接下來(lái)說(shuō)明本發(fā)明的第4實(shí)施方式。

雙目成像原理，提取深度信息：

雙目立體視覺(jué)三維測(cè)量是基于視差原理，圖7所示為簡(jiǎn)單的平視雙目立體成像原理圖，兩攝像機(jī)的投影中心的連線的距離，即基線距為b。攝像機(jī)坐標(biāo)系的原點(diǎn)在攝像機(jī)鏡頭的光心處，坐標(biāo)系如圖7所示。事實(shí)上攝像機(jī)的成像平面在鏡頭的光心后，圖7中將左右成像平面繪制在鏡頭的光心前f處，這個(gè)虛擬的圖像平面坐標(biāo)系O₁uv的u軸和v軸與和攝像機(jī)坐標(biāo)系的x軸和y軸方向一致，這樣可以簡(jiǎn)化計(jì)算過(guò)程。左右圖像坐標(biāo)系的原點(diǎn)在攝像機(jī)光軸與平面的交點(diǎn)O1和O2?？臻g中某點(diǎn)P在左圖像和右圖像中相應(yīng)的坐標(biāo)分別為P1(u1,v1)和P2(u2,v2)。假定兩攝像機(jī)的圖像在同一個(gè)平面上，則點(diǎn)P圖像坐標(biāo)的Y坐標(biāo)相同，即v1＝v2。由三角幾何關(guān)系得到:

上式中(x^c,y^c,z^c)為點(diǎn)P在左攝像機(jī)坐標(biāo)系中的坐標(biāo)，b為基線距，f為兩個(gè)攝像機(jī)的焦距，(u₁,v₁)和(u₂,v₂)分別為點(diǎn)P在左圖像和右圖像中的坐標(biāo)。視差定義為某一點(diǎn)在兩幅圖像中相應(yīng)點(diǎn)的位置差:

由此可計(jì)算出空間中某點(diǎn)P在左攝像機(jī)坐標(biāo)系中的坐標(biāo)為:

因此，只要能夠找到空間中某點(diǎn)在左右兩個(gè)攝像機(jī)像面上的相應(yīng)點(diǎn)，并且通過(guò)攝像機(jī)標(biāo)定獲得攝像機(jī)的內(nèi)外參數(shù)，就可以確定這個(gè)點(diǎn)的三維坐標(biāo)。

E.接下來(lái)說(shuō)明本發(fā)明的第5實(shí)施方式。

結(jié)合傳感器的特性和雙目攝像頭，下面通過(guò)使用打火機(jī)來(lái)進(jìn)行實(shí)驗(yàn)。通過(guò)雙目攝像頭，我們可以分別對(duì)左目的攝像頭和右目地?cái)z像頭進(jìn)行檢測(cè)，檢測(cè)結(jié)果用框標(biāo)記。另外我們通過(guò)左目的攝像頭和右目地?cái)z像頭得到一個(gè)深度圖，獲取場(chǎng)景中火焰相對(duì)于攝像頭的距離，為下一步自主機(jī)器人滅火路徑做好準(zhǔn)備，情況如圖8和圖9所示。

本發(fā)明相對(duì)于現(xiàn)有技術(shù)具有如下的優(yōu)點(diǎn)及效果：應(yīng)用到自主滅火機(jī)器人視頻火焰檢測(cè)中，對(duì)于最好的技術(shù)來(lái)說(shuō)，很難保證對(duì)火焰的準(zhǔn)確度達(dá)到非常精確或者很難通過(guò)單目攝像頭來(lái)精確實(shí)現(xiàn)對(duì)視頻流火焰的跟蹤，而本發(fā)明在原有的技術(shù)基礎(chǔ)上，首先在機(jī)器人預(yù)裝雙目攝像頭ZED相機(jī)、日本濱松火焰?zhèn)鞲衅鱎9533、煙霧傳感器和溫度傳感器等設(shè)備，傳感器結(jié)合雙目攝像頭來(lái)實(shí)現(xiàn)對(duì)火焰在視頻流的實(shí)時(shí)運(yùn)動(dòng)跟蹤，基于人體立體視覺(jué)，利用雙目視覺(jué)和高分辨率的傳感器來(lái)實(shí)現(xiàn)對(duì)火焰檢測(cè)，提取其深度信息，為下一步機(jī)器人自主滅火做好準(zhǔn)備。

在不脫離本發(fā)明精神或必要特性的情況下，可以其它特定形式來(lái)體現(xiàn)本發(fā)明。應(yīng)將所述具體實(shí)施例各方面僅視為解說(shuō)性而非限制性。因此，本發(fā)明的范疇如隨附申請(qǐng)專利范圍所示而非如前述說(shuō)明所示。所有落在申請(qǐng)專利范圍的等效意義及范圍內(nèi)的變更應(yīng)視為落在申請(qǐng)專利范圍的范疇內(nèi)。