專利名稱：用于檢測(cè)道路障礙物的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信息檢測(cè)和處理技術(shù)領(lǐng)域，并且具體地涉及基于多傳感器融合的用于檢測(cè)和識(shí)別道路障礙物的方法及系統(tǒng)。
背景技術(shù)：
隨著汽車時(shí)代的全面來(lái)臨，汽車技術(shù)，特別是汽車安全技術(shù)受到越來(lái)越多的重視。除了傳統(tǒng)汽車中對(duì)汽車安全起決定作用的機(jī)電控制以外，實(shí)時(shí)獲取車載信息也是安全駕駛重要的保障。具體而言，車載信息主要包括車輛狀態(tài)信息和環(huán)境信息，其中對(duì)環(huán)境信息的感知尤為重要。隨著技術(shù)的發(fā)展，各種功能各異的傳感器設(shè)備可以被用于獲取各種實(shí)時(shí)路況信息。目前常用的車載傳感器主要可以分成聲學(xué)類(超聲波)、光學(xué)類(無(wú)源紅外線、視頻攝像機(jī)等)、電磁類(毫米波雷達(dá))。每一種傳感器探測(cè)技術(shù)都有其適用的場(chǎng)合以及受限制的方面。舉例來(lái)說(shuō)，視頻攝像機(jī)探測(cè)范圍廣，信號(hào)豐富，但是容易受外界因素影響，存在目標(biāo)缺失、模糊等問(wèn)題；超聲波傳感器在小目標(biāo)反射信號(hào)弱的情況下無(wú)法探測(cè)，而且需溫度補(bǔ)償；無(wú)源紅外線式傳感器通過(guò)物體所發(fā)射的熱能來(lái)實(shí)現(xiàn)探測(cè)，這種傳感器不能很準(zhǔn)確地確定物體的距離；雷達(dá)傳感器采用短的大功率紅外光脈沖進(jìn)行探測(cè)，根據(jù)光脈沖所需的傳播時(shí)間可以確定物體被測(cè)距離，但雷達(dá)傳感器的缺陷是檢測(cè)物體輪廓不準(zhǔn)確。在獲取環(huán)境信息的過(guò)程中，非常重要的一個(gè)方面是要檢測(cè)和識(shí)別車輛周圍的障礙物。傳統(tǒng)的汽車通常僅采用基于單一傳感器的單個(gè)檢測(cè)模型來(lái)獲取周圍環(huán)境的障礙物信息，因而在復(fù)雜氣候、復(fù)雜交通場(chǎng)景下具有很大的局限性，導(dǎo)致無(wú)法精確識(shí)別出障礙物，為行車安全帶來(lái)了很大的隱患。因而，對(duì)能夠在不同道路場(chǎng)景、不同氣候條件下實(shí)時(shí)有效地進(jìn)行障礙物檢測(cè)的方法及系統(tǒng)有很大的需求。

發(fā)明內(nèi)容
為實(shí)現(xiàn)上述目標(biāo)，本發(fā)明提供了一種用于檢測(cè)目標(biāo)區(qū)域中的道路障礙物的方法，其特征在于，所述方法包括以下步驟:利用視頻攝像裝置獲取所述目標(biāo)區(qū)域的視頻圖像信息；基于所述視頻圖像信息建立第一障礙物檢測(cè)模型；利用毫米波雷達(dá)獲取所述目標(biāo)區(qū)域的第一位置信息；基于所述視頻圖像信息和所述第一位置信息建立第二障礙物檢測(cè)模型；利用激光雷達(dá)所述目標(biāo)區(qū)域的第二位置信息并且利用紅外線攝像裝置獲取所述目標(biāo)區(qū)域的溫度信息；基于所述第二位置信息和所述溫度信息建立第三障礙物檢測(cè)模型；以及利用基于粗糙(vague)集的模糊神經(jīng)網(wǎng)絡(luò)算法結(jié)合所述第一障礙物檢測(cè)模型的檢測(cè)結(jié)果、所述第二障礙物檢測(cè)模型的檢測(cè)結(jié)果和所述第三障礙物檢測(cè)模型的檢測(cè)結(jié)果以確定所述道路障礙物的特征信息，其中，所述目標(biāo)區(qū)域被劃分成一系列三維立體柵格，并且所述第一、第二和第三障礙物檢測(cè)模型的檢測(cè)結(jié)果均包括表征每個(gè)所述三維立體柵格是否被所述道路障礙物占據(jù)的柵格信息。
在本發(fā)明的一些實(shí)施例中，所述利用基于粗糙集的模糊神經(jīng)網(wǎng)絡(luò)算法結(jié)合每個(gè)所述障礙物檢測(cè)模型的檢測(cè)結(jié)果包括以下步驟:按所述三維立體柵格對(duì)每一時(shí)刻所述第一、第二和第三障礙物檢測(cè)模型的檢測(cè)結(jié)果進(jìn)行加權(quán)以得到每一時(shí)刻所述第一、第二和第三障礙物檢測(cè)模型的復(fù)合檢測(cè)結(jié)果，并且其中根據(jù)周圍環(huán)境信息以及歷史檢測(cè)結(jié)果動(dòng)態(tài)地調(diào)整所述第一、第二和第三障礙物檢測(cè)模型的檢測(cè)結(jié)果的權(quán)重。在本發(fā)明的一些實(shí)施例中，利用基于粗糙集的模糊神經(jīng)網(wǎng)絡(luò)算法結(jié)合每個(gè)所述障礙物檢測(cè)模型的檢測(cè)結(jié)果還包括以下步驟:按所述三維立體柵格對(duì)預(yù)定時(shí)間段內(nèi)每一時(shí)刻的所述復(fù)合檢測(cè)結(jié)果進(jìn)行加權(quán)，并且根據(jù)周圍環(huán)境信息以及歷史檢測(cè)結(jié)果動(dòng)態(tài)地調(diào)整每個(gè)時(shí)刻的所述復(fù)合檢測(cè)結(jié)果的權(quán)重。在本發(fā)明的一些實(shí)施例中，所述周圍環(huán)境信息包括道路條件和氣候條件中的至少一個(gè)。
在本發(fā)明的一些實(shí)施例中，所述建立第一障礙物檢測(cè)模型包括以下步驟:基于所述視頻圖像信息計(jì)算逆透視變換矩陣；通過(guò)所述逆透視變換將所述視頻圖像從圖像坐標(biāo)系變換至世界坐標(biāo)系；以及基于斑塊聚類算法對(duì)所述世界坐標(biāo)系下的視頻圖像進(jìn)行圖像分割以確定所述道路障礙物。在本發(fā)明的一些實(shí)施例中，所述計(jì)算逆透視變換矩陣包括以下步驟:對(duì)所述視頻圖像進(jìn)行圖像分割；在經(jīng)分割的視頻圖像中進(jìn)行道路標(biāo)志線檢測(cè)；基于所檢測(cè)到的道路標(biāo)志線確定消隱點(diǎn)；根據(jù)所述消隱點(diǎn)的坐標(biāo)對(duì)所述視頻攝像裝置的參數(shù)進(jìn)行估計(jì)；基于所估計(jì)得到的參數(shù)值計(jì)算所述逆透視矩陣，其中所述參數(shù)包括所述視頻攝像裝置的水平孔徑角和垂直孔徑角。在本發(fā)明的一些實(shí)施例中，基于直方圖算法對(duì)所述視頻圖像進(jìn)行圖像分割。在本發(fā)明的一些實(shí)施例中，所述建立第二障礙物模型包括以下步驟:根據(jù)所述第一位置信息估計(jì)所述道路障礙物的方位；將所述第一位置信息映射到所述視頻圖像所處的圖像坐標(biāo)系中以確定所估計(jì)的道路障礙物方位的中心點(diǎn)；以及基于所述視頻圖像信息跟蹤所述中心點(diǎn)以確定所述道路障礙物。在本發(fā)明的一些實(shí)施例中，基于所述視頻圖像信息跟蹤所述中心點(diǎn)包括以下步驟:計(jì)算所述視頻圖像的單應(yīng)性矩陣；以及通過(guò)所述單應(yīng)性矩陣對(duì)所述視頻圖像進(jìn)行配準(zhǔn)。在本發(fā)明的一些實(shí)施例中，所述第二位置信息包括每個(gè)所述三維立體柵格與所述
激光雷達(dá)之間的距離Hf,并且所
述建立第三障礙物模型包括根據(jù)以下公式計(jì)算每個(gè)所述三維立體柵格被所述道路障礙物占據(jù)的概率:
權(quán)利要求
1.一種用于檢測(cè)目標(biāo)區(qū)域中的道路障礙物的方法，其特征在于，所述方法包括以下步驟: 利用視頻攝像裝置獲取所述目標(biāo)區(qū)域的視頻圖像信息； 基于所述視頻圖像信息建立第一障礙物檢測(cè)模型； 利用毫米波雷達(dá)獲取所述目標(biāo)區(qū)域的第一位置信息； 基于所述視頻圖像信息和所述第一位置信息建立第二障礙物檢測(cè)模型； 利用激光雷達(dá)所述目標(biāo)區(qū)域的第二位置信息并且利用紅外線攝像裝置獲取所述目標(biāo)區(qū)域的溫度信息； 基于所述第二位置信息和所述溫度信息建立第三障礙物檢測(cè)模型；以及利用基于粗糙集的模糊神經(jīng)網(wǎng)絡(luò)算法結(jié)合所述第一障礙物檢測(cè)模型的檢測(cè)結(jié)果、所述第二障礙物檢測(cè)模型的檢測(cè)結(jié)果和所述第三障礙物檢測(cè)模型的檢測(cè)結(jié)果以確定所述道路障礙物的特征信息， 其中，所述目標(biāo)區(qū)域被劃分成一系列三維立體柵格，并且所述第一、第二和第三障礙物檢測(cè)模型的檢測(cè)結(jié)果均包括表征每個(gè)所述三維立體柵格是否被所述道路障礙物占據(jù)的柵格信息。
2.如權(quán)利要求1所述的方法，其特征在于，其中所述利用基于粗糙集的模糊神經(jīng)網(wǎng)絡(luò)算法結(jié)合每個(gè)所述障礙物檢測(cè)模型的檢測(cè)結(jié)果包括以下步驟: 按所述三維立體柵格對(duì)每一時(shí)刻所述第一、第二和第三障礙物檢測(cè)模型的檢測(cè)結(jié)果進(jìn)行加權(quán)以得到每一時(shí)刻所述第一、第二和第三障礙物檢測(cè)模型的復(fù)合檢測(cè)結(jié)果，并且其中根據(jù)周圍環(huán)境信息以及歷 史檢測(cè)結(jié)果動(dòng)態(tài)地調(diào)整所述第一、第二和第三障礙物檢測(cè)模型的檢測(cè)結(jié)果的權(quán)重。
3.如權(quán)利要求2所述的方法，其特征在于，所述利用基于粗糙集的模糊神經(jīng)網(wǎng)絡(luò)算法結(jié)合每個(gè)所述障礙物檢測(cè)模型的檢測(cè)結(jié)果還包括以下步驟: 按所述三維立體柵格對(duì)預(yù)定時(shí)間段內(nèi)每一時(shí)刻的所述復(fù)合檢測(cè)結(jié)果進(jìn)行加權(quán)，并且根據(jù)周圍環(huán)境信息以及歷史檢測(cè)結(jié)果動(dòng)態(tài)地調(diào)整每個(gè)時(shí)刻的所述復(fù)合檢測(cè)結(jié)果的權(quán)重。
4.如權(quán)利要求2或3所述的方法，其特征在于，其中所述周圍環(huán)境信息包括道路條件和氣候條件中的至少一個(gè)。
5.如權(quán)利要求1所述的方法，其特征在于，其中所述建立第一障礙物檢測(cè)模型包括以下步驟: 基于所述視頻圖像信息計(jì)算逆透視變換矩陣； 通過(guò)所述逆透視變換將所述視頻圖像從圖像坐標(biāo)系變換至世界坐標(biāo)系；以及基于斑塊聚類算法對(duì)所述世界坐標(biāo)系下的視頻圖像進(jìn)行圖像分割以確定所述道路障礙物。
6.如權(quán)利要求5所述的方法，其特征在于，其中所述計(jì)算逆透視變換矩陣包括以下步驟: 對(duì)所述視頻圖像進(jìn)行圖像分割； 在經(jīng)分割的視頻圖像中進(jìn)行道路標(biāo)志線檢測(cè)； 基于所檢測(cè)到的道路標(biāo)志線確定消隱點(diǎn)； 根據(jù)所述消隱點(diǎn)的坐標(biāo)對(duì)所述視頻攝像裝置的參數(shù)進(jìn)行估計(jì)；基于所估計(jì)得到的參數(shù)值計(jì)算所述逆透視矩陣，其中所述參數(shù)包括所述視頻攝像裝置的水平孔徑角和垂直孔徑角。
7.如權(quán)利要求6所述的方法，其特征在于，其中基于直方圖算法對(duì)所述視頻圖像進(jìn)行圖像分割。
8.如權(quán)利要求1所述的方法，其特征在于，其中所述建立第二障礙物模型包括以下步驟: 根據(jù)所述第一位置信息估計(jì)所述道路障礙物的方位； 將所述第一位置信息映射到所述視頻圖像所處的圖像坐標(biāo)系中以確定所估計(jì)的道路障礙物方位的中心點(diǎn)；以及 基于所述視頻圖像信息跟蹤所述中心點(diǎn)以確定所述道路障礙物。
9.如權(quán)利要求8所述的方法，其特征在于，其中基于所述視頻圖像信息跟蹤所述中心點(diǎn)包括以下步驟: 計(jì)算所述視頻圖像的單應(yīng)性矩陣；以及 通過(guò)所述單應(yīng)性矩陣對(duì)所述視頻圖像 進(jìn)行配準(zhǔn)。
10.如權(quán)利要求1所述的方法，其特征在于，其中所述第二位置信息包括每個(gè)所述三維立體柵格與所述激光雷達(dá)之間的距離(Oi,并且所述建立第三障礙物模型包括根據(jù)以下公式計(jì)算每個(gè)所述三維立體柵格被所述道路障礙物占據(jù)的概率:
11.如權(quán)利要求10所述的方法，其特征在于，其中所述建立第三障礙物模型還包括基于概率超過(guò)預(yù)定閾值的三維立體柵格聯(lián)結(jié)成的斑塊來(lái)確定所述道路障礙物。
12.一種用于檢測(cè)目標(biāo)區(qū)域中的道路障礙物的系統(tǒng)，其特征在于，所述系統(tǒng)包括: 視頻攝像裝置，用于獲取所述目標(biāo)區(qū)域的視頻圖像信息； 毫米波雷達(dá)，用于獲取所述目標(biāo)區(qū)域的第一位置信息； 激光雷達(dá)，用于獲取所述目標(biāo)區(qū)域的第二位置信息； 紅外線攝像裝置，用于獲取所述目標(biāo)區(qū)域的溫度信息；以及 數(shù)據(jù)處理裝置，其被配置用于基于所述視頻圖像信息建立第一障礙物檢測(cè)模型；基于所述視頻圖像信息和所述第一位置信息建立第二障礙物檢測(cè)模型；基于所述第二位置信息和所述溫度信息建立第三障礙物檢測(cè)模型；并且利用基于粗糙集的模糊神經(jīng)網(wǎng)絡(luò)算法結(jié)合所述第一障礙物檢測(cè)模型的檢測(cè)結(jié)果、所述第二障礙物檢測(cè)模型的檢測(cè)結(jié)果和所述第三障礙物檢測(cè)模型的檢測(cè)結(jié)果以確定所述道路障礙物的特征信息，其中所述目標(biāo)區(qū)域被劃分成一系列三維立體柵格，并且每個(gè)所述障礙物檢測(cè)模型的檢測(cè)結(jié)果均包括表征每個(gè)所述三維立體柵格是否被所述道路障礙物占據(jù)的柵格信息。
13.如權(quán)利要求1所述的系統(tǒng)，其特征在于，其中所述視頻攝像裝置和所述紅外線攝像裝置被布置在汽車前擋風(fēng)玻璃的上端，并且所述毫米波雷達(dá)和所述激光雷達(dá)被布置在汽車車頭前部大體上正中的 位置。
全文摘要
本發(fā)明涉及用于檢測(cè)道路障礙物的方法及系統(tǒng)。本發(fā)明公開(kāi)了基于視頻攝像裝置的第一障礙物檢測(cè)模型，基于視頻攝像裝置和毫米波雷達(dá)的第二障礙物檢測(cè)模型，基于三維激光雷達(dá)和紅外線攝像裝置的第三障礙物檢測(cè)模型，并且通過(guò)基于粗糙集的模糊神經(jīng)網(wǎng)絡(luò)算法使得所述多個(gè)模型形成互補(bǔ)檢測(cè)，從而實(shí)時(shí)獲取道路障礙物的特征信息。本發(fā)明能夠在不同道路場(chǎng)景、不同氣候條件下進(jìn)行實(shí)時(shí)有效的道路障礙物檢測(cè)，準(zhǔn)確獲取不同障礙物的行進(jìn)速度、方向等參數(shù)，從道路交通環(huán)境中提取和分析車輛周邊環(huán)境信息，并針對(duì)異常交通行為進(jìn)行判斷，從而緩解目前城市交通壓力、提高交通管理的效率。
文檔編號(hào)G01S13/93GK103176185SQ201110440690
公開(kāi)日2013年6月26日 申請(qǐng)日期2011年12月26日 優(yōu)先權(quán)日2011年12月26日
發(fā)明者劉凱 申請(qǐng)人:上海汽車集團(tuán)股份有限公司