基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法
【專利摘要】本發(fā)明提供一種基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法，包括同步采集兩個(gè)相同規(guī)格的攝像機(jī)圖像；對(duì)雙目攝像機(jī)進(jìn)行標(biāo)定校正并計(jì)算三維點(diǎn)云分割閾值；用立體匹配算法和三維重構(gòu)計(jì)算得到三維點(diǎn)云，對(duì)基準(zhǔn)圖做圖像分割得到圖塊；自動(dòng)檢測(cè)三維點(diǎn)云的路面高度，利用三維點(diǎn)云分割閾值分割出路面點(diǎn)云、不同位置的障礙物點(diǎn)云和未知區(qū)域點(diǎn)云；利用分割得到的點(diǎn)云結(jié)合分割后的圖塊，判決障礙物和路面的正確性，確定障礙物、路面和未知區(qū)域的位置范圍。本發(fā)明在較復(fù)雜的環(huán)境中仍可檢測(cè)攝像機(jī)與路面高度并自動(dòng)估算三維分割的閾值，分割出障礙物點(diǎn)云、路面點(diǎn)云和未知區(qū)域點(diǎn)云；結(jié)束彩色圖像分割技術(shù)，融合顏色信息判決障礙物和路面的正確性，確定障礙物、路面和未知區(qū)域的位置范圍，實(shí)現(xiàn)高魯棒性的障礙物檢測(cè)，具有更高的可靠性和實(shí)用性。
【專利說明】基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及自主移動(dòng)機(jī)器人和自動(dòng)駕駛等基于雙目立體視覺障礙物自動(dòng)檢測(cè)領(lǐng)域，具體是基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法。
【背景技術(shù)】
[0002]雙目立體視覺是計(jì)算機(jī)視覺的一個(gè)重要分支，這種視覺直接模擬人類雙眼處理景物的方式，簡(jiǎn)便可靠，在許多領(lǐng)域均極具應(yīng)用價(jià)值，如機(jī)器人導(dǎo)航與航測(cè)、三維測(cè)量、智能交通及虛擬現(xiàn)實(shí)等。雙目立體視覺是由不同位置的兩臺(tái)或者一臺(tái)攝像機(jī)經(jīng)過移動(dòng)或旋轉(zhuǎn)拍攝同一幅場(chǎng)景，通過計(jì)算空間點(diǎn)在兩幅圖像中的視差，獲得該點(diǎn)的三維坐標(biāo)值。在自主移動(dòng)機(jī)器人和自動(dòng)駕駛等領(lǐng)域的研究中，最基本條件是要求機(jī)器人或自動(dòng)駕駛車配備有視覺裝置。該視覺系統(tǒng)應(yīng)能完成類似人眼的基本功能，為路徑的規(guī)劃提供可靠的視覺信息。障礙物的目標(biāo)檢測(cè)和距離信息的獲取是自主移動(dòng)機(jī)器人和自動(dòng)駕駛中的關(guān)鍵部分。基于雙目立體視覺的障礙物檢測(cè)的關(guān)鍵在于:(1)雙目圖像對(duì)的立體匹配，計(jì)算三維點(diǎn)云；(2)障礙物目標(biāo)的提取，即識(shí)別出障礙物位置和大小。通常自主移動(dòng)機(jī)器人和自動(dòng)駕駛等應(yīng)用環(huán)境復(fù)雜，受光學(xué)失真和噪聲、平滑表面的鏡面反射、投影縮減、透視失真、低紋理、重復(fù)紋理、透明物體和重疊和非連續(xù)區(qū)域因素的影響，無法保證通過立體匹配計(jì)算可得到稠密的視差圖。另外，在復(fù)雜的道路環(huán)境下，僅依靠道路顏色經(jīng)驗(yàn)值或道路邊線檢測(cè)來對(duì)單幅圖像道路檢測(cè)的正確性不高，無法直接應(yīng)用到實(shí)際場(chǎng)合中。
[0003]隨著對(duì)機(jī)器視覺的不斷深入研究，目前已有不少高效且能獲得較稠密視差圖的立體匹配算法應(yīng)用到實(shí)際場(chǎng)景當(dāng)中，如三維重建、智能交通、智能檢測(cè)等。圖像分割是把圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域并提出感興趣目標(biāo)的技術(shù)和過程，它是由圖像處理到圖像分析的關(guān)鍵步驟。研究人員已不斷改進(jìn)原有的彩色圖像分割方法并把其它學(xué)科的一些新理論和新方法用于圖像分割，提出了不少新的適應(yīng)特定場(chǎng)合的分割方法。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是要提供一種基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法，該方法在三維點(diǎn)云上初步分割出路面點(diǎn)云和高于地面的障礙物點(diǎn)云，再結(jié)合彩色圖像分割算法融合判決，最終確定障礙物。
[0005]實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案是:
[0006]一種基于三維點(diǎn)云分割的雙目立體視覺的障礙物自動(dòng)檢測(cè)方法，包括如下步驟:
[0007](I)通過不同位置的兩臺(tái)攝像機(jī)獲取兩路彩色圖像，利用立體標(biāo)定方法對(duì)雙目攝像機(jī)進(jìn)行標(biāo)定，計(jì)算兩個(gè)攝像機(jī)的內(nèi)外參數(shù)和相對(duì)位置關(guān)系，根據(jù)這些參數(shù)分別對(duì)兩個(gè)攝像機(jī)進(jìn)行消除畸變和行(或列)對(duì)準(zhǔn)，使兩路彩色圖像的成像原點(diǎn)坐標(biāo)一致，得到校正后的雙目彩色視圖。由傳感器獲取或預(yù)先確定攝像機(jī)相對(duì)路面的俯仰角和高度；
[0008](2)對(duì)步驟(I)校正后得到的雙目彩色視圖，選擇其中一幅視圖作為基準(zhǔn)圖。利用立體匹配算法對(duì)基準(zhǔn)圖進(jìn)行匹配計(jì)算，得到初步的視差圖。對(duì)基準(zhǔn)圖進(jìn)行彩色圖像分割，得到顏色相近的圖塊。根據(jù)步驟(I)獲得的攝像機(jī)相對(duì)路面位置關(guān)系數(shù)據(jù)，計(jì)算點(diǎn)云分割的閾值，包括在一定精度下可檢測(cè)到障礙物的最近距離、最遠(yuǎn)距離、最大高度和最大寬度。
[0009](3)在步驟(2)計(jì)算得到的視差圖后，利用步驟(I)計(jì)算得到兩個(gè)攝像機(jī)相對(duì)位置關(guān)系數(shù)據(jù)(重投影矩陣)進(jìn)行視差圖三維重構(gòu)，計(jì)算出三維點(diǎn)云。
[0010](4)根據(jù)步驟(I)獲取的攝像機(jī)相對(duì)地面的位置數(shù)據(jù)，校正由步驟(3)計(jì)算得出的三維點(diǎn)云，使路面點(diǎn)云相對(duì)于攝像機(jī)的高度一致。
[0011](5)對(duì)步驟(4)校正后的三維點(diǎn)云進(jìn)行檢測(cè)出路面高度(路面相對(duì)攝像機(jī)的高度)，由步驟(2)計(jì)算的分割閾值分割出障礙物、路面和未知點(diǎn)云。
[0012](6)融合步驟(5)分割的點(diǎn)云和步驟(2)對(duì)基準(zhǔn)圖圖像分割的圖塊，確定障礙物、路面和未知區(qū)域，并標(biāo)記顯示出來。
[0013]上述整個(gè)過程，所述的兩個(gè)攝像機(jī)是始終保持同規(guī)格的，即像素、焦距、光圈等性能相同或接近，考慮到影響立體匹配計(jì)算的因素，盡量選擇高清晰度的攝像機(jī)。兩個(gè)攝像機(jī)的相對(duì)位置和焦距是固定的，即一經(jīng)標(biāo)定不再改變兩攝像機(jī)的相對(duì)位置和焦距。兩個(gè)攝像機(jī)相與路面的俯仰角度和高度可以固定，也可以變動(dòng)。步驟(I)中兩個(gè)攝像頭的分辨率綜合設(shè)備的計(jì)算性能而確定，通?？刹捎?40x480或1027x768等分辨率。標(biāo)定攝像機(jī)可采用人工標(biāo)定、平面棋盤標(biāo)定或圓(平面圓或平行圓)標(biāo)定等，計(jì)算出切向畸變、徑向畸變、焦距、成像原點(diǎn)、校正映射矩陣和重投影矩陣。校正映射用于校正兩個(gè)攝像機(jī)的彩色視圖，使兩幅圖像成像原點(diǎn)坐標(biāo)一致，兩攝像頭光軸平行、左右成像平面共面、對(duì)極線行或列對(duì)齊。攝像機(jī)相對(duì)路面的位置包括俯仰角和高度，其中高度為可選項(xiàng)。
[0014]步驟(2)中所述選擇的基準(zhǔn)圖是確定后續(xù)計(jì)算參考的主圖像。目前立體匹配算法是計(jì)算機(jī)視覺中的一個(gè)難點(diǎn)和熱點(diǎn)，算法有很多種，一般的步驟有匹配代價(jià)計(jì)算、匹配代價(jià)疊加、視差獲取、視差細(xì)化(亞像素級(jí))，匹配策略有局部算法和和全局算法。綜合設(shè)備的計(jì)算性能和精確度要求，選擇合適的立體匹配算法，高效快速地計(jì)算出較稠密的視差圖。彩色圖像分割即對(duì)彩色圖像按顏色信息進(jìn)行圖像分割。根據(jù)兩個(gè)攝像機(jī)的相對(duì)距離和基準(zhǔn)攝像機(jī)的焦距可以確定在可接受精度下可檢測(cè)的障礙物離攝像機(jī)最近距離、離攝像機(jī)最遠(yuǎn)距離、最大高度和最大寬度。
[0015]步驟(3)所述的三維點(diǎn)云由視差圖利用步驟(I)計(jì)算得到的重投影矩陣三維重構(gòu)計(jì)算后得到。視差圖是以圖像對(duì)中任一幅圖像為基準(zhǔn)，其大小為該基準(zhǔn)圖像的大小，元素值為視差值的圖像，包含了場(chǎng)景的距離信息。
[0016]步驟(4)所述根據(jù)攝像機(jī)相對(duì)地面的俯仰角度旋轉(zhuǎn)三維點(diǎn)云，使路面點(diǎn)云相對(duì)于攝像機(jī)的高度一致。
[0017]步驟(5)所述根據(jù)步驟(2)檢測(cè)的最大高度或步驟(I)獲得的高度分割三維點(diǎn)云，得到路面點(diǎn)云；根據(jù)步驟(2)檢測(cè)的障礙物離攝像機(jī)最近距離和離攝像機(jī)最遠(yuǎn)距離，分割三維點(diǎn)云得到離攝像機(jī)不同距離范圍的障礙物點(diǎn)云和未知區(qū)域點(diǎn)云；根據(jù)步驟(2)檢測(cè)的最大寬度分割離攝像機(jī)不同距離范圍的障礙物點(diǎn)云，得到不同位置的障礙物點(diǎn)云。這一步驟即分割出障礙物點(diǎn)云、路面點(diǎn)云和未知區(qū)域點(diǎn)云，未區(qū)域點(diǎn)云是由一些匹配計(jì)算錯(cuò)誤的點(diǎn)云和精度較差的點(diǎn)云構(gòu)成。
[0018]步驟(6)所述融合步驟(5)分割的點(diǎn)云和步驟(2)對(duì)基準(zhǔn)圖圖像分割的圖塊，即將步驟(2)彩色圖像分割得到的圖像塊與障礙物點(diǎn)云和路面點(diǎn)云比較，判決障礙物和路面的正確性和區(qū)域范圍。
[0019]所述雙目攝像機(jī)標(biāo)定:標(biāo)定包括攝像機(jī)標(biāo)定和立體標(biāo)定。攝像機(jī)標(biāo)定主要計(jì)算出切向畸變、徑向畸變、焦距和光學(xué)中心。立體標(biāo)定是計(jì)算空間上兩臺(tái)攝像機(jī)幾何關(guān)系的過程，依賴于查找兩臺(tái)攝像機(jī)之間的旋轉(zhuǎn)矩陣和平移向量；所述雙目校正:攝像機(jī)需要矯正和立體校正，矯正是消除切向和徑向畸變。立體校正是由于兩臺(tái)攝像機(jī)幾乎不可能有準(zhǔn)確的共面和行對(duì)準(zhǔn)的成像平面，需要通過立體的標(biāo)定兩個(gè)攝像機(jī)之間的旋轉(zhuǎn)矩陣和平移向量校正；
[0020]所述雙目匹配與視差計(jì)算:立體匹配主要是通過找出每對(duì)圖像間的對(duì)應(yīng)關(guān)系，根據(jù)三角測(cè)量原理，得到視差圖；在獲得了視差信息后，根據(jù)投影模型很容易地可以得到原始圖像的深度信息和三維信息。立體匹配技術(shù)被普遍認(rèn)為是立體視覺中最困難也是最關(guān)鍵的問題，目前立體匹配算法是計(jì)算機(jī)視覺中的一個(gè)難點(diǎn)和熱點(diǎn)，算法很多，一般計(jì)算的步驟為:匹配代價(jià)計(jì)算，匹配代價(jià)疊加，視差獲取，視差細(xì)化；
[0021]所述自動(dòng)估算分割閾值:在允許的最小深度精度范圍內(nèi)，根據(jù)攝像機(jī)的分辨率和立體標(biāo)定得到的兩攝像機(jī)間距離、焦距計(jì)算出障礙物離攝像機(jī)的最近距離、離攝像機(jī)最遠(yuǎn)距離、最大高度和最大寬度。進(jìn)而在允許的精度范圍內(nèi)計(jì)算出障礙物前后和左右之間的間隔、障礙物高度誤差范圍。
[0022]所述三維點(diǎn)云路面高度檢測(cè):對(duì)三維重構(gòu)得到的三維點(diǎn)云進(jìn)行路面高度檢測(cè)，滿足設(shè)定誤差的高度視為路面高度。在第一次檢測(cè)路面高度時(shí)誤差可能會(huì)較大，進(jìn)行多次迭代檢測(cè)后，路面高度的檢測(cè)精確度趨向穩(wěn)定，并隨著近幾次的高度檢測(cè)值更新而更新。
[0023]所述三維點(diǎn)云分割:在三維重構(gòu)得到較稠密的三維點(diǎn)云后，根據(jù)攝像機(jī)相對(duì)地面的俯仰角度旋轉(zhuǎn)三維點(diǎn)云，使三維點(diǎn)云上路面點(diǎn)云與攝像機(jī)處于同一高度。由障礙物離攝像機(jī)的最近距離、離攝像機(jī)最遠(yuǎn)距離、最大高度、最大寬度、路面點(diǎn)云高度和障礙物高度誤差，分割三維點(diǎn)云得到路面點(diǎn)云、障礙物點(diǎn)云和未知區(qū)域點(diǎn)云；由障礙物前后和左右之間的間隔，分割障礙物點(diǎn)云得到各個(gè)位置的障礙物點(diǎn)云；未知區(qū)域點(diǎn)云是由一些匹配計(jì)算錯(cuò)誤的點(diǎn)云和精度較差的點(diǎn)云構(gòu)成。
[0024]所述三維點(diǎn)云融合顏色信息檢測(cè)障礙物:三維點(diǎn)云融合顏色信息即對(duì)三維點(diǎn)云分割得到不同位置的障礙物點(diǎn)云、路面點(diǎn)云和未知區(qū)域點(diǎn)云，對(duì)彩色基準(zhǔn)圖進(jìn)行按顏色圖像分割得到圖像塊，將分割得到的點(diǎn)云與分割得到的圖像塊融合對(duì)比，判決障礙物和路面的正確性，確定障礙物、路面和未知區(qū)域的位置范圍，實(shí)現(xiàn)高可靠性的障礙物檢測(cè)。
[0025]本發(fā)明的優(yōu)點(diǎn)是:與現(xiàn)有技術(shù)相比，本發(fā)明在較復(fù)雜的環(huán)境中三維重構(gòu)較稠密的三維點(diǎn)云，在攝像機(jī)與路面成一定俯仰角下仍可檢測(cè)攝像機(jī)與路面高度并自動(dòng)估算三維分割的閾值，分割出障礙物點(diǎn)云、路面點(diǎn)云和未知區(qū)域點(diǎn)云；結(jié)束彩色圖像分割技術(shù)，融合顏色信息判決障礙物和路面的正確性，確定障礙物、路面和未知區(qū)域的位置范圍；相比單圖像依靠經(jīng)驗(yàn)檢測(cè)路面障礙物的方法，具有更高的可靠性和實(shí)用性。
【專利附圖】

【附圖說明】
[0026]圖1為基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法原理圖。
[0027]圖2為雙目立體成像原理圖。【具體實(shí)施方式】
[0028]基于三維點(diǎn)云分割并融合顏色信息的障礙物自動(dòng)檢測(cè)方法，如圖1所示，包括以下步驟:
[0029]步驟一:通過不同位置的兩臺(tái)攝像機(jī)獲取兩路彩色圖像，利用立體標(biāo)定方法對(duì)雙目攝像機(jī)進(jìn)行標(biāo)定，計(jì)算兩個(gè)攝像機(jī)的內(nèi)外參數(shù)和相對(duì)位置關(guān)系，根據(jù)這些參數(shù)分別對(duì)兩個(gè)攝像機(jī)進(jìn)行消除畸變和行(或列)對(duì)準(zhǔn)，使兩路彩色圖像的成像原點(diǎn)坐標(biāo)一致，得到校正后的雙目彩色視圖。由傳感器獲取或預(yù)先確定攝像機(jī)相對(duì)路面的俯仰角和高度。兩個(gè)攝像機(jī)的相對(duì)位置和焦距是固定的，即一經(jīng)標(biāo)定不再改變兩攝像機(jī)的相對(duì)位置和焦距。兩個(gè)攝像機(jī)相與路面的俯仰角度和高度可以固定，也可以變動(dòng)。
[0030]兩個(gè)攝像頭的分辨率綜合設(shè)備的計(jì)算性能而確定，通常可采用640x480或1027x768等分辨率。標(biāo)定攝像機(jī)可采用人工標(biāo)定、平面棋盤標(biāo)定或圓(平面圓或平行圓)標(biāo)定等，計(jì)算出切向畸變、徑向畸變、焦距、成像原點(diǎn)、校正映射矩陣和重投影矩陣。校正映射用于校正兩個(gè)攝像機(jī)的彩色視圖，使兩幅圖像成像原點(diǎn)坐標(biāo)一致，兩攝像頭光軸平行、左右成像平面共面、對(duì)極線行或列對(duì)齊。攝像機(jī)相對(duì)路面的位置包括俯仰角和高度，其中高度為可選項(xiàng)。
[0031]在本發(fā)明中，兩個(gè)攝像機(jī)是始終保持同規(guī)格的，即像素、焦距、光圈等性能相同或接近，考慮到影響立體匹配計(jì)算的因素，盡量選擇高清晰度的攝像機(jī)。
[0032]現(xiàn)舉例使用平面棋盤標(biāo)定方法標(biāo)定左右水平放置好的雙目攝像機(jī)。調(diào)整好雙目攝像機(jī)并米集到兩路RGB圖像后，利用η彳丁 m列黑白格棋盤對(duì)其標(biāo)定(η和m大于4),攝像頭由于光學(xué)透鏡的特性使得成 像存在著徑向畸變:
[0033]xcorrected=x (I +kZ+ky+kf6) (I)
[0034]ycorrected=y (I +k^+k^+k^)
[0035]公式中(x，y)為獲取的原始圖像像素，(xM?ec;ted，yeOTec;tJ為校正徑向畸變的圖像像素，參數(shù)k” k2, k3為徑向畸變參數(shù)；
[0036]由于在工藝上,裝配成像傳感器和鏡頭時(shí)存在誤差，傳感器與光學(xué)鏡頭之間并非完全平行，因此成像存在切向畸變:
[0037]Xcorrected=X+ [2ρ!Υ+ρ2 (r2+2x2) ] (2)
[0038]ycorrected=y+ [P1 (r2+2y2) +2p2x]
[0039]公式中(x，y)為獲取的原始圖像像素，(xM?ec;ted，yeOTec;tJ為校正切向畸變的圖像像素，參數(shù)P1, P2為切向畸變參數(shù)；單個(gè)攝像機(jī)的定標(biāo)主要是計(jì)算出攝像機(jī)的內(nèi)參以及外參。雙目攝像機(jī)定標(biāo)不僅要得出每個(gè)攝像機(jī)的內(nèi)部參數(shù)，還需要通過立體標(biāo)定來測(cè)量?jī)蓚€(gè)攝像機(jī)之間的相對(duì)位置(三維平移向量和旋轉(zhuǎn)矩陣)。
[0040]雙目校正是根據(jù)攝像機(jī)定標(biāo)后獲得的單目?jī)?nèi)參數(shù)據(jù)(焦距、成像原點(diǎn)、畸變系數(shù))和雙目相對(duì)位置關(guān)系(旋轉(zhuǎn)矩陣和平移向量)，分別對(duì)左右視圖進(jìn)行消除畸變和行對(duì)準(zhǔn)，使得左右視圖的成像原點(diǎn)坐標(biāo)一致、兩攝像頭光軸平行、左右成像平面共面、對(duì)極線行對(duì)齊，便于立體匹配的計(jì)算。
[0041]步驟二:對(duì)步驟一校正后得到的雙目彩色視圖，選擇其中一幅視圖作為基準(zhǔn)圖。利用立體匹配算法對(duì)基準(zhǔn)圖進(jìn)行匹配計(jì)算，得到初步的視差圖。對(duì)基準(zhǔn)圖進(jìn)行彩色圖像分割，得到顏色相近的圖塊。根據(jù)步驟一獲得的攝像機(jī)相對(duì)路面位置關(guān)系數(shù)據(jù)，計(jì)算點(diǎn)云分割的閾值，包括在可接受精度下可檢測(cè)的最近距離、最遠(yuǎn)距離、最大高度和最大寬度。
[0042]現(xiàn)利用Heiko Hirschmiiller提出的SGBM立體匹配算法并加以優(yōu)化，以左視圖為基圖進(jìn)行匹配，計(jì)算得到初步的視差圖。立體匹配算法包括以下幾個(gè)步驟:首先進(jìn)行匹配代價(jià)計(jì)算，
[0043]C (P, d) =C (X，y, d) =Cbt (pLi, pLi+d, T L, I E)
[0044]=max{0, IL(pLi)- max, I; ‘込(PLi)} (3)
[0045]等式(3)中，d為視差。
[0046]匹配代價(jià)疊加如下式:
【權(quán)利要求】
1.基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法，其特征是:包括如下步驟: (1)通過不同位置的兩臺(tái)攝像機(jī)獲取兩路彩色圖像，利用立體標(biāo)定方法對(duì)雙目攝像機(jī)進(jìn)行標(biāo)定，計(jì)算兩個(gè)攝像機(jī)的內(nèi)外參數(shù)和相對(duì)位置關(guān)系，根據(jù)這些參數(shù)分別對(duì)兩個(gè)攝像機(jī)進(jìn)行消除畸變和行或列對(duì)準(zhǔn)，使兩路彩色圖像的成像原點(diǎn)坐標(biāo)一致，得到校正后的雙目彩色視圖，由傳感器獲取或預(yù)先確定攝像機(jī)相對(duì)路面的俯仰角和高度； (2)對(duì)步驟(1)校正后得到的雙目彩色視圖，選擇其中一幅視圖作為基準(zhǔn)圖，利用立體匹配算法對(duì)基準(zhǔn)圖進(jìn)行匹配計(jì)算，得到初步的視差圖；對(duì)基準(zhǔn)圖進(jìn)行彩色圖像分割，得到顏色相近的圖塊；根據(jù)步驟(1)獲得的攝像機(jī)相對(duì)路面位置關(guān)系數(shù)據(jù)，計(jì)算點(diǎn)云分割的閾值，包括在一定精度下可檢測(cè)障礙物的最近距離、最遠(yuǎn)距離、最大高度和最大寬度； (3)在步驟(2)計(jì)算得到的視差圖后，利用步驟(1)計(jì)算得到兩個(gè)攝像機(jī)相對(duì)位置關(guān)系數(shù)據(jù)(重投影矩陣)進(jìn)行視差圖三維重構(gòu)，計(jì)算出三維點(diǎn)云； (4)根據(jù)步驟(1)獲取的攝像機(jī)相對(duì)地面的位置數(shù)據(jù)，校正由步驟(3)計(jì)算得出的三維點(diǎn)云，使三維點(diǎn)云中路面點(diǎn)云相對(duì)于攝像機(jī)處于同一高度； (5)對(duì)步驟(4)校正后的三維點(diǎn)云進(jìn)行檢測(cè)出路面高度(路面相對(duì)攝像機(jī)的高度)，由步驟(2)計(jì)算的分割閾值分割出障礙物、路面和未知點(diǎn)云； (6)融合步驟(5)分割的點(diǎn)云和步驟(2)對(duì)基準(zhǔn)圖圖像分割的圖塊，確定障礙物、路面和未知區(qū)域，并標(biāo)記顯示出來。
2.根據(jù)權(quán)利要求1所述的基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法，其特征是:所述雙目攝像機(jī)是由兩個(gè)同規(guī)格的像機(jī)組合在一起的雙路視頻設(shè)備，可根據(jù)需要獲取不同的圖片像素，處理方法為原始RGB三通道彩色圖片。
3.根據(jù)權(quán)利要求1或2所述基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法，其特征是:所述自動(dòng)檢測(cè)三維分割閾值方法，是根據(jù)攝像機(jī)的分辨率和立體標(biāo)定數(shù)據(jù)，計(jì)算出在一定精度下可檢測(cè)障礙物的最近距離、最遠(yuǎn)距離、最大高度、最大寬度和分割閾值。
4.根據(jù)權(quán)利要求1和3所述基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法，其特征是:所述利用三維點(diǎn)云進(jìn)行檢測(cè)出路面高度，是利用循環(huán)迭代的方法提高檢測(cè)路面高度的準(zhǔn)確性，同時(shí)在假設(shè)高于路面的物體為障礙物下，由路面高度和三維點(diǎn)云分割閾值分割出不同位置的障礙物點(diǎn)云、路面點(diǎn)云和未知區(qū)域點(diǎn)云。
5.根據(jù)權(quán)利要求1和4所述基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法，其特征是:所述的障礙物、路面和未知區(qū)域的獲得，是利用步驟(5)分割得到的三維點(diǎn)云結(jié)束圖像分割后的圖像塊確定，并標(biāo)記顯示出來。
6.根據(jù)權(quán)利要求1所述的基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法，其特征是:所述雙目攝像機(jī)標(biāo)定:標(biāo)定包括攝像機(jī)標(biāo)定和立體標(biāo)定； 攝像機(jī)標(biāo)定主要計(jì)算出切向畸變、徑向畸變、焦距和光學(xué)中心； 立體標(biāo)定是計(jì)算空間上兩臺(tái)攝像機(jī)幾何關(guān)系的過程，依賴于查找兩臺(tái)攝像機(jī)之間的旋轉(zhuǎn)矩陣和平移向量； 雙目校正:攝像機(jī)需要矯正和立體校正，矯正是消除切向和徑向畸變； 立體校正是由于兩臺(tái)攝像機(jī)幾乎不可能有準(zhǔn)確的共面和行對(duì)準(zhǔn)的成像平面，需要通過立體的標(biāo)定兩個(gè)攝像機(jī)之間的旋轉(zhuǎn)矩陣和平移向量校正。
7.根據(jù)權(quán)利要求1所述的基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法，其特征是:所述雙目匹配和視差計(jì)算:立體匹配主要是通過找出每對(duì)圖像間的對(duì)應(yīng)關(guān)系，根據(jù)三角測(cè)量原理，得到視差圖；在獲得了視差信息后，根據(jù)投影模型很容易地可以得到原始圖像的深度息和二維息; 立體匹配技術(shù)被普遍認(rèn)為是立體視覺中最困難也是最關(guān)鍵的問題，目前立體匹配算法是計(jì)算機(jī)視覺中的一個(gè)難點(diǎn)和熱點(diǎn)，算法很多，但是一般的步驟是:匹配代價(jià)計(jì)算，匹配代價(jià)疊加，視差獲取，視差細(xì)化。
8.根據(jù)權(quán)利要求1所述的基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法，其特征是:所述自動(dòng)估算分割閾值:在允許的最小深度范圍精度內(nèi)，根據(jù)攝像機(jī)的分辨率和立體標(biāo)定得到的兩攝像機(jī)間距離、焦距計(jì)算出離攝像機(jī)的最近距離、離攝像機(jī)最遠(yuǎn)距離、最大高度和最大寬度，進(jìn)而在允許的精度范圍內(nèi)計(jì)算出障礙物前后和左右之間的間隔、障礙物高度誤差范圍。
9.根據(jù)權(quán)利要求1所述的基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法，其特征是:所述三維點(diǎn)云路面高度檢測(cè):對(duì)三維重構(gòu)得到的三維點(diǎn)云進(jìn)行路面高度檢測(cè)，滿足設(shè)定誤差的高度視為路面高度；在第一次檢測(cè)路面高度時(shí)誤差可能會(huì)較大，進(jìn)行多次迭代檢測(cè)后，路面高度的檢測(cè)精確度趨向穩(wěn)定，并隨著近幾次的高度檢測(cè)值更新而更新。
10.根據(jù)權(quán)利要求1所述的基于三維點(diǎn)云分割的雙目視覺障礙物檢測(cè)方法，其特征是: 所述三維點(diǎn)云分割:在三維重構(gòu)得到較稠密的三維點(diǎn)云后，根據(jù)攝像機(jī)相對(duì)地面的俯仰角度旋轉(zhuǎn)三維點(diǎn)云，使三維點(diǎn)云上路面點(diǎn)云與攝像機(jī)處于同一高度； 由障礙物離攝像機(jī)的最近距離、離攝像機(jī)最遠(yuǎn)距離、最大高度、最大寬度路面、點(diǎn)云高度和障礙物高度誤差，分割三維點(diǎn)云得到路面點(diǎn)云、障礙物點(diǎn)云和未知區(qū)域點(diǎn)云；由障礙物前后和左右之間的間隔，分割障礙物點(diǎn)云得到各個(gè)位置的障礙物點(diǎn)云；未知區(qū)域點(diǎn)云是由一些匹配計(jì)算錯(cuò)誤的點(diǎn)云和精度較差的點(diǎn)云構(gòu)成； 三維點(diǎn)云融合顏色信息檢測(cè)障礙物:三維點(diǎn)云融合顏色信息即對(duì)三維點(diǎn)云分割得到不同位置的障礙物點(diǎn)云、路面點(diǎn)云和未知區(qū)域點(diǎn)云，對(duì)彩色基準(zhǔn)圖進(jìn)行按顏色圖像分割得到圖像塊，將分割得到的點(diǎn)云與分割得到的圖像塊融合對(duì)比，判決障礙物和路面的正確性，確定障礙物、路面和未知區(qū)域的位置范圍，實(shí)現(xiàn)高可靠性的障礙物檢測(cè)。
【文檔編號(hào)】G06T7/00GK103955920SQ201410146864
【公開日】2014年7月30日 申請(qǐng)日期:2014年4月14日 優(yōu)先權(quán)日:2014年4月14日
【發(fā)明者】袁華, 曾日金, 莫建文, 陳利霞, 張彤, 首照宇, 歐陽寧, 趙暉 申請(qǐng)人:桂林電子科技大學(xué), 桂林宇輝信息科技有限責(zé)任公司