本發(fā)明涉及一種基于法向特征的路面圖像分割方法，屬于計(jì)算機(jī)視覺技術(shù)的技術(shù)領(lǐng)域。

背景技術(shù)：

得益于人工智能技術(shù)的快速發(fā)展，工業(yè)時(shí)代的偉大發(fā)明之一汽車也正在朝著一個(gè)新的時(shí)代邁進(jìn)。谷歌，特斯拉，百度等公司都在研發(fā)無(wú)人駕駛汽車，在未來(lái)，自動(dòng)駕駛汽車的競(jìng)爭(zhēng)將變得異常激烈。

谷歌無(wú)人駕駛汽車通過(guò)使用照相機(jī)、雷達(dá)感應(yīng)器和激光測(cè)距機(jī)來(lái)判斷車輛周圍的交通狀況，并結(jié)合使用gps以及高精度的數(shù)字地圖來(lái)進(jìn)行導(dǎo)航。盡管美國(guó)的機(jī)動(dòng)車輛管理局為谷歌的無(wú)人駕駛汽車頒發(fā)了合法的車牌并允許其上路，但無(wú)人駕駛汽車離普及仍然存在一定距離。不僅僅是因?yàn)樽詣?dòng)駕駛技術(shù)目前還不夠完善，容易造成安全事故。同時(shí)，還因?yàn)檎谉o(wú)人駕駛系統(tǒng)的硬件設(shè)備成本太高，不利于向大眾推廣?；谟?jì)算機(jī)視覺技術(shù)研發(fā)的輔助駕駛系統(tǒng)mobileye則無(wú)需雷達(dá)，激光測(cè)距儀等昂貴傳感器，依靠車載相機(jī)獲取的信息進(jìn)行分析辨別，從而識(shí)別出周圍的人、交通標(biāo)志以及其他交通工具等，并預(yù)測(cè)行駛狀況，為駕駛員提供預(yù)警，避免危險(xiǎn)的發(fā)生。基于計(jì)算機(jī)視覺技術(shù)的輔助駕駛方案由于不需要昂貴的傳感器設(shè)備，所以方案成本低，易于推廣普及，對(duì)于推動(dòng)智能交通時(shí)代的發(fā)展具有積極作用。

本發(fā)明基于計(jì)算機(jī)視覺相關(guān)技術(shù)中，確定rgb-d幀圖像中的道路平面并對(duì)道路平面進(jìn)行分割還存在一定的問(wèn)題；例如，在相機(jī)獲取得到的rgb-d幀圖像中，路面上的物體其底部如車輛的輪胎，由于自身色彩與路面相似或由于陰影的干擾使得僅僅通過(guò)色彩紋理或景深等特征難以將路面和物體做到有效分割。

例如，中國(guó)專利公開號(hào)102663748a公開了一種基于頻域的低景深圖像分割方法，利用低景深圖像中對(duì)焦對(duì)象包含的高頻分量較多，而模糊區(qū)域包含的高頻分量較小的特性，基于頻域來(lái)進(jìn)行低景深圖像分割處理。該圖像分割方法可能就無(wú)法很好的對(duì)道路平面圖像進(jìn)行有效分割。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于法向特征的路面圖像分割方法。

發(fā)明概述：

本發(fā)明利用雙目相機(jī)得到的深度圖像結(jié)合相機(jī)的內(nèi)參轉(zhuǎn)換為平面法向圖。在平面法向圖中利用法向特征確定道路平面，完成對(duì)道路平面的分割處理，將其標(biāo)記為可安全行駛的區(qū)域，剩余區(qū)域標(biāo)記為防撞區(qū)域。

本發(fā)明的技術(shù)方案為：

一種基于法向特征的路面圖像分割方法，包括步驟如下：

1)通過(guò)相機(jī)獲取rgb-d影像，將所述rgb-d影像分解為幀圖像，獲取相機(jī)的內(nèi)部參數(shù)k；

其中，dx和dy分別表示水平方向和垂直方向上一個(gè)像素點(diǎn)占據(jù)長(zhǎng)度單位的個(gè)數(shù)，u0和v0為幀圖像所在平面的中心，γ為以相機(jī)光心為原點(diǎn)的相機(jī)坐標(biāo)系內(nèi)坐標(biāo)軸的傾斜參數(shù)；

2)將二維深度圖像id中的像素點(diǎn)由圖像坐標(biāo)系轉(zhuǎn)換為相機(jī)坐標(biāo)系，其中轉(zhuǎn)換關(guān)系如公式(1)所示：

其中，x和y為相機(jī)坐標(biāo)系內(nèi)的坐標(biāo)，u和v為圖像坐標(biāo)系內(nèi)的坐標(biāo)；相機(jī)坐標(biāo)系內(nèi)坐標(biāo)z的值由深度圖像id中對(duì)應(yīng)坐標(biāo)的深度值iu,v乘以深度轉(zhuǎn)換率r得到，深度轉(zhuǎn)換率r因相機(jī)而定，為已知參數(shù)；

3)對(duì)予深度圖像id中的像素點(diǎn)a，選取其n×n的鄰域中的兩個(gè)像素點(diǎn)b、c，通過(guò)相機(jī)坐標(biāo)系的坐標(biāo)x，y，z確定向量和計(jì)算該點(diǎn)的法向向量其中，

4)重復(fù)步驟3)遍歷選取像素點(diǎn)a所有的鄰域像素點(diǎn)，得到像素點(diǎn)a的所有法向向量，取所有法向向量的平均值并進(jìn)行歸一化處理，得到像素點(diǎn)a最終的法向向量，并將像素點(diǎn)a最終的法向向量的x，y，z坐標(biāo)值作為色彩圖像中rgb通道的像素值以保存為圖片；遍歷處理深度圖像id中的每一個(gè)像素點(diǎn)得到最終的平面法向圖if；取所有法向的平均值進(jìn)行平滑并歸一化處理，避免了噪聲的干擾導(dǎo)致計(jì)算得到的法向向量不準(zhǔn)確。

5)將平面法向圖if中每個(gè)像素點(diǎn)依據(jù)色彩的相似性進(jìn)行聚類分割，形成分割區(qū)域，計(jì)算每個(gè)分割區(qū)域的平均法向向量，將區(qū)域面積最大且法向向量方向與場(chǎng)景中重力的反方向成銳角的分割區(qū)域確定為道路路面，提取道路路面圖像，得到最終的道路路面提取結(jié)果；

6)將道路路面設(shè)為可安全行駛的區(qū)域，剩余區(qū)域設(shè)為避免碰撞區(qū)域。

根據(jù)本發(fā)明優(yōu)選的，γ＝0。

根據(jù)本發(fā)明優(yōu)選的，所述步驟1)中的相機(jī)為車載雙目相機(jī)。同雙目相機(jī)能同時(shí)獲取彩色圖像和二維深度圖像。

根據(jù)本發(fā)明優(yōu)選的，相機(jī)的內(nèi)部參數(shù)k通過(guò)相機(jī)標(biāo)定獲取。

根據(jù)本發(fā)明優(yōu)選的，所述步驟5)中，提取道路路面圖像后，還包括對(duì)道路路面圖像進(jìn)行形態(tài)學(xué)閉操作處理的步驟。形態(tài)學(xué)閉操作處理用于去除噪聲干擾。

根據(jù)本發(fā)明優(yōu)選的，所述步驟5)中，依據(jù)色彩的相似性進(jìn)行聚類分割形成分割區(qū)域，通過(guò)mean-shift聚類分割算法實(shí)現(xiàn)。

本發(fā)明的有益效果為：

1.本發(fā)明所述基于法向特征的路面圖像分割方法，利用法向向量的方向在幀圖像中邊界區(qū)域發(fā)生較大改變，區(qū)分路面與物體，確定道路平面，完成對(duì)路面的分割；分割結(jié)果可以作為輔助駕駛系統(tǒng)的輸入，避免在行駛過(guò)程中與道路上的物體發(fā)生碰撞，同時(shí)規(guī)劃安全行駛路徑；

2.本發(fā)明所述基于法向特征的路面圖像分割方法，不僅限于應(yīng)用在道路場(chǎng)景中，還可用于舞臺(tái)場(chǎng)景，通過(guò)選定舞臺(tái)作為感興趣區(qū)域去除周邊干擾，在感興趣區(qū)域中確定舞臺(tái)地面和背面等平面，即可完成對(duì)舞臺(tái)場(chǎng)景上的物體分割；應(yīng)用廣泛。

附圖說(shuō)明

圖1為本發(fā)明所述基于法向特征的路面圖像分割方法的方法流程圖；

圖2為直道加陰影實(shí)驗(yàn)環(huán)境下的色彩輸入圖像；

圖3為直道加陰影實(shí)驗(yàn)環(huán)境下的深度輸入圖像；

圖4為直道加陰影實(shí)驗(yàn)環(huán)境下生成的平面法向圖；

圖5為直道加陰影實(shí)驗(yàn)環(huán)境下得到的分割效果示意圖；

圖6為直道加陰影加左側(cè)和前方有車實(shí)驗(yàn)環(huán)境下的色彩輸入圖像；

圖7為直道加陰影加左側(cè)和前方有車實(shí)驗(yàn)環(huán)境下的深度輸入圖像；

圖8為直道加陰影加左側(cè)和前方有車實(shí)驗(yàn)環(huán)境下的法向圖像；

圖9為直道加陰影加左側(cè)和前方有車實(shí)驗(yàn)環(huán)境下的分割效果示意圖；

圖10為直道加陰影加兩側(cè)有車實(shí)驗(yàn)環(huán)境下的色彩輸入圖像；

圖11為直道加陰影加兩側(cè)有車實(shí)驗(yàn)環(huán)境下的深度輸入圖像；

圖12為直道加陰影加兩側(cè)有車實(shí)驗(yàn)環(huán)境下生成的法向圖像；

圖13為直道加陰影加兩側(cè)有車實(shí)驗(yàn)環(huán)境下的分割效果示意圖；

圖14為彎道加陰影實(shí)驗(yàn)環(huán)境下的色彩輸入圖像；

圖15為彎道加陰影實(shí)驗(yàn)環(huán)境下的深度輸入圖像；

圖16為彎道加陰影實(shí)驗(yàn)環(huán)境下生成的法向圖像；

圖17為彎道加陰影實(shí)驗(yàn)環(huán)境下的分割效果示意圖；

圖18為十字路口實(shí)驗(yàn)環(huán)境下的色彩輸入圖像；

圖19為十字路口實(shí)驗(yàn)環(huán)境下的深度輸入圖像；

圖20為十字路口實(shí)驗(yàn)環(huán)境下生成的法向圖像；

圖21為十字路口實(shí)驗(yàn)環(huán)境下的分割效果示意圖。

具體實(shí)施方式

下面結(jié)合實(shí)施例和說(shuō)明書附圖對(duì)本發(fā)明做進(jìn)一步說(shuō)明，但不限于此。

實(shí)施例1

一種基于法向特征的路面圖像分割方法，對(duì)直道加陰影實(shí)驗(yàn)環(huán)境下的圖像進(jìn)行分割，包括步驟如下：

1)通過(guò)相機(jī)獲取rgb-d影像，將所述rgb-d影像分解為幀圖像，獲取相機(jī)的內(nèi)部參數(shù)k；

其中，dx和dy分別表示水平方向和垂直方向上一個(gè)像素點(diǎn)占據(jù)長(zhǎng)度單位的個(gè)數(shù)，u0和v0為幀圖像所在平面的中心，γ為以相機(jī)光心為原點(diǎn)的相機(jī)坐標(biāo)系內(nèi)坐標(biāo)軸的傾斜參數(shù)；

2)將二維深度圖像id中的像素點(diǎn)由圖像坐標(biāo)系轉(zhuǎn)換為相機(jī)坐標(biāo)系，其中轉(zhuǎn)換關(guān)系如公式(1)所示：

其中，x和y為相機(jī)坐標(biāo)系內(nèi)的坐標(biāo)，u和v為圖像坐標(biāo)系內(nèi)的坐標(biāo)；相機(jī)坐標(biāo)系內(nèi)坐標(biāo)z的值由深度圖像id中對(duì)應(yīng)坐標(biāo)的深度值iu,v乘以深度轉(zhuǎn)換率r得到，深度轉(zhuǎn)換率r因相機(jī)而定，為已知參數(shù)；

3)對(duì)予深度圖像id中的像素點(diǎn)a，選取其n×n的鄰域中的兩個(gè)像素點(diǎn)b、c，通過(guò)相機(jī)坐標(biāo)系的坐標(biāo)x，y，z確定向量和計(jì)算該點(diǎn)的法向向量其中，

4)重復(fù)步驟3)遍歷選取像素點(diǎn)a所有的鄰域像素點(diǎn)，得到像素點(diǎn)a的所有法向向量，取所有法向向量的平均值并進(jìn)行歸一化處理，得到像素點(diǎn)a最終的法向向量，并將像素點(diǎn)a最終的法向向量的x，y，z坐標(biāo)值作為色彩圖像中rgb通道的像素值以保存為圖片；遍歷處理深度圖像id中的每一個(gè)像素點(diǎn)得到最終的平面法向圖if；取所有法向的平均值進(jìn)行平滑并歸一化處理，避免了噪聲的干擾導(dǎo)致計(jì)算得到的法向向量不準(zhǔn)確。

5)將平面法向圖if中每個(gè)像素點(diǎn)依據(jù)色彩的相似性進(jìn)行聚類分割，形成分割區(qū)域，計(jì)算每個(gè)分割區(qū)域的平均法向向量，將區(qū)域面積最大且法向向量方向與場(chǎng)景中重力的反方向成銳角的分割區(qū)域確定為道路路面，提取道路路面圖像，得到最終的道路路面提取結(jié)果；

6)將道路路面設(shè)為可安全行駛的區(qū)域，剩余區(qū)域設(shè)為避免碰撞區(qū)域。

如圖1-4所示，基于法向特征的路面圖像分割方法，針對(duì)直道加陰影實(shí)驗(yàn)環(huán)境的圖像進(jìn)行分割，清楚、準(zhǔn)確的分割出了安全行駛區(qū)域和防撞區(qū)域。

實(shí)施例2

如實(shí)施例1所述的基于法向特征的路面圖像分割方法，所不同的是，對(duì)直道加陰影加左側(cè)和前方有車實(shí)驗(yàn)環(huán)境下的圖像進(jìn)行分割；γ＝0。

如圖5-8所示，基于法向特征的路面圖像分割方法，針對(duì)直道加陰影加左側(cè)和前方有車實(shí)驗(yàn)環(huán)境下的圖像，清楚、準(zhǔn)確的分割出了安全行駛區(qū)域和防撞區(qū)域。

實(shí)施例3

如實(shí)施例1所述的基于法向特征的路面圖像分割方法，所不同的是，對(duì)直道加陰影加兩側(cè)有車實(shí)驗(yàn)環(huán)境下的圖像進(jìn)行分割；所述步驟1)中的相機(jī)為車載雙目相機(jī)。同雙目相機(jī)能同時(shí)獲取彩色圖像和二維深度圖像。

如圖9-12所示，基于法向特征的路面圖像分割方法，針對(duì)直道加陰影加兩側(cè)有車實(shí)驗(yàn)環(huán)境下的圖像進(jìn)行分割，清楚、準(zhǔn)確的分割出了安全行駛區(qū)域和防撞區(qū)域。

實(shí)施例4

如實(shí)施例1所述的基于法向特征的路面圖像分割方法，所不同的是，對(duì)彎道加陰影實(shí)驗(yàn)環(huán)境下的圖像進(jìn)行分割；相機(jī)的內(nèi)部參數(shù)k通過(guò)相機(jī)標(biāo)定獲取。

如圖12-16所示，基于法向特征的路面圖像分割方法，針對(duì)彎道加陰影實(shí)驗(yàn)環(huán)境下的圖像進(jìn)行分割，清楚、準(zhǔn)確的分割出了安全行駛區(qū)域和防撞區(qū)域。

實(shí)施例5

如實(shí)施例1所述的基于法向特征的路面圖像分割方法，所不同的是，對(duì)十字路口實(shí)驗(yàn)環(huán)境下的圖像進(jìn)行分割，所述步驟5)中，提取道路路面圖像后，還包括對(duì)道路路面圖像進(jìn)行形態(tài)學(xué)閉操作處理的步驟。形態(tài)學(xué)閉操作處理用于去除噪聲干擾。

如圖16-20所示，基于法向特征的路面圖像分割方法，針對(duì)十字路口實(shí)驗(yàn)環(huán)境下的圖像進(jìn)行分割，清楚、準(zhǔn)確的分割出了安全行駛區(qū)域和防撞區(qū)域。

實(shí)施例6

如實(shí)施例1所述的基于法向特征的路面圖像分割方法，所不同的是，所述步驟5)中，依據(jù)色彩的相似性進(jìn)行聚類分割形成分割區(qū)域，通過(guò)mean-shift聚類分割算法實(shí)現(xiàn)。