專利名稱：道路行駛線的視覺檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及智能交通系統(tǒng)中的智能車輛技術(shù)，尤其是一種道路行駛線的視 覺檢測方法。
背景技術(shù)：
道路行駛線(又稱車道線)的檢測與定位是智能車輛系統(tǒng)中的關(guān)鍵組成部 分，巳成為相關(guān)科研機構(gòu)，以及汽車生產(chǎn)廠家研發(fā)的焦點。其中，以機器視覺 作為主要的環(huán)境感知手段被公認(rèn)為最有效的感知方式之一。現(xiàn)有方法大多基于這樣一個事實結(jié)構(gòu)化道路中存在一些白色或黃色的標(biāo) 記，這些標(biāo)記可作為車道線的特殊模式。從而，車道線檢測問題轉(zhuǎn)化為一幅給 定道路圖像中的特定模式(車道線)識別問題。光學(xué)成像系統(tǒng)中透視效果的存在，使得道路中的兩條平行邊緣映射為圖像 空間中的兩條相交線，道路的幾何信息在成像過程中丟失了。用逆投影映射(Inverse Perspective Mapping, IPM)來消除透視效果，利用道路的幾何特征來 完成車道線檢測，這種方法計算量大，需特殊硬件配合。為降低計算量，可基于感興趣區(qū)域(Region of Interest, ROI)的車道線提取 方法。以空間和時間連續(xù)性作為限制，將算法的處理區(qū)域由整幅圖像縮減為車 輛前方的某一特定區(qū)域，在該區(qū)域中能更加有效的檢測出車道線。然而，ROI 的選取至關(guān)重要，選擇不當(dāng)將會導(dǎo)致算法失效?？紤]到公路在建造時都具有一定的模型，可通過對道路建模來降低檢測過 程的復(fù)雜性。用回旋曲線作為車道線模型，并假設(shè)車道線之間具有某一固定的 寬度，以此作為限制條件來增強對算法的約束，便于在圖像中快速定位滿足限 制條件的行駛標(biāo)記，但當(dāng)?shù)缆纺Ｐ洼^為復(fù)雜，如道路寬度發(fā)生變化，或車道線 缺失時檢測效果不理想。發(fā)明內(nèi)容為克服現(xiàn)有的道路行駛線檢測方法無法同時兼顧定位準(zhǔn)確性和高實時性的 缺點，本發(fā)明提供一種道路行駛線的視覺檢測方法。 本發(fā)明所采用的技術(shù)方案是(1) 、對于一幅給定的原始道路圖像，首先通過邊緣檢測將圖像中的所有邊 緣檢測出來，得到一幅邊緣圖像；(2) 、對左右車道線分別定義基于方向優(yōu)先級的搜索規(guī)則，利用該規(guī)則對步 驟(l)得到的邊緣圖像進行搜索，在搜索的同時記錄每條搜索路徑，定義閾值T1， 過濾掉線段長度小于T1的線段，從而將邊緣圖像轉(zhuǎn)換成候選線段的集合，Tl取 值在15 30之間；該步驟所使用的方向優(yōu)先級定義為任取一個3x3的窗口，當(dāng)前像素位置(窗口正中間的像素)具有8個鄰接像 素，對左車道線而言，搜索方向僅限于90度，45度和0度3個方向，90度方向為 最高優(yōu)先級，45度其次，0度為最低；對右車道線而言，搜索方向僅限于90度， 135度和180度3個方向，90度方向為最高優(yōu)先級，135度其次，180度為最低；該步驟所使用的左車道線搜索規(guī)則為(A) 、從邊緣圖像左下角開始，對邊緣圖像從左向右、從下到上進行行掃 描，如果當(dāng)前像素是邊緣點，則初始化一條候選線段，并將該像素的坐標(biāo)作為起始點記錄下來，否則，繼續(xù)向后掃描，直到發(fā)現(xiàn)邊緣點，轉(zhuǎn)到第(B)步；(B) 、根據(jù)針對左車道線定義的方向優(yōu)先級，依次判斷當(dāng)前點的3個方向是否 存在邊緣點，如未發(fā)現(xiàn)某優(yōu)先級方向上存在邊緣點，跳轉(zhuǎn)到第(C)步，否則，記 錄該點坐標(biāo)，并移動到新的邊緣點，重復(fù)該過程直到?jīng)]有滿足要求的連續(xù)邊緣 點，結(jié)束對本候選線段的搜索。(C) 、重復(fù)以上過程，繼續(xù)掃描候選線段，直到整幅邊緣圖像的邊緣點全部 被遍歷，結(jié)束對左車道候選線段的搜索。右車道候選線段的搜索規(guī)則與左車道的搜索過程類似，區(qū)別為步驟(A)中搜 索起始點位于邊緣圖像的右下角，步驟(B)中使用的方向優(yōu)先級為針對右車道線 定義的方向優(yōu)先級；(3) 、對候選線段集合中的每條線段進行Hough變換，在Hough空間中統(tǒng)計線 段的共線點數(shù)，定義閾值T2，過濾共線點小于T2的線段，T2取值在15 25 之間；(4)、最后，利用原始圖像的亮度信息，對步驟(3)處理后剩下的候選線段進行 一系列的變換處理，消除路面裂紋，新舊路面交接等規(guī)則邊緣等干擾，識別出 車道線，完成車道線的定位；在經(jīng)過步驟(3)之后，剩下的少量候選線段中，主要是車道線，路面裂縫以 及新舊路面的分界線，先進行以下變換處理(A) 、根據(jù)候選線段先原始圖像中的位置，分別與線段的縱向長度為1/3、 1/2、 2/3處讀取一行亮度數(shù)據(jù)。(B) 、使用5點高斯濾波器對其進行平滑處理。(C) 、對平滑后的數(shù)據(jù)進行逐點差分處理，差分模板為[-2,2]。(D) 、對差分后的結(jié)果取絕對值，并再次進行5點高斯平滑處理。(F)、在步驟(C)處理后的數(shù)據(jù)直方圖中，車道線和裂紋都表現(xiàn)為正負(fù)兩個峰 值，而新舊路面僅有一個峰值，而步驟(D)處理后的數(shù)據(jù)直方圖中，車道線具有 兩個正峰值，而路面裂紋和新舊路面僅包含一處峰值，結(jié)合這兩個特征即可識 別出車道線，從而完成對車道線的檢測。本發(fā)明的有益效果是，本發(fā)明是一種由粗到精的車道線檢測方法，包括邊 緣檢測、基于方向優(yōu)先級搜索、基于霍夫的大曲率消除、車道線識別4個步驟。 充分挖掘車道線的先驗信息，在算法的每步當(dāng)中，都增強符合車道線特征的邊 緣，削弱不符合的邊緣，在后續(xù)的步驟中依次過濾掉干擾信息，最終實現(xiàn)對車 道線準(zhǔn)確定位。在第(l)步中，本發(fā)明采用了Canny邊緣檢測方法，在使用該方法檢測圖像 中的邊緣時，其檢測邊緣的完整性，邊緣定位的準(zhǔn)確性已得到業(yè)界人士的肯定。 因此，用該方法不但能完整的檢測出圖像中的邊緣，還具有定位準(zhǔn)確的優(yōu)勢， 而車道線的邊緣也包括在其中，這一步即為"粗"。在第(2)步中，本發(fā)明針對左右車道線分別定義了基于方向優(yōu)先級的搜索規(guī) 則。第一，將左右車道線的檢測分離開來，使得本發(fā)明適用于變寬道路，以及 某一車道線缺失的情況；第二，利用本步驟定義的規(guī)則對邊緣圖像進行搜索之 后，例如陰影等復(fù)雜紋理的邊緣將變?yōu)槎绦〉木€段被過濾，而車道線構(gòu)成的邊 緣將被保持，使得本發(fā)明對路面陰影同樣具有適應(yīng)性，這一步增強了符合車道 線特征的邊緣，削弱不符合的邊緣，體現(xiàn)了 "精"。在第(3)步中，本發(fā)明使用Hough變換來統(tǒng)計候選線段的直線度，進一步過濾掉干擾線段。但傳統(tǒng)的Hough法無法滿足實時性要求。以孫豐榮于2001年在 《計算機學(xué)報》24巻第10期公開的一種快速Hough變換算法為準(zhǔn)，現(xiàn)有方法的 計算開銷為O(A^logA0，而經(jīng)過本發(fā)明第(2)步的搜索規(guī)則處理后，邊緣點被組合 成A條線段，不失一般性，設(shè)每條線段包含的數(shù)據(jù)點相同，Hough變換的計算量 變?yōu)?(AyogA^)/P，計算開銷大幅降低。此外，每條記錄中僅保存一條線段， 只需輸出具有最高投票率的結(jié)果，輸出穩(wěn)定且唯一。該步在進一步增強符合車 道線特征的邊緣，削弱不符合的邊緣的同時，大幅提高的算法的實時性。在第(4)步中，本發(fā)明針對剩下的少量候選線段的特征，利用原始圖像的亮 度信息，以及候選線段在圖像中的位置，通過簡單的變換，完成車道線的檢測。 因此，本發(fā)明較現(xiàn)有方案具有實時性高、定位準(zhǔn)確的優(yōu)點，且對道路變 寬，路面陰影等情況存在下的道路行駛線的檢測任務(wù)具有適應(yīng)性。


圖l是本發(fā)明的方法流程圖。 圖2是搜索規(guī)則示意圖。
具體實施方式
下面結(jié)合附圖對發(fā)明的實施做出進一步說明。圖l是本發(fā)明的方法流程圖， 如圖1所示，該方法包括以下四個步驟。步驟101:對于一幅給定的道路圖像，首先通過邊緣檢測中的方法，將圖像 中的所有邊緣盡可能完整的檢測出來，得到一幅邊緣圖像。具體為-(1)平滑圖像用二維高斯函數(shù)對原始圖像/(jc,力進行平滑除噪，得到平滑圖像/Oc,力，設(shè)二維高斯函數(shù)為<formula>formula see original document page 7</formula>其梯度矢量為<formula>formula see original document page 7</formula>為提高算法效率，將式(2)分解為2個行列一維濾波器，<formula>formula see original document page 8</formula>(3)其中，"為濾波器參數(shù)，控制平滑的長度。高斯平滑后的輸出圖像/(x,力為 /(x,;;卜VG(x,力hc/(x，;;) (4)其中，""代表巻積。 (2)計算梯度方向和幅值在2x2鄰域中通過一階差分計算/(x,力的梯度方向《x,力和幅值M(;c,力，門M(x,力—arctan(5)其中(/,力=(/(/ +1,力一 /(' ， _/) + /(' +1, _/ +1) - /(" _/ +1)) / 2 (/, 乂) = (/(/, _/ +1) — /(/,力+ /(/ + W +1) - /(/ +1,力)/ 2(6)(3) 對梯度幅值進行非極大值抑制為精確定位邊緣，只需保留幅值局部變化最大的邊緣點，即需要進行非極 大值抑制。使用3x3尺寸，包含8個方向的鄰域進行梯度幅值差值。將像素點(x,力 的梯度幅值M(x,力與該點梯度方向上的2個梯度幅值的差值結(jié)果進行比較，若該 點的梯度幅值小于梯度方向上2個相鄰像素點的梯度差值結(jié)果，則將該點從邊緣 候選點集中除去。如此循環(huán)，直到所有的局部非極大值都被消除。(4) 用雙閾值方法連接邊緣選取高低兩個閾值rH， 71，對非極大值抑制后的圖像分別進行閾值化處理， 從而得到一個高閾值檢測結(jié)果和一個低閾值檢測結(jié)果。在高閾值圖像中連接邊 緣輪廓，當(dāng)連接到端點時，從低閾值圖像中尋找弱邊緣點，彌補高閾值分割圖 像中的邊緣間隙。本101步驟還可使用的邊緣檢測方法包括Sobel方法、Roberts方法、Prewitt 方法、Laplace方法等，但Canny方法以其定位準(zhǔn)確性和邊緣檢測的完整性為本 發(fā)明的最優(yōu)選擇，其他方法次之。步驟102:對左右車道線分別定義基于方向優(yōu)先級的搜索規(guī)則，對邊緣圖像進行搜索，將每條搜索路徑記錄下來，從而將邊緣圖像轉(zhuǎn)換成了候選線段的集 合。在這一步中，復(fù)雜紋理的邊緣特征被削弱，而車道線的邊緣特征被保持。在經(jīng)過步驟101之后，各種目標(biāo)的輪廓信息保存在邊緣圖像中。下面給出基 于方向優(yōu)先級的搜索規(guī)則，用于削弱路面干擾(陰影等具有復(fù)雜紋理的邊緣)。不失一般性，以左車道線為例說明搜索規(guī)則，對右車道的搜索具有相似的 性質(zhì)。取一個3x3的窗口，如圖2(a)所示。當(dāng)前像素點(灰色方塊)具有8個鄰 接像素，但考慮車道線的延伸方向(從左向右)，僅有3個方向能夠滿足右車道 線的縱、橫向連貫性，見圖2(a)中標(biāo)出的3個箭頭方向。在此基礎(chǔ)上，定義90度 方向為最高優(yōu)先級，45度其次，0度為最低。左車道的搜索規(guī)則為(1) 從圖像左下角開始，對邊緣圖像從左向右進行行掃描。如果當(dāng)前像素是 邊緣點，則初始化一條候選線段，并將該像素的坐標(biāo)作為起始點記錄下來。否 則，繼續(xù)向后掃描，直到發(fā)現(xiàn)邊緣點，轉(zhuǎn)到第(2)步。(2) 根據(jù)方向優(yōu)先級，依次判斷當(dāng)前點的3個方向是否存在邊緣點。如未發(fā) 現(xiàn)某優(yōu)先級方向上存在邊緣點，跳轉(zhuǎn)到第(3)步。否則，記錄該點坐標(biāo)，并移動 到新的邊緣點，重復(fù)該過程直到?jīng)]有滿足要求的連續(xù)邊緣點，結(jié)束該候選線段 的搜索。(3) 繼續(xù)行掃描，直到整幅邊緣圖像的邊緣點全部被遍歷，結(jié)束對左車道候 選線段的搜索。右車道候選線段的搜索規(guī)則與左車道的搜索過程類似，不同的是起始點位 于邊緣圖像的右下角，搜索規(guī)則如圖2(b)所示。搜索完成之后，將得到w條候選線段的記錄，每條記錄中按順序存放組成線 段的點坐標(biāo)，記錄的長度代表該線段的像素個數(shù)。選擇一個閾值T1，過濾掉長 度小于T1的線段。步驟103:對候選線段集合中的每條線段進行Hough變換，在Hough空間 中統(tǒng)計線段的共線點數(shù)，過濾共線點較少(曲率較大)的線段。復(fù)雜紋理的邊 緣將被消除，直線度較好或具有光滑曲率的線段被保留。用H0Ugh變換消除大曲率線段的算法如下(1) 將參數(shù)空間(A 0分為mx"等分，并初始化累加器An^。 m、"的取值視 輸入圖像的尺寸而定。例如，320x240大小的圖像，取值可分別為350、卯。(2) 從待檢測線段中取出一條，記為點集(;q,")，其中/ = 0, 1,...，/， /為該點集中的元素個數(shù)，根據(jù)式(7)將0q,:^)變換到參數(shù)空間，A = x,. cos《sin《 A: = 1,2，…90 (7)在參數(shù)空間中尋找(A,沐)在Amxn中對應(yīng)的元素，并令A(yù)瞬(附,")"卿(附，"H (8)(3) 當(dāng)該線段上所有的點都經(jīng)過第(2)步遍歷后，尋找累加器Amxn中的最大 值，記錄下來，該值對應(yīng)該候選線段中共線點的數(shù)量。(4) 循環(huán)(2)， (3)兩步，直到所有的候選曲線都被遍歷。選擇一個閾值T2， 過濾掉共線點數(shù)小于該閾值的線段。T2在本發(fā)明中的取值為15。步驟104:利用圖像的亮度信息，對剩下的少量候選線段進行一系列的變換 處理，消除路面裂紋，新舊路面交接等規(guī)則邊緣等干擾，識別出車道線，完成 車道線的定位。在經(jīng)過步驟103之后，剩下的少量候選線段中，主要是車道線，路面裂縫以 及新舊路面的分界線。下面給出如何利用圖像亮度信息來識別車道線的方法。(1) 根據(jù)候選線段先原始圖像中的位置，分別與線段的縱向長度為1/3、 1/2、 2/3處讀取一行亮度數(shù)據(jù)。(2) 使用5點高斯濾波器對其進行濾波，對噪聲像素進行平滑處理。(3) 對平滑后的數(shù)據(jù)進行逐點差分處理，差分模板為[-2,2]。(4) 對差分后的結(jié)果取絕對值，并再次進行5點高斯平滑處理。 在步驟(3)處理后的數(shù)據(jù)直方圖中，車道線和裂紋都表現(xiàn)為正負(fù)兩個峰值，而新舊路面僅有一個峰值。而步驟(4)處理后的數(shù)據(jù)直方圖中，車道線具有兩個 正峰值，而路面裂紋和新舊路面僅包含一處峰值。結(jié)合這兩個特征即可識別出 目標(biāo)的類型，從而完成對車道線的檢測。
權(quán)利要求
1.一種道路行駛線的視覺檢測方法，其特征是，該方法包括以下步驟(1)、對于一幅給定的原始道路圖像，首先通過邊緣檢測方法將圖像中的所有邊緣檢測出來，得到一幅邊緣圖像；(2)、對左右車道線分別定義基于方向優(yōu)先級的搜索規(guī)則，利用該規(guī)則對步驟(1)得到的邊緣圖像進行搜索，在搜索的同時記錄每條搜索路徑，定義閾值T1，過濾掉線段長度小于T1的線段，從而將邊緣圖像轉(zhuǎn)換成候選線段的集合，T1取值在15～30之間；該步驟所使用的方向優(yōu)先級定義為任取一個3×3的窗口，當(dāng)前像素位置，即窗口正中間的像素具有8個鄰接像素，對左車道線而言，搜索方向僅限于90度，45度和0度3個方向，90度方向為最高優(yōu)先級，45度其次，0度為最低；對右車道線而言，搜索方向僅限于90度，135度和180度3個方向，90度方向為最高優(yōu)先級，135度其次，180度為最低；該步驟所使用的左車道線搜索規(guī)則為(A)、從邊緣圖像左下角開始，對邊緣圖像從左向右、從下到上進行行掃描，如果當(dāng)前像素是邊緣點，則初始化一條候選線段，并將該像素的坐標(biāo)作為起始點記錄下來，否則，繼續(xù)向后掃描，直到發(fā)現(xiàn)邊緣點，轉(zhuǎn)到第(B)步；(B)、根據(jù)針對左車道線定義的方向優(yōu)先級，依次判斷當(dāng)前點的3個方向是否存在邊緣點，如未發(fā)現(xiàn)某優(yōu)先級方向上存在邊緣點，跳轉(zhuǎn)到第(C)步，否則，記錄該點坐標(biāo)，并移動到新的邊緣點，重復(fù)該過程直到?jīng)]有滿足要求的連續(xù)邊緣點，結(jié)束對本候選線段的搜索；(C)、重復(fù)以上過程，繼續(xù)掃描候選線段，直到整幅邊緣圖像的邊緣點全部被遍歷，結(jié)束對左車道候選線段的搜索；右車道候選線段的搜索規(guī)則與左車道的搜索過程類似，區(qū)別為步驟(A)中搜索起始點位于邊緣圖像的右下角，步驟(B)中使用的方向優(yōu)先級為針對右車道線定義的方向優(yōu)先級；(3)、對候選線段集合中的每條線段進行Hough變換，在Hough空間中統(tǒng)計線段的共線點數(shù)，定義閾值T2，過濾共線點小于T2的線段，T2取值在15～25之間；(4)、在經(jīng)過步驟(3)之后，剩下的少量候選線段中，主要是車道線，路面裂縫以及新舊路面的分界線，最后，利用原始圖像的亮度信息，對步驟(3)處理后剩下的候選線段進行一系列的變換處理，消除路面裂紋，新舊路面交接的規(guī)則邊緣干擾，然后識別出車道線，完成車道線的定位，具體方式如下(A)、根據(jù)候選線段先原始圖像中的位置，分別與線段的縱向長度為1/3、1/2、2/3處讀取一行亮度數(shù)據(jù)；(B)、使用5點高斯濾波器對其進行平滑處理；(C)、對平滑后的數(shù)據(jù)進行逐點差分處理，差分模板為[-2，2]；(D)、對差分后的結(jié)果取絕對值，并再次進行5點高斯平滑處理；(F)、在步驟(C)處理后的數(shù)據(jù)直方圖中，車道線和裂紋都表現(xiàn)為正負(fù)兩個峰值，而新舊路面僅有一個峰值，而步驟(D)處理后的數(shù)據(jù)直方圖中，車道線具有兩個正峰值，而路面裂紋和新舊路面僅包含一處峰值，結(jié)合這兩個特征即可識別出車道線，從而完成對車道線的檢測。
2. 根據(jù)權(quán)利要求1所述的一種道路行駛線的視覺檢測方法，其特征是所述步驟(l)所使用的原始道路圖像為灰度圖像，邊緣檢測方法為Canny方法。
3. 根據(jù)權(quán)利要求1所述的一種道路行駛線的視覺檢測方法，其特征是所述步 驟(2)所使用的基于方向優(yōu)先級的搜索規(guī)則，在其搜索過程中，以鏈表形式分別 記錄滿足相應(yīng)搜索規(guī)則的邊緣點的坐標(biāo)，以及每條候選線段的長度。
全文摘要
本發(fā)明公開了一種道路行駛線的視覺檢測方法。第一步，對于一幅給定的原始道路圖像，通過邊緣檢測將圖像中的所有邊緣檢測出來，得到一幅邊緣圖像；第二步，對左右車道線分別定義基于方向優(yōu)先級的搜索規(guī)則，利用該規(guī)則對邊緣圖像進行搜索，在搜索時記錄每條搜索路徑，從而將邊緣圖像轉(zhuǎn)換成候選線段的集合；第三步，對候選線段集合中的每條線段進行Hough變換，在Hough空間中統(tǒng)計線段的共線點數(shù)，過濾共線點小于T2的線段；第四步，利用原始圖像的亮度信息，對第三步處理后剩下的候選線段進行一系列的變換處理，消除路面裂紋，新舊路面交接規(guī)則邊緣干擾，識別出車道線，完成車道線的定位。本發(fā)明方案遵循由粗到精的思想，較現(xiàn)有方案定位準(zhǔn)確，實時性高。
文檔編號G06T7/00GK101620732SQ200910181669
公開日2010年1月6日 申請日期2009年7月17日 優(yōu)先權(quán)日2009年7月17日
發(fā)明者李舜酩, 柏芳超, 毛建國, 峘 沈, 繆小冬 申請人:南京航空航天大學(xué)