車道劃分標(biāo)示檢測裝置、駕駛輔助系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種車道劃分標(biāo)示檢測裝置(100)，該車道劃分標(biāo)示檢測裝置(100)具有：多個拍攝單元(11、12)，拍攝對車輛行駛的車道進行劃分的車道劃分標(biāo)示；車道劃分標(biāo)示檢測單元(24)，根據(jù)由多個所述拍攝單元分別生成的圖像數(shù)據(jù)中的至少一個圖像數(shù)據(jù)來檢測車道劃分標(biāo)示；道路形狀推斷單元(25)，根據(jù)所述車道劃分標(biāo)示檢測單元檢測到的車道劃分標(biāo)示來推斷道路形狀；以及圖像數(shù)據(jù)決定單元(26)，根據(jù)所述道路形狀推斷單元推斷出的道路形狀，來決定所述車道劃分標(biāo)示檢測單元檢測車道劃分標(biāo)示所使用的圖像數(shù)據(jù)。
【專利說明】車道劃分標(biāo)示檢測裝置、駕駛輔助系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及對標(biāo)示于路面的車道劃分標(biāo)示進行檢測的車道劃分標(biāo)示檢測裝置。

【背景技術(shù)】
[0002] 已知有一種利用由車載的照相機拍攝到的白線來進行防止從車道脫離等各種駕 駛輔助的技術(shù)。另外，存在使用可獲取距離信息的立體相機作為用于拍攝白線的照相機的 情況。在檢測由立體相機拍攝到的白線的情況下，作為白線檢測裝置檢測白線的方法，有如 下兩種方法（例如，參照專利文獻1):
[0003] (1)將白線檢測用的圖像固定為左照相機拍攝到的圖像或者右照相機拍攝到的圖 像的任意一個的方法
[0004] (2)根據(jù)由左右的照相機共同拍攝到的圖像區(qū)域來檢測的方法。
[0005] 在專利文獻1中公開了一種根據(jù)由立體相機拍攝到的圖像來計算三維位置信息， 并根據(jù)左右圖像的每一個來檢測在路面上存在的白線的圖像處理裝置。
[0006] 然而，在使用了立體相機的情況下的現(xiàn)有白線檢測方法中，存在如下的問題：在道 路彎曲（以下稱為"轉(zhuǎn)彎"）的情況下，圖像中拍攝到白線的區(qū)域變窄。
[0007] S卩，在如上述的（1)那樣將白線檢測用的照相機固定為左邊的情況下，若道路向 右轉(zhuǎn)彎，則拍攝到右側(cè)的白線的區(qū)域變窄，在將白線檢測用的照相機固定為右邊的情況下， 若道路向左轉(zhuǎn)彎，則拍攝到左側(cè)的白線的區(qū)域變窄。
[0008] 另外，如上述的（2)那樣白線檢測裝置根據(jù)左右的照相機共同拍攝到的圖像區(qū)域 來檢測的情況也相同，若道路向右或者左的任一邊轉(zhuǎn)彎，則在共同拍攝到的圖像區(qū)域中拍 攝到白線的區(qū)域變窄。
[0009] 使用圖來進行說明。圖1表示在道路向左轉(zhuǎn)彎的情況下，由右照相機和左照相機 分別拍攝到的圖像的一個例子。圖1(a)表示左照相機的圖像，圖1(b)表示右照相機的圖 像。在圖示的狀況下，當(dāng)將右照相機拍攝的圖像固定為白線檢測用的圖像時，無法檢測左側(cè) 的遠(yuǎn)方的白線。
[0010] 另外，左照相機的圖像和右照相機的圖像各自的虛線內(nèi)的區(qū)域是由左右的照相機 共同拍攝到的區(qū)域。因此，在根據(jù)左右照相機共同拍攝到的圖像區(qū)域來檢測白線的情況下， 同樣無法檢測左側(cè)的遠(yuǎn)方的白線。
[0011] 此外，這樣的問題因為立體相機中左右的照相機沿車寬度方向分離配置（左右的 照相機具有規(guī)定的基線長），且右照相機比車寬度方向的中央靠右側(cè)配置，左照相機比車寬 度方向的中央靠左側(cè)配置而產(chǎn)生。
[0012] 專利文獻1 :日本特開2009 - 041972號公報


【發(fā)明內(nèi)容】

[0013] 本發(fā)明鑒于上述課題而提出，其目的在于，提供一種不管道路形狀如何均能夠提 高車道劃分標(biāo)示的檢測精度的車道劃分標(biāo)示檢測裝置。
[0014] 本發(fā)明涉及一種車道劃分標(biāo)示檢測裝置，該車道劃分標(biāo)示檢測裝置具有：多個拍 攝單元，拍攝對本車輛行駛的車道進行劃分的車道劃分標(biāo)示；車道劃分標(biāo)示檢測單元，根 據(jù)由多個所述拍攝單元分別生成的圖像數(shù)據(jù)中的至少一個圖像數(shù)據(jù)來檢測車道劃分標(biāo)示； 道路形狀推斷單元，根據(jù)所述車道劃分標(biāo)示檢測單元檢測到的車道劃分標(biāo)示來推斷道路形 狀；以及圖像數(shù)據(jù)決定單元，根據(jù)所述道路形狀推斷單元推斷出的道路形狀，來決定所述車 道劃分標(biāo)示檢測單元為了檢測車道劃分標(biāo)示而使用的圖像數(shù)據(jù)。
[0015] 根據(jù)本發(fā)明，能夠提供一種不管道路形狀如何均能夠提高白線檢測精度的車道劃 分標(biāo)示檢測裝置。

【專利附圖】

【附圖說明】
[0016] 圖1是表示道路向左轉(zhuǎn)彎的情況下由左右的照相機拍攝到的圖像的一個例子的 圖。
[0017] 圖2是說明白線檢測裝置的概略特征的圖的一個例子。
[0018] 圖3是包含白線檢測裝置的駕駛輔助系統(tǒng)的概略結(jié)構(gòu)圖的一個例子。
[0019] 圖4是照相機計算機的功能框圖的一個例子。
[0020] 圖5是表示平行化后的右照相機的圖像數(shù)據(jù)和左照相機的圖像數(shù)據(jù)的一個例子 的圖。
[0021] 圖6是說明視差的搜索的圖的一個例子。
[0022] 圖7是說明坐標(biāo)系的圖的一個例子。
[0023] 圖8是示意性地說明白線的檢測的圖的一個例子。
[0024] 圖9是表示白線檢測裝置檢測白線，并切換白線檢測用的照相機的步驟的流程圖 的一個例子。
[0025] 圖10是表示外側(cè)和內(nèi)側(cè)的白線長度的比較的圖的一個例子。
[0026] 圖11是照相機計算機的功能框圖的一個例子。
[0027] 圖12是表示白線檢測裝置檢測白線，并切換白線檢測用的照相機的步驟的流程 圖的一個例子。
[0028] 符號說明
[0029] 11...右照相機；12...左照相機；13...照相機計算機；21...立體圖像獲取部； 22...形變修正/平行化部；23...邊緣提取部；24...白線檢測部；25...試車道路參數(shù)推 斷部；26...處理圖像切換部；27...視差計算部；29...白線長度計算部；100...白線檢測 裝置；200. . ?駕駛輔助ECU ;300. . ?工作設(shè)備。

【具體實施方式】
[0030] 以下，參照附圖對用于實施本發(fā)明的方式進行說明。
[0031] 圖2是說明本實施方式的白線檢測裝置的概略特征的圖的一個例子。在白線檢測 裝置中，作為初始設(shè)定，左右的照相機中的白線檢測用的照相機被預(yù)先設(shè)定（S3)。例如，作 為初始設(shè)定，在將右照相機作為白線檢測用的照相機的情況下，根據(jù)右照相機拍攝到的圖 像來檢測白線。
[0032] 白線檢測裝置根據(jù)檢測到的白線來推斷試車道路參數(shù)（S2)。由于試車道路參數(shù)例 如包含道路的曲率、半徑，所以白線檢測裝置判定道路是否向與當(dāng)前的配置有白線檢測用 (例如初始設(shè)定）的照相機一側(cè)相反方向彎曲（以下稱為"轉(zhuǎn)彎"）（S3)。即，在右照相機是 當(dāng)前的白線檢測用的照相機的情況下，白線檢測裝置100判定道路是否向左方向轉(zhuǎn)彎。
[0033] 在道路向與當(dāng)前的配置有白線檢測用的照相機一側(cè)相反方向轉(zhuǎn)彎的情況下（S3 的是），白線檢測裝置切換白線檢測用的照相機（S4)。即，在右照相機是當(dāng)前的白線檢測用 的照相機的情況下，從下一個圖像開始將左照相機拍攝到的圖像作為白線檢測用的圖像。 [0034] 由此，拍攝白線檢測用的圖像的照相機被設(shè)定為右照相機或者左照相機的任意一 個，即使道路向與當(dāng)前的配置有白線檢測用的照相機一側(cè)相反方向轉(zhuǎn)彎也能夠檢測遠(yuǎn)方的 白線。其中，白線檢測裝置持續(xù)判定道路是否轉(zhuǎn)彎，在道路向與當(dāng)前的配置有白線檢測用的 照相機一側(cè)相反方向轉(zhuǎn)彎的情況下，切換白線檢測用的照相機。通過反復(fù)進行該處理，能夠 與道路形狀無關(guān)地根據(jù)由左右任意一個照相機拍攝到的圖像來檢測遠(yuǎn)方的白線。
[0035] 以下，列舉實施例來進行說明。其中，以下的實施例中，不特別區(qū)別地記載了切換 白線檢測用的照相機和切換白線檢測用的圖像。
[0036] 實施例1
[0037] 〔構(gòu)成例〕
[0038] 圖3表示包含白線檢測裝置100的駕駛輔助系統(tǒng)的概略結(jié)構(gòu)圖的一個例子。在駕 駛輔助系統(tǒng)500中，具有經(jīng)由CAN(Controller Area Network:控制區(qū)域網(wǎng)路）總線等車載 LAN彼此連接的白線檢測裝置100、駕駛輔助EQJ(Electronic Control Unit:電子控制單 元）200以及工作設(shè)備300。白線檢測裝置100相當(dāng)于權(quán)利要求的車道劃分標(biāo)示檢測裝置。
[0039] 白線檢測裝置100除了后述的試車道路參數(shù)，還將到障礙物的目標(biāo)信息等發(fā)送至 駕駛輔助ECU200。駕駛輔助ECU200根據(jù)試車道路參數(shù)、目標(biāo)信息來判斷駕駛輔助的必要 性，并請求工作設(shè)備300工作。工作設(shè)備300例如是儀表面板的警報裝置、電動助力轉(zhuǎn)向裝 置、以及制動致動器等。
[0040] 試車道路參數(shù)例如是道路的曲率（半徑）、道路的車道寬度、車道內(nèi)的本車輛的橫 位置、本車輛針對道路的橫擺角等。駕駛輔助E⑶200使用連接于車載LAN的其他E⑶、或者 傳感器檢測到的信息（例如，車輪速度、轉(zhuǎn)向角、橫擺率等）來進行駕駛輔助。作為使用了試 車道路參數(shù)的駕駛輔助，已知有LDW (Lane Departure Warning :車道偏離警告）、LKA (Lane Ke印ing Assist:車道保持輔助）等。LDW是指在根據(jù)橫位置、橫擺角以及車速有可能脫離 車道的情況下用警報音、振動等來喚起駕駛員注意的駕駛輔助。LKA是指控制電動助力轉(zhuǎn) 向裝置來對轉(zhuǎn)向軸施加轉(zhuǎn)向扭矩、或者控制每個車輪的制動、發(fā)動機輸出以使本車輛在車 道內(nèi)的目標(biāo)行駛路線行駛的駕駛輔助方式。除了控制轉(zhuǎn)向扭矩、或者每個車輪的制動、發(fā)動 機輸出以便在目標(biāo)行駛路線行駛以外，還有控制成在有可能從車道脫離時維持車道的LKA。 這樣，通過檢測白線能夠進行多樣的駕駛輔助。
[0041] 另外，目標(biāo)信息例如是距離信息、相對速度、以及方位（橫位置）。駕駛輔助E⑶200 根據(jù)方位（橫位置）來提取可能碰撞的障礙物，若根據(jù)距離信息和相對速度計算出的 TTC(Time To Collision:碰撞時間）為規(guī)定值以下，則進行鳴放警報音或者減速等駕駛輔 助。
[0042] 白線檢測裝置100具有右照相機11、左照相機12、以及照相機計算機13。由右照 相機11和左照相機12構(gòu)成一個立體相機。立體相機例如將光軸朝向車輛前方地配置于后 視鏡，但也能夠配置于車頂?shù)绕渌鼒鏊?。右照相機11和左照相機12沿車寬度方向或者水 平方向分離規(guī)定間隔（基線長）地配置。右照相機11和左照相機12的前后位置、或者高 度位置也可以不一致。右照相機11和左照相機12分別具有C⑶或者CMOS、背面照射CMOS 等個體拍攝元件。右照相機11和左照相機12可以是僅獲取亮度信息的黑白照相機，也可 以是彩色照相機。
[0043] 右照相機11和左照相機12分別幾乎同時地周期性拍攝車輛前方的規(guī)定范圍。在 路面標(biāo)示有白線的情況下，圖像中拍攝有白線。其中，本實施方式的白線相當(dāng)于權(quán)利要求的 車道劃分標(biāo)示。車道劃分標(biāo)示并不局限于在路面上以白色標(biāo)示，包括例如黃色、橙色等彩色 的線狀標(biāo)示。另外，白線并不局限于由無斷開處而連續(xù)的實線標(biāo)示的線狀標(biāo)示，也可以是多 個點連續(xù)而成為線狀的點線、斷開處以等間隔（或者按照不同的間隔）加入實線的斷續(xù)線 等。在點線的情況下，例如能夠通過霍夫（Hough)變換來變換成直線。另外，白線并不局限 于平面的標(biāo)示，也可以如Botts Dots等那樣相對于路面具有凸部。由于Botts Dots是連 續(xù)的（例如等間隔的）點，所以可與點線同樣地視為線。另外，若如貓眼反射鏡那樣反射本 車輛的燈或者自發(fā)光來標(biāo)示車道間的邊界的道釘也被連續(xù)地敷設(shè)，則可與點線同樣地視為 線。
[0044] 照相機計算機13是具備CPU、ROM、RAM、CAN控制器、輸入輸出接口、以及其他一般 的電路的計算機。照相機計算機13如后述那樣進行形變修正/平行化、白線檢測、試車道 路參數(shù)的推斷、以及照相機或者白線檢測用的圖像的切換等。
[0045] 〔照相機計算機的功能〕
[0046] 圖4表示照相機計算機13的功能框圖的一個例子。照相機計算機13具有立體圖 像獲取部21、形變修正/平行化部22、邊緣提取部23、白線檢測部24、試車道路參數(shù)推斷部 25、處理圖像切換部26、以及視差計算部27。立體圖像獲取部21分別獲取右照相機11周 期性拍攝到的圖像以及左照相機12周期性拍攝到的圖像的圖像數(shù)據(jù)，并存儲于緩沖存儲 器等。
[0047] 〔形變修正/平行化〕
[0048] 形變修正/平行化部22使用預(yù)先獲取的照相機的外部參數(shù)、以及內(nèi)部參數(shù)來修正 左右的圖像的形變，進行平行化。內(nèi)部參數(shù)例如是指右照相機11和左照相機12各自的透 鏡畸變、畸變像差、拍攝元件的形變、焦距等。透鏡畸變例如通過參照根據(jù)透鏡的設(shè)計值而 生成的修正變換表來修正圖像數(shù)據(jù)而降低。畸變像差通過根據(jù)使用了半徑方向的畸變像差 的模型的參數(shù)推斷來修正圖像數(shù)據(jù)而降低。
[0049] 外部參數(shù)例如是將照相機的安裝位置和朝向數(shù)值化了的值。由于左右的照相機的 安裝位置（例如高度）以及朝向（斜度、側(cè)傾、橫擺）有微小的差別，所以存在右照相機11 和左照相機12的光軸高度也不完全一致且不平行的情況。因此，存在因該外部參數(shù)的差 另IJ，例如右照相機11和左照相機12的拍攝系統(tǒng)以光軸為中心相對旋轉(zhuǎn)的情況。為了降低 這樣的旋轉(zhuǎn)，在立體相機中，由車輛制造商等在出廠前校準(zhǔn)。在校準(zhǔn)中，利用右照相機11和 左照相機12分別拍攝形變校正用的圖。校正用的圖描繪有正方形的白塊（mass)和黑塊反 轉(zhuǎn)成泊松圖案狀的格子。例如，以右照相機11的圖像的白黑的塊與左照相機12的圖像的 白黑的塊一致的方式，確定像素彼此的對應(yīng)關(guān)系。對應(yīng)關(guān)系被登錄于表，例如與右照相機11 的全部像素相關(guān)聯(lián)地設(shè)定了修正前的像素位置被變換成哪個像素位置。
[0050] 在圖中，將基于內(nèi)部參數(shù)和外部參數(shù)進行左右的圖像的形變修正以及平行化用的 數(shù)據(jù)設(shè)為查詢表28。這樣，通過形變修正以及平行化，能夠進行高效的視差的搜索。
[0051] 圖5(a)是表示平行化后的右照相機11的圖像數(shù)據(jù)和左照相機12的圖像數(shù)據(jù)的 一個例子的圖。在本實施方式中，作為道路坐標(biāo)系，將車寬度方向作為X軸、將車高方向作 為Y軸、以及將行進方向作為Z軸。坐標(biāo)P (x，y，z)分別反映于左照相機12的像素Pl和右 照相機11的像素Pr。關(guān)于它們的對應(yīng)將后述。
[0052] 〔邊緣提取〕
[0053] 在檢測視差時，搜索像素Pr與像素Pl對應(yīng)的情況。由于可知2個圖像被平行化， 所以白線檢測裝置1〇〇只要僅與水平方向平行地搜索圖像數(shù)據(jù)即可。
[0054] 此外，視差搜索也可以針對形變修正/平行化部22平行化后的左右的圖像數(shù)據(jù)進 行，但通過在進行邊緣增強處理后進行視差搜索，使得搜索變?nèi)菀?。鑒于此，邊緣提取部23 從左右的圖像提取邊緣。已知有各種邊緣提取的過濾器，例如使用sobel過濾器。
[0055] 圖5(b)是表示過濾處理的一個例子的圖。圖5(b)的上段是右照相機11的圖像， 圖5(b)的下段是左照相機12的圖像。分別圖示了根據(jù)亮度圖像生成的邊緣圖像。亮度圖 像中拍攝有白線、護欄、以及樹木等，但通過過濾處理，右照相機11和左照相機12的邊緣圖 像成為白線、護欄或者樹木的端部被強調(diào)了（圖中以白色像素所示）的圖像。
[0056] 〔視差的檢測〕
[0057] 圖6(a)是說明視差的搜索的圖的一個例子。這里，著眼于左圖像數(shù)據(jù)的像素，從 右圖像數(shù)據(jù)中確定與左圖像數(shù)據(jù)一致（相關(guān)性最高或者具有一定以上的相關(guān)性）的區(qū)域。 視差計算部27按包含所關(guān)注的像素的每一個區(qū)域（以下稱為"窗口"）計算SAD(Sum of Absolute Difference:絕對差和）或者 SSD (Sum of Squared Differences:差平方和）。 SAD是每個像素的像素值之差的絕對值的合計，SSD是每個像素的像素值之差的平方和。都 意味著越小則窗口中包含的圖像的一致度越高。
[0058] 如圖所示，在著眼于（u，V)像素的情況下，生成以（u，V)像素為中心的矩形的窗 口，也根據(jù)右圖像生成以（u，V)像素為中心的窗口。若在左圖像的窗口和右圖像的窗口計 算出SAD或者SSD，則視差計算部27反復(fù)進行使右圖像的整個窗口向右錯移1個像素（像 點）并計算SAD或者SSD的處理。即，由于被平行化，所以在右圖像中可以不使窗口向V軸 方向移動，只要向U方向逐個像素錯移即可。
[0059] 圖6(b)表示U方向的錯移量（視差）與SAD的關(guān)系的一個例子。相對于錯移量， SAD表示極小值。表示極小值的像素的錯移量是左圖像中關(guān)注的像素（u，v)中的視差。
[0060] U方向的搜索范圍被預(yù)先決定。但是，視差計算部27也可以對于右圖像的U方向 的所有像素計算SAD或者SSD，還可以在不規(guī)定搜索范圍而SAD或者SSD表示閾值以下的極 小值的情況下，對SAD或者SSD的計算進行舍位。前者能夠計算出最正確的視差，后者能夠 高效地計算出一定程度正確的視差。
[0061] 此外，也可以如上述那樣根據(jù)亮度圖像來求出視差。另外，也可以根據(jù)邊緣圖像和 亮度圖像雙方來求出視差。在使用了邊緣圖像和亮度圖像雙方的情況下，將SAD或者SSD為 極小的像素的錯移量的平均作為視差，或者對邊緣圖像和亮度圖像進行加權(quán)來決定視差。 這樣一來，能夠更正確地求出視差。
[0062] 除了像素單位的整數(shù)視差之外，視差計算部27還計算子像素視差。子像素視差的 求取方法已知有等距擬合、拋物線擬合等。
[0063] 若如此以像素單位求出視差，則能夠以像素單位計算出到像素所反映的物體的距 離。
[0064] 距離=(f Xm) An Xd)
[0065] f?是透鏡的焦距，m是基線長，n是視差（像素數(shù)），d是拍攝元件的像素間距。
[0066]〔白線檢測〕
[0067] 白線檢測部24根據(jù)右照相機11或者左照相機12拍攝到的圖像來檢測白線。根 據(jù)哪個圖像來檢測白線如以下那樣設(shè)定。
[0068] (i)在白線檢測裝置100啟動之后（初始設(shè)定），立即將右照相機11的圖像作為 白線檢測用的圖像的情況下，
[0069] ?根據(jù)試車道路參數(shù)檢測出直線或者右轉(zhuǎn)彎的情況：右照相機11
[0070] ?根據(jù)試車道路參數(shù)檢測出左轉(zhuǎn)彎的情況：左照相機12
[0071] 然后，在根據(jù)試車道路參數(shù)未檢測出左轉(zhuǎn)彎的情況下，既可以返回為右照相機11 也可以保持為左照相機12。
[0072] (ii)在白線檢測裝置100啟動之后（初始設(shè)定），立即將左照相機12的圖像作為 白線檢測用的圖像的情況下，
[0073] ?根據(jù)試車道路參數(shù)檢測出直線或者左轉(zhuǎn)彎的情況：左照相機12
[0074] ?根據(jù)試車道路參數(shù)檢測出右轉(zhuǎn)彎的情況：右照相機11
[0075] 然后，在根據(jù)試車道路參數(shù)未檢測出右轉(zhuǎn)彎的情況下，既可以返回為左照相機12 也可以保持為右照相機11。
[0076] 圖7是說明白線檢測中的坐標(biāo)系的圖的一個例子。在本實施方式中，使用上述的 X、Y、Z方向的道路坐標(biāo)系、和對圖像數(shù)據(jù)的平面坐標(biāo)進行指定的平面坐標(biāo)系。例如，將左照 相機12的透鏡的中心作為原點，將從左向右的水平方向作為X軸，將車輛的高度方向作為 Y軸，將車輛的行進方向作為Z軸。平面坐標(biāo)系是原點位于道路坐標(biāo)系的Z軸上，并具有與 X軸平行的U軸、與Y軸平行的V軸的坐標(biāo)系。
[0077] 若將焦距由f表示，坐標(biāo)由小寫字母x、y、z表示，則道路坐標(biāo)系和平面坐標(biāo)系的變 換公式如以下那樣。其中，假定到物體的距離z比焦距f?大到能夠忽略的程度。
[0078] V = -(y/z) ? f
[0079] u = (x/z) ? f
[0080] 由于立體相機的高度是固定的，所以到標(biāo)示有白線的路面的高度也可視為一定， 能夠根據(jù)平面坐標(biāo)的V求出道路坐標(biāo)系的Z。另外，根據(jù)V求出的Z中的X能夠使用平面坐 標(biāo)系的U來計算。
[0081] 另外，由于即使對于白線檢測只使用一個圖像，也能夠通過立體相機求出各像素 的距離信息Z，所以如果按每個像素使用已知的z，則能夠唯一地求出x、y。
[0082] 此外，在本實施方式中，右照相機11或者左照相機12的哪一個都有可能被用于白 線檢測。因此，例如在以右照相機11或者左照相機12為基準(zhǔn)將道路坐標(biāo)系和平面坐標(biāo)系 建立關(guān)聯(lián)，并將不是基準(zhǔn)的一方的照相機的圖像作為白線檢測的對象的情況下，將道路坐 標(biāo)系的X坐標(biāo)修正基線長。即，在將左照相機12作為基準(zhǔn)的情況下，當(dāng)將右照相機11的圖 像作為白線檢測的對象時，X = X+基線長。這樣一來，即使切換白線檢測用的照相機，也能 夠抑制道路形狀產(chǎn)生偏差。
[0083] 圖8是示意性地說明白線的檢測的圖的一個例子。在圖8(a)中，示意性地表示了 圖像數(shù)據(jù)（平面坐標(biāo)系的白線）。白線檢測部24確定邊緣提取部23提取出的邊緣中邊緣 強度為閾值以上的像素。在圖8(a)中，在左右的白線的各個中求出從道路的亮度變化至白 線的亮度的邊緣、和從白線的亮度變化至道路的亮度的邊緣。此外，推斷為在道路的中央沒 有白線，可以將白線的檢測區(qū)域分別限制為圖像的右側(cè)的一部分和左側(cè)的一部分。由此，能 夠降低照相機計算機13的處理負(fù)載。
[0084] 白線檢測部24從畫面的下方向上方搜索邊緣強度為閾值以上的像素。由于即使 白線是直線，在圖像中也被拍攝成"八"字狀（下方的間隔寬，上方的間隔窄的2根直線狀）， 所以延長在此之前搜索到的多個邊緣來反復(fù)搜索。如果存在白線，則在左右的白線的各個 中沿畫面的從下至上方向得到邊緣。如果實線的白線被良好地拍攝，則該邊緣被連續(xù)地檢 測，如果是點、斷續(xù)線，則該邊緣被隔著間隔檢測出。
[0085] 白線檢測部24通過判斷是否近似連續(xù)地檢測出邊緣，或者在未連續(xù)地檢測出的 情況下邊緣的間隔是否是等間隔等，來判斷邊緣是否能夠推斷為白線的一部分。在判定為 邊緣是白線的一部分的情況下，將左右各自的2根邊緣線的寬度與一般的白線的寬度比較 等來刪除不是白線的邊緣，由此在左右分別檢測白線。此外，不一定限制為在左右有白線， 也存在只在一邊檢測出白線的情況。
[0086] 白線檢測部24使用道路坐標(biāo)系與平面坐標(biāo)系的對應(yīng)式，將邊緣繪制到XZ平面 (在實際的處理中無需繪制，是為了容易說明的處理）。圖8(b)是示意性地表示被變換為 XZ平面的坐標(biāo)（x，z)的邊緣的圖的一個例子。"X"相當(dāng)于邊緣。此外，在圖8(a)中，在1 根白線的兩端分別檢測出邊緣，但存在近似于道路模型的邊緣為一個時近似精度較好的情 況。該情況下，白線檢測部24計算出1根白線的內(nèi)側(cè)、外側(cè)、或者X方向的2個邊緣的中點 等，并繪制到XZ平面。
[0087] 〔試車道路參數(shù)的推斷〕
[0088] 試車道路參數(shù)推斷部25根據(jù)圖8 (b)的邊緣來推斷試車道路參數(shù)。試車道路參數(shù) 的推斷有幾個方法。有使用道路模型公式并代入多個邊緣線的坐標(biāo)，通過最小二乘法確定 出道路模型的系數(shù)的方法；使用卡爾曼濾波器、微粒濾波器等最優(yōu)值推斷方法來推斷試車 道路參數(shù)的方法。
[0089] 作為道路模型的一個例子，例如如以下那樣定義。
[0090] X = X0+ 0 X z+0. 5 X c X Z2…（1)
[0091] 對Xtl而言，在求取右側(cè)的白線的試車道路參數(shù)的情況下，是從XZ平面的原點到右 側(cè)的白線的距離Xot，在求取左側(cè)的白線的試車道路參數(shù)的情況下，是從XZ平面的原點到左 側(cè)的白線的距離Xtjlt5 0是右照相機11或者左照相機12的光軸與白線方向所成的角（車 輛的橫擺角）。9相對于正面方向使右朝向為正。C是道路的曲率。C根據(jù)XZ平面的定義 以左轉(zhuǎn)彎為負(fù)，以右轉(zhuǎn)彎為正。根據(jù)公式（1)，以Xtl為起點，修正因橫擺角引起的偏移（車 輛具有朝右的橫擺的情況下，由于白線向左方向傾斜而被拍攝所以修正其相應(yīng)量），通過Z 的平方使曲率C發(fā)揮作用。
[0092] 試車道路參數(shù)推斷部25將XZ平面的邊緣線的坐標(biāo)（x，z)代入公式（1)，用最小二 乘法求出e和c。由此，能夠求出試車道路參數(shù)中的橫擺角e和道路的曲率c(半徑R)。 另外，道路的車道寬度W既可以根據(jù)XOT+X()1來求出，也可以根據(jù)任意的z坐標(biāo)處的白線的x 值來求出。車道的本車輛的位置例如能夠?qū)④嚨赖闹醒胛恢米鳛榱悖ɑ鶞?zhǔn)），由W/2 - x" 表示（在使右側(cè)為正的情況下）。
[0093] 其中，作為表示道路模型的公式，有回旋曲線模型、B-樣條模型等各種公式。在本 實施方式中也能夠應(yīng)用這些公式，但只要使用能夠分辨是右轉(zhuǎn)彎還是左轉(zhuǎn)彎的道路模型即 可。
[0094] 〔白線檢測用的圖像的切換〕
[0095] 在求出了試車道路參數(shù)的情況下，處理圖像切換部26根據(jù)道路曲率來判定是右 轉(zhuǎn)彎還是左轉(zhuǎn)彎，如果需要切換，則對白線檢測部24指示白線檢測所使用的圖像。
[0096] 例如，在白線檢測部24將右照相機11的圖像用于白線檢測的情況下，處理圖像切 換部26判定以下的條件是否成立。在曲率的絕對值比零大的情況下，可推斷為正轉(zhuǎn)彎。
[0097] a.檢測出左轉(zhuǎn)彎
[0098] b.左轉(zhuǎn)彎的曲率的絕對值為閾值1以上
[0099] 通過b的條件包含閾值1，如果是緩慢的左轉(zhuǎn)彎，則無需切換白線檢測用的照相 機。由于在試車道路參數(shù)推斷部25例如利用卡爾曼濾波器等求取試車道路參數(shù)的情況下， 到能夠穩(wěn)定地推斷出試車道路參數(shù)為止需要幾幀的圖像數(shù)據(jù)，所以通過不切換白線檢測用 的照相機，能夠繼續(xù)穩(wěn)定的試車道路參數(shù)的檢測。
[0100] 在上述的條件成立，白線檢測部24將左照相機12的圖像用于白線檢測的情況下， 處理圖像切換部26判定以下的條件是否成立。
[0101] C.檢測出右轉(zhuǎn)彎
[0102] d.右轉(zhuǎn)彎的曲率的絕對值為閾值1以上
[0103] 根據(jù)以上的a?d那樣的條件，在切換為左照相機12后，左照相機12的圖像容易 被繼續(xù)使用于白線檢測。再次切換到右照相機11后，右照相機11的圖像容易被繼續(xù)使用 于白線檢測。因此，能夠防止白線檢測用的照相機頻繁地切換。
[0104] 閾值1可以固定，但根據(jù)車速為可變也是有效的。由于在車速大的情況下，與慢的 情況相比更早地接近轉(zhuǎn)彎，所以在白線檢測裝置100中預(yù)先設(shè)定有車速越大則越小的閾值 1。因此，在車速大的情況下，能夠提前切換白線檢測用的圖像。
[0105] 另外，在由制造商等判斷為優(yōu)選白線檢測部24將右照相機11的圖像優(yōu)先使用于 白線檢測的情況下，可以忽略d條件（或者使閾值1更小），僅通過"c.檢測出直線或者右 轉(zhuǎn)彎"成立，就將右照相機11的圖像切換為白線檢測用。a、b條件保持原樣。由此，例如在 因左側(cè)的白線不是實線而為點線、斷續(xù)線、或者較細(xì)等理由而檢測比較困難的國家或地域， 能夠基于b的條件將右照相機11的圖像優(yōu)先用于白線檢測用。
[0106] 相反，在由制造商等判斷為優(yōu)選將左照相機12的圖像優(yōu)先用于白線檢測的情況 下，ab和cd的條件相反。即，忽略b條件，僅通過"a.檢測出直線或者左轉(zhuǎn)彎"成立，就將 左照相機12的圖像切換為白線檢測用。
[0107] 另外，如果本車輛的左右有白線則白線檢測部24檢測兩方的白線，但在左右的白 線均沒有的情況下，將無法檢測的左右的白線的識別信息通知到處理圖像切換部26。該情 況下，若即使檢測出左轉(zhuǎn)彎也檢測不到左白線，則處理圖像切換部26不對白線檢測部24指 示向左照相機12的切換。同樣，若即使檢測出右轉(zhuǎn)彎也檢測不到右白線，則處理圖像切換 部26不對白線檢測部24指示向右照相機11的切換。這樣一來，能夠防止在左或者右的白 線在合流車道等被切斷、或者雨天難以檢測白線、或者白線由于劣化而難以檢測、或者其他 車輛停車這樣的狀況下，切換白線檢測用的照相機。
[0108] 其中，在未檢測出左右的白線雙方的情況下，處理圖像切換部26不判定是否切換 白線檢測用的照相機。
[0109] 〔動作步驟〕
[0110] 圖9是表示白線檢測裝置100檢測白線，并切換白線檢測用的照相機的步驟的流 程圖的一個例子。
[0111] 立體圖像獲取部21獲取立體相機的右照相機11和左照相機12幾乎同時拍攝到 的圖像（SlO)。此外，立體相機也可以具有3個以上照相機。該情況下，白線檢測裝置100 確定3個照相機中白線被良好檢測出的圖像，計算出視差，或者推斷試車道路參數(shù)。
[0112] 形變修正/平行化部22例如使用查詢表28,來對右照相機11的圖像以及左照相 機12的圖像實施形變修正、以及平行化處理（S20)。
[0113] 接下來，邊緣提取部23對右照相機11的圖像和左照相機12的圖像分別實施邊緣 的提取處理，白線檢測部24根據(jù)右照相機11的圖像或者左照相機12的圖像的任意一個來 檢測白線（S30)。此外，無需禁止從左照相機12的圖像以及右照相機11的圖像雙方來檢測 白線，可以根據(jù)雙方的圖像來檢測白線，并根據(jù)白線檢測被良好進行的一方的圖像來推斷 試車道路參數(shù)。白線檢測被良好進行的圖像例如是邊緣數(shù)多的一方的圖像、將邊緣變換為 V軸方向的線時進行了插補的距離短的圖像等。
[0114] 接下來，試車道路參數(shù)推斷部25根據(jù)檢測出的白線的邊緣來推斷試車道路參數(shù) (S40)。
[0115] 處理圖像切換部26判斷前方的道路是否向右還是向左轉(zhuǎn)彎，從下一個圖像開始 切換白線檢測用的圖像（S50)。即，在右照相機11的圖像是白線檢測用的圖像的情況下，若 檢測出左轉(zhuǎn)彎，則將左照相機12的圖像切換為白線檢測用的圖像。
[0116] 此外，除了試車道路參數(shù)以外，也可以將駕駛員的轉(zhuǎn)向方向、轉(zhuǎn)向速度、以及橫擺 率的一個以上追加至道路的轉(zhuǎn)彎方向的判定。在駕駛員使方向盤沿道路轉(zhuǎn)向的情況下，緩 慢地開始轉(zhuǎn)向并沿回旋曲線使轉(zhuǎn)向速度慢慢增大。因此，當(dāng)轉(zhuǎn)向速度在一樣的轉(zhuǎn)向方向緩 緩變大時，能夠推斷為前方向轉(zhuǎn)向方向轉(zhuǎn)彎。另外，除了駕駛員的轉(zhuǎn)向以外，通過LKA等工 作的情況下的電動助力轉(zhuǎn)向裝置的轉(zhuǎn)向角等車輛本身的轉(zhuǎn)向角也能夠推斷轉(zhuǎn)彎方向。
[0117] 如以上說明那樣，本實施例的白線檢測裝置100通過根據(jù)道路形狀來切換白線檢 測用的圖像，即使道路轉(zhuǎn)彎也能夠拍攝更遠(yuǎn)方的白線，能夠檢測遠(yuǎn)方的白線。由于能夠檢測 遠(yuǎn)方的白線，所以還可使試車道路參數(shù)的精度提高。
[0118] 實施例2
[0119] 在實施例1中，根據(jù)試車道路參數(shù)來判斷轉(zhuǎn)彎的有無和轉(zhuǎn)彎方向，但本實施例中， 對根據(jù)白線長度來判定轉(zhuǎn)彎的有無和轉(zhuǎn)彎方向的白線檢測裝置100進行說明。
[0120] 在道路轉(zhuǎn)彎的情況下，左右的白線中的外側(cè)的白線比內(nèi)側(cè)的白線長。
[0121] 圖10是外側(cè)和內(nèi)側(cè)的白線的長度進行比較的圖的一個例子。將內(nèi)周的圓的半徑 作為r，預(yù)計圓弧的規(guī)定的角度為4)。內(nèi)周的圓弧的長度為r4)，夕卜周的圓弧的長度為（r+W) 小。因此，在道路轉(zhuǎn)彎的情況下，設(shè)想為外側(cè)的白線的長度長1小。從而，如果比較左右的白 線的長度，則能夠推斷轉(zhuǎn)彎方向。
[0122] 圖11表示照相機計算機13的功能框圖的一個例子。在圖11中，對與圖4不同的 功能中的主要功能進行說明。本實施例的照相機計算機13具有白線長度計算部29。
[0123] 白線長度計算部29從Z方向的最初的邊緣到最后的邊緣搜索如圖8 (b)那樣被變 換為XZ平面的邊緣位置，計算出相當(dāng)于白線的部分的長度。即，沿從下到上的方向一邊增 大Z坐標(biāo)一邊檢測作為白線而檢測出的邊緣，計算出邊緣間的距離。然后，合計各邊緣間的 距離。通過對于左右的白線進行該處理，能夠求出左右的白線的長度。
[0124] 也能夠不如此計算邊緣間的距離并合計，而利用實施例1的道路模型來求出白線 的長度。在根據(jù)道路模型和邊緣的坐標(biāo)知曉試車道路參數(shù)的情況下，由于道路形狀由（1) 式那樣的函數(shù)表示，所以可根據(jù)下式求出白線的長度。其中，積分范圍從Z方向的最初的邊 緣到最后的邊緣為止。

【權(quán)利要求】
1. 一種車道劃分標(biāo)示檢測裝置，其中，具有： 多個拍攝單元，拍攝對本車輛行駛的車道進行劃分的車道劃分標(biāo)示； 車道劃分標(biāo)示檢測單元，根據(jù)由多個所述拍攝單元分別生成的圖像數(shù)據(jù)中的至少一個 圖像數(shù)據(jù)來檢測車道劃分標(biāo)示； 道路形狀推斷單元，根據(jù)所述車道劃分標(biāo)示檢測單元檢測到的車道劃分標(biāo)示來推斷道 路形狀；以及 圖像數(shù)據(jù)決定單元，根據(jù)所述道路形狀推斷單元推斷出的道路形狀，來決定所述車道 劃分標(biāo)示檢測單元為了檢測車道劃分標(biāo)示而使用的圖像數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的車道劃分標(biāo)示檢測裝置，其特征在于， 所述圖像數(shù)據(jù)決定單元在所述道路形狀推斷單元推斷出的道路形狀表示前方的道路 彎曲的情況下，將沿車寬度方向分離地搭載于車輛的多個所述拍攝單元中最接近彎曲方向 的所述拍攝單元生成的圖像數(shù)據(jù)決定為所述車道劃分標(biāo)示檢測單元為了檢測車道劃分標(biāo) 示而使用的圖像數(shù)據(jù)。
3. 根據(jù)權(quán)利要求2所述的車道劃分標(biāo)示檢測裝置，其特征在于， 所述道路形狀推斷單元推斷道路的曲率作為道路形狀， 所述圖像數(shù)據(jù)決定單元在道路的所述曲率為閾值以上的情況下，將多個所述拍攝單元 中最接近彎曲方向的所述拍攝單元生成的圖像數(shù)據(jù)決定為所述車道劃分標(biāo)示檢測單元為 了檢測車道劃分標(biāo)示而使用的圖像數(shù)據(jù)。
4. 根據(jù)權(quán)利要求2所述的車道劃分標(biāo)示檢測裝置，其特征在于， 所述道路形狀推斷單元推斷道路的曲率作為道路形狀， 預(yù)先決定了由多個所述拍攝單元分別生成的多個圖像數(shù)據(jù)中、所述車道劃分標(biāo)示檢測 單元為了檢測車道劃分標(biāo)示而優(yōu)先使用的圖像數(shù)據(jù)， 在所述車道劃分標(biāo)示檢測單元根據(jù)優(yōu)先使用的圖像數(shù)據(jù)檢測車道劃分標(biāo)示的情況下， 所述圖像數(shù)據(jù)決定單元在道路的所述曲率為閾值以上的情況下，將多個所述拍攝單元中最 接近彎曲方向的所述拍攝單元生成的圖像數(shù)據(jù)決定為所述車道劃分標(biāo)示檢測單元為了檢 測車道劃分標(biāo)示而使用的圖像數(shù)據(jù)， 在所述車道劃分標(biāo)示檢測單元根據(jù)不是優(yōu)先使用的圖像數(shù)據(jù)的圖像數(shù)據(jù)檢測車道劃 分標(biāo)示的情況下，當(dāng)?shù)缆返乃銮市〉娇梢暈橹本€道路程度時，將所述車道劃分標(biāo)示檢 測單元優(yōu)先使用的圖像數(shù)據(jù)決定為檢測車道劃分標(biāo)示的圖像數(shù)據(jù)。
5. 根據(jù)權(quán)利要求1?4中任意一項所述的車道劃分標(biāo)示檢測裝置，其特征在于， 所述圖像數(shù)據(jù)決定單元除了根據(jù)車道劃分標(biāo)示檢測單元檢測出的車道劃分標(biāo)示來推 斷道路形狀之外，還根據(jù)車輛的轉(zhuǎn)向角來推斷所述道路形狀。
6. 根據(jù)權(quán)利要求1所述的車道劃分標(biāo)示檢測裝置，其特征在于， 所述車道劃分標(biāo)示檢測裝置具有計算所述車道劃分標(biāo)示檢測單元檢測出的車道劃分 標(biāo)示的長度的長度計算單元， 所述圖像數(shù)據(jù)決定單元根據(jù)所述長度計算單元計算出的本車輛的左右的車道劃分標(biāo) 示的長度的比較結(jié)果來推斷道路形狀。
7. 根據(jù)權(quán)利要求1所述的車道劃分標(biāo)示檢測裝置，其特征在于， 所述道路形狀推斷單元推斷道路的寬度、所述寬度方向的本車輛的位置、以及相對于 車道劃分標(biāo)示的橫擺角。
8. -種駕駛輔助系統(tǒng)，是車道劃分標(biāo)示檢測裝置和駕駛輔助裝置經(jīng)由車載網(wǎng)絡(luò)連接而 成的駕駛輔助系統(tǒng)，其特征在于， 所述車道劃分標(biāo)示檢測裝置具有： 多個拍攝單元，拍攝對本車輛行駛的車道進行劃分的車道劃分標(biāo)示； 車道劃分標(biāo)示檢測單元，根據(jù)由多個所述拍攝單元分別生成的圖像數(shù)據(jù)中的至少一個 圖像數(shù)據(jù)來檢測車道劃分標(biāo)示； 道路形狀推斷單元，根據(jù)所述車道劃分標(biāo)示檢測單元檢測出的車道劃分標(biāo)示來推斷道 路形狀；以及 圖像數(shù)據(jù)決定單元，根據(jù)所述道路形狀推斷單元推斷出的道路形狀，來決定所述車道 劃分標(biāo)示檢測單元為了檢測車道劃分標(biāo)示而使用的圖像數(shù)據(jù)， 所述駕駛輔助裝置根據(jù)所述道路形狀推斷單元推斷出的道路的寬度、所述寬度方向的 本車輛的位置、以及相對于車道劃分標(biāo)示的橫擺角，來進行本車輛的防止脫離車道輔助。
【文檔編號】B60R21/00GK104335264SQ201280073463
【公開日】2015年2月4日 申請日期:2012年6月14日 優(yōu)先權(quán)日:2012年6月14日
【發(fā)明者】竹前嘉修 申請人:豐田自動車株式會社