物體識別裝置和使用該物體識別裝置的車輛行駛控制裝置的制作方法

文檔序號：12288411閱讀：308來源：國知局

本發(fā)明涉及物體識別裝置和使用該物體識別裝置的車輛行駛控制裝置，特別涉及識別存在于本車輛的包括斜后方的后方的物體的位置而控制本車輛的行駛的車輛行駛控制裝置。

背景技術：

以往，作為檢測存在于本車輛的后方的物體的位置的技術，已知例如專利文獻1中公開的現(xiàn)有技術。

專利文獻1中公開一種物體位置檢測裝置，具備：存儲單元，其存儲在道路上行駛的本車輛的行駛位置；檢測單元，其檢測存在于上述本車輛的后方的后方物體的位置；以及推定單元，其根據上述存儲單元中存儲的上述本車輛的過去的行駛位置與通過上述檢測單元檢測到的上述后方物體的位置的相對位置關系來推定上述后方物體所處的車道，上述推定單元基于根據上述本車輛的過去的行駛位置求出的行駛軌跡與上述后方物體的位置的距離來推定上述后方物體所處的車道。

現(xiàn)有技術文獻

專利文獻

專利文獻1：日本特開2010-127908號公報

技術實現(xiàn)要素：

發(fā)明要解決的技術問題

但是，在某個車道上行駛的車輛的駕駛員例如在超過在前方行駛的車輛時，或者為左右轉等作準備，有時進行車道變更，這樣在本車輛變更了車道的情況等下，本車輛的行駛位置跨過車道而被存儲。

在專利文獻1中公開的物體位置檢測裝置中，基于根據本車輛的過去的行駛位置求出的行駛軌跡與后方物體的位置的距離來推定后方物體所處的車道，所以如上所述，在本車輛變更車道并且本車輛的過去的行駛位置跨過車道而被存儲的情況下，如圖20所示，無法準確掌握本車輛行駛的車道、后方物體所處的車道，例如有可能對駕駛本車輛的駕駛員發(fā)出錯誤的警報。另外，在專利文獻1中公開的物體位置檢測裝置中，在本車輛在轉彎的車道上行駛時，有時也無法準確掌握本車輛行駛的車道、后方物體所處的車道，如上所述，例如有可能對駕駛本車輛的駕駛員發(fā)出錯誤的警報。

另外，在專利文獻1中公開的物體位置檢測裝置中，作為檢測存在于本車輛的后方的后方物體的位置的檢測單元而使用毫米波雷達，但例如在本車輛在連續(xù)敷設有導軌的道路上行駛的情況下，也存在如下問題：從毫米波雷達等電波雷達輸出的信號被該導軌反射，無法準確推定后方物體的位置，進而無法準確推定后方物體所處的車道。

本發(fā)明是鑒于上述問題而完成的，其目的在于，提供一種能夠精確地識別存在于本車輛的包括斜后方的后方的物體的位置的物體識別裝置和使用該物體識別裝置的車輛行駛控制裝置。

解決技術問題的技術手段

為上解決上述課題，本發(fā)明涉及一種物體識別裝置，其識別存在于本車輛后方的物體的位置，所述物體識別裝置具備：攝像部，其對本車輛前方或者后方的環(huán)境進行攝像；車道探測部，其基于由所述攝像部攝像得到的圖像，探測本車輛前方或者后方的車道；車道位置推定部，其根據由所述車道探測部探測出的車道和本車輛的行駛歷史，推定本車輛后方的車道的位置；后方物體探測部，其探測存在于本車輛后方的物體；以及相對位置運算部，其計算由所述后方物體探測部探測出的物體相對于由所述車道位置推定部推定出的車道的位置的相對位置。

另外，本發(fā)明涉及一種物體識別裝置，其識別存在于本車輛后方的物體的位置，所述物體識別裝置具備：攝像部，其對本車輛前方或者后方的環(huán)境進行攝像；立體物探測部，其基于由所述攝像部攝像得到的圖像，探測本車輛前方或者后方的靜止立體物；立體物位置推定部，其根據由所述立體物探測部探測出的靜止立體物和本車輛的行駛歷史，推定本車輛后方的靜止立體物的位置；后方物體探測部，其探測存在于本車輛后方的物體；以及相對位置運算部，其計算由所述后方物體探測部探測出的物體相對于由所述立體物位置推定部推定出的靜止立體物的位置的相對位置。

另外，本發(fā)明涉及一種車輛行駛控制裝置，其根據通過所述物體識別裝置識別出的物體的位置，控制本車輛的行駛。

發(fā)明效果

根據本發(fā)明，基于通過對本車輛前方的環(huán)境進行攝像的攝像部進行攝像而得到的圖像，探測本車輛前方的車道或者靜止立體物，根據探測出的車道或者靜止立體物和本車輛的行駛歷史，推定本車輛后方的車道或者靜止立體物的位置，計算存在于本車輛后方的物體相對于推定出的車道或者靜止立體物的位置的相對位置，從而能夠精確地識別存在于本車輛的包括斜后方的后方的物體的位置。

上述以外的課題、構成和效果通過以下的實施方式的說明而變得明確。

附圖說明

圖1是示出使用本發(fā)明的物體識別裝置的車輛行駛控制裝置的實施方式1的構成的結構圖。

圖2是示出通過圖1所示的攝像機攝像得到的圖像的一個例子的圖。

圖3是示出車道和后側方車輛相對于本車輛的位置的一個例子的圖。

圖4是說明以本車輛作為原點的坐標系的經時變化的圖。

圖5是示出圖1所示的車道位置信息存儲部中存儲的車道位置信息的一個例子的圖。

圖6是示出車道和后側方車輛相對于本車輛的位置關系的一個例子的圖。

圖7是示出車道和后側方車輛相對于本車輛的位置關系的其他例子的圖。

圖8是說明由圖1所示的車輛行駛控制裝置進行的處理流程的流程圖。

圖9是示出使用本發(fā)明的物體識別裝置的車輛行駛控制裝置的實施方式2的構成的結構圖。

圖10是示出通過圖9所示的立體攝像機攝像得到的圖像的一個例子的圖。

圖11是示出靜止立體物和后側方車輛相對于本車輛的位置的一個例子的圖。

圖12是示出圖9所示的立體物位置信息存儲部中存儲的立體物位置信息的一個例子的圖。

圖13是示出靜止立體物和后側方車輛相對于本車輛的位置關系的一個例子的圖。

圖14是示出靜止立體物和后側方車輛相對于本車輛的位置關系的其他例子的圖

圖15是說明由圖9所示的車輛行駛控制裝置進行的處理流程的流程圖。

圖16是示出使用本發(fā)明的物體識別裝置的車輛行駛控制裝置的實施方式3的構成的結構圖。

圖17是示出通過圖16所示的攝像機攝像得到的圖像的一個例子的圖。

圖18是示出車道和后側方車輛相對于本車輛的位置的一個例子的圖。

圖19是示出圖16所示的車道位置信息存儲部中存儲的車道位置信息的一個例子的圖。

圖20是說明通過現(xiàn)有技術探測的后方物體的位置的圖。

具體實施方式

以下，參照附圖，說明本發(fā)明的實施方式。

<實施方式1>

圖1是示出使用本發(fā)明的物體識別裝置的車輛行駛控制裝置的實施方式1的構成的結構圖。

如圖所示，車輛行駛控制裝置50主要具備識別存在于本車輛后方的物體的位置的物體識別裝置20、操舵角傳感器21、橫擺率傳感器22、車輪轉速傳感器23、導航系統(tǒng)24以及根據通過物體識別裝置20識別出的物體的位置來生成控制本車輛的行駛等的各種控制信號的控制單元25。

另外，上述物體識別裝置20具有后方物體探測裝置1、車道探測裝置2和行駛歷史運算裝置3。

后方物體探測裝置1用于探測存在于本車輛的包括斜后方(以下，稱為后側方)的后方的物體(例如，移動或者停止/停駐的車輛(汽車、摩托車、自行車等)、人等)，由例如設置于本車輛的左右的后側部的多個電波雷達(后方物體探測部)7構成。該電波雷達7對本車輛后方的規(guī)定范圍發(fā)送電波，接收來自存在于該范圍的物體的反射波，從而能夠探測本車輛后方的物體的相對位置(距離、方向)以及相對于本車輛的相對速度。

具體地說，在本車輛VS中，例如如圖3所示，在左右各自的后側部搭載電波雷達7a、7b，安裝于本車輛VS的左后部的電波雷達7a將本車輛VS的左后方的區(qū)域Aa設為探測區(qū)域，安裝于本車輛VS的右后部的電波雷達7b將本車輛VS的右后方的區(qū)域Ab設為探測區(qū)域。例如，當在相對于本車輛VS的右側的鄰接車道存在目標車輛VT的情況下，電波雷達7通過各電波雷達7a、7b探測以本車輛VS的中央作為原點的坐標系X-Y中的目標車輛VT的位置(P，Q)和相對于本車輛VS的相對速度。

車道探測裝置2用于探測本車輛前方的車道(車輛行駛的車道)，包括例如配置于本車輛的擋風玻璃的中央上部而對本車輛前方的環(huán)境進行攝像的攝像機(前方攝像機)(攝像部)8以及基于由攝像機8攝像得到的圖像來探測本車輛前方的車道的車道探測部9。

攝像機8例如由CMOS攝像機構成，以具有朝向本車輛的前方且斜下方的光軸的方式安裝于本車輛，如圖2所示，遍及本車輛前方的幾十m以上的范圍地對包括道路等的周圍環(huán)境進行攝像，將攝像得到的圖像發(fā)送到車道探測部9。

車道探測部9通過基于由攝像機8攝像得到的圖像進行例如二值化處理、特征點提取處理，從該圖像選出被推測為與道路上的道路劃線(白線、黃線、虛線、Botts Dots等)相符合的像素(道路劃線候補點)，將所選出的道路劃線候補點中的連續(xù)地排列的點識別為是構成車道的道路劃線并求出其位置，將與其位置有關的信息發(fā)送到行駛歷史運算裝置3的車道位置推定部4。在圖2中，從近前側起用R1～R3表示由攝像機8攝像得到的圖像中的右側的道路劃線的位置，從近前側起用L1～L3表示左側的道路劃線的位置，在圖3中，關于圖2所示的這些道路劃線的位置，用R1：(xr_1，yr_1)、R2：(xr_2，yr_2)、R3：(xr_3，yr_3)、L1：(xl_1，yl_1)、L2：(xl_2，yl_2)、L3：(xl_3，yl_3)分別表示以本車輛的中央作為原點的從上方看去的坐標系X-Y中的位置。此外，在圖2和圖3中，示出關于右側和左側分別求出3個點的道路劃線的位置的例子，但在求出2個點以下或者4個點以上的情況、用直線、曲線來進行近似的情況下也一樣。

另外，關于識別道路劃線或者通過該道路劃線劃定的車道的方法，開發(fā)了各種方法，還能夠加入例如通過圖案匹配等方法來提取路崖、中央分隔帶的方法。另外，車道探測裝置2當然也可以與在例如車道維持輔助裝置(也稱為車道保持輔助裝置，Lane keeping assist)、車道偏離警報裝置(也稱為車道偏離警告裝置，Lane departure warning)等中使用的車道探測用的各種裝置共用。

行駛歷史運算裝置3根據從上述后方物體探測裝置1、車道探測裝置2發(fā)送的信息來計算存在于本車輛的后方的物體的位置等，將本車輛的行駛控制所需的信息輸出到控制單元25，主要包括行駛歷史運算部11、車道位置推定部4、車道位置信息存儲部10、相對位置運算部5和判斷部6。

行駛歷史運算部11根據從構成車輛行駛控制裝置50的操舵角傳感器21、橫擺率傳感器22、作為車速傳感器的車輪轉速傳感器23、導航系統(tǒng)24等得到的信息，計算本車輛的行駛歷史，將其計算結果發(fā)送到車道位置推定部4。

具體地說，如圖4所示，在將以時刻t(n)下的本車輛中央作為原點的坐標系設為X(n)-Y(n)、將以時刻t(n+1)下的本車輛中央作為原點的坐標系設為X(n+1)-Y(n+1)、將時刻t(n)下的本車輛VS的速度設為V_n、將其前進方向設為θ_n時，Δt＝(t(n+1)-t(n))期間的本車輛VS的位置的變化量(Δx，Δy)由以下的式(1)表示。

[式1]

接下來，考慮時刻t(n+1)＝t(n)+Δt時的本車輛VS的方向(朝向)。如果將通過操舵角傳感器21、橫擺率傳感器22推定的時刻t(n)下的本車輛VS的旋轉角速度設為ω_n，則時刻t(n+1)下的本車輛VS的前進方向θ_n+1通過以下的式(2)來推定。

[式2]

θ_n+1＝θ_n+ω_n·Δt…(2)

另外，以時刻t(n)下的本車輛中央作為原點的坐標系X(n)-Y(n)與以時刻t(n+1)下的本車輛中央作為原點的坐標系X(n+1)-Y(n+1)所構成的角Δθ_n用以下的式(3)表示。

[式3]

Δθ_n＝ω_n·Δt…(3)

在這里，時時刻刻的本車輛VS的速度V_n通過車輪轉速傳感器23、導航系統(tǒng)24等來求出，本車輛VS的前進方向θ_n、旋轉角速度ω_n通過操舵角傳感器21、橫擺率傳感器22、導航系統(tǒng)24等來求出。

車道位置推定部4根據上述行駛歷史運算部11中的關系式，將從車道探測裝置2輸出的車道位置信息(相當于道路劃線位置)向以該時刻下的本車輛中央作為原點的坐標系進行變換，將其變換結果存儲到車道位置信息存儲部10。關于此時的坐標系的變換，考慮將固定于地面的點P從以時刻t(n)下的本車輛中央作為原點的坐標系X(n)-Y(n)向時刻t(n+1)下的坐標系X(n+1)-Y(n+1)進行變換，如果將時刻t(n)下的坐標系中的點P的坐標設為(x(t(n))，y(t(n)))、將時刻t(n+1)下的點P的坐標設為(x(t(n+1))，y(t(n+1)))，則這些坐標的關系用以下的式(4)表示。

[式4]

這樣，車道位置推定部4根據從行駛歷史運算部11得到的信息，將過去探測出的車道位置向以該時刻下的本車輛中央作為原點的坐標系進行變換，并將其變換結果存儲到車道位置信息存儲部10。另外，與此同時，車道位置推定部4從車道探測裝置2取得當前時間點下的車道位置信息并追加存儲到車道位置信息存儲部10。

具體地說，車道位置推定部4如圖5所示，首先在時刻t(n)下，將從車道探測裝置2輸出的車道位置信息存儲到車道位置信息存儲部10。例如，如圖2和圖3所示，將根據由攝像機8攝像得到的圖像求出的右側的道路劃線的位置(即車道信息)設為以時刻t(n)下的本車輛中央作為原點的坐標系X-Y中的位置R1～R3，存儲(xr_1(t(n))，yr_1(t(n)))、(xr_2(t(n))，yr_2(t(n)))、(xr_3(t(n))，yr_3(t(n)))的坐標信息。同樣地，在圖5中雖然未記載，但將根據由攝像機8攝像得到的圖像求出的左側的道路劃線的位置(即車道信息)設為以本車輛中央作為原點的坐標系X-Y中的位置L1～L3，存儲(xl_1(t(n))，yl_1(t(n)))、(xl_2(t(n))，yl_2(t(n)))、(xl_3(t(n))，yl_3(t(n)))的坐標信息。

接下來，在時刻從t(n)前進到t(n+1)時，車道位置推定部4利用式(4)，將右側的道路劃線的位置R1～R3和左側的道路劃線的位置L1～L3變換成以時刻t(n+1)下的本車輛中央作為原點的坐標系X(n+1)-Y(n+1)中的位置信息，并存儲到車道位置信息存儲部10。

逐次進行這樣的變換，在時刻t(n+m)的時間點下，將在時刻t(n)時檢測到的右側的道路劃線的位置R1～R3至在時刻t(n+m)時檢測到的右側的道路劃線的位置Rm1～Rm3整合起來，將其坐標信息作為車道位置信息存儲到車道位置信息存儲部10(參照圖5)。同樣地，關于左側的道路劃線，也將在時刻t(n)至時刻t(n+m)期間通過車道探測裝置2檢測到的道路劃線的位置信息作為車道位置信息存儲到車道位置信息存儲部10。

此外，車道位置信息存儲部10蓄積并存儲過去的車道位置信息，但為了防止存儲容量的溢出，將經過了規(guī)定的時間以上的車道位置信息、距本車輛的距離達到規(guī)定值以上的車道位置信息從該車道位置信息存儲部10逐次刪除，這在實用上是有效的。

這樣，通過時時刻刻識別車道位置信息，使用過去的車道位置信息，能夠準確推定本車輛后方的車道位置。

相對位置運算部5計算由后方物體探測裝置1探測出的物體相對于在車道位置信息存儲部10中存儲的本車輛后方的車道的位置的相對位置。

具體地說，后方物體探測裝置1如圖6、圖7所示，在探測出目標車輛VT、并且探測出以本車輛中央作為原點的坐標系X-Y中的目標車輛VT的位置(P，Q)以及相對于本車輛VS的相對速度的情況下，相對位置運算部5從在車道位置信息存儲部10中存儲的車道位置信息選出在本車輛VS的前進方向(Y軸方向)上最近的2個點(左右的道路劃線的各2個點)。在圖6、圖7中，右側的道路劃線的位置Rn1、Rn2以及左側的道路劃線的位置Ln1、Ln2的車道位置信息為在Y軸方向上最近的點。然后，相對位置運算部5求出連接右側的道路劃線位置的2個點Rn1、Rn2的直線，求出該直線的與目標車輛VT的Y軸方向的位置相當?shù)牡胤降腦方向的距離xr_np，計算距離xr_np的值與目標車輛VT的X軸方向的值P的大小關系，將其計算結果發(fā)送到判斷部6。

判斷部6根據從相對位置運算部5發(fā)送了的大小關系，判斷由后方物體探測裝置1探測出的物體是否存在于規(guī)定的車道(例如，應該發(fā)出警告的車道)。

具體地說，例如如圖6所示，判斷部6根據從相對位置運算部5發(fā)送了的大小關系，判斷目標車輛VT存在于右側的道路劃線的內側還是存在于外側，將其判斷結果發(fā)送到控制單元25。此外，在圖6中，示出目標車輛VT的X軸方向的值P大于直至右側的道路劃線的距離xr_np的例子、即目標車輛VT存在于右側的鄰接車道的例子，通過上述運算，能夠判斷為目標車輛VT相對于本車輛VS行駛的車道而存在于右側的鄰接車道。

另一方面，在圖7中，示出目標車輛VT的X軸方向的值P小于右側的道路劃線的距離xr_np的例子，在該情況下，針對左側的道路劃線也繼續(xù)進行與上述相同的運算，從而能夠判定目標車輛VT是否存在于與本車輛VS行駛的車道相同的車道內的后方。

根據從物體識別裝置20(的行駛歷史運算裝置3的判斷部6)發(fā)送了的信息，生控制單元25成控制本車輛的行駛等的各種控制信號。

具體地說，在通過判斷部6判斷為由后方物體探測裝置1探測出的物體存在于規(guī)定的車道(例如，應該發(fā)出警告的車道)的情況下，控制單元25生成例如控制(限制)操舵的控制信號、控制本車輛的車速的控制信號、用于對駕駛員發(fā)出警告(警報、向控制面板等的警告顯示)的控制信號等，將這樣的控制信號發(fā)送到適當?shù)能囕d裝置。

如果參照圖8說明以上的由車輛行駛控制裝置50進行的一系列的處理的流程，則首先，在步驟S101中，通過物體識別裝置20的車道探測裝置2，利用基于圖2和圖3說明的方法，求出以本車輛作為原點的從上方看去的坐標系X-Y中的車道位置。

接下來，在步驟S102中，通過行駛歷史運算裝置3的車道位置推定部4，按以本車輛作為原點的坐標系將在步驟S101中求出的車道位置存儲到車道位置信息存儲部10中。

接下來，在步驟S103中，通過行駛歷史運算部11，根據從構成車輛行駛控制裝置50的操舵角傳感器21、橫擺率傳感器22、車輪轉速傳感器23、導航系統(tǒng)24等得到的信息，推定Δt秒的本車輛的移動量，使用上述式(1)至式(3)，求出以時刻t(n)下的本車輛作為原點的坐標系X(n)-Y(n)和以時刻t(n+1)下的本車輛作為原點的坐標系X(n+1)-Y(n+1)。

接下來，在步驟S104中，通過車道位置推定部4，利用上述式(4)，將過去由車道探測裝置2檢測到的車道位置信息向以當前的時刻下的本車輛作為原點的坐標系進行變換，推定本車輛后方的車道位置并存儲到車道位置信息存儲部10。

接下來，在步驟S105中，通過后方物體探測裝置1，探測包括后側方的后方的物體(目標車輛等)，求出該目標車輛的位置坐標(P，Q)等。

接下來，在步驟S106中，通過相對位置運算部5，求出在步驟S104中存儲的車道位置信息與在步驟S105中探測出的目標車輛的相對位置。更具體地說，如上所述，在后方物體探測裝置1探測出目標車輛、并且探測出以本車輛作為原點的坐標系X-Y中的目標車輛的位置(P，Q)等的情況下，從在車道位置信息存儲部10中存儲的車道位置信息選出在本車輛的前進方向(Y軸方向)上最近的2個點的車道位置信息。求出該在Y軸方向上最近的2個點的車道位置與目標車輛的X方向的距離，從而能夠推定目標車輛相對于車道的相對位置。

接下來，在步驟S107中，根據在步驟S106中求出的目標車輛相對于車道的相對位置的信息，通過判斷部6判定本車輛后方的目標車輛在哪個車道(本車輛行駛的車道、右鄰的車道、左鄰的車道或者離開2個車道以上的車道)上行駛。具體地說，判斷目標車輛是否存在于應該設為警報對象的區(qū)域(車道)，在判斷為目標車輛存在于應該設為警報對象的區(qū)域(車道)時，在步驟S108中，根據目標車輛的位置和速度(例如，目標車輛是否接近于本車輛)等信息來判斷是否應該實際輸出警報。

然后，當在步驟S108中判斷為應該實際輸出警報時，在步驟S109中，通過控制單元25生成控制信號而產生警報。

此外，每當經過ΔT秒時重復進行該一系列的處理。

這樣，在本實施方式1中，在使用毫米波雷達等電波雷達7來探測存在于本車輛的包括斜后方的后方的物體的車輛中，基于由對本車輛前方的環(huán)境進行攝像的攝像機8攝像得到的圖像，探測本車輛前方的車道，根據所探測出的車道和本車輛的行駛歷史，推定本車輛后方的車道的位置，計算存在于本車輛后方的物體相對于推定出的車道的位置的相對位置，從而在轉彎行駛時、車道變更時，也能夠精確地識別存在于本車輛的包括斜后方的后方的物體的位置、特別是該物體所處的車道。

<實施方式2>

圖9是示出使用本發(fā)明的物體識別裝置的車輛行駛控制裝置的實施方式2的構成的結構圖。

圖9所示的實施方式2的車輛行駛控制裝置50A相對于上述實施方式1的車輛行駛控制裝置50，在探測本車輛前方的靜止立體物(以下，僅稱為立體物)這一點上不同，其他構成與實施方式1的車輛行駛控制裝置50相同。因此，以下，僅詳細敘述與實施方式1的車輛行駛控制裝置50不同的構成，對與實施方式1相同的構成附加同樣的符號而省略其詳細說明。

如圖所示，車輛行駛控制裝置50A的物體識別裝置20A具有后方物體探測裝置1A、立體物探測裝置2A和行駛歷史運算裝置3A。

立體物探測裝置2A用于探測本車輛前方的立體物(例如，沿著車道敷設的導軌、壁等)，包括由例如配設于本車輛的擋風玻璃的中央上部而對本車輛前方的環(huán)境進行攝像的多個攝像機(前方攝像機)構成的立體攝像機8A、以及基于由立體攝像機8A攝像得到的多個圖像來探測本車輛前方的立體物的立體物探測部9A。

如圖10所示，構成立體攝像機8A的各攝像機對包括在前方行駛的前行車輛VP、路邊的立體物即導軌GR等的周圍環(huán)境進行攝像，將攝像得到的圖像發(fā)送到立體物探測部9A。

立體物探測部9A根據由立體攝像機8A攝像得到的左右的圖像信息，求出左右的圖像的視差，探測立體物的存在，并且計算從本車輛至立體物的距離。另外，使用所求出的距離信息，求出包括從地面起的高度信息的立體物的大小，將這些各種信息發(fā)送到行駛歷史運算裝置3A的立體物位置推定部4A。在圖10中，將從由立體攝像機8A攝像得到的圖像探測出的立體物(在這里，導軌GR)的代表點示為從近前側起的G1～G3，在圖11中，關于圖10所示的這些立體物的代表點的位置，用G1：(xg_1，yg_1，zg_1)、G2：(xg_2，yg_2，zg_2)、G3：(xg_3，yg_3，zg_3)分別表示以本車輛作為原點的3維的坐標系X-Y-Z中的位置。此外，在圖10和圖11中，示出檢測到3個點的立體物的代表點的位置的例子，但在檢測到2個點以下或者4個點以上的情況下也一樣。另外，在例如沿著車道連續(xù)地存在立體物的情況下，也可以作為坐標系的X-Y面上的直線或者曲線來進行近似。

行駛歷史運算裝置3A的行駛歷史運算部11A通過與基于實施方式1中的圖4說明的計算相同的計算，根據以時刻t(n)下的本車輛中央作為原點的坐標系X(n)-Y(n)計算以時刻t(n+1)下的本車輛作為原點的坐標系X(n+1)-Y(n+1)，并計算Δt＝(t(n+1)-t(n))期間的本車輛VS的位置的變化量(Δx，Δy)。另外，關于本車輛VS的方向的變化，也通過與按實施方式1中的式(2)等說明的步驟相同的步驟的計算來求出，將這些計算結果發(fā)送到立體物位置推定部4A。

立體物位置推定部4A根據通過行駛歷史運算部11A求出的本車輛的位置的變化量等，將從立體物探測裝置2A輸出的立體物位置信息向以該時刻下的本車輛中央作為原點的坐標系進行變換，并將其變換結果存儲到立體物位置信息存儲部10A。關于此時的坐標系的變換，X-Y坐標系的變換與實施方式1中的式(4)所示的變換相同，但在本實施方式2中，本車輛的位置等的變化是X-Y平面(在圖示例子中，水平面)內的向軸向的移動以及繞Z軸(鉛垂軸)的旋轉，所以，設為通過立體物探測裝置2A檢測到的立體物的Z方向的信息(高度)在坐標變換的前后保持相同的值。

這樣，立體物位置推定部4A根據從行駛歷史運算部11A得到的信息，將過去探測出的立體物位置向以該時刻下的本車輛中央作為原點的坐標系進行變換，并將其變換結果存儲到立體物位置信息存儲部10A。另外，與此同時，立體物位置推定部4A從立體物探測裝置2A取得當前時間點下的立體物位置信息并追加存儲到立體物位置信息存儲部10A。

具體地說，立體物位置推定部4A如圖12所示，首先在時刻t(n)下，將從立體物探測裝置2A輸出的立體物位置信息存儲到立體物位置信息存儲部10A。例如，如圖10和圖11所示，將根據由立體攝像機8A攝像得到的圖像求出的立體物的位置信息設為以時刻t(n)下的本車輛中央作為原點的坐標系X-Y-Z中的位置和高度的信息G1～G3，存儲(xg_1(t(n))，yg_1(t(n))，zg_1(t(n)))、(xg_2(t(n))，yg_2(t(n))，zg_2(t(n)))、(xr_3(t(n))，yr_3(t(n))，zg_3(t(n)))的坐標信息。

接下來，在時刻從t(n)前進到t(n+1)時，立體物位置推定部4A利用上述式(4)，將立體物的位置信息G1～G3變換成以時刻t(n+1)下的本車輛中央作為原點的坐標系X(n+1)-Y(n+1)-Z(n+1)中的位置信息，并存儲到立體物位置信息存儲部10A。

逐次進行這樣的變換，在時刻t(n+m)的時間點下，將在時刻t(n)時檢測到的立體物的位置信息G1～G3至在時刻t(n+m)時檢測到的立體物的位置信息Gm1～Gm3整合起來，將3維的坐標信息存儲到立體物位置信息存儲部10A。

此外，立體物位置信息存儲部10A蓄積并存儲過去的立體物位置信息，但為了防止存儲容量的溢出，將經過了規(guī)定的時間以上的立體物位置信息、距本車輛的距離達到規(guī)定值以上的立體物位置信息從該立體物位置信息存儲部10A逐次刪除，這在實用上是有效的。

這樣，通過時時刻刻識別立體物位置信息，使用過去的立體物位置信息，從而能夠準確推定本車輛后方的立體物的位置。

相對位置運算部5A計算由后方物體探測裝置1A探測出的物體相對于在立體物位置信息存儲部10A中存儲的本車輛后方的立體物的位置的相對位置。

具體地說，如圖13、圖14所示，后方物體探測裝置1A在探測出左后方的目標車輛VT、并且探測出以本車輛中央作為原點的坐標系的X-Y面上的目標車輛VT的位置(P2，Q2)以及相對于本車輛VS的相對速度的情況下，相對位置運算部5A從立體物位置信息存儲部10A中存儲的立體物位置信息選出在本車輛VS的前進方向(Y軸方向)上最近的2個點。在圖13中，立體物位置信息Gn1、Gn2為在Y軸方向上最近的點。然后，相對位置運算部5A求出連接立體物的2個代表點的位置Gn1、Gn2的直線，并求出該直線的與目標車輛VT的Y軸方向的位置相當?shù)牡胤降腦方向的距離xg_np，計算距離xg_np的值與目標車輛VT的X軸方向的值P2的大小關系，將其計算結果發(fā)送到判斷部6A。

判斷部6A根據從相對位置運算部5A發(fā)送了的大小關系，判斷由后方物體探測裝置1A探測出的物體是否存在于規(guī)定的區(qū)域(例如，被判斷為后方物體探測裝置1A的探測結果的可靠性低的區(qū)域，換言之，被判斷為由后方物體探測裝置1A探測出的物體是由于立體物的影響而錯誤探測出的物體的區(qū)域)。

具體地說，例如如圖13所示，判斷部6A根據從相對位置運算部5A發(fā)送了的大小關系，判斷目標車輛VT存在于立體物的內側(本車輛側)還是存在于外側(與本車輛側相反的一側)，并判斷該立體物對由電波雷達7A得到的目標車輛VT的探測結果造成的影響，將其判斷結果發(fā)送到控制單元25A。例如，在立體物的2個代表點的位置信息Gn1、Gn2中包括的高度高于電波雷達7A的安裝位置的情況下，認為從電波雷達7A輸出的電波不會到達比連接該立體物的2個代表點的線更遠的遠方。在圖13中，示出目標車輛VT的X軸方向的值P2大于Y軸至立體物的距離xg_np的例子，但在這樣的情況下，判斷為由后方物體探測裝置1A得到的目標車輛VT的探測結果的可靠性低。

另外，例如在圖14中，示出通過安裝于本車輛VS的左后部的電波雷達7aA探測目標車輛VT’，通過安裝于本車輛VS的右后部的電波雷達7bA探測目標車輛VT，通過立體物位置推定部4A得到立體物的3個代表點的位置信息Gn1、Gn2、Gn3的例子。在這樣的情況下，設想從電波雷達7A放射的電波被具有連續(xù)的形狀的立體物反射，推測為通過電波雷達7bA探測出的目標車輛VT是真的信息、但通過電波雷達7aA探測出的目標車輛VT’是電波被立體物反射而探測出錯誤的目標車輛(目標車輛VT的幻象)的信息的可能性高。因此，在這樣的情況下，也判斷為由后方物體探測裝置1A得到的目標車輛VT的探測結果的可靠性低。

此外，在圖13和圖14所示的例子中，將立體物的位置信息示為點的連續(xù)，但在例如沿著道路連續(xù)地存在立體物的情況下，也可以作為直線或者曲線來進行近似，將其信息存儲為3維的坐標系X-Y-Z中的立體物的位置信息。

控制單元25A根據從物體識別裝置20A(的行駛歷史運算裝置3A的判斷部6A)發(fā)送了的信息，生成控制本車輛的行駛等的各種控制信號。

具體地說，控制單元25A在通過判斷部6A判斷為由后方物體探測裝置1A探測出的物體存在于規(guī)定的區(qū)域(例如，被判斷為后方物體探測裝置1A的探測結果的可靠性低的區(qū)域)的情況下，判斷為例如上述實施方式1中的轉向控制(限制)、本車輛的車速控制、針對駕駛員的警告(警報、警告顯示)的必要性低，生成解除或者抑制它們的控制信號。

如果參照圖15來說明由以上的車輛行駛控制裝置50A進行的一系列的處理的流程，則首先，在步驟S201中，通過物體識別裝置20A的立體物探測裝置2A，利用基于圖10和圖11說明的方法，求出以本車輛作為原點的3維的坐標系X-Y-Z中的立體物位置。

接下來，在步驟S202中，通過行駛歷史運算裝置3A的立體物位置推定部4A，按以本車輛作為原點的坐標系將在步驟S201中求出的立體物位置存儲到立體物位置信息存儲部10A中。

接下來，在步驟S203中，通過行駛歷史運算部11A，根據從構成車輛行駛控制裝置50A的操舵角傳感器21A、橫擺率傳感器22A、車輪轉速傳感器23A、導航系統(tǒng)24A等得到的信息，推定Δt秒的本車輛的移動量。該步驟S203中的處理與圖8的步驟S103中的處理相同。

接下來，在步驟S204中，通過立體物位置推定部4A，利用上述式(4)，將過去由立體物探測裝置2A檢測到的立體物位置信息向以當前的時刻下的本車輛作為原點的坐標系進行變換，推定本車輛后方的立體物位置并存儲到立體物位置信息存儲部10A。

接下來，在步驟S205中，通過后方物體探測裝置1A，探測包括后側方的后方的物體(目標車輛等)，求出該目標車輛的位置坐標(P，Q)等。該步驟S205中的處理與圖8的步驟S105中的處理相同。

接下來，在步驟S206中，通過相對位置運算部5A，求出在步驟S204中存儲的立體物位置信息與在步驟S205中探測出的目標車輛的相對位置。更具體地說，如上所述，在后方物體探測裝置1A探測出目標車輛、并且探測出以本車輛作為原點的3維坐標系的X-Y面上的目標車輛的位置(P，Q)等的情況下，從在立體物位置信息存儲部10A中存儲的立體物位置信息選出在本車輛的前進方向(Y軸方向)上最近的2個點的立體物位置信息。通過求出這些在Y軸方向上最近的2個點的立體物的代表點的位置與目標車輛的X方向的距離，能夠推定目標車輛相對于立體物的相對位置。

接下來，在步驟S207中，判斷本車輛后方的目標車輛是否存在于應該設為警報對象的區(qū)域(車道)。通常根據目標車輛相對于本車輛存在于什么位置來進行判斷，但在取得在實施方式1中說明的車道位置信息的情況下，能夠準確判斷目標車輛在哪個車道(本車輛行駛的車道、右鄰的車道、左鄰的車道或者離開2個車道以上的車道)上行駛。

當在步驟S207中判斷為目標車輛存在于應該設為警報對象的區(qū)域(車道)時，在步驟S208中，根據在步驟S206中求出的目標車輛相對于立體物的相對位置的信息，利用基于圖13和圖14說明的方法，判斷由后方物體探測裝置1A探測出的車輛是否存在于被判斷為后方物體探測裝置1A的探測結果的可靠性低的區(qū)域，換言之，判斷由后方物體探測裝置1A探測出的車輛是否為由于立體物的影響而錯誤探測出的車輛。

當在步驟S208中判斷為由后方物體探測裝置1A探測出的車輛不是由于立體物的影響而錯誤探測出的車輛時，在步驟S209中，關于該目標車輛，根據目標車輛的位置和速度(例如，目標車輛是否接近于本車輛)等信息來判斷是否應該實際輸出警報。

然后，當在步驟S209中判斷為應該實際輸出警報時，在步驟S210中，通過控制單元25A生成控制信號而產生警報。該步驟S209、S210中的處理與圖8的步驟S108、S109中的處理相同。

此外，每當經過ΔT秒時重復進行該一系列的處理。

這樣，根據本實施方式2，在使用毫米波雷達等電波雷達7A來探測存在于本車輛的包括斜后方的后方的物體的車輛中，基于由對本車輛前方的環(huán)境進行攝像的立體攝像機8A攝像得到的多個圖像，探測本車輛前方的立體物，根據探測出的立體物和本車輛的行駛歷史，推定本車輛后方的立體物的位置，計算存在于本車輛后方的物體相對于推定出的立體物的位置的相對位置，從而能夠精確地識別存在于本車輛的包括斜后方的后方的物體的位置、特別是該物體所處的車道。

<實施方式3>

圖16是示出使用本發(fā)明的物體識別裝置的車輛行駛控制裝置的實施方式3的構成的結構圖。

圖16所示的實施方式3的車輛行駛控制裝置50B相對于上述實施方式1的車輛行駛控制裝置50，在使用對本車輛后方的環(huán)境進行攝像的攝像機來探測本車輛后方的車道這一點上不同，其他構成與實施方式1的車輛行駛控制裝置50相同。因此，以下，僅詳細敘述與實施方式1的車輛行駛控制裝置50不同的構成，對與實施方式1相同的構成附加同樣的符號而省略其詳細說明。

如圖所示，車輛行駛控制裝置50B的物體識別裝置20B與實施方式1的車輛行駛控制裝置50同樣地，具有后方物體探測裝置1B、車道探測裝置2B和行駛歷史運算裝置3B，但在該實施方式3中，車道探測裝置2B中的攝像機(攝像部)8B朝向本車輛的后方地安裝(參照圖18)。

車道探測裝置2B用于探測本車輛后方的車道(車輛行駛的車道)，包括例如配置于本車輛的后部而對本車輛后方的環(huán)境進行攝像的攝像機(后方攝像機)(攝像部)8B以及基于由攝像機8B攝像得到的圖像來探測本車輛后方的車道的車道探測部9B。

攝像機8B例如由CMOS攝像機構成，以具有朝向本車輛的后方且斜下方的光軸的方式安裝于本車輛，如圖17所示，遍及本車輛后方的約十m的范圍地對包括道路等的周圍環(huán)境進行攝像，將攝像得到的圖像發(fā)送到車道探測部9B。此外，在這里，設為攝像機8B的探測區(qū)域(攝像區(qū)域)Ac小于構成后方物體探測裝置1B的電波雷達7B(7aB、7bB)的探測區(qū)域Aa、Ab，更詳細地說，電波雷達7B(7aB、7bB)向本車輛后方的探測區(qū)域Aa、Ab大于攝像機8B向本車輛后方的探測區(qū)域(攝像區(qū)域)Ac，與攝像機8B相比，通過電波雷達7B(7aB、7bB)更能夠探測在本車輛后方(特別是，后側方)的物體(參照圖18)。

車道探測部9B通過基于由攝像機8B攝像得到的圖像進行例如二值化處理、特征點提取處理，從該圖像選出被推測為與道路上的道路劃線(白線、黃線、虛線、Botts Dots等)相符合的像素(道路劃線候補點)，將所選出的道路劃線候補點中的連續(xù)地排列的點識別為是構成車道的道路劃線并求出其位置，將與其位置有關的信息發(fā)送到行駛歷史運算裝置3B的車道位置推定部4B。在圖17中，從近前側起用Rc1、Rc2表示由攝像機8B攝像得到的圖像中的右側(向車輛的前進方向看去的右側)的道路劃線的位置，從近前側起用Lc1、Lc2表示左側(向車輛的前進方向看去的左側)的道路劃線的位置，在圖18中，關于圖17所示的這些道路劃線的位置，用Rc1：(xcr_1，ycr_1)、Rc2：(xcr_2，ycr_2)、Lc1：(xcl_1，ycl_1)、Lc2：(xcl_2，ycl_2)分別表示以本車輛的中央作為原點的從上方看去的坐標系X-Y中的位置。此外，在圖17和圖18中，示出針對右側和左側分別求出2個點的道路劃線的位置的例子，但在求出1個點或者3個點以上的情況、按直線、曲線進行近似的情況下也一樣。

另外，關于識別道路劃線或者通過該道路劃線劃定的車道的方法，開發(fā)了各種方法，還能夠加入例如通過圖案匹配等方法提取路崖、中央分隔帶的方法。另外，車道探測裝置2B當然也可以與在例如車道維持輔助裝置(也稱為車道保持輔助裝置，Lane keeping assist)、車道偏離警報裝置(也稱為車道偏離警告裝置，Lane departure warning)等中使用的車道探測用的各種裝置共用。

行駛歷史運算裝置3B的行駛歷史運算部11B通過與基于實施方式1中的圖4說明的計算相同的計算，根據以時刻t(n)下的本車輛中央作為原點的坐標系X(n)-Y(n)計算以時刻t(n+1)下的本車輛作為原點的坐標系X(n+1)-Y(n+1)，計算Δt＝(t(n+1)-t(n))期間的本車輛VS的位置的變化量(Δx，Δy)。另外，關于本車輛VS的方向的變化，也通過與按實施方式1中的式(2)等說明的步驟相同的步驟的計算來求出，將這些計算結果發(fā)送到立體物位置推定部4B。

車道位置推定部4B通過與基于實施方式1中的圖4說明的計算相同的計算，根據從行駛歷史運算部11B得到的信息，將過去探測出的車道位置向以該時刻下的本車輛中央作為原點的坐標系進行變換，將其變換結果存儲到車道位置信息存儲部10B。另外，與此同時，車道位置推定部4B從車道探測裝置2B取得當前時間點的車道位置信息并追加存儲到車道位置信息存儲部10B。

具體地說，車道位置推定部4B如圖19所示，首先，在時刻t(n)下，將從車道探測裝置2B輸出的車道位置信息存儲到車道位置信息存儲部10B。例如，如圖17和圖18所示，將從由攝像機8B攝像得到的圖像求出的右側的道路劃線的位置(即車道信息)設為以時刻t(n)下的本車輛中央作為原點的坐標系X-Y中的位置Rc1、Rc2，存儲(xcr_1(t(n))，ycr_1(t(n)))、(xcr_2(t(n))，ycr_2(t(n)))的坐標信息。同樣地，在圖19中雖然未記載，將從由攝像機8B攝像得到的圖像求出的左側的道路劃線的位置(即車道信息)設為以本車輛中央作為原點的坐標系X-Y中的位置Lc1、Lc2，存儲(xcl_1(t(n))，ycl_1(t(n)))、(xcl_2(t(n))，ycl_2(t(n)))的坐標信息。

接下來，在時刻從t(n)前進到t(n+1)時，車道位置推定部4B利用上述式(4)將右側的道路劃線的位置Rc1、Rc2和左側的道路劃線的位置Lc1、Lc2變換成以時刻t(n+1)下的本車輛中央作為原點的坐標系X(n+1)-Y(n+1)中的位置信息，并存儲到車道位置信息存儲部10B。

逐次進行這樣的變換，在時刻t(n+m)的時間點下，將在時刻t(n)時檢測到的右側的道路劃線的位置Rc1、Rc2至在時刻t(n+m)時檢測到的右側的道路劃線的位置Rcm1、Rcm2整合起來，將該坐標信息作為車道位置信息而存儲到車道位置信息存儲部10B(參照圖19)。同樣地，關于左側的道路劃線，也將在時刻t(n)至時刻t(n+m)期間通過車道探測裝置2B檢測到的道路劃線的位置信息作為車道位置信息而存儲到車道位置信息存儲部10B。

此外，車道位置信息存儲部10B蓄積并存儲過去的車道位置信息，但為了防止存儲容量的溢出，將經過了規(guī)定的時間以上的車道位置信息、距本車輛的距離達到規(guī)定值以上的車道位置信息從該車道位置信息存儲部10B逐次刪除，這在實用上是有效的。

這樣，通過時時刻刻識別車道位置信息，使用過去的車道位置信息，從而能夠準確推定本車輛后方的車道位置(比攝像機8B的探測區(qū)域(攝像區(qū)域)Ac更靠后方的車道位置)。

相對位置運算部5B和判斷部6B通過與基于實施方式1中的圖4至圖7說明的計算相同的計算，例如，判定后方的目標車輛VT是否相對于本車輛VS行駛的車道而存在于右側的鄰接車道(參照圖6)，或者目標車輛VT是否存在于與本車輛VS行駛的車道相同的車道內的后方(參照圖7)。

關于控制單元25B，也能夠通過與基于實施方式1說明的計算相同的計算，根據從物體識別裝置20B(的行駛歷史運算裝置3B的判斷部6B)發(fā)送了的信息，生成控制本車輛的行駛等的各種控制信號。

此外，由實施方式3的車輛行駛控制裝置50B進行的一系列的處理的流程與由實施方式1的車輛控制裝置50進行的一系列的處理的流程大致相同，所以，省略該詳細的說明。

這樣，在本實施方式3中，在使用例如與攝像機8B相比向本車輛后方的探測范圍更大的毫米波雷達等電波雷達7B來探測存在于本車輛的包括斜后方的后方的物體的車輛中，基于由對本車輛后方的環(huán)境進行攝像的攝像機8B攝像得到的圖像，探測本車輛后方的車道，根據所探測出的車道和本車輛的行駛歷史，推定本車輛后方(特別是，攝像機8B的探測區(qū)域(攝像區(qū)域)Ac的后方)的車道的位置，計算存在于本車輛后方的物體相對于推定出的車道的位置的相對位置，從而在轉彎行駛時、車道變更時，也能夠精確且迅速地識別存在于本車輛的包括斜后方的后方的物體的位置、特別是該物體所處的車道。

此外，在上述中，單獨說明了實施方式1、實施方式2和實施方式3，但通過將這些實施方式中的某些實施方式組合起來使用，基于由對本車輛前方或者后方的環(huán)境進行攝像的攝像機攝像得到的圖像，探測本車輛前方或者后方的車道和立體物，根據探測出的車道和立體物以及本車輛的行駛歷史，推定本車輛后方的車道和立體物的位置，計算存在于本車輛后方的物體相對于推定出的車道和立體物的位置的相對位置，從而能夠更精確地識別存在于本車輛的包括斜后方的后方的物體的位置、特別是該物體所處的車道。

另外，在上述實施方式1～3中，說明了使用車輪轉速傳感器來取得本車輛的速度信息的方式，當然也可以通過車輪轉速傳感器以外的單元或者裝置取得本車輛的速度信息。

另外，在上述實施方式2中，說明了使用由多個攝像機構成的立體攝像機來探測立體物的方式，但也可以利用單鏡頭攝像機來探測立體物。

進而，在上述實施方式3中，說明了朝向后方地安裝單鏡頭攝像機來探測本車輛后方的車道的方式，但也可以朝向后方地安裝由多個攝像機構成的立體攝像機來探測本車輛后方的車道或者立體物，根據其探測結果來推定本車輛后方(特別是，立體攝像機的探測區(qū)域(攝像區(qū)域)的后方)的車道的位置或者立體物的位置。

此外，本發(fā)明不限定于上述實施方式1～3，還包括各種變形方式。例如，為了容易理解地說明本發(fā)明而詳細說明了上述實施方式1～3，但不一定限定于具備所說明的全部結構。另外，能夠將某個實施方式的結構的一部分置換成其他實施方式的結構，另外，還能夠將其他實施方式的結構添加到某個實施方式的結構。另外，針對實施方式的結構的一部分，能夠進行其他結構的追加、刪除、置換。

另外，關于控制線、信息線，示出被認為在說明上需要的線，在產品上不一定示出全部控制線、信息線。也可以認為實際上將幾乎全部結構相互連接。

符號說明

1、1A、1B…后方物體探測裝置

2、2B…車道探測裝置

2A…立體物探測裝置

3、3A、3B…行駛歷史運算裝置

4、4B…車道位置推定部

4A…立體物位置推定部

5、5A、5B…相對位置運算部

6、6A、6B…判斷部

7、7A、7B…電波雷達(后方物體探測部)

8…前方攝像機(攝像部)