專利名稱：監(jiān)視裝置、監(jiān)視方法和監(jiān)視用程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用攝象機(jī)監(jiān)視車輛周圍的狀況，檢測(cè)接近物體的車輛用監(jiān)視技術(shù)。
背景技術(shù)：
至今，關(guān)于監(jiān)視車輛周圍的狀況，檢測(cè)接近物體的車輛用監(jiān)視裝置，使用了種種方法。
其中之一是用雷達(dá)等的障礙物傳感器?？墒沁@種方法雖然能夠確實(shí)地檢測(cè)出障礙物，但是不適合于進(jìn)行該障礙物正在接近還是正在遠(yuǎn)離這樣的復(fù)雜判斷。又，因?yàn)榻涤甑鹊挠绊懸埠艽?，檢測(cè)范圍也比較狹小，所以單獨(dú)用障礙物傳感器檢測(cè)接近物體是困難的。
另一方面，也使用了用攝象機(jī)圖象的方法。當(dāng)用該方法時(shí)，其現(xiàn)狀是不能夠得到雷達(dá)那樣的可靠性，但是因?yàn)槿菀走M(jìn)行數(shù)字化的圖象信息的加工，所以可以進(jìn)行該障礙物正在接近還是正在遠(yuǎn)離這樣的復(fù)雜判斷。又，因?yàn)闄z測(cè)范圍由攝象機(jī)的畫面視角和分辨率決定，所以能夠監(jiān)視非常廣大的區(qū)域。
作為用攝象機(jī)圖象的方法，用多個(gè)攝象機(jī)圖象的立體法和用光通量的方法是眾所周知的。立體法是利用攝象機(jī)之間的視差的方法，但是存在著因?yàn)閿z象機(jī)之間的校準(zhǔn)很復(fù)雜，需要用許多攝象機(jī)所以增加成本那樣的問(wèn)題。
例如，在專利文獻(xiàn)1(第1個(gè)已有例)中已經(jīng)揭示了用光通量的車輛用監(jiān)視裝置。即，向著車輛后方設(shè)置攝象機(jī)，在畫面內(nèi)設(shè)定在水平方向分割成的多個(gè)區(qū)域，在各個(gè)區(qū)域內(nèi)，持有所定閾值以上的大小，并且提取持有與假定接近物體時(shí)的圖象上的運(yùn)動(dòng)相同方向的光通量。而且，根據(jù)這個(gè)光通量，判別接近物體。
又，關(guān)于與曲線行進(jìn)中的對(duì)應(yīng)問(wèn)題，已經(jīng)提出了幾種方法。
例如，在專利文獻(xiàn)2(第2個(gè)已有例)中，從車輛的舵角和行進(jìn)速度求得旋轉(zhuǎn)矢量，從實(shí)際求得的光通量減去這個(gè)旋轉(zhuǎn)矢量，對(duì)光通量進(jìn)行校正。而且，在通過(guò)這個(gè)校正除去曲線的影響后，提起移動(dòng)物體。
又，在專利文獻(xiàn)3(第3個(gè)已有例)中，通過(guò)車速傳感器和偏航速率傳感器的輸出、和預(yù)先測(cè)定的圖象位置與距離的對(duì)應(yīng)關(guān)系，對(duì)光通量進(jìn)行校正，在除去曲線的影響后，提起移動(dòng)物體。
又，利用圖象內(nèi)的無(wú)限遠(yuǎn)點(diǎn)(FOE)的方法(例如參照專利文獻(xiàn)4)廣泛地用于用光通量的接近物體的檢測(cè)中，但是關(guān)于與曲線行進(jìn)對(duì)應(yīng)的方法，也已經(jīng)提出了幾個(gè)這種方法。
例如，在專利文獻(xiàn)5(第4個(gè)已有例)中，用與FOE移動(dòng)量相當(dāng)?shù)牧繉?duì)光通量進(jìn)行校正。
又，在專利文獻(xiàn)6(第5個(gè)已有例)中，將畫面分割成多個(gè)，根據(jù)由白線決定裝置求得的白線信息求得假想FOE。
又，在專利文獻(xiàn)7(第6個(gè)已有例)中，揭示了用未受到曲線影響的光通量的接近物體檢測(cè)的方法。在該方法中，用表示從圖象檢測(cè)出的移動(dòng)矢量的可靠性的矢量r1i，r2i，通過(guò)下式計(jì)算從攝象機(jī)的運(yùn)動(dòng)參數(shù)理論地計(jì)算的移動(dòng)矢量Vdi，和從圖象檢測(cè)出的移動(dòng)矢量Vi之間的差異εi2，用這個(gè)差值檢測(cè)正在移動(dòng)的物體。
εi2＝((Vdi-Vi)·r1i)2+((Vdi-Vi)·r2i)2[專利文獻(xiàn)1]第3011566號(hào)專利公報(bào)[專利文獻(xiàn)2]日本2000年公布的2000-168442號(hào)專利公報(bào)[專利文獻(xiàn)3]日本平成6年公布的6-282655號(hào)專利公報(bào)[專利文獻(xiàn)4]日本平成7年公布的7-50769號(hào)專利公報(bào)[專利文獻(xiàn)5]日本2000年公布的2000-251199號(hào)專利公報(bào) 日本2000年公布的2000-90243號(hào)專利公報(bào)[專利文獻(xiàn)7]第2882136號(hào)專利公報(bào)可是，在上述的已有技術(shù)中，存在著下列那樣的問(wèn)題。
首先，在第1個(gè)已有例中，假定自己車輛直線行進(jìn)，難以用于曲線中的情形。即，利用“假定接近物體時(shí)的圖象上的運(yùn)動(dòng)方向”，檢測(cè)接近物體，但是在沿曲線行進(jìn)時(shí)的情形中，不能夠同樣地求得這個(gè)“運(yùn)動(dòng)方向”。我們用圖34說(shuō)明這點(diǎn)。
當(dāng)攝象機(jī)向著后方時(shí)，在車輛沿曲線行進(jìn)時(shí)的情形中，拍攝圖34(a)所示的圖象。在第1個(gè)已有例中，如圖34(a)所示，在水平方向分割并設(shè)定區(qū)域L和區(qū)域R。這里，如圖34(b)所示，當(dāng)假定在接近區(qū)域L內(nèi)的區(qū)域AR1中存在接近車輛時(shí)，“假定的接近車輛的運(yùn)動(dòng)方向”如圖中箭頭所示向右下方向。另一方面，在同一區(qū)域L內(nèi)，但是在垂直方向上的位置與區(qū)域AR1不同的區(qū)域AR2中，“假定的接近車輛的運(yùn)動(dòng)方向”如圖中箭頭所示向左下方向，與區(qū)域AR1中的運(yùn)動(dòng)方向完全同。這樣，在車輛沿曲線行進(jìn)時(shí)的情形中，即便在同一區(qū)域L內(nèi)，由于這個(gè)位置“假定的接近車輛的運(yùn)動(dòng)方向”變得不同，所以，要檢測(cè)接近車輛是困難的。
又，即便在車輛沿直線道路行進(jìn)時(shí)的情形中，在畫面的上部和下部，光通量的大小顯著不同。即，在畫面上部，因?yàn)榕臄z從自己車輛遠(yuǎn)離的區(qū)域，所以能夠檢測(cè)出的光通量是非常小的。與此相反，在畫面下部，因?yàn)榕臄z與自己車輛非常接近的區(qū)域，所以能夠檢測(cè)出的光通量相對(duì)地非常大。
因此，關(guān)于畫面的上部和下部，當(dāng)用同一閾值進(jìn)行處理時(shí)，使接近車輛的檢測(cè)精度惡化的可能性很高。例如，當(dāng)將畫面上部的小的通量定為基準(zhǔn)閾值時(shí)，因?yàn)殚撝党蔀榉浅Ｐ〉闹担援?dāng)根據(jù)這個(gè)閾值進(jìn)行在畫面下部的處理時(shí)，容易出現(xiàn)噪聲。另一方面，當(dāng)將畫面下部的大的通量定為基準(zhǔn)閾值時(shí)，因?yàn)殚撝党蔀榉浅４蟮闹?，所以?dāng)根據(jù)這個(gè)閾值進(jìn)行在畫面上部的處理時(shí)，幾乎所有的光通量都比閾值小，不能夠檢測(cè)接近物體。
進(jìn)一步，在第1個(gè)已有例中，只用持有所定值以上大小的光通量，檢測(cè)接近車輛。因此，關(guān)于與自己車輛大致等速度行進(jìn)的并行的車輛，因?yàn)楣馔康拇笮〈笾聻?，所以不能夠檢測(cè)出來(lái)。
又，關(guān)于第2個(gè)已有例，由自己車輛旋轉(zhuǎn)產(chǎn)生的旋轉(zhuǎn)矢量，與來(lái)自與該旋轉(zhuǎn)矢量有關(guān)的對(duì)象點(diǎn)的攝象機(jī)的3維相對(duì)位置有關(guān)，它的大小和方向是不同的。因此，當(dāng)沒有求得在攝象機(jī)圖象上的點(diǎn)和現(xiàn)實(shí)世界3維上的點(diǎn)的對(duì)應(yīng)關(guān)系時(shí)，就不能夠推定旋轉(zhuǎn)矢量。
我們用圖35說(shuō)明這點(diǎn)。圖35是表示由攝象機(jī)2拍攝的攝象機(jī)圖象和現(xiàn)實(shí)世界中的3維坐標(biāo)的關(guān)系的圖。取攝象機(jī)圖象的水平方向?yàn)閄i軸，垂直方向?yàn)閅i軸，現(xiàn)實(shí)世界坐標(biāo)系的Xw，Yw，Zw也如圖35所示。即，平面Xw-Zw是與路面平行的平面，Xw方向是自己車輛的左右方向，Yw方向是對(duì)路面的垂直方向，Zw方向是自己車輛的前后方向。又，定義將攝象機(jī)焦點(diǎn)位置取為原點(diǎn)，攝象機(jī)的光軸方向取為Zc軸的攝象機(jī)坐標(biāo)系(Xc，Yc，Zc)。當(dāng)然，這些軸的方向不限于此。這些坐標(biāo)系具有透視投影變換(公式1)和坐標(biāo)變換(公式2)的關(guān)系。
(見說(shuō)明書的最后)[公式2]但是，f是攝象機(jī)的焦距，r是攝象機(jī)的內(nèi)部參數(shù)，是由攝象機(jī)的設(shè)置位置即現(xiàn)實(shí)世界坐標(biāo)系中的攝象機(jī)坐標(biāo)系的位置關(guān)系決定的常數(shù)，是已知的。從這個(gè)關(guān)系式，可以看到雖然與攝象機(jī)圖象上的任意點(diǎn)對(duì)應(yīng)的現(xiàn)實(shí)世界的3維坐標(biāo)系是在通過(guò)攝象機(jī)的焦點(diǎn)位置的直線上的，但是因?yàn)椴荒軌虻玫匠酥獾男畔?，所以不能夠唯一地決定它的位置。
即，如圖36所示，可以用透視投影變換(公式1)和坐標(biāo)變換(公式2)進(jìn)行從現(xiàn)實(shí)世界坐標(biāo)系到攝象機(jī)圖象上的點(diǎn)的變換，但是，相反地，不可能只用這些關(guān)系式進(jìn)行從攝象機(jī)圖象上的點(diǎn)到現(xiàn)實(shí)世界坐標(biāo)系的變換。必須在攝象機(jī)坐標(biāo)系的各個(gè)點(diǎn)上求得第2個(gè)已有例中的旋轉(zhuǎn)矢量，但是如圖36所示，如果沒有其它條件，不可能進(jìn)行這種變換。
關(guān)于第3個(gè)已有例，也與第2個(gè)已有例相同，不觸及求圖象位置和距離的對(duì)應(yīng)關(guān)系，照樣不能夠?qū)崿F(xiàn)。
又，關(guān)于第4個(gè)已有例，因?yàn)橹辉谥本€行進(jìn)時(shí)存在FOE，在曲線中原來(lái)是不存在的，所以當(dāng)用FOE校正光通量時(shí)，在不能近似直線進(jìn)行那樣的急劇的曲線中誤差變得非常大，是不實(shí)用的。
又，關(guān)于第5個(gè)已有例，當(dāng)然，不能用于沿沒有白線的道路行進(jìn)的情形。
又，關(guān)于第6個(gè)已有例，假定在圖象內(nèi)非移動(dòng)物體起支配作用，當(dāng)在攝象機(jī)近旁存在卡車那樣的大的移動(dòng)物體時(shí)，存在著不能夠進(jìn)行檢測(cè)那樣的問(wèn)題。
鑒于上述問(wèn)題，本發(fā)明，將在用光通量檢測(cè)接近物體的車輛用監(jiān)視裝置中，例如即便在曲線行進(jìn)中，也可以高精度地檢測(cè)接近物體作為課題。
為了解決上述課題，本發(fā)明用攝象機(jī)拍攝車輛周圍，從由上述攝象機(jī)拍攝的圖象求得光通量，根據(jù)該車輛的運(yùn)動(dòng)，求得作為假定背景時(shí)的上述圖象的光通量的背景通量，比較上述光通量和上述背景通量，檢測(cè)在該車輛周圍的物體的運(yùn)動(dòng)。
根據(jù)本發(fā)明，因?yàn)楸尘巴渴菍z象機(jī)圖象假定為背景時(shí)的光通量，所以通過(guò)比較這個(gè)背景通量和從攝象機(jī)圖象實(shí)際求得的光通量，能夠高精度地檢測(cè)車輛周圍的物體的運(yùn)動(dòng)。又，例如即便車輛在曲線行進(jìn)中，因?yàn)橥ㄟ^(guò)比較圖象上的各個(gè)點(diǎn)上的背景通量和光通量進(jìn)行檢測(cè)，所以也能夠正確地檢測(cè)接近物體。又，即便關(guān)于從圖象求得的光通量的大小變小那樣的并行車輛和遠(yuǎn)方的接近物體，也因?yàn)檫@個(gè)光通量與圖象上的這個(gè)點(diǎn)的背景通量具有很大的不同，所以可以容易地進(jìn)行檢測(cè)。


圖1是表示與本發(fā)明的第1實(shí)施形態(tài)有關(guān)的監(jiān)視裝置的構(gòu)成的方框圖。
圖2是用于說(shuō)明自己車輛運(yùn)動(dòng)的推定方法的圖，是用于說(shuō)明地面指令模型的概念圖。
圖3是用于說(shuō)明自己車輛運(yùn)動(dòng)的推定方法的圖，是表示2維上的車輛運(yùn)動(dòng)的概念圖。
圖4是表示背景通量推定處理的流程的操作程序圖。
圖5是用于說(shuō)明背景通量的推定方法的圖，是表示車輛旋轉(zhuǎn)時(shí)的運(yùn)動(dòng)的概念圖。
圖6是概念地表示接近物體檢測(cè)部分的構(gòu)成的方框圖。
圖7是表示通量比較部分的工作的操作程序圖。
圖8是表示除去噪聲部分的工作的操作程序圖。
圖9是用于說(shuō)明除去噪聲部分中的處理的概念圖。
圖10是用于說(shuō)明背景通量的推定方法的概念圖。
圖11是表示背景通量推定的其它例子的處理流程的操作程序圖。
圖12是表示背景通量推定的其它例子的處理流程的操作程序圖。
圖13是表示與本發(fā)明有關(guān)的背景通量的攝象機(jī)圖象的例子。
圖14是表示與本發(fā)明的第2實(shí)施形態(tài)有關(guān)的監(jiān)視裝置的構(gòu)成的方框圖。
圖15是表示與本發(fā)明有關(guān)的空間模型的一個(gè)例子的圖。
圖16是表示圖15的空間模型中的距離L與背景通量的關(guān)系的圖。
圖17是表示與本發(fā)明有關(guān)的空間模型的其它例子的圖。
圖18是表示圖17的空間模型中的寬度W與背景通量的關(guān)系的圖。
圖19是表示與本發(fā)明的第2實(shí)施形態(tài)有關(guān)的背景通量推定的處理流程的操作程序圖。
圖20是用于說(shuō)明與本發(fā)明的第2實(shí)施形態(tài)有關(guān)的背景通量的推定方法的圖。
圖21是用于說(shuō)明與本發(fā)明的第2實(shí)施形態(tài)有關(guān)的背景通量的推定方法的圖。
圖22是用于說(shuō)明與本發(fā)明的第2實(shí)施形態(tài)有關(guān)的背景通量的推定方法的圖。
圖23是用于說(shuō)明與本發(fā)明的第2實(shí)施形態(tài)有關(guān)的背景通量的推定方法的圖。
圖24是設(shè)置在車輛上的攝象機(jī)拍攝的圖象的例子。
圖25是根據(jù)第1個(gè)已有例從圖24的攝象機(jī)圖象檢測(cè)接近物體的結(jié)果的圖。
圖26是表示根據(jù)本發(fā)明從圖24的攝象機(jī)圖象檢測(cè)接近物體的結(jié)果的圖。
圖27是表示與本發(fā)明有關(guān)的硬件構(gòu)成的例子的圖。
圖28是表示與本發(fā)明的第3實(shí)施形態(tài)有關(guān)的監(jiān)視裝置的構(gòu)成的方框圖。
圖29是用于說(shuō)明在階層化圖象中的問(wèn)題點(diǎn)的概念圖。
圖30是表示與本發(fā)明的第4實(shí)施形態(tài)有關(guān)的監(jiān)視裝置的構(gòu)成的方框圖。
圖31是用于說(shuō)明與本發(fā)明的第4實(shí)施形態(tài)有關(guān)的處理的圖。
圖32是用于說(shuō)明與本發(fā)明的第4實(shí)施形態(tài)有關(guān)的處理的圖。
圖33是表示本發(fā)明中的障礙物傳感器的設(shè)置位置的例子的圖。
圖34是拍攝車輛后方的攝象機(jī)圖象的例子，是用于說(shuō)明第1個(gè)已有例的曲線行進(jìn)中的問(wèn)題的圖。
圖35是表示攝象機(jī)圖象與現(xiàn)實(shí)世界的3維坐標(biāo)的關(guān)系的圖。
圖36是表示已有例中的攝象機(jī)圖象與現(xiàn)實(shí)世界坐標(biāo)系的關(guān)系的圖。
圖37是表示本發(fā)明中的攝象機(jī)圖象與現(xiàn)實(shí)世界坐標(biāo)系的關(guān)系的圖。
圖38是在曲線行進(jìn)中的攝象機(jī)圖象上重疊顯示接近車輛的光通量的例子。
圖39是圖38的圖象的背景通量。
圖40是在攝象機(jī)圖象上重疊顯示減去背景通量得到的通量的例子。
圖41是用于說(shuō)明用攝象機(jī)圖象檢測(cè)車輛運(yùn)動(dòng)的方法的概念圖。其中1——車輛2——攝象機(jī)11——攝象機(jī)12，12A——光通量檢測(cè)部分13——自己車輛運(yùn)動(dòng)推定部分14，14A——空間模型推定部分15——背景通量推定部分16，16A——接近物體檢測(cè)部分51，52——障礙物傳感器
Vi——光通量T——車輛運(yùn)動(dòng)矢量MS——路面模型MW，MW1，MW2——壁面模型具體實(shí)施方式
如果根據(jù)本發(fā)明的第1樣態(tài)，則提供作為用攝象機(jī)拍攝車輛周圍的監(jiān)視裝置，從由上述攝象機(jī)拍攝的圖象求得光通量，根據(jù)該車輛的運(yùn)動(dòng)，求得作為假定背景時(shí)的上述圖象的光通量的背景通量，比較上述光通量和上述背景通量，檢測(cè)在該車輛周圍的物體的運(yùn)動(dòng)的裝置。
如果根據(jù)本發(fā)明的第2樣態(tài)，則提供用對(duì)上述攝象機(jī)拍攝的空間進(jìn)行模型化得到的空間模型，求得上述背景通量的第1樣態(tài)的監(jiān)視裝置。
如果根據(jù)本發(fā)明的第3樣態(tài)，則提供上述空間模型是根據(jù)上述攝象機(jī)拍攝的各物體的距離數(shù)據(jù)生成的第2樣態(tài)的監(jiān)視裝置。
如果根據(jù)本發(fā)明的第4樣態(tài)，則由設(shè)置在該車輛上的障礙物傳感器測(cè)定上述距離數(shù)據(jù)的第3樣態(tài)的監(jiān)視裝置。
如果根據(jù)本發(fā)明的第5樣態(tài)，則提供上述空間模型至少包含使行進(jìn)路面模型化的路面模型的第2樣態(tài)的監(jiān)視裝置。
如果根據(jù)本發(fā)明的第6樣態(tài)，則提供上述空間模型至少包含假定對(duì)行進(jìn)路面垂直的壁面的壁面模型的第2樣態(tài)的監(jiān)視裝置。
如果根據(jù)本發(fā)明的第7樣態(tài)，則提供假定上述壁面是在車輛的后側(cè)方的第6樣態(tài)的監(jiān)視裝置。
如果根據(jù)本發(fā)明的第8樣態(tài)，則提供當(dāng)比較光通量和背景通量時(shí)，判定上述光通量的大小是否比所定值大，當(dāng)比所定值大時(shí)，用角度差進(jìn)行比較，另一方面當(dāng)不比所定值大時(shí)，不用角度差進(jìn)行比較的第1樣態(tài)的監(jiān)視裝置。
如果根據(jù)本發(fā)明的第9樣態(tài)，則提供與圖象上的該位置中的背景通量的大小相應(yīng)地設(shè)定上述所定值的第8樣態(tài)的監(jiān)視裝置。
如果根據(jù)本發(fā)明的第10樣態(tài)，則提供通過(guò)比較光通量和背景通量，從上述光通量中，特定接近物體候補(bǔ)通量，根據(jù)與在近旁的上述接近物體候補(bǔ)通量的關(guān)系，生成接近物體候補(bǔ)區(qū)域，上述接近物體候補(bǔ)區(qū)域的面積，當(dāng)比所定值小時(shí)，判斷與這個(gè)接近物體候補(bǔ)區(qū)域有關(guān)的接近物體候補(bǔ)通量是噪聲的第1樣態(tài)的監(jiān)視裝置。
如果根據(jù)本發(fā)明的第11樣態(tài)，則提供作為用攝象機(jī)拍攝車輛周圍的監(jiān)視裝置，從上述攝象機(jī)拍攝的圖象求得光通量，根據(jù)上述光通量、該車輛的運(yùn)動(dòng)和對(duì)上述攝象機(jī)拍攝的空間進(jìn)行模型化得到的空間模型，求得作為上述圖象上的點(diǎn)的在現(xiàn)實(shí)世界坐標(biāo)上的運(yùn)動(dòng)的空間通量，根據(jù)上述空間通量，檢測(cè)在該車輛周圍的物體的運(yùn)動(dòng)的裝置。
如果根據(jù)本發(fā)明的第12樣態(tài)，則提供作為監(jiān)視方法，從由攝象機(jī)拍攝車輛周圍得到的圖象，求得光通量，根據(jù)上述車輛的運(yùn)動(dòng)，求得作為假定背景時(shí)的上述圖象的光通量的背景通量，比較上述光通量和上述背景通量，檢測(cè)在上述車輛周圍的物體的運(yùn)動(dòng)的裝置。
如果根據(jù)本發(fā)明的第13樣態(tài)，則提供用設(shè)置在上述車輛中的車速傳感器和舵角傳感器的輸出，推定上述車輛的運(yùn)動(dòng)的第12樣態(tài)的監(jiān)視方法。
如果根據(jù)本發(fā)明的第14樣態(tài)，則提供作為監(jiān)視用程序，實(shí)施關(guān)于由攝象機(jī)拍攝車輛周圍得到的圖象，求得光通量的步驟、根據(jù)上述車輛的運(yùn)動(dòng)，求得作為假定背景時(shí)的上述圖象的光通量的背景通量的步驟、和比較上述光通量和上述背景通量，檢測(cè)在該車輛周圍的物體的運(yùn)動(dòng)的步驟的程序。
下面，我們參照

本發(fā)明的實(shí)施形態(tài)。(實(shí)施形態(tài)1)在本發(fā)明的第1實(shí)施形態(tài)中，如下所示地對(duì)車輛周圍進(jìn)行監(jiān)視。首先，用由攝象機(jī)拍攝車輛周圍的圖象，求得光通量。其次，推定攝象機(jī)圖象上的點(diǎn)和現(xiàn)實(shí)世界3維坐標(biāo)的對(duì)應(yīng)關(guān)系作為“空間模型”。如圖37所示，通過(guò)將透視投影變換用于這個(gè)空間模型，能夠正確地實(shí)現(xiàn)攝象機(jī)圖象上的點(diǎn)和現(xiàn)實(shí)世界3維坐標(biāo)的對(duì)應(yīng)。而且用這個(gè)空間模型和推定的自己車輛運(yùn)動(dòng)信息，通過(guò)計(jì)算可以求得假定圖象上的各點(diǎn)不是移動(dòng)物體而是背景時(shí)的光通量。這樣求得的光通量稱為“背景通量”。比較這個(gè)背景通量與從圖象實(shí)際求得的光通量，檢測(cè)接近物體。
即，因?yàn)橥ㄟ^(guò)正確考慮攝象機(jī)圖象上的點(diǎn)和現(xiàn)實(shí)世界3維坐標(biāo)的對(duì)應(yīng)計(jì)算背景通量，所以根據(jù)本實(shí)施形態(tài)，與已有例比較，能夠高精度地檢測(cè)車輛周圍的物體的運(yùn)動(dòng)。又，即便在曲線行進(jìn)中，因?yàn)橥ㄟ^(guò)比較圖象上的各個(gè)點(diǎn)上的背景通量和光通量進(jìn)行檢測(cè)，所以也能夠正確地檢測(cè)接近物體。又，即便關(guān)于從圖象求得的光通量的大小變小那樣的并行車輛和遠(yuǎn)方的接近物體，也因?yàn)檫@個(gè)光通量與這個(gè)點(diǎn)的背景通量具有很大的不同，所以在本實(shí)施形態(tài)中可以容易地進(jìn)行檢測(cè)。
圖1是概念地表示與本實(shí)施形態(tài)有關(guān)的車輛用監(jiān)視裝置的基本構(gòu)成的方框圖。與本實(shí)施形態(tài)有關(guān)的車輛用監(jiān)視裝置，用攝象機(jī)11拍攝車輛周圍，檢測(cè)該車輛周圍的物體的運(yùn)動(dòng)。具體地說(shuō)如圖1所示，作為基本構(gòu)成，備有從由攝象機(jī)11拍攝的圖象算出光通量Vi的光通量檢測(cè)部分12、檢測(cè)該車輛的運(yùn)動(dòng)的自己車輛運(yùn)動(dòng)檢測(cè)部分13、推定攝象機(jī)11拍攝的空間的模型的空間模型推定部分14、根據(jù)自己車輛運(yùn)動(dòng)和空間模型推定背景通量Vdi的背景通量推定部分15、通過(guò)比較光通量Vi和背景通量Vdi，檢測(cè)接近物體的接近物體檢測(cè)部分16。
攝象機(jī)11典型地設(shè)置在自己車輛上，傳感該車輛的周圍狀況。又，也可以與設(shè)置在自己車輛上的攝象機(jī)一起地或單獨(dú)地使用安裝在道路上和信號(hào)機(jī)、建筑物等的構(gòu)架上的攝象機(jī)和安裝在周圍車輛上的攝象機(jī)。這在不能一眼望盡的交叉點(diǎn)等，從自己車輛難以看見接近車輛的狀況等中是有效的。<檢測(cè)光通量>
光通量檢測(cè)部分12從由攝象機(jī)11在不同時(shí)間拍攝的2個(gè)圖象，檢測(cè)表示在圖象上看到的運(yùn)動(dòng)的矢量，即“光通量”。在檢測(cè)光通量時(shí)，用圖象的時(shí)間空間微分的約束方程式的斜率法、和利用樣板匹配的塊匹配法是廣為人知的。(“動(dòng)態(tài)場(chǎng)面的理解”淺田稔著，電子信息通信學(xué)會(huì))。這里用塊匹配法。
塊匹配法，因?yàn)橐话氵M(jìn)行全面探索，所以需要很長(zhǎng)的處理時(shí)間。因此，為了削減處理時(shí)間廣泛使用所謂的圖象階層化的方法(“3維視覺”除剛、遷三郎共著，共立出版)。即，從給予的圖象，制作分別在縱橫方向壓縮到1/2，1/4，1/8，.....的階層化圖象。通過(guò)這個(gè)圖象的階層化，在分辨率高(尺寸大)的圖象中成為遠(yuǎn)離的2點(diǎn)，而在分辨率低(尺寸小)的圖象中成為接近的2點(diǎn)。因此首先，對(duì)于分辨率低的圖象進(jìn)行樣板匹配，結(jié)果只在求得的光通量的近旁，其次對(duì)分辨率高的圖象進(jìn)行樣板匹配。通過(guò)重復(fù)這樣的處理，最終，能夠求得分辨率高的原圖象中的光通量。而且，因?yàn)橹贿M(jìn)行局部探索就可以了，所以能夠大幅度地削減處理時(shí)間。
<推定自己車輛>
自己車輛運(yùn)動(dòng)推定部分13求得自己車輛的左右兩車輪的旋轉(zhuǎn)速度和方向盤的舵角，從而推定自己車輛的運(yùn)動(dòng)。我們用圖2和圖3說(shuō)明這種推定方法。此外，這里，用與不發(fā)生輪胎的橫向滑動(dòng)近似的所謂的滿操縱模型(2輪模型)。
圖2是表示滿操縱方向盤的模型的圖。當(dāng)假定沒有輪胎的橫向滑動(dòng)時(shí)，當(dāng)打方向盤時(shí)，車輛以后輪3b軸的延長(zhǎng)線上的點(diǎn)O為中心旋轉(zhuǎn)。后輪3b中央的旋轉(zhuǎn)半徑Rs用前輪3a的切向角β和軸距1如(公式3)所示。
圖3是表示2維上的車輛運(yùn)動(dòng)的圖。，如圖3所示，后輪3b的中央從Ct移動(dòng)到Ct+1時(shí)，它的移動(dòng)量h用左右車輪速度Vl，Vr、或后輪3b中央的旋轉(zhuǎn)半徑Rs和移動(dòng)旋轉(zhuǎn)角γ如(公式4)所示。
用(公式3)和(公式4)，移動(dòng)旋轉(zhuǎn)角γ如(公式5)所示。
所以，對(duì)于車輛的平面的旋轉(zhuǎn)量α由(公式6)表示。
又，從Ct到Ct+1的移動(dòng)矢量T，當(dāng)取車輛行進(jìn)方向?yàn)閄軸，垂直方向?yàn)閅軸時(shí)，由(公式7)表示。
用(公式6)和(公式7)，如果知道車輛的左右車輪速度Vl，Vr和方向盤舵角β，則能夠推定車輛的運(yùn)動(dòng)。
當(dāng)然，不僅是車輪速度和方向盤舵角信息，也可以用車速傳感器、偏航速率傳感器直接求得車輛的運(yùn)動(dòng)。進(jìn)一步，也可以用GPS和地圖信息求得車輛的運(yùn)動(dòng)。
<推定空間模型>
空間模型推定部分14推定對(duì)攝象機(jī)正在拍攝的空間進(jìn)行模型化的空間模型。如上所述為了求得攝象機(jī)圖象上的點(diǎn)和現(xiàn)實(shí)世界3維坐標(biāo)的對(duì)應(yīng)關(guān)系可以用空間模型。即，攝象機(jī)圖象上的任意點(diǎn)，用(公式1)和(公式2)，能夠與通過(guò)攝象機(jī)焦點(diǎn)位置的現(xiàn)實(shí)世界空間上的某條直線對(duì)應(yīng)。通過(guò)求得這個(gè)現(xiàn)實(shí)世界空間上的直線與推定的空間模型的交點(diǎn)，能夠?qū)z象機(jī)圖象上的任意點(diǎn)映射到現(xiàn)實(shí)世界的3維坐標(biāo)中。
這里，根據(jù)攝象機(jī)11拍攝的各物體的距離數(shù)據(jù)，生成空間模型。這個(gè)距離數(shù)據(jù)的測(cè)定，例如，能夠通過(guò)或者利用兩眼觀測(cè)、運(yùn)動(dòng)立體法，或者當(dāng)在車輛上設(shè)置用激光、超聲波、紅外線、毫米波等的障礙物傳感器時(shí)利用它們來(lái)實(shí)現(xiàn)。
又，當(dāng)用固定在建筑物等的構(gòu)架上的攝象機(jī)時(shí)，因?yàn)閿z象機(jī)拍攝的建筑物等的形狀只有極小的變化，所以攝象機(jī)拍攝的空間的3維信息是已知的。這時(shí)，不需要推定空間模型，可以對(duì)每臺(tái)攝象機(jī)預(yù)先確定已知的空間模型。
進(jìn)一步，即便車輛上設(shè)置著攝象機(jī)的情形中，因?yàn)槟軌蛴肎PS等正確地知道它的位置，所以通過(guò)對(duì)照現(xiàn)在位置和詳細(xì)的地圖數(shù)據(jù)，也可以推定空間模型。例如，當(dāng)從GPS和地圖數(shù)據(jù)知道車輛在隧道中行進(jìn)時(shí)，能夠從該隧道的和長(zhǎng)度等的形狀信息生成空間模型。這種形狀信息既可以是在地圖信息中預(yù)先具有的，也可以保持在隧道等的構(gòu)架一側(cè)，通過(guò)通信得到。例如，通過(guò)設(shè)置在隧道入口等的DSRC等的通信裝置將隧道形狀信息發(fā)射給進(jìn)入隧道的車輛。當(dāng)然，這種方法不限于隧道，一般地說(shuō)，也可以用于高速公路、住宅區(qū)或停車場(chǎng)等。
<推定背景通量>
背景通量推定部分15檢測(cè)當(dāng)假定與空間模型對(duì)應(yīng)的點(diǎn)不動(dòng)，即不是移動(dòng)物體而是的背景時(shí)的圖象的運(yùn)動(dòng)(光通量)作為背景通量。
圖4是表示背景通量推定部分15的工作的操作程序圖，圖5是想定車輛1沿曲線等旋轉(zhuǎn)的狀況的概念圖。因?yàn)樵趫D5中在車輛1上設(shè)置了攝象機(jī)2，所以攝象機(jī)2的運(yùn)動(dòng)和車輛1的運(yùn)動(dòng)是相等的。又，5是攝象機(jī)2拍攝的背景物體。
首先，用空間模型推定部分14推定的空間模型，將時(shí)刻t-1拍攝的攝象機(jī)圖象上的任意點(diǎn)(PreXi，PreYi)映射到現(xiàn)實(shí)世界3維坐標(biāo)(Xw，Yw，Zw)(S11)。這時(shí)，用(公式1)所示的透射投影變換式和(公式2)所示的坐標(biāo)變換式。此外，在(公式2)中的現(xiàn)實(shí)世界坐標(biāo)系中的攝象機(jī)的焦點(diǎn)位置是在時(shí)刻t-1的攝象機(jī)2的焦點(diǎn)位置。
其次，根據(jù)由自己車輛運(yùn)動(dòng)推定部分13推定的從時(shí)刻t-1到時(shí)刻t的車輛1的移動(dòng)量h，求得在時(shí)刻t的現(xiàn)實(shí)世界中的自己車輛位置，即在現(xiàn)實(shí)世界坐標(biāo)系中的攝象機(jī)2的焦點(diǎn)位置(步驟S12)。而且，根據(jù)在這個(gè)現(xiàn)實(shí)世界坐標(biāo)系中的攝象機(jī)2的焦點(diǎn)位置，變更(公式2)的各常數(shù)r(步驟813)。通過(guò)重復(fù)這種處理，在(公式2)中的現(xiàn)實(shí)世界坐標(biāo)系中的攝象機(jī)的焦點(diǎn)位置不斷被更新，總是表示正確的位置。
進(jìn)一步，用(公式1)和經(jīng)過(guò)更新的(公式2)，將在步驟S11求得的現(xiàn)實(shí)世界坐標(biāo)(Xw，Yw，Zw)再次映射到攝象機(jī)圖象上的點(diǎn)(NextXi，NextYi)(步驟S14)。這樣求得的攝象機(jī)坐標(biāo)(NextXi，NextYi)表示當(dāng)假定是從時(shí)刻t-1到時(shí)刻t之間不動(dòng)的背景物體5的一點(diǎn)時(shí)的時(shí)刻t的攝象機(jī)圖象上的位置。因此，作為當(dāng)假定時(shí)刻t-1的攝象機(jī)圖象上的點(diǎn)(PreXi，PreYi)是背景的一部分時(shí)的背景通量，求得(NextXi-PreXi，NextYi-PreYi)(步驟S15)。
此外，這里為了說(shuō)明簡(jiǎn)單起見，以車輛沿曲線運(yùn)動(dòng)的情形為例進(jìn)行說(shuō)明，但是即便在直線行進(jìn)和停車時(shí)等，也能夠用同樣的方法，求得背景通量。
<檢測(cè)接近物體>
圖6是概念地表示接近物體檢測(cè)部分16的構(gòu)成的方框圖。在圖6中，通量比較部分16a比較由光通量檢測(cè)部分12從攝象機(jī)圖象實(shí)際求得的光通量Vi和由背景通量檢測(cè)部分15求得的背景通量Vdi，檢測(cè)接近物體候補(bǔ)通量。而且，除去噪聲部分16b從由通量比較部分16a求得的接近物體候補(bǔ)通量除去噪聲，只檢測(cè)接近物體的通量。
圖7是表示通量比較部分16a的工作的操作程序圖。這里，比較光通量Vi和背景通量Vdi，原則上是用它們的角度差進(jìn)行的?？墒牵?dāng)光通量Vi的大小變小時(shí)，因?yàn)樗姆较蛐畔⒌目煽啃越档?，不能保持判別的精度。例如，與自己車輛大致等速度并行行進(jìn)的其它車輛有關(guān)的光通量Vi，大小非常小，并且它的方向與拍攝定時(shí)相應(yīng)向著自己車輛或者向著反對(duì)方向，時(shí)刻在變化著。因此，在本實(shí)施形態(tài)中，當(dāng)光通量Vi的大小比所定值小時(shí)，不用角度差，通過(guò)用別的比較基準(zhǔn)(S43)，提高判別的可靠性。
具體地說(shuō)，首先調(diào)查光通量Vi的大小(S41)。因?yàn)榭紤]到當(dāng)光通量Vi十分大時(shí)(比所定值THVi大時(shí))，光通量Vi對(duì)于方向信息具有充分的可靠性，所以用角度差進(jìn)行與背景通量Vdi的比較(S42)。即，當(dāng)光通量Vi與背景通量Vdi的角度差的絕對(duì)值在所定值ThArg以上時(shí)，因?yàn)榭紤]到這個(gè)光通量Vi與背景通量Vdi不同，所以判別為接近物體的通量(S44)。又，當(dāng)角度差的絕對(duì)值十分小時(shí)(S42中“否”)，因?yàn)檫@個(gè)光通量Vi與背景通量Vdi接近，所以判別為不是接近物體的通量(S45)。此外，最好閾值THVi約為0.1[Pixel]，閾值THArg約為π/2。這里，當(dāng)在步驟S41中判斷為“是”時(shí)，只用角度信息，不用大小信息，這是因?yàn)椴粚㈦x開自己車輛的移動(dòng)物體判別為接近物體。當(dāng)然，也可以將通量的矢量差的絕對(duì)值用作判別基準(zhǔn)。
又，當(dāng)光通量Vi沒有充分大的值時(shí)(S41中為“否”)，不能夠用角度差進(jìn)行與背景通量的比較。因此，這時(shí)著眼于通量的大小。即，判定光通量Vi與背景通量Vdi的矢量差的絕對(duì)值是否在所定值THVdi以上(S43)，當(dāng)在所定值THVdi以上時(shí)判別為接近物體的通量(S44)。當(dāng)不是時(shí)判別為不是接近物體的通量(S45)。光通量Vi的大小小，并且作為它是接近物體的狀況，考慮下面2種狀況1.接近物體與自己車輛大致相等速度地并行行進(jìn)，2.接近車輛向遠(yuǎn)方行進(jìn)，但是因?yàn)樵跓o(wú)論哪種狀況中都能夠正確地求得背景通量Vdi，所以能夠高精度地判別接近物體。此外，最好閾值THVdi約為0.1[Pixel]。
又，在步驟S43，著眼于光通量Vi的大小十分小，也可以不將光通量Vi與背景通量Vdi的矢量差的絕對(duì)值與所定值比較，而是只將背景通量Vdi的大小與所定值比較。這時(shí)，當(dāng)背景通量Vdi十分大時(shí)，可以判別為接近物體的通量，如果十分小則可以判別為不是接近物體的通量。
又，也可以設(shè)定在這里的通量比較中用的閾值THVi，THArg，THVdi作為圖象上的位置的函數(shù)。例如，在背景通量Vdi小的位置，使閾值THVi，THVdi小，在背景通量Vdi大的位置，使閾值THVi，THVdi大。因此，一面能夠抑制噪聲的影響，并且一面即便在遠(yuǎn)方也能夠進(jìn)行正確的判斷。
圖8是表示除去噪聲部分16b的工作的操作程序圖。因?yàn)樵谟赏勘容^部分16a檢測(cè)為接近物體通量的通量中包含噪聲，所以當(dāng)將這些都檢測(cè)為接近物體時(shí)，引起檢測(cè)精度的惡化。因此，除去噪聲部分16b進(jìn)行噪聲和接近物體的模型化，通過(guò)將這個(gè)模型與由通量比較部分16a檢測(cè)出的接近物體通量(接近物體候補(bǔ)通量)比較，只檢測(cè)接近物體。
首先，當(dāng)接近物體候補(bǔ)通量是噪聲時(shí)，無(wú)論時(shí)間地還是空間地，都不應(yīng)該連續(xù)地進(jìn)行檢測(cè)。可是，當(dāng)接近物體候補(bǔ)通量不是噪聲而是與實(shí)際接近物體有關(guān)的通量時(shí)，因?yàn)榻咏矬w具有某種程度的大小，所以類似的接近物體候補(bǔ)通量應(yīng)該在空間上占據(jù)與接近物體大小相當(dāng)?shù)膮^(qū)域。
因此，與在近旁的接近物體候補(bǔ)通量有關(guān)，連結(jié)與有關(guān)的接近物體候補(bǔ)通量有關(guān)的區(qū)域，將連結(jié)的區(qū)域作為接近物體候補(bǔ)區(qū)域Ai(S51)。而且，求得該接近物體候補(bǔ)區(qū)域Ai的面積Si(S52)，比較這個(gè)面積Si與所定值THSi(S53)。這里，當(dāng)接近物體候補(bǔ)區(qū)域Ai遠(yuǎn)離攝象機(jī)時(shí)設(shè)定所定值THSi小，另一方面，當(dāng)接近物體候補(bǔ)區(qū)域Ai接近攝象機(jī)時(shí)設(shè)定所定值THSi大。當(dāng)面積Ai比所定值THSi小時(shí)(在S53中為“否”)，判斷區(qū)域Ai是噪聲(S54)。另一方面，當(dāng)面積Si在所定值THSi以上時(shí)進(jìn)行到步驟S55。
在步驟S55，進(jìn)行由于接近物體的模型化引起的噪聲的除去處理。當(dāng)考慮在車輛上設(shè)置攝象機(jī)時(shí)，接近物體是汽車和摩托車、自行車等，但是無(wú)論什么樣的接近物體都是在路面上行進(jìn)的物體。因此，判定接近物體候補(bǔ)區(qū)域Ai是否存在于空間模型的路面上(S55)，當(dāng)不存在時(shí)判斷區(qū)域Ai為噪聲(S54)，進(jìn)行下一個(gè)幀的處理。另一方面，當(dāng)接近物體候補(bǔ)區(qū)域Ai的至少一部分存在于路面上時(shí)，進(jìn)行到步驟S56。
在步驟S56，進(jìn)行時(shí)間方向的抽選運(yùn)算處理。因?yàn)榻咏矬w不能在畫面上突然出現(xiàn)，或者突然消失，所以這個(gè)區(qū)域應(yīng)該連續(xù)存在數(shù)個(gè)幀。圖9是表示直線行進(jìn)時(shí)其它車輛從后方接近的狀況。在現(xiàn)在時(shí)刻t，如圖9(a)的左圖所示，因?yàn)榕臄z到接近車輛，所以如圖9(a)的右圖所示檢測(cè)出接近物體候補(bǔ)區(qū)域At。又，在比現(xiàn)在時(shí)刻t稍前一些的時(shí)刻t-1，t-2，.....，t-N，分別如圖9(b)，(c)，(d)所示檢測(cè)出接近物體候補(bǔ)區(qū)域At-1，At-2，.....，At-N。這里，當(dāng)使時(shí)間間隔十分小時(shí)，因?yàn)榻咏囕v6在畫面上沒有大的運(yùn)動(dòng)，所以區(qū)域At-1，At-2，.....，At-N的一部分與區(qū)域At重疊。與此相反，當(dāng)接近物體候補(bǔ)區(qū)域是由攝象機(jī)的振動(dòng)等引起而產(chǎn)生時(shí)，應(yīng)該只能在短時(shí)間中檢測(cè)出這個(gè)候補(bǔ)區(qū)域。
因此，在與接近物體區(qū)域候補(bǔ)Ai對(duì)應(yīng)的它前面數(shù)個(gè)幀的區(qū)域中，比較接近物體區(qū)域候補(bǔ)存在的比例與所定值(S56)。而且，當(dāng)這個(gè)比例比所定值低時(shí)，因?yàn)榻咏矬w候補(bǔ)區(qū)域Ai是接近物體的可能性很小，所以保持這個(gè)接近物體候補(bǔ)區(qū)域Ai(S57)，進(jìn)行下一個(gè)幀的處理。另一方面，當(dāng)在它的前面數(shù)個(gè)幀中接近物體區(qū)域候補(bǔ)存在的比例比所定值高時(shí)，判斷這個(gè)接近物體候補(bǔ)區(qū)域Ai是由接近物體引起的，進(jìn)行下一個(gè)幀的處理(S58)。例如，當(dāng)在前10個(gè)幀中檢測(cè)出6次以上時(shí)，判斷為接近物體。
又，當(dāng)假定向車輛前方和后方設(shè)置攝象機(jī)，并且接近物體只是乘用車輛時(shí)，由攝象機(jī)拍攝的接近物體的圖象只是從前方或后方看到乘用車輛的圖象。因此，能夠?qū)⒔咏矬w區(qū)域的大小限定為寬度約2m，從路面算起的高度約1.5m。因此，也可以將接近物體候補(bǔ)區(qū)域設(shè)定在這個(gè)大小上，為了使區(qū)域內(nèi)存在的接近物體通量的個(gè)數(shù)成為最大，而設(shè)定接近物體候補(bǔ)區(qū)域的位置。這時(shí)，根據(jù)接近物體候補(bǔ)區(qū)域中包含的接近物體通量的個(gè)數(shù)是否比所定值大，能夠判定是接近物體還是噪聲。也可以代替步驟S51～S53進(jìn)行這樣的處理。
當(dāng)如上所述地根據(jù)本實(shí)施形態(tài)時(shí)，通過(guò)比較背景通量和從攝象機(jī)圖象實(shí)際求得的光通量，能夠高精度地檢測(cè)車輛周圍的物體的運(yùn)動(dòng)。
又，例如即便車輛在曲線行進(jìn)中，因?yàn)橥ㄟ^(guò)比較在圖象上的各點(diǎn)上的背景通量和光通量進(jìn)行檢測(cè)，所以，能夠正確地檢測(cè)出接近物體。又，即便關(guān)于從圖象求得的光通量的大小變小那樣的并行車輛和遠(yuǎn)方的接近物體，因?yàn)樗墓馔颗c在圖象上的該點(diǎn)的背景通量具有很大的不同，所以可以容易地進(jìn)行檢測(cè)。<推定背景通量的其它例子>
(其一)
如圖5所示，當(dāng)攝象機(jī)2以旋轉(zhuǎn)半徑Rs和旋轉(zhuǎn)角γ運(yùn)動(dòng)，由攝象機(jī)2拍攝的物體5完全不動(dòng)時(shí)，這時(shí)求得的光通量，如圖10所示，與攝象機(jī)2不動(dòng)，但是當(dāng)由攝象機(jī)2拍攝的所有物體5以旋轉(zhuǎn)角γ運(yùn)動(dòng)時(shí)求得的光通量相等。即，攝象機(jī)在現(xiàn)實(shí)世界坐標(biāo)系中只以矢量V移動(dòng)時(shí)求得的光通量與由攝象機(jī)拍攝的所有物體只以矢量(-V)移動(dòng)時(shí)求得的光通量相等。
因此，也可以不根據(jù)攝象機(jī)的運(yùn)動(dòng)求得背景通量，而通過(guò)假定攝象機(jī)固定不動(dòng)，使空間模型運(yùn)動(dòng)求得背景通量。圖11是表示這種情形的背景通量推定的處理的操作程序圖。
首先，與圖4的步驟S11相同，用由空間模型推定部分14推定的空間模型，將在時(shí)刻t-1拍攝的攝象機(jī)圖象上的點(diǎn)(PreXi，PreYi)映射到現(xiàn)實(shí)世界3維坐標(biāo)(PreXw，PreYw，PreZw)(S21)。這時(shí)，用(公式1)所示的透射投影變換式和(公式2)所示的坐標(biāo)變換式。
其次，根據(jù)由自己車輛運(yùn)動(dòng)推定部分13推定的從時(shí)刻t-1到時(shí)刻t的車輛1的移動(dòng)量h，使在步驟S21求得的現(xiàn)實(shí)世界坐標(biāo)(PreXw，PreYw，PreZw)相對(duì)于車輛1移動(dòng)。即，用與移動(dòng)量h有關(guān)的旋轉(zhuǎn)中心坐標(biāo)O和旋轉(zhuǎn)角γ旋轉(zhuǎn)現(xiàn)實(shí)世界坐標(biāo)(PreXw，PreYw，PreZw)，求得現(xiàn)實(shí)世界坐標(biāo)(NextXw，NextYw，NextZw)(S22)。進(jìn)一步，用(公式1)和(公式2)，將在步驟S22中求得的現(xiàn)實(shí)世界坐標(biāo)(NextXw，NextYw，NextZw)再映射到攝象機(jī)圖象上的點(diǎn)(NextXi，NextYi)(步驟S23)。而且，與圖4的步驟S15相同，求得(NextXi-PreXi，NextYi-PreYi)作為背景通量(步驟S24)。
此外，因?yàn)橐部梢哉f(shuō)在步驟S22求得的(NextXw，NextYw，NextZw)是從時(shí)刻t-1的空間模型預(yù)測(cè)的在時(shí)刻t的空間模型，所以通過(guò)繼續(xù)這種處理也可以更新空間模型。或者，也可以只對(duì)由接近物體檢測(cè)部分16判定為背景的部分，進(jìn)行這種空間模型的更新處理，關(guān)于除此以外的區(qū)域由上述方法重新求得空間模型。
(其二)上述2種方法中的無(wú)論哪一個(gè)，將攝象機(jī)圖象上的點(diǎn)變換到現(xiàn)實(shí)世界3維坐標(biāo)，在現(xiàn)實(shí)世界坐標(biāo)系中用假定的空間模型進(jìn)行處理。與此相反，也可以在攝象機(jī)坐標(biāo)系中進(jìn)行所有的處理。圖12是表示這種情形的背景通量推定的處理的操作程序圖。這時(shí)，需要在攝象機(jī)坐標(biāo)系中記述空間模型。因?yàn)閿z象機(jī)坐標(biāo)系與現(xiàn)實(shí)世界坐標(biāo)系1對(duì)1地對(duì)應(yīng)，所以在現(xiàn)實(shí)世界坐標(biāo)系中假定的空間模型，按照(公式2)，能夠容易地變換到攝象機(jī)坐標(biāo)系。
首先，用在攝象機(jī)坐標(biāo)系中記述的空間模型，將在時(shí)刻t-1拍攝的攝象機(jī)圖象上的任意點(diǎn)(PreXi，PreYi)映射到攝象機(jī)坐標(biāo)系中的3維位置(PreXc，PreYc，PreZc)(S31)。這時(shí)，用(公式1)所示的透射投影變換式。
其次，根據(jù)由自己車輛運(yùn)動(dòng)推定部分13推定的從時(shí)刻t-1到時(shí)刻t的車輛1的移動(dòng)量h，使在步驟S31求得的攝象機(jī)坐標(biāo)(PreXc，PreYc，PreZc)相對(duì)于車輛1移動(dòng)。即，用與移動(dòng)量h有關(guān)的攝象機(jī)圖象系中的旋轉(zhuǎn)中心坐標(biāo)C和旋轉(zhuǎn)角γc旋轉(zhuǎn)攝象機(jī)坐標(biāo)(PreXc，PreYc，PreZc)，求得攝象機(jī)坐標(biāo)(NextXc，NextYc，NextZc)(S32)。進(jìn)一步，用(公式1)，將在步驟S32中求得的攝象機(jī)坐標(biāo)(NextXc，NextYc，NextZc)再映射到攝象機(jī)圖象上的點(diǎn)(NextXi，NextYi)(步驟S33)。而且，與圖4的步驟S15相同，求得(NextXi-PreXi，NextYi-PreYi)作為背景通量(步驟S34)。
這樣，為了從攝象機(jī)圖象變換到現(xiàn)實(shí)世界3維坐標(biāo)系，或者，從攝象機(jī)圖象變換到攝象機(jī)坐標(biāo)系，可以利用空間模型。因此，也可以記述空間模型，作為從攝象機(jī)圖象變換到現(xiàn)實(shí)世界3維坐標(biāo)系的變換式，或者，從攝象機(jī)圖象變換到攝象機(jī)坐標(biāo)系的變換式。
圖13是用箭頭表示與本發(fā)明有關(guān)的背景通量的攝象機(jī)圖象的例子。如已經(jīng)說(shuō)明的那樣，背景通量成為用于與實(shí)際從攝象機(jī)圖象求得的光通量進(jìn)行比較，成為接近物體的檢測(cè)基準(zhǔn)。如從圖13看到的那樣，背景通量成為考慮行進(jìn)路面的曲線的背景通量。即，本發(fā)明，與已有技術(shù)比較，即便在曲線行進(jìn)時(shí)也可以高精度地檢測(cè)接近物體，這能夠從圖13直觀地理解到。
當(dāng)根據(jù)本發(fā)明時(shí)，只可以正確地檢測(cè)接近自己車輛過(guò)來(lái)的物體。而且，用這個(gè)檢測(cè)結(jié)果，例如，能夠又顯示只強(qiáng)調(diào)接近車輛的圖象，又用聲音和圖象、方向盤和椅子的振動(dòng)、點(diǎn)亮LED那樣的危險(xiǎn)警報(bào)燈等發(fā)出警報(bào)。進(jìn)一步，也可以當(dāng)發(fā)生危險(xiǎn)狀況時(shí)，自動(dòng)控制方向盤的操縱和剎車，避免與接近車輛發(fā)生接觸和碰撞。
這里，我們說(shuō)明利用背景通量的強(qiáng)調(diào)顯示。
圖38是在曲線行進(jìn)中的后方圖象上只重疊顯示與接近車輛對(duì)應(yīng)的光通量的例子。在圖38中，與自己車輛只離開大致等距離的車輛A，B正在以大致等速度地接近。如圖38所示，關(guān)于曲線外側(cè)的車A，根據(jù)重疊顯示的光通量(箭頭)，利用者能夠認(rèn)識(shí)到車A的接近。可是，關(guān)于曲線內(nèi)側(cè)的車B，光通量大致為0，利用者不能認(rèn)識(shí)到車B的接近。這樣，在曲線行進(jìn)中，存在著只用簡(jiǎn)單地重疊顯示光通量，不能認(rèn)識(shí)到接近物體存在的情形。
其原因是由于自己車輛曲線行進(jìn)產(chǎn)生的背景通量和由于接近車輛運(yùn)動(dòng)產(chǎn)生的通量相互抵消。圖39是圖38的圖象的背景通量。在圖39中，箭頭A2，B2分別是與車A，B的位置對(duì)應(yīng)的背景通量。如從圖39看到的那樣，車B的位置上的背景通量B2與車B的運(yùn)動(dòng)方向相反。
因此，為了只使接近車輛的運(yùn)動(dòng)很顯著，從求得的光通量矢量地減去背景通量，將得到的通量重疊顯示在攝象機(jī)圖象上。圖40是它的顯示例。與圖38不同，一起顯示接近車輛A，B的通量，所以，利用者能夠確實(shí)地認(rèn)識(shí)到接近車的存在。
當(dāng)然，如上所述與接近物體通量連結(jié)求得接近物體區(qū)域，如后述的圖26(b)所示，也可以在接近物體區(qū)域上描畫一個(gè)框進(jìn)行強(qiáng)調(diào)顯示。進(jìn)一步，因?yàn)榭紤]到接近物體通量和接近物體區(qū)域越大，接近車輛越接近，危險(xiǎn)程度越高，所以也可以與接近物體通量和接近物體區(qū)域的大小相應(yīng)地，切換框的顏色和粗細(xì)，線的種類等。
又，也可以代替圖象，或者與圖象一起，用聲音發(fā)出警報(bào)。這時(shí)，當(dāng)能夠聽到來(lái)自接近物體存在的位置方向的聲音是很有效的。又，也可以與危險(xiǎn)程度相應(yīng)地改變聲音的大小和旋律、拍子、頻率等。例如，最好當(dāng)有車從右后方慢慢地接近時(shí)，從駕駛者的右后方發(fā)出小的聲音，當(dāng)有車從左后方急速地接近時(shí)，最好從左后方發(fā)出大的聲音。
又在上述實(shí)施形態(tài)中，從車輪的旋轉(zhuǎn)速度和方向盤的舵角推定自己車輛的運(yùn)動(dòng)。與此相反，也可以用設(shè)置在車輛上的攝象機(jī)的圖象，檢測(cè)車輛(攝象機(jī)自身)的運(yùn)動(dòng)。下面我們說(shuō)明這個(gè)方法。
這里，假定作為靜止平面的路面的公式是已知的，并且車輛的運(yùn)動(dòng)是微小的，從路面上的點(diǎn)在圖象上的運(yùn)動(dòng)，推定車輛(攝象機(jī))的運(yùn)動(dòng)參數(shù)。假定即便在車輛高速移動(dòng)時(shí)，通過(guò)提高拍攝時(shí)的幀速率，因?yàn)閿z象機(jī)的運(yùn)動(dòng)在畫面之間變得很微小，所以這個(gè)假定不會(huì)失去一般性。
圖41是用于說(shuō)明本方法的模式圖。如圖41所示，由于攝象機(jī)的運(yùn)動(dòng)，靜止平面上的點(diǎn)P的攝象機(jī)坐標(biāo)系中的坐標(biāo)值從PE＝(x，y，z)變到PE′＝(x′，y′，z′)。攝象機(jī)2的運(yùn)動(dòng)由旋轉(zhuǎn)R(wx，wy，wz)和平行移動(dòng)T(Tx，Ty，Tz)表示。即，攝象機(jī)2的運(yùn)動(dòng)由下列公式表示。
這里，靜止平面由z＝ax+by+c表示時(shí)，關(guān)于在圖象坐標(biāo)上的點(diǎn)P的移動(dòng)(u，v)→(u′，v′)，下列公式成立。
這里，在圖象坐標(biāo)上的對(duì)應(yīng)點(diǎn)(u，v)，(u′，v′)和靜止平面公式的系數(shù)a，b，c是已知的，當(dāng)匯集未知參數(shù)(wx，wy，wz，tx，ty，tz)時(shí)，上述公式成為下列形式。
[公式15]當(dāng)其中令A(yù)C＝R時(shí)，能夠用最小二乘法求得作為車輛運(yùn)動(dòng)的旋轉(zhuǎn)和平行移動(dòng)的項(xiàng)。
C＝(AtA)-1AtR(第2實(shí)施形態(tài))圖14是概念地表示與本發(fā)明的第2實(shí)施形態(tài)有關(guān)的車輛用監(jiān)視裝置的基本構(gòu)成的方框圖。在圖14中，在與圖1共同的構(gòu)成要素上附加與圖1相同的標(biāo)號(hào)，這里我們省略對(duì)它們的詳細(xì)說(shuō)明。與第1實(shí)施形態(tài)不同之處是在空間模型推定部分14A用由自己車輛運(yùn)動(dòng)推定部分13推定的自己車輛運(yùn)動(dòng)信息，推定比較單純的空間模型這點(diǎn)上。
一般地說(shuō)，在車輛行進(jìn)的狀況中，在路面上，存在著建筑物和電線桿、告示板、柱子等各種東西。因此，在攝象機(jī)11中，拍攝到路面、建筑物、電線桿、告示板、柱子，進(jìn)一步天空等各種東西。這里，考慮用單純的空間模型假定攝象機(jī)11拍攝到的各種東西的方法。
攝象機(jī)拍攝到的東西是各種各樣的東西，但是當(dāng)將攝象機(jī)設(shè)置在車輛后方向下時(shí)，存在著大致沒有錯(cuò)誤地可以拍攝到的東西。它是“車輛行進(jìn)的路面”。因此，首先作為空間模型，用對(duì)車輛行進(jìn)的路面進(jìn)行模型化的“路面模型”。因?yàn)槁访婺Ｐ褪菬o(wú)限延長(zhǎng)行進(jìn)路面的模型，所以只要斜率沒有急劇的變化，就能夠推定正確的路面模型。又，即便如坡路和上下激烈變化的道路那樣地路面的斜率發(fā)生變化的情形中，通過(guò)用陀螺儀那樣的傳感器，也可以生成考慮到路面斜率的影響的路面模型。
可是，路面模型不一定能夠用于攝象機(jī)圖象上的所有區(qū)域。這是因?yàn)榭紤]到通常將攝象機(jī)設(shè)置在大致接近水平的狀態(tài)中，所以這時(shí)，在比攝象機(jī)圖象內(nèi)的地平線高的區(qū)域內(nèi)，不能反映出路面。當(dāng)然也可以為了在攝象機(jī)圖象的所有區(qū)域內(nèi)反應(yīng)出路面而配置攝象機(jī)，但是這時(shí)，因?yàn)閿z象機(jī)能夠監(jiān)視的范圍變得狹窄，所以不實(shí)用。
因此，在本實(shí)施形態(tài)中，除了路面模型外，還假定對(duì)行進(jìn)路面垂直的壁面作為空間模型。我們將這個(gè)空間模型稱為“壁面模型”。
圖15是表示壁面模型的一個(gè)例子的圖。在圖15中，1是車輛，2是設(shè)置在車輛1上的攝象機(jī)，由從攝象機(jī)2延伸的2條直線包圍的區(qū)域VA是攝象機(jī)2的拍攝區(qū)域。如圖15所示，在只離開車輛1距離為L(zhǎng)的后方，假定對(duì)行進(jìn)路面垂直的壁面的壁面模型MW是最簡(jiǎn)單的。這個(gè)壁面模型MW假定，在攝象機(jī)2的視野范圍VA中，能夠覆蓋不能夠由路面模型MS覆蓋的全部區(qū)域那樣地充分地大。在攝象機(jī)2的視野范圍VA中，存在于攝象機(jī)2和壁面模型MW之間的區(qū)域成為路面模型MS的區(qū)域。因此，當(dāng)車輛1直線行進(jìn)時(shí)，由攝象機(jī)2拍攝到的攝象機(jī)圖象，如圖所示，上部由壁面模型MW占據(jù)，下部由路面模型MS占據(jù)。
當(dāng)用圖15那樣的壁面模型時(shí)，如何決定到壁面模型MW的距離L成為一個(gè)問(wèn)題。圖16是表示在右曲線中的背景通量的例子的圖，各箭頭表示求得的背景通量，白線表示路面上的白線。又，MWA是由壁面模型MW求得背景通量的區(qū)域，MSA是由路面模型MS求得背景通量的區(qū)域。在圖16中，(a)表示當(dāng)L十分長(zhǎng)時(shí)的情形，(b)表示當(dāng)L十分短時(shí)的情形，通過(guò)比較(a)和(b)，我們可以看到與距離L的大小對(duì)應(yīng)的背景通量的變化。
即，當(dāng)比較圖16(a)和(b)時(shí)，首先我們看到在壁面模型區(qū)域MWA中的背景通量的大小具有很大的不同?？墒?，如上所述，因?yàn)樵诮咏矬w檢測(cè)處理中加上稱謂“接近物體的一部分與路面接觸”的條件，所以如果能夠正確地求得在路面模型區(qū)域MSA中的背景通量，則不一定需要正確地求得在壁面模型區(qū)域MSA中的背景通量。
又，我們看到路面模型和壁面模型的邊界附近的區(qū)域BA中的背景通量在圖16(a)和(b)中具有相當(dāng)大的不同。這個(gè)邊界區(qū)域BA也是當(dāng)判定路面時(shí)很重要的區(qū)域，所以，根據(jù)如何設(shè)定到壁面模型MW的距離L，可能導(dǎo)致檢測(cè)精度的惡化。
因此，作為別的壁面模型，如圖17所示，想定在車輛1的兩側(cè)具有壁(MW1，MW2)那樣的空間模型。這可以稱為在高度無(wú)限的隧道中行進(jìn)的狀況。在攝象機(jī)2的視野范圍VA內(nèi)存在于左右壁面模型MW1，MW2之間的區(qū)域成為路面模型MS的區(qū)域。因此，當(dāng)車輛1直線行進(jìn)時(shí)，由攝象機(jī)2拍攝到的攝象機(jī)圖象，如圖所示，上部由左右壁面模型MW1，MW2占據(jù)，下部由路面模型MS占據(jù)。此外，在圖17中，為了說(shuō)明簡(jiǎn)單起見，使車輛1直線行進(jìn)，但是當(dāng)車輛曲線行進(jìn)時(shí)，最好使壁面模型也與這條曲線的曲率相符地彎曲。
下面我們?cè)敿?xì)述說(shuō)將圖17所示的空間模型作為從攝象機(jī)圖象到現(xiàn)實(shí)世界3維坐標(biāo)系的變換式進(jìn)行記述的情形。
首先，我們說(shuō)明路面模型。當(dāng)假定行進(jìn)路面是沒有斜率的平的路面時(shí)，路面模型成為現(xiàn)實(shí)世界3維坐標(biāo)系的Xw-Yw平面。因此，當(dāng)將這個(gè)平面關(guān)系式Zw＝0代入(公式1)，(公式2)時(shí)，能夠用下列公式，將攝象機(jī)圖象上的點(diǎn)P(Xi，Yi)變換到現(xiàn)實(shí)世界3維坐標(biāo)系Pw(Xw，Yw，Zw)。
公式8成為從路面模型中的圖象坐標(biāo)系到現(xiàn)實(shí)世界3維坐標(biāo)系的變換式。
其次，我們說(shuō)明壁面模型。使車輛1從時(shí)刻t-1到時(shí)刻t之間以旋轉(zhuǎn)半徑R旋轉(zhuǎn)行進(jìn)。將時(shí)刻t的車輛1的后輪中央位置定為現(xiàn)實(shí)世界3維坐標(biāo)系的原點(diǎn)，旋轉(zhuǎn)中心為(R，0，0)。但是，旋轉(zhuǎn)半徑R的符號(hào)可以取正負(fù)兩者，當(dāng)車輛1反時(shí)鐘旋轉(zhuǎn)時(shí)為正，順時(shí)鐘旋轉(zhuǎn)時(shí)為負(fù)。
這時(shí)，壁面模型，因?yàn)樵诂F(xiàn)實(shí)世界3維坐標(biāo)系中，在Xw-Zw平面中的截面的中心為點(diǎn)(R，0，0)，是與Xw-Zw平面垂直的半徑(R±W/2)的圓筒的一部分，所以由下列公式表示。
(Xw-R)2+Zw2＝(R±W/2)2用這個(gè)公式和(公式1)，(公式2)，能夠通過(guò)下列公式將攝象機(jī)圖象上的P(Xi，Yi)變換到現(xiàn)實(shí)世界3維坐標(biāo)系Pw(Xw，Yw，Zw)。
進(jìn)一步，通過(guò)加上1)在攝象機(jī)2后面不存在(Ze＞0)在攝象機(jī)圖象中拍攝的物體2)空間模型在比路面高的位置上(Yw≥0)這樣的條件，能夠唯一地決定Pw(Xw，Yw，Zw)。(公式9)是作為從圖象坐標(biāo)系到現(xiàn)實(shí)世界3維坐標(biāo)系的變換式表現(xiàn)出來(lái)的壁面模型。
又，當(dāng)用圖17那樣的壁面模型時(shí)，如何決定在車輛左右的假定的壁面MW1，MW2之間的距離W成為一個(gè)問(wèn)題。圖18是表示在右曲線中的背景通量的例子的圖，各箭頭表示求得的背景通量，白線表示路面上的白線。又，MW1A是從攝象機(jī)2觀看時(shí)由左側(cè)的壁面模型MW1求得背景通量的區(qū)域，MW2A是從攝象機(jī)2觀看時(shí)由右側(cè)的壁面模型MW2求得背景通量的區(qū)域，MSA是由路面模型MS求得背景通量的區(qū)域。在圖18中，(a)表示當(dāng)W十分小時(shí)的情形，(b)表示當(dāng)W十分大時(shí)的情形，通過(guò)比較(a)和(b)，我們可以看到與距離W的大小對(duì)應(yīng)的背景通量的變化。
即，當(dāng)比較圖18(a)和(b)時(shí)，我們看到在左右壁面模型的邊界附近的區(qū)域BA1中的背景通量的大小具有很大的不同?？墒?，如上所述，因?yàn)樵诮咏矬w檢測(cè)處理中加上稱謂“接近物體的一部分與路面接觸”的條件，所以如果能夠正確地求得在路面模型區(qū)域MSA中的背景通量，則即便在壁面模型區(qū)域MW1A，MW1B內(nèi)的背景通量中產(chǎn)生誤差，對(duì)于接近物體檢測(cè)也不會(huì)成為大的問(wèn)題。
即，在圖17所示的壁面模型中，與圖15所示的在攝象機(jī)后方假定壁面的情形不同，在壁面模型和路面模型的邊界區(qū)域中，因?yàn)榕c壁面的間隔W的大小有關(guān)，在背景通量中不產(chǎn)生那么大的差，所以能夠高精度地檢測(cè)接近物體。例如，最好壁面的間隔W約為10m。
當(dāng)然，壁面間的間隔W，能夠通過(guò)利用激光、超聲波、紅外線或毫米波等的各種障礙物檢測(cè)傳感器進(jìn)行測(cè)定，也可以用兩眼觀測(cè)、運(yùn)動(dòng)立體法進(jìn)行測(cè)定。又，也可以利用路面的結(jié)構(gòu)信息，從攝象機(jī)圖象提取路面以外的區(qū)域，將該區(qū)域假定為壁面。進(jìn)一步，也能夠用測(cè)距傳感器只測(cè)定空間模型的一部分，如這里說(shuō)明那樣地用平面和曲面對(duì)除此以外的區(qū)域進(jìn)行模型化。又，也可以用攝象機(jī)圖象和通信，求得現(xiàn)在車輛正在行進(jìn)的道路的車道數(shù)，利用這個(gè)結(jié)果決定壁面間的距離W。作為從攝象機(jī)圖象決定車道數(shù)的方法，例如，存在進(jìn)行白線檢測(cè)，用求得的白線條數(shù)決定車道數(shù)的方法等。
此外，空間模型的形狀，也可以根據(jù)汽車駕駛導(dǎo)向系統(tǒng)那樣的GPS信息和地圖數(shù)據(jù)、或者時(shí)鐘等產(chǎn)生的時(shí)刻數(shù)據(jù)、和車輛的雨刷、頭燈等的工作數(shù)據(jù)等進(jìn)行切換。例如，當(dāng)從GPS信息和地圖數(shù)據(jù)，知道車輛現(xiàn)在正在隧道中行進(jìn)時(shí)，也可以求得存在天井那樣的空間模型?；蛘撸材軌蛲ㄟ^(guò)安裝在隧道入口等的DSRC等的通信裝置，得到車輛在隧道中行進(jìn)的信息。又，因?yàn)樵谒淼乐行羞M(jìn)時(shí)通常都打開了頭燈，所以與時(shí)間數(shù)據(jù)和雨刷數(shù)據(jù)、頭燈數(shù)據(jù)聯(lián)動(dòng)，例如，盡管不在夜間(從時(shí)間數(shù)據(jù)推定)，也不下雨(從雨刷推定)，當(dāng)打開頭燈時(shí)，也能夠判斷在隧道中行進(jìn)，切換空間模型。
圖19是表示與本實(shí)施形態(tài)有關(guān)的自己車輛推定部分13、空間模型推定部分14A和背景通量推定部分15的工作的操作程序圖。首先，通過(guò)測(cè)定從時(shí)刻t-1到時(shí)刻t的車輛的左右兩車輪的旋轉(zhuǎn)脈沖和方向盤切角，求得在時(shí)刻t的自己車輛的左右的車輪速度Vl，Vr和前輪的切角β(S61)。而且，從這樣求得的車輪速度Vl，Vr、切角β和已知的輪距l(xiāng)，用上述的地面指令模型，按照(公式7)推定車輛的運(yùn)動(dòng)矢量T(S62)。
可是，到此應(yīng)該全部求得時(shí)刻t-1以前的運(yùn)動(dòng)矢量。因此，通過(guò)與到此的運(yùn)動(dòng)矢量的結(jié)合，求得到時(shí)刻t-1的自己車輛的軌跡(S63)。圖20表示這樣求得的到時(shí)刻t-1的軌跡的例子。在圖20中，T表示現(xiàn)在的運(yùn)動(dòng)矢量，TR表示通過(guò)與到此的運(yùn)動(dòng)矢量的結(jié)合求得的軌跡。
其次，推定空間模型(S64)。這里，用如上述圖17所示的路面模型和壁面模型。即如圖21所示，可以求得包含軌跡TR的平面作為路面模型MS，能夠求得與在軌跡TR的左右只離開長(zhǎng)度W/2位置上的路面模型MS垂直的壁面，作為壁面模型MW1，MW2。
其次，推定背景通量(S65～68)。首先，將在時(shí)刻t-1的攝象機(jī)圖象上的任意點(diǎn)PreCi(PreXi，PreYi)映射到現(xiàn)實(shí)世界3維坐標(biāo)PreRi(PreXw，PreYw，PreZw)(S65)。圖22是表示這種處理的圖。角度θ是攝象機(jī)2的畫面角。如上所述，只用(公式1)，(公式1)所示的透射投影變換式，只知道在通過(guò)攝象機(jī)2的焦點(diǎn)的直線LN上的對(duì)應(yīng)關(guān)系，不能夠?qū)z象機(jī)圖象上的點(diǎn)PreCi映射到現(xiàn)實(shí)世界坐標(biāo)系的一點(diǎn)上。但是當(dāng)假定車輛1正在推定的空間模型內(nèi)行進(jìn)時(shí)，能夠求得點(diǎn)PreRi，作為這條直線LN和空間模型(圖22中MW2)的交點(diǎn)。
其次，通過(guò)只以現(xiàn)在的運(yùn)動(dòng)矢量T使車輛1運(yùn)動(dòng)，求得在時(shí)刻t的自己車輛的位置，為了與這個(gè)位置符合而更新坐標(biāo)變換式(公式2)的參數(shù)(S66)。而且，在這個(gè)攝象機(jī)位置上計(jì)算現(xiàn)實(shí)世界坐標(biāo)PreRi是否映射到攝象機(jī)圖象上的哪個(gè)位置。從現(xiàn)實(shí)世界坐標(biāo)到攝象機(jī)圖象上的變換，能夠通過(guò)用(公式1)和更新后的(公式2)來(lái)實(shí)現(xiàn)。將這樣求得的攝象機(jī)圖象上的點(diǎn)作為NextCi(NextXi，NextYi)(S67)。圖23是模式地表示這里的處理的圖。
這里求得的NextCi(NextXi，NextYi)表示當(dāng)假定點(diǎn)PreRi在從時(shí)刻t-1到時(shí)刻t之間不動(dòng)，即作為背景物體上的點(diǎn)時(shí)的，在時(shí)刻t的攝象機(jī)圖象上的位置。因此，能夠求得當(dāng)假定時(shí)刻t-1的攝象機(jī)圖象上的點(diǎn)PreCi是背景的一部分時(shí)的背景通量BFL，為(NextXi-PreXi，NextYi-PreYi)(S68)。通過(guò)對(duì)攝象機(jī)圖象上的所有的點(diǎn)進(jìn)行這樣的處理，能夠求得圖13所示的背景通量。
與本實(shí)施形態(tài)有關(guān)的進(jìn)行接近物體檢測(cè)的例子如圖24～圖26所示。圖24是由設(shè)置在車輛后方的攝象機(jī)拍攝的圖象。車輛在交叉點(diǎn)右拐時(shí)，來(lái)自后方的白色乘用車VC1正在接近。此外，在圖象上運(yùn)動(dòng)的物體只是白色乘用車VC1，乘用車VC2，VC3正在停止中。
這里，我們考慮上述的第1已有例。在第1已有例中，首先如圖25(a)所示，在水平方向分割設(shè)定區(qū)域L和區(qū)域R。而且，在檢測(cè)出的光通量中，在區(qū)域L檢測(cè)向左或左下方向的東西，在區(qū)域R檢測(cè)向右或右下方向的東西作為接近物體。
這里，在區(qū)域L內(nèi)假定區(qū)域AR1，AR2。在區(qū)域AR1中包含作為接近物體的乘用車VC1，在區(qū)域AR2中包含正在靜止中的乘用車VC2。但是，因?yàn)閰^(qū)域AR1內(nèi)的乘用車VC1持有箭頭所示的右下方向的光通量，所以不能作為接近物體檢測(cè)出來(lái)。另一方面，區(qū)域AR2內(nèi)的乘用車VC2，因?yàn)樵撥囕v正在曲線上行進(jìn)，所以具有箭頭所示的左方向的光通量，因此能夠作為接近物體檢測(cè)出來(lái)。圖25(b)表示進(jìn)行這種處理的結(jié)果，由矩形包圍的區(qū)域是作為接近物體檢測(cè)出來(lái)的區(qū)域。這樣，在第1已有例中，不能夠很好地進(jìn)行在曲線上的接近物體的檢測(cè)。
另一方面，根據(jù)本實(shí)施形態(tài)，如圖26(a)的箭頭所示可以求得區(qū)域AR1，AR2中的背景通量。即，在包含作為接近物體的乘用車VC1的區(qū)域AR1中，光通量如圖25(a)所示向右下方向，與此相對(duì)，背景通量如圖26(a)所示向左方向，是完全不同的。因此，可以判別區(qū)域AR1是接近物體。另一方面，在包含正在靜止中的乘用車VC2的區(qū)域AR2中，光通量如圖25(a)所示向左方向，但是背景通量也同樣如圖26(a)所示向左方向，非常相似。因此，可以判別區(qū)域AR2不是接近物體，而是背景。圖26(b)表示進(jìn)行這種處理的結(jié)果，由矩形包圍的區(qū)域是作為接近物體檢測(cè)出來(lái)的區(qū)域。這樣，根據(jù)本發(fā)明，與已有例不同，可以確實(shí)地檢測(cè)即便在曲線上的接近物體。
此外，在日本2000年公布的2000-74645號(hào)專利公報(bào)和日本2001年公布的2001-266160號(hào)專利公報(bào)中記載著利用路面模型的車輛用監(jiān)視裝置。可是，在這些技術(shù)中，不能夠如本發(fā)明那樣，為了求得背景通量而用路面模型。又，不以檢測(cè)曲線行進(jìn)時(shí)的接近物體為目的，與本專利申請(qǐng)的發(fā)明的課題不同。
當(dāng)具體地進(jìn)行說(shuō)明時(shí)，首先在前者，檢測(cè)從監(jiān)視區(qū)域內(nèi)的其它車輛產(chǎn)生的光通量，用檢測(cè)出的光通量監(jiān)視自己車輛和周圍其它車輛的相對(duì)關(guān)系。這種技術(shù)的特征是，為了縮短處理時(shí)間，限定檢測(cè)光通量的區(qū)域，為了實(shí)現(xiàn)這一點(diǎn)，利用路面模型。即，如本發(fā)明那樣不一定將空間模型用于檢測(cè)接近物體通量。實(shí)際上，在這種技術(shù)中，因?yàn)閷⒗蒙鲜龅?個(gè)已有例所示的假想的FOE的方法用于檢測(cè)在曲線上的接近物體通量，所以具有與第5個(gè)已有例同樣的問(wèn)題。即，不能夠在不是白線的曲線上正確地檢測(cè)接近物體。
又，后者利用畫面上各點(diǎn)的3維運(yùn)動(dòng)。即，首先，關(guān)于畫面上各點(diǎn)，求得作為畫面上的2維運(yùn)動(dòng)的光通量。而且，根據(jù)求得的光通量和車輛運(yùn)動(dòng)信息，計(jì)算各點(diǎn)的在現(xiàn)實(shí)世界中的3維運(yùn)動(dòng)。通過(guò)時(shí)間地追蹤這個(gè)3維運(yùn)動(dòng)，推定實(shí)際上車輛行進(jìn)的空間的空間模型。在這樣推定的空間模型中，檢測(cè)與路面運(yùn)動(dòng)不同的東西作為障礙物。但是，在這種技術(shù)中，存在著為了3維地完全求得各點(diǎn)的運(yùn)動(dòng)，需要非常高的計(jì)算成本那樣的問(wèn)題，很難實(shí)現(xiàn)。
<硬件構(gòu)成例>
圖27是表示用于實(shí)現(xiàn)本發(fā)明的硬件構(gòu)成的一個(gè)例子的圖。在圖27中，例如在圖象處理裝置20中通過(guò)由圖象輸入部分21將由設(shè)置在車輛后方的攝象機(jī)2拍攝的圖象變換成數(shù)字信號(hào)，存儲(chǔ)在幀存儲(chǔ)器22中。而且DSP23從存儲(chǔ)在幀存儲(chǔ)器22中的經(jīng)過(guò)數(shù)字化的圖象信號(hào)檢測(cè)光通量。通過(guò)總線43將檢測(cè)出的光通量供給微型計(jì)算機(jī)30。另一方面，車速傳感器41測(cè)定車輛的行進(jìn)速度，舵角傳感器42測(cè)定車輛的行進(jìn)舵角。通過(guò)總線43將表示測(cè)定結(jié)果的信號(hào)供給微型計(jì)算機(jī)30。
微型計(jì)算機(jī)30備有CPU31、存儲(chǔ)所定的控制用程序的ROM32和存儲(chǔ)由CPU31計(jì)算的結(jié)果的RAM33，判定攝象機(jī)2拍攝的圖象內(nèi)是否存在接近物體。
即，CPU31首先從由車速傳感器41和舵角傳感器42供給的行進(jìn)速度信號(hào)和舵角信號(hào)，推定車輛的運(yùn)動(dòng)。其次，根據(jù)推定的車輛運(yùn)動(dòng)，推定車輛至此行進(jìn)的軌跡。因?yàn)閷⑦^(guò)去的軌跡信息存儲(chǔ)在RAM33中，所以CPU31通過(guò)將推定的車輛運(yùn)動(dòng)與存儲(chǔ)在RAM33中的過(guò)去的軌跡信息結(jié)合起來(lái)，求得直到該時(shí)刻的軌跡。將這個(gè)新的軌跡信息存儲(chǔ)在RAM33中。
而且，CPU31用存儲(chǔ)在RAM33中的軌跡信息，推定空間模型，求得背景通量。而且，通過(guò)比較求得的背景通量和從圖象處理裝置20供給的光通量，檢測(cè)接近物體的通量，檢測(cè)接近物體。
(第3實(shí)施形態(tài))圖28是概念地表示與本發(fā)明的第3實(shí)施形態(tài)有關(guān)的車輛用監(jiān)視裝置的基本構(gòu)成的方框圖。在圖28中，在與圖1共同的構(gòu)成要素上附加與圖1相同的標(biāo)號(hào)，這里我們省略對(duì)它們的詳細(xì)說(shuō)明。與第1實(shí)施形態(tài)不同之處是光通量檢測(cè)部分12A用由背景通量推定部分15推定的背景通量檢測(cè)光通量這點(diǎn)上。因此，能夠達(dá)到削減光通量計(jì)算時(shí)間和提高精度的目的。
作為攝象機(jī)圖象上的物體運(yùn)動(dòng)的光通量Vi，如下式所示，用由對(duì)象物體實(shí)際運(yùn)動(dòng)產(chǎn)生的運(yùn)動(dòng)Vb和由攝象機(jī)自身的運(yùn)動(dòng)產(chǎn)生的相對(duì)運(yùn)動(dòng)Vc之和表示。
Vi＝Vb+Vc這里，當(dāng)對(duì)象不動(dòng)，即作為背景時(shí)，Vb為0，Vc等于背景通量。又，當(dāng)對(duì)象是正在移動(dòng)的物體時(shí)，Vb與對(duì)象物體的移動(dòng)矢量有關(guān)，但是Vc大致等于背景通量。這表示，當(dāng)對(duì)象物體的移動(dòng)量不太大時(shí)，這個(gè)光通量存在于背景通量的近旁。因此，當(dāng)求光通量時(shí)，通過(guò)只檢索背景通量的近旁，能夠達(dá)到使探索區(qū)域變得狹窄，削減計(jì)算時(shí)間的目的。
又，用同樣的方法，也能夠提高光通量的檢測(cè)精度。這在將階層化圖象用于檢測(cè)光通量的情形中特別有效。如上所述，為了削減計(jì)算時(shí)間用階層化圖象，但是階層越在上面位置，圖象分辨率越低，因此，在樣板匹配中產(chǎn)生誤差的可能性增大。而且如果在上面位置的階層中產(chǎn)生誤差，發(fā)生錯(cuò)誤的檢測(cè)時(shí)，該誤差不被下面位置的階層吸收，所以，檢測(cè)出與實(shí)際不同的光通量。
圖29是模式地表示在階層化圖象中的塊匹配結(jié)果的圖。在圖29中，圖象1是縮小作為原圖象的圖象0乘上LPF的圖象，圖象2是進(jìn)一步縮小圖象1乘上LPF的圖象。圖象內(nèi)的各矩陣表示進(jìn)行了匹配的矩陣，其中的數(shù)字表示該塊G和樣板塊F的差分評(píng)價(jià)函數(shù)的值。即，當(dāng)令塊的大小為m×n，樣板塊F的各象素的亮度為f(i，j)，該塊G的各象素的亮度為g(x，y，i，j)時(shí)，差分評(píng)價(jià)函數(shù)E(x，y)由(公式10)或(公式11)表示。
[公式11]即，這個(gè)差分評(píng)價(jià)函數(shù)E(x，y)的值為最小的塊是與樣板塊F對(duì)應(yīng)的塊，與這個(gè)圖象中的光通量對(duì)應(yīng)。
首先，在分辨率最低的圖象2中進(jìn)行塊匹配?，F(xiàn)在，當(dāng)樣板塊F是向圖象的右上方向移動(dòng)的塊時(shí)，按理與塊G(1，-1)的匹配性最高，差分評(píng)價(jià)函數(shù)E(1，-1)應(yīng)該成為最小?？墒?，由于階層化引起分辨率降低和結(jié)構(gòu)、開口問(wèn)題等的影響，如圖29所示，E(-1，1)成為最小。這樣一來(lái)，在圖象1中，設(shè)定與圖象2的塊G(-1，1)對(duì)應(yīng)的塊作為探索塊，進(jìn)一步其中設(shè)定與差分評(píng)價(jià)函數(shù)值成為最小的塊對(duì)應(yīng)的塊作為圖象2中的探索區(qū)域。但是，在這個(gè)探索區(qū)域內(nèi)不存在與正確的光通量對(duì)應(yīng)的塊，所以，檢測(cè)出錯(cuò)誤的光通量。
這里在本實(shí)施形態(tài)中，當(dāng)分辨率最高的原圖象0中塊匹配時(shí)，通過(guò)也將背景通量近旁的塊加到探索區(qū)域中，解決這個(gè)問(wèn)題。如上所述，在背景通量近旁存在光通量的可能性很大。又，對(duì)于接近物體通量檢測(cè)，光通量與背景通量的不同變得很重要，但是換句話說(shuō)，當(dāng)在背景通量近旁不存在光通量時(shí)，將該光通量稱為移動(dòng)物體。即，通過(guò)使背景通量近旁進(jìn)入探索區(qū)域，能夠判別光通量是否是背景。例如，當(dāng)在背景通量近旁存在差分評(píng)價(jià)函數(shù)值為最小的塊時(shí)，與它有關(guān)的光通量是背景，但是當(dāng)差分評(píng)價(jià)函數(shù)值比背景通量近旁小的塊存在于背景通量近旁以外時(shí)，能夠判別該光通量是移動(dòng)物體。
(第4實(shí)施形態(tài))圖30是概念地表示與本發(fā)明的第4實(shí)施形態(tài)有關(guān)的車輛用監(jiān)視裝置的基本構(gòu)成的圖。在圖30中，在與圖1共同的構(gòu)成要素上附加與圖1相同的標(biāo)號(hào)，這里我們省略對(duì)它們的詳細(xì)說(shuō)明。與第1實(shí)施形態(tài)不同之處是省去背景通量推定部分15，接近物體檢測(cè)部分16A求得對(duì)象物體的空間運(yùn)動(dòng)，檢測(cè)接近物體這點(diǎn)上。在接近物體檢測(cè)部分16A，3維運(yùn)動(dòng)推定部分16c用由光通量檢測(cè)部分12從攝象機(jī)圖象實(shí)際求得的光通量Vi、由自己車輛運(yùn)動(dòng)推定部分13求得的該車輛的運(yùn)動(dòng)矢量T和由空間模型推定部分14推定的空間模型，求得不是光通量那樣的平面的運(yùn)動(dòng)而是對(duì)象物體的空間運(yùn)動(dòng)。
現(xiàn)在我們參照?qǐng)D31和圖32，說(shuō)明3維運(yùn)動(dòng)推定部分16c中的處理。圖31是模式地表示時(shí)刻t-1的車輛1和空間模式的關(guān)系的圖，想定與圖17同樣的空間模式MS，MW1，MW2。但是，空間模式是在現(xiàn)實(shí)世界的3維坐標(biāo)系中表現(xiàn)出來(lái)的。又，攝象機(jī)2拍攝的攝象機(jī)圖象也一起如圖所示。這里如上所述，能夠通過(guò)用透視投影變換式(公式1，公式2)和空間模式MS，MW1，MW2，求得將攝象機(jī)圖象上的任意點(diǎn)Ci投影到現(xiàn)實(shí)世界3維坐標(biāo)系上的點(diǎn)Ri。又，T是由自己車輛運(yùn)動(dòng)推定部分13求得的，從時(shí)刻t-1到時(shí)刻t的車輛1的運(yùn)動(dòng)矢量。
圖32是模式地表示時(shí)刻t的車輛1和空間模式的關(guān)系的圖。一般地說(shuō)，當(dāng)時(shí)刻變動(dòng)時(shí)空間模式變化。這里，從光通量檢測(cè)部分12，看到在時(shí)刻t-1的點(diǎn)Ci與在時(shí)刻t的點(diǎn)NextCi對(duì)應(yīng)。這時(shí)，與對(duì)于點(diǎn)Ci的點(diǎn)Ri同樣，能夠求得將在時(shí)刻t的點(diǎn)NextCi投影到現(xiàn)實(shí)世界3維坐標(biāo)上的點(diǎn)NextRi。因此，能夠如下列公式所示地求得點(diǎn)Ri直到在時(shí)刻t運(yùn)動(dòng)的矢量VRi。
VRi＝NextRi-Ri可是，因?yàn)榍蟮脧臅r(shí)刻t-1到時(shí)刻t的車輛1的運(yùn)動(dòng)作為矢量T，所以通過(guò)求得矢量(VRi-T)，能夠求得攝象機(jī)圖象上的點(diǎn)Ci的在現(xiàn)實(shí)世界3維坐標(biāo)上的運(yùn)動(dòng)，即空間通量。通過(guò)對(duì)攝象機(jī)圖象上的所有的點(diǎn)進(jìn)行這種處理，能夠求得攝象機(jī)圖象上的所有的點(diǎn)的現(xiàn)實(shí)世界3維坐標(biāo)上的運(yùn)動(dòng)。
當(dāng)然，空間模型也可以如第1實(shí)施形態(tài)那樣通過(guò)各種傳感器和通信求得，也可以用其它的空間模型。
接近物體通量檢測(cè)部分16d，根據(jù)由3維運(yùn)動(dòng)推定部分16c求得的攝象機(jī)圖象上各點(diǎn)的現(xiàn)實(shí)世界3維坐標(biāo)系中的運(yùn)動(dòng)，即空間通量，判斷該點(diǎn)是否正在接近自己車輛。即，判定當(dāng)矢量(VRi-T)向著車輛時(shí)，點(diǎn)Ci是接近物體的通量。當(dāng)矢量(VRi-T)不向著車輛時(shí)，點(diǎn)Ci不是接近物體的通量。
進(jìn)一步，通過(guò)由除去噪聲部分16e，進(jìn)行與第1實(shí)施形態(tài)有關(guān)的除去噪聲部分16b同樣的處理，能夠檢測(cè)接近物體。
在到此為止的說(shuō)明中，假定空間模型是在現(xiàn)實(shí)世界3維坐標(biāo)系中記述的，但是代替它，也可以在攝象機(jī)坐標(biāo)系中表現(xiàn)出來(lái)。這時(shí)，攝象機(jī)圖象上的點(diǎn)Ci，NextCi分別與攝象機(jī)坐標(biāo)系中的點(diǎn)Ri，NextRi對(duì)應(yīng)。攝象機(jī)坐標(biāo)系的原點(diǎn)，因?yàn)橹贿M(jìn)行與從時(shí)刻t-1到時(shí)刻t之間車輛1的運(yùn)動(dòng)矢量T相當(dāng)?shù)倪\(yùn)動(dòng)，所以攝象機(jī)圖象上的點(diǎn)Ci的運(yùn)動(dòng)矢量VRi能夠如下地求得。
VRi＝NextRi-Ri-T判定當(dāng)這個(gè)矢量VRi向著原點(diǎn)時(shí)，點(diǎn)Ci是接近物體的通量，當(dāng)這個(gè)矢量Vri不向著原點(diǎn)時(shí)，點(diǎn)Ci不是接近物體的通量。通過(guò)對(duì)攝象機(jī)圖象上的所有的點(diǎn)進(jìn)行這種處理，能夠通過(guò)除去噪聲部分16c進(jìn)行除去噪聲處理，檢測(cè)接近物體。
<與障礙物傳感器的兼用>
本發(fā)明是用圖象信息檢測(cè)接近物體。因此，當(dāng)與利用激光、紅外線、毫米波等的障礙物傳感器的情形比較時(shí)，可以進(jìn)行接近物體正在接近還是正在遠(yuǎn)離那樣的復(fù)雜檢測(cè)?？墒?，當(dāng)車輛近旁存在障礙物時(shí)，與這種復(fù)雜的信息比較，最早地正確地檢測(cè)出是否存在障礙物的單純的信息很重要。
因此，也可以由障礙物傳感器檢測(cè)車輛近旁的區(qū)域，關(guān)于除此以外的廣泛區(qū)域，用與本發(fā)明有關(guān)的方法檢測(cè)障礙物。因此，可以高速并且正確地進(jìn)行車輛周圍的監(jiān)視。
圖33是表示障礙物傳感器的設(shè)置例的圖。在圖33(a)中，將用激光、紅外線、毫米波等的障礙物傳感器5 1安裝在車輛1的減震器和標(biāo)志牌等等上。又，在圖33(b)中，在碰撞事故可能性最大的車輛1的四個(gè)角上設(shè)置障礙物傳感器52。設(shè)置障礙物傳感器52的位置也可以在減震器的下面和下面，或者組入減震器和車輛自身中。
又，障礙物傳感器，因?yàn)槭艿较掠甑葰夂虻暮艽笥绊?，所以?dāng)從方向指示燈的工作信息等認(rèn)識(shí)到下雨時(shí)，也可以中止利用障礙物傳感器，而用與本發(fā)明有關(guān)的方法。因此，可以提高檢測(cè)精度。
又，關(guān)于用與本發(fā)明有關(guān)的方法檢測(cè)出存在接近物體的區(qū)域，也可以再次由障礙物傳感器進(jìn)行檢測(cè)。因此，能夠提高接近物體的檢測(cè)精度，Xc=XiZcf,Yc=-YiZcf]]>公式1XwYwZwl=r11r12r13txr21r22r23tyr31r32r33tz0001XcYcZcl]]>公式2Rs=1tanβ]]>公式3h=∫Vl+Vr2dt=Rs·γ]]>公式4γ=1Rs∫Vl+Vr2dt=tanβ1∫Vl+Vr2dt]]>公式5α=γ=tanβ1∫Vl+Vr2dt]]>公式6T=(Rssinγ,Rs(1-cosγ))=1tanβ(sinγ,1-cosγ)]]>公式7XwYwZw=-(Xifr11-Yifr12+r13)tzXifr31-Yifr32+r33+tx-(Xifr21-Yifr22+r23)tzXifr31-Yifr32+r33+ty0,Zc=-tzXifr31-Yifr32+r33]]>公式8XwYwZw=aZc+txbZc+tycZc+tz]]>ただし、a=Xifr11-Yifr12+r13,b=Xifr21-Yifr22+r23,c=Xifr31-Yifr32+r33,]]>Zc=a(R-tx)-ctz±{a(tx-R)+ctz}2-(a2+c2){tx2+tz2-(W2)2-2R(tx+W2)}a2+c2]]>公式9E(x,y)=Σi=1mΣj=1n|g(x,y,i,j)-f(i,j)|]]>公式10E(x,y)=Σi=1mΣj=1n(g(x,y,i,j)-f(i,j))2]]>公式11x′y′z′1≅1wz-wytX-wz1wxtYwy-wx1tZ0001xyz1,]]>公式12tXtYtZ≅2wz-wy-wz1wxwy-wx1-Tx-Ty-Tz]]>u′=(1-a′tX)u+(wz-b′tX)v+(-wy+c′tX)f1f(wy-a′tZ)u+1f(-wx-b′tZ)v+(1+c′tZ)]]>v′=(-wz-a′tY)u+(1-b′tY)v+(wx+c′tY)f1f(wy-a′tZ)u+1f(-wx-b′tZ)v+(1+c′tZ)]]>公式13a′=ac,b′=bc,c′=1c]]>(1-a′tX)u+(wz-b′tX)v+(-wy+c′tX)f-(wy-a′tZ)uu′f-(-wx-b′tZ)vu′f-(1+c′tZ)u′=0]]>(-wz-a′tY)u+(1-b′tY)v+(wx+c′tY)f-(wy-a′tZ)uv′f-(-wx-b′tZ)vv′f-(1+c′tZ)v′=0]]>(vu′f)wx+(-f-uu′f)wy+(v)wz+(-a′u-b′v+c′f)tX+(a′uf+b′vf-c′)u′tZ+(u-u′)=0]]>(f+vv′f)wx+(-uv′f)wy+(-u)wz+(-a′u-b′v+c′f)tY+(a′uf+b′vf-c′)v′tZ+(v-v′)=0]]>公式14vu′f-f-uu′fv-a′u-b′v+c′f0(a′uf+b′vf-c′)u′f+vv′f-uv′f-u0-a′u-b′v+c′f(a′uf+b′vf-c′)v′..wxwywztXtYtZ=u′-uv′-v..]]>公式1權(quán)利要求
1.監(jiān)視裝置，其特征是它是用攝象機(jī)拍攝車輛的周圍的監(jiān)視裝置，其中從上述攝象機(jī)拍攝的圖象求得光通量，根據(jù)上述車輛的運(yùn)動(dòng)，求得作為假定背景時(shí)的上述圖象的光通量的背景通量，比較上述光通量和上述背景通量，檢測(cè)在上述車輛周圍的物體的運(yùn)動(dòng)。
2.如權(quán)利要求1所述的監(jiān)視裝置，其特征是用對(duì)上述攝象機(jī)拍攝的空間進(jìn)行模型化得到的空間模型，求得上述背景通量。
3.如權(quán)利要求2所述的監(jiān)視裝置，其特征是上述空間模型是根據(jù)上述攝象機(jī)拍攝的各物體的距離數(shù)據(jù)生成的。
4.如權(quán)利要求3所述的監(jiān)視裝置，其特征是上述車輛設(shè)置了障礙物傳感器，上述距離數(shù)據(jù)是由上述障礙物傳感器測(cè)定的。
5.如權(quán)利要求2所述的監(jiān)視裝置，其特征是上述空間模型至少包含使行進(jìn)路面模型化的路面模型。
6.如權(quán)利要求2所述的監(jiān)視裝置，其特征是上述空間模型至少包含假定對(duì)行進(jìn)路面垂直的壁面的壁面模型。
7.如權(quán)利要求6所述的監(jiān)視裝置，其特征是假定上述壁面是在車輛的后側(cè)方。
8.如權(quán)利要求1所述的監(jiān)視裝置，其特征是當(dāng)比較光通量和背景通量時(shí)，判定上述光通量的大小是否比所定值大，當(dāng)比所定值大時(shí)，用角度差進(jìn)行比較，另一方面當(dāng)不比所定值大時(shí)，不用角度差進(jìn)行比較。
9.如權(quán)利要求8所述的監(jiān)視裝置，其特征是與圖象上的該位置中的背景通量的大小相應(yīng)地設(shè)定上述所定值。
10.如權(quán)利要求1所述的監(jiān)視裝置，其特征是通過(guò)比較光通量和背景通量，從上述光通量中，特定接近物體候補(bǔ)通量，根據(jù)與在近旁的上述接近物體候補(bǔ)通量的關(guān)系，生成接近物體候補(bǔ)區(qū)域，上述接近物體候補(bǔ)區(qū)域的面積，當(dāng)比所定值小時(shí)，判斷與這個(gè)接近物體候補(bǔ)區(qū)域有關(guān)的接近物體候補(bǔ)通量是噪聲。
11.監(jiān)視裝置，其特征是它是用攝象機(jī)拍攝車輛周圍的監(jiān)視裝置，其中從上述攝象機(jī)拍攝的圖象求得光通量，根據(jù)上述光通量、該車輛的運(yùn)動(dòng)和對(duì)上述攝象機(jī)拍攝的空間進(jìn)行模型化得到的空間模型，求得作為上述圖象上的點(diǎn)的在現(xiàn)實(shí)世界坐標(biāo)上的運(yùn)動(dòng)的空間通量，根據(jù)上述空間通量，檢測(cè)在該車輛周圍的物體的運(yùn)動(dòng)。
12.監(jiān)視裝置，其特征是從由攝象機(jī)拍攝車輛周圍得到的圖象，求得光通量，根據(jù)上述車輛的運(yùn)動(dòng)，求得作為假定背景時(shí)的上述圖象的光通量的背景通量，比較上述光通量和上述背景通量，檢測(cè)在上述車輛周圍的物體的運(yùn)動(dòng)。
13.監(jiān)視裝置，其特征是在權(quán)利要求項(xiàng)12中，用設(shè)置在上述車輛中的車速傳感器和舵角傳感器的輸出，推定上述車輛的運(yùn)動(dòng)。
14.程序，它是用于在計(jì)算機(jī)中，實(shí)施關(guān)于由攝象機(jī)拍攝車輛周圍得到的圖象，求得光通量的步驟、根據(jù)上述車輛的運(yùn)動(dòng)，求得作為假定背景時(shí)的上述圖象的光通量的背景通量的步驟、和比較上述光通量和上述背景通量，檢測(cè)在該車輛周圍的物體的運(yùn)動(dòng)的步驟。
全文摘要
本發(fā)明涉及監(jiān)視裝置、監(jiān)視方法和監(jiān)視用程序，根據(jù)本發(fā)明，在用光通量檢測(cè)接近物體的車輛用監(jiān)視裝置中，例如即便在曲線行進(jìn)中，也可以高精度地檢測(cè)接近物體。光通量檢測(cè)部分12從由攝象機(jī)11拍攝的圖象求得光通量Vi。背景光通量推定部分15，根據(jù)由自己車輛運(yùn)動(dòng)推定部分13推定的該車輛的運(yùn)動(dòng)、和由空間模型推定部分14推定的，使攝象機(jī)11拍攝的空間進(jìn)行模型化的空間模型，求得作為假定背景時(shí)的攝象機(jī)圖象的通量的背景通量Vdi。接近物體檢測(cè)部分16比較光通量Vi和背景通量Vdi，檢測(cè)在該車輛周圍的物體的運(yùn)動(dòng)。
文檔編號(hào)G06T7/20GK1457023SQ0312360
公開日2003年11月19日 申請(qǐng)日期2003年5月9日 優(yōu)先權(quán)日2002年5月9日
發(fā)明者佐藤智, 中川雅通, 登一生 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社