專利名稱：車輛周圍監(jiān)測(cè)裝置、車輛以及車輛周圍監(jiān)測(cè)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用車載攝像裝置拍到的圖像來(lái)監(jiān)測(cè)車輛周圍情況的車輛周圍 監(jiān)測(cè)裝置。
背景技術(shù)：
在現(xiàn)有技術(shù)中，有人提出如下一種技術(shù)方案，S卩，根據(jù)車載攝像頭所拍到的圖像測(cè) 定行人等被監(jiān)測(cè)對(duì)象的實(shí)際空間位置，再根據(jù)測(cè)得的測(cè)定結(jié)果判定車輛觸碰被監(jiān)測(cè)對(duì)象的 可能性的大小(參照日本發(fā)明專利公開(kāi)公報(bào)特開(kāi)2007-213561號(hào))。但如果考慮到要規(guī)避車輛與被監(jiān)測(cè)對(duì)象觸碰時(shí)，最好還能判別出被監(jiān)測(cè)對(duì)象的種類。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種能夠解決上述技術(shù)問(wèn)題的車輛周圍監(jiān)測(cè)裝置，通過(guò)該 監(jiān)測(cè)裝置可以精準(zhǔn)地判別被監(jiān)測(cè)對(duì)象的種類。為了實(shí)現(xiàn)上述目的，本發(fā)明所述的車輛周圍監(jiān)測(cè)裝置利用車載攝像裝置拍到的顯 示該車輛周圍情況的圖像來(lái)監(jiān)測(cè)該車輛的周圍情況。該車輛周圍監(jiān)測(cè)裝置包括被監(jiān)測(cè)對(duì) 象檢測(cè)機(jī)構(gòu)，其從上述圖像中檢測(cè)有無(wú)被監(jiān)測(cè)對(duì)象；被監(jiān)測(cè)對(duì)象跟蹤機(jī)構(gòu)，對(duì)該被監(jiān)測(cè)對(duì)象 檢測(cè)機(jī)構(gòu)從第一時(shí)刻所拍到的上述圖像中檢測(cè)到的被監(jiān)測(cè)對(duì)象和從第二時(shí)刻所拍到的上 述圖像中檢測(cè)到的被監(jiān)測(cè)對(duì)象進(jìn)行判定，判定兩者是否是同一被監(jiān)測(cè)對(duì)象即是否滿足同一 性條件；距離檢測(cè)機(jī)構(gòu)，由其測(cè)定從上述車輛到上述檢測(cè)到的被監(jiān)測(cè)對(duì)象之間的距離；第 一監(jiān)測(cè)對(duì)象區(qū)域設(shè)定機(jī)構(gòu)，由其在上述圖像中將上述檢測(cè)到的被監(jiān)測(cè)對(duì)象所在的區(qū)域設(shè)定 為第一監(jiān)測(cè)對(duì)象區(qū)域；第一局部區(qū)域設(shè)定機(jī)構(gòu)，以上述第一時(shí)刻時(shí)的第一監(jiān)測(cè)對(duì)象區(qū)域?yàn)?基準(zhǔn)設(shè)定第一局部區(qū)域，該第一局部區(qū)域有與多個(gè)不同種類的物體分別對(duì)應(yīng)的樣式；第二 監(jiān)測(cè)對(duì)象區(qū)域設(shè)定機(jī)構(gòu)，對(duì)于通過(guò)上述被監(jiān)測(cè)對(duì)象跟蹤機(jī)構(gòu)判定為滿足同一性條件的上述 被監(jiān)測(cè)對(duì)象，將上述第二時(shí)刻時(shí)的所設(shè)定的上述第一監(jiān)測(cè)對(duì)象區(qū)域按比例擴(kuò)大或縮小后的 區(qū)域設(shè)定為第二監(jiān)測(cè)對(duì)象區(qū)域，該比例為由上述距離檢測(cè)機(jī)構(gòu)測(cè)得的上述第一時(shí)刻時(shí)的被 監(jiān)測(cè)對(duì)象的距離與上述第二時(shí)刻時(shí)的被監(jiān)測(cè)對(duì)象的距離之比；第二局部區(qū)域設(shè)定機(jī)構(gòu)，以 上述第二監(jiān)測(cè)對(duì)象區(qū)域設(shè)定機(jī)構(gòu)設(shè)定的第二監(jiān)測(cè)對(duì)象區(qū)域?yàn)榛鶞?zhǔn)，按上述第一局部區(qū)域設(shè) 定機(jī)構(gòu)設(shè)定的第一局部區(qū)域的樣式，設(shè)置區(qū)域并將其設(shè)定為第二局部區(qū)域；相關(guān)度評(píng)定機(jī) 構(gòu)，對(duì)經(jīng)上述第一局部區(qū)域設(shè)定機(jī)構(gòu)設(shè)定的上述第一局部區(qū)域和經(jīng)上述第二局部區(qū)域設(shè)定 機(jī)構(gòu)設(shè)定的上述第二局部區(qū)域之間的相關(guān)度進(jìn)行評(píng)定；被監(jiān)測(cè)對(duì)象分類機(jī)構(gòu)，對(duì)由上述相 關(guān)度評(píng)定機(jī)構(gòu)評(píng)定出的上述相關(guān)度大于閾值的上述第一局部區(qū)域，按其設(shè)置時(shí)的樣式所對(duì) 應(yīng)的種類，對(duì)檢測(cè)到的被監(jiān)測(cè)對(duì)象進(jìn)行分類。采用本發(fā)明所述的車輛周圍監(jiān)測(cè)裝置時(shí)，可分別根據(jù)不同的兩個(gè)時(shí)刻(第一時(shí)刻 和第二時(shí)刻)的車輛到被監(jiān)測(cè)對(duì)象的距離，使設(shè)定在不同兩個(gè)時(shí)刻(第一時(shí)刻和第二時(shí)刻) 的顯示車輛周圍情況的圖像中的同一被監(jiān)測(cè)對(duì)象所在的被監(jiān)測(cè)對(duì)象區(qū)域(第一監(jiān)測(cè)對(duì)象區(qū)域)的大小相等。另外還能分別以大小相等的該被監(jiān)測(cè)對(duì)象區(qū)域(第一時(shí)刻的第一監(jiān)測(cè) 對(duì)象區(qū)域和第二監(jiān)測(cè)對(duì)象區(qū)域(擴(kuò)大或縮小了的第二時(shí)刻的第一監(jiān)測(cè)對(duì)象區(qū)域))為基準(zhǔn) 設(shè)定相同設(shè)置狀態(tài)的局部區(qū)域(第一局部區(qū)域和第二局部區(qū)域)。還有，可將被監(jiān)測(cè)對(duì)象分 到第一局部區(qū)域和第二局部區(qū)域的相關(guān)度大于閾值的設(shè)置狀態(tài)的物體分類中。由于屬于上 述設(shè)置狀態(tài)種類的被監(jiān)測(cè)對(duì)象分別處在第一局部區(qū)域和第二局部區(qū)域的概率較大，所以， 如上所述，將被監(jiān)測(cè)對(duì)象分到對(duì)應(yīng)于多個(gè)設(shè)置狀態(tài)中相關(guān)度大于閾值時(shí)的設(shè)置狀態(tài)的物體 分類中時(shí)，可以精準(zhǔn)地判別被監(jiān)測(cè)對(duì)象的種類。本發(fā)明所述的車輛包括上述車輛周圍監(jiān)測(cè)裝置，該車輛周圍監(jiān)測(cè)裝置利用攝像裝 置拍到的顯示該車輛周圍情況的圖像來(lái)監(jiān)測(cè)該車輛的周圍情況。采用本發(fā)明所述的車輛時(shí)，由于可用車輛周圍監(jiān)測(cè)裝置精準(zhǔn)地判別被監(jiān)測(cè)對(duì)象的 種類，所以考慮到要規(guī)避車輛與該被監(jiān)測(cè)對(duì)象觸碰時(shí)，可根據(jù)上述判定結(jié)果適當(dāng)?shù)乜刂栖?載機(jī)器的動(dòng)作。本發(fā)明所述的車輛周圍監(jiān)測(cè)程序在車載計(jì)算機(jī)上運(yùn)行，使其具有上述車輛周圍監(jiān) 測(cè)裝置的作用，該車輛周圍監(jiān)測(cè)裝置利用上述車載攝像裝置拍到的顯示該車輛周圍情況的 圖像來(lái)監(jiān)測(cè)該車輛的周圍情況。采用本發(fā)明所述的車輛周圍監(jiān)測(cè)程序時(shí)，可以使車載計(jì)算機(jī)具有車輛周圍監(jiān)測(cè)裝 置的作用，該車輛周圍監(jiān)測(cè)裝置可精準(zhǔn)地判別被監(jiān)測(cè)對(duì)象的種類。


圖1是說(shuō)明本發(fā)明中車輛的結(jié)構(gòu)圖。圖2是說(shuō)明本發(fā)明中車輛周圍監(jiān)測(cè)裝置的結(jié)構(gòu)圖。圖3是表示本發(fā)明中車輛周圍監(jiān)測(cè)裝置的功能的流程圖。圖4是表示有關(guān)第一監(jiān)測(cè)對(duì)象區(qū)域設(shè)定方法的說(shuō)明圖。圖5是表示有關(guān)第二監(jiān)測(cè)對(duì)象區(qū)域設(shè)定方法的說(shuō)明圖。圖6是表示有關(guān)第一和第二局部區(qū)域設(shè)定方法的說(shuō)明圖。
具體實(shí)施例方式下面，參照

本發(fā)明車輛周圍監(jiān)測(cè)裝置等的實(shí)施方式。圖1所示的車輛(四輪汽車)1上搭載有車輛周圍監(jiān)測(cè)裝置10和單個(gè)紅外線攝像 頭(攝像裝置)11。在車輛1上如圖1所示設(shè)定實(shí)際空間的坐標(biāo)系，其原點(diǎn)0位于車輛1的 前側(cè)，X軸、Y軸和Z軸分別朝向車輛1的左右方向、上下方向和前后方向延伸。為了拍攝 車輛1的前方，將紅外線攝像頭11安裝在車輛1的前側(cè)。另外，如圖2所示，車輛1上搭載 有偏航角速度傳感器13，車速傳感器14和制動(dòng)傳感器15等多種傳感器，這些傳感器根據(jù) 車輛1的偏航角速度、速度和制動(dòng)狀態(tài)分別輸出相應(yīng)的信號(hào)。還有，如圖2所示，車輛1上 還搭載有聲音輸出裝置16和圖像輸出裝置17。作為圖像輸出裝置17而言，除了可使用安 裝在車輛1前車窗上用來(lái)顯示圖像的HUD (平視顯示器)之外，還可以使用顯示車輛1的行 駛狀況的顯示儀表或用于構(gòu)成導(dǎo)航裝置的顯示器裝置等。車輛周圍監(jiān)測(cè)裝置10是根據(jù)紅外線攝像頭拍到的圖像監(jiān)測(cè)車輛1的周圍情況的 裝置。其由電腦(由CPU、ROM、RAM以及I/O回路和A/D變換回路等電子電路構(gòu)成)構(gòu)成。由紅外線攝像頭11、偏航角速度傳感器13、車速傳感器14和制動(dòng)傳感器15等輸出的模擬 信號(hào)經(jīng)A/D變換回路變?yōu)閿?shù)字信號(hào)再輸入車輛周圍監(jiān)測(cè)裝置10。電腦根據(jù)該輸入數(shù)據(jù)并 依從存儲(chǔ)在存儲(chǔ)器中的車輛周圍監(jiān)測(cè)程序進(jìn)行如下處理識(shí)別有無(wú)行人或其他車輛等被監(jiān) 測(cè)對(duì)象的處理；判定車輛1觸碰被識(shí)別到的被監(jiān)測(cè)對(duì)象可能性的高低的判定處理；根據(jù)該 判定結(jié)果由聲音輸出裝置16發(fā)出相應(yīng)的聲音，或由圖像輸出裝置17示出相應(yīng)的圖像。另 外，程序可在任意時(shí)刻從服務(wù)器經(jīng)網(wǎng)絡(luò)或衛(wèi)星而下載或傳送到車載電腦并存儲(chǔ)在其RAM等 存儲(chǔ)裝置中。車輛周圍監(jiān)測(cè)裝置10可由檢測(cè)位置的ECU構(gòu)成，也可由構(gòu)成分散控制系統(tǒng)的 多個(gè)ECU構(gòu)成。如圖2所示，車輛周圍監(jiān)測(cè)裝置10包括被監(jiān)測(cè)對(duì)象檢測(cè)機(jī)構(gòu)102、被監(jiān)測(cè)對(duì)象跟蹤 機(jī)構(gòu)104、距離檢測(cè)機(jī)構(gòu)106、第一監(jiān)測(cè)對(duì)象區(qū)域設(shè)定機(jī)構(gòu)112、第一局部區(qū)域114、第二監(jiān)測(cè) 對(duì)象區(qū)域設(shè)定機(jī)構(gòu)122、第二局部區(qū)域設(shè)定機(jī)構(gòu)124、相關(guān)度評(píng)定機(jī)構(gòu)132和被監(jiān)測(cè)對(duì)象分 類機(jī)構(gòu)134。其中，被監(jiān)測(cè)對(duì)象檢測(cè)機(jī)構(gòu)102從紅外線攝像頭11拍到的顯示車輛1的周圍 情況的圖像中檢測(cè)有無(wú)被監(jiān)測(cè)對(duì)象。被監(jiān)測(cè)對(duì)象跟蹤機(jī)構(gòu)104對(duì)被監(jiān)測(cè)對(duì)象檢測(cè)機(jī)構(gòu)102 從第一時(shí)刻所拍到的圖像中檢測(cè)到的被監(jiān)測(cè)對(duì)象和從第二時(shí)刻所拍到的圖像中檢測(cè)到的 被監(jiān)測(cè)對(duì)象進(jìn)行判定，判定兩者是否是同一被監(jiān)測(cè)對(duì)象即是否滿足同一性條件。本發(fā)明中 “某一個(gè)時(shí)刻的圖像或區(qū)域”，其意為該時(shí)刻時(shí)顯示車輛1的周圍情況的圖像或在該圖像中 所設(shè)定的區(qū)域。距離檢測(cè)機(jī)構(gòu)106測(cè)定車輛1到檢測(cè)到的被監(jiān)測(cè)對(duì)象的距離。由第一監(jiān)測(cè) 對(duì)象區(qū)域設(shè)定機(jī)構(gòu)112在圖像中將檢測(cè)到的被監(jiān)測(cè)對(duì)象所在的區(qū)域設(shè)定為“第一監(jiān)測(cè)對(duì)象 區(qū)域”。第一局部區(qū)域設(shè)定機(jī)構(gòu)114將以第一時(shí)刻時(shí)的第一監(jiān)測(cè)對(duì)象區(qū)域?yàn)榛鶞?zhǔn)設(shè)定“第一 局部區(qū)域”，該“第一局部區(qū)域”有與多個(gè)不同種類的物體分別對(duì)應(yīng)的樣式。對(duì)于被監(jiān)測(cè)對(duì)象 跟蹤機(jī)構(gòu)104判定為滿足同一性條件的被監(jiān)測(cè)對(duì)象，由第二監(jiān)測(cè)對(duì)象區(qū)域設(shè)定機(jī)構(gòu)122設(shè) 定第二監(jiān)測(cè)對(duì)象區(qū)域，該第二被監(jiān)測(cè)對(duì)象設(shè)定區(qū)域是將上述第二時(shí)刻時(shí)的所設(shè)定的上述第 一監(jiān)測(cè)對(duì)象區(qū)域按比例擴(kuò)大或縮小后的區(qū)域，該比例為由上述距離檢測(cè)機(jī)構(gòu)106測(cè)得的上 述第一時(shí)刻時(shí)的被監(jiān)測(cè)對(duì)象的上述距離與上述第二時(shí)刻時(shí)的被監(jiān)測(cè)對(duì)象的上述距離之比。 按照上述第一局部區(qū)域設(shè)定機(jī)構(gòu)114設(shè)定的第一局部區(qū)域的樣式，由第二局部區(qū)域設(shè)定機(jī) 構(gòu)124以上述第二監(jiān)測(cè)對(duì)象設(shè)定機(jī)構(gòu)122設(shè)定的第二監(jiān)測(cè)對(duì)象區(qū)域?yàn)榛鶞?zhǔn)，設(shè)置區(qū)域并將 其設(shè)定為“第二局部區(qū)域”。由相關(guān)度評(píng)定機(jī)構(gòu)132對(duì)經(jīng)第一局部區(qū)域設(shè)定機(jī)構(gòu)114設(shè)定的 第一局部區(qū)域和經(jīng)第二局部區(qū)域設(shè)定機(jī)構(gòu)124設(shè)定的第二局部區(qū)域的相關(guān)度進(jìn)行評(píng)定。通 過(guò)被監(jiān)測(cè)對(duì)象分類機(jī)構(gòu)134對(duì)由上述相關(guān)度評(píng)定機(jī)構(gòu)132評(píng)定出的上述相關(guān)度大于閾值的 上述第一局部區(qū)域，按其設(shè)置時(shí)的樣式所對(duì)應(yīng)的種類，對(duì)檢測(cè)到的被監(jiān)測(cè)對(duì)象進(jìn)行分類。下面說(shuō)明具有上述結(jié)構(gòu)的車輛1和車輛周圍監(jiān)測(cè)裝置10的功能。首先，由被監(jiān)測(cè)對(duì)象檢測(cè)機(jī)構(gòu)102從紅外線攝像頭11拍到的圖像中檢測(cè)被監(jiān)測(cè)對(duì) 象。具體地講，對(duì)紅外線攝像頭11的輸出信號(hào)，即紅外線圖像進(jìn)行A/D變換以形成灰色等 級(jí)圖像(圖3中的步驟S002)。另外，灰色等級(jí)圖像經(jīng)二值圖像處理后形成二值圖像(圖3 中的步驟S004)。所謂的二值圖像處理，是指將構(gòu)成灰色等級(jí)圖像的各像素根據(jù)其輝度是否 在閾值以上而分為“1”(白)和“0”(黑)的處理?；疑燃?jí)圖像和二值圖像分別存儲(chǔ)在不 同圖像存儲(chǔ)器中。還有，對(duì)于構(gòu)成二值圖像的高輝度區(qū)域的“1”的集中在一起的像素組進(jìn) 行劃分，將各像素組分成在圖像的縱向方向(y軸方向)上只有1個(gè)像素的寬度而沿橫向方 向(χ軸方向)延伸的線組，各線組由其位置(圖像中的二維位置)坐標(biāo)和長(zhǎng)度(像素?cái)?shù))被轉(zhuǎn)換成游程編碼數(shù)據(jù)(圖3中的步驟S006)。接下來(lái)對(duì)由該游程編碼數(shù)據(jù)所表示的線組 中，對(duì)圖像縱向方向具有重疊部分的線組分別標(biāo)注標(biāo)簽(標(biāo)識(shí)符)(圖3中的步驟S008)，以 該線組作為被監(jiān)測(cè)對(duì)象而進(jìn)行檢測(cè)(圖3中的步驟S010)。由此，如圖4中(a)所示，二值 圖像中用斜線表示的被監(jiān)測(cè)對(duì)象(二值處理后的被監(jiān)測(cè)對(duì)象)就被檢測(cè)出來(lái)。被監(jiān)測(cè)對(duì)象 除了包括人(行人)等生物外，還包括車輛等人口物品。另外，有時(shí)會(huì)將同一物體中的多個(gè) 局部部分作為被監(jiān)測(cè)對(duì)象被檢測(cè)出來(lái)。另外，由被監(jiān)測(cè)對(duì)象跟蹤機(jī)構(gòu)104對(duì)被監(jiān)測(cè)對(duì)象進(jìn)行跟蹤處理。即，對(duì)在被監(jiān)測(cè)對(duì) 象檢測(cè)機(jī)構(gòu)102的每個(gè)運(yùn)算周期監(jiān)測(cè)到的被監(jiān)測(cè)對(duì)象是否是同一被監(jiān)測(cè)對(duì)象進(jìn)行判定處 理(圖3中的步驟S012)。例如，可以采用日本發(fā)明專利公開(kāi)公報(bào)特開(kāi)2001-6096號(hào)所述的 方法，根據(jù)時(shí)刻k-Ι和時(shí)刻k時(shí)的兩個(gè)圖像中檢測(cè)到的被監(jiān)測(cè)對(duì)象形狀或大小，或者根據(jù)灰 色等級(jí)圖像中輝度分布的相關(guān)性等進(jìn)行判定處理。接下來(lái)，當(dāng)判定這些被監(jiān)測(cè)對(duì)象是同一 被監(jiān)測(cè)對(duì)象時(shí)，會(huì)將時(shí)刻K時(shí)被監(jiān)測(cè)對(duì)象的標(biāo)簽變?yōu)榕c時(shí)刻K-I時(shí)被監(jiān)測(cè)對(duì)象相同的標(biāo)簽。還有，由距離檢測(cè)機(jī)構(gòu)106根據(jù)圖像測(cè)定車輛1到被監(jiān)測(cè)對(duì)象檢測(cè)機(jī)構(gòu)102檢測(cè) 到的被監(jiān)測(cè)對(duì)象的距離。具體地講，不僅要求出二值圖像中被監(jiān)測(cè)對(duì)象的重心位置，還設(shè)定 被監(jiān)測(cè)對(duì)象的外接四邊形(圖3中的步驟S014)。可通過(guò)如下方法求出被監(jiān)測(cè)對(duì)象的重心 位置用對(duì)應(yīng)于該被監(jiān)測(cè)對(duì)象的由游程編碼數(shù)據(jù)所表示的各線組的中心位置坐標(biāo)乘以該各 個(gè)線組長(zhǎng)度，所有線組的這一運(yùn)算完成后將其運(yùn)算結(jié)果加到一起，再用圖像中被監(jiān)測(cè)對(duì)象 的面積除以該相加結(jié)果。另外，也可求出被監(jiān)測(cè)對(duì)象的外接四邊形重心(中心)位置，用以 代替被監(jiān)測(cè)對(duì)象的重心。另外，對(duì)表示不同時(shí)刻時(shí)標(biāo)注有同一標(biāo)簽的被監(jiān)測(cè)對(duì)象的被監(jiān)測(cè) 對(duì)象區(qū)域的大小變化率要進(jìn)行評(píng)定(圖3中的步驟S016)。具體地講，相對(duì)于時(shí)刻k時(shí)被監(jiān) 測(cè)對(duì)象區(qū)域的大小(用外接四邊形的高度、寬度或面積表示)size (k)而言，將時(shí)刻k-1時(shí) 被監(jiān)測(cè)對(duì)象區(qū)域的大小size (k-Ι)與其的比值定為變化率rate (k) = size (k-1)/size (k) (< 1)。還有，可分別根據(jù)偏航角速度傳感器13和車速傳感器14的輸出信號(hào)測(cè)得1車輛1 的速度和偏航角速度，再對(duì)偏航角速度測(cè)定值進(jìn)行積分計(jì)算而求出車輛1的偏航角(方位 角)(圖3中的步驟S018)。另外，包括此次變化率rate (k)在內(nèi)，根據(jù)此次速度ν (k)和紅外線攝像頭11的攝 像時(shí)間間隔S T，再按公式(1)測(cè)定車輛1到被監(jiān)測(cè)對(duì)象的距離Z(k)(圖3中的步驟S020)公式1Z(k) = rate (k) ν (k) dt/ (1-rate (k)) · · (1)另外，根據(jù)車輛1到被監(jiān)測(cè)對(duì)象的距離，可由車輛周圍監(jiān)測(cè)裝置10求出作為該被 監(jiān)測(cè)對(duì)象在實(shí)際空間中的位置的P(k) = (X(k)、Y(k)、Z(k))(圖3中的步驟S022)。具體 地講，可根據(jù)車輛1到各被監(jiān)測(cè)對(duì)象經(jīng)修正后的距離Z(k)、紅外線攝像頭11的焦距f、對(duì)應(yīng) 于拍到的圖像中被監(jiān)測(cè)對(duì)象的區(qū)域的圖像坐標(biāo)x(k)和y(k)，按公式(2)求出實(shí)際空間坐 標(biāo)系中的X坐標(biāo)X(k)和Y坐標(biāo)Y(k)。拍到的圖像的中心向右方向和向下方向分別被定義 為圖像坐標(biāo)系中原點(diǎn)0+x方向和Ο+y方向。另外，可根據(jù)由偏航角速度傳感器15輸出的信 號(hào)而測(cè)得的偏航角對(duì)各個(gè)被監(jiān)測(cè)對(duì)象的實(shí)際空間位置(X(k)、Y(k)、Z(k))的偏航角進(jìn)行修 正。公式2X (k) =x (k) · Z (k) /f
6
Y(k) = y(k) · Z (k) /f · · (2)另外，通過(guò)第一監(jiān)測(cè)對(duì)象區(qū)域設(shè)定機(jī)構(gòu)112，可根據(jù)二值圖像中被監(jiān)測(cè)對(duì)象的重心 位置和外接四邊形的設(shè)置樣式，將灰色等級(jí)圖像中表示被監(jiān)測(cè)對(duì)象的區(qū)域設(shè)定為“第一監(jiān) 測(cè)對(duì)象區(qū)域”(圖3中的步驟S024)。具體地講，首先在第一時(shí)刻時(shí)顯示車輛1的周圍情況 的灰色等級(jí)圖像中設(shè)定以被監(jiān)測(cè)對(duì)象為基準(zhǔn)而設(shè)置的多個(gè)遮掩部。因此，可在如圖4中(a) 用斜線表示的被監(jiān)測(cè)對(duì)象的上下方向設(shè)定并排設(shè)置的多個(gè)矩形ai+(i = 1,2·.)和aj_(j = 1，2 · ·)。該多個(gè)矩形的設(shè)置方式為通過(guò)被監(jiān)測(cè)對(duì)象的重心或中心，中心位置位于沿圖像 上下方向延伸的基準(zhǔn)線(單點(diǎn)劃線)上。另外，可以在顯示先于第一時(shí)刻的第二時(shí)刻時(shí)車 輛1的周圍情況的灰色等級(jí)圖像中，搜索與該多個(gè)遮掩部的相關(guān)度大于閾值的遮掩部。因 此，可在圖4中(b)所示的第二時(shí)刻時(shí)的圖像中，搜索到大于第一時(shí)刻時(shí)的多個(gè)遮掩部ai+ 和的相關(guān)度的閾值的遮掩部ai+和 _。接下來(lái)，將含有被監(jiān)測(cè)對(duì)象以及該多個(gè)掩膜中， 與第一時(shí)刻和第二時(shí)刻時(shí)被監(jiān)測(cè)對(duì)象的位置關(guān)系相同或大致相同的連續(xù)遮掩部的區(qū)域，設(shè) 定為第一監(jiān)測(cè)對(duì)象區(qū)域。因此，如圖4中(b)所示，可以將含有被監(jiān)測(cè)對(duì)象和其在下方連續(xù) 設(shè)置的掩膜 a4_的矩形區(qū)域設(shè)定為第一監(jiān)測(cè)對(duì)象區(qū)域。還有，由于第二時(shí)刻時(shí)第一監(jiān)測(cè)對(duì)象區(qū)域擴(kuò)大而獲得的區(qū)域會(huì)被第二監(jiān)測(cè)對(duì)象區(qū) 域設(shè)定機(jī)構(gòu)122設(shè)定為“第一監(jiān)測(cè)對(duì)象區(qū)域”(圖3中的步驟S026)。因此，圖5中(a)所 示的第二時(shí)刻時(shí)的第一監(jiān)測(cè)對(duì)象區(qū)域會(huì)被擴(kuò)大，從而被設(shè)定為圖5中(b)所示的第二監(jiān)測(cè) 對(duì)象區(qū)域。由距離檢測(cè)機(jī)構(gòu)106測(cè)定第一監(jiān)測(cè)對(duì)象區(qū)域的擴(kuò)大率。其與第二時(shí)刻時(shí)車輛1 到被監(jiān)測(cè)對(duì)象的距離相對(duì)于第一時(shí)刻時(shí)車輛1到被監(jiān)測(cè)對(duì)象的距離的比值相等。另外，當(dāng) 第二時(shí)刻在第一時(shí)刻之后時(shí)，由于第二時(shí)刻時(shí)的第一監(jiān)測(cè)對(duì)象區(qū)域會(huì)被縮小，從而被設(shè)定 為第二監(jiān)測(cè)對(duì)象區(qū)域。另外，當(dāng)該比值不足1時(shí)，由于第二時(shí)刻時(shí)的第一監(jiān)測(cè)對(duì)象區(qū)域會(huì)被 縮小，從而被設(shè)定為第二監(jiān)測(cè)對(duì)象區(qū)域。另外，由第一局部區(qū)域設(shè)定機(jī)構(gòu)114將以第一時(shí)刻時(shí)的第一監(jiān)測(cè)對(duì)象區(qū)域?yàn)榛鶞?zhǔn) 而設(shè)定一個(gè)或多個(gè)“第一局部區(qū)域”(圖3中的步驟S028)。因此，分別如圖6中(a)和圖6 中(b)的上側(cè)部分所示，被單點(diǎn)劃線包圍的區(qū)域被設(shè)定為第一局部區(qū)域。以第一監(jiān)測(cè)對(duì)象 區(qū)域?yàn)榛鶞?zhǔn)的第一局部區(qū)域的設(shè)置方式是其分別對(duì)應(yīng)于多個(gè)不同分類。如圖6中(a)所示 的第一局部區(qū)域的設(shè)置方式是以“人”這個(gè)分類而設(shè)置。另外，如圖6中(b)所示的第一局 部區(qū)域的設(shè)置方式是以“汽車”這個(gè)分類而設(shè)置。還有，由第二局部區(qū)域設(shè)定機(jī)構(gòu)124將以第二監(jiān)測(cè)對(duì)象區(qū)域?yàn)榛鶞?zhǔn)而設(shè)置的一個(gè) 或多個(gè)區(qū)域設(shè)定為“第二局部區(qū)域”(圖3中的步驟S030)。因此，分別如圖6中(a)和圖6 中(b)的下側(cè)部分所示，被雙點(diǎn)劃線包圍的區(qū)域被設(shè)定為第二局部區(qū)域。與以第一監(jiān)測(cè)對(duì) 象區(qū)域?yàn)榛鶞?zhǔn)設(shè)置第一局部區(qū)域的方式相同，以第二監(jiān)測(cè)對(duì)象區(qū)域?yàn)榛鶞?zhǔn)而設(shè)置第二局部 區(qū)域。另外，由相關(guān)度評(píng)定機(jī)構(gòu)132對(duì)第一局部區(qū)域和第二局部區(qū)域的相關(guān)度進(jìn)行評(píng)定 (圖3中的步驟S032)。接下來(lái)判定每個(gè)第一局部區(qū)域的設(shè)置狀態(tài)是否滿足其相關(guān)度大于 閾值(其不同于設(shè)定第一監(jiān)測(cè)對(duì)象區(qū)域時(shí)的遮掩部的相關(guān)殿的閾值)的“關(guān)聯(lián)條件”(圖3 中的步驟S034)。接下來(lái)，當(dāng)上述判定結(jié)果是肯定結(jié)果(圖3中的步驟S034 · · YES)或否 定結(jié)果(圖3中的步驟S034 · · NO)時(shí)，由被監(jiān)測(cè)對(duì)象分類機(jī)構(gòu)134設(shè)定以不同于先前的 方式設(shè)置的第一局部區(qū)域和第二局部區(qū)域，還要再次判定關(guān)聯(lián)條件(圖3中的步驟S028、S030、S032)。另外將被監(jiān)測(cè)對(duì)象分到對(duì)應(yīng)于第一局部區(qū)域的設(shè)置狀態(tài)的物體分類中(圖3 中的步驟S036)。因此，如果圖6中(a)所示的第一局部區(qū)域和第二局部區(qū)域之間的相關(guān)度 大于閾值時(shí)，將被監(jiān)測(cè)對(duì)象分到對(duì)應(yīng)于該第一局部區(qū)域的設(shè)置狀態(tài)的分類“人”中。另外， 如果圖6中(b)所示的第一局部區(qū)域和第二局部區(qū)域之間的相關(guān)度大于閾值時(shí)(圖3中的 步驟S034 · · NO)，則將被監(jiān)測(cè)對(duì)象分到對(duì)應(yīng)于該第一局部區(qū)域的設(shè)置狀態(tài)的分類“汽車” 中。另外，被監(jiān)測(cè)對(duì)象不僅可分為人和汽車，還可分為鹿等動(dòng)物和固定物等，該固定物含樹(shù) 木等植物和建筑物等。另外，可以根據(jù)不同時(shí)刻時(shí)各被監(jiān)測(cè)對(duì)象所在的實(shí)際空間位置P(k)，例如采用日 本發(fā)明專利公開(kāi)公報(bào)特開(kāi)2001-6096號(hào)中所述的判定觸碰可能性的方法，判定車輛1觸碰 各被監(jiān)測(cè)對(duì)象的可能性的高低或者有無(wú)觸碰的可能性(圖3中的步驟S038)。接下來(lái)，當(dāng)判 定為車輛1觸碰被監(jiān)測(cè)對(duì)象的可能性較高時(shí)(圖3中的步驟S038 〃YES)會(huì)進(jìn)行提醒處理 (圖3中的步驟S040)，該提醒處理方式與被監(jiān)測(cè)對(duì)象分類機(jī)構(gòu)134判別的被監(jiān)測(cè)對(duì)象種類 相對(duì)應(yīng)。具體地講，與上述觸碰可能性判定結(jié)果和被監(jiān)測(cè)對(duì)象分類結(jié)果對(duì)應(yīng)的聲音和圖像 (用來(lái)突出顯示該被監(jiān)測(cè)對(duì)象的框架等)，會(huì)分別通過(guò)聲音輸出裝置16和圖像輸出裝置17 輸出。例如與被監(jiān)測(cè)對(duì)象被分類為車輛時(shí)的情況相比，當(dāng)被監(jiān)測(cè)對(duì)象被分類為人時(shí)，為使車 輛1的駕駛員能更明確地區(qū)分，可以調(diào)節(jié)聲音和圖像的輸出方式。另外，也可只輸出該聲音 和圖像中的某一個(gè)。還有，可參照如下情況進(jìn)行提醒處理一種情況是根據(jù)制動(dòng)傳感器15 的輸出情況確認(rèn)駕駛員未進(jìn)行車輛1的制動(dòng)操作，另一種情況是根據(jù)速度傳感器14或加速 度傳感器(省略其圖示)的輸出情況來(lái)確認(rèn)車輛1負(fù)加速度小于閾值。還有，當(dāng)判定為車 輛1觸碰被監(jiān)測(cè)對(duì)象的可能性較低時(shí)(圖3中的步驟S038 · · NO)不會(huì)進(jìn)行提醒處理。還有，車輛1的轉(zhuǎn)向裝置、制動(dòng)裝置和加速裝置的一部分或全部都要通過(guò)執(zhí)行器 進(jìn)行操作，當(dāng)對(duì)車輛1進(jìn)行行駛操作時(shí)，也可以用對(duì)車輛行駛狀態(tài)進(jìn)行控制的方法代替提 醒處理或與之并用。具體地講，為了規(guī)避觸碰被判定為與車輛1觸碰可能性較高的被監(jiān)測(cè) 對(duì)象，或者為了使駕駛員很容易地規(guī)避觸碰該被監(jiān)測(cè)對(duì)象，可以由車輛控制單元(省略其 圖示)控制車輛1的轉(zhuǎn)向裝置、制動(dòng)裝置和加速裝置的一部分或全部的動(dòng)作。例如可以采用 如下控制方法，即，與不可能觸碰被監(jiān)測(cè)對(duì)象的通常情況相比，加大操作加速裝置時(shí)由駕駛 員踩踏加速踏板所需的踩踏力，從而使得車輛1難以加速。或在操作轉(zhuǎn)向裝置進(jìn)行轉(zhuǎn)向時(shí)， 為了規(guī)避車輛1觸碰被監(jiān)測(cè)對(duì)象，將順著轉(zhuǎn)向方向施加給方向盤所需的操作力設(shè)置得比施 加給相反方向時(shí)所需的操作力小，從而使駕駛員易于朝向轉(zhuǎn)向方向操作方向盤。還有，與通 常情況相比，可以加大隨著制動(dòng)裝置的制動(dòng)踏板的踩踏量變化時(shí)的車輛1的制動(dòng)力的增加 速度。通過(guò)上述控制操作，會(huì)使駕駛員易于對(duì)可規(guī)避觸碰被監(jiān)測(cè)對(duì)象的車輛1進(jìn)行駕駛操 作。采用具有上述功能的車輛周圍監(jiān)測(cè)裝置10時(shí)，可分別根據(jù)不同的兩個(gè)時(shí)刻(第一 時(shí)刻和第二時(shí)刻)時(shí)車輛1到被監(jiān)測(cè)對(duì)象的距離，使設(shè)定在不同兩個(gè)時(shí)刻(第一時(shí)刻和第 二時(shí)刻)時(shí)顯示車輛周圍情況的圖像中的同一被監(jiān)測(cè)對(duì)象所在的被監(jiān)測(cè)對(duì)象區(qū)域(第一監(jiān) 測(cè)對(duì)象區(qū)域)的大小相等(參照?qǐng)D3中的步驟S020、S024、S026、圖5中(a)和圖5中(b))。 另外還能分別以大小相等的上述被監(jiān)測(cè)對(duì)象區(qū)域(第一時(shí)刻時(shí)的第一監(jiān)測(cè)對(duì)象區(qū)域和第 二監(jiān)測(cè)對(duì)象區(qū)域(擴(kuò)大或縮小了的第二時(shí)刻時(shí)的第一監(jiān)測(cè)對(duì)象區(qū)域))為基準(zhǔn)設(shè)定相同設(shè) 置狀態(tài)的局部區(qū)域(第一局部區(qū)域和第二局部區(qū)域)(參照?qǐng)D3中的步驟S028、S030、圖6中(a)和圖6中(b))。還有，可將被監(jiān)測(cè)對(duì)象分到對(duì)應(yīng)于第一局部區(qū)域和第二局部區(qū)域的相 關(guān)度大于閾值的設(shè)置狀態(tài)的分類中(參照?qǐng)D3中的步驟S034、S036)。由于屬于上述設(shè)置狀 態(tài)種類的被監(jiān)測(cè)對(duì)象分別處在第一局部區(qū)域和第二局部區(qū)域的概率較大，所以，如上所述， 將被監(jiān)測(cè)對(duì)象分到對(duì)應(yīng)于多個(gè)設(shè)置狀態(tài)中相關(guān)度大于閾值時(shí)的設(shè)置狀態(tài)的分類中時(shí)，可精 準(zhǔn)地判別被監(jiān)測(cè)對(duì)象的種類。其中，第一局部區(qū)域和第二局部區(qū)域分別以第一時(shí)刻時(shí)第一 監(jiān)測(cè)對(duì)象區(qū)域和第二監(jiān)測(cè)對(duì)象區(qū)域?yàn)榛鶞?zhǔn)設(shè)置，它們之間的相關(guān)度大于閾值。接下來(lái)，如果 考慮到要規(guī)避車輛1與被監(jiān)測(cè)對(duì)象觸碰時(shí)，可根據(jù)該被監(jiān)測(cè)對(duì)象的分類結(jié)果適當(dāng)?shù)乜刂栖?輛1上搭載的機(jī)器(聲音輸出裝置16、圖像輸出裝置17、轉(zhuǎn)向裝置、制動(dòng)裝置和加速裝置) 的動(dòng)作。 另外，在上述實(shí)施方式中用單個(gè)紅外線攝像頭(單鏡頭攝像頭)測(cè)定車輛1到被 監(jiān)測(cè)對(duì)象的距離，但是作為另一實(shí)施方式而言，也可以用毫米波雷達(dá)、激光雷達(dá)或超聲波雷 達(dá)等測(cè)定車輛1到被監(jiān)測(cè)對(duì)象的距離。還有，作為再一實(shí)施方式而言，也可以通過(guò)以車輛 前部中央部位為基準(zhǔn)左右對(duì)稱設(shè)置的一對(duì)紅外線攝像頭的視差來(lái)出上述距離。另外，作為 攝像裝置而言，也可以用將靈敏度調(diào)至可見(jiàn)光等其他波長(zhǎng)區(qū)域的攝像頭代替紅外線攝像頭 11。
權(quán)利要求
一種車輛周圍監(jiān)測(cè)裝置，利用車載攝像裝置拍到的顯示所述車輛周圍情況的圖像來(lái)監(jiān)測(cè)該車輛的周圍情況，其特征在于，包括被監(jiān)測(cè)對(duì)象檢測(cè)機(jī)構(gòu)，其從所述圖像中檢測(cè)有無(wú)被監(jiān)測(cè)對(duì)象；被監(jiān)測(cè)對(duì)象跟蹤機(jī)構(gòu)，對(duì)所述被監(jiān)測(cè)對(duì)象檢測(cè)機(jī)構(gòu)從第一時(shí)刻所拍到的所述圖像中檢測(cè)到的被監(jiān)測(cè)對(duì)象和從第二時(shí)刻所拍到的所述圖像中檢測(cè)到的被監(jiān)測(cè)對(duì)象進(jìn)行判定，判定兩者是否是同一被監(jiān)測(cè)對(duì)象即是否滿足同一性條件；距離檢測(cè)機(jī)構(gòu)，由其測(cè)定所述車輛到所述檢測(cè)到的被監(jiān)測(cè)對(duì)象的距離；第一監(jiān)測(cè)對(duì)象區(qū)域設(shè)定機(jī)構(gòu)，由其在所述圖像中將所述檢測(cè)到的被監(jiān)測(cè)對(duì)象所在的區(qū)域設(shè)定為第一監(jiān)測(cè)對(duì)象區(qū)域；第一局部區(qū)域設(shè)定機(jī)構(gòu)，以所述第一時(shí)刻時(shí)的所述第一監(jiān)測(cè)對(duì)象區(qū)域?yàn)榛鶞?zhǔn)，設(shè)定第一局部區(qū)域，所述第一局部區(qū)域有與多個(gè)不同種類的物體分別對(duì)應(yīng)的樣式；第二監(jiān)測(cè)對(duì)象區(qū)域設(shè)定機(jī)構(gòu)，對(duì)于經(jīng)所述被監(jiān)測(cè)對(duì)象跟蹤機(jī)構(gòu)判定為滿足所述同一性條件的所述被監(jiān)測(cè)對(duì)象，將所述第二時(shí)刻時(shí)的所設(shè)定的所述第一監(jiān)測(cè)對(duì)象區(qū)域按比例擴(kuò)大或縮小后的區(qū)域設(shè)定為第二監(jiān)測(cè)對(duì)象區(qū)域，所述比例為由所述距離檢測(cè)機(jī)構(gòu)測(cè)得的所述第一時(shí)刻時(shí)的被監(jiān)測(cè)對(duì)象的所述距離與所述第二時(shí)刻時(shí)的被監(jiān)測(cè)對(duì)象的所述距離之比；第二局部區(qū)域設(shè)定機(jī)構(gòu)，以所述第二監(jiān)測(cè)對(duì)象區(qū)域設(shè)定機(jī)構(gòu)設(shè)定的第二監(jiān)測(cè)對(duì)象區(qū)域?yàn)榛鶞?zhǔn)，按照所述第一局部區(qū)域設(shè)定機(jī)構(gòu)設(shè)定的第一局部區(qū)域的樣式，設(shè)置區(qū)域并將其設(shè)定為第二局部區(qū)域；相關(guān)度評(píng)定機(jī)構(gòu)，對(duì)由所述第一局部區(qū)域設(shè)定機(jī)構(gòu)設(shè)定的所述第一局部區(qū)域和由所述第二局部區(qū)域設(shè)定機(jī)構(gòu)設(shè)定的所述第二局部區(qū)域之間的相關(guān)度進(jìn)行評(píng)定；被監(jiān)測(cè)對(duì)象分類機(jī)構(gòu)，對(duì)由所述相關(guān)度評(píng)定機(jī)構(gòu)評(píng)定出的所述相關(guān)度大于閾值的所述第一局部區(qū)域，按其設(shè)置時(shí)的樣式所對(duì)應(yīng)的種類，對(duì)檢測(cè)到的被監(jiān)測(cè)對(duì)象進(jìn)行分類。
2.—種車輛，其特征在于，包括權(quán)利要求1中所述的車輛周圍監(jiān)測(cè)裝置，所述車輛周圍 監(jiān)測(cè)裝置利用攝像裝置拍到的顯示該車輛周圍情況的圖像來(lái)監(jiān)測(cè)該車輛的周圍情況。
3.—種車輛周圍監(jiān)測(cè)程序，其特征在于，在車載計(jì)算機(jī)上運(yùn)行，使其具有權(quán)利要求1中 所述的車輛周圍監(jiān)測(cè)裝置的作用，該車輛周圍監(jiān)測(cè)裝置利用所述車載攝像裝置拍到的顯示 該車輛周圍情況的圖像來(lái)監(jiān)測(cè)該車輛的周圍情況。
全文摘要
本發(fā)明提供一種車輛周圍監(jiān)測(cè)裝置(10)，通過(guò)它可精準(zhǔn)地判別被監(jiān)測(cè)對(duì)象的種類。其可分別根據(jù)不同的兩個(gè)時(shí)刻(第一時(shí)刻和第二時(shí)刻)時(shí)車輛(1)到被監(jiān)測(cè)對(duì)象的距離，使設(shè)定在不同的兩個(gè)時(shí)刻(第一時(shí)刻和第二時(shí)刻)的表示車輛周圍情況的圖像中的同一被監(jiān)測(cè)對(duì)象所在的被監(jiān)測(cè)對(duì)象區(qū)域(第一監(jiān)測(cè)對(duì)象區(qū)域)的大小相等。另外，還能分別以大小相等的該被監(jiān)測(cè)對(duì)象區(qū)域(第一時(shí)刻時(shí)的第一監(jiān)測(cè)對(duì)象區(qū)域和第二監(jiān)測(cè)對(duì)象區(qū)域(擴(kuò)大或縮小了的第二時(shí)刻時(shí)的第一監(jiān)測(cè)對(duì)象區(qū)域))為基準(zhǔn)設(shè)定相同設(shè)置狀態(tài)的局部區(qū)域(第一局部區(qū)域和第二局部區(qū)域)。還有，其可將被監(jiān)測(cè)對(duì)象分到以對(duì)應(yīng)于第一局部區(qū)域和第二局部區(qū)域的相關(guān)度大于閾值的狀態(tài)設(shè)置的分類中。
文檔編號(hào)H04N7/18GK101933326SQ20088012603
公開(kāi)日2010年12月29日 申請(qǐng)日期2008年10月7日 優(yōu)先權(quán)日2008年2月13日
發(fā)明者橫地裕次, 長(zhǎng)岡伸治 申請(qǐng)人:本田技研工業(yè)株式會(huì)社