專利名稱：駕駛輔助裝置、駕駛輔助方法和駕駛輔助程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及駕駛輔助裝置、駕駛輔助方法和駕駛輔助程序。
背景技術(shù)：
在現(xiàn)有技術(shù)中，作為輔助駕駛員的駕駛的裝置，已知將車輛周邊的圖像顯示于顯 示器的駕駛輔助裝置。該駕駛輔助裝置將由設(shè)置在車輛外部的攝像機拍攝的車輛周邊的圖 像數(shù)據(jù)，顯示于配置在駕駛席附近的顯示器。在這樣的駕駛輔助裝置中，由于攝像機的設(shè)置位置、設(shè)置角度的偏差，在顯示器中 顯示的圖像的位置、角度也可能會產(chǎn)生偏差。還提出了在這樣的情況下，用于調(diào)整顯示于顯 示器的圖像的位置、角度的駕駛輔助系統(tǒng)的方案。例如，提出有下述的駕駛輔助系統(tǒng)，為了 能夠以比較簡單的操作進行鳥瞰圖像的調(diào)整，將對鳥瞰圖像進行俯瞰變換后的圖像與用于 表示車輛的左右端的延長線的引導線一同顯示于顯示裝置，由用戶修正該俯瞰變換后的圖 像和引導線的偏差(例如，參照專利文獻1)。專利文獻1 日本特開2008-205928號公報(0160段)還提出有將由攝像機取得的圖像數(shù)據(jù)存儲在存儲器中，輸出對存儲在該存儲器中 的圖像數(shù)據(jù)進行合成后的合成圖像的裝置。該裝置，在合成圖像數(shù)據(jù)并生成合成圖像時，例 如參照與攝像機的設(shè)置位置和車輛的運動特性等對應(yīng)的參數(shù)。于是，在攝像機的設(shè)置位置、 車輛的運動特性等變化時，由于參數(shù)不對應(yīng)于變化后的狀態(tài)，可能使得合成圖像產(chǎn)生變形、 偏差。但是，在上述現(xiàn)有的駕駛輔助系統(tǒng)中，只是能夠修正俯瞰圖像中的圖像與引導線的偏 差，而不能夠?qū)⑸珊铣蓤D像時使用的參數(shù)修正為適當?shù)闹怠?br>
發(fā)明內(nèi)容
本發(fā)明鑒于上述內(nèi)容而提出，目的在于提供駕駛輔助裝置、駕駛輔助方法和駕駛 輔助程序，即使在攝像機的設(shè)置位置、車輛的運動特性等變化的情況下，也能夠合成記錄在 記錄單元中的圖像數(shù)據(jù)并顯示正確的合成圖像。為了解決上述問題，以達上目的，第一方面所述的駕駛輔助裝置包括攝像單元， 其對車輛的周邊進行攝像；記錄單元，其對上述攝像單元所攝取的上述車輛的周邊的圖像 數(shù)據(jù)進行記錄；移動狀態(tài)確定單元，其取得與上述車輛的移動相關(guān)的移動信息，基于該取 得的移動信息確定該車輛的移動狀態(tài)；合成圖像生成單元，其基于上述移動狀態(tài)確定單元 所確定的移動狀態(tài)，合成記錄在上述記錄單元的上述圖像數(shù)據(jù)，生成包含上述車輛的位置 的區(qū)域的合成圖像；顯示單元，其顯示上述合成圖像生成單元所生成的上述合成圖像；以 及校正單元，其在基準標識配置在上述攝像單元能夠攝取的范圍的路面上且上述車輛旋轉(zhuǎn) 時，基于與該旋轉(zhuǎn)相對應(yīng)地由上述合成圖像生成單元所生成的上述合成圖像所包含的上述 基準標識的配置、和在上述合成圖像上重疊顯示的上述基準標識的與上述旋轉(zhuǎn)對應(yīng)的預測 配置，對上述移動狀態(tài)確定單元基于上述移動信息確定作為上述移動狀態(tài)的旋轉(zhuǎn)時使用的 旋轉(zhuǎn)參數(shù)進行校正。
此外，第二方面所述的駕駛輔助裝置是，在第一方面所述的駕駛輔助裝置中，上述 校正單元在上述基準標識配置在上述攝像單元能夠攝取的范圍的路面上且上述車輛直線 移動時，基于與該直線移動相對應(yīng)地由上述合成圖像生成單元所生成的上述合成圖像所包 含的上述基準標識的配置、和在上述合成圖像上重疊顯示的上述基準標識的與上述直線移 動對應(yīng)的預測配置，對上述移動狀態(tài)確定單元基于上述移動信息確定作為上述移動狀態(tài)的 移動距離時使用的距離參數(shù)進行校正。此外，第三方面所述的駕駛輔助裝置是，在第一或第二方面所述的駕駛輔助裝置 中，包括俯瞰圖像生成單元，其基于上述攝像單元所攝取的上述車輛的周邊的圖像數(shù)據(jù)，生 成包含上述車輛的位置的區(qū)域的俯瞰圖像，上述校正單元在上述基準標識配置在上述攝像 單元能夠攝取的范圍的路面上時，基于上述俯瞰圖像生成單元所生成的上述俯瞰圖像所包 含的上述基準標識的配置、和在上述俯瞰圖像上重疊顯示的上述基準標識的與俯瞰變換對 應(yīng)的預測配置，對上述俯瞰圖像生成單元生成上述俯瞰圖像時使用的俯瞰參數(shù)進行校正。此外，第四方面所述的駕駛輔助方法包括攝像步驟，其對車輛的周邊進行攝像； 記錄步驟，其將在上述攝像步驟所攝取的上述車輛的周邊的圖像數(shù)據(jù)記錄在記錄單元中； 移動狀態(tài)確定步驟，其取得與上述車輛的移動相關(guān)的移動信息，基于該取得的移動信息確 定該車輛的移動狀態(tài)；合成圖像生成步驟，其基于在上述移動狀態(tài)確定步驟確定的移動狀 態(tài)，合成在上述記錄步驟記錄在上述記錄單元的上述圖像數(shù)據(jù)，生成包含上述車輛的位置 的區(qū)域的合成圖像；顯示步驟，其將在上述合成圖像生成步驟生成的上述合成圖像顯示在 顯示單元上；以及校正步驟，其在基準標識配置于在上述攝像步驟能夠攝取的范圍的路面 上且上述車輛旋轉(zhuǎn)時，基于與該旋轉(zhuǎn)相對應(yīng)地在上述合成圖像生成步驟生成的上述合成圖 像所包含的上述基準標識的配置、和在上述合成圖像上重疊顯示的上述基準標識的與上述 旋轉(zhuǎn)對應(yīng)的預測配置，對在上述移動狀態(tài)確定步驟基于上述移動信息確定作為上述移動狀 態(tài)的旋轉(zhuǎn)角度時使用的旋轉(zhuǎn)參數(shù)進行校正。此外，第五方面所述的駕駛輔助方法是，在第四方面所述的駕駛輔助方法中，包括 俯瞰圖像生成步驟，其基于在上述攝像步驟攝取的上述車輛的周邊的圖像數(shù)據(jù)，生成包含 上述車輛的位置的區(qū)域的俯瞰圖像，在上述校正步驟中，在上述基準標識配置于在上述攝 像步驟能夠攝取的范圍的路面上時，基于在上述俯瞰圖像生成步驟生成的上述俯瞰圖像所 包含的上述基準標識的配置、和在上述俯瞰圖像上重疊顯示的上述基準標識的與俯瞰變換 對應(yīng)的預測配置，對在上述俯瞰圖像生成步驟生成上述俯瞰圖像時使用的俯瞰參數(shù)進行校 正，在校正上述俯瞰參數(shù)之后，在上述基準標識配置于在上述攝像步驟能夠攝取的范圍的 路面上且上述車輛直線移動時，基于與該直線移動相對應(yīng)地在上述合成圖像生成步驟生成 的上述合成圖像所包含的上述基準標識的配置、和在上述合成圖像上重疊顯示的上述基準 標識的與上述直線移動對應(yīng)的預測配置，對在上述移動狀態(tài)確定步驟基于上述移動信息確 定作為上述移動狀態(tài)的移動距離時使用的距離參數(shù)進行校正，在校正上述距離參數(shù)之后， 校正上述旋轉(zhuǎn)參數(shù)。此外，第六方面所述的駕駛輔助程序，使計算機執(zhí)行第四方面或第五方面所述的 方法。[發(fā)明效果]根據(jù)第一方面所述的駕駛輔助裝置、第五方面所述的駕駛輔助方法、第七方面所
5述的駕駛輔助程序，基于與旋轉(zhuǎn)相對應(yīng)地合成圖像生成單元所生成的合成圖像所包含的基 準標識的配置、和在合成圖像上重疊顯示的基準標識的與旋轉(zhuǎn)對應(yīng)的預測配置，對移動狀 態(tài)確定單元基于移動信息確定作為移動狀態(tài)的旋轉(zhuǎn)時使用的旋轉(zhuǎn)參數(shù)進行校正。由此，即 使在由于車輛的旋轉(zhuǎn)半徑等關(guān)于旋轉(zhuǎn)的運動特性的變化，不能夠使用旋轉(zhuǎn)參數(shù)確定正確的 旋轉(zhuǎn)，不能夠基于移動信息顯示正確的合成圖像的情況下，也能夠基于合成圖像中基準標 識的配置與其預測配置的差校正旋轉(zhuǎn)參數(shù)，能夠使用該校正后的旋轉(zhuǎn)參數(shù)，合成記錄在記 錄單元的圖像數(shù)據(jù)，顯示正確的合成圖像。此外，根據(jù)第二方面所述的駕駛輔助裝置，基于與直線移動相對應(yīng)地合成圖像生 成單元所生成的合成圖像所包含的基準標識的配置、和在合成圖像上重疊顯示的基準標識 的與直線移動對應(yīng)的預測配置，對移動狀態(tài)確定單元基于移動信息確定作為移動狀態(tài)的移 動距離時使用的距離參數(shù)進行校正。由此，即使在由于隨著輪胎更換的輪胎徑的變化等關(guān) 于移動距離的運動特性的變化，不能夠使用距離參數(shù)確定正確的移動距離，不能夠基于移 動信息顯示正確的合成圖像的情況下，也能夠基于合成圖像中基準標識的配置與其預測配 置的差校正距離參數(shù)，能夠使用該校正后的距離參數(shù)，合成記錄在記錄單元的圖像數(shù)據(jù)，顯 示正確的合成圖像。此外，根據(jù)第三方面所述的駕駛輔助裝置，基于俯瞰圖像生成單元所生成的俯瞰 圖像所包含的基準標識的配置、和在俯瞰圖像上重疊顯示的基準標識的與俯瞰變換對應(yīng)的 預測配置，對俯瞰圖像生成單元生成俯瞰圖像時使用的俯瞰參數(shù)進行校正。由此，即使在由 于攝像單元的設(shè)置位置的偏差等，不能夠使用俯瞰參數(shù)生成正確的俯瞰圖像的情況下，也 能夠基于合成圖像中基準標識的配置與其預測配置的差校正俯瞰參數(shù)，能夠使用該校正后 的俯瞰參數(shù)，生成正確的俯瞰圖像。此外，根據(jù)第四方面所述的駕駛輔助裝置，在合成圖像生成單元所生成的合成圖 像中基于攝像單元所攝取的現(xiàn)在的圖像數(shù)據(jù)生成的部分，顯示與車輛的位置對應(yīng)的位置標 識，因此，無論合成圖像中基于記錄圖像數(shù)據(jù)生成的部分正確與否，都能夠基于該位置標識 提示使車輛移動一定距離時的目標位置。此外，根據(jù)第六方面所述的駕駛輔助方法，在校正步驟中，在校正俯瞰參數(shù)之后， 校正距離參數(shù)，因此，能夠基于在正確的俯瞰圖像中顯示的基準標識的預測位置校正距離 參數(shù)。進一步，在校正距離參數(shù)之后，校正旋轉(zhuǎn)參數(shù)，因此能夠基于使用正確的距離參數(shù)生 成的合成圖像和基準標識的預測配置校正旋轉(zhuǎn)參數(shù)。


圖1是舉例表示實施方式的駕駛輔助裝置的框圖；圖2是合成圖像生成處理的流程圖；圖3是校正處理的流程圖；圖4是俯瞰參數(shù)校正處理的流程圖；圖5是表示俯瞰參數(shù)校正處理進行時的車輛和顯示器的圖，圖5 (a)是表示車輛和 基準標識的位置的平面圖，圖5(b)是表示顯示器的顯示畫面的圖；圖6是距離參數(shù)校正處理的流程圖；圖7是表示距離參數(shù)校正處理進行時的車輛和顯示器的圖，圖7 (a)、(c)、(e)是表示車輛和基準標識的位置的平面圖，圖7(b)、(d)、(f)是表示顯示器的顯示畫面的圖；圖8是旋轉(zhuǎn)參數(shù)校正處理的流程圖；圖9是表示旋轉(zhuǎn)參數(shù)校正處理進行時的車輛和顯示器的圖，圖9 (a)、(c)、(e)是表 示車輛和基準標識的位置的平面圖，圖9(b)、(d)、(f)是表示顯示器的顯示畫面的圖；以及圖10是舉例表示變更旋轉(zhuǎn)參數(shù)的值時顯示于顯示器的畫面的圖，圖10(a)是旋轉(zhuǎn) 參數(shù)變更前的畫面的圖，圖10(b)是旋轉(zhuǎn)參數(shù)變更后的畫面的圖。附圖符號說明1駕駛輔助裝置；2車輛；3基準標識；3a第一框線；3b第二框線；3c第三框線；10 轉(zhuǎn)向傳感器；20車速傳感器；30操作輸入部；30a “大”按鈕；30b “小”按鈕；30c “上”按 鈕；30e “左”按鈕；30f “右”按鈕；40攝像機；50顯示器；50a顯示畫面；60控制部；61移 動狀態(tài)確定部；62合成圖像生成部；63俯瞰圖像生成部；64校正部；65圖像存儲器；70數(shù) 據(jù)記錄部；71引導線信息；72參數(shù)信息；80俯瞰引導線；81位置引導線；82距離引導線；83 旋轉(zhuǎn)引導線
具體實施例方式以下，對本發(fā)明的駕駛輔助裝置的實施方式參照附圖進行詳細的說明。但是，本發(fā) 明并不限定于實施方式。(結(jié)構(gòu))首先，說明駕駛輔助裝置的結(jié)構(gòu)。圖1是舉例表示實施方式的駕駛輔助裝置的框 圖。如圖1所示，該駕駛輔助裝置1包括轉(zhuǎn)向傳感器10、車速傳感器20、操作輸入部30、攝 像機40、顯示器50、控制部60、和數(shù)據(jù)記錄部70。(結(jié)構(gòu)_轉(zhuǎn)向傳感器)轉(zhuǎn)向傳感器10檢測車輛的方向盤的轉(zhuǎn)向角，并將該檢測值輸出至控制部60，能夠 使用已知的轉(zhuǎn)向傳感器。(結(jié)構(gòu)-車速傳感器)車速傳感器20將與車軸的旋轉(zhuǎn)數(shù)成比例的車速脈沖信號等輸出至控制部60，能 夠使用已知的車速傳感器。(結(jié)構(gòu)_操作輸入部)操作輸部30接受來自用戶的操作輸入，能夠使用開關(guān)、觸摸面板等公知的輸入單兀。(結(jié)構(gòu)-攝像機)攝像機40是對車輛的周邊進行攝像的攝像單元。該攝像機40例如在車輛的前后 保險杠附近等設(shè)置一臺或多臺，對車輛的周邊進行攝像。攝像機40所攝取的圖像數(shù)據(jù)輸入 控制部60。另外，攝像機40的具體結(jié)構(gòu)是任意的，例如能夠使用CMOS圖像傳感器、CCD圖 像傳感器等公知的攝像元件，以及魚眼透鏡、棱鏡等公知的光學系統(tǒng)部件而構(gòu)成。(結(jié)構(gòu)-顯示器)顯示器50是顯示控制部60所生成的合成圖像、俯瞰圖像的顯示單元。另外，該顯 示器50的具體的結(jié)構(gòu)是任意的，能夠使用像公知的液晶顯示器、有機EL顯示器那樣的平板
顯不器。
7
(結(jié)構(gòu)-控制部)控制部60是控制駕駛輔助裝置1的控制單元，具體地說，是包括CPU、在該CPU上 被解釋并執(zhí)行的各種程序(包括OS等的基本控制程序、在OS上啟動并實現(xiàn)特定功能的應(yīng) 用程序)、以及用于存儲程序和各種數(shù)據(jù)的RAM那樣的內(nèi)部存儲器的計算機。特別的是，本 實施方式的駕駛輔助程序通過任意的記錄介質(zhì)或網(wǎng)絡(luò)安裝于駕駛輔助裝置1，由此實質(zhì)上 構(gòu)成控制部60的各部。該控制部60，從功能概念出發(fā)，包括移動狀態(tài)確定部61、合成圖像生成部62、俯瞰 圖像生成部63、校正部64、和圖像存儲器65。移動狀態(tài)確定部61是取得關(guān)于車輛的移動的 移動信息，基于該取得的移動信息確定該車輛的移動狀態(tài)的移動狀態(tài)確定單元。此處，“移 動信息”例如包括從轉(zhuǎn)向傳感器10輸入的轉(zhuǎn)向角的檢測值、從車速傳感器20輸入的車速脈 沖信號。此外，“移動狀態(tài)”是表示例如車輛的旋轉(zhuǎn)角度、移動距離等關(guān)于車輛的移動的狀態(tài) 的概念。合成圖像生成部62是基于移動狀態(tài)確定部61所確定的移動狀態(tài)，合成記錄在數(shù) 據(jù)記錄部70的圖像數(shù)據(jù)，生成包含車輛的位置的區(qū)域的合成圖像的合成圖像生成單元。俯 瞰圖像生成部63是基于攝像機40所拍攝的車輛的周邊的圖像數(shù)據(jù)，生成包含車輛的位置 的區(qū)域的俯瞰圖像的俯瞰圖像生成單元。校正部64是對在移動狀態(tài)確定部61基于移動信 息確定移動狀態(tài)時使用的參數(shù)、和在俯瞰圖像生成部63生成俯瞰圖像時使用的俯瞰參數(shù) 進行校正的校正單元。圖像存儲器65是對攝像機40所攝取的車輛周邊的圖像數(shù)據(jù)進行記 錄的記錄單元。此外，圖像存儲器65也進行合成圖像生成部62所生成的合成圖像、俯瞰圖 像生成部63所生成的俯瞰圖像的記錄。由這些控制部60的各構(gòu)成要素實施的處理的詳細 內(nèi)容在后面敘述。(結(jié)構(gòu)_數(shù)據(jù)記錄部)數(shù)據(jù)記錄部70是記錄在駕駛輔助裝置1的動作中需要的程序和各種數(shù)據(jù)的記錄 單元，例如使用作為外部存儲裝置的硬盤(省略圖示)而構(gòu)成。但是，也能夠代替硬盤或與 硬盤一同，使用包括磁盤那樣的磁性記錄介質(zhì)、或者DVD、藍光光盤那樣的光學記錄介質(zhì)的 其它任意的記錄介質(zhì)。該數(shù)據(jù)記錄部70記錄有引導線信息71、和參數(shù)信息72。引導線信息71是用于確 定在合成圖像上重疊顯示的引導線的配置的信息，例如能夠構(gòu)成為合成圖像中的引導線的 位圖數(shù)據(jù)。另外，引導線的具體內(nèi)容在后面敘述。參數(shù)信息72是確定在合成圖像、俯瞰圖 像的生成過程中使用的各種參數(shù)的信息，例如包括在移動狀態(tài)確定部61基于從轉(zhuǎn)向傳感 器10輸入的轉(zhuǎn)向角的檢測值確定車輛的旋轉(zhuǎn)時使用的旋轉(zhuǎn)參數(shù)；在移動狀態(tài)確定部61基 于從車速傳感器20輸入的車速脈沖信號確定車輛的移動距離時使用的距離參數(shù)；或者在 俯瞰圖像生成部63生成俯瞰圖像時使用的俯瞰參數(shù)等。其中，作為旋轉(zhuǎn)參數(shù)，例如能夠使 用用于求取與轉(zhuǎn)向角對應(yīng)的車輛的旋轉(zhuǎn)半徑、與轉(zhuǎn)向角和移動距離對應(yīng)的車輛的旋轉(zhuǎn)角度 的參數(shù)。此外，作為距離參數(shù)，例如能夠使用在車速脈沖信號每次輸出1脈沖時車輛所移動 的距離(車速脈沖長度)。此外，作為俯瞰參數(shù)，例如能夠使用確定在車輛的前后方向、左右 方向和高度方向的攝像機40的設(shè)置位置的坐標值，在滾動軸、俯仰軸、偏航軸(roll、pitch and yaw)的各軸的攝像機40的設(shè)置角度等，在將攝像機40所攝取的車輛周邊的圖像數(shù)據(jù) 坐標變換為俯瞰圖像或進行變形修正時的各種參數(shù)。(處理)
8
接著，說明由這樣構(gòu)成的駕駛輔助裝置1進行的處理，駕駛輔助裝置1所進行的處 理大致分為合成圖像生成處理和校正處理。(處理-合成圖像生成處理)首先說明合成圖像生成處理。圖2是合成圖像生成處理的流程圖(在以下的各處 理的說明中將步驟簡稱為“S”)。該合成圖像生成處理在例如通過操作輸入部30輸入了合 成圖像生成處理的啟動指示的情況下、或檔位設(shè)定為倒檔且車輛開始后退的情況下啟動。如圖2所示，當合成圖像生成處理啟動時，移動狀態(tài)確定部61取得從轉(zhuǎn)向傳感器 10輸入的轉(zhuǎn)向角的檢測值、從車速傳感器20輸入的車速脈沖信號等移動信息，基于該取得 的移動信息，使用記錄在數(shù)據(jù)記錄部70中的距離參數(shù)、旋轉(zhuǎn)參數(shù)，確定車輛的移動距離、旋 轉(zhuǎn)角度等移動狀態(tài)(SA1)。接著，合成圖像生成部62基于在SA1確定的移動距離，判定是否為取得圖像數(shù)據(jù) 的時刻(SA2)。例如，在存儲在RAMI的脈沖計數(shù)器中對車速脈沖信號的輸入脈沖數(shù)進行累 加，在累加脈沖數(shù)成為規(guī)定數(shù)量時，即在推測車輛移動了規(guī)定的距離時判定為取得圖像數(shù) 據(jù)的時刻。結(jié)果，在判定為不是取得圖像數(shù)據(jù)的時刻時(SA2，否)，重復該SA2的判定，在判定 為是取得圖像數(shù)據(jù)的時刻時(SA2，是)，合成圖像生成部62取得攝像機40所攝取的圖像數(shù) 據(jù)(SA3)。接著，合成圖像生成部62對存儲在RAM中的脈沖計數(shù)器的計數(shù)值進行復位，回到 初始值(SA4)。進一步，俯瞰圖像生成部63對在SA3中合成圖像生成部62取得的圖像數(shù)據(jù) 進行俯瞰變換，生成記錄圖像數(shù)據(jù)(SA5)。此外，合成圖像生成部62基于在SA1確定的移動距離、旋轉(zhuǎn)角度等移動狀態(tài)，確定 從基準位置(例如合成圖像生成處理啟動時的車輛的位置)的車輛的移動距離和旋轉(zhuǎn)角度 (SA6)。然后，基于確定的旋轉(zhuǎn)角度，以公知的圖像處理方法對在SA5生成的記錄圖像數(shù)據(jù) 進行旋轉(zhuǎn)處理(SA7)，將旋轉(zhuǎn)處理后的記錄圖像數(shù)據(jù)，基于在SA6確定的移動距離和旋轉(zhuǎn)角 度，記錄于圖像存儲器65的圖像合成用區(qū)域中對應(yīng)的像素區(qū)域(SA8)。在該像素區(qū)域中，與 前次以前生成并記錄的記錄圖像數(shù)據(jù)的像素區(qū)域存在重復的情況下，由之后攝取的記錄圖 像數(shù)據(jù)改寫該重復區(qū)域。接著，合成圖像生成部62判定是否為輸出合成圖像的時刻(SA9)。例如，在前次的 合成圖像輸出之后規(guī)定張數(shù)以上的記錄圖像數(shù)據(jù)被記錄于圖像存儲器65的情況下，判定 為是輸出合成圖像的時刻。在判定的結(jié)果是判定為不是輸出合成圖像的時刻的情況下(SA9，否)，回到SA1， 移動狀態(tài)確定部61進行移動狀態(tài)的確定(SA1)。另一方面，在判定是輸出合成圖像的時刻 的情況下(SA9，是)，俯瞰圖像生成部63在該時刻取得攝像機40所攝取的圖像數(shù)據(jù)，對該 圖像數(shù)據(jù)進行俯瞰變換，從而生成現(xiàn)在圖像數(shù)據(jù)(SA10)。接著，合成圖像生成部62使用在SA10生成的現(xiàn)在圖像數(shù)據(jù)和存儲在圖像存儲器 65中的記錄圖像數(shù)據(jù)，生成合成圖像(SA11)。例如，合成圖像生成部62從記錄于圖像合成 用區(qū)域的各記錄圖像數(shù)據(jù)，抽出與現(xiàn)在的包含車輛的位置的區(qū)域?qū)?yīng)的范圍，通過與從SA6 到SA8的各處理同樣的處理，以使該抽出的記錄圖像數(shù)據(jù)和現(xiàn)在圖像數(shù)據(jù)連續(xù)的方式進行 一體化，由此生成合成圖像。當生成合成圖像時，合成圖像生成部62將該合成圖像顯示于 顯示器50(SA12)。以后，重復SA1到SA12的處理，在輸入了結(jié)束觸發(fā)時(例如通過操作輸入部30輸入了合成圖像生成處理的結(jié)束指示時，檔位設(shè)定為倒檔以外的檔時)，結(jié)束合成 圖像生成處理。(處理-校正處理)接著，說明校正處理。圖3是校正處理的流程圖。該校正處理例如在通過操作輸 入部30接受開始校正處理的操作輸入時啟動。如圖3所示，當校正處理啟動時，校正部64首先通過進行俯瞰參數(shù)校正處理校正 俯瞰參數(shù)(SBl)，接著通過進行距離參數(shù)校正處理校正距離參數(shù)(SB2)，最后通過旋轉(zhuǎn)參數(shù) 校正處理構(gòu)成旋轉(zhuǎn)參數(shù)(SB3)。以下說明從SBl到SB3的各子程序的內(nèi)容。(處理-俯瞰參數(shù)校正處理)首先，說明SBl的俯瞰參數(shù)校正處理。圖4是俯瞰參數(shù)校正處理的流程圖。此外， 圖5是表示俯瞰參數(shù)校正處理進行時的車輛和顯示器50的圖，圖5(a)是表示車輛和基準 標識的位置的平面圖，圖5(b)是表示顯示器50的顯示畫面50a的圖。當在上述SBl啟動俯瞰參數(shù)校正處理時，校正部64判定在攝像機40能夠攝取的 范圍的路面上是否配置有基準標識3 (SCl)。此處，基準標識3是指校正參數(shù)時作為基準的 標識，例如能夠使用圖5(a)所示的一邊重復的多個長方形框線而構(gòu)成。在以下的說明中， 將基準標識3中最外側(cè)的框線記為第一框線3a，將中間的框線記為第二框線3b，將最內(nèi)側(cè) 的框線記為第三框線3c。此外，將與各框線相互重復的一邊平行的線稱為“左右框線”，將 與左右框線正交的框線記為“前后框線”。在圖5(a)所示的例子中，在俯瞰參數(shù)校正處理開始時，以使前后框線和車輛2的 前進方向平行的方式，且以基準標識3的各框線相互重復的一邊和車輛2的后端在從車輛 2的鉛直上方看時一致的方式，將基準標識3配置在路面上，或者使車輛2移動。在這樣配 置基準標識3，例如通過操作輸入部30接受基準標識3的配置完成的操作輸入時，能夠判定 基準標識3配置在攝像機40能夠攝取的范圍的路面上?；氐綀D4，在判定基準標識3配置在攝像機40能夠攝取的范圍的路面上時(SCl， 是)，校正部64基于記錄在數(shù)據(jù)記錄部70的引導線信息71，將俯瞰引導線顯示于顯示器 50(SC2)。該俯瞰引導線表示俯瞰圖像中與基準標識3的俯瞰變換對應(yīng)的預測配置，是基于 顯示在顯示器50的俯瞰圖像進行俯瞰參數(shù)的校正時的基準。例如圖5(b)中虛線所示的那 樣，俯瞰引導線80作為表示在俯瞰參數(shù)正確時基準標識3應(yīng)該在俯瞰圖像中顯示的配置和 形狀的框線進行顯示，例如作為與基準標識3的形狀對應(yīng)的位像與俯瞰圖像重復并顯 示在顯示器50中。此時，俯瞰引導線80的位像，例如使用在以顯示畫面50a的左上角 作為原點的坐標系中的坐標數(shù)據(jù)，確定其配置、形狀，在顯示畫面50a上固定地顯示?；氐綀D4，俯瞰圖像生成部63基于攝像機40攝取的車輛2的周邊的圖像數(shù)據(jù)和 俯瞰參數(shù)，生成包含車輛2的位置的區(qū)域的俯瞰圖像，與在SC2顯示的俯瞰引導線80相互 重疊，顯示于顯示器50(SC3)。例如，俯瞰圖像生成部63參照記錄在數(shù)據(jù)記錄部70的俯瞰 參數(shù)，進行從攝像機40輸入的圖像數(shù)據(jù)的坐標變換，由此對該圖像數(shù)據(jù)進行俯瞰變換，將 變換后的圖像數(shù)據(jù)顯示于顯示器50。例如，俯瞰圖像生成部63對從傾斜上方對基準標識 3所配置于的路面進行攝影而得到的圖像數(shù)據(jù)進行俯瞰變換，作為圖5(b)中以實線表示的 平面圖，將變換后的圖像數(shù)據(jù)顯示于顯示器50?；氐綀D4，校正部64判定在SC3俯瞰圖 像生成部63生成并顯示于顯示器50的俯瞰圖像所包含的基準標識3的配置與在該俯瞰圖像上重疊顯示的俯瞰引導線80的配置是 否一致(SC4)。例如，在通過按下作為操作輸入部30的決定按鈕(省略圖示)，輸入包含在 俯瞰圖像中的基準標識3的配置與俯瞰引導線80的配置一致的信息的情況下，校正部64 判定包含在俯瞰圖像中的基準標識3的配置與俯瞰引導線80的配置一致。另一方面，例如 圖5(b)所示，在作為俯瞰參數(shù)變更用的操作輸入按鈕的顯示在兼作為觸摸面板的顯示器 50中的“大”按鈕30a或“小”按鈕30b被按下時，認為需要進行俯瞰參數(shù)的變更，校正部64 判定包含在俯瞰圖像中的基準標識3的配置與俯瞰引導線80的配置不一致?；氐綀D4，在判定包含在俯瞰圖像中的基準標識3的配置與俯瞰引導線80的配置 不一致的情況下(SC4，否)，校正部64例如基于通過操作輸入部30的操作輸入，變更記錄 在數(shù)據(jù)記錄部70中的俯瞰參數(shù)的值(SC5)。例如，使構(gòu)成操作輸入部30的按鈕與按下該按 鈕時會變更的俯瞰參數(shù)的變更量預先相互對應(yīng)，基于按下的按鈕和按下次數(shù)，以對應(yīng)的變 更量進行俯瞰參數(shù)的變更。在圖5(b)的例子中，在操作“大”按鈕30a時以放大俯瞰圖像 的方式進行俯瞰參數(shù)的變更(例如，使確定攝像機40的設(shè)置位置的坐標值，移位至比現(xiàn)在 的坐標值所示的位置更高的位置，或者表示車輛2的前方的位置的坐標值)，在操作“小”按 鈕30b時以縮小俯瞰圖像的方式進行俯瞰參數(shù)的變更(例如，使確定攝像機40的設(shè)置位置 的坐標值，移位至比現(xiàn)在的坐標值所示的位置更低的位置，或者表示車輛2的后方的位置 的坐標值)?；氐綀D4，俯瞰圖像生成部63使用變更后的俯瞰參數(shù)生成俯瞰圖像，與在SC2 顯示的俯瞰引導線80相互重疊，顯示于顯示器50 (SC3)。另一方面，在判定包含于俯瞰圖像的基準標識3的位置與俯瞰引導線80的配置一 致的情況下(SC4，是)，認為由俯瞰圖像生成部63正確地進行了圖像數(shù)據(jù)的俯瞰變換而生 成俯瞰圖像，校正部64結(jié)束俯瞰參數(shù)校正處理。(處理-距離參數(shù)校正處理)接著，說明圖3的SB2的距離參數(shù)校正處理。圖6是距離參數(shù)校正處理的流程圖。 此外，圖7是表示距離參數(shù)校正處理進行時的車輛2和顯示器50的圖，圖7 (a)、(c)、(e)是 表示車輛2和基準標識3的位置的平面圖。圖7(b)、(d)、(f)中以斜陰影線表示的區(qū)域中 斜線的間隔較密的區(qū)域表示，由于沒有對應(yīng)的圖像數(shù)據(jù)而不顯示圖像的區(qū)域。此外，斜線的 間隔較稀疏的區(qū)域表示，合成圖像中基于記錄在圖像存儲器65中的記錄圖像數(shù)據(jù)合成的 區(qū)域。此外，沒有陰影線的區(qū)域表示，合成圖像中基于現(xiàn)在圖像數(shù)據(jù)合成的區(qū)域。此處，作為進行距離參數(shù)校正處理的前提，與俯瞰參數(shù)校正處理開始時同樣，以使 基準標識3的前后框線和車輛2的前進方向平行的方式，且以基準標識3的各框線相互重 復的一邊和車輛2的后端在從車輛2的鉛直上方看時一致的方式，配置基準標識3，或者使 車輛2移動(圖7(a))。另外，該基準標識3以使規(guī)定長度的多個直線以規(guī)定角度相互組合 的方式構(gòu)成，在以下的說明中，例如包括一邊的長度為lm50cm的正方形的第一框線3a、一 邊的長度為lm的正方形的第二框線3b、以及一邊的長度為50cm的正方形的第三框線3c。 此外，在顯示器50顯示以車輛2為基準的固定區(qū)域的圖像。將與該圖像對應(yīng)的區(qū)域在圖 7(a)、(c)、(e)中以虛線表示。當在上述SB2啟動距離參數(shù)校正處理時，如圖6所示，校正部64判定基準標識3 是否配置在攝像機40能夠攝取的范圍的路面上(SD1)。例如，在如圖7(a)所示那樣配置基 準標識3，通過操作輸入部30接受基準標識3的配置完成的操作輸入時，能夠判定基準標識3配置在攝像機40能夠攝取的范圍的路面上。此時，如圖7(b)所示，在顯示畫面50a中 作為現(xiàn)在圖像數(shù)據(jù)顯示基于攝像機40攝取的現(xiàn)在的圖像數(shù)據(jù)生成的俯瞰圖像。在基準標 識3的配置完成時，以基準標識3的各框線相互重復的一邊位于該現(xiàn)在圖像數(shù)據(jù)的下端部 分(圖7(b)中非陰影線區(qū)域與陰影線區(qū)域的邊界)的方式，顯示基準標識3。

回到圖6，在判定基準標識3配置在攝像機40能夠攝取的范圍的路面上的情況下 (SD1，是)，校正部64基于記錄在數(shù)據(jù)記錄部70的引導線信息71，將位置引導線和距離引 導線顯示于顯示器50(SD2)。位置引導線是確定使車輛2直線移動之后應(yīng)該停止的位置的 作為基準的位置標識，在顯示畫面50a中顯示為與車輛2的前進方向正交的直線。在本實 施方式中，如圖7所示，位置引導線81，在合成圖像生成部62所生成的合成圖像中基于攝像 機40攝取的現(xiàn)在的圖像數(shù)據(jù)生成的部分(圖7(b)中為“現(xiàn)在圖像數(shù)據(jù)”的部分)中，固定 地顯示于與車輛2開始直線后退之前的狀態(tài)下(圖7(b)的狀態(tài))基準標識3的第三框線 3c的左右框線一致的位置(圖7 (b)中上側(cè)的虛線)。此時，第三框線3c的前后框線的長度 為50cm，因此位置引導線81在合成圖像中在相當于距離現(xiàn)在圖像數(shù)據(jù)的下端部分50cm的 位置，固定地顯示為表示與車輛2的前進方向正交的方向的直線的位像。在該情況下， 當從圖7(b)的狀態(tài)開始車輛2完成了 Im的直線后退時，位置引導線81與距離基準標識3 的第三框線3c的左右框線Im的距離的第一框線3a的左右框線一致。位置引導線81顯示 于現(xiàn)在圖像數(shù)據(jù)的部分，因此在車輛2完成Im的直線后退時位置引導線81與第一框線3a 的左右框線必然一致。另外，位置引導線81的位像例如使用以顯示畫面50a的左上角 為原點的坐標系中的坐標數(shù)據(jù)而確定其配置和形狀，并固定地顯示在顯示畫面50a上。此外，距離引導線表示合成圖像中基準標識3的與直線移動對應(yīng)的預測配置，是 基于顯示于顯示器50的合成圖像進行距離參數(shù)的校正時的基準。例如圖7所示，距離引導 線82，在車輛2直線移動了規(guī)定距離(在本實施方式中，與從基準標識3的第三框線3c的 左右框線到第一框線3a的左右框線的距離對應(yīng)的Im)時，作為表示俯瞰圖像中基準標識3 的第三框線3c的左右框線在距離參數(shù)正確的情況下應(yīng)該顯示于顯示器50的配置的線，在 合成圖像中基于過去攝取的記錄圖像數(shù)據(jù)生成的部分(圖7(b)中不顯示“現(xiàn)在圖像數(shù)據(jù)” 的部分)固定地顯示(圖7(b)中下側(cè)的虛線)。在本實施方式中，將車輛2從圖7(b)所 示的位置引導線81與基準標識3的第三框線3c的左右框線一致的位置移動到圖7(f)所 示的位置引導線81與第一框線3a的左右框線一致的位置地Im的距離的情況下的、基準標 識3的第三框線3c的左右框線的預測配置顯示為距離引導線82。在該情況下，距離引導 線82，在圖7(b)的狀態(tài)的合成圖像中相當于距離第三框線3c的左右框線Im的位置，即在 相當于距離現(xiàn)在圖像數(shù)據(jù)與記錄圖像數(shù)據(jù)的邊界50cm的位置，固定地顯示為表示與車輛2 的前進方向正交的方向的直線的位像。在距離參數(shù)正確時，當車輛從圖7(b)的狀態(tài)直 線移動Im時，合成圖像中第三框線3c的移動距離與現(xiàn)實的移動距離Im相等，因此距離引 導線82與顯示在記錄圖像數(shù)據(jù)的區(qū)域的第三框線3c的左右框線一致。另一方面，在距離 參數(shù)不正確時，合成圖像中第三框線3c的移動距離與現(xiàn)實的移動距離Im不同，因此距離引 導線82與顯示在記錄圖像數(shù)據(jù)的區(qū)域的第三框線3c不一致。在SD2中在顯示器50顯示位置引導線81和距離引導線82之后，校正部64將使 車輛2向著基準標識3直線后退的指示顯示于顯示器50(SD3)。例如，將第一框線3a的左 右框線和位置引導線81以高光顯示，顯示使車輛2直線后退的消息直至兩者一致?；蛘?，也可以通過校正部64控制節(jié)流門，自動地使車輛2直線后退。與上述的車輛2的直線后退相配合地，合成圖像生成部62進行上述的合成圖像生成處理，由此生成包含車輛2的位置的區(qū)域的合成圖像，將該生成的合成圖像顯示于顯示 器 50 (SD4)。然后，校正部64判定在SD2顯示的位置引導線81的配置與合成圖像所包含的基 準標識3的配置是否一致(SD5)。例如，在圖7中，在以基準標識3的第一框線3a的左右框 線為基準的情況下，圖7(d)的狀態(tài)判定為該框線與位置引導線81的配置不一致。另一方 面，圖7(f)的狀態(tài)判定為該框線與位置引導線81的配置一致。例如，在通過按下作為操作 輸入部30的決定按鈕(省略圖示)，輸入合成圖像中的基準標識3的第一框線3a與位置引 導線81的配置一致的消息時，校正部64判定位置引導線81的配置與合成圖像所包含的基 準識3的配置一致。另一方面，在車輛2繼續(xù)直線后退時，校正部64判定位置引導線81的 配置與合成圖像所包含的基準標識3的配置不一致?；氐綀D6，在判定位置引導線81的配置與包含于合成圖像的基準標識3的配置不 致的情況下(SD5，否)，合成圖像生成部62重復進行合成圖像的生成和向顯示器50的顯示 (SD4)。另一方面，在判定位置引導線81的配置與合成圖像所包含的基準標識3的配置一 致的情況下(SD5，是)，認為車輛2直線移動了規(guī)定的距離(圖7的例子中是Im)，校正部 64判定與車輛2的直線移動相對應(yīng)地合成圖像生成部62所生成的合成圖像所包含的基準 標識3的配置與在合成圖像上重疊顯示的距離引導線82的配置是否一致(SD6)。例如，在 通過按下作為操作輸入部30的決定按鈕(省略圖示)，輸入了合成圖像中基準標識3的第 三框線3c與距離引導線82的配置一致的消息時，校正部64判定距離引導線82的配置與 合成圖像所包含的基準標識3的配置一致。另一方面，在例如圖7(f)所示那樣，在作為距 離參數(shù)變更用的操作輸入按鈕顯示于兼作為觸摸面板的顯示器50的“上”按鈕30c或“下” 按鈕30d被按下的情況下，認為需要距離參數(shù)的變更，校正部64判定距離引導線82的配置 與包含于合成圖像的基準標識3的配置不一致。例如，在圖7中，在以基準標識3的第三框線3c的左右框線為基準的情況下，圖 7(f)的狀態(tài)判定為該框線與距離引導線82的配置不一致。例如在隨著輪胎更換而輪胎徑 變大的情況下，現(xiàn)實中車輛2在車速脈沖信號每一脈沖中移動的距離相比于在數(shù)據(jù)記錄部 70中作為距離參數(shù)記錄的在車速脈沖信號每一脈沖的移動距離變長。例如，記錄在數(shù)據(jù)記 錄部70中的在車速脈沖信號每一脈沖的移動距離是8cm，與此相對，由于輪胎更換輪胎徑 變大后的車輛2在車速脈沖信號每一脈沖實際上移動的距離為10cm。此時，當車輛2移動 Im時，車速傳感器20輸出的車速脈沖信號的脈沖數(shù)為lm/lOcm= 10脈沖。另一方面，在數(shù) 據(jù)記錄部70中作為距離參數(shù)被記錄的在車速脈沖信號每一脈沖移動的距離為8cm，因此基 于該距離參數(shù)確定的車輛2的移動距離為ScmX 10脈沖=80cm,與實際的車輛2的移動距 離Im不同。如果基于這樣確定的移動距離，通過合成圖像生成處理生成合成圖像，則如圖 7(f)所示，生成第三框線3c的左右框線未到達距離引導線82的狀態(tài)的合成圖像?；氐綀D6，在判定包含于合成圖像的基準標識3的配置與距離引導線82的配置不 一致的情況下(SD6，否)，校正部64例如基于通過操作輸入部30的操作輸入，變更記錄在 數(shù)據(jù)記錄部70的距離參數(shù)的值(SD7)。例如圖7(f)所示，在兼作為觸摸面板的顯示器50 中顯示作為距離參數(shù)變更用的操作輸入按鈕的“上”按鈕30c和“下”按鈕30d。在操作了該“上”按鈕30c的情況下，以合成圖像中顯示于記錄圖像數(shù)據(jù)的部分的基準標識3向顯示 畫面50a的上方移動的方式進行距離參數(shù)的變更。即，在合成圖像生成處理中，使伴隨車 輛2的移動依次重合的記錄圖像數(shù)據(jù)的間隔變窄，因此使在數(shù)據(jù)記錄部70作為距離參數(shù)被 記錄的在車速脈沖信號每一脈沖移動的距離變?yōu)楸痊F(xiàn)在的值小的值。例如，在每按壓一次 “上”按鈕30c時使在車速脈沖信號每一脈沖移動的距離變短規(guī)定長度(例如1cm)。另一 方面，在操作了“下”按鈕30d的情況下，以合成圖像中顯示于記錄圖像數(shù)據(jù)的部分的基準 標識3向顯示畫面50a的下方移動的方式進行距離參數(shù)的變更。即，在合成圖像生成處理 中，使伴隨車輛2的移動依次重合的記錄圖像數(shù)據(jù)的間隔擴展，因此使在數(shù)據(jù)記錄部70作 為距離參數(shù)被記錄的在車速脈沖信號每一脈沖移動的距離變?yōu)楸痊F(xiàn)在的值大的值。例如， 在每按壓一次“下”按鈕30d時使在車速脈沖信號每一脈沖移動的距離變長規(guī)定長度(例 如 Icm)?；氐綀D6，合成圖像生成部62使用變更后的距離參數(shù)進行合成圖像生成處理，將 生成的合成圖像與在SD2顯示的位置引導線81和距離引導線82相互重疊，并顯示于顯示 器50(SD8)。之后，判定再次合成圖像所包含的基準標識3的配置與距離引導線82的配置 是否一致(SD6)。另一方面，在SD6中，判定合成圖像所包含的基準標識3的配置與距離引導線82 的配置一致的情況下(SD6，是)，認為在合成圖像生成處理中，合成圖像生成部62以適當?shù)?間隔依次重合記錄圖像數(shù)據(jù)而生成合成圖像，校正部64結(jié)束距離參數(shù)校正處理。(處理-旋轉(zhuǎn)參數(shù)校正處理)接著，說明圖3的SB3的旋轉(zhuǎn)參數(shù)校正處理。圖8是旋轉(zhuǎn)參數(shù)校正處理的流程圖。 此外，圖9是表示旋轉(zhuǎn)參數(shù)校正處理進行時的車輛2和顯示器50的圖，圖9 (a)、(c)、(e)是 表示車輛2和基準標識3的位置的平面圖，圖9(b)、(d)、(f)是表示顯示器50的顯示畫面 50a的圖。此處，作為進行旋轉(zhuǎn)參數(shù)校正處理的前提，與俯瞰參數(shù)校正處理開始時同樣，以使 基準標識3的前后框線與車輛2的前進方向平行的方式將基準標識3配置在車輛2的后端 部附近(圖9(a))。當在上述SB3啟動旋轉(zhuǎn)參數(shù)校正處理時，如圖8所示，校正部64判定基準標識3 是否配置在攝像機40能夠攝取的范圍的路面上(SEl)。例如，在像圖9 (a)例示的那樣配置 基準標識3，通過操作輸入部30接受基準標識3的配置完成的操作輸入時，能夠判定基準標 識3配置在攝像機40能夠攝取的范圍的路面上?；氐綀D8，在判定基準標識3配置在攝像機40能夠攝取的范圍的路面上的情況下 (SE1，是)，校正部64基于記錄在數(shù)據(jù)記錄部70的引導線信息71，將旋轉(zhuǎn)引導線顯示于顯 示器50(SE2)。旋轉(zhuǎn)引導線表示合成圖像中與基準標識3的旋轉(zhuǎn)對應(yīng)的預測配置，是基于顯 示器50中顯示的合成圖像進行旋轉(zhuǎn)參數(shù)的校正時的基準。在本實施方式中，使用記錄在數(shù) 據(jù)記錄部70的旋轉(zhuǎn)參數(shù)，確定從圖9(a)所示的基準標識3配置在車輛2的后端部附近的 狀態(tài)開始，車輛2以預先決定轉(zhuǎn)向的轉(zhuǎn)向角后退一定距離的情況下的基準標識3的第一框 線3a的前后框線的預測配置，并作為旋轉(zhuǎn)引導線83進行顯示。
在SE2中將旋轉(zhuǎn)引導線83顯示于顯示器50之后，校正部64在顯示器50中顯示 使車輛2旋轉(zhuǎn)的指示(SE3)。例如，在顯示器50顯示使轉(zhuǎn)向為一定的轉(zhuǎn)向角的消息(例如 “向左旋轉(zhuǎn)一周”等)，以及用于使車輛2后退一定距離的距離計數(shù)器(例如“之后后退lm”)等?；蛘?，也可以通過校正部64控制轉(zhuǎn)向和節(jié)流門，自動地使車輛旋轉(zhuǎn)。與上述的車輛2的旋轉(zhuǎn)相配合地，合成圖像生成部進行上述的合成圖像生成處理，由此生成包含車輛2的位置的區(qū)域的合成圖像，將該生成的合成圖像顯示于顯示器 50(SE4)。然后，校正部64判定車輛是否后退了一定距離(SE5)。例如，基于從車速傳感器 20輸入的車速脈沖信號和在距離參數(shù)校正處理校正后的距離參數(shù)，移動狀態(tài)確定部61確 定車輛2的移動距離，判定該確定的移動距離是否達到一定的距離。在其結(jié)果是判定車輛 2未后退一定的距離的情況下(SE5，否)，校正部64回到SE3，在顯示器50顯示使車輛2旋 轉(zhuǎn)的指示。另一方面，在判定車輛2后退了一定距離的情況下(SE5，是)，校正部64判定與車 輛2的旋轉(zhuǎn)相對應(yīng)地合成圖像生成部62所生成的合成圖像所包含的基準標識3的配置與 在合成圖像上重疊的旋轉(zhuǎn)引導線83的配置是否一致(SE6)。例如，在表示使車輛2后退一定距離時的顯示器50的顯示畫面50a的圖9(f)中， 判定基準標識3的第一框線3a的前后框線與作為其預測配置的旋轉(zhuǎn)引導線83的配置不一 致。例如，伴隨懸架的更換、輪胎更換，輪胎徑、偏移量等產(chǎn)生變化，隨之現(xiàn)實的車輛2的與 轉(zhuǎn)向角對應(yīng)的旋轉(zhuǎn)半徑與在數(shù)據(jù)記錄部70中作為旋轉(zhuǎn)參數(shù)記錄的旋轉(zhuǎn)半徑相比，可能變 大。當旋轉(zhuǎn)半徑變大時，車輛2移動一定距離時的旋轉(zhuǎn)角度變小。此時，在合成圖像生成處 理中，隨著車輛2的旋轉(zhuǎn)依次旋轉(zhuǎn)重合的記錄圖像數(shù)據(jù)的相互間的角度比現(xiàn)實的車輛2的 旋轉(zhuǎn)角度大。因此，如圖9 (f)所示，生成第三框線3c的前后框線彎曲，與旋轉(zhuǎn)引導線83的 配置不一致的狀態(tài)的合成圖像?；氐綀D8，在判定包含于合成圖像的基準標識3的配置與旋轉(zhuǎn)引導線83的配置不 一致的情況下(SE6，否)，校正部64基于例如通過操作輸入部30的操作輸入，變更記錄在 數(shù)據(jù)記錄部70中的旋轉(zhuǎn)參數(shù)的值(SE7)。圖10是舉例表示變更旋轉(zhuǎn)參數(shù)的值時顯示于顯 示器50的顯示畫面50a的圖，圖10(a)是旋轉(zhuǎn)參數(shù)變更前的顯示畫面50a的圖，圖10 (b) 是旋轉(zhuǎn)參數(shù)變更后的顯示畫面50a的圖。另外，在圖10中為了簡化表示，將基準標識3的 第一框線3a的前后框線和旋轉(zhuǎn)引導線83各僅表示了一根。如該圖10所示，在例如兼作為觸摸面板的顯示器50中顯示作為旋轉(zhuǎn)參數(shù)變更用 的操作輸入按鈕的“左”按鈕30e和“右”按鈕30f。在該“左”按鈕30e被操作時，以旋轉(zhuǎn) 引導線83和在合成圖像中記錄圖像數(shù)據(jù)的部分顯示的基準標識3在顯示畫面50a中向左 方向旋轉(zhuǎn)的方式進行旋轉(zhuǎn)參數(shù)的變更。即，在合成圖像生成處理中，使隨著車輛2的旋轉(zhuǎn)依 次旋轉(zhuǎn)重合的記錄圖像數(shù)據(jù)的旋轉(zhuǎn)角度變小，因此使在數(shù)據(jù)記錄部70作為旋轉(zhuǎn)參數(shù)記錄 的旋轉(zhuǎn)半徑變?yōu)楸痊F(xiàn)在的值大的值。另一方面，在“右”按鈕30f被操作時，以旋轉(zhuǎn)引導線 83和在合成圖像中記錄圖像數(shù)據(jù)的部分顯示的基準標識3在顯示畫面50a中向右方向旋轉(zhuǎn) 的方式進行旋轉(zhuǎn)參數(shù)的變更。即，在合成圖像生成處理中，使隨著車輛2的旋轉(zhuǎn)依次旋轉(zhuǎn)重 合的記錄圖像數(shù)據(jù)的旋轉(zhuǎn)角度變大，因此使在數(shù)據(jù)記錄部70作為旋轉(zhuǎn)參數(shù)記錄的旋轉(zhuǎn)半 徑變?yōu)楸痊F(xiàn)在的值小的值?；氐綀D8，校正部64使用變更后的旋轉(zhuǎn)參數(shù)，再次確定基準標識3的前后框線的預 測配置，并作為變更后的旋轉(zhuǎn)引導線83顯示于顯示器50(SE8)。例如，在SE7的處理中，通 過使作為旋轉(zhuǎn)參數(shù)被記錄的旋轉(zhuǎn)半徑變?yōu)楸痊F(xiàn)在的值大的值，使伴隨車輛2的旋轉(zhuǎn)依次旋轉(zhuǎn)重合的記錄圖像數(shù)據(jù)的旋轉(zhuǎn)角度變小。結(jié)果，圖10(b)所示的顯示畫面50a中的旋轉(zhuǎn)引 導線83作為比圖10 (a)所示的顯示畫面50a中的旋轉(zhuǎn)引導線83更沿著車輛2的前進方向 (顯示畫面50a的上方向)的直線而被再次配置?；氐綀D8，合成圖像生成部62使用變更后的旋轉(zhuǎn)參數(shù)進行合成圖像生成處理，將 生成的合成圖像與在SE8顯示的旋轉(zhuǎn)引導線83相互重疊而顯示于顯示器50(SE9)。例如， 在SE7的處理中，通過使作為旋轉(zhuǎn)參數(shù)被記錄的旋轉(zhuǎn)半徑變?yōu)楸痊F(xiàn)在的值大的值，圖10(b) 所示的顯示畫面50a中的基準標識3的第一框線3a的前后框線，相比于圖10(a)所示的顯 示畫面50a中的該框線，彎曲變小，顯示為沿著旋轉(zhuǎn)引導線83的線 。另一方面，在SE6中，判定合成圖像所包含的基準標識3的配置與旋轉(zhuǎn)引導線83 的配置一致的情況下(SE6，是)，認為在合成圖像生成處理中，合成圖像生成部62以適當?shù)?角度使記錄圖像數(shù)據(jù)旋轉(zhuǎn)并依次重合而生成合成圖像，校正部64結(jié)束旋轉(zhuǎn)參數(shù)校正處理。(效果)根據(jù)這樣的實施方式，基于與旋轉(zhuǎn)相對應(yīng)地合成圖像生成部62所生成的合成圖 像所包含的基準標識3的配置、和在合成圖像上重疊顯示的基準標識3的與旋轉(zhuǎn)對應(yīng)的預 測配置，對移動狀態(tài)確定部61基于移動信息確定作為移動狀態(tài)的旋轉(zhuǎn)時使用的旋轉(zhuǎn)參數(shù) 進行校正。由此，即使在由于車輛2的旋轉(zhuǎn)半徑等關(guān)于旋轉(zhuǎn)的運動特性的變化，不能夠使用 旋轉(zhuǎn)參數(shù)確定正確的旋轉(zhuǎn)，不能夠基于移動信息顯示正確的合成圖像的情況下，也能夠基 于合成圖像中基準標識3的配置與其預測配置的差校正旋轉(zhuǎn)參數(shù)，能夠使用該校正后的旋 轉(zhuǎn)參數(shù)，合成記錄在數(shù)據(jù)記錄部70的圖像數(shù)據(jù)，顯示正確的合成圖像。此外，基于與直線移動相對應(yīng)地合成圖像生成部62所生成的合成圖像所包含的 基準標識3的配置、和在合成圖像上重疊顯示的基準標識3的與直線移動對應(yīng)的預測配置， 對移動狀態(tài)確定部61基于移動信息確定作為移動狀態(tài)的移動距離時使用的距離參數(shù)進行 校正。由此，即使在由于隨著輪胎更換的輪胎徑的變化等關(guān)于移動距離的運動特性的變化， 不能夠使用距離參數(shù)確定正確的移動距離，不能夠基于移動信息顯示正確的合成圖像的情 況下，也能夠基于合成圖像中基準標識3的配置與其預測配置的差校正距離參數(shù)，能夠使 用該校正后的距離參數(shù)，合成記錄在數(shù)據(jù)記錄部70的圖像數(shù)據(jù)，顯示正確的合成圖像。此外，基于俯瞰圖像生成部63所生成的俯瞰圖像所包含的基準標識3的配置、和 在俯瞰圖像上重疊顯示的基準標識3的與俯瞰變換對應(yīng)的預測配置，對俯瞰圖像生成部63 生成俯瞰圖像時使用的俯瞰參數(shù)進行校正。由此，即使在由于攝像機40的設(shè)置位置的偏差 等，不能夠使用俯瞰參數(shù)生成正確的俯瞰圖像的情況下，也能夠基于合成圖像中基準標識3 的配置與其預測配置的差校正俯瞰參數(shù)，能夠使用該校正后的俯瞰參數(shù)，生成正確的俯瞰 圖像。此外，在合成圖像生成部62所生成的合成圖像中基于攝像機40所攝取的現(xiàn)在的 圖像數(shù)據(jù)生成的部分，顯示與車輛2的位置對應(yīng)的位置標識，因此，無論合成圖像中基于記 錄圖像數(shù)據(jù)生成的部分正確與否，都能夠基于該位置標識提示使車輛2移動一定距離時的 目標位置。此外，在校正處理中，在校正俯瞰參數(shù)之后，校正距離參數(shù)，因此，能夠基于在正確 的俯瞰圖像中顯示的位置引導線81和距離引導線82校正距離參數(shù)。進一步，在校正距離 參數(shù)之后，校正旋轉(zhuǎn)參數(shù)，因此能夠基于使用正確的距離參數(shù)生成的合成圖像和旋轉(zhuǎn)引導線83校正旋轉(zhuǎn)參數(shù)。(對于實施方式的變形例) 以上說明了本發(fā)明的實施方式，但本發(fā)明的具體的結(jié)構(gòu)和方法，在權(quán)利要求范圍 所記載的各發(fā)明的技術(shù)思想的范圍內(nèi)，能夠進行任意的改變和改良。以下說明這樣的變形 例。(關(guān)于要解決的問題和發(fā)明的效果)首先，發(fā)明所要解決的問題和發(fā)明的效果并不限定于上述內(nèi)容。存在根據(jù)發(fā)明的 實施環(huán)境、結(jié)構(gòu)的細節(jié)部分而不同的可能性，可以僅解決上述問題的一部分問題，僅達到上 述效果的一部分效果。(關(guān)于基準標識)在上述實施方式中說明了，在校正處理的各處理中使用的基準標識3，構(gòu)成為一邊 重復的多個長方形的框線的情況，但也可以在各處理中使用不同的基準標識3。例如，在俯 瞰參數(shù)校正處理中可以僅使用第一框線3a。此外，在距離參數(shù)校正處理中可以僅使用第一 框線3a和第三框線3c的左右框線。此外，在旋轉(zhuǎn)參數(shù)校正處理中，可以僅使用第一框線3a 的前后框線。
權(quán)利要求
一種駕駛輔助裝置，其包括攝像單元，其對車輛的周邊進行攝像；記錄單元，其對所述攝像單元所攝取的所述車輛的周邊的圖像數(shù)據(jù)進行記錄；移動狀態(tài)確定單元，其取得與所述車輛的移動相關(guān)的移動信息，基于該取得的移動信息確定該車輛的移動狀態(tài)；合成圖像生成單元，其基于所述移動狀態(tài)確定單元所確定的移動狀態(tài)，合成記錄在所述記錄單元的所述圖像數(shù)據(jù)，生成包含所述車輛的位置的區(qū)域的合成圖像；顯示單元，其顯示所述合成圖像生成單元所生成的所述合成圖像；以及校正單元，其在基準標識配置在所述攝像單元能夠攝取的范圍的路面上且所述車輛旋轉(zhuǎn)時，基于與該旋轉(zhuǎn)相對應(yīng)地由所述合成圖像生成單元所生成的所述合成圖像所包含的所述基準標識的配置、和在所述合成圖像上重疊顯示的所述基準標識的與所述旋轉(zhuǎn)對應(yīng)的預測配置，對所述移動狀態(tài)確定單元基于所述移動信息確定作為所述移動狀態(tài)的旋轉(zhuǎn)時使用的旋轉(zhuǎn)參數(shù)進行校正。
2.如權(quán)利要求1所述的駕駛輔助裝置，其中，所述校正單元在所述基準標識配置在所述攝像單元能夠攝取的范圍的路面上且所述 車輛直線移動時，基于與該直線移動相對應(yīng)地由所述合成圖像生成單元所生成的所述合成 圖像所包含的所述基準標識的配置、和在所述合成圖像上重疊顯示的所述基準標識的與所 述直線移動對應(yīng)的預測配置，對所述移動狀態(tài)確定單元基于所述移動信息確定作為所述移 動狀態(tài)的移動距離時使用的距離參數(shù)進行校正。
3.如權(quán)利要求1或2所述的駕駛輔助裝置，其中，包括俯瞰圖像生成單元，其基于所述攝像單元所攝取的所述車輛的周邊的圖像數(shù)據(jù)， 生成包含所述車輛的位置的區(qū)域的俯瞰圖像，所述校正單元在所述基準標識配置在所述攝像單元能夠攝取的范圍的路面上時，基于 所述俯瞰圖像生成單元所生成的所述俯瞰圖像所包含的所述基準標識的配置、和在所述俯 瞰圖像上重疊顯示的所述基準標識的與俯瞰變換對應(yīng)的預測配置，對所述俯瞰圖像生成單 元生成所述俯瞰圖像時使用的俯瞰參數(shù)進行校正。
4.一種駕駛輔助方法，其包括攝像步驟，其對車輛的周邊進行攝像；記錄步驟，其將在所述攝像步驟所攝取的所述車輛的周邊的圖像數(shù)據(jù)記錄在記錄單元中；移動狀態(tài)確定步驟，其取得與所述車輛的移動相關(guān)的移動信息，基于該取得的移動信 息確定該車輛的移動狀態(tài)；合成圖像生成步驟，其基于在所述移動狀態(tài)確定步驟確定的移動狀態(tài)，合成在所述記 錄步驟記錄在所述記錄單元的所述圖像數(shù)據(jù)，生成包含所述車輛的位置的區(qū)域的合成圖 像；顯示步驟，其將在所述合成圖像生成步驟生成的所述合成圖像顯示在顯示單元上；以及校正步驟，其在基準標識配置于在所述攝像步驟能夠攝取的范圍的路面上且所述車輛 旋轉(zhuǎn)時，基于與該旋轉(zhuǎn)相對應(yīng)地在所述合成圖像生成步驟生成的所述合成圖像所包含的所述基準標識的配置、和在所述合成圖像上重疊顯示的所述基準標識的與所述旋轉(zhuǎn)對應(yīng)的預 測配置，對在所述移動狀態(tài)確定步驟基于所述移動信息確定作為所述移動狀態(tài)的旋轉(zhuǎn)角度 時使用的旋轉(zhuǎn)參數(shù)進行校正。
5.如權(quán)利要求4所述的駕駛輔助方法，其中，包括俯瞰圖像生成步驟，其基于在所述攝像步驟攝取的所述車輛的周邊的圖像數(shù)據(jù)， 生成包含所述車輛的位置的區(qū)域的俯瞰圖像，在所述校正步驟中，在所述基準標識配置于在所述攝像步驟能夠攝取的范圍的路面上時，基于在所述俯瞰 圖像生成步驟生成的所述俯瞰圖像所包含的所述基準標識的配置、和在所述俯瞰圖像上重 疊顯示的所述基準標識的與俯瞰變換對應(yīng)的預測配置，對在所述俯瞰圖像生成步驟生成所 述俯瞰圖像時使用的俯瞰參數(shù)進行校正，在校正所述俯瞰參數(shù)之后，在所述基準標識配置于在所述攝像步驟能夠攝取的范圍的 路面上且所述車輛直線移動時，基于與該直線移動相對應(yīng)地在所述合成圖像生成步驟生成 的所述合成圖像所包含的所述基準標識的配置、和在所述合成圖像上重疊顯示的所述基準 標識的與所述直線移動對應(yīng)的預測配置，對在所述移動狀態(tài)確定步驟基于所述移動信息確 定作為所述移動狀態(tài)的移動距離時使用的距離參數(shù)進行校正，在校正所述距離參數(shù)之后，校正所述旋轉(zhuǎn)參數(shù)。
6.一種駕駛輔助程序，其使計算機執(zhí)行權(quán)利要求4或5所述的方法。
全文摘要
本發(fā)明提供駕駛輔助裝置、駕駛輔助方法和駕駛輔助程序。該駕駛輔助裝置包括攝像機，其對車輛的周邊進行攝像；圖像存儲器，其對攝像機所攝取的圖像數(shù)據(jù)進行記錄；移動狀態(tài)確定部，其基于關(guān)于車輛的移動的移動信息確定車輛的移動狀態(tài)；合成圖像生成部，其基于移動狀態(tài)確定部所確定的移動狀態(tài)，合成記錄在圖像存儲器的圖像數(shù)據(jù)，生成包含車輛的位置的區(qū)域的合成圖像；顯示器，其顯示合成圖像生成部所生成的合成圖像；以及校正部，其基于與車輛的旋轉(zhuǎn)相對應(yīng)地合成圖像生成部所生成的合成圖像所包含的基準標識的配置、和在合成圖像上重疊顯示的基準標識的與旋轉(zhuǎn)對應(yīng)的預測配置，對移動狀態(tài)確定部基于移動信息確定旋轉(zhuǎn)時使用的旋轉(zhuǎn)參數(shù)進行校正。
文檔編號H04N7/18GK101848370SQ20101011771
公開日2010年9月29日 申請日期2010年2月11日 優(yōu)先權(quán)日2009年3月27日
發(fā)明者大下裕一, 森俊宏 申請人:愛信艾達株式會社