專利名稱：圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及進(jìn)行圖像處理的圖像處理裝置。
背景技術(shù)：
近年來，開發(fā)了以駕駛支援為目的車載攝像機(jī)并正在普及。這些攝像機(jī)不是將拍攝的圖像展現(xiàn)給用戶，而是裝載有通過圖像處理自動檢測車道和車輛的功能，開發(fā)了防止車輛脫離車道的事故的功能，和追蹤前方車輛的功能。一般而言，為了實(shí)現(xiàn)這2個功能，要使用毫米波雷達(dá)或激光雷達(dá)這樣的雷達(dá)裝置以及車載攝像機(jī)。因?yàn)槭褂?種傳感器，所以存在成本高的問題。 于是，需要僅根據(jù)從攝像機(jī)得到的圖像實(shí)現(xiàn)追蹤控制、維持車道的功能的技術(shù)。作 為僅使用從攝像機(jī)得到的圖像進(jìn)行追蹤控制的技術(shù)，提出了專利文獻(xiàn)I中記載的方法。該方法求出某一時刻t的前方車輛在圖像上的寬度并登錄為基準(zhǔn)特征量，之后求出在時刻t+n得到的圖像上的前方車輛的寬度，控制車速使其與上述基準(zhǔn)特征量一致。例如，設(shè)時刻t的前方車輛在圖像上的寬度是20像素，時刻t+n的前方車輛在圖像上的寬度是25像素，則因?yàn)榻咏饲胺杰囕v，所以進(jìn)行控制以降低本車的速度，由此能夠?qū)崿F(xiàn)追蹤控制。先行技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I :日本特開2002-74598號公報(bào)

發(fā)明內(nèi)容
發(fā)明要解決的課題但是，專利文獻(xiàn)I的方法中，需要求出前方車輛在圖像上的寬度的處理。此外，存在難以檢測圖像上的前方車輛尺寸的微小變化的課題。本發(fā)明的目的在于提供一種圖像處理裝置，其即使僅對于來自拍攝裝置的圖像信息，也能夠根據(jù)微小的圖像變化精度良好地求出參數(shù)，實(shí)現(xiàn)高精度的前方車輛追蹤控制。
用于解決課題的方法為了解決上述課題，本發(fā)明是一種圖像處理裝置，其基于本車輛的行駛控制量進(jìn)行針對前方行駛中的移動體的追蹤控制，該圖像處理裝置包括圖像處理部，其根據(jù)所輸入的拍攝圖像確定移動體的區(qū)域，在追蹤控制開始后，將所確定的移動體的區(qū)域設(shè)定為基準(zhǔn)圖像區(qū)域，將經(jīng)過規(guī)定時間后的移動體的區(qū)域設(shè)定為比較圖像區(qū)域；對照部，其將所設(shè)定的基準(zhǔn)圖像區(qū)域和比較圖像區(qū)域進(jìn)行對照，計(jì)算關(guān)于移動體的行駛信息；和控制量計(jì)算部，其根據(jù)由對照部計(jì)算出的行駛信息計(jì)算本車輛的行駛控制量。此外，是一種圖像處理裝置，其基于本車輛的控制量進(jìn)行車道內(nèi)的行駛控制，該圖像處理裝置包括圖像處理部，其根據(jù)所輸入的拍攝圖像檢測路面上的車道，將檢測出的車道的區(qū)域設(shè)定為基準(zhǔn)圖像區(qū)域，將經(jīng)過規(guī)定時間后的車道的區(qū)域設(shè)定為比較圖像區(qū)域；對照部，其將所設(shè)定的基準(zhǔn)圖像區(qū)域和比較圖像區(qū)域進(jìn)行對照，計(jì)算圖像的平行移動成分和圖像的旋轉(zhuǎn)參數(shù)；和控制量計(jì)算部，其根據(jù)由對照部計(jì)算出的圖像的平行移動成分和圖像的旋轉(zhuǎn)參數(shù)計(jì)算本車輛的轉(zhuǎn)向的控制量。發(fā)明效果能夠提供一種圖像處理裝置，其即使僅對于來自拍攝裝置的圖像信息，也能夠根據(jù)微小的圖像變化精度良好地求出參數(shù)，實(shí)現(xiàn)高精度的前方車輛追蹤控制。


圖I是表示本發(fā)明的圖像處理裝置的一個實(shí)施力的框圖。
圖2是表示使用了本發(fā)明的圖像處理裝置的圖像處理系統(tǒng)的一個結(jié)構(gòu)例的圖。圖3是表示使用了本發(fā)明的圖像處理裝置的圖像處理系統(tǒng)的其他結(jié)構(gòu)例的圖。圖4是說明本發(fā)明的圖像處理裝置的第一實(shí)施方式的圖像區(qū)域的設(shè)定的圖。圖5是表示本發(fā)明的圖像處理裝置的第一實(shí)施方式的處理流程的一例的圖。圖6是表示本發(fā)明的圖像處理裝置的第一實(shí)施方式的設(shè)定基準(zhǔn)圖像的處理流程的一例的圖。圖7是表示本發(fā)明的圖像處理裝置的第一實(shí)施方式的圖像對照的處理流程的一例的圖。圖8是說明本發(fā)明的圖像處理裝置的第二實(shí)施方式的圖像區(qū)域的設(shè)定的圖。符號說明I圖像處理裝置2攝像機(jī)單元3處理單元4攝像機(jī)5圖像輸入單元6CPU7R0M8、9存儲器12通信單元13控制裝置14數(shù)據(jù)傳輸單元20圖像處理部21基準(zhǔn)圖像設(shè)定部22對照部23控制量計(jì)算部
具體實(shí)施例方式以下參照附圖，說明本發(fā)明的實(shí)施方式。(第一實(shí)施方式)圖I是表示本發(fā)明的第一實(shí)施方式中的圖像處理裝置I的基本結(jié)構(gòu)的例子的框圖。詳情將在后文中敘述。第一實(shí)施方式是對從作為拍攝裝置的攝像機(jī)4導(dǎo)入的圖像進(jìn)行處理，對于在本車前方行駛的移動體即前方車輛基于本車輛的行駛控制量進(jìn)行追蹤控制的圖像處理裝置I的控制方法。本發(fā)明的圖像處理裝置1，應(yīng)用于如圖2所示的圖像處理裝置I和控制裝置13，用該圖像處理裝置I所具備的攝像機(jī)4(拍攝裝置)拍攝周圍的環(huán)境，對拍攝的圖像進(jìn)行處理，實(shí)現(xiàn)控制車輛的功能。此時，圖像處理裝置I也可以具備2個以上的攝像機(jī)。此外，也可以如圖3所示，是將圖I的圖像處理裝置I的處理分離為攝像機(jī)單元2 (具有攝像機(jī)4、從攝像機(jī)4導(dǎo)入圖像的圖像輸入單元5、輸出導(dǎo)入的圖像的I/F42)和處理單元3 (具有從攝像機(jī)單元2輸入圖像的I/F43、存儲導(dǎo)入的圖像的存儲器9、處理導(dǎo)入的圖像的CPU6、存儲用于使用CPU6處理圖像的圖像處理程序的R0M7)，對于從攝像機(jī)單元2輸入的圖像用處理單元3進(jìn)行處理的結(jié)構(gòu)。以下以圖2的結(jié)構(gòu)為例進(jìn)行說明。攝像機(jī)4例如在車廂內(nèi)的后視鏡(room mirror)附近以拍攝車輛前方的方式安裝。
·
該圖像處理裝置I由作為拍攝裝置的攝像機(jī)4、作為用于處理該攝像機(jī)4拍攝的圖像的處理單元的CPU6、作為CPU6用的記錄單元且存儲拍攝的圖像和由CPU6處理后的處理結(jié)果的存儲器9、作為用于使用CPU6進(jìn)行處理的圖像處理程序的記錄單元的R0M7、和控制攝像機(jī)4并且導(dǎo)入圖像的圖像輸入單元5構(gòu)成，用總線11連接它們。但是，該結(jié)構(gòu)并非必要條件，也可以是在CPU6之外進(jìn)一步裝載圖像處理LSI而用專用的LSI對處理的一部分進(jìn)行處理的結(jié)構(gòu)，或者不是僅有I個存儲器而是使用圖像處理LSI用的RAM等多個存儲器的結(jié)構(gòu)。本圖像處理裝置I的攝像機(jī)4，例如裝載有CXD或CMOS拍攝元件。此外，圖像處理裝置I與控制裝置13,被CAN (Controller Area Network :控制器局域網(wǎng))等通信單元12連接，能夠相互傳輸圖像處理裝置I的處理結(jié)果等。圖像處理裝置I根據(jù)用攝像機(jī)4拍攝的圖像中的前方車輛的圖像，計(jì)算用于追蹤前方車輛的目標(biāo)車速、減速度、加速度、油門、剎車的控制量等，發(fā)送到控制裝置13?？刂蒲b置13接收圖像處理裝置I發(fā)送的信號，對未圖示的剎車或油門等致動器發(fā)送指令，控制車輛的速度。但是，也可以是圖像處理裝置I不求出目標(biāo)車速、減速度、加速度、油門、剎車的控制量等，而是求出圖像上的前方車輛區(qū)域的大小的變化量(放大率)等，將其結(jié)果發(fā)送到控制裝置13，用控制裝置13計(jì)算目標(biāo)車速、減速度、加速度、油門、剎車的控制量等的結(jié)構(gòu)。應(yīng)用本發(fā)明的圖像處理裝置1，為了實(shí)現(xiàn)這些，在R0M7中保存涉及本實(shí)施方式的圖像處理程序，使電源ON時CPU6執(zhí)行這些程序，由此實(shí)現(xiàn)處理拍攝的圖像的一系列功能，如圖I的圖像處理裝置I的功能框圖所示，作為圖像處理部20、基準(zhǔn)圖像設(shè)定部21、對照部
22、控制量計(jì)算部23起作用。圖I的圖像處理部20，具有確定用作為拍攝裝置的攝像機(jī)4拍攝的圖像中的前方車輛的區(qū)域，在追蹤控制開始時的時刻t將前方車輛的區(qū)域的圖像設(shè)定為基準(zhǔn)圖像區(qū)域，經(jīng)過規(guī)定的時間后，在時刻t+N，將前方車輛的區(qū)域的圖像設(shè)定為比較圖像區(qū)域的功能。但是，基準(zhǔn)圖像的設(shè)定也可以是通過觸摸面板和外部接口等手工設(shè)定的結(jié)構(gòu)?；鶞?zhǔn)圖像設(shè)定部21，具有在存儲器9中保存圖像處理部20中設(shè)定的基準(zhǔn)圖像區(qū)域中的圖像的功能。此時，也可以是保存包括基準(zhǔn)圖像區(qū)域的尺寸的圖像以及基準(zhǔn)圖像區(qū)域的坐標(biāo)，以代替基準(zhǔn)圖像區(qū)域中的圖像的結(jié)構(gòu)。對照部22具有對于由基準(zhǔn)圖像設(shè)定部21保存在存儲器9中的時刻t的基準(zhǔn)圖像區(qū)域或者其中的圖像、與圖像處理部20設(shè)定的時刻t的比較圖像區(qū)域或者其中的圖像進(jìn)行對照，計(jì)算作為移動體的前方車輛的行駛信息(例如前方車輛的圖像區(qū)域的大小的變化即放大率、表示圖像上的位置變化的平行移動量、實(shí)際空間上與前方車輛的車間距離、前方車輛的橫向位置等的至少I個)的功能。也可以是不求出圖像上的前方車輛區(qū)域的放大率和位置的變化，而是改為如后所述直接計(jì)算涉及減速度、加速度、車輛的轉(zhuǎn)向的參數(shù)的結(jié)構(gòu)?？刂屏坑?jì)算部23具有根據(jù)由對照部22求出的行駛信息(前方車輛的圖像區(qū)域的放大率、平行移動量、實(shí)際空間上的前方車輛的移動量等的至少I個)計(jì)算本車輛的行駛控制量(例如本車的目標(biāo)車速、加速度、減速度、目標(biāo)橫向加速度、目標(biāo)車輪轉(zhuǎn)角、目標(biāo)方向舵偏角、目標(biāo)橫擺角速度等的至少I個)的功能。進(jìn)而，也可以是求出對油門、剎車、方向盤的致動器發(fā)送的指令值的結(jié)構(gòu)。
通過使用這些功能，例如如圖4所示，在將時刻t的前方車輛的區(qū)域設(shè)定為基準(zhǔn)圖像，將時刻t+N的前方車輛的區(qū)域設(shè)定為比較圖像的情況下，因?yàn)楸容^圖像的前方車輛的圖像比基準(zhǔn)圖像更大(放大率不足1)，所以能夠控制車輛使得在時刻t+Ν+Ι得到的前方車輛的比較區(qū)域的圖像比時刻t+N小、接近基準(zhǔn)圖像。但是，放大率也可以定義為在基準(zhǔn)圖像比比較圖像大的情況下不足I。此外，在基準(zhǔn)圖像與比較圖像的大小相等的情況下為I也不是必要條件。以上構(gòu)成的圖像處理裝置1，如上所述通過由CPU6執(zhí)行圖像處理程序，能夠處理圖像，計(jì)算車輛控制所需的信息。但是，如上所述，圖像處理部20、基準(zhǔn)圖像設(shè)定部21、對照部22、控制量計(jì)算部23的一部分或者全部也可以由攝像機(jī)單元2執(zhí)行。此處，參照圖5的流程圖說明如上所述的圖像處理裝置I中直到圖像處理裝置I計(jì)算控制量的一系列處理。圖5所示的一系列處理，在電源接通時開始，反復(fù)進(jìn)行直到電源斷開。也可以設(shè)置能夠操作程序開始、停止的界面。首先，電源接通時，用圖像處理裝置I執(zhí)行圖像處理程序，執(zhí)行RAM等存儲器9的初始化等啟動時的初始化處理(步驟101)。接著，判定是否為圖像處理程序的執(zhí)行途中的初始化時刻(步驟102)，如果是要在步驟103中執(zhí)行初始化的時刻則轉(zhuǎn)移到步驟114，不是執(zhí)行初始化處理的時刻則執(zhí)行步驟104的處理。步驟114的初始化處理中，對于過去由圖像處理部20設(shè)定并由基準(zhǔn)圖像設(shè)定部21在作為存儲部的存儲器中存儲的基準(zhǔn)圖像區(qū)域，執(zhí)行清除、使其無效等處理。由此能夠重新設(shè)定為追蹤其他車輛。步驟102的初始化時刻判定中，基于駕駛員是否操作了未圖示的前方車輛追蹤的取消按鈕、是否踩了剎車這些信息判定時刻。例如，如果按下了取消按鈕或者踩了剎車，則判定為初始化時刻。此外，在有其他車輛進(jìn)入前方車輛與本車之間的情況下，也判定為初始化時刻。在步驟104中，判定是否為基準(zhǔn)圖像區(qū)域的設(shè)定時刻。該處理中，例如在駕駛員按下了未圖示的追蹤控制開始按鈕的情況下判定為基準(zhǔn)圖像區(qū)域的設(shè)定時刻。除駕駛員按下追蹤控制開始按鈕的情況以外，在前方車輛追蹤控制中有其他車輛進(jìn)入前方車輛與本車之間等情況下，也判定為基準(zhǔn)圖像區(qū)域的設(shè)定時刻。然后，如果判定不是基準(zhǔn)圖像區(qū)域的設(shè)定時刻則返回處理102，如果判定為設(shè)定時刻則轉(zhuǎn)移到步驟105，判定是否已經(jīng)設(shè)定基準(zhǔn)圖像區(qū)域。然后，如果已經(jīng)設(shè)定基準(zhǔn)圖像區(qū)域，則處理當(dāng)前時刻(從設(shè)定基準(zhǔn)圖像的時刻起經(jīng)過時刻N(yùn)的時刻)的圖像，確定前方車輛的圖像區(qū)域并設(shè)定為比較圖像區(qū)域(步驟106)。其中，設(shè)定基準(zhǔn)圖像區(qū)域的時刻設(shè)為t。之后，在步驟107中判定比較圖像區(qū)域的設(shè)定是否成功，在成功的情況下，對基準(zhǔn)圖像區(qū)域與比較圖像區(qū)域進(jìn)行對照(步驟108)。具體的對照方法將在后文中敘述。然后，基于步驟108中得到的結(jié)果計(jì)算控制量，將控制量通過通信單元12發(fā)送到控制裝置13。 此外，在步驟105中判定沒有完成設(shè)定基準(zhǔn)圖像區(qū)域的情況下，處理當(dāng)前時刻的圖像設(shè)定基準(zhǔn)圖像區(qū)域(步驟110)。此處，在步驟111中如果基準(zhǔn)圖像區(qū)域設(shè)定成功則返回步驟102，反復(fù)進(jìn)行用設(shè)定的基準(zhǔn)圖像區(qū)域逐次計(jì)算控制量的處理。在步驟111中判定基準(zhǔn)圖像區(qū)域設(shè)定失敗的情況下，輸出基準(zhǔn)圖像區(qū)域的設(shè)定失敗的消息、即表示基準(zhǔn)圖像區(qū)域設(shè)定失敗的信息。該信息是在顯不器上顯不的顯不信息、從揚(yáng)聲器發(fā)出聲音的聲音信息、點(diǎn)亮燈的點(diǎn)亮信息、發(fā)出蜂鳴音的警告信息的至少I個，由此對駕駛員通知錯誤(步驟112)。或者也可以是反復(fù)進(jìn)行基準(zhǔn)圖像區(qū)域的設(shè)定處理，在失敗規(guī)定次數(shù)以上時通知駕駛員的結(jié)構(gòu)。或者也可以是在基準(zhǔn)圖像區(qū)域的設(shè)定處理失敗的情況下，不是進(jìn)行追蹤控制，而是實(shí)施維持一定速度或者該時刻的速度的控制，即輸出使本車輛的速度維持預(yù)先決定的一定速度、或者該時刻的速度的控制信息的結(jié)構(gòu)。此時，也可以輸出基準(zhǔn)圖像區(qū)域設(shè)定失敗的消息、即上述顯示信息、聲音信息、點(diǎn)亮信息、警告信息等的至少I個，由此對駕駛員通知錯誤，并實(shí)施維持一定速度的控制。此外，在步驟107中判定比較圖像區(qū)域的設(shè)定失敗的情況下，在步驟103中判定是否失敗規(guī)定次數(shù)以上(M次以上)、即比較圖像區(qū)域的設(shè)定是否失敗了預(yù)先決定的次數(shù)以上，以及移動體即前方車輛是否因左右轉(zhuǎn)等脫離、即移動體是否脫離本車輛的拍攝裝置能夠拍攝的范圍。在判定為失敗次數(shù)為M次以下并且前方車輛沒有脫離的情況下，使用過去的對照結(jié)果和過去的控制量計(jì)算結(jié)果的至少一方計(jì)算當(dāng)前的控制量，即輸出使用預(yù)先存儲的過去的上述行駛信息計(jì)算的行駛控制量、或者預(yù)先存儲的過去的行駛控制量。在比較圖像區(qū)域的設(shè)定失敗了預(yù)先規(guī)定的次數(shù)以上(失敗M次以上)、或者移動體脫離了本車輛的拍攝裝置能夠拍攝的范圍(前方車輛脫離)的情況下，轉(zhuǎn)移到步驟112。在步驟112中，輸出比較圖像的設(shè)定失敗的消息、即表示基準(zhǔn)圖像區(qū)域的設(shè)定失敗的信息。該信息是在顯示器上顯示的顯示信息、從揚(yáng)聲器發(fā)出聲音的聲音信息、點(diǎn)亮燈的點(diǎn)亮信息、發(fā)出蜂鳴音的警告信息等的至少I個，由此對駕駛員通知錯誤?；蛘撸部梢允窃诒容^圖像區(qū)域的設(shè)定處理失敗的情況下，不是進(jìn)行追蹤控制而是實(shí)施維持一定速度的控制的結(jié)構(gòu)。接著，參照圖6所示的流程圖說明如上所述的圖像處理裝置I中圖像處理裝置I設(shè)定基準(zhǔn)圖像的一系列處理的流程。首先用步驟201判定是否為初始化時刻。例如，根據(jù)從未圖示的方向盤轉(zhuǎn)角傳感器或橫擺角速度傳感器等得到的信息判斷本車輛較大轉(zhuǎn)向的情況下判定為初始化時刻，如果轉(zhuǎn)向量在規(guī)定值以下則判斷不是初始化時刻。在步驟202中，在不是初始化時刻的情況下轉(zhuǎn)移到步驟203，設(shè)定前方車輛候選檢測的搜索范圍。在是初始化時刻的情況下，轉(zhuǎn)移到步驟209，使前方車輛候選檢測的搜索范圍初始化。然后，例如使用周知的模板匹配等技術(shù)在搜索范圍內(nèi)掃描，檢測車輛的候選(步驟204)。此時，也可以根據(jù)用與相鄰像素的差值求出的邊緣或各像素的亮度值信息剪切車輛候選的區(qū)域。之后，如果判定為存在車輛候選(步驟205 )，則在步驟206中使用支持向量機(jī)(SVM)、AdaBoost、RealAdaBoost、神經(jīng)網(wǎng)絡(luò)等公知技術(shù)識別是否為車輛。但是,此時如果在過去檢測出的前方車輛，則也可以通過對該前方車輛的圖像和從圖像提取的特征量與當(dāng)前的圖像的部分圖像對照來識別車輛。例如像圖7所示的流程圖那樣，在步驟210中，在搜索范圍內(nèi)設(shè)定部分圖像，判定·該部分圖像與過去的前方車輛的圖像是否相同。如果搜索范圍內(nèi)的掃描沒有完成(步驟211)，則改變部分圖像的位置、大小反復(fù)進(jìn)行步驟210的處理。如果所有車輛候選的識別處理沒有完成(步驟207)，則返回步驟206。如果所有完成則從通過識別處理判定為車輛的候選中，判定作為追蹤控制對象的前方車輛(步驟208)。是否前方車輛的判定處理中，通過判定檢測出的車輛是否在本車行駛的車道內(nèi)、前進(jìn)方向是否相同，來決定是不是如方車輛。此外，在步驟205中沒有車輛候選的情況下，跳過車輛候選檢測處理。用以上說明的方法等檢測前方車輛，將某個時刻t的圖像設(shè)定為基準(zhǔn)圖像，之后在時刻t+N設(shè)定比較圖像區(qū)域時，步驟108的基準(zhǔn)圖像與比較圖像的對照中，例如求出以下式I的值最小的參數(shù)。V {/{ νΟz,L\/r))- '(/)Υ......式 I
/=O其中，T :基準(zhǔn)圖像的亮度值，I :比較圖像的亮度值，W :使比較圖像變形的函數(shù)，ζ 放大率，tx :車輛的平行移動量(橫)，ty :車輛的平行移動量(縱)，M是基準(zhǔn)圖像的像素?cái)?shù)。關(guān)于變換函數(shù)W，設(shè)像素i的坐標(biāo)為i=(x，y)，則例如為
, 、f z-x + tx\W{i\p)=......式 2
\z-y+ty)當(dāng)然放大率ζ也可以在縱方向和橫方向?yàn)椴煌闹?，也可以包括旋轉(zhuǎn)、剪切等參數(shù)。其中，將參數(shù)z、tx、ty —并記作p。用式I求出能夠使比較圖像變形為與基準(zhǔn)圖像一致的參數(shù)。如果能夠求出放大率，就能夠求出車輛是接近還是遠(yuǎn)離本車。能夠如下所述解該式I。使參數(shù)變化Λρ以使e更小。反復(fù)進(jìn)行它得到最佳解。S卩，將式I記作如式2所示，反復(fù)進(jìn)行求出Δ P并將p+ Δ P代入P的處理。
MΣ(/_P + Δρ))-7·(/))……式 3
i=0對于式3應(yīng)用一次泰勒展開得到M ΓβΤΖΤTX /{W{ip))+V! — Ap- T{i) ......式 4
=ι LΦ _對其設(shè)式4=0，解出Δρ得到式5。即能夠求出Λρ。
M Γ pW~\TAp = H 1T V/^—l(w(i;i ))]......式 5
hL dp」其中，H表示海森矩陣，上標(biāo)-I表示逆矩陣，上標(biāo)T表示轉(zhuǎn)置矩陣。
但是，求出的參數(shù)也可以不是放大率，而是本車的減速度、加速度、目標(biāo)車速、車間距離等涉及本車速度的參數(shù)。這是因?yàn)榍胺杰囕v的圖像的放大、縮小與本車的車速、減速度、加速度、車間距離等相關(guān)，所以能夠使圖像的2維圖像變形與本車的運(yùn)動關(guān)聯(lián)而公式化。此外，此外，也可以用本車的橫擺角速度、橫向加速度、旋轉(zhuǎn)半徑、方向盤舵角、車輪轉(zhuǎn)角等涉及本車轉(zhuǎn)向的參數(shù)代替車輛的平行移動量(tx，ty)。例如使變換函數(shù)W為式6。
(D + {v + a-t)-t)
-^·χ +tx其中，P由D、V、a、tx、ty構(gòu)成，D是車間距離，V是相對速度，a是本車的加速度，t是微小時間(例如O. 5秒、I秒、2秒、3秒等)。此外，如果是車間距離一定的追蹤控制，則基準(zhǔn)圖像保持固定即可，但在要變更車間距離的情況下，或者更新基準(zhǔn)圖像，或者對基準(zhǔn)圖像應(yīng)用放大等圖像變換。例如，如果放大基準(zhǔn)圖像與比較圖像對照，則車間距離變短，如果縮小基準(zhǔn)圖像與比較圖像對照，則車間距尚變長。如上所述通過使用本發(fā)明，能夠提供一種圖像處理裝置，其即使僅對于來自拍攝裝置的圖像信息，也能夠根據(jù)微小的圖像變化精度良好地求出參數(shù)，實(shí)現(xiàn)高精度的前方車輛追蹤控制。以上所述的方法，說明了使用I臺攝像機(jī)的攝像機(jī)，但在存在2臺以上攝像機(jī)的情況下也能夠應(yīng)用本實(shí)施方式。如果應(yīng)用于使用2臺攝像機(jī)的立體攝像機(jī)，則能夠使基準(zhǔn)圖像和比較圖像的設(shè)定變得容易，與立體攝像機(jī)的3維計(jì)測結(jié)果并用來控制車輛。此外，說明了關(guān)于車輛的實(shí)施例，但對于機(jī)器人或傾卸車等建筑機(jī)械這樣的移動物也能夠應(yīng)用本發(fā)明。此外，基準(zhǔn)圖像的設(shè)定、比較圖像的設(shè)定失敗時，通過對駕駛員通知該消息，駕駛員能夠判斷是否正在追蹤控制下行駛，能夠提高控制的安全性。進(jìn)而，比較圖像的設(shè)定失敗時，通過進(jìn)行維持一定速度的控制，僅用本發(fā)明就能夠?qū)崿F(xiàn)前方車輛的追蹤控制和維持一定速度的控制，并且具有能夠在不存在前方車輛等情況下進(jìn)行控制的優(yōu)點(diǎn)。(第二實(shí)施方式)參照附圖詳細(xì)說明第二實(shí)施方式。第一實(shí)施方式中，是應(yīng)用于前方車輛的追蹤控制的例子，但也能夠通過使用道路的車道標(biāo)識等連續(xù)、斷續(xù)存在的路面標(biāo)識進(jìn)行維持車道的控制。S卩，具有圖像處理部20，其根據(jù)所輸入的拍攝圖像檢測路面上的車道，將檢測到的車道的區(qū)域設(shè)定為基準(zhǔn)圖像區(qū)域，將經(jīng)過規(guī)定時間后的車道的區(qū)域設(shè)定為比較圖像區(qū)域；對照部22，其對所設(shè)定的基準(zhǔn)圖像區(qū)域與比較圖像區(qū)域進(jìn)行對照，計(jì)算圖像的平行移動成分和圖像的旋轉(zhuǎn)參數(shù)；和控制量計(jì)算部23，其根據(jù)對照部22中計(jì)算出的圖像的平行移動成分和圖像的旋轉(zhuǎn)參數(shù)計(jì)算本車輛的轉(zhuǎn)向的控制量。具體而言，如圖8所示，將某個時刻t的車道標(biāo)識的圖像設(shè)定為基準(zhǔn)圖像，之后將時刻t+N的車道標(biāo)識的圖像設(shè)定為比較圖像。在本車與車道平行地行駛的情況下，總是在相同位置拍攝到車道標(biāo)識，但本車偏向某一側(cè)、車道標(biāo)識與前進(jìn)方向不平行時，會在不同的位置拍攝到車道標(biāo)識。本實(shí)施例中，在步驟108的處理中，例如使式2的參數(shù)P為圖像的平行移動成分tx、ty和圖像的旋轉(zhuǎn)參數(shù)0，求出七1、七7、Θ。然后,根據(jù)步驟109中得到的tx、ty、Θ求出車輛的轉(zhuǎn)向的控制量。此外，能夠通過將車輛的橫擺角速度、橫向加速度、轉(zhuǎn)向半徑、方向盤舵角、車輪轉(zhuǎn)角等本車的轉(zhuǎn)向的控制量、車輛或攝像機(jī)的上下方向的角度(俯仰)加入到圖像的變換函數(shù)W并公式化，而計(jì)算車輛的橫擺角速度、橫向加速度、旋轉(zhuǎn)半徑、方向盤舵角、車輪角度等本車的轉(zhuǎn)向的控制量、車輛或攝像機(jī)的上下方向的角度(俯仰)。 例如，當(dāng)參數(shù)P由圖像的旋轉(zhuǎn)參數(shù)Θ和tx、ty構(gòu)成時，變換函數(shù)W成為式7。
/ 、 (cos Θ -x-smO ■ V + !x\w(i； p)=' ......式 7
^sm Θ-Χ + cos + ty J這樣的第二實(shí)施方式中，也與第一實(shí)施方式同樣，能夠提供一種圖像處理裝置，其即使僅對于來自拍攝裝置的圖像信息，也能夠根據(jù)微小的圖像變化精度良好地求出參數(shù)，實(shí)現(xiàn)高精度的前方車輛追蹤控制。此外，以上所述的方法，說明了使用I臺攝像機(jī)的攝像機(jī)，但在存在2臺以上攝像機(jī)的情況下也能夠應(yīng)用本實(shí)施方式。如果應(yīng)用于使用2臺攝像機(jī)的立體攝像機(jī)，則能夠使基準(zhǔn)圖像和比較圖像的設(shè)定變得容易，并且使用立體攝像機(jī)的3維計(jì)測結(jié)果控制車輛。此夕卜，說明了關(guān)于車輛的實(shí)施例，但對于機(jī)器人或傾卸車等建筑機(jī)械這樣的移動物也能夠應(yīng)用本發(fā)明。此外，敘述了圖像的放大率、平行移動量、旋轉(zhuǎn)、剪切，但也能夠使用將方形的圖像變換為臺形這樣的其他仿射變換參數(shù)。
權(quán)利要求
1.一種圖像處理裝置，其基于本車輛的行駛控制量進(jìn)行針對前方行駛中的移動體的追蹤控制，該圖像處理裝置的特征在于，包括 圖像處理部，其根據(jù)所輸入的拍攝圖像確定所述移動體的區(qū)域，在追蹤控制開始后，將所確定的所述移動體的區(qū)域設(shè)定為基準(zhǔn)圖像區(qū)域，將經(jīng)過規(guī)定時間后的所述移動體的區(qū)域設(shè)定為比較圖像區(qū)域； 對照部，其將所設(shè)定的所述基準(zhǔn)圖像區(qū)域和所述比較圖像區(qū)域進(jìn)行對照，計(jì)算關(guān)于所述移動體的行駛信息；和 控制量計(jì)算部，其根據(jù)由所述對照部計(jì)算出的所述行駛信息計(jì)算本車輛的所述行駛控制量。
2.如權(quán)利要求I所述的圖像處理裝置，其特征在于 關(guān)于所述移動體的行駛信息，是表示所述移動體的圖像區(qū)域的大小變化比例的放大率、表示圖像上的位置變化的平行移動量、與前方車輛的車間距離、前方車輛的橫向位置、前方車輛與本車輛的相對速度、本車輛的加速度的至少I個。
3.如權(quán)利要求I所述的圖像處理裝置，其特征在于 具有基準(zhǔn)圖像設(shè)定部，該基準(zhǔn)圖像設(shè)定部將與由所述圖像處理部設(shè)定的所述基準(zhǔn)圖像區(qū)域?qū)?yīng)的圖像存儲到存儲部。
4.如權(quán)利要求I所述的圖像處理裝置，其特征在于 所述本車輛的行駛控制量，是本車輛的目標(biāo)車速、加速度、減速度、目標(biāo)橫向加速度、目標(biāo)車輪轉(zhuǎn)角、目標(biāo)方向舵偏角、目標(biāo)橫擺角速度的至少I個。
5.如權(quán)利要求I所述的圖像處理裝置，其特征在于 所述圖像處理部，在判定為所述基準(zhǔn)圖像區(qū)域的設(shè)定失敗的情況下，輸出表示所述基準(zhǔn)圖像區(qū)域的設(shè)定失敗的信息。
6.如權(quán)利要求5所述的圖像處理裝置，其特征在于 輸出的表示所述基準(zhǔn)圖像區(qū)域設(shè)定失敗的所述信息，是在顯示器上顯示的顯示信息、從揚(yáng)聲器發(fā)出聲音的聲音信息、點(diǎn)亮燈的點(diǎn)亮信息、發(fā)出蜂鳴音的警告信息的至少I個。
7.如權(quán)利要求5所述的圖像處理裝置，其特征在于 輸出的表示所述基準(zhǔn)圖像區(qū)域設(shè)定失敗的所述信息，是使本車輛的速度維持在預(yù)先決定的一定速度、或者維持在表示所述信息時的速度的控制信息。
8.如權(quán)利要求5所述的圖像處理裝置，其特征在于 輸出的表示所述基準(zhǔn)圖像區(qū)域的設(shè)定失敗的所述信息，具有在顯示器上顯示的顯示信息、從揚(yáng)聲器發(fā)出聲音的聲音信息、點(diǎn)亮燈的點(diǎn)亮信息、發(fā)出蜂鳴音的警告信息的至少I個，和使本車輛的速度維持在預(yù)先決定的一定速度的控制信息。
9.如權(quán)利要求I所述的圖像處理裝置，其特征在于 所述圖像處理部，在判定為所述比較圖像區(qū)域的設(shè)定失敗的情況下，進(jìn)行所述比較圖像區(qū)域的設(shè)定是否失敗了預(yù)先決定的次數(shù)以上的判定，和移動體是否脫離本車輛的拍攝裝置能夠拍攝的范圍的判定。
10.如權(quán)利要求9所述的圖像處理裝置，其特征在于 所述控制量計(jì)算部，在判定為所述比較圖像區(qū)域的設(shè)定沒有失敗預(yù)先決定的次數(shù)以上、并且判定移動體沒有脫離本車輛的拍攝裝置能夠拍攝的范圍的情況下，將用預(yù)先存儲的過去的所述行駛信息計(jì)算出的行駛控制量、或者預(yù)先存儲的過去的所述行駛控制量輸出。
11.如權(quán)利要求I所述的圖像處理裝置，其特征在于 所述圖像處理部，從所輸入的拍攝圖像在搜索范圍內(nèi)進(jìn)行掃描，檢測移動體的候選，從檢測出的移動體的候選中識別是否為移動體，從識別為移動體的移動體的候選中判定是否為追蹤控制的對象的移動體。
12.—種圖像處理裝置，其基于本車輛的控制量進(jìn)行車道內(nèi)的行駛控制，該圖像處理裝置的特征在于，包括 圖像處理部，其根據(jù)所輸入的拍攝圖像檢測路面上的車道，將檢測出的所述車道的區(qū)域設(shè)定為基準(zhǔn)圖像區(qū)域，將經(jīng)過規(guī)定時間后的所述車道的區(qū)域設(shè)定為比較圖像區(qū)域； 對照部，其將所設(shè)定的所述基準(zhǔn)圖像區(qū)域和所述比較圖像區(qū)域進(jìn)行對照，計(jì)算圖像的平行移動成分和圖像的旋轉(zhuǎn)參數(shù)；和 控制量計(jì)算部，其根據(jù)由所述對照部計(jì)算出的所述圖像的平行移動成分和所述圖像的旋轉(zhuǎn)參數(shù)計(jì)算本車輛的轉(zhuǎn)向的控制量。
全文摘要
本發(fā)明提供一種圖像處理裝置，其即使僅對于來自拍攝裝置的圖像信息，也能夠根據(jù)微小的圖像變化精度良好地求出參數(shù)，實(shí)現(xiàn)高精度的前方車輛追蹤控制?；诒拒囕v的行駛控制量進(jìn)行針對前方行駛中的移動體的追蹤控制的圖像處理裝置，包括圖像處理部，其根據(jù)所輸入的拍攝圖像確定移動體的區(qū)域，在追蹤控制開始后，將所確定的移動體的區(qū)域設(shè)定為基準(zhǔn)圖像區(qū)域，將經(jīng)過規(guī)定時間后的移動體的區(qū)域設(shè)定為比較圖像區(qū)域；對照部，其將所設(shè)定的基準(zhǔn)圖像區(qū)域和比較圖像區(qū)域進(jìn)行對照，計(jì)算關(guān)于移動體的行駛信息；和控制量計(jì)算部，其根據(jù)由對照部計(jì)算出的行駛信息計(jì)算本車輛的行駛控制量。
文檔編號H04N7/18GK102910168SQ20121027204
公開日2013年2月6日 申請日期2012年8月1日 優(yōu)先權(quán)日2011年8月1日
發(fā)明者樋口未來, 緒方健人, 志磨健 申請人:株式會社日立制作所