專利名稱：多視覺(jué)信息融合的車輛安全駕駛實(shí)時(shí)立體感知裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種多視覺(jué)信息融合的車輛安全行駛實(shí)時(shí)立體感知裝置及方法，屬于
智能圖象處理領(lǐng)域。
背景技術(shù)：
隨著經(jīng)濟(jì)的發(fā)展，有車的人越來(lái)越多，車位也越來(lái)越多，與此同時(shí)，車子可轉(zhuǎn)動(dòng)的 空間卻越來(lái)越少，駕駛員倒車難的問(wèn)題也就越來(lái)越突出，稍有不慎很容易碰觸到其它車輛 或建筑物。因此，市場(chǎng)上出現(xiàn)了多種行車和倒車安全輔助裝置，如倒車?yán)走_(dá)，倒車可視系統(tǒng) 裝置等等，但是這些裝置提供的是語(yǔ)音提醒以及圖像顯示后視場(chǎng)景，有的僅僅可以顯示車 尾距離車輛后面障礙物距離信息，有的只是用攝像頭把車尾的視頻圖像拍攝下來(lái)傳送到顯 示器上，雖然可在一定程度上幫助駕駛員完成倒車，但是，由于攝像頭監(jiān)視范圍所限，會(huì)出 現(xiàn)監(jiān)視盲區(qū)，不夠直觀，針對(duì)這一 問(wèn)題，有的采用車身周圍前后左右設(shè)置4路攝像頭，將各 路攝像頭獲取的場(chǎng)景視頻直接輸出于駕駛室的顯示裝置，以平面展示監(jiān)視車身周圍環(huán)境， 能夠在顯示器上4分屏實(shí)時(shí)顯示車身周圍前后左右場(chǎng)景，屬于2D顯示方式，讓駕駛員實(shí)時(shí) 掌握車身周圍駕駛環(huán)境狀況，其缺點(diǎn)是需要駕駛員通過(guò)不停掃視顯示器上4副場(chǎng)景圖像 來(lái)判斷車身周圍狀況，但駕駛員在駕駛車輛、特別是倒車的關(guān)鍵時(shí)刻，沒(méi)有更多時(shí)間和機(jī)會(huì) 依據(jù)4路實(shí)時(shí)圖象判斷車身周圍環(huán)境，況且人工判斷會(huì)有誤判和誤差，精度不夠，同時(shí)，由 于4路攝像頭分別設(shè)置在車身前、后、左、右四個(gè)方向，雖然可選廣角攝像頭，但是4路攝像 頭獲取車身周圍環(huán)境視頻圖像信息時(shí)，同樣存在監(jiān)視盲區(qū)，因此這種方式仍不夠直觀，使用 效率低、精度不夠且存在安全隱患。

發(fā)明內(nèi)容
本發(fā)明的目的是要解決現(xiàn)有車載可視監(jiān)視裝置對(duì)4路車身周圍攝像頭獲取的圖 像視頻信息不加處理地以2D輸出于顯示器上、使用效率低、精確度不夠、存在監(jiān)視盲區(qū)、不 直觀等問(wèn)題，提供了一種多視覺(jué)信息融合的車輛安全駕駛實(shí)時(shí)立體感知裝置及方法，采用 智能圖象處理技術(shù)，對(duì)獲取的多路車身周圍環(huán)境圖象視頻信息實(shí)時(shí)三維重建，形成實(shí)時(shí)的 車輛行駛環(huán)境三維立體環(huán)境。 本發(fā)明的車輛安全駕駛實(shí)時(shí)立體感知裝置采用的技術(shù)方案是包括與硬件處理 器平臺(tái)的輸入相連接的視頻圖像采集裝置、輸出相連的液晶顯示器，視頻圖像采集裝置上 具有6個(gè)攝像頭，硬件處理器平臺(tái)的主處理器內(nèi)包含一個(gè)DSP子系統(tǒng)和一個(gè)ARM子系統(tǒng)， SDRAM存儲(chǔ)器單元與主處理器和FPGA控制器相連，6個(gè)視頻AD單元與FPGA控制器連接，主 處理器分別連接DDR存儲(chǔ)單元、Flash存儲(chǔ)單元、JTAG調(diào)試單元、RS232接口單元、音頻接口 單元、CAN總線接口單元和車載雷達(dá)接口單元。 本發(fā)明的車輛安全駕駛實(shí)時(shí)立體感知方法采用的技術(shù)方案是首先，硬件處理器 平臺(tái)的FPGA控制器控制視頻圖像采集裝置采集車輛周圍圖像并做好圖像的預(yù)處理，存放 在SDRAM存儲(chǔ)器單元中；其次，主處理器的DSP子系統(tǒng)從SDRAM存儲(chǔ)器單元中讀取圖像，對(duì)幀圖像進(jìn)行匹配、拼接和三維場(chǎng)景的重建；再次，主處理器的ARM子系統(tǒng)同時(shí)從CAN總線接 口單元和車載雷達(dá)接口單元讀取相關(guān)數(shù)據(jù)，對(duì)倒車軌跡進(jìn)行預(yù)測(cè)，并根據(jù)雷達(dá)數(shù)據(jù)計(jì)算出 車尾距離后面障礙物的距離，送至DSP子系統(tǒng)；最后，DSP子系統(tǒng)將預(yù)測(cè)的倒車軌跡數(shù)據(jù)與 三維重建的圖像綜合處理送到液晶顯示器進(jìn)行顯示， 本發(fā)明的有益效果是駕駛員在行車或倒車的時(shí)候不用費(fèi)力地向后看，可以在車
內(nèi)的液晶顯示器上直觀地看到車身后方及車身周圍各個(gè)方向的立體環(huán)境信息，同時(shí)顯示器
上還描繪出經(jīng)過(guò)計(jì)算預(yù)測(cè)出來(lái)的倒車軌跡及車尾距離后面障礙物的距離，當(dāng)車輛與障礙物
距離小于安全距離的時(shí)候，就會(huì)語(yǔ)音報(bào)警，提示駕駛員注意。因此司機(jī)可以直觀、準(zhǔn)確的將 車倒入車庫(kù)或車位，具有身臨其境之感覺(jué)，完全避免了普通倒車裝置中常出現(xiàn)的盲區(qū)誤報(bào)
等現(xiàn)象，適用于各類汽車，如貨車、小車輛、特種車輛等。
以下結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明裝置及方法進(jìn)一步詳細(xì)說(shuō)明。
圖l是本發(fā)明裝置組成示意圖。圖2是

圖1中硬件處理器平臺(tái)2的組成方框圖。圖3是圖1中視頻圖像采集裝置1的結(jié)構(gòu)示意圖。圖4是圖3中視頻圖像采集裝置1中單個(gè)攝像頭的結(jié)構(gòu)及光源分布結(jié)構(gòu)示意圖。圖5是圖1中視頻圖像采集裝置1中底板上電路原理的示意圖。圖6是圖2中主處理器4中的ARM子系統(tǒng)6的控制流程圖。圖7是圖2中FPGA控制器7內(nèi)的控制流程圖。圖8是圖2中DSP子系統(tǒng)5內(nèi)的軟件流程圖。圖9是圖2中SDRAM存儲(chǔ)單元11的操作示意圖。圖10是圖1中液晶顯示器3上菜單示意圖。圖11是車輛正常行駛時(shí)液晶顯示器3上顯示圖像布局示意圖。圖12是車輛倒車行駛時(shí)液晶顯示器3上顯示圖像布局示意圖。
具體實(shí)施例方式
如圖l，本發(fā)明整個(gè)裝置包括硬件處理器平臺(tái)2、與硬件處理器平臺(tái)2的輸入相連 接的視頻圖像采集裝置1、以及與硬件處理器平臺(tái)2的輸出相連的液晶顯示器3。硬件處理 器平臺(tái)2是本發(fā)明的最重要的部分，完成圖像的處理、車輛倒車軌跡預(yù)測(cè)、車尾安全距離的 計(jì)算和整個(gè)裝置的控制等工作，此部分安裝在車輛內(nèi)部。視頻圖像采集裝置1安裝在車輛 外面的車頂位置，視頻圖像采集裝置1上具有6個(gè)攝像頭，主要完成車輛周圍環(huán)境的圖像信 息采集工作。液晶顯示器3負(fù)責(zé)在倒車檔位的時(shí)候?qū)⒂布幚砥髌脚_(tái)2發(fā)來(lái)的圖像顯示到 車載液晶顯示器上，讓駕駛員能直觀地看到行車途中或倒車時(shí)車輛周圍各個(gè)方向的立體環(huán) 境信息，可以使用車載導(dǎo)航的液晶顯示器。 如圖2，硬件處理器平臺(tái)2主要由主處理器4、FPGA控制器7、電源單元8、6個(gè)視頻 AD單元9、視頻DA單元10、 SDRAM存儲(chǔ)單元11、 DDR存儲(chǔ)單元12、 Flash存儲(chǔ)單元13、 JTAG 調(diào)試單元14、RS232接口單元15、音頻接口單元16、網(wǎng)絡(luò)接口單元17、藍(lán)牙接口單元18、CAN 總線接口單元19、 USB接口單元20和車載雷達(dá)接口單元21組成，其中，主處理器4內(nèi)包含一個(gè)DSP子系統(tǒng)5和一個(gè)ARM子系統(tǒng)6。電源單元8為整個(gè)硬件系統(tǒng)提供電源，6個(gè)視頻AD 單元9與FPGA控制器7連接，SDRAM存儲(chǔ)器單元11與主處理器4和FPGA控制器7相連， DDR存儲(chǔ)單元12與主處理器4相連，為主處理器4提供存儲(chǔ)器，F(xiàn)lash存儲(chǔ)單元13與主處 理4相連，用于存儲(chǔ)程序代碼。JTAG調(diào)試單元14、RS232接口單元15、音頻接口單元16、網(wǎng) 絡(luò)接口單元17、藍(lán)牙接口單元18、 CAN總線接口單元19、USB接口單元20、車載雷達(dá)接口單 元21和視頻DA單元10均與主處理器4連接，在這些與主處理器4相連的接口單元中，本 發(fā)明主要用到了 RS232接口單元15、CAN總線接口單元19、音頻接口單元16和車載雷達(dá)接 口單元21 ，其余接口單元主要是為了方便與車載GPS導(dǎo)航系統(tǒng)等其它車載電子設(shè)備進(jìn)行擴(kuò) 展。 如圖3，視頻圖像采集裝置1內(nèi)集成了 6個(gè)高精度CCD攝像頭。視頻圖像采集裝置 1下部為圓臺(tái)狀，頂部是一個(gè)與圓臺(tái)側(cè)面相切的半球形透明罩27。視頻圖像采集裝置1放置 于車輛外面的頂部，用來(lái)采集車輛外各個(gè)方向的圖像。圖3上的5個(gè)攝像頭22、23、24、25、 28均勻嵌在裝置的圓臺(tái)側(cè)面上，每相鄰兩個(gè)攝像頭中軸線的的夾角度數(shù)為72度，在裝置頂 部的半球形透明罩27下部設(shè)置第6個(gè)攝像頭26，此攝像頭是可控制的，能夠進(jìn)行前后左右 的運(yùn)動(dòng)，控制電路在此裝置的底板電路上。為了使攝像頭與攝像頭之間的死角區(qū)域更小以 方便三維圖像的拼接重建，且使裝置美觀大方，選取圓臺(tái)側(cè)面與水平面的夾角a為60度。
如圖4所示，本發(fā)明的攝像頭中單個(gè)攝像頭由一個(gè)高精度CCD攝像頭29和若干個(gè) 紅外發(fā)光二極管30組成。其中高精度CCD攝像頭29在中間位置，若干個(gè)紅外發(fā)光二極管 30均勻嵌在CCD攝像頭29的周圍，本發(fā)明使用了 21個(gè)紅外發(fā)光二極管30，這樣夜間的時(shí) 候，紅外發(fā)光二極管30發(fā)出紅外光，可使CCD攝像頭29在夜間依然能夠采集到車輛周圍清 晰的圖像。因此，本發(fā)明裝置可以再全天候使用，無(wú)論是白天還是黑夜，是晴天還是下雨都 可使用。 如圖5所示，視頻圖像采集裝置1中底板為圓形，面積與圖3所示攝像頭裝置底面 面積相當(dāng)，其上具有5個(gè)孔31、32、33、34和35，其中孔32、33、34、35為4個(gè)螺絲孔，用于固 定攝像頭，孔31略大，用于通過(guò)信號(hào)線。U1、U2、U3為底板上電路單元，其中Ul為RS232的 電路，U2為一個(gè)簡(jiǎn)單的微處理器，U3為底板上的電源電路，為底板上各個(gè)單元和攝像頭供 電。Jl、 J2是底板上的兩個(gè)接插件，連接本發(fā)明的視頻圖像采集裝置1和硬件處理器平臺(tái) 2。 Jl的第1、12腳為接地腳，第2腳為12V的電源引腳，第3、4、5、6、7、8引腳分別為6個(gè)攝 像頭的信號(hào)線，與硬件處理器平臺(tái)2上的6個(gè)視頻AD單元9相連，第9、10、11引腳與視頻 圖像采集裝置中攝像頭23的控制引腳相連。J2的第1腳為T(mén)XD引腳，與硬件處理器平臺(tái)2 的RS232接口單元15電路中的TXD信號(hào)線相連，第2腳接地，第3腳為RXD引腳，與硬件處 理器平臺(tái)2的RS232接口單元15電路中的RXD信號(hào)線相連。 本發(fā)明實(shí)時(shí)立體感知裝置方法是首先，硬件處理器平臺(tái)2的FPGA控制器7控制 視頻圖像采集裝置1采集車輛周圍圖像并做好圖像的預(yù)處理，存放在SDRAM存儲(chǔ)器單元11 中；其次，主處理器4的DSP子系統(tǒng)5從SDRAM存儲(chǔ)器單元11中讀取圖像，對(duì)幀圖像進(jìn)行匹 配、拼接和三維場(chǎng)景的重建；再次，主處理器4的ARM子系統(tǒng)6同時(shí)從CAN總線接口單元19 和車載雷達(dá)接口單元21讀取相關(guān)數(shù)據(jù)，對(duì)倒車軌跡進(jìn)行預(yù)測(cè)，并根據(jù)雷達(dá)數(shù)據(jù)計(jì)算出車尾 距離后面障礙物的距離，送至DSP子系統(tǒng)5 ;最后，DSP子系統(tǒng)5將預(yù)測(cè)的倒車軌跡數(shù)據(jù)與三 維重建的圖像綜合處理送到液晶顯示器3進(jìn)行顯示，其具體為
如圖6所示，硬件處理器平臺(tái)2上電完成初始化之后，液晶顯示器顯示菜單Sl，用 手點(diǎn)擊如圖11、 12的顯示器上按扭Me皿菜單41之后，顯示如圖IO所示菜單36，選智能倒 車按鈕43，進(jìn)入智能倒車參數(shù)設(shè)置菜單37，距離信息顯示按鈕46如果被按下，車身周圍距 離障礙物距離信息39將顯示在顯示器3的左下角，否則不顯示這些數(shù)據(jù)；語(yǔ)音安全報(bào)警按 鈕47如果被按下，當(dāng)車身距離障礙物距離很近的時(shí)候?qū)⑦M(jìn)行語(yǔ)言報(bào)警提示，否則不進(jìn)行語(yǔ) 言報(bào)警提示，此外如果車輛是倒車檔位，這個(gè)按鈕將不會(huì)起作用，倒車時(shí)將一直開(kāi)啟語(yǔ)音報(bào) 警提示。當(dāng)駕駛員通過(guò)這些菜單設(shè)置好后，ARM子系統(tǒng)6判斷是否為智能倒車模式S2，如果 是，ARM子系統(tǒng)6讀取顯示器信息S4，若不是，進(jìn)行其它工作S3，包括對(duì)網(wǎng)絡(luò)接口單元17、 USB接口單元20和藍(lán)牙接口單元18等其它單元進(jìn)行控制，然后通過(guò)CAN總線接口單元19 讀取車輛行駛時(shí)的實(shí)時(shí)參數(shù)S5，包括車輛的行駛速度，方向盤(pán)轉(zhuǎn)過(guò)的角度，汽車檔位等，然 后發(fā)送消息通知DSP子系統(tǒng)5的S6，車輛當(dāng)前是否為倒車檔位S7，若是，ARM子系統(tǒng)6將利 用這些參數(shù)和相關(guān)知識(shí)預(yù)測(cè)車輛的倒車軌跡S8，通過(guò)車載雷達(dá)接口 21獲取倒車?yán)走_(dá)的數(shù) 據(jù)，經(jīng)過(guò)處理，計(jì)算出車輛車尾距車后障礙物的距離S9，判斷距離是否小于預(yù)先設(shè)定車尾距 障礙物的安全距離S10，如果小于，系統(tǒng)將通過(guò)音頻接口單元16進(jìn)行語(yǔ)音報(bào)警提示S11，然 后ARM子系統(tǒng)6等待接收DSP子系統(tǒng)5消息S12， ARM子系統(tǒng)6將把剛才預(yù)測(cè)好的倒車軌跡 和車尾距障礙物距離等數(shù)據(jù)發(fā)送給DSP子系統(tǒng)S13，若不是將直接結(jié)束。
如圖7所示，裝置上電初始化完成后，F(xiàn)PGA控制器7開(kāi)始采集視頻圖像S1 ，為了降 低主處理器4中DSP子系統(tǒng)5的計(jì)算量，圖像采集完后，F(xiàn)PGA控制器7對(duì)采集的圖像進(jìn)行圖 像預(yù)處理操作S2，包括圖像濾波、歸一化等，然后等待接收DSP子系統(tǒng)5發(fā)送來(lái)的消息S3， 檢測(cè)此時(shí)的SDRAM存儲(chǔ)單元11是否可以進(jìn)行寫(xiě)入操作S4，如果不可以就繼續(xù)接收DSP子 系統(tǒng)5送來(lái)的消息S3，否則將預(yù)處理完畢的圖像幀存入SDRAM存儲(chǔ)單元11中去S5，這里對(duì) SDRAM的存取操作采用乒乓操作的方式，具體見(jiàn)圖9。圖像幀存儲(chǔ)完后發(fā)送消息給DSP子系 統(tǒng)5，通知SDRAM存儲(chǔ)單元11中已經(jīng)存有預(yù)處理完畢的圖像，可以進(jìn)行下一步圖像處理工作 了 S6。 如圖8所示，主處理器4上電初始化完成后，等待接收FPGA控制器7發(fā)來(lái)的消息 Sl，此消息通知DSP子系統(tǒng)5，SDRAM存儲(chǔ)單元11中的圖像是否已經(jīng)可讀了 S2，如果消息表 明SDRAM存儲(chǔ)單元11不可讀，則繼續(xù)接收FPGA控制器7發(fā)來(lái)的消息Sl，否則DSP子系統(tǒng) 5從SDRAM存儲(chǔ)單元11中讀取已經(jīng)預(yù)處理過(guò)的圖像數(shù)據(jù)S3，并通知FPGA控制器7可以繼 續(xù)向SDRAM存儲(chǔ)單元11中寫(xiě)入數(shù)據(jù)S4，然后對(duì)讀取的圖像進(jìn)行立體匹配、拼接、三維重建 等圖像處理S5，接下來(lái)DSP子系統(tǒng)5接收ARM子系統(tǒng)6發(fā)送來(lái)的消息S6，判斷車輛當(dāng)前是 否是倒車檔S7，如果是倒車檔位，DSP子系統(tǒng)5將發(fā)送消息通知ARM子系統(tǒng)6發(fā)送汽車倒車 的預(yù)測(cè)軌跡等S8，當(dāng)接收了預(yù)測(cè)的倒車軌跡和車尾距離障礙物距離等信息后S9， DSP子系 統(tǒng)5將倒車預(yù)測(cè)的軌跡等數(shù)據(jù)疊加到已處理好的圖像上S 10， DSP子系統(tǒng)5通過(guò)讀取駕駛 員設(shè)置的參數(shù)，判斷顯示器上是否顯示距離信息Sll，如果駕駛員選擇了顯示距離信息，DSP 子系統(tǒng)5將車身周圍距離障礙物的距離也疊加到圖像上S12，然后送液晶顯示S16，顯示效 果如圖12所示，如果駕駛員沒(méi)有選擇顯示距離信息，DSP子系統(tǒng)5將直接把圖像送液晶進(jìn) 行顯示S12，顯示效果如圖12所示，但是距離信息39不能顯示出來(lái)。如果不是倒車檔位， 而是正常前進(jìn)行駛的時(shí)候，DSP子系統(tǒng)5將判斷駕駛員是否選擇了語(yǔ)音報(bào)警功能，如果選擇 了將判讀車身距離周圍障礙物的距離S14，如果車身距離周圍障礙物距離小于預(yù)定安全距離，將進(jìn)行語(yǔ)音報(bào)警S15，此系統(tǒng)中將警告等級(jí)分為三級(jí)，第一級(jí)的安全距離小于0. 80m，第 二級(jí)的安全距離小于0. 50m，第三級(jí)的安全距離小于0. 30m。報(bào)警的聲音一級(jí)比一級(jí)急促， 然后進(jìn)入是否顯示距離信息的判斷SIO，如果駕駛員沒(méi)有選擇語(yǔ)音報(bào)警功能，DSP子系統(tǒng)5 將直接跳到步驟SIO。 本發(fā)明的硬件系統(tǒng)中對(duì)SDRAM存儲(chǔ)器11采用的是乒乓操作，如圖9所示，首先在 SDRAM存儲(chǔ)器11中開(kāi)辟2塊存儲(chǔ)區(qū)SDRAM A和SDRAM B，每塊大小約為6MB，用來(lái)存儲(chǔ)FPGA 控制器7每次預(yù)處理的6幀圖像。在第一個(gè)緩沖周期，將FPGA控制器7預(yù)處理后的圖像緩 存到SDRAM A中；在第2個(gè)緩沖周期，通過(guò)輸入圖像數(shù)據(jù)流選擇單元的切換，將輸入的圖像 流緩存到SDRAM B中，同時(shí)將SDRAM A緩存的第1個(gè)周期圖像數(shù)據(jù)通過(guò)輸出圖像數(shù)據(jù)流選 擇單元的選擇，送到DSP子系統(tǒng)5進(jìn)行運(yùn)算處理；在第3個(gè)緩沖周期通過(guò)輸入圖像數(shù)據(jù)流選 擇單元的再次切換，將輸入的圖像數(shù)據(jù)流緩存到SDRAM存儲(chǔ)器11中，同時(shí)將SDRAM B緩存 的第2個(gè)周期的數(shù)據(jù)通過(guò)輸出圖像數(shù)據(jù)流選擇單元的切換，送到DSP子系統(tǒng)5進(jìn)行運(yùn)算處 理，如此循環(huán)。這樣操作可以實(shí)現(xiàn)數(shù)據(jù)的無(wú)縫緩沖與處理，提高系統(tǒng)的效率。
當(dāng)駕駛員按下液晶顯示器3上如圖11或12中的Me皿按鈕41的時(shí)候，液晶顯示 器3上彈出如圖10所示的菜單36，里邊有三個(gè)按鈕分別是智能倒車43、GPS導(dǎo)航44和DVD 多媒體播放按鈕45，當(dāng)按下智能倒車按鈕43的時(shí)候，液晶顯示器3上會(huì)繼續(xù)彈出本發(fā)明裝 置的一些參數(shù)設(shè)置菜單37，如距離信息顯示46和語(yǔ)音安全報(bào)警按鈕47。當(dāng)距離信息顯示 按鈕46被按下的時(shí)候，液晶顯示器3左下角上將會(huì)顯示車身周圍距離障礙物的實(shí)時(shí)距離信 息(見(jiàn)圖11或12的39)，否則不顯示；如果語(yǔ)音安全報(bào)警按鈕47被按下，當(dāng)車身周圍距障 礙物的距離小于預(yù)設(shè)的安全距離時(shí)將發(fā)出語(yǔ)音報(bào)警提示，若沒(méi)有按下此按鈕，車輛在正常 前進(jìn)行駛時(shí)，語(yǔ)音報(bào)警功能將被屏蔽，但是倒車時(shí)仍然會(huì)進(jìn)行語(yǔ)言報(bào)警提示的，菜單36中 按鈕GPS導(dǎo)航44或DVD多媒體播放45被按下時(shí)，液晶顯示器3上將會(huì)出現(xiàn)相應(yīng)畫(huà)面，而不 會(huì)顯示本發(fā)明裝置中的相應(yīng)圖像。 圖11所示的是車輛正常行駛的時(shí)候，如果駕駛員選擇了菜單36中的智能倒車按 鈕43的時(shí)候，液晶顯示器3上顯示圖像的布局示意圖。液晶顯示器3共分四個(gè)顯示部分 包括按鈕41Me皿，距離信息顯示區(qū)域39，語(yǔ)音報(bào)警狀態(tài)顯示區(qū)域40和三維重建圖像顯示區(qū) 域38，其中當(dāng)駕駛員在菜單37中如果沒(méi)有按下距離信息顯示按鈕46，距離信息顯示區(qū)域39 將不進(jìn)行顯示。 圖12所示的是車輛倒車的時(shí)候，液晶顯示器3上顯示圖像的布局示意圖。在倒車 時(shí)，無(wú)論此時(shí)液晶顯示器3上顯示的是GPS導(dǎo)航地圖還是DVD的多媒體畫(huà)面，都將直接切換 到智能倒車模式下進(jìn)行顯示，倒車結(jié)束后，返回原來(lái)的顯示狀態(tài)。倒車時(shí)顯示器共分五個(gè)顯 示部分包括按鈕41Me皿，距離信息顯示區(qū)域39，語(yǔ)音報(bào)警狀態(tài)顯示區(qū)域40，三維重建圖像 顯示區(qū)域38和倒車軌跡顯示區(qū)域42，其中當(dāng)駕駛員在菜單37中如果沒(méi)有按下距離信息顯 示按鈕46，距離信息顯示區(qū)域39將不進(jìn)行顯示。
權(quán)利要求
一種多視覺(jué)信息融合的車輛安全駕駛實(shí)時(shí)立體感知裝置，包括與硬件處理器平臺(tái)(2)的輸入相連接的視頻圖像采集裝置(1)、輸出相連的液晶顯示器(3)，其特征是視頻圖像采集裝置(1)上具有6個(gè)攝像頭，硬件處理器平臺(tái)(2)的主處理器(4)內(nèi)包含一個(gè)DSP子系統(tǒng)(5)和一個(gè)ARM子系統(tǒng)(6)，SDRAM存儲(chǔ)器單元(11)分別與主處理器(4)和FPGA控制器(7)相連，6個(gè)視頻AD單元(9)與FPGA控制器(7)連接，主處理器(4)分別連接DDR存儲(chǔ)單元(12)、Flash存儲(chǔ)單元(13)、JTAG調(diào)試單元(14)、RS232接口單元(15)、音頻接口單元(16)、CAN總線接口單元(19)和車載雷達(dá)接口單元(21)。
2. 根據(jù)權(quán)利要求1所述的多視覺(jué)信息融合的車輛安全駕駛實(shí)時(shí)立體感知裝置，其特征 是所述視頻圖像采集裝置(1)放置于車輛外面的頂部，其下部為圓臺(tái)狀，頂部為一個(gè)與圓 臺(tái)側(cè)面相切的半球形透明罩(27)，視頻圖像采集裝置(1)上的5個(gè)攝像頭(22、23、24、25、 28)均勻嵌于圓臺(tái)側(cè)面上，第6個(gè)攝像頭(26)位于所述半球形透明罩(27)下部。
3. 根據(jù)權(quán)利要求1所述的多視覺(jué)信息融合的車輛安全駕駛實(shí)時(shí)立體感知裝置，其特征 是單個(gè)所述攝像頭由一個(gè)CCD攝像頭(29)和若干個(gè)紅外發(fā)光二極管(30)組成，CCD攝像 頭(29)位于中間位置，若干個(gè)紅外發(fā)光二極管(30)均勻嵌于其周圍。
4.根據(jù)權(quán)利要求2所述的多視覺(jué)信息融合的車輛安全駕駛實(shí)時(shí)立體感知裝置，其特征 是所視頻圖像采集裝置(1)中的底板上設(shè)置電路單元U1、U2、U3，其中U1為RS232的電 路，U2為一個(gè)簡(jiǎn)易的微處理器，U3為底板上的電源電路，Jl、 J2是底板上的兩個(gè)接插件。
5. —種多視覺(jué)信息融合的車輛安全駕駛實(shí)時(shí)立體感知方法，其特征是采用如下步驟1) 對(duì)硬件處理器平臺(tái)(2)上電完成初始化，F(xiàn)PGA控制器(7)控制視頻圖像采集裝置 (1)采集車輛周圍圖像并做好圖像的預(yù)處理，存放在SDRAM存儲(chǔ)器單元(11)中；2) 主處理器(4)的DSP子系統(tǒng)(5)從SDRAM存儲(chǔ)器單元(11)中讀取圖像，對(duì)幀圖像進(jìn) 行匹配、拼接和三維場(chǎng)景的重建；3) 主處理器(4)的ARM子系統(tǒng)(6)同時(shí)從CAN總線接口單元(19)和車載雷達(dá)接口單 元(21)讀取相關(guān)數(shù)據(jù)，對(duì)倒車軌跡進(jìn)行預(yù)測(cè)，并根據(jù)雷達(dá)數(shù)據(jù)計(jì)算出車尾距離后面障礙物 的距離，送至DSP子系統(tǒng)(5);4) DSP子系統(tǒng)(5)將預(yù)測(cè)的倒車軌跡數(shù)據(jù)與三維重建的圖像綜合處理送到液晶顯示器(3) 進(jìn)行顯示。
6. 根據(jù)權(quán)利要求5所述的多視覺(jué)信息融合的車輛安全駕駛實(shí)時(shí)立體感知方法，其特征 是FPGA控制器(7)采集視頻圖像并對(duì)圖像預(yù)處理操作后等待接收DSP子系統(tǒng)(5)發(fā)送來(lái) 的消息，檢測(cè)SDRAM存儲(chǔ)單元(11)是否可進(jìn)行寫(xiě)入操作，將預(yù)處理完畢的圖像幀存入SDRAM 存儲(chǔ)單元(11)中，通知SDRAM存儲(chǔ)單元(11)已經(jīng)存有預(yù)處理完畢的圖像。
7. 根據(jù)權(quán)利要求5所述的多視覺(jué)信息融合的車輛安全駕駛實(shí)時(shí)立體感知方法，其特征 是對(duì)SDRAM的存取操作是在SDRAM存儲(chǔ)器(11)中設(shè)2塊存儲(chǔ)區(qū)SDRAM A和SDRAM B，將 FPGA控制器(7)預(yù)處理后的圖像緩存到SDRAM A中；將輸入的圖像流緩存到SDRAMB中，同 時(shí)將SDRAM A緩存的第1個(gè)周期圖像數(shù)據(jù)通過(guò)輸出圖像數(shù)據(jù)流選擇單元的選擇送到DSP子 系統(tǒng)(5)進(jìn)行運(yùn)算處理；在第3個(gè)緩沖周期通過(guò)輸入圖像數(shù)據(jù)流選擇單元的再次切換，將輸 入的圖像數(shù)據(jù)流緩存到SDRAM存儲(chǔ)器(11)中，同時(shí)將SDRAM B緩存的第2個(gè)周期的數(shù)據(jù)通 過(guò)輸出圖像數(shù)據(jù)流選擇單元的切換送到DSP子系統(tǒng)(5)運(yùn)算處理。
8. 根據(jù)權(quán)利要求5所述的多視覺(jué)信息融合的車輛安全駕駛實(shí)時(shí)立體感知方法，其特征是DSP子系統(tǒng)(5)接收ARM子系統(tǒng)(6)發(fā)送來(lái)的消息判斷車輛當(dāng)前是否是倒車檔，如果是 倒車檔位，DSP子系統(tǒng)(5)發(fā)送消息通知ARM子系統(tǒng)(6)發(fā)送汽車倒車的預(yù)測(cè)軌跡，DSP子 系統(tǒng)(5)將倒車預(yù)測(cè)的軌跡數(shù)據(jù)疊加到已處理好的圖像上，DSP子系統(tǒng)(5)通過(guò)讀取已設(shè) 置的參數(shù)判斷顯示器上是否顯示距離信息。
全文摘要
本發(fā)明公開(kāi)了一種多視覺(jué)信息融合的車輛安全駕駛實(shí)時(shí)立體感知裝置及方法，視頻圖像采集裝置上具有6個(gè)攝像頭，主處理器內(nèi)包含一個(gè)DSP子系統(tǒng)和一個(gè)ARM子系統(tǒng)，SDRAM存儲(chǔ)器單元與主處理器和FPGA控制器相連，F(xiàn)PGA控制器控制采集車輛周圍圖像并做好圖像的預(yù)處理后存放在SDRAM存儲(chǔ)器單元中；DSP子系統(tǒng)從SDRAM存儲(chǔ)器單元中讀取圖像，對(duì)幀圖像進(jìn)行匹配、拼接和三維場(chǎng)景的重建；ARM子系統(tǒng)同時(shí)從CAN總線接口單元和車載雷達(dá)接口單元讀取相關(guān)數(shù)據(jù)，DSP子系統(tǒng)將預(yù)測(cè)的倒車軌跡數(shù)據(jù)與三維重建的圖像綜合處理送到液晶顯示器進(jìn)行顯示，駕駛員在行車或倒車時(shí)完全避免了普通倒車裝置中常出現(xiàn)的盲區(qū)誤報(bào)等現(xiàn)象。
文檔編號(hào)H04N7/18GK101739843SQ20091023268
公開(kāi)日2010年6月16日 申請(qǐng)日期2009年12月4日 優(yōu)先權(quán)日2009年12月4日
發(fā)明者丁燕瓊, 奚吉, 張卓, 張學(xué)武, 徐立中, 李慶武, 林善明, 梁瑞宇, 段敦勤, 范新南 申請(qǐng)人:河海大學(xué)常州校區(qū)