專利名稱：一種車輛行人檢測跟蹤預警系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種汽車輔助安全駕駛系統(tǒng)，尤其涉及一種基于單目紅外視頻的車輛行人檢測跟蹤預警系統(tǒng)，可具體應用于車載夜視、交通運輸、視頻監(jiān)控和公共安全等領域的目標檢測、跟蹤和測距。
背景技術：
隨著汽車市場的快速發(fā)展和安防意識的日益強化，人們對汽車安全保障技術的要求越來越高。現(xiàn)有汽車照明系統(tǒng)在夜間、雪天或大霧等能見度較低情況下視距不遠、效果不佳的弊病成為汽車行駛的安全隱患之一，另外在夜晚行車時，駕駛員通常會被對方車輛的燈光干擾出現(xiàn)盲區(qū)，也容易發(fā)生車禍。被動式紅外夜視系統(tǒng)根據(jù)不同溫度的物體發(fā)出的紅外光強度不同的原理進行成像，物體的溫度越高，呈現(xiàn)出的圖像越亮，所以被動式紅外夜視系統(tǒng)可以在黑暗中幫助駕駛員導航，使駕駛員在有燈光和黑暗兩種情況下都能看清駕駛環(huán)境，通過被動式紅外夜視系統(tǒng)看到的車輛行人會比路面和樹木更明亮，所以司機能夠立即注意到前方的車輛和行人。另外駕駛員由于疲勞駕駛或者注意力分散等原因也會導致事故頻發(fā)。研究表明，駕駛員只要在碰撞危險前得到0.5秒預警時間，能避免60%的碰撞事故，若在1.5秒鐘前得到預警時間，則可以避免90%以上交通事故。因此，汽車配備一套智能防撞預警系統(tǒng)將能夠大幅降低道路事故的發(fā)生率，可能與前方車輛或者行人發(fā)生碰撞時，汽車可以進行聲光報警，提示駕駛員危險物的方向以及危險程度，必要時駕駛員可以采取制動措施避免事故的發(fā)生，也可以通過汽車CAN總線，預警系統(tǒng)控制汽車自動實施制動。目前，車載紅外夜視儀已運用于前裝市場的一些高端車型以及少部分的后裝市場，車前的紅外攝像頭將捕 獲的紅外圖像直接在液晶顯示器上顯示。夜間行駛時，車輛駕駛者一邊要注視道路情況，還需不斷地觀看紅外圖像，從而綜合判斷是否有危險出現(xiàn)，這種方式增加了駕駛者的負擔，很容易造成誤判或者漏判，并不能有效地起到輔助駕駛的作用。對于已有的防撞預警系統(tǒng)，目前以色列Mobileye公司的基于單目可見光攝像頭的產(chǎn)品占據(jù)大部分的市場，但其在夜間使用時，由于只能探測可見光，所以觀測距離較近，限制了其在夜間的使用。目前市場上的FPGA芯片作為數(shù)據(jù)處理芯片具有強大的數(shù)字處理能力，F(xiàn)PGA靈活性強，并行處理能力強大，運算性能優(yōu)異，由于能夠進行編程、除錯、再編程和重復操作，因此可以方便地進行設計開發(fā)和驗證，當電路有少量改動時，更能顯示出FPGA的優(yōu)勢，滿足了紅外視頻數(shù)據(jù)量大、處理實時性要求高的需求，實現(xiàn)了數(shù)據(jù)快速采集與處理。目前市場上的ARM芯片作為控制器，集成了很多功能，具有強大的事務處理能力，借助于簡單的外圍就可以提供多樣化的工作，例如顯示、運行界面及應用程序等。在紅外成像系統(tǒng)集成上，為進一步提高紅外成像的實用性與易用性，紅外圖像處理技術已成為紅外成像領域與圖像處理領域的研究熱點，對應的運行平臺也從上位機發(fā)展到嵌入式平臺，并成為一種趨勢。已報道的紅外圖像處理嵌入式平臺結構主要有以下兩種:(I)基于ARM硬件架構的紅外圖像處理裝置，圖像數(shù)據(jù)的采集、處理以及界面運行等都在ARM上完成；(2)基于FPGA硬件架構的紅外圖像處理裝置，圖像數(shù)據(jù)的采集、處理以及界面運行等都在FPGA上完成。由于ARM數(shù)據(jù)處理能力較弱，而視頻處理算法包含大量的數(shù)據(jù)計算，若單獨使用ARM芯片來完成視頻數(shù)據(jù)處理，無法保證視頻處理的實時性。當視頻清晰度較高，數(shù)據(jù)量較大時，ARM芯片將無法完成數(shù)據(jù)的處理任務；FPGA芯片可以實現(xiàn)大量數(shù)據(jù)的高速處理任務，但FPGA開發(fā)難度高，算法移植復雜，很難將上位機程序移植到FPGA中實現(xiàn)界面顯示等功能。

發(fā)明內容
有鑒于此，有必要提供一種高效的嵌入式紅外圖像處理系統(tǒng)，實現(xiàn)目標準確檢測、跟蹤、距離精確測量和預警提示，提高駕駛的安全性，有效避免大部分的交通事故，從而降低生命財產(chǎn)損失，對本車輛外的其他車輛與行人進行檢測并跟蹤測距，計算與其他車輛或行人的距離，并發(fā)出預警，因而，具有對紅外圖像進行一定的算法處理，可以檢測出危險目標，并及時地發(fā)出報警提示的紅外智能防撞預警系統(tǒng)，則可以大大減輕駕駛者的負擔。本發(fā)明是這樣實現(xiàn)的，一種車輛行人檢測跟蹤預警系統(tǒng)，其包括安裝在車輛中的被動式單目紅外攝像機、顯示器、模數(shù)轉換模塊、電源模塊、以及處理電路，該電源模塊供電給整個系統(tǒng)，該處理電路通過該模數(shù)轉換模塊獲取該紅外攝像機的視頻圖像信號，并進行數(shù)據(jù)處理后傳送至該顯示器中進行顯示，其中，該處理電路采用FPGA電路模塊和ARM電路模塊結合的硬件主體構架，該紅外攝像機安裝在本車輛的頭部且隱藏于格柵后并保證該紅外攝像機的鏡頭視野不被遮擋，同時保持安裝的位置在本車輛的中心線位置，該紅外攝像機的安裝高度使得鏡頭視場能夠覆蓋本車輛前方區(qū)域，以獲得視頻中的路面鋪滿一半視場到三分之二視場之間。作為上述方案的進一步改進，該FPGA電路模塊包含F(xiàn)PGR處理器、紅外視頻圖像信號BNG輸入電路、視頻解碼電路、SRAM及報警電路，該ARM電路模塊包含ARM處理器、視頻壓縮編碼電路、SD卡存儲電路、調試通訊電路及視頻`顯示交互電路；其中，紅外視頻圖像信號BNG輸入電路電性連接于視頻解碼電路，視頻解碼電路、SRAM及報警電路均電性連接于FPGR處理器；SD卡存儲電路電性連接于視頻壓縮編碼電路，視頻壓縮編碼電路、調試通訊電路及視頻顯示交互電路均電性連接于ARM處理器；FPGR處理器與ARM處理器使用總線的方式進行數(shù)據(jù)的交換，整個處理電路由ARM處理器統(tǒng)一協(xié)調指揮。作為上述方案的進一步改進，模數(shù)轉換模塊、電源模塊以及處理電路形成的硬件構架安裝在本車輛的操縱臺下方，通過纜線將該紅外攝像機的視頻圖像信號引入該硬件構架，該電源模塊接到本車輛的點煙器上。優(yōu)選地，顯示器安裝在本車輛的駕駛室內，安裝在操縱臺上方或者懸掛安裝在本車輛的前視玻璃上，通過纜線將該硬件構架處理后的紅外視頻引入該顯示器進行顯示。作為上述方案的進一步改進，該處理電路利用該視頻圖像信號對本車輛前的目標車輛與目標行人進行檢測并跟蹤測距，計算與目標車輛或目標行人的距離，并發(fā)出預警，該
d =_h_
距離滿足以下公式:'tanra+arctanro^z)^
IV f
其中，d為本車輛與目標車輛或目標行人的距離；f是該紅外攝像機的有效焦距；α是該紅外攝像機的俯仰角；h是該紅外攝像機的鏡頭到路面的高度；(X(l，y0)是該鏡頭的光軸與像平面的交點，為像平面坐標系的原點；(X，Y)為P點在像平面上的投影坐標，該P點取自經(jīng)跟蹤確認的目標車輛或目標行人，作為與本車輛的距離d的參考點，該處理電路判斷該距離d是否小于一預定碰撞距離，并在該距離d小于該預定碰撞距離時，啟動聲音報警，并啟動顯示報警。優(yōu)選地，根據(jù)紅外視頻的特點，即車輛與行人的溫度相對較高，該處理電路采用邊緣檢測及特征識別的辦法，檢測出目標車輛與目標行人并進行定位。再優(yōu)選地,該處理電路采用Kalman濾波法結合Mean Shift法,建立車輛、行人跟蹤模型，并在跟蹤過程中更新目標模型參數(shù)，濾除本車輛在振動過程中帶來的影響，并過濾部分虛目標。優(yōu)選地，該處理電路根據(jù)目標車輛或行人在視頻中尺寸比例的變化計算出瞬時碰撞時間，該瞬時碰撞時間滿足以下公式:
權利要求
1.一種車輛行人檢測跟蹤預警系統(tǒng)，其包括安裝在車輛中的被動式單目紅外攝像機、顯示器、模數(shù)轉換模塊、電源模塊、以及處理電路，該電源模塊供電給整個系統(tǒng)，該處理電路通過該模數(shù)轉換模塊獲取該紅外攝像機的視頻圖像信號，并進行數(shù)據(jù)處理后傳送至該顯示器中進行顯示，其特征在于，該處理電路采用FPGA電路模塊和ARM電路模塊結合的硬件主體構架，該紅外攝像機安裝在本車輛的頭部且隱藏于格柵后并保證該紅外攝像機的鏡頭視野不被遮擋，同時保持安裝的位置在本車輛的中心線位置，該紅外攝像機的安裝高度使得鏡頭視場能夠覆蓋本車輛前方區(qū)域，以獲得視頻中的路面鋪滿一半視場到三分之二視場之間。
2.如權利要求1所述的車輛行人檢測跟蹤預警系統(tǒng)，其特征在于，該FPGA電路模塊包含F(xiàn)PGR處理器、紅外視頻圖像信號BNG輸入電路、視頻解碼電路、SRAM及報警電路，該ARM電路模塊包含ARM處理器、視頻壓縮編碼電路、SD卡存儲電路、調試通訊電路及視頻顯示交互電路；其中，紅外視頻圖像信號BNG輸入電路電性連接于視頻解碼電路，視頻解碼電路、SRAM及報警電路均電性連接于FPGR處理器；SD卡存儲電路電性連接于視頻壓縮編碼電路，視頻壓縮編碼電路、調試通訊電路及視頻顯示交互電路均電性連接于ARM處理器；FPGR處理器與ARM處理器使用總線的方式進行數(shù)據(jù)的交換，整個處理電路由ARM處理器統(tǒng)一協(xié)調指 車。
3.如權利要求1所述的車輛行人檢測跟蹤預警系統(tǒng)，其特征在于，模數(shù)轉換模塊、電源模塊以及處理電路形成的硬件構架安裝在本車輛的操縱臺下方，通過纜線將該紅外攝像機的視頻圖像信號引入該硬件構架，該電源模塊接到本車輛的點煙器上。
4.如權利要求3所述的車輛行人檢測跟蹤預警系統(tǒng)，其特征在于，顯示器安裝在本車輛的駕駛室內，安裝在操縱臺上方或者懸掛安裝在本車輛的前視玻璃上，通過纜線將該硬件構架處理后的紅外視頻引入該顯示器進行顯示。
5.如權利要求1所述的車輛行人檢測跟蹤預警系統(tǒng)，其特征在于，該處理電路利用該視頻圖像信號對本車輛前的目標車輛與目標行人進行檢測并跟蹤測距，計算與目標車輛或 d =_h_目標行人的距離，并發(fā)出預警，該距離滿足以下公式:—t丄Iarctan〔(少。-少)丫.1 \ f J j 其中，d為本車輛與目標車輛或目標行人的距離；f是該紅外攝像機的有效焦距；α是該紅外攝像機的俯仰角；h是該紅外攝像機的鏡頭到路面的高度；( , y0)是該鏡頭的光軸與像平面的交點，為像平面坐標系的原點；(X，y)為P點在像平面上的投影坐標，該P點取自經(jīng)跟蹤確認的目標車輛或目標行人，作為與本車輛的距離d的參考點，該處理電路判斷該距離d是否小于一預定碰撞距離，并在該距離d小于該預定碰撞距離時，啟動聲音報警，并啟動顯示報警。
6.如權利要求5所述的車輛行人檢測跟蹤預警系統(tǒng)，其特征在于，根據(jù)紅外視頻的特點，即車輛與行人的溫度相對較高，該處理電路采用邊緣檢測及特征識別的辦法，檢測出目標車輛與目標行人并進行定位。
7.如權利要求6所述的車輛行人檢測跟蹤預警系統(tǒng)，其特征在于，該處理電路采用Kalman濾波法結合Mean Shift法，建立車輛、行人跟蹤模型，并在跟蹤過程中更新目標模型參數(shù)，濾除本車輛在振動過程中帶來的影響，并過濾部分虛目標。
8.如權利要求5所述的車輛行人檢測跟蹤預警系統(tǒng)，其特征在于，該處理電路根據(jù)目標車輛或行人在視頻中尺寸比例的變化計算出瞬時碰撞時間，該瞬時碰撞時間滿足以下公式:
9.如權利要求8所述的車輛行人檢測跟蹤預警系統(tǒng)，其特征在于，該處理電路對瞬時碰撞時間Tm進行加速度修正，獲得滿足以下公式的修正碰撞時間:
10.如權利要求9所述的車輛行人檢測跟蹤預警系統(tǒng)，其特征在于，該處理電路根據(jù)不同的距離d或不同的修正碰撞時間T分區(qū)段采用不同的對應聲光報警方式，使得報警聲音的頻率及強弱以及顯示報警的圖標隨著距離d的變化或修正碰撞時間T的變化而分區(qū)段變化。
全文摘要
本發(fā)明公開了一種車輛行人檢測跟蹤預警系統(tǒng)，其包括安裝在車輛中的被動式單目紅外攝像機、顯示器、模數(shù)轉換模塊、電源模塊、處理電路。電源模塊供電給整個系統(tǒng)，處理電路通過模數(shù)轉換模塊獲取紅外攝像機的視頻圖像信號并進行數(shù)據(jù)處理后顯示于該顯示器。處理電路采用FPGA電路模塊和ARM電路模塊結合的硬件主體構架，紅外攝像機安裝在本車輛的頭部且隱藏于格柵后并保證鏡頭視野不被遮擋，同時保持安裝的位置在本車輛的中心線位置，紅外攝像機的安裝高度使得鏡頭視場能夠覆蓋本車輛前方區(qū)域，以獲得視頻中的路面鋪滿一半視場到三分之二視場之間。本發(fā)明的優(yōu)點在于提高駕駛的安全性，有效避免大部分的交通事故，從而降低生命財產(chǎn)損失。
文檔編號H04N7/18GK103158620SQ20131009646
公開日2013年6月19日 申請日期2013年3月25日 優(yōu)先權日2013年3月25日
發(fā)明者蘭欣, 胡國俊, 張加波, 谷永先, 夏登明 申請人:中國電子科技集團公司第三十八研究所, 合肥公共安全技術研究院