專利名稱：基于fpga的嵌入式魚眼圖像實(shí)時(shí)畸變校正裝置的制作方法
技術(shù)領(lǐng)域：
基于FPGA的嵌入式魚眼圖像實(shí)時(shí)畸變校正裝置
技術(shù)領(lǐng)域：
本實(shí)用新型屬于圖像處理領(lǐng)域，具體涉及一種基于FPGA的嵌入式魚眼圖像實(shí)時(shí) 畸變校正裝置，特別是采用FPGA技術(shù)實(shí)現(xiàn)魚眼圖像畸變校正。
背景技術(shù)：
魚眼鏡頭是一種超廣角的特殊鏡頭，由于為了讓鏡頭達(dá)到最大的視角，這種鏡頭 的前鏡片直徑很短且呈拋物狀向鏡頭前部凸出，和魚的眼睛相似，故名魚眼鏡頭。魚眼鏡頭 具有相當(dāng)長(zhǎng)的景深與廣闊的視角，有利于全空域包容和全時(shí)域?qū)崟r(shí)信息的獲取。但是魚眼 鏡頭將半球形物面成像為平面，而平面不可能與球面相似，所以魚眼鏡頭所拍攝的影像嚴(yán) 重扭曲變形，對(duì)于人類視覺(jué)上感受是相當(dāng)不自然的。而且，在機(jī)器人視覺(jué)導(dǎo)航領(lǐng)域，也必須 將畸變影像校正后，才能準(zhǔn)備對(duì)自主移動(dòng)機(jī)器人進(jìn)行準(zhǔn)確的定位，所以需要將這些變形影 像校正為人們所習(xí)慣的透視投影影像。魚眼圖像畸變校正技術(shù)已經(jīng)得到了很廣泛的研究， 其中基于球面模型的算法，因?yàn)閷?duì)參數(shù)依賴性差，校正效果好，得到廣泛應(yīng)用。不論是哪種 校正算法，一般必須有繁重且復(fù)雜的計(jì)算過(guò)程。而對(duì)于魚眼鏡頭采集的視頻數(shù)據(jù)，數(shù)據(jù)量 大，在傳統(tǒng)的PC機(jī)平臺(tái)或DSP平臺(tái)，由于指令執(zhí)行的串行特性，很難實(shí)現(xiàn)實(shí)時(shí)的校正處理， 并且這種平臺(tái)一般功耗大，這使其應(yīng)用受到了很大限制。有鑒于此，本實(shí)用新型針對(duì)上述公知技術(shù)的缺陷，提出了一種基于FPGA的嵌入式 魚眼圖像實(shí)時(shí)畸變校正裝置，以有效克服上述的問(wèn)題。

實(shí)用新型內(nèi)容本實(shí)用新型目的是解決目前魚眼圖像校正算法很難實(shí)現(xiàn)實(shí)時(shí)校正處理的問(wèn)題，提 供一種基于FPGA的嵌入式魚眼圖像實(shí)時(shí)畸變校正裝置。本實(shí)用新型提供的基于FPGA的嵌入式魚眼圖像實(shí)時(shí)畸變校正裝置包括魚眼圖像傳感器用于采集原始魚眼圖像；基于FPGA的嵌入式圖像處理硬件電路由圖像采集電路模塊、圖像校正模塊和內(nèi) 存訪問(wèn)控制模塊構(gòu)成；其中，圖像采集電路模塊用于采集魚眼圖像傳感器獲得的原始魚眼 圖像，并通過(guò)內(nèi)存訪問(wèn)控制模塊存儲(chǔ)在存儲(chǔ)裝置中的原始魚眼圖像存儲(chǔ)區(qū)；圖像校正模塊 通過(guò)內(nèi)存訪問(wèn)控制模塊對(duì)存儲(chǔ)裝置進(jìn)行訪問(wèn)，并將存儲(chǔ)裝置中的原始魚眼圖像進(jìn)行逐點(diǎn)校 正，校正完成后的圖像將存儲(chǔ)在存儲(chǔ)裝置中的校正圖像存儲(chǔ)區(qū)；存儲(chǔ)裝置用于存放由基于FPGA的嵌入式圖像處理硬件電路發(fā)送來(lái)的原始魚眼 圖像和校正后的圖像；顯示裝置對(duì)由存儲(chǔ)裝置發(fā)送來(lái)的校正后的圖像進(jìn)行顯示。其中所述的魚眼圖像傳感器包括魚眼鏡頭、模擬攝像機(jī)和圖像采集芯片三部分。所述的存儲(chǔ)裝置包括SRAM存儲(chǔ)器和Flash存儲(chǔ)器兩部分。其中基于FPGA的嵌入式圖像處理硬件電路安裝在自主導(dǎo)航機(jī)器人、視頻監(jiān)控裝 置或基于魚眼鏡頭的智能相機(jī)中。
3[0013]本實(shí)用新型工作原理魚眼圖像傳感器采集的視頻信號(hào)在圖像采集模塊的控制下，將有效圖像數(shù)據(jù)存放 在SRAM中。當(dāng)一幀圖像采集完成后，圖像校正模塊開(kāi)始對(duì)采集到的原始魚眼圖像進(jìn)行逐點(diǎn) 校正，校正完成后的圖像存儲(chǔ)在存儲(chǔ)裝置中的校正圖像存儲(chǔ)區(qū)，然后對(duì)校正后的圖像進(jìn)行 顯示。用FPGA來(lái)實(shí)現(xiàn)魚眼圖像的校正，大大提高了系統(tǒng)的集成度和實(shí)時(shí)性。本實(shí)用新型采用基于球面投影的模型來(lái)實(shí)現(xiàn)魚眼圖像的校正，基于球面投影的模 型具體如圖2所示，其中，M為空間中任一點(diǎn)，攝像機(jī)中心0，Z與主光軸同向，連接M與0，交 半球面于P，過(guò)P做平行于Z軸的線段，交平面XOY于Q，平面點(diǎn)Q即為成像點(diǎn)。設(shè)點(diǎn)M(x， y，ζ)，Q (u，ν)，則可以得到如下的對(duì)應(yīng)關(guān)系
U2 +V2Ru V
—_ -
一十/ ^x2+y2+ζ2 x y
'^x2+y2+z2
ζ(ιι -
\χ~χο
\y-yo =■
/R2 -(u-u0)2 -(V-V0)2 Z(V-V0)
^R'-(U-U0Y-(ν-ν0Υ其中(X(1，y0)為高斯成像空間中的圖像中心，(Utl, V0)為畸變圖像空間中光軸的中 心，R為變換球面的半徑。本實(shí)用新型的優(yōu)點(diǎn)和積極效果本實(shí)用新型具有很高的電路集成度，連續(xù)工作的可靠性和穩(wěn)定性較高，尤其滿足 了安裝空間要求較小，功耗要求較低、實(shí)時(shí)性要求較高的場(chǎng)合，而且成本也比基于PC機(jī)及 圖像采集卡的系統(tǒng)低。

圖1是基于FPGA的嵌入式魚眼圖像實(shí)時(shí)畸變校正裝置原理框圖；圖2是魚眼鏡頭的球面模型；
具體實(shí)施方式實(shí)施例1 如圖1所示，本實(shí)用新型基于FPGA的嵌入式魚眼圖像實(shí)時(shí)畸變校正裝置的硬件結(jié) 構(gòu)由魚眼圖像傳感器、基于FPGA的嵌入式圖像處理硬件電路、存儲(chǔ)裝置、顯示裝置等四大 部分組成。魚眼圖像傳感器包括三個(gè)部分普通魚眼鏡頭、普通模擬攝像機(jī)、和Philips公司
4的SAA7113圖像采集芯片；基于FPGA的嵌入式圖像處理硬件電路由圖像采集電路模塊、 圖像校正模塊和內(nèi)存訪問(wèn)控制模塊構(gòu)成，F(xiàn)PGA芯片采用Altera公司的Cyclone II系列 的EP2C20Q240C8 ；存儲(chǔ)裝置分為兩個(gè)部分SRAM和Flash存儲(chǔ)；顯示裝置由三個(gè)部分組成 TIDSP5502、CY7C68001USB 芯片、和 PC 機(jī)。整個(gè)系統(tǒng)的工作過(guò)程如下模擬攝像機(jī)采集到的模擬視頻信號(hào)經(jīng)由視頻解碼芯片的視頻輸入端子進(jìn)入視頻 解碼芯片，視頻數(shù)據(jù)經(jīng)過(guò)視頻解碼芯片數(shù)字化之后，輸出到FPGA芯片相應(yīng)管腳。FPGA中的圖像采集模塊根據(jù)SAA7113提供的協(xié)議，對(duì)輸入的字節(jié)流進(jìn)行提取，解 析出有效圖像數(shù)據(jù)之后，通過(guò)內(nèi)存訪問(wèn)控制模塊，將有效圖像數(shù)據(jù)存儲(chǔ)至SRAM中。當(dāng)一幀 圖像采集完成后，圖像校正模塊采用重采樣的方式對(duì)圖像進(jìn)行校正。具體工作過(guò)程如下在SRAM中另開(kāi)辟一塊內(nèi)存，用來(lái)存放校正后的圖像。圖像校正模擬逐點(diǎn)掃描這塊 內(nèi)存，按照上述原理說(shuō)明中的公式，計(jì)算出每一個(gè)像素點(diǎn)對(duì)應(yīng)的原始圖像中的相應(yīng)像素點(diǎn) 的坐標(biāo)，將原始圖像中的像素值重采樣到此像素對(duì)的內(nèi)存單元中，作為此像素的值。當(dāng)這塊 內(nèi)存掃描完成后，就可以得到了一張校正后不發(fā)生畸變的圖像。當(dāng)一副圖像校正完成后，重 新采集一副新圖像，同時(shí)發(fā)送中斷給DSP程序，由DSP程序負(fù)責(zé)將校正后的圖像數(shù)據(jù)經(jīng)過(guò) USB 口發(fā)送至PC機(jī)進(jìn)行顯示。圖像校正硬件電路模塊是本裝置的核心功能模塊。眾所周知，F(xiàn)PGA對(duì)于復(fù)雜的算 術(shù)運(yùn)算不能進(jìn)行綜合，在這里，實(shí)現(xiàn)校正算法時(shí)，大量采用了 Altera公司提供的算術(shù)運(yùn)算 IP核，來(lái)實(shí)現(xiàn)復(fù)雜的算術(shù)運(yùn)算。
權(quán)利要求一種基于FPGA的嵌入式魚眼圖像實(shí)時(shí)畸變校正裝置，其特征在于該裝置包括魚眼圖像傳感器用于采集原始魚眼圖像；基于FPGA的嵌入式圖像處理硬件電路由圖像采集電路模塊、圖像校正模塊和內(nèi)存訪問(wèn)控制模塊構(gòu)成其中，圖像采集電路模塊用于采集魚眼圖像傳感器獲得的原始魚眼圖像，并通過(guò)內(nèi)存訪問(wèn)控制模塊存儲(chǔ)在存儲(chǔ)裝置中的原始魚眼圖像存儲(chǔ)區(qū)；圖像校正模塊通過(guò)內(nèi)存訪問(wèn)控制模塊對(duì)存儲(chǔ)裝置進(jìn)行訪問(wèn)，并將存儲(chǔ)裝置中的原始魚眼圖像進(jìn)行逐點(diǎn)校正，圖像校正完成后從新存儲(chǔ)在存儲(chǔ)裝置中的校正圖像存儲(chǔ)區(qū)；存儲(chǔ)裝置用于存放由基于FPGA的嵌入式圖像處理硬件電路發(fā)送來(lái)的原始魚眼圖像和校正后的圖像；顯示裝置對(duì)由存儲(chǔ)裝置發(fā)送來(lái)的校正后的圖像進(jìn)行顯示。
2.根據(jù)權(quán)利要求1所述的裝置，其特征在于所述的魚眼圖像傳感器包括魚眼鏡頭、模 擬攝像機(jī)和圖像采集芯片三部分。
3.根據(jù)權(quán)利要求1或2所述的裝置，其特征在于所述的存儲(chǔ)裝置包括SRAM存儲(chǔ)器和 Flash存儲(chǔ)器兩部分。
專利摘要一種基于FPGA的嵌入式魚眼圖像實(shí)時(shí)畸變校正裝置。該裝置由魚眼圖像傳感器、基于FPGA的嵌入式圖像處理硬件電路(包括圖像采集、圖像校正和存儲(chǔ)器訪問(wèn)控制電路三個(gè)子模塊)、存儲(chǔ)裝置、顯示裝置等四大部分組成。魚眼圖像傳感器采集到的視頻信號(hào)傳送到基于FPGA的嵌入式圖像處理硬件電路的視頻輸入端，由圖像采集電路模塊將視頻信號(hào)整合為一幀完整圖像，然后由圖像校正電路模塊對(duì)采集到的魚眼畸變圖像進(jìn)行畸變校正，將校正后的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)裝置中并由顯示裝置進(jìn)行顯示。本實(shí)用新型集成度高，工作穩(wěn)定可靠，尤其滿足了安裝空間要求較小，成本要求較低，實(shí)時(shí)性要求較高的場(chǎng)合。
文檔編號(hào)H04N5/225GK201690518SQ20102004328
公開(kāi)日2010年12月29日 申請(qǐng)日期2010年1月21日 優(yōu)先權(quán)日2010年1月21日
發(fā)明者曹作良, 楊錕 申請(qǐng)人:天津理工大學(xué)