專(zhuān)利名稱(chēng)：一種魚(yú)眼圖像復(fù)原的展開(kāi)方法
一種魚(yú)眼圖像復(fù)原的展開(kāi)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于球面模型的等距投影原理的魚(yú)眼圖像的復(fù)原與校正，及以魚(yú)眼鏡頭的任意一條入射光線為光軸的圖像展開(kāi)，屬于圖像處理技術(shù)領(lǐng)域。
背景技術(shù)：
全方位視覺(jué)是指裝備有超大廣角魚(yú)眼鏡頭豎直向上放置的一臺(tái)攝像機(jī)一次攝取 的一幅圖像，可以記錄360°方位視角中的全部場(chǎng)景，即把周?chē)昂笞笥艺麄€(gè)區(qū)域中的景物 “一眼看遍”。這種“全景圖像”的獲取無(wú)需單臺(tái)攝像機(jī)的機(jī)械回轉(zhuǎn)進(jìn)行“搖拍”，或采用多臺(tái) 攝像機(jī)同時(shí)拍攝多幅圖像進(jìn)行“粘貼”，從而簡(jiǎn)化了系統(tǒng)結(jié)構(gòu)和處理程序，有利于機(jī)器視覺(jué) 應(yīng)用的實(shí)時(shí)性要求。它在機(jī)動(dòng)目標(biāo)跟蹤、多目標(biāo)捕獲及相機(jī)與目標(biāo)物互動(dòng)等應(yīng)用場(chǎng)合，具有 特別的優(yōu)勢(shì)和重要的應(yīng)用價(jià)值。這種具有超大廣角視野的全景觀測(cè)可彌補(bǔ)視角窄的不足， 在安防監(jiān)控、管道探測(cè)、輔助駕駛、現(xiàn)場(chǎng)監(jiān)測(cè)、車(chē)載巡檢、飛行器制導(dǎo)及空間機(jī)器人等方面都 有直接或潛在的應(yīng)用前景。魚(yú)眼鏡頭攝像機(jī)視場(chǎng)角接近甚至超過(guò)180度，可以實(shí)現(xiàn)近距離或超近距離大視場(chǎng) 立體視覺(jué)感知。魚(yú)眼鏡頭是建立全方位視覺(jué)系統(tǒng)最有效的方法之一，相對(duì)于反射式全方位 視覺(jué)鏡頭，魚(yú)眼鏡頭具有結(jié)構(gòu)緊湊、體積較小、不易損壞等優(yōu)點(diǎn)。魚(yú)眼鏡頭視場(chǎng)角通常達(dá)到 或超過(guò)180度，單一鏡頭能夠捕獲半球圖像，而使用兩個(gè)魚(yú)眼鏡頭則能夠一次獲取整個(gè)空 間的完整圖像。采用單一魚(yú)眼鏡頭和圖像采集卡構(gòu)造全方位視覺(jué)系統(tǒng)，對(duì)其相關(guān)基礎(chǔ)理論 進(jìn)行初步的探索，對(duì)其應(yīng)用進(jìn)行一定程度上的研究。主要研究圖像跟蹤系統(tǒng)中全方位視覺(jué) 的圖像處理問(wèn)題。由于魚(yú)眼攝像頭的特殊設(shè)計(jì)，焦距越短，視角越大；視角越大，因光學(xué)原理產(chǎn)生的 變形也就越強(qiáng)烈，魚(yú)眼鏡頭所拍攝的圖像除了畫(huà)面中心的景物保持不變，其他本應(yīng)水平或 垂直的景物都發(fā)生了相應(yīng)的變化，這樣魚(yú)眼攝像機(jī)獲得的全方位圖像存在嚴(yán)重的扭曲現(xiàn) 象。要有效的利用圖像信息進(jìn)行導(dǎo)航跟蹤，需恢復(fù)還原圖像。研究魚(yú)眼鏡頭的成像機(jī)理，魚(yú) 眼鏡頭投影成像規(guī)律，圖像畸變成因，進(jìn)而開(kāi)發(fā)一種算法，使魚(yú)眼圖像得到實(shí)時(shí)、精確的恢 復(fù)。能準(zhǔn)確的校正魚(yú)眼圖像中任意范圍的圖像，進(jìn)而實(shí)現(xiàn)三維空間信息的重建復(fù)原。
發(fā)明內(nèi)容本發(fā)明的目的是提供一種基于球面成像模型的按照等距投影原理進(jìn)行復(fù)原的魚(yú) 眼圖像展開(kāi)方法，以實(shí)現(xiàn)準(zhǔn)確的復(fù)原魚(yú)眼圖像中任意范圍的圖像，進(jìn)而拼接實(shí)現(xiàn)畸變魚(yú)眼 圖像的校正與復(fù)原；同時(shí)可以展開(kāi)魚(yú)眼鏡頭所在空間任意方位角與仰角的展開(kāi)窗口所對(duì)應(yīng) 的魚(yú)眼圖像。本發(fā)明是一種基于球面等距投影模型的魚(yú)眼圖像的展開(kāi)方法，它是在以下硬件載 體上實(shí)現(xiàn)的PC機(jī)，魚(yú)眼攝像機(jī)，支架。魚(yú)眼攝像機(jī)由超大廣角魚(yú)眼鏡頭與高分辯率攝相機(jī) 組成。支架用于支撐和固定魚(yú)眼攝相機(jī)；魚(yú)眼攝相機(jī)實(shí)時(shí)采集結(jié)構(gòu)化環(huán)境的空間信息，PC 機(jī)按本發(fā)明的方法進(jìn)行實(shí)時(shí)展開(kāi)處理，利用展開(kāi)后的信息可以進(jìn)行其它的有效處理，如車(chē)體導(dǎo)航，監(jiān)控，視頻會(huì)議等。本發(fā)明是一種基于球面等距投影模型的魚(yú)眼圖像的展開(kāi)方法，使固定不動(dòng)的魚(yú)眼鏡頭實(shí)現(xiàn)了相當(dāng)于移動(dòng)攝像機(jī)的功能。其實(shí)現(xiàn)方法流程如圖2所示，它的具體步驟如下第1、建立魚(yú)眼圖像的符合等矩投影原理的球面成像模型；第1. 1 建立魚(yú)眼圖像坐標(biāo)系。以魚(yú)眼圖像的中心o(X(1，y0)為原點(diǎn)建立魚(yú)眼圖像 坐標(biāo)系xoy0第1. 2 建立相機(jī)坐標(biāo)系。相機(jī)坐標(biāo)系x。y。z。是一個(gè)三維坐標(biāo)系。X。，yc分別與魚(yú) 眼圖像坐標(biāo)系的χ軸y軸重合，ζ。軸與魚(yú)眼鏡頭的光軸重合，且與魚(yú)眼圖像坐標(biāo)系交于0點(diǎn)。第1.3 以0點(diǎn)為中心，魚(yú)眼圖像的半徑R為半徑做半球，半球與ζ。軸交于0'點(diǎn) (0，0，R)。第1.4 假設(shè)相機(jī)坐標(biāo)系中一點(diǎn)P，做射線0P，與半球面交于P' (xcp, , ycp, , zcp,) 點(diǎn)，此交點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)為
<formula>formula see original document page 6</formula>其中，OP與ζ。軸的夾角θ為入射角；OP在xoy上的投影0Ρ〃與χ軸的夾角Φ定 義為方位角；OP的仰角為β = 90° - θ。則根據(jù)等矩投影原理<formula>formula see original document page 6</formula>
其中k為等矩投影的畸變系數(shù)。第2、建立展開(kāi)窗口坐標(biāo)系與展開(kāi)圖像坐標(biāo)系，并求出這兩個(gè)坐標(biāo)系之間的關(guān)系。第2. 1 過(guò)P'做球面的切面UwVw，此平面即為展開(kāi)窗口坐標(biāo)系所在的平面，展開(kāi)窗 口坐標(biāo)系的視角為Y ;P' ￥,與02，(^'共面且其正方向垂直于OP'指向0Z;P' Uw的正 方向由P'的叉積決定；定義此切面的方位角為OP的方位角Φ，仰角相同于OP 的仰角<formula>formula see original document page 6</formula>
第2. 2、展開(kāi)圖像坐標(biāo)系為UwVw，展開(kāi)圖像坐標(biāo)系UwVw的原點(diǎn)(0，0)在展開(kāi)圖像的 左下角；設(shè)展開(kāi)圖像的寬與高分別為w，h.第2. 3、展開(kāi)窗口坐標(biāo)系上的點(diǎn)與展開(kāi)圖像坐標(biāo)系上的像素具有一一對(duì)應(yīng)關(guān)系，所 以展開(kāi)圖像上的一個(gè)像素寬度對(duì)應(yīng)于展開(kāi)平面上的大小為<formula>formula see original document page 6</formula>
根據(jù)第2. 2可以將展開(kāi)圖像上的像素坐標(biāo)與展開(kāi)平面上的點(diǎn)坐標(biāo)一一對(duì)應(yīng)起來(lái)； 如展開(kāi)圖像上的一點(diǎn)坐標(biāo)為Q(m，n)，則對(duì)應(yīng)的在展開(kāi)窗口平面上的坐標(biāo)為Q' (mwpixel, nwpixel)；第3、建立展開(kāi)圖像坐標(biāo)系與相機(jī)坐標(biāo)系的關(guān)系。第3. 1 建立展開(kāi)窗口坐標(biāo)系與相機(jī)坐標(biāo)系的關(guān)系。在展開(kāi)窗口坐標(biāo)系沿P'隊(duì)正 方向每移動(dòng)Wpixel時(shí)在相機(jī)坐標(biāo)系上的變化量為χ方向變化量<formula>formula see original document page 6</formula>
y方向變化量<formula>formula see original document page 6</formula>
ζ方向的變化量為dzu = 0(7)同理在展開(kāi)窗口坐標(biāo)系沿P' Vw正方向每移動(dòng)Wpixel時(shí)在相機(jī)坐標(biāo)系上的變化量 為在χ方向變化量<formula>formula see original document page 7</formula>y方向變化量為dyv = wpixel*cos ( θ ) *sin (Φ) (9)ζ方向上的變化量為dzv = wpixel*sin( θ )(10)第3. 2 求出展開(kāi)圖像中點(diǎn)Q(m，η)對(duì)應(yīng)的在相機(jī)坐標(biāo)系中的坐標(biāo)Q"(xcp+mdxu+ndxv, ycp+mdyu+ndyv, zcp+mdzu+ndzv)= RXwpixelX (sin θ cos Φ—msin Φ+ncos θ cos Φ(11), sin θ sin+mcos Φ +ncos θ sin Φ，cos θ +nsin θ )第4、求出展開(kāi)圖像坐標(biāo)系與魚(yú)眼圖像坐標(biāo)系之間的關(guān)系。第4. 1、在第3步(11)式中我們已經(jīng)求出展開(kāi)圖像中的點(diǎn)Q坐標(biāo)在相機(jī)坐標(biāo)系中 的坐標(biāo)Q"。根據(jù)等距投影原理我們可以求出Q"在魚(yú)眼圖像中的成像Q" ’。Q"的入射 角為
<formula>formula see original document page 7</formula>(12)_ tan-i Vsin 0 + cos θ cos ^)2 + (m cos 0 + cos θ sin φ)2
η sin θ方位角為<formula>formula see original document page 7</formula>
跟據(jù)⑵式等距投影原理可得Q〃 ‘到中心點(diǎn)的長(zhǎng)度為r = ka。所以Q"‘的 坐標(biāo)為<formula>formula see original document page 7</formula>其中X(l，y(l為魚(yú)眼圖像的中心坐標(biāo)，將α與λ代入即可求得恢復(fù)后圖像上的任一 點(diǎn)Q(m，η)對(duì)應(yīng)在魚(yú)眼圖像上的點(diǎn)坐標(biāo)Q" ‘ (rcos λ+x0, rsin λ+y0)(15)第4. 2、將點(diǎn)Q" ‘ (rcos λ +χ0, rsin λ +y0)的像素值賦給Q (m，η)，組后得出展開(kāi) 圖像。ValueQ (m，n) = ValueQ" ‘ (rcos λ+x0，rsin λ+y0) (16)第5、逐點(diǎn)得到全部展開(kāi)圖像
按照第2至第4步的方法，逐點(diǎn)得到展開(kāi)圖像中各點(diǎn)的圖像，最后得到全部展開(kāi)圖像。第6、魚(yú)眼鏡頭所在空間三維場(chǎng)景的展開(kāi)。首先，根據(jù)立方體策略，以第1步模型中的半球面的外接半立方體的五個(gè)面做為展開(kāi)窗口，這幾個(gè)平面的定義分別如下第6. 1、魚(yú)眼鏡頭的頂部取球面頂部與ζ。軸交點(diǎn)(0，0，R)做切面Pup為展開(kāi)窗口 可恢復(fù)魚(yú)眼鏡頭頂部的圖像。展開(kāi)窗口的大小為2RX2R(寬X高)，視角為90°，無(wú)方位 角，仰角為90°。根據(jù)第4步(16)式中所述的方法逐點(diǎn)求得展開(kāi)圖像與魚(yú)眼圖像之間的關(guān)系。第6. 2、魚(yú)眼鏡頭的前方取球面與y。軸的交點(diǎn)(0，R，0)做切面Pfrant為前方的展 開(kāi)窗口可恢復(fù)魚(yú)眼鏡頭前方的圖像，平面的大小為2RXR，視角為90°，方位角為90°，仰 角為0°。根據(jù)第4步(16)式中所述的方法逐點(diǎn)求得展開(kāi)圖像與魚(yú)眼圖像之間的關(guān)系。第6. 3、魚(yú)眼鏡頭的后方取球面y。軸的交點(diǎn)(0，-R，0)做切面Pbaek為后方的展開(kāi) 窗口可恢復(fù)魚(yú)眼鏡頭后方的圖像，平面的大小為2RXR，視角為90°，方位角為270°，仰角 為0°。根據(jù)第4步(16)式中所述的方法逐點(diǎn)求得展開(kāi)圖像與魚(yú)眼圖像之間的關(guān)系。第6. 4、魚(yú)眼鏡頭的左面取球面與χ。軸的交點(diǎn)(_R，0，0)做切面Pleft為左面的展 開(kāi)窗口可恢復(fù)魚(yú)眼鏡頭左面的圖像，平面的大小為RX2R，視角為90°，方位角為180°，仰 角為0°。根據(jù)第4步(16)式中所述的方法逐點(diǎn)求得展開(kāi)圖像與魚(yú)眼圖像之間的關(guān)系。第6. 5、魚(yú)眼鏡頭的右面取球面與χ。軸的交點(diǎn)(R，0，0)做切面Pright為右面的展 開(kāi)窗口可恢復(fù)魚(yú)眼鏡頭右面的圖像，平面的大小為RX2R，視角為90°，方位角為0°，仰角 為0°。根據(jù)第4步(16)式中所述的方法逐點(diǎn)求得展開(kāi)圖像與魚(yú)眼圖像之間的關(guān)系。第7、指定任意方向的展開(kāi)圖像。以魚(yú)眼鏡頭所在空間中的任意一個(gè)方向?yàn)橹行?，?duì)魚(yú)眼圖像進(jìn)行展開(kāi)，任意方向 的展開(kāi)需要5個(gè)參數(shù)，仰角，方位角，視角，恢復(fù)后圖像的寬與高。給定這5個(gè)參數(shù)可按照第 1步至第4步來(lái)進(jìn)行展開(kāi)。第8、展開(kāi)窗口的漫游。將展開(kāi)窗口在球面上運(yùn)動(dòng)，并按照第1步到第5步的方法進(jìn)行展開(kāi)，可以得到魚(yú)眼 圖像的漫游圖。本發(fā)明的優(yōu)點(diǎn)和積極效果 本發(fā)明基于魚(yú)眼鏡頭的球面成像模型，即適應(yīng)于等矩投影原理的魚(yú)眼鏡頭，也 適用于其它投影原理的魚(yú)眼鏡頭。 本發(fā)明彌補(bǔ)了其它只能展開(kāi)魚(yú)眼鏡頭頂部信息方法的缺陷，不僅可以復(fù)原頂部 的信息，也可以復(fù)原側(cè)面任意方向的信息，如左右兩面。 本發(fā)明可以展開(kāi)任意方向軸上的“展開(kāi)窗口”，對(duì)圖像中敏感信息的抓取具有積 極效果。 本發(fā)明的展開(kāi)效果消除了其它恢復(fù)方法邊緣“拉扯”的現(xiàn)像，在邊緣也可以得到 接近現(xiàn)實(shí)世界的效果。 本發(fā)明在基于魚(yú)眼鏡頭的圖像跟蹤、監(jiān)控及視頻會(huì)議等領(lǐng)域都有積極的效果與 廣泛的應(yīng)用前景。
圖1是球面等距投影模型示意圖。圖2是本發(fā)明所述方法的流程圖。圖3是“后面”展開(kāi)窗口的展開(kāi)圖。圖4是方位角與入射角均為45°的展開(kāi)圖。圖5是立方體策略展開(kāi)圖與拼接。
具體實(shí)施方式下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明魚(yú)眼鏡頭復(fù)原的多維展開(kāi)方法進(jìn)行詳細(xì)說(shuō)明。實(shí)施例1圖像分辨率為1280X1024，魚(yú)眼圖像的中心為(504，508)，標(biāo)定后的半徑為R = 498，畸變系k = 5.9。給定方位角為Φ =45°，仰角β =45°，視角、=90°，恢復(fù)后 圖像大小要求為400X400。第一步建立魚(yú)眼圖像坐標(biāo)系xy，相機(jī)坐標(biāo)系x。y。z。，坐標(biāo)系的原點(diǎn)為魚(yú)眼圖像的 中心點(diǎn)(504，508)；做半徑R = 498的半球面，半球面與ζ。的交點(diǎn)為(0,0,498) 0第二步求出方位角45°、仰角45°的射線與球面的交點(diǎn)S :S(R sin(45)*cos(45)，R sin (45) *sin (45)，R cos (45)) = S (249. 0,249. 0, 352. 086)。第三步過(guò)S點(diǎn)做切面Ps為展開(kāi)窗口，視角為90°，坐標(biāo)軸為Us，Vs ;US的正方向指向X。軸的正方向，Vs的正方向指向Z。的正方向，原點(diǎn)為S，所以S點(diǎn)在Ps上的坐標(biāo)為S(0， 0)。計(jì)算出展開(kāi)圖像上一個(gè)像素對(duì)應(yīng)于Ps上的大小為<formula>formula see original document page 9</formula>第四步計(jì)算Ps上每移動(dòng)Wpixel在相機(jī)坐標(biāo)系內(nèi)引起的變化。沒(méi)Us正方向移動(dòng)Wpixel時(shí)在相機(jī)坐標(biāo)系內(nèi)引起的變化為xc 方向dxu = Wpixel sin Φ = 1. 760yc 方向:dyu = -Wpixel cos Φ = _1· 760zc 方向dzu = 0沿Vs正方向移動(dòng)Wpixel時(shí)在相機(jī)坐標(biāo)系內(nèi)引起的變化為xc 方向dxv = _wpixel*cos( θ )*cos((jj) =-1· 245yc 方向dyv = _wpixel*cos( θ )*sin((j5) =-1.245zc 方向:dzv = wpixel*sin ( θ ) = 1. 760第五步建立展開(kāi)圖像坐標(biāo)系。展開(kāi)后圖像大小為400X400，將坐標(biāo)系的原點(diǎn)設(shè) 在圖像的中心(200，200)，所以圖像上的第一個(gè)像素坐標(biāo)為(-200，-200)。第六步計(jì)算(-200，-200)在Ps上的坐標(biāo)。按照公式(11)算為(-200wpixel, -200wpixel) = (-498, -498)第七步計(jì)算(-200，-200)在相機(jī)坐標(biāo)系中的坐標(biāo)。按照發(fā)明內(nèi)容中的第3步進(jìn) 行計(jì)算。
χ = xs-200 X dxu+ (-200) X dxv = 249. 0+103. 0 = 352. 0y = ys-200 Xdyu+(-200) Xdyv = 249. 0+601. 0 = 850. 0ζ = zs-200Xdxu+(_200) Xdxv = 352. 086-352 = 0. 086第八步按照等矩投影原理計(jì)算投影在魚(yú)眼圖像上的坐標(biāo)。按照發(fā)明內(nèi)容中的第 4步計(jì)算。入射角α= tan"1 ^Z = tan_i ^352'+850' 90°
ζ0.086方位角λ = tan"1 Z = tan"1 ^ = 67.5°
χ352.0到中點(diǎn)的矩離r = ka = 5. 9X90 = 531所以計(jì)算坐標(biāo)為xQ〃，= rcos λ +χ0 = 531Xcos67. 5+504 = 203. 2+504 = 707yQ , = rsinA +y0 = 531Xsin67. 5+508 = 490. 6+508 = 999到這里就計(jì)算出了展開(kāi)圖像中第一個(gè)像素(0，0)對(duì)應(yīng)于魚(yú)眼圖像中的坐標(biāo)。第九步計(jì)算展開(kāi)圖像中其它像素對(duì)于魚(yú)眼圖像中的坐標(biāo)，該點(diǎn)的RGB值是(109， 204，63)，所以展開(kāi)圖像上的第一個(gè)像素的值就為(109，204，63)。對(duì)展開(kāi)圖像中的坐標(biāo)逐點(diǎn) 進(jìn)行計(jì)算，就可以得到整個(gè)展開(kāi)圖像。圖4為展開(kāi)后的圖像與原圖像。圖3是“后面”展開(kāi)窗口的展開(kāi)圖。圖5是立方體策略展開(kāi)圖與拼接。通過(guò)以上的實(shí)施方式的具體描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可 借助軟件加必需的硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)，當(dāng)然也可以通過(guò)硬件，但很多情況下前者是更 佳的實(shí)施方式。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的 部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若 干指令用以實(shí)現(xiàn)本發(fā)明所述的方法。以上公開(kāi)的僅為本發(fā)明的一個(gè)具體實(shí)施例，但是，本發(fā)明并非局限于此，任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本發(fā)明的保護(hù)范圍。
權(quán)利要求
一種基于球面等距投影模型的魚(yú)眼圖像復(fù)原的展開(kāi)方法，其特征在于該方法的具體步驟如下第1、建立魚(yú)眼圖像的符合等矩投影原理的球面成像模型第1.1、建立魚(yú)眼圖像坐標(biāo)系以魚(yú)眼圖像的中心o(x0，y0)為原點(diǎn)建立魚(yú)眼圖像坐標(biāo)系xoy；第1.2、建立相機(jī)坐標(biāo)系相機(jī)坐標(biāo)系xcyczc是一個(gè)三維坐標(biāo)系；xc，yc分別與魚(yú)眼圖像坐標(biāo)系的x軸、y軸重合，zc軸與魚(yú)眼鏡頭的光軸重合，且與魚(yú)眼圖像坐標(biāo)系交于O點(diǎn)；第1.3、以O(shè)點(diǎn)為中心，魚(yú)眼圖像的半徑R為半徑做半球，半球與zc軸交于O′點(diǎn)(0，0，R)；第1.4、相機(jī)坐標(biāo)系中一點(diǎn)P，做射線OP，與半球面交于P′(xcp′，ycp′，zcp′)點(diǎn)，此交點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)為(xcp′，ycp′，zcp′)＝(Rsinθcosφ，Rsinθsinφ，Rcosθ) (1)其中，OP與zc軸的夾角θ為入射角；OP在xoy上的投影OP″與x軸的夾角φ定義為方位角；OP的仰角為β＝90°-θ，則根據(jù)等矩投影原理‖OP″‖＝kθ(2)其中k為等矩投影的畸變系數(shù)；第2、建立展開(kāi)窗口坐標(biāo)系與展開(kāi)圖像坐標(biāo)系，并求出這兩個(gè)坐標(biāo)系之間的關(guān)系第2.1、過(guò)P′做球面的切面UwVw，此平面即為展開(kāi)窗口坐標(biāo)系所在的平面，展開(kāi)窗口坐標(biāo)系的視角為γ；P′Vw與OZ，OP′共面且其正方向垂直于OP′指向OZ；P′Uw的正方向由P′Vw與OP′的叉積決定；定義此切面的方位角為OP的方位角φ，仰角相同于OP的仰角β＝90°-θ (3)；第2.2、展開(kāi)圖像坐標(biāo)系為UwVw，展開(kāi)圖像坐標(biāo)系UwVw的原點(diǎn)(0，0)在展開(kāi)圖像的左下角；設(shè)展開(kāi)圖像的寬與高分別為w，h；第2.3、展開(kāi)窗口坐標(biāo)系上的點(diǎn)與展開(kāi)圖像坐標(biāo)系上的像素具有一一對(duì)應(yīng)關(guān)系，所以展開(kāi)圖像上的一個(gè)像素寬度對(duì)應(yīng)于展開(kāi)平面上的大小為 <mrow><msub> <mi>w</mi> <mi>pixel</mi></msub><mo>=</mo><mi>R</mi><mo>×</mo><mn>2</mn><mo>×</mo><mi>tan</mi><mrow> <mo>(</mo> <mfrac><mi>β</mi><mn>2</mn> </mfrac> <mo>)</mo></mrow><mo>/</mo><mi>w</mi><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo></mrow> </mrow>根據(jù)第2.2可以將展開(kāi)圖像上的像素坐標(biāo)與展開(kāi)平面上的點(diǎn)坐標(biāo)一一對(duì)應(yīng)起來(lái)；如展開(kāi)圖像上的一點(diǎn)坐標(biāo)為Q(m，n)，則對(duì)應(yīng)的在展開(kāi)窗口平面上的坐標(biāo)為Q′(mwpixel，nwpixel)；第3、建立展開(kāi)圖像坐標(biāo)系與相機(jī)坐標(biāo)系的關(guān)系第3.1、建立展開(kāi)窗口坐標(biāo)系與相機(jī)坐標(biāo)系的關(guān)系在展開(kāi)窗口坐標(biāo)系沿P′Uw正方向每移動(dòng)wpixel時(shí)在相機(jī)坐標(biāo)系上的變化量為x方向變化量dxu＝-wpixel*sin(φ)(5)y方向變化量dyu＝wpixel*cos(φ) (6)z方向的變化量為dzu＝0 (7)同理在展開(kāi)窗口坐標(biāo)系沿P′Vw正方向每移動(dòng)wpixel時(shí)在相機(jī)坐標(biāo)系上的變化量為在x方向變化量dxv＝wpixel*cos(θ)*cos(φ) (8)y方向變化量為dyv＝wpixel*cos(θ)*sin(φ) (9)z方向上的變化量為dzv＝wpixel*sin(θ) (10)第3.2、求出展開(kāi)圖像中點(diǎn)Q(m，n)對(duì)應(yīng)的在相機(jī)坐標(biāo)系中的坐標(biāo)Q″(xcp+mdxu+ndxv，ycp+mdyu+ndyv，zcp+mdzu+ndzv)＝R×wpixel×(sinθcosφ-msinφ+ncosθcosφ(11)，sinθsinφ+mcosφ+ncosθsinφ，cosθ+nsinθ)；第4、求出展開(kāi)圖像坐標(biāo)系與魚(yú)眼圖像坐標(biāo)系之間的關(guān)系第4.1、在第3步式(11)中已經(jīng)求出展開(kāi)圖像中的點(diǎn)Q坐標(biāo)對(duì)應(yīng)在相機(jī)坐標(biāo)系中的坐標(biāo)Q″，根據(jù)等距投影原理可以求出Q″在魚(yú)眼圖像中的成像Q′″；Q″的入射角為 <mrow><mi>α</mi><mo>=</mo><msup> <mi>tan</mi> <mrow><mo>-</mo><mn>1</mn> </mrow></msup><mrow> <mo>(</mo> <mfrac><mi>dis</mi><mi>z</mi> </mfrac> <mo>)</mo></mrow><mo>=</mo><msup> <mi>tan</mi> <mrow><mo>-</mo><mn>1</mn> </mrow></msup><mfrac> <msqrt><msup> <mi>x</mi> <mn>2</mn></msup><mo>+</mo><msup> <mi>y</mi> <mn>2</mn></msup> </msqrt> <mi>z</mi></mfrac> </mrow> <mrow><mo>=</mo><msup> <mi>tan</mi> <mrow><mo>-</mo><mn>1</mn> </mrow></msup><mfrac> <msqrt><msup> <mrow><mo>(</mo><mo>-</mo><mi>m</mi><mi>sin</mi><mi>φ</mi><mo>+</mo><mi>n</mi><mi>cos</mi><mi></mi><mi>θ</mi><mi>cos</mi><mi>φ</mi><mo>)</mo> </mrow> <mn>2</mn></msup><mo>+</mo><msup> <mrow><mo>(</mo><mi>m</mi><mi>cos</mi><mi>φ</mi><mo>+</mo><mi>n</mi><mi>cos</mi><mi></mi><mi>θ</mi><mi>sin</mi><mi>φ</mi><mo>)</mo> </mrow> <mn>2</mn></msup> </msqrt> <mrow><mi>n</mi><mi>sin</mi><mi>θ</mi> </mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo></mrow> </mrow>方位角為 <mrow><mi>λ</mi><mo>=</mo><msup> <mi>tan</mi> <mrow><mo>-</mo><mn>1</mn> </mrow></msup><mfrac> <mi>y</mi> <mi>x</mi></mfrac><mo>=</mo><msup> <mi>tan</mi> <mrow><mo>-</mo><mn>1</mn> </mrow></msup><mfrac> <mrow><mi>m</mi><mi>cos</mi><mi>φ</mi><mo>+</mo><mi>n</mi><mi>cos</mi><mi></mi><mi>θ</mi><mi>sin</mi><mi>φ</mi> </mrow> <mrow><mo>-</mo><mi>m</mi><mi>sin</mi><mi>φ</mi><mo>+</mo><mi>n</mi><mi>cos</mi><mi></mi><mi>θ</mi><mi>cos</mi><mi>φ</mi> </mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo></mrow> </mrow>根據(jù)等距投影原理(2)式可得Q′″到中心點(diǎn)的長(zhǎng)度為r＝kα；所以Q′″的坐標(biāo)為 <mrow><msub> <mi>x</mi> <msup><mi>Q</mi><mrow> <mo>′</mo> <mo>′</mo> <mo>′</mo></mrow> </msup></msub><mo>=</mo><mi>r</mi><mi>cos</mi><mi>λ</mi><mo>+</mo><msub> <mi>x</mi> <mn>0</mn></msub> </mrow>(14)yQ′″＝rsinλ+y0其中x0，y0為魚(yú)眼圖像的中心坐標(biāo)，將α與λ代入即可求得恢復(fù)后圖像上的任一點(diǎn)Q(m，n)對(duì)應(yīng)在魚(yú)眼圖像上的點(diǎn)坐標(biāo)Q″′(rcosλ+x0，rsinλ+y0) (15)第4.2、將點(diǎn)Q′″(rcosλ+x0，rsinλ+y0)的像素值賦給Q(m，n)，組后得出展開(kāi)圖像；ValueQ(m，n)＝ValueQ′″(rcosλ+x0，rsinλ+y0) (16)第5、得到全部展開(kāi)圖像按照第2至第4步的方法，逐點(diǎn)得到展開(kāi)圖像中各點(diǎn)的圖像值，最后得到全部展開(kāi)圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于可以得到魚(yú)眼鏡頭所在空間三維場(chǎng)景的展 開(kāi)圖像第6、根據(jù)立方體策略，以第1步模型中的半球面的外接半立方體的五個(gè)面做為展開(kāi)窗 口，這幾個(gè)平面的定義分別如下第6.1、魚(yú)眼鏡頭的頂部取球面頂部與ζ。軸交點(diǎn)(0，0，R)做切面Pup為展開(kāi)窗口可恢 復(fù)魚(yú)眼鏡頭頂部的圖像；展開(kāi)窗口的大小為2R寬X2R高，視角為90°，無(wú)方位角，仰角為 90° ；根據(jù)第4步(15)式求得展開(kāi)圖像與魚(yú)眼圖像之間的關(guān)系；第6. 2、魚(yú)眼鏡頭的前方取球面與y。軸的交點(diǎn)(0，R，0)做切面Pfrant為前方的展開(kāi)窗 口可恢復(fù)魚(yú)眼鏡頭前方的圖像，平面的大小為2RXR，視角為90°，方位角為90°，仰角為 0° ；根據(jù)第4步(16)中所述的方法逐點(diǎn)求得展開(kāi)圖像與魚(yú)眼圖像之間的關(guān)系；第6. 3、魚(yú)眼鏡頭的后方取球面y。軸的交點(diǎn)(0，-R, 0)做切面Pbadt為后方的展開(kāi)窗 口可恢復(fù)魚(yú)眼鏡頭后方的圖像，平面的大小為2RXR，視角為90°，方位角為270°，仰角為 0° ；根據(jù)第4步(15)式中所述的方法逐點(diǎn)求得展開(kāi)圖像與魚(yú)眼圖像之間的關(guān)系； 第6. 4、魚(yú)眼鏡頭的左面取球面與χ。軸的交點(diǎn)(_R，0，0)做切面PlrftS左面的展開(kāi)窗 口可恢復(fù)魚(yú)眼鏡頭左面的圖像，平面的大小為RX2R，視角為90°，方位角為180°，仰角為 0° ；根據(jù)第4步(15)式中所述的方法逐點(diǎn)求得展開(kāi)圖像與魚(yú)眼圖像之間的關(guān)系；第6. 5、魚(yú)眼鏡頭的右面取球面與χ。軸的交點(diǎn)(R，0，0)做切面PHght為右面的展開(kāi)窗 口可恢復(fù)魚(yú)眼鏡頭右面的圖像，平面的大小為RX2R，視角為90°，方位角為0°，仰角為 0° ；根據(jù)第4步(15)式中所述的方法逐點(diǎn)求得展開(kāi)圖像與魚(yú)眼圖像之間的關(guān)系。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于可以得到指定任意方向的展開(kāi)圖像 以魚(yú)眼鏡頭所在空間中的任意一個(gè)方向?yàn)橹行?，?duì)魚(yú)眼圖像進(jìn)行展開(kāi)，任意方向的展 開(kāi)需要5個(gè)參數(shù)，仰角，方位角，視角，恢復(fù)后圖像的寬與高；給定這5個(gè)參數(shù)可按照第1步 至第4步來(lái)進(jìn)行展開(kāi)。
全文摘要
一種魚(yú)眼圖像復(fù)原的展開(kāi)方法。涉及基于球面模型的等距投影原理的魚(yú)眼圖像的復(fù)原與校正。該方法包括建立魚(yú)眼圖像的符合等矩投影原理的球面成像模型(包括魚(yú)眼圖像坐標(biāo)系和相機(jī)坐標(biāo)系建立)；建立展開(kāi)窗口坐標(biāo)系與展開(kāi)圖像坐標(biāo)系，并求出這兩個(gè)坐標(biāo)系之間的關(guān)系；建立展開(kāi)圖像坐標(biāo)系與相機(jī)坐標(biāo)系的關(guān)系；求出展開(kāi)圖像坐標(biāo)系與魚(yú)眼圖像坐標(biāo)系之間的關(guān)系；最終可以得到指定任意方向的全部展開(kāi)圖像。本發(fā)明彌補(bǔ)了其它只能展開(kāi)魚(yú)眼鏡頭頂部信息方法的缺陷，不僅可以復(fù)原頂部的信息，也可以復(fù)原全部任意方向的信息。即適應(yīng)于等矩投影原理的魚(yú)眼鏡頭，也適用于其它投影原理的魚(yú)眼鏡頭。在圖像跟蹤、監(jiān)控及視頻會(huì)議等領(lǐng)域具有廣泛的應(yīng)用前景。
文檔編號(hào)H04N5/225GK101814181SQ20101012552
公開(kāi)日2010年8月25日 申請(qǐng)日期2010年3月17日 優(yōu)先權(quán)日2010年3月17日
發(fā)明者劉慶杰, 曹作良, 王穎 申請(qǐng)人:天津理工大學(xué)