一種魚眼鏡頭標(biāo)定后魚眼圖像校正的方法
【專利摘要】本發(fā)明屬于數(shù)字圖像處理領(lǐng)域，公開一種魚眼鏡頭標(biāo)定后魚眼圖像校正的方法，首先建立了完整的魚眼攝像機(jī)投影和畸變模型，該模型是一種通用的魚眼模型，使用自制的平面標(biāo)定板并利用該通用模型實(shí)現(xiàn)魚眼攝像機(jī)的模型參數(shù)的標(biāo)定，并利用標(biāo)定后的鏡頭畸變參數(shù)把魚眼圓形畸變圖像還原為滿足人眼視覺效果的透視圖像。本發(fā)明是基于平面棋盤格的魚眼鏡頭標(biāo)定和魚眼畸變校正方法，非常適用于視覺導(dǎo)航、移動(dòng)監(jiān)控等場(chǎng)合。本發(fā)明提出的方法，不僅可以適用于圓形魚眼圖像還可以對(duì)不完整的魚眼圖像進(jìn)行校正。
【專利說明】一種魚眼鏡頭標(biāo)定后魚眼圖像校正的方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)字圖像處理【技術(shù)領(lǐng)域】，更具體地，涉及一種魚眼鏡頭標(biāo)定后畸變圖 像還原的方法。

【背景技術(shù)】
[0002] 魚眼鏡頭一次就能獲取接近半球面的場(chǎng)景信息，使用方便，但魚眼鏡頭所獲取的 魚眼圖像具有非常嚴(yán)重的變形，較大的圖像畸變不利于人眼觀察和機(jī)器識(shí)別。想要利用這 些具有嚴(yán)重變形圖像的信息，就需要將發(fā)生畸變的圖像校正為透視投影圖像。在許多應(yīng)用 中，對(duì)畸變進(jìn)行校正是必要環(huán)節(jié)，而校正處理的算法的前處理部分一般是攝像機(jī)標(biāo)定獲得 模型參數(shù)。攝像機(jī)標(biāo)定是實(shí)現(xiàn)魚眼畸變校正的首要環(huán)節(jié)，是魚眼鏡頭在圖像畸變校正中的 關(guān)鍵研究點(diǎn)；魚眼鏡頭標(biāo)定算法是一類精確恢復(fù)圖像畸變的方法，它通過建立魚眼鏡頭特 定的成像模型，然后用標(biāo)定裝置得到魚眼鏡頭變形校正參數(shù)的先驗(yàn)信息，最后利用獲得的 校正參數(shù)來校正圖像，由于考慮了魚眼成像的各種畸變，相對(duì)更加精確。一般標(biāo)定的算法主 要針對(duì)特定的魚眼鏡頭，并且需要相應(yīng)的標(biāo)定模版，如平面棋盤版或網(wǎng)格版等。從上文的介 紹可以看出，通過魚眼鏡頭組成的魚眼攝像機(jī)拍攝的圖片需要進(jìn)行特殊處理才符合人眼視 覺或機(jī)器識(shí)別，攝像機(jī)標(biāo)定和魚眼圖像的畸變校正是處理的方法之一，也是魚眼鏡頭在各 個(gè)領(lǐng)域應(yīng)用中的基礎(chǔ)。
[0003] 國(guó)內(nèi)也有很多魚眼校正算法把鏡頭標(biāo)定用圖像處理來替代，而忽略鏡頭標(biāo)定這一 環(huán)節(jié)。它們主要集中精力在魚眼圓形圖像的變形處理上，通過圖像預(yù)處理來進(jìn)行點(diǎn)提取，直 線提取，邊緣檢測(cè)等來獲取畸變參數(shù)，由于處理方法不涉及成像模型，參數(shù)也是基礎(chǔ)模型下 的理想化的參數(shù)，誤差大，雖然可以達(dá)到校正效果，但結(jié)果不理想。從另一方面看，通過圖像 預(yù)處理的方法無形中也加大了算法的復(fù)雜性。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明目的是解決對(duì)魚眼鏡頭所成影像造成的畸變的問題，提供一種魚眼鏡頭標(biāo) 定后魚眼圖像校正的方法，是對(duì)魚眼鏡頭進(jìn)行標(biāo)定和標(biāo)定后對(duì)其畸變圖像校正的方法。
[0005] 為了解決上述問題，本發(fā)明的技術(shù)方案為：
[0006] 一種魚眼鏡頭標(biāo)定后魚眼圖像校正的方法，包括：
[0007] SI.建立完整的魚眼攝像機(jī)投影和崎變|吳型，并在|吳型上建立魚眼成像關(guān)系；
[0008] S2.由魚眼鏡頭與配套攝像模塊組成魚眼攝像機(jī)，并自制平面棋盤標(biāo)定板，再利用 魚眼攝像機(jī)拍攝平面棋盤格采集圖片來標(biāo)定魚眼鏡頭；
[0009] S3.魚眼鏡頭標(biāo)定后，利用相關(guān)標(biāo)定參數(shù)對(duì)魚眼畸變圖像進(jìn)行畸變校正。
[0010] 其中，步驟Si的建立完整的魚眼攝像機(jī)投影和畸變模型的具體過程為：
[0011] 設(shè)空間場(chǎng)景點(diǎn)X = [X，Y，z, 1]在魚眼圖像上的成像點(diǎn)為P = [u, V]τ ;魚眼攝像 機(jī)投影成像的完整模型由以下方程描述：
[0012]

【權(quán)利要求】
1. 一種魚眼鏡頭標(biāo)定后魚眼圖像校正的方法，其特征在于，包括：
51. 建立完整的魚眼攝像機(jī)投影和畸變模型，并在模型上建立魚眼成像關(guān)系；
52. 由魚眼鏡頭與配套攝像模塊組成魚眼攝像機(jī)，并自制平面棋盤標(biāo)定板，再利用魚眼 攝像機(jī)拍攝平面棋盤格采集圖片來標(biāo)定魚眼鏡頭；
53. 魚眼鏡頭標(biāo)定后，利用相關(guān)標(biāo)定參數(shù)對(duì)魚眼畸變圖像進(jìn)行畸變校正。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟Sl的建立完整的魚眼攝像機(jī)投影和 畸變模型的具體過程為： 設(shè)空間場(chǎng)景點(diǎn)X= [X，Y，Z，1]在魚眼圖像上的成像點(diǎn)為p= [u，V]τ ;魚眼攝像機(jī)投 影成像的完整模型由以下方程描述： [?，" A v =PX(1) L/(p)" 其中λ為參數(shù)，λ>ο;P稱之為投影矩陣，尸= [R|T]，Reso⑶，F(xiàn)eiT; f(P)代表魚眼鏡頭的曲面多項(xiàng)式模型，f(P)中的參數(shù)為㈨如七七七^公式描述為：f(P) =a0+ajP+a2P+?P+a4P(2) 其中P對(duì)應(yīng)于魚眼圖像像素點(diǎn)到成像中心的距離，p= +V2 ; P關(guān)于Θ的多項(xiàng)式稱為畸變多項(xiàng)式，P關(guān)于Θ的多項(xiàng)式模型表不為： P=bg+bjΘ+b2Θ2^b3Θ3+b4θ4+. . . +bnΘn (3) 其中Θ是入射光線與單位球Z軸正方向的夾角；多項(xiàng)式系數(shù)稱之為畸變系數(shù)，表示為 b〇，bi，bg，bg，b'，· · ·； 增加參數(shù)來描述更精確的模型；即通過一個(gè)仿射變換達(dá)到精確描述的目地，即： it'~\ 「￡i/lfli]「Α:] = + (4) "V'JLe1JLvJLx-" 其中c,d,e為參數(shù)，（u' ,ν')為真實(shí)坐標(biāo)，（u,v)為理想坐標(biāo)，（x。，y。）為圖像中心 坐標(biāo)； 上式表示為：u' =Au+t (5) CJl X 其中AeR2x2 和teR，d= ?I= ￡ ; /1J 對(duì)魚眼攝像機(jī)進(jìn)行標(biāo)定就是估計(jì)P= [R|T] a2,a3,a4,A,t這些參數(shù)；其中矩陣 R，T稱之為外部參數(shù)；&(|，&1，a2,a3,a4、A，t稱之為內(nèi)部參數(shù)；要校正魚眼畸變圖像，只需要 使用內(nèi)部參數(shù)。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟S2的標(biāo)定魚眼鏡頭的步驟包括：
521. 自制平面棋盤標(biāo)定板，魚眼攝像機(jī)對(duì)棋盤標(biāo)定板采集N幅圖片，其中N>> 1 ;讀 取所有的棋盤格拍攝圖像；
522. 在每張棋盤格圖像上自動(dòng)選取棋盤格的黑白交叉頂點(diǎn)；
523. 估計(jì)外部參數(shù)和內(nèi)部參數(shù)；
524. 線性優(yōu)化。線性優(yōu)化通過奇異值分解可以方便解決。
525. 中心提取，利用投影點(diǎn)的直觀性，把A=I和t=O條件下的中心位置作為初始 值，計(jì)算出新的中心位置；再使用計(jì)算的新中心位置作為下一次初始值，進(jìn)行多次迭代，每 一次計(jì)算投影誤差，并求出均方誤差，使誤差滿足需要的條件，并保證有局部最小值，從而 確定優(yōu)化后的中心位置；
526. 非線性優(yōu)化，基于最大似然準(zhǔn)優(yōu)化獲得的內(nèi)外部參數(shù)，作為標(biāo)定參數(shù)，選取需要的 最終用于魚眼圖像校正使用。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，步驟S23估計(jì)外部參數(shù)和內(nèi)部參數(shù)的過程 為： 拍攝平面標(biāo)定板i幅圖片，這樣對(duì)于每一幅拍攝圖片，能夠得到：
其中<?是Ri的列向量；上標(biāo)i表示第i幅標(biāo)定板拍攝照片，下標(biāo)j表示第i幅標(biāo)定 板照片的第j個(gè)點(diǎn)；X、Y分別為空間場(chǎng)景的橫坐標(biāo)和縱坐標(biāo)；T為外部參數(shù)，Γ€W% 對(duì)式（6)兩邊進(jìn)行叉乘運(yùn)算，由于Pjxpl=O，則：
對(duì)第i幅標(biāo)定板圖像上的第j個(gè)圖像點(diǎn)Pj能夠得到三個(gè)齊次方程，即： %I?ζ：vJ(r31XJ+r32YJ+t3)-g(pj) (r21Xj+r22Yj+t2) = 0 第II式：g(P j) O11X^r12YjIt1)-UjO 31XjIr32Yft3) = 0 第III式:Uj (r21Xj+r22Yj+t2)-VjCr11XjIr12Yj+!^) = 0 其中Xj，Yj，Zj和Uj，Vj是已知的，通過第III式求出rn，r12，:T21，:r22,tpt2 ; 把所有待求項(xiàng)放入一個(gè)列向量H，即H= [rn，r12，:T21，:r22,h，t2]τ ; L表示標(biāo)定板上有L個(gè)點(diǎn)，把第III式改寫為： M·H=O 其中M
在I|H|K= 1的條仵下，通過最小平方準(zhǔn)則最小化I|M·Η|K能夠線性估計(jì)出H;由于IVr2是標(biāo)準(zhǔn)正交，r31，:T32也能夠唯一的確定；然后對(duì)每一幅標(biāo)定板圖片確定外部參數(shù)：rn， Γ12?Γ21?Γ22?Γ31?Γ32? ? ^2 ； 再把所有待求項(xiàng)放入一個(gè)列向量，則第I式改寫為：
K表示對(duì)平面標(biāo)定板的K次拍攝；求解以上方程，得到最小二乘解，確定參數(shù)％，&1，a2， 步驟S24的線性優(yōu)化是通過線性優(yōu)化的方法對(duì)得到的初始值進(jìn)行線性優(yōu)化；優(yōu)化的方 法通過線性最小化來實(shí)現(xiàn)，具體為： 第一步，使用內(nèi)部參數(shù)Sci, a2,a3,a4初始值代入第I式，第II式，第III式，通過求 解第I式，第Π式，第III式再次計(jì)算所有的外部參數(shù)rn，r12，:T21，:T22，:T31，:r32,tpt2,t3 ;將 問題轉(zhuǎn)化為求解齊次線性方程組問題，通過奇異值分解解決； 第二步，將第一步求解的外部參數(shù)代入第Π式，第III式來進(jìn)一步優(yōu)化內(nèi)部參數(shù)；同 樣，將問題轉(zhuǎn)化為線性方程組的求解問題，通過偽逆矩陣解決。
5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，步驟S26的非線性優(yōu)化是基于最大似然準(zhǔn) 則優(yōu)化獲得的內(nèi)外部參數(shù)； 假設(shè)獲得了K幅標(biāo)定板的拍攝圖片，每一幅圖片上包含L個(gè)點(diǎn)；那么最大似然估計(jì)就是 最小化函數(shù)：
其中《(/匕7'次(1為為,.為，；^.)|是場(chǎng)景點(diǎn).￥;的投影；紀(jì)，1^描述標(biāo)定板的位置和方向 ； RieSO(3),T6 ； 最小化函數(shù)就是尋找合適的標(biāo)定參數(shù)來最小化投影誤差；使用Levenberg-Marquadt算法來最優(yōu)化函數(shù)，采用使用步驟S24中獲得的內(nèi)外部參數(shù)作為初始值，矩陣A使用單位矩 陣I作為初始值；中心位置〇。使用步驟S25中經(jīng)過線性迭代后的值作為初始值； 設(shè)定初始值后，通過最大似然估計(jì)得到進(jìn)一步優(yōu)化后的內(nèi)外部參數(shù)，這些參數(shù)即為標(biāo) 定參數(shù)，選取需要的最終用于魚眼圖像校正使用。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，步驟S3的標(biāo)定后對(duì)魚眼畸變圖像進(jìn)行校 正的步驟包括：
531. 提取標(biāo)定結(jié)果，對(duì)用于校正的參數(shù)以TXT的格式進(jìn)行存儲(chǔ)； 以TXT的格式的標(biāo)定結(jié)果：曲面鏡頭模型多項(xiàng)式Γ的系數(shù)，表示為（a(l，apa2,a3,a4)， 儲(chǔ)存在數(shù)組SS中，SS= [aQ，a2,a3,a4];魚眼圖像的中心坐標(biāo)（x。，y。）即向量t;仿射變 換參數(shù)c，d，e即矩陣A;
532. 空間坐標(biāo)映射，通過步驟SI和S2提出的模型參數(shù)標(biāo)定過程，得到魚眼成像坐標(biāo) 與空間場(chǎng)景坐標(biāo)的轉(zhuǎn)換規(guī)律，根據(jù)這個(gè)關(guān)系將魚眼圖像對(duì)應(yīng)于空間場(chǎng)景圖，從而得到透視 圖； 通過步驟S31的多項(xiàng)式系數(shù)Btl,apa2,a3,a4得到曲面鏡頭模型多項(xiàng)式f(P)，f( P)代 表魚眼鏡頭的曲面模型，這是一個(gè)關(guān)于P的多項(xiàng)式函數(shù)，為了校正需要得到P關(guān)于Θ的 畸變多項(xiàng)式采用以下方式； P關(guān)于Θ的多項(xiàng)式系數(shù)，稱之為畸變多項(xiàng)式系數(shù)，表示為Ivbpb2，b3,b4，...，為了求 解畸變多項(xiàng)式系數(shù)，通過擬合多項(xiàng)式，設(shè)定一個(gè)循環(huán)來得到多項(xiàng)式的階數(shù)，使擬合多項(xiàng)式誤 差小于0.01即停止，獲得最優(yōu)參數(shù)；得到P關(guān)于Θ的多項(xiàng)式，即 P =bo+biΘ+b2Θ2+b3Θ3+b4θ4+... +bnΘn 那么，真實(shí)空間三維點(diǎn)P(X，Y，Z)映射為平面圖像坐標(biāo)p(x'，y')，其變換關(guān)系如下： 設(shè)N二 + 當(dāng)N= 0時(shí)， /IXi 此時(shí)，令N=eps，即令N為無窮?。? 當(dāng)N關(guān)0時(shí)， Z p=arctan-- hi 理想圖像坐標(biāo)： X=X^- N γ=γ￡- [N 直窀圖像坐標(biāo)
：
533. 雙三次坐標(biāo)插值。經(jīng)過步驟S32空間變換得到需要的像素點(diǎn)，再利用插值的方法 可以獲得新像素坐標(biāo)，將原輸入圖像坐標(biāo)的像素值直接賦值給新坐標(biāo)從而得到新坐標(biāo)的像 素，最后按新的坐標(biāo)進(jìn)行輸出圖像；
534. 濾波，對(duì)步驟S33輸出的圖像進(jìn)行濾波處理。
【文檔編號(hào)】G06T5/00GK104240236SQ201410424349
【公開日】2014年12月24日 申請(qǐng)日期:2014年8月26日 優(yōu)先權(quán)日:2014年8月26日
【發(fā)明者】譚洪舟, 曾慶立, 鄭亮, 陳榮軍, 朱雄泳, 其他發(fā)明人請(qǐng)求不公開姓名 申請(qǐng)人:中山大學(xué), 廣州市花都區(qū)中山大學(xué)國(guó)光電子與通信研究院