專利名稱：：三維重構(gòu)系統(tǒng)中雙攝像機標定方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及視覺系統(tǒng)中的雙攝像機的標定問題，尤其涉及一種三維重構(gòu)系統(tǒng)中雙攝像機標定方法。
背景技術(shù)：
：計算機視覺的基本任務之一，從攝像機拍攝得到的圖像出發(fā)，計算視場中物體的三維信息，由此來對三維物體進行重建和識別。物體表面點的三維幾何信息與其在圖像上的相應點之間的相互關(guān)系是由攝像機的成像模型決定的，建立這一幾何模型的過程實際就是攝像機參數(shù)的求解過程。因此，對攝像機參數(shù)的標定是這一建模過程的前提和關(guān)鍵。對攝像機參數(shù)的求解過程稱為攝像機標定。文獻“ImageProcessing，Analysis，andMachineVision”(M.Sonka，V.Hlavac，R.Boyle，InternationalThomsonPublishing，1998)中闡述了一種較為通用的攝像機成像模型，該成像模型可以用以下公式來描述xy1=λARTXYZ1]]>其中，X，Y，Z是標定物的空間點坐標，x，y是在圖像上的二維點坐標，R，T為攝像機的外部參數(shù)，分別定義了攝像機在三維空間的姿態(tài)和位置，A=fsx00fy0001]]>為攝像機內(nèi)部參數(shù)，包括主距f，象素比例因子s，中心點位置(x0，y0)。攝像機標定就是計算攝像機外部參數(shù)和內(nèi)部參數(shù)的過程。攝像機標定技術(shù)大致可以分成兩類傳統(tǒng)的攝像機標定方法和攝像機自標定方法。近年來，攝像機的自標定算法取得了很大的進展，已發(fā)表了相當數(shù)量的文獻，其中一些算法獲得了較為廣泛的應用。但是由于自標定算法相對于傳統(tǒng)標定算法精度要差，不適合諸如三維重構(gòu)等對檢測精度要求非常高的場合。傳統(tǒng)的標定算法也得到了較為廣泛的應用，同時也獲得了較好的效果。例如文獻“Aversatilecameracalibrationtechniqueforhighaccuracy3Dmachinevisionmetrologyusingoff-the-shelfTVcamerasandlenses”(TsaiRY.IEEERoboticsAutomation，1987，3(4)pages324-344)中公開了一種利用徑向校準約束來獲取外部參數(shù)、焦距和徑向一次畸變的線性解。該方法迭代參數(shù)較少，且能自動提供較好的初始值，求解速度快，同時考慮了鏡頭的徑向畸變，精度較高。缺點是該方法中，CCD陣列中感光元的橫向間距和縱向間距被認為是已知，沒有對成像中心進行修正。
發(fā)明內(nèi)容本發(fā)明提供一種能夠?qū)z像機的參數(shù)進行完整標定的三維重構(gòu)系統(tǒng)中雙攝像機標定方法，具有方法簡單的優(yōu)點。本發(fā)明采用如下技術(shù)方案一種三維重構(gòu)系統(tǒng)中雙攝像機標定方法，包括成像中心的標定、畸變參數(shù)的標定及外部參數(shù)及有效焦距的標定，其特征在于(1)成像中心的標定對標定板拍攝，得到數(shù)字圖像，該標定板有按陣列分布的標志圓點，利用位于數(shù)字圖像中間部分的16個點，求得一對滅點V1，V2，利用標定板上的由標志圓點構(gòu)成的相互垂直的2組平行直線，得到由光心至上述2個滅點V1，V2的向量，并利用其垂直關(guān)系得到關(guān)于成像中心(u0，v0)的正交方程(u1-u0)(u2-u0)+(v1-v0)(v2-v0)+f2＝0；重復上述步驟，分別得到另外2對滅點V3，V4和V5，V6及相應的兩個關(guān)于成像中心(u0，v0)的正交方程(u3-u0)(u4-u0)+(v3-v0)(v4-v0)+f2＝0及(u5-u0)(u6-u0)+(v5-v0)(v6-v0)+f2＝0，聯(lián)立上述三個方程，求解得到成像中心(u0，v0)；(2)畸變參數(shù)的標定使用一組位于標定板上的平行線上的標志圓點，并利用平行線在像平面上投影交點(xc，yc)的約束條件以及畸變模型，得到一組過交點(xc，yc)的直線方程y-yc＝ki(x-xc)(i＝1，2，…，N)，其中ki為第i條直線的斜率，將上述直線方程組組合成AW＝B其中由最小二乘法解得W＝(AAt)-1AtB，其中，A和B矩陣是關(guān)于畸變系數(shù)d的函數(shù)，進而得到W＝[A(d)At(d)]-1At(d)B(d)，在一維空間利用變步長搜索法搜索畸變系數(shù)d，當||AW‾-B||=mind||AW-B||]]>時，d值即為畸變系數(shù)；上述步長采用如下方法確定鏡頭的畸變參數(shù)值都比較小，搜索區(qū)間可初選為(-10-6，10-6)，當畸變參數(shù)的精度達到10-9時，對像素的修正精度已達到0.02個像素左右，一般情況下，這已經(jīng)達到標志點圓心的定位精度的極限，因此更進一步的搜索已經(jīng)沒有意義。(3)用兩步法標定外部參數(shù)及有效焦距。與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點本發(fā)明主要用于各種基于平面標定板對雙攝像機進行實時快速標定的應用場合。利用本專利的標定算法標定攝像機各參數(shù)，主要有以下優(yōu)點(1)本專利算法比較完整地標出了理想攝像機的各參數(shù)，包括成像中心、畸變系數(shù)、有效焦距、姿態(tài)參數(shù)及平移參數(shù)，同時標出鏡頭的畸變參數(shù)，后續(xù)拍攝到的圖像可根據(jù)該參數(shù)進行圖像的畸變校正。(2)本專利算法中的運算均為線性運算，沒有使用迭代，回溯等非線性運算，故計算速度快，能應用于各種對實時性要求高的場合。(3)本專利算法中均使用了平面標定物進行標定，平面標定物較立體標定物具有制作簡單，精度高等優(yōu)點，這就降低了標定過程中對高精度標定塊的依賴，簡化了標定過程。圖1標定板圖。圖2滅點形成原理圖。圖3搜索畸變參數(shù)的流程圖。圖4深度模型示意圖。圖5三維掃描系統(tǒng)結(jié)構(gòu)圖。圖6參數(shù)標定流程圖。具體實施例方式一種三維重構(gòu)系統(tǒng)中雙攝像機標定方法，包括成像中心的標定、畸變參數(shù)的標定及外部參數(shù)及有效焦距的標定，其特征在于(1)成像中心的標定對標定板拍攝，得到數(shù)字圖像，該標定板有按陣列分布的標志圓點，利用位于數(shù)字圖像中間部分的16個點，求得一對滅點V1，V2，利用標定板上的由標志圓點構(gòu)成的相互垂直的2組平行直線，得到由光心至上述2個滅點V1，V2的向量，并利用其垂直關(guān)系得到關(guān)于成像中心(u0，v0)的正交方程(u1-u0)(u2-u0)+(v1-v0)(v2-v0)+f2＝0；重復上述步驟，分別得到另外2對滅點V3，V4和V5，V6及相應的兩個關(guān)于成像中心(u0，v0)的正交方程(u3-u0)(u4-u0)+(v3-v0)(v4-v0)+f2＝0及(u5-u0)(u6-u0)+(v5-v0)(v6-v0)+f2＝0，聯(lián)立上述三個方程，求解得到成像中心(u0，v0)；(2)畸變參數(shù)的標定使用一組位于標定板上的平行線上的標志圓點，并利用平行線在像平面上投影交點(xc，yc)的約束條件以及畸變模型，得到一組過交點(xc，yc)的直線方程y-yc＝ki(x-xc)(i＝1，2，…，N)，其中ki為第i條直線的斜率，將上述直線方程組組合成AW＝B其中由最小二乘法解得W＝(AAt)-1AtB，其中，A和B矩陣是關(guān)于畸變系數(shù)d的函數(shù)，進而得到W＝[A(d)At(d)]-1At(d)B(d)，在一維空間利用變步長搜索法搜索畸變系數(shù)d，當||AW‾-B||=mind||AW-B||]]>時，d值即為畸變系數(shù)；上述步長采用如下方法確定鏡頭的畸變參數(shù)值都比較小，搜索區(qū)間可初選為(-10-6，10-6)，當畸變參數(shù)的精度達到10-9時，對像素的修正精度已達到0.02個像素左右，一般情況下，這已經(jīng)達到標志點圓心的定位精度的極限，因此更進一步的搜索已經(jīng)沒有意義。(3)用兩步法標定外部參數(shù)及有效焦距。下面參照附圖，對本發(fā)明具體實施方案作出更為詳細的描述本發(fā)明利用平面標定物——標定板進行雙攝像機參數(shù)標定，板上陣列分布有圓標志點，如圖1，圓標志點可以排列成相互平行的直線。通過對攝像機拍攝獲取的圖像進行處理，獲得標志點的像方坐標及物方坐標。本專利中的標定算法利用這些圓心數(shù)據(jù)，對攝像機內(nèi)外參數(shù)進行標定。具體步驟如下(1)成像中心的標定文獻“一種新的手提相機自定標方法”(陳澤志，吳成柯.中國圖像圖形學報，2003，8(A版)(3)，241-346)提出了一種新的基于線性模型的攝像機自定標方法，該方法是首先利用三點透視投影圖、滅點和向量正交的性質(zhì)來得到一組非線性方程，然后將其轉(zhuǎn)換為線性方程組求解標定參數(shù)。該文獻中采用了具有三點透視的立方塊作為標定參考物，而我們在標定過程中使用的平面標定板最多可行成二點透視，這就需要不同角度的標定板圖像來彌補這一限制。我們所使用的平面標定上的標定點呈陣列分布，選擇適當?shù)狞c線可以組成若干組相互平行的直線。這里我們僅選取陣列的橫向點和縱向點來構(gòu)成兩組平行線，同時，這兩組平行線是相互垂直的。在拍攝過程中，投影平面和標定板平面保持一定的夾角，使得這兩組平行在成像平面上的投影分別相交于一點。位于成像面中間部分的像點(這些點位于以圖像中心為圓心，以圖像的長和寬的1/3為長短軸橢圓區(qū)域內(nèi))可以將不考慮攝像機鏡頭的畸變因素，而直接使用線性攝像機模型，因此，這部分像點能夠滿足理想的投影幾何關(guān)系。求滅點坐標我們利用位于數(shù)字圖像中間部分的16個點(這些點位于以圖像中心為圓心，圖像的長和寬的1/3為長短軸橢圓區(qū)域內(nèi))，來求一對滅點V1，V2，設這兩個滅點在數(shù)字圖像坐標系下的坐標分別為(u1，v1)，(u2，v2)。下面以滅點(u1，v1)為例，給出求解過程。如圖所示的橫向4條直線相交于滅點(v1，v1)，其直線方程可表示為y-v1＝ki(x-u1)(i＝1，2，3，4)(1)其中ki為第i條直線的斜率。式(1)易化為kix+v1-kiu1＝y(tǒng)將各標定點坐標代入可得方程組AW＝B其中A為16×9矩陣，A=x110001-1000x120001-1000x130001-1000x140001-10000x210010-100···························0x240010-10000x310100-10···························00x340100-10000x411000-1···························000x441000-1;]]>W長度為9的列向量，Wt＝[k1k2k3k4yck1xck2xck3xck4xc]；B長度為16的列向量，Bt＝[y11y12y13y14y21…y24y31…y34y41…y44]。用最小二乘法解得W＝(AAt)-1AtB則u1＝W5，v1=W6+W7+W8+W9W1+W2+W3+W4.]]>求解成像中心由于標定板上橫行和縱向排列的點構(gòu)成的直線相互垂直，根據(jù)投影定理，如圖2，光心O到V1，V2的連線OV1和OV2也相互垂直。V1，V2在攝像機坐標系下的坐標分別為((u1-u0)，(v1-v0)，f)和((u2-u0)，(v2-v0)，f)，其中f為攝像機有效焦距，(u0，v0)為成像中心。由于和相互垂直，則有OV1‾·OV2‾=0,]]>因此可得(u1-u0)(u2-u0)+(v1-v0)(v2-v0)+f2＝0(2)變換角度拍攝兩幅或多幅標定板圖像，這里以兩幅為例。設相應的滅點分別為V3，V4和V5，V6，則有(u3-u0)(u4-u0)+(v3-v0)(v4-v0)+f2＝0(3)(u5-u0)(u6-u0)+(v5-v0)(v6-v0)+f2＝0(4)用式(2)分別減去式(3)和式(4)得(u1+u2-u3-u4)u0+(v1+v2-v3-v4)v0＝u1u2-u3u4+v1v2-v3v4(5)(u1+u2-u5-u6)u0+(v1+v2-v5-v6)v0＝u1u2-u5u6+v1v2-v5v6(6)聯(lián)立式(5)和式(6)，可解得成像中心(u0，v0)。上述過程中至少需拍攝三幅標定板圖像，實際應用中往往拍攝多幅圖像，這樣可得到多個類似式(5)和式(6)的方程，可求方程組的最小二乘解，這種情況下，求解數(shù)據(jù)結(jié)果的穩(wěn)定性會更好一些。實際應用中將兩個CCD攝像機按圖5所示固定在架子上。按照標定算法的要求左右鏡各拍攝三幅原始標定板圖像信息，按上述步驟進行處理，求解得左右鏡的成像中心。不斷重復9次同一過程，得到測量結(jié)果表1表1左右鏡成像中心的標定結(jié)果表3從上表3中可以看出，普通高速緩存對不可高速緩存的操作存在Penalty周期，該Penalty周期不僅僅使得ARM7TDMI的每一個不可高速緩存的操作多增加了等待時間，還將操作中的連續(xù)操作拆分為非連續(xù)操作，這大大影響了AHB總線性能。使用I-S操作模式及地址預測后，高速緩存的Penalty周期基本消除，這顯著提高了系統(tǒng)性能，減少了處理器的等待時間。此外，使用地址預測后，ARM7TDMI的連續(xù)操作能夠繼續(xù)以連續(xù)操作模式在AHB總線上進行，因而能夠極大地提高AHB總線的性能，而且保證連續(xù)操作模式不被拆分，對保證系統(tǒng)性能是非常有利的。其中由最小二乘法解得W＝(AAt)-1AtBA與B矩陣的各非常量元素是由標定點的理想坐標值構(gòu)成，而理想坐標值是由畸變點坐標值經(jīng)過畸變模型進行修正后的結(jié)果。因此，在選定了平行直線及相應的標定點以后，可以認為A與B矩陣是關(guān)于畸變系數(shù)d的函數(shù)，相應地W＝[A(d)At(d)]-1At(d)B(d)在一維空間利用變步長搜索法搜索畸變系數(shù)d，使得||AW‾-B||=mind||AW-B||]]>這時的d即我們所要求解的畸變參數(shù)。具體步驟如下1)搜索區(qū)間可初選為(-10-6，10-6)，首先以10-7為步長，搜索得該次搜索的結(jié)果d(1)；2)以區(qū)間(d(1)-10-7，d(1)+10-7)為搜索區(qū)間，以10-8為步長，搜索得該次搜索的結(jié)果d(2)；3)以區(qū)間(d(2)-10-8，d(2)+10-8)為搜索區(qū)間，以10-9為步長，搜索得該次搜索的結(jié)果d(3)。d(3)即為所求解的畸變參數(shù)d，見附圖3。鏡頭的畸變參數(shù)值都比較小，搜索區(qū)間可初選為(-10-6，10-6)，當畸變參數(shù)的精度達到10-9時，對像素的修正精度已達到0.02個像素左右，一般情況下，這已經(jīng)達到標志點圓心的定位精度的極限，因此更進一步的搜索已經(jīng)沒有意義。實際應用中將兩個CCD攝像機按圖5所示固定在架子上。按照標定算法的要求左右鏡各拍攝一幅原始標定板圖像信息，按上述步驟進行處理，求解得左右鏡的畸變系數(shù)。不斷重復9次同一過程，每次僅拍攝一幅圖像，得到畸變系數(shù)結(jié)果表2表2左右鏡畸變參數(shù)的標定結(jié)果<tablesid="table3"num="003"><tablewidth="604">序號左鏡畸變參數(shù)(10-5)右鏡畸變參數(shù)(10-5)10.00490.005620.00480.0059</table></tables>(3)外部參數(shù)及有效焦距的標定文獻“AVersatileCameraCalibrationTechniqueforHigh-Accuracy3DMachineVisionMetrologyUsingOff-theShelfTVCamerasandLenses”(TsaiRY，IEEEJournalofRoboticsandAutomation，1987，RA-3(4)323-344)提出一種被稱為兩步法的標定算法，它主要是在第一步中利用徑向平行約束的制約求解出攝像機的姿態(tài)參數(shù)，以及除深度因子外的兩個平移分量。第二步中利用迭代求解深度因子，畸變參數(shù)及有效焦距。本專利中使用了該文獻中的第一步算法，而對于該文獻中的第二步算法，由于其采取了迭代運算，快速性和穩(wěn)定性都無法保證，此外，由于本專利中已標出了畸變參數(shù)，故直接利用攝像機的深度模型對深度因子和有效焦距進行標定。然后再應用深度模型求解深度平移分量及有效焦距。如圖4，過物點P作平面平行于成像平面，該平面交光軸于Po，且和分別平行于攝像機坐標系的xc和yc軸，PoPx和PoPy分別與PPx和PPy相互垂直，則由于平面PPxPoPy與成像平面平行，則在四棱錐oc-PPxPoPy中，滿足如下幾何關(guān)系opP0P=ocoocPo=oPxPoPx=oPyPoPy]]>即fzc=xxc=yyc]]>(xc，yc，zc)是任意一物點P在攝像機坐標系下的坐標值，設該點在世界坐標系下的坐標值為(xw，yw，0)，則有xc=r1xw+r2yw+txzc=r7xw+r8yw+tz]]>整理得[r1xw+r2yw+tx-x]ftz=x(r7xw+r8yw)]]>選擇2個以上的標定點，即可求出攝像機深度平移分量和有效焦距。從上式可以看出，我們在標定深度平移分量時，應避免標定板與攝像機光軸垂直，即成像平面及標定板平面之間需保證一定大小的夾角，通常取20°～30°；此外，為提高標定結(jié)果的正確性，選取的標點相互之間應存在一定的深度層次，實際應用中可根據(jù)標定板的傾斜狀況來選擇標定點。實際應用中將兩個CCD攝像機按圖5所示固定在架子上。按照標定算法的要求左右鏡各拍攝一幅原始標定板圖像信息，按上述步驟進行處理，求解得左右鏡的相對位置參數(shù)、相對姿態(tài)參數(shù)以及有效焦距。不斷重復9次，每次僅拍攝一幅圖像，得到外部參數(shù)即姿態(tài)參數(shù)及位置參數(shù)見表3，有效焦距見表4。表3左右鏡相對姿態(tài)和位置標定結(jié)果表4左右鏡的有效焦距標定結(jié)果整個標定過程按照附圖6中的流程進行，依次標定成像中心、畸變系數(shù)、姿態(tài)參數(shù)、位置參數(shù)及有效焦距。權(quán)利要求1.一種三維重構(gòu)系統(tǒng)中雙攝像機標定方法，包括成像中心的標定、畸變參數(shù)的標定及外部參數(shù)及有效焦距的標定，其特征在于(1)成像中心的標定對標定板拍攝，得到數(shù)字圖像，該標定板有按陣列分布的標志圓點，利用位于數(shù)字圖像中間部分的16個點，求得一對滅點V1，V2，利用標定板上的由標志圓點構(gòu)成的相互垂直的2組平行直線，得到由光心至上述2個滅點V1，V2的向量，并利用其垂直關(guān)系得到關(guān)于成像中心(u0，v0)的正交方程(u1-u0)(u2-u0)+(v1-v0)(v2-v0)+f2＝0；重復上述步驟，分別得到另外2對滅點V3，V4和V5，V6及相應的兩個關(guān)于成像中心(u0，v0)的正交方程(u3-u0)(u4-u0)+(v3-v0)(v4-v0)+f2＝0及(u5-u0)(u6-u0)+(v5-v0)(v6-v0)+f2＝0，聯(lián)立上述三個方程，求解得到成像中心(u0，v0)；(2)畸變參數(shù)的標定使用一組位于標定板上的平行線上的標志圓點，并利用平行線在像平面上投影交點(xc，yc)的約束條件以及畸變模型，得到一組過交點(xc，yc)的直線方程y-yc＝ki(x-xc)(i＝1，2，…，N)，其中ki為第i條直線的斜率，將上述直線方程組組合成AW＝B其中由最小二乘法解得W＝(AAt)-1AtB，其中，A和B矩陣是關(guān)于畸變系數(shù)d的函數(shù)，進而得到W＝[A(d)At(d)]-1At(d)B(d)，在一維空間利用變步長搜索法搜索畸變系數(shù)d，當||AW‾-B||=mind||AW-B||]]>時，d值即為畸變系數(shù)；上述步長采用如下方法確定鏡頭的畸變參數(shù)值都比較小，搜索區(qū)間可初選為(-10-6，10-6)，當畸變參數(shù)的精度達到10-9時，對像素的修正精度已達到0.02個像素左右，一般情況下，這已經(jīng)達到標志點圓心的定位精度的極限，因此更進一步的搜索已經(jīng)沒有意義。(3)用兩步法標定外部參數(shù)及有效焦距。全文摘要本發(fā)明提出了一種基于平面標定物的雙攝像機標定方法。該方法比較完整地標出了攝像機系統(tǒng)內(nèi)外參數(shù)，主要有成像中心，畸變參數(shù)，有效焦距以及外部參數(shù)。標定板有按陣列分布的標志圓點，利用位于數(shù)字圖像中間部分的16個點，構(gòu)成的相互垂直的2組平行直線，求得一對滅點后，得到由光心至上述2個滅點的向量，并利用其垂直關(guān)系得到關(guān)于成像中心的正交方程，聯(lián)立多個正交方程即可求得成像中心。利用一組平行線的投影相交于一點的約束，來求解畸變參數(shù)，該方法同時使用了位于一組相互平行線上的標定圓點，利用平行線在成像面上的投影交于一點的約束條件列出一組線性方程，通過一維搜索求解畸變參數(shù)。利用二步法求解外部參數(shù)及有效焦距。文檔編號G06T7/00GK1851752SQ200610039208公開日2006年10月25日申請日期2006年3月30日優(yōu)先權(quán)日2006年3月30日發(fā)明者達飛鵬,尤偉申請人:東南大學