本發(fā)明涉及三維信息拍攝技術(shù)，特別涉及一種集成成像超大三維場景拍攝圖像校正方法。

背景技術(shù)：

集成成像技術(shù)包括拍攝和顯示兩部分：拍攝時(shí)，利用虛擬攝像機(jī)陣列或真實(shí)攝像機(jī)陣列對(duì)三維場景不同角度的三維信息進(jìn)行獲取；顯示時(shí)，將拍攝得到的三維信息經(jīng)過對(duì)應(yīng)轉(zhuǎn)換，生成微圖像陣列，在集成成像顯示空間重建拍攝的三維場景。在集成成像攝像機(jī)陣列拍攝中，攝像機(jī)數(shù)目巨大，且不同攝像機(jī)之間的相對(duì)空間位置和光軸方向都難以做到物理上的精確對(duì)齊。在傳統(tǒng)集成成像攝像機(jī)陣列拍攝中，需要利用標(biāo)定板對(duì)攝像機(jī)陣列拍攝圖像進(jìn)行校正，以克服不同攝像機(jī)的位姿差異帶來的拍攝錯(cuò)誤。但是，傳統(tǒng)的集成成像攝像機(jī)陣列拍攝圖像校正方法受限于標(biāo)定板的尺寸大小，無法拍攝較大和超大的三維場景，嚴(yán)重限制了集成成像攝像機(jī)陣列拍攝的適用范圍和實(shí)用性，進(jìn)而制約了集成成像三維顯示的數(shù)據(jù)來源。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在實(shí)現(xiàn)一種可針對(duì)超大三維場景的集成成像攝像機(jī)陣列拍攝圖像校正方法，該方法同時(shí)具備高精度、可調(diào)節(jié)和適用范圍廣的優(yōu)點(diǎn)。為了達(dá)到上述目的，本發(fā)明提出一種集成成像超大三維場景拍攝圖像校正方法，該方法結(jié)合集成成像拍攝理論，利用亞像素精度角點(diǎn)檢測技術(shù)，計(jì)算攝像機(jī)陣列拍攝視差圖像的最大校正拓展系數(shù)，獲取視差圖像對(duì)應(yīng)的單應(yīng)性變換矩陣，對(duì)攝像機(jī)陣列拍攝圖像進(jìn)行校正。將校正后的視差圖像，合成微圖像陣列，用于集成成像三維顯示。該方法包括視差圖像校正拓展系數(shù)序列計(jì)算和視差圖像序列校正合成兩個(gè)過程。

本發(fā)明所提方法可以由攝像機(jī)陣列、棋盤格標(biāo)定板和用于拍攝的超大三維場景實(shí)現(xiàn)，如附圖1所示，在本發(fā)明中，利用棋盤格標(biāo)定板對(duì)攝像機(jī)陣列拍攝圖像進(jìn)行校正，超大三維場景置于攝像機(jī)陣列的拍攝范圍內(nèi)，且拍攝范圍遠(yuǎn)大于棋盤格標(biāo)定板的尺寸。

本發(fā)明利用攝像機(jī)陣列拍攝固定的棋盤格標(biāo)定板，獲取棋盤格標(biāo)定板角點(diǎn)亞像素精度的像素坐標(biāo)，計(jì)算每個(gè)攝像機(jī)拍攝視差圖像對(duì)應(yīng)的校正拓展系數(shù)；基于單應(yīng)性變換理論，計(jì)算視差圖像對(duì)應(yīng)的單應(yīng)性變換矩陣；結(jié)合集成成像顯示原理，將校正的視差圖序列合成微圖像陣列，用于集成成像三維顯示。本發(fā)明所提方法的流程如附圖2所示。

所述視差圖像校正拓展系數(shù)序列計(jì)算過程，首先，進(jìn)行攝像機(jī)陣列位姿調(diào)整，根據(jù)攝像機(jī)陣列拍攝場景范圍，將角點(diǎn)數(shù)目為j×k的棋盤格標(biāo)定板固定于被測場景中心位置，且保證棋盤格所處空間平面與攝像機(jī)陣列所處平面平行，攝像機(jī)陣列中，攝像機(jī)數(shù)目為m×n，手動(dòng)調(diào)整其中每一個(gè)攝像機(jī)的位姿，使攝像機(jī)拍攝得到的視差圖像的中心像素坐標(biāo)與棋盤格標(biāo)定板中心點(diǎn)q0重合；然后，利用攝像機(jī)陣列拍攝視差圖像序列，獲取數(shù)目為m×n的視差圖像序列。在m×n視差圖像序列中，分別利用亞像素精度角點(diǎn)檢測技術(shù)，確定棋盤格標(biāo)定板角點(diǎn)像素坐標(biāo)pm,n(x,y)j,k，其中，m和n分別表示第m列、第n行攝像機(jī)拍攝的視差圖像，m∈{1,2,3,…,m}，n∈{1,2,3,…,n}，j和k分別表示視差圖像棋盤格標(biāo)定板中第j列、第k行角點(diǎn)，j∈{1,2,3,…,j}，k∈{1,2,3,…,k}，如附圖3中（a）圖所示。根據(jù)棋盤格標(biāo)定板角點(diǎn)像素坐標(biāo)pm,n(x,y)j,k，第m列、第n行視差圖像中棋盤格標(biāo)定板的中心點(diǎn)q0對(duì)應(yīng)的像素坐標(biāo)qm,n(x,y)表示為：

（1）

（2）

（3）

其中，(ax,ay)、(bx,by)、(cx,cy)和(dx,dy)分別是棋盤格標(biāo)定板角點(diǎn)a(x,y)、b(x,y)、c(x,y)和d(x,y)四點(diǎn)對(duì)應(yīng)的像素坐標(biāo)，且分別滿足：

（4）

（5）

（6）

（7）

根據(jù)視差圖像棋盤格標(biāo)定板中心點(diǎn)像素坐標(biāo)qm,n(x,y)和棋盤格標(biāo)定板角點(diǎn)a(x,y)、b(x,y)、c(x,y)和d(x,y)，可以確定直線ac和直線bd。直線ac與視差圖像邊緣相交于點(diǎn)a'(x,y)和c'(x,y)，直線bd與視差圖像邊緣相交于點(diǎn)b'(x,y)和d'(x,y)，如附圖3（b）所示，其中a'(x,y)=(a'x,a'y)，b'(x,y)=(b'x,b'y)，c'(x,y)=(c'x,c'y)，d'(x,y)=(d'x,d'y)；最后，根據(jù)相似性關(guān)系，計(jì)算第m列、第n行視差圖像中棋盤格標(biāo)定板角點(diǎn)a(x,y)、b(x,y)、c(x,y)和d(x,y)對(duì)應(yīng)的拓展系數(shù)ea(m,n)、eb(m,n)、ec(m,n)和ed(m,n)分別滿足：

（8）

（9）

（10）

（11）

利用相同的拓展系數(shù)計(jì)算方法，得到m×n的視差圖像序列對(duì)應(yīng)的校正拓展系數(shù)序列em×n：

（12）

其中，m∈{1,2,3,…,m}，n∈{1,2,3,…,n}。

所述視差圖像序列校正合成過程，首先，計(jì)算視差圖像最大校正拓展系數(shù)emax，emax為視差圖像校正拓展系數(shù)序列em×n中的最小值：

（13）

其中，min{*}為計(jì)算集合*的最小值。根據(jù)視差圖像最大校正拓展系數(shù)，計(jì)算每幅視差圖像最大拓展坐標(biāo)amax(x,y)、bmax(x,y)、cmax(x,y)和dmax(x,y)：

（14）

（15）

（16）

（17）

然后，根據(jù)集成成像三維顯示參數(shù)，確定校正后視差圖像的像素尺寸r×c。結(jié)合每幅視差圖像最大拓展坐標(biāo)amax(x,y)、bmax(x,y)、cmax(x,y)和dmax(x,y)，基于單應(yīng)性變換原理，計(jì)算得到m×n幅視差圖像對(duì)應(yīng)的單應(yīng)性變換矩陣hm,n，hm,n表示為：

（18）

利用攝像機(jī)拍攝超大三維場景，第m列、第n行攝像機(jī)拍攝得到視差圖像為im,n(x,y)，利用對(duì)應(yīng)的單應(yīng)性變換矩陣hm,n，計(jì)算得到對(duì)應(yīng)的校正圖像i'm,n(x',y')，如附圖4所示，i'm,n(x',y')與im,n(x,y)滿足：

（19）

其中：

（20）

最后，根據(jù)集成成像三維顯示原理，將得到的校正圖像i'm,n(x',y')合成微圖像陣列，如附圖5所示。微圖像陣列輸入集成成像三維顯示器，便可以得到集成成像三維顯示效果。

本發(fā)明提出的集成成像超大三維場景拍攝圖像校正方法，同時(shí)具備高精度、可調(diào)節(jié)和適用范圍廣的優(yōu)點(diǎn)，突破傳統(tǒng)的集成成像攝像機(jī)陣列拍攝圖像校正方法受限于標(biāo)定板的尺寸大小，無法拍攝較大和超大的三維場景的缺點(diǎn)，可以實(shí)現(xiàn)對(duì)超大三維場景集成成像攝像機(jī)陣列拍攝圖像的校正。

附圖說明

附圖1為一種集成成像超大三維場景拍攝圖像校正方法的實(shí)現(xiàn)系統(tǒng)圖

附圖2為本發(fā)明所提方法的流程圖

附圖3為（a）視差圖像棋盤格標(biāo)定板角點(diǎn)檢測（b）本發(fā)明中視差圖像校正拓展系數(shù)計(jì)算示意圖

附圖4為（a）傳統(tǒng)校正方法校正視差圖像與（b）本發(fā)明所提方法校正視差圖像對(duì)比圖

附圖5為（a）傳統(tǒng)校正方法合成微圖像陣列與（b）本發(fā)明所提方法合成微圖像陣列對(duì)比圖

上述附圖中的圖示標(biāo)號(hào)為：

1攝像機(jī)陣列，2棋盤格標(biāo)定板，3超大三維場景，4最大拓展坐標(biāo)對(duì)應(yīng)視差圖像范圍，5非最大拓展坐標(biāo)對(duì)應(yīng)視差圖像范圍。

應(yīng)該理解上述附圖只是示意性的，并沒有按比例繪制。

具體實(shí)施方式

下面詳細(xì)說明本發(fā)明的一種集成成像超大三維場景拍攝圖像校正方法的一個(gè)典型實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步的具體描述。有必要在此指出的是，以下實(shí)施例只用于本發(fā)明做進(jìn)一步的說明，不能理解為對(duì)本發(fā)明保護(hù)范圍的限制，該領(lǐng)域技術(shù)熟練人員根據(jù)上述本發(fā)明內(nèi)容對(duì)本發(fā)明做出一些非本質(zhì)的改進(jìn)和調(diào)整，仍屬于本發(fā)明的保護(hù)范圍。

本發(fā)明提出一種集成成像超大三維場景拍攝圖像校正方法，該方法包括視差圖像校正拓展系數(shù)序列計(jì)算和視差圖像序列校正合成兩個(gè)過程。

本實(shí)施例由攝像機(jī)陣列、棋盤格標(biāo)定板和用于拍攝的超大三維場景實(shí)現(xiàn)，如附圖1所示，利用棋盤格標(biāo)定板對(duì)攝像機(jī)陣列拍攝圖像進(jìn)行校正，超大三維場景置于攝像機(jī)陣列的拍攝范圍內(nèi)，且拍攝范圍遠(yuǎn)大于棋盤格標(biāo)定板的尺寸。

本實(shí)施例利用攝像機(jī)陣列拍攝固定的棋盤格標(biāo)定板，獲取棋盤格標(biāo)定板角點(diǎn)亞像素精度的像素坐標(biāo)，計(jì)算每個(gè)攝像機(jī)拍攝視差圖像對(duì)應(yīng)的校正拓展系數(shù)；基于單應(yīng)性變換理論，計(jì)算視差圖像對(duì)應(yīng)的單應(yīng)性變換矩陣；結(jié)合集成成像顯示原理，將校正的視差圖序列合成微圖像陣列，用于集成成像三維顯示。本實(shí)施例的流程如附圖2所示。

所述視差圖像校正拓展系數(shù)序列計(jì)算過程，首先，進(jìn)行攝像機(jī)陣列位姿調(diào)整，根據(jù)攝像機(jī)陣列拍攝場景范圍，將角點(diǎn)數(shù)目為j×k=13×9的棋盤格標(biāo)定板固定于被測場景中心位置，且保證棋盤格所處空間平面與攝像機(jī)陣列所處平面平行，攝像機(jī)陣列中，攝像機(jī)數(shù)目為m×n=16×16，手動(dòng)調(diào)整其中每一個(gè)攝像機(jī)的位姿，使攝像機(jī)拍攝得到的視差圖像的中心像素坐標(biāo)與棋盤格標(biāo)定板中心點(diǎn)q0重合；然后，利用攝像機(jī)陣列拍攝視差圖像序列，獲取數(shù)目為m×n=16×16的視差圖像序列。在16×16視差圖像序列中，分別利用亞像素精度角點(diǎn)檢測技術(shù)，確定棋盤格標(biāo)定板角點(diǎn)像素坐標(biāo)pm,n(x,y)j,k，其中，m和n分別表示第m列、第n行攝像機(jī)拍攝的視差圖像，m∈{1,2,3,…,16}，n∈{1,2,3,…,16}，j和k分別表示視差圖像棋盤格標(biāo)定板中第j列、第k行角點(diǎn)，j∈{1,2,3,…,13}，k∈{1,2,3,…,9}，如附圖3中（a）圖所示。根據(jù)棋盤格標(biāo)定板角點(diǎn)像素坐標(biāo)pm,n(x,y)j,k，第m列、第n行視差圖像中棋盤格標(biāo)定板的中心點(diǎn)q0對(duì)應(yīng)的像素坐標(biāo)qm,n(x,y)表示為：

（1）

（2）

（3）

其中，(ax,ay)、(bx,by)、(cx,cy)和(dx,dy)分別是棋盤格標(biāo)定板角點(diǎn)a(x,y)、b(x,y)、c(x,y)和d(x,y)四點(diǎn)對(duì)應(yīng)的像素坐標(biāo)，且分別滿足：

（4）

（5）

（6）

（7）

本實(shí)施例中，以第5列、第3行攝像機(jī)拍攝的視差圖像為例，qm,n(x,y)=(2171,1253)，a(x,y)=(1300,757)，b(x,y)=(3051,765)，c(x,y)=(3027,1759)和d(x,y)=(1284,1739)。根據(jù)視差圖像棋盤格標(biāo)定板中心點(diǎn)像素坐標(biāo)qm,n(x,y)和棋盤格標(biāo)定板角點(diǎn)a(x,y)、b(x,y)、c(x,y)和d(x,y)，可以確定直線ac和直線bd。直線ac與視差圖像邊緣相交于點(diǎn)a'(x,y)和c'(x,y)，直線bd與視差圖像邊緣相交于點(diǎn)b'(x,y)和d'(x,y)，如附圖3（b）所示，其中a'(x,y)=(a'x,a'y)=(151,0)，b'(x,y)=(b'x,b'y)=(3839,97)，c'(x,y)=(c'x,c'y)=(3591,2159)，d'(x,y)=(d'x,d'y)=(727,2159)；最后，根據(jù)相似性關(guān)系，計(jì)算第m列、第n行視差圖像中棋盤格標(biāo)定板角點(diǎn)a(x,y)、b(x,y)、c(x,y)和d(x,y)對(duì)應(yīng)的拓展系數(shù)ea(m,n)、eb(m,n)、ec(m,n)和ed(m,n)分別滿足：

（8）

（9）

（10）

（11）

利用相同的拓展系數(shù)計(jì)算方法，得到16×16的視差圖像序列對(duì)應(yīng)的校正拓展系數(shù)序列em×n：

（12）

其中，m∈{1,2,3,…,m}，n∈{1,2,3,…,n}。

所述視差圖像序列校正合成過程，首先，計(jì)算視差圖像最大校正拓展系數(shù)emax，emax為視差圖像校正拓展系數(shù)序列em×n中的最小值：

（13）

其中，min{*}為計(jì)算集合*的最小值，本實(shí)施例中，以第5列、第3行攝像機(jī)拍攝的視差圖像為例，emax=1.931。根據(jù)視差圖像最大校正拓展系數(shù)，計(jì)算每幅視差圖像最大拓展坐標(biāo)amax(x,y)、bmax(x,y)、cmax(x,y)和dmax(x,y)：

（14）

（15）

（16）

（17）

然后，根據(jù)集成成像三維顯示參數(shù)，確定校正后視差圖像的像素尺寸r×c。結(jié)合每幅視差圖像最大拓展坐標(biāo)amax(x,y)=(1013,331)、bmax(x,y)=(3839,503)、cmax(x,y)=(3443,2007)和dmax(x,y)=(975,1983)，基于單應(yīng)性變換原理，計(jì)算得到m×n幅視差圖像對(duì)應(yīng)的單應(yīng)性變換矩陣hm,n，hm,n表示為：

（18）

利用攝像機(jī)拍攝超大三維場景，第m列、第n行攝像機(jī)拍攝得到視差圖像為im,n(x,y)，利用對(duì)應(yīng)的單應(yīng)性變換矩陣hm,n，計(jì)算得到對(duì)應(yīng)的校正圖像i'm,n(x',y')，如附圖4所示，i'm,n(x',y')與im,n(x,y)滿足：

（19）

其中：

（20）

最后，根據(jù)集成成像三維顯示原理，將得到的校正圖像i'm,n(x',y')合成微圖像陣列，如附圖5所示。微圖像陣列輸入集成成像三維顯示器，便可以得到集成成像三維顯示效果。