本發(fā)明屬于任意連續(xù)曲面幕多投影顯示墻領(lǐng)域，具體是一種任意連續(xù)曲面幕多投影顯示墻的自動(dòng)幾何校正方法。

背景技術(shù)：

隨著多媒體數(shù)字展示、沉浸式娛樂和科學(xué)計(jì)算可視化等應(yīng)用領(lǐng)域?qū)Τ叻直媛曙@示平臺(tái)需求的日益增長(zhǎng)，通過多臺(tái)投影儀拼接實(shí)現(xiàn)的多投影顯示墻受到日益廣泛的關(guān)注。

傳統(tǒng)的大屏幕展示系統(tǒng)大多數(shù)是通過疊合若干CRT顯示屏或者LCD液晶板來構(gòu)建，無法輸出真正無縫的大尺寸畫面，而且不易于維護(hù)和擴(kuò)展。近年來，通過整合多臺(tái)投影儀的投射能力，多投影顯示墻較好地解決了上述問題。多投影顯示墻中的關(guān)鍵技術(shù)為輸出畫面的幾何校正和顏色校正，幾何校正是指通過投影儀投射某種易于識(shí)別和定位的圖形模式并使用攝像機(jī)捕獲投影畫面，然后對(duì)拍攝的圖片進(jìn)行識(shí)別和分析來求取投影儀預(yù)扭曲矩陣的過程。早期國(guó)內(nèi)外關(guān)于多投影顯示墻的幾何校正研究主要集中于平面投影幕的多投影顯示墻。

近年來，關(guān)于曲面幕多投影顯示墻的幾何校正成為相關(guān)領(lǐng)域的研究熱點(diǎn)。但是目前的研究主要針對(duì)特殊的曲面幕，比如球面幕、環(huán)幕等。對(duì)任意連續(xù)曲面幕缺少自動(dòng)幾何校正的方法。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中存在的上述技術(shù)問題，本發(fā)明提供了任意連續(xù)曲面幕多投影顯示墻的自動(dòng)幾何校正方法，包括如下步驟：

1)通過三維曲面拼接構(gòu)造一階幾何連續(xù)的理想顯示曲面R；

2)基于最大化利用投影儀的原始投影區(qū)域原則，進(jìn)行投影任務(wù)分配，并將理想顯示曲面R上的投影任務(wù)分配到不同的投影儀；

3)將對(duì)應(yīng)于每臺(tái)投影儀的曲面片進(jìn)行網(wǎng)格細(xì)分；

4)求解對(duì)應(yīng)于每臺(tái)投影儀的預(yù)扭曲矩陣，并實(shí)時(shí)進(jìn)行幾何校正。

進(jìn)一步的，步驟1)具體為：設(shè)相鄰兩臺(tái)投影儀的原始投影區(qū)域用四邊貝塞爾曲面表示為:

其中，u，v∈[0,1]，P_i,j(0≤i≤m，0≤j≤n)和Q_i,j(0≤i≤m，0≤j≤n)為對(duì)應(yīng)曲面的控制點(diǎn)，B_i,m(u)是m次Bernstein基函數(shù)，定義如式(6)，B_j,n(v)的定義與B_i,m(u)類似；

進(jìn)一步的，為了保證拼接后的曲面在u和v方向上的光滑連續(xù)，P_i,j和Q_i,j同時(shí)滿足有公共邊界和公共切平面兩個(gè)條件:

Q_u(0,v)＝α(v)P_u(1,v)+β(v)P_v(1,v)， (8)

其中α(v)為正常數(shù)，β(v)為v的線性函數(shù)。

進(jìn)一步的，步驟2)具體為：在三維曲面拼接的基礎(chǔ)上，使用德卡斯特里奧(De Casteljau)算法通過逐點(diǎn)遞推來計(jì)算每臺(tái)投影儀需要投影的曲面區(qū)域。

進(jìn)一步的，若為兩臺(tái)投影儀拼接，給定其中任意投影儀的投影曲面參數(shù)模型:

其中P_i,j(0≤i≤m，0≤j≤n)為控制點(diǎn)，u，v∈[0,1]，a∈[0,m]，b∈[0,n]。計(jì)算每臺(tái)投影儀的投影區(qū)域時(shí)，以本投影儀的原始投影區(qū)域的中心點(diǎn)為基礎(chǔ)，采用式(10)的遞推方法，求取所有的曲面點(diǎn)：

先沿著u坐標(biāo)軸方向，對(duì)n+1個(gè)控制點(diǎn)構(gòu)成的多邊形序列以u(píng)為參數(shù)應(yīng)用德卡斯特里奧算法，完成m步遞推后，可以得到沿著v軸方向的n+1個(gè)頂點(diǎn)構(gòu)成的多邊形M；然后再以v為參數(shù)對(duì)上述多邊形M應(yīng)用德卡斯特里奧算法，經(jīng)過n級(jí)遞推之后，即可得到一個(gè)新的投影曲面點(diǎn)，以此類推，可以獲得對(duì)應(yīng)于每臺(tái)投影儀的理想顯示曲面k為組成多投影系統(tǒng)的投影儀數(shù)量。

進(jìn)一步的，步驟(3)具體為：在步驟2)中得到的曲面片基礎(chǔ)上增加頂點(diǎn)的數(shù)量，使得曲面上每個(gè)子網(wǎng)格可以采用類似平面幕的方法進(jìn)行逼近，用離散曲率K表示曲面上任意頂點(diǎn)v的彎曲程度，定義如下:

其中v_j表示離散曲面上任意一個(gè)頂點(diǎn)v的最近鄰頂點(diǎn)；增加頂點(diǎn)的過程采用Loop細(xì)分方法，最終獲得對(duì)應(yīng)于每臺(tái)投影儀的細(xì)化理想顯示曲面

進(jìn)一步的，步驟4)具體為：在對(duì)應(yīng)于每i臺(tái)投影儀的細(xì)化理想顯示曲面中，針對(duì)每個(gè)三角形網(wǎng)格，利用其本身的三個(gè)頂點(diǎn)，以及至少2個(gè)相鄰節(jié)點(diǎn)，使用最小二乘法求取對(duì)應(yīng)的預(yù)扭曲矩陣M，最后采用與平面幕類似的方法對(duì)投影前緩沖區(qū)內(nèi)的對(duì)應(yīng)區(qū)域進(jìn)行預(yù)扭曲。

本發(fā)明針對(duì)任意連續(xù)曲面多投影顯示墻的通用自動(dòng)幾何校正方法，該方法在對(duì)兩個(gè)攝像機(jī)進(jìn)行標(biāo)定的基礎(chǔ)上，基于雙目視覺原理對(duì)投影幕布進(jìn)行三維重建來獲得投影幕的局部模型。然后求取從投影前畫面空間到三維投影幕布空間的映射關(guān)系，并按照最大化利用投影儀的原始投影區(qū)域的原則，計(jì)算每臺(tái)投影儀對(duì)應(yīng)的預(yù)扭曲矩陣來實(shí)現(xiàn)多投影顯示墻輸出畫面的自動(dòng)幾何校正。

附圖說明

圖1是投影幕三維重建示意圖；

圖2是預(yù)設(shè)規(guī)格的黑白格圖案；

圖3是投影幕的局部網(wǎng)格模型示意圖；

圖4是投影曲面拼接示意圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說明。

在對(duì)投影幕三維重建前，需要對(duì)所用的兩個(gè)攝像機(jī)進(jìn)行標(biāo)定從而獲得兩個(gè)攝像機(jī)的內(nèi)外參數(shù)。本申請(qǐng)采用小孔攝像機(jī)模型，計(jì)算對(duì)應(yīng)于每個(gè)攝像機(jī)的6個(gè)內(nèi)部參數(shù){f，k，Sx，Sy，Cx，Cy}和6個(gè)外部參數(shù){α，β，γ，Tx，Ty，Tz}，其中，f為焦距；k表示徑向畸變量級(jí)，如果κ為負(fù)值，畸變?yōu)橥靶突?，如果為正值，那畸變?yōu)檎硇突?。Sx，Sy是縮放比例因子，表示圖像傳感器上水平和垂直方向上相鄰像素之間的距離；Cx，Cy是圖像的主點(diǎn)，這個(gè)點(diǎn)是投影中心在成像平面上的垂直投影，同時(shí)也是徑向畸變的中心。T＝(Tx，Ty，Tz)是平移向量，R＝R(α，β，γ)是旋轉(zhuǎn)矩陣，(α,β,γ)分別是繞攝像機(jī)坐標(biāo)系x軸、y軸和z軸的旋轉(zhuǎn)角度。

如圖1所示，投影幕三維重建的基本思路是，在攝像機(jī)標(biāo)定的基礎(chǔ)上，使用兩只攝像機(jī)同步采集平鋪在投影幕正前方地面上的黑白格定標(biāo)地墊和投射在投影幕上的特定幾何圖案；然后識(shí)別采集到的圖像中的特征點(diǎn)并進(jìn)行三維重建；最后構(gòu)造投影幕的三維網(wǎng)格模型。其中所用的黑白格定標(biāo)地墊的作用主要是確定兩個(gè)攝像機(jī)的相對(duì)位置關(guān)系和建立唯一的公共世界坐標(biāo)系。另外，實(shí)際操作中，只需要對(duì)投影儀原始投影區(qū)域覆蓋的投影幕表面進(jìn)行三維重建，得到投影幕的局部模型，而忽略其它部分的投影幕。

本申請(qǐng)的任意連續(xù)曲面幕三維重建算法步驟如下:

輸入：兩個(gè)攝像機(jī)的內(nèi)外參數(shù)。

輸出：每臺(tái)投影儀原始投影區(qū)域的局部貝塞爾曲面模型。

1)通過兩個(gè)攝像機(jī)同步采集定標(biāo)地墊的圖像P1和P2。

每個(gè)攝像機(jī)至少采集到三分之二的定標(biāo)地墊，以確保有足夠的重疊區(qū)域。

2)根據(jù)圖像P1和P2，確定公共世界坐標(biāo)系。

為了簡(jiǎn)化計(jì)算過程，我們把攝像機(jī)1對(duì)應(yīng)的攝像機(jī)坐標(biāo)系設(shè)定為公共世界坐標(biāo)系，并重新調(diào)整兩個(gè)攝像機(jī)的外部參數(shù)。此時(shí)攝像機(jī)1的旋轉(zhuǎn)矩陣為單位陣，而平行向量為零向量。

3)通過每臺(tái)投影儀投射預(yù)設(shè)規(guī)格的黑白格圖案(如圖2所示)，并使用兩個(gè)攝像機(jī)同步進(jìn)行采集得到圖像P3和P4。

4)識(shí)別圖像P3和P4中的黑白格角點(diǎn)，得到一系列的對(duì)應(yīng)點(diǎn)三元組S1:{投影前圖像坐標(biāo)系下的點(diǎn)(x，y)；攝像機(jī)1坐標(biāo)系下的點(diǎn)(u1，v1)；攝像機(jī)2坐標(biāo)系下的點(diǎn)(u2，v2)}。

5)根據(jù)兩個(gè)攝像機(jī)的內(nèi)外參數(shù)，進(jìn)行三維重建，得到一系列對(duì)應(yīng)點(diǎn)二元組S2:{投影前圖像坐標(biāo)系下的平面點(diǎn)(x，y)；公共世界坐標(biāo)系下的空間點(diǎn)(X，Y，Z)}。

6)以二元組S2中公共世界坐標(biāo)系下的空間點(diǎn)集為型值點(diǎn)，采用德卡斯特里奧算法(De Castellan’s Algorithm)擬合出投影幕上對(duì)應(yīng)于每臺(tái)投影儀原始投影區(qū)域的局部貝塞爾曲面模型，如圖3所示。這里局部模型的精度取決于第(3)步所用黑白格圖案的預(yù)設(shè)規(guī)格(黑白格密度、相對(duì)尺寸等)，其張量積形式的定義為:

其中u，v∈[0,1]，P_ij(i＝0,1,...,m；j＝0,1,…,n)為使用德卡斯特里奧算法反求出來的(m+1)×(n+1)個(gè)控制點(diǎn)的位置矢量，B_i,m(u)和B_j,n(v)分別為m次和n次的Bernstein基函數(shù)。

在已經(jīng)建立對(duì)應(yīng)于每臺(tái)投影儀原始投影區(qū)域局部模型的基礎(chǔ)上，基于最大化利用投影儀投影區(qū)域的原則，設(shè)計(jì)了一種新穎的幾何校正方法。該方法摒棄了傳統(tǒng)幾何校正方法均勻分割投影任務(wù)的缺陷，允許組成投影系統(tǒng)的各臺(tái)投影儀根據(jù)自身能力投射不同尺寸的投影畫面，從而最大化地利用實(shí)際投影區(qū)域。

廣義幾何變換函數(shù)

投影儀的廣義幾何變換函數(shù)是指從投影儀緩沖區(qū)的圖像空間(u，v)到特定三維投影曲面空間(x，y，z)的映射關(guān)系，定義為:

f(x,y,z)＝F(u,v), (2)

通常情況下，由于投影儀鏡頭的非線性扭曲影響和投影曲面的復(fù)雜性，式(2)為非線性的，不能用仿射變換來描述。但是，當(dāng)投影幕的三維網(wǎng)格模型足夠精細(xì)時(shí),每個(gè)網(wǎng)格單元內(nèi)的廣義幾何變換可以用一個(gè)仿射變換來逼近，如式(3)所示。其中的M是4*3的矩陣，可以用每個(gè)網(wǎng)格單元的4個(gè)頂點(diǎn)以及8個(gè)鄰居節(jié)點(diǎn)的對(duì)應(yīng)數(shù)據(jù)來求解M。最終得到對(duì)應(yīng)于每臺(tái)投影儀的一組仿射變換矩陣:

自動(dòng)幾何校正算法

在投影儀廣義幾何變換函數(shù)的基礎(chǔ)上，本申請(qǐng)的自動(dòng)幾何校正算法流程包括理想輸出畫面的三維曲面拼接、投影任務(wù)的分配以及每臺(tái)投影儀預(yù)扭曲矩陣集的計(jì)算等幾個(gè)過程。具體算法步驟如下:

輸入：每臺(tái)投影儀的廣義幾何變換函數(shù)。

輸出：每臺(tái)投影儀的預(yù)扭曲矩陣集。

1)通過三維曲面拼接構(gòu)造一階幾何連續(xù)的理想顯示曲面R。

設(shè)相鄰兩臺(tái)投影儀的原始投影區(qū)域用四邊貝塞爾曲面表示為:

其中，u，v∈[0,1]，P_i,j(0≤i≤m，0≤j≤n)和Q_i,j(0≤i≤m，0≤j≤n)為對(duì)應(yīng)曲面的控制點(diǎn)，B_i,m(u)是m次Bernstein基函數(shù)，定義如式(6)，B_j,n(v)的定義與B_i,m(u)類似。

如圖4所示，為了保證拼接后的曲面在u和v方向上的光滑連續(xù)，P_i,j和Q_i,j需要同時(shí)滿足有公共邊界和公共切平面兩個(gè)條件:

Q_u(0,v)＝α(v)P_u(1,v)+β(v)P_v(1,v)， (8)

其中α(v)為正常數(shù)，β(v)為v的線性函數(shù)。

2)基于最大化利用投影儀的原始投影區(qū)域的原則，進(jìn)行投影任務(wù)分配，并將理想顯示曲面R上的投影任務(wù)分配到不同的投影儀。為軟件實(shí)現(xiàn)的多投影拼接中，無法擴(kuò)展每臺(tái)投影儀的原始投影區(qū)域，因此，平面幕多投影系統(tǒng)的幾何校正通常是在公共投影區(qū)域內(nèi)尋找一個(gè)最大內(nèi)嵌矩形。但是在任意連續(xù)曲面幕的幾何校正中，投影面是三維的，而且形狀通常比較復(fù)雜，難以采用類似平面幕的方法實(shí)現(xiàn)幾何校正。本申請(qǐng)?jiān)谌S曲面拼接的基礎(chǔ)上，使用德卡斯特里奧(DeCasteljau)算法通過逐點(diǎn)遞推來計(jì)算每臺(tái)投影儀需要投影的曲面區(qū)域。

以兩臺(tái)投影儀拼接為例，給定其中任意投影儀的投影曲面參數(shù)模型:

其中P_i,j(0≤i≤m，0≤j≤n)為控制點(diǎn)，u，v∈[0,1]，a∈[0,m]，b∈[0,n]。計(jì)算每臺(tái)投影儀的投影區(qū)域時(shí)，以本投影儀的原始投影區(qū)域的中心點(diǎn)為基礎(chǔ)，采用式(10)的遞推方法，求取所有的曲面點(diǎn)。

具體講，先沿著u坐標(biāo)軸方向，對(duì)n+1個(gè)控制點(diǎn)構(gòu)成的多邊形序列以u(píng)為參數(shù)應(yīng)用德卡斯特里奧算法，完成m步遞推后，可以得到沿著v軸方向的n+1個(gè)頂點(diǎn)構(gòu)成的多邊形M；然后再以v為參數(shù)對(duì)上述多邊形M應(yīng)用德卡斯特里奧算法，經(jīng)過n級(jí)遞推之后，即可得到一個(gè)新的投影曲面點(diǎn)。以此類推，可以獲得對(duì)應(yīng)于每臺(tái)投影儀的理想顯示曲面k為組成多投影系統(tǒng)的投影儀數(shù)量。

3)將對(duì)應(yīng)于每臺(tái)投影儀的曲面片進(jìn)行網(wǎng)格細(xì)分，從而簡(jiǎn)化幾何校正流程。本方法是在第(2)步中得到的曲面片基礎(chǔ)上增加頂點(diǎn)的數(shù)量，使得曲面上每個(gè)子網(wǎng)格可以采用類似平面幕的方法進(jìn)行逼近。用離散曲率K表示曲面上任意頂點(diǎn)v的彎曲程度，定義如下:

其中v_j表示離散曲面上任意一個(gè)頂點(diǎn)v的最近鄰頂點(diǎn)。增加頂點(diǎn)的過程采用Loop細(xì)分方法，最終獲得對(duì)應(yīng)于每臺(tái)投影儀的細(xì)化理想顯示曲面

4)求解對(duì)應(yīng)于每臺(tái)投影儀的預(yù)扭曲矩陣，并實(shí)時(shí)進(jìn)行幾何校正。

在對(duì)應(yīng)于每i臺(tái)投影儀的細(xì)化理想顯示曲面中，針對(duì)每個(gè)三角形網(wǎng)格，利用其本身的三個(gè)頂點(diǎn)，以及至少2個(gè)相鄰節(jié)點(diǎn)，使用最小二乘法求取對(duì)應(yīng)的預(yù)扭曲矩陣M。最后采用與平面幕類似的方法對(duì)投影前緩沖區(qū)內(nèi)的對(duì)應(yīng)區(qū)域進(jìn)行預(yù)扭曲。

實(shí)施例

實(shí)驗(yàn)平臺(tái)采用1臺(tái)主機(jī)，1臺(tái)MVD206六屏擴(kuò)展儀，6臺(tái)分辨率為1024X768的EPSON LCD投影儀，2只1080P的HIKVISION網(wǎng)絡(luò)攝像機(jī)，高清灰軟弧形幕布和易折疊灰色軟幕布各1塊以及1張黑白格定標(biāo)地墊。其中的主機(jī)配置為:Intel酷睿i7 6700K處理器，8G內(nèi)存，Quadro K2000顯卡。

本申請(qǐng)?jiān)O(shè)計(jì)了兩個(gè)實(shí)驗(yàn)分別對(duì)本文幾何校正算法的性能進(jìn)行測(cè)試和分析。性能比較時(shí)采用了平均局部誤差(Average Local Error)、平均全局誤差(Average Global Error)和平均耗時(shí)三個(gè)技術(shù)指標(biāo)。

環(huán)幕幾何校正的結(jié)果比較

本實(shí)驗(yàn)采用2X3投影儀陣列投射高密度網(wǎng)格，投影幕布為直徑3m、高2m的高清灰軟弧形幕。

為了定量分析本申請(qǐng)?zhí)岢龅膸缀涡Ｕ椒ǖ木?，分別采用Michael Harville,Bruce Culbertson,Irwin Sobel,et al.Practical Methods for Geometric and Photometric Correction of Tiled Projector Displays on Curved Surfaces[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops 2006,Washington D C:IEEE Computer Society Press,2006:51-58(第一方法)、B.Sajadi,A.Majumder.Auto-calibration of cylindrical multi-projector systems[C]//Proceedings of IEEE Virtual Reality Conference 2010,Washington D C:IEEE Computer Society Press,2010:155-162(第二方法)和本申請(qǐng)的算法進(jìn)行了幾何校正測(cè)試，并從平均局部誤差、平均全局誤差和平均耗時(shí)三方面進(jìn)行了比較，其結(jié)果如表1所示。

表1幾種幾何校正方法的性能比較

從表1中可以看出，本申請(qǐng)方法的幾何校正誤差明顯低于第一方法和第二方法發(fā)中的對(duì)應(yīng)方法，尤其是平均全局誤差方面優(yōu)勢(shì)更加明顯。這是由于本申請(qǐng)的算法在完成三維曲面拼接和投影任務(wù)分配之后，對(duì)每臺(tái)投影儀的理想投影曲面進(jìn)一步執(zhí)行網(wǎng)格細(xì)分的緣故。同樣從表1可以看出，本文方法的平均耗時(shí)要高于另外兩種方法。這是由于本文算法執(zhí)行中涉及計(jì)算相對(duì)復(fù)雜的三維曲面自動(dòng)拼接造成的。但是在實(shí)際應(yīng)用中，因?yàn)閹缀涡Ｕ^程是離線完成的，相對(duì)較高的平均耗時(shí)對(duì)多投影系統(tǒng)的正常運(yùn)行并不會(huì)產(chǎn)生負(fù)面影響。

一般連續(xù)曲面幕的幾何校正

為了進(jìn)一步對(duì)本申請(qǐng)的算法進(jìn)行驗(yàn)證，本實(shí)驗(yàn)將易折疊灰色軟幕布支撐為不規(guī)則的一般連續(xù)曲面形狀，并設(shè)置四種不同的投影儀陣列進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如表2所示。

表2本申請(qǐng)的方法在不同環(huán)境下的性能比較

從表2可以看出，隨著投影儀數(shù)量的增加，平均全局誤差和平均局部誤差均有所增大,這主要是由于實(shí)驗(yàn)所用網(wǎng)絡(luò)攝像機(jī)分辨率的有限性造成。隨著總投影畫面的增大，每次拍攝校正特征圖案時(shí)，會(huì)造成照片分辨率的相對(duì)降低。解決這個(gè)問題的辦法是提高網(wǎng)絡(luò)攝像機(jī)的分辨率，或者采用類似文獻(xiàn)[4]中的方法:多次拍攝并進(jìn)行照片拼接。另外，表2也顯示了隨著投影儀數(shù)量的增加，平均耗時(shí)有比較明顯的增加，這是由于硬件和算法兩方面的原因造成。硬件方面，隨著投影儀數(shù)量的增加，所用主機(jī)需要消耗更多的資源處理圖像生成和顯示，因此會(huì)在一定程度上影響幾何校正算法的運(yùn)行速度；另一方面，投影儀數(shù)量的增多，會(huì)產(chǎn)生更多的相鄰區(qū)域，從而增加三維曲面拼接消耗的時(shí)間。這一類問題可以通過提升所用主機(jī)的硬件配置，或者采用多臺(tái)主機(jī)的級(jí)聯(lián)來解決。