專利名稱：立體視頻的采集系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，特別涉及一種立體視頻的采集系統(tǒng)及方法。
背景技術(shù)：
立體視頻是描述三維世界的一種新型方式，不僅包含了傳統(tǒng)2D視頻的關(guān)于場(chǎng)景的表面信息，而且包含了與場(chǎng)景具體位置相關(guān)的三維(立體)信息。與傳統(tǒng)的2D視頻相比，立體視頻是一種更有效、更真實(shí)的表達(dá)方式，并逐漸應(yīng)用到娛樂廣告、教育醫(yī)療等多個(gè)方面。近幾十年來，顯示器技術(shù)的成熟為立體產(chǎn)業(yè)的發(fā)展創(chuàng)造了條件，但立體片源的缺乏卻成為立體產(chǎn)業(yè)進(jìn)一步發(fā)展的瓶頸。作為立體片源獲取的重要方式，立體視頻采集技術(shù)已越來越受到人們的關(guān)注。立體采集系統(tǒng)主要分為雙目和多目采集系統(tǒng)。前者一般由兩個(gè)2D相機(jī)組成，同時(shí)拍攝左、右兩路視頻并經(jīng)過分析和處理，通過兩視點(diǎn)立體顯示器顯示，可通過佩戴特殊的眼鏡觀看。后者是由多個(gè)2D相機(jī)按一定方式(例如線性、平面或環(huán)形等)排列而成，根據(jù)多相機(jī)拍攝的多方位場(chǎng)景圖像，能重建場(chǎng)景的3D圖像，并通過多視點(diǎn)自由立體顯示器進(jìn)行顯示，可“裸眼”觀看。為了能正確的生成立體視頻，兩種系統(tǒng)均需要對(duì)采集圖像進(jìn)行處理，主要包括相機(jī)幾何標(biāo)定、幾何校正及立體視圖合成等。其中，通過幾何標(biāo)定，可獲得各相機(jī)的內(nèi)參矩陣， 外參矩陣，外參矩陣包括旋轉(zhuǎn)矩陣和平移向量；通過幾何校正，可將各視角的原始圖像校正到同一虛擬平面上，且空間點(diǎn)在各虛擬圖像上的投影點(diǎn)不存在垂直方向的像素偏移，從而更符合視覺感知；立體視圖合成需根據(jù)顯示器的顯示方式將各視角平面視圖的像素按規(guī)律重排，生成能在立體顯示器上正確觀看的立體視圖。在對(duì)現(xiàn)有技術(shù)進(jìn)行分析后，發(fā)現(xiàn)現(xiàn)有技術(shù)存在以下問題(1)為了更好的采集立體視頻，通常需要對(duì)2D相機(jī)的高度、旋轉(zhuǎn)角度和間距等姿態(tài)進(jìn)行手動(dòng)調(diào)整，從而有助于達(dá)到更好的立體感知效果，而現(xiàn)有的雙目或多目采集系統(tǒng)或?qū)?D相機(jī)集成于一個(gè)裝置之內(nèi)， 或僅能完成相機(jī)個(gè)別維度的調(diào)整，靈活性較差。( 國(guó)內(nèi)外的多目系統(tǒng)，多需連接多臺(tái)采集服務(wù)器，而服務(wù)器間的通信比較繁瑣和耗時(shí)，并且拍攝的視頻序列離線進(jìn)行幾何校正。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一。為達(dá)到上述目的，本發(fā)明一方面提出一種立體視頻的采集系統(tǒng)，包括采集設(shè)備， 所述采集設(shè)備包括多個(gè)2D相機(jī)和多個(gè)姿態(tài)調(diào)整裝置，每個(gè)所述2D相機(jī)對(duì)應(yīng)一個(gè)所述姿態(tài)調(diào)整裝置，多個(gè)所述2D相機(jī)線性排布，用于拍攝平面視頻圖像；微控制器，所述微控制器通過每個(gè)所述2D相機(jī)的通用輸入輸出口與所述采集設(shè)備相連，用于向多個(gè)所述2D相機(jī)發(fā)送脈沖信號(hào)以控制多個(gè)所述2D相機(jī)以預(yù)定的幀頻同步拍攝平面視頻圖像；采集服務(wù)器，所述采集服務(wù)器通過每個(gè)所述2D相機(jī)的數(shù)據(jù)口與所述采集設(shè)備相連，用于獲取多個(gè)所述2D相機(jī)拍攝的平面視頻圖像，并對(duì)多個(gè)所述2D相機(jī)進(jìn)行幾何標(biāo)定，及對(duì)多個(gè)所述2D相機(jī)拍攝的平面視頻圖像進(jìn)行實(shí)時(shí)幾何校正和立體圖像合成；以及立體顯示設(shè)備，與所述采集服務(wù)器相連，用于接收所述采集服務(wù)器合成的立體圖像并進(jìn)行立體顯示。在本發(fā)明的一個(gè)實(shí)施例中，所述采集服務(wù)器包括相機(jī)幾何標(biāo)定模塊，用于標(biāo)定每個(gè)所述2D相機(jī)的參數(shù)矩陣，其中，所述參數(shù)矩陣包括旋轉(zhuǎn)矩陣&、平移向量Tn和內(nèi)參矩陣 Kn ；相機(jī)虛擬參數(shù)計(jì)算模塊，用于根據(jù)每個(gè)所述2D相機(jī)標(biāo)定的參數(shù)矩陣獲得虛擬參數(shù)矩陣， 其中，所述虛擬參數(shù)包括虛擬基線方向f、虛擬光心位置《、虛擬旋轉(zhuǎn)矩陣式、虛擬平移向量t和虛擬內(nèi)參矩陣玄 ；像素對(duì)應(yīng)表確定模塊，用于分別根據(jù)所述參數(shù)矩陣Kn，Rn, Tn和所述虛擬參數(shù)矩陣確定每個(gè)所述2D相機(jī)拍攝的平面視頻圖像像素點(diǎn)和校正后平面視頻圖像像素點(diǎn)成一一映射關(guān)系的像素對(duì)應(yīng)表；實(shí)時(shí)幾何校正模塊，用于根據(jù)所述像素對(duì)應(yīng)表分別對(duì)每個(gè)所述2D相機(jī)拍攝的平面視頻圖像進(jìn)行實(shí)時(shí)幾何，獲得校正后的η視角平面視頻圖像，其中η為所述2D相機(jī)的個(gè)數(shù)；以及立體圖合成模塊，用于根據(jù)所述校正后的η視角平面視頻圖像合成立體圖像。在本發(fā)明的一個(gè)實(shí)施例中，所述像素對(duì)應(yīng)表確定模塊進(jìn)一步用于根據(jù)所述參數(shù)矩陣κη，Rn, Tn和所述虛擬參數(shù)矩陣獲得多組空間點(diǎn)W在各視角η上的第一投影坐標(biāo)也和第二投影坐標(biāo)^ ；根據(jù)多組所述第一投影坐標(biāo)禮和第二投影坐標(biāo)<獲得透視變換矩陣Hn ；根據(jù)所述透視變換矩陣Hn獲得每個(gè)所述2D相機(jī)拍攝的平面視頻圖像像素點(diǎn)和校正后平面視頻圖像像素點(diǎn)的成一一映射的像素對(duì)應(yīng)表。在本發(fā)明的一個(gè)實(shí)施例中，所述實(shí)時(shí)幾何校正模塊進(jìn)一步用于根據(jù)每個(gè)所述2D 相機(jī)拍攝的平面視頻圖像的當(dāng)前位置像素點(diǎn)在所述像素對(duì)應(yīng)表找到所對(duì)應(yīng)的校正后的平面視頻圖像的像素點(diǎn)，并將所述校正后的平面視頻圖像的像素點(diǎn)的RGB顏色值賦給所述當(dāng)前位置像素點(diǎn)，如果所述校正后的平面視頻圖像的像素點(diǎn)不為整數(shù)，則采用最近鄰插值方法找到離所述當(dāng)前位置最近的整數(shù)坐標(biāo)點(diǎn)，并將所述整數(shù)坐標(biāo)點(diǎn)的像素點(diǎn)RGB顏色值賦給所述當(dāng)前位置像素點(diǎn)。在本發(fā)明的一個(gè)實(shí)施例中，所述像素對(duì)應(yīng)表計(jì)算模塊還包括相機(jī)姿態(tài)變化判斷單元，用于判斷每個(gè)所述2D相機(jī)的姿態(tài)是否發(fā)生變換，如果所述2D相機(jī)的姿態(tài)發(fā)生變換， 則重新計(jì)算所述像素對(duì)應(yīng)表。在本發(fā)明的一個(gè)實(shí)施例中，所述幀頻為25幀每秒(fps)，則所述脈沖信號(hào)的高或低電平以約40毫秒為周期。根據(jù)本發(fā)明實(shí)施例的立體視頻的采集系統(tǒng)，具有以下的優(yōu)點(diǎn)(1)根據(jù)采集設(shè)備的多個(gè)2D相機(jī)及其對(duì)應(yīng)的多個(gè)姿態(tài)調(diào)整裝置，可以實(shí)現(xiàn)各個(gè)2D相機(jī)的高度、旋轉(zhuǎn)角度和間距等姿態(tài)的自由調(diào)整，增加采集系統(tǒng)的靈活性，有助于達(dá)到更好的立體感知效果；(2)通過微控制器可以有效地控制多個(gè)2D相機(jī)以恒定的幀率同步、穩(wěn)定地采集視頻圖像；C3)用一臺(tái)采集服務(wù)器連接所有的2D相機(jī)，數(shù)據(jù)處理方便，并采用優(yōu)化后的幾何校正及立體圖合成方法，可以實(shí)時(shí)地進(jìn)行立體顯示，達(dá)到良好的立體感知效果，為所有以實(shí)時(shí)高清立體直播為基礎(chǔ)的應(yīng)用創(chuàng)造了條件。為達(dá)到上述目的，本發(fā)明另一方面還提出一種立體視頻的采集方法，包括以下步驟S1 對(duì)預(yù)定的多個(gè)2D相機(jī)進(jìn)行幾何標(biāo)定，獲得每個(gè)所述2D相機(jī)的參數(shù)矩陣；S2 根據(jù)每個(gè)所述2D相機(jī)的參數(shù)矩陣獲得虛擬參數(shù)矩陣；S3 分別根據(jù)所述參數(shù)矩陣和所述虛擬參數(shù)矩陣分別計(jì)算每個(gè)所述2D相機(jī)平面視頻圖像像素點(diǎn)與校正后的平面視頻圖像像素點(diǎn)成一一映射關(guān)系的像素對(duì)應(yīng)表；S4 根據(jù)所述像素對(duì)應(yīng)表分別對(duì)每個(gè)所述2D相機(jī)拍攝的平面視頻圖像進(jìn)行實(shí)時(shí)幾何，獲得校正后的η視角平面視頻圖像，其中η為所述2D相機(jī)的個(gè)數(shù)； 以及S5 根據(jù)所述校正后的η視角圖像合成立體圖，并進(jìn)行立體顯示。在本發(fā)明的一個(gè)實(shí)施例中，所述步驟S3進(jìn)一步包括S31 根據(jù)所述參數(shù)矩陣Kn， Rn, Tn和所述虛擬參數(shù)矩陣it t獲得多組空間點(diǎn)W在各視角η上的第一投影坐標(biāo)也和第二投影坐標(biāo)疋；S32 根據(jù)多組所述第一投影坐標(biāo)也和第二投影坐標(biāo)<獲得透視變換矩陣 Hn ；以及S33 根據(jù)所述透視變換矩陣Hn獲得每個(gè)所述2D相機(jī)拍攝的平面視頻圖像像素點(diǎn)和校正后平面視頻圖像像素點(diǎn)的成一一映射的像素對(duì)應(yīng)表。在本發(fā)明的一個(gè)實(shí)施例中，所述步驟S5進(jìn)一步包括根據(jù)每個(gè)所述2D相機(jī)拍攝的平面視頻圖像的當(dāng)前位置像素點(diǎn)在所述像素對(duì)應(yīng)表找到所對(duì)應(yīng)的校正后的平面視頻圖像的像素點(diǎn)，并將所述校正后的平面視頻圖像的像素點(diǎn)的RGB顏色值賦給所述當(dāng)前位置像素點(diǎn)，如果所述校正后的平面視頻圖像的像素點(diǎn)不為整數(shù)，則采用最近鄰插值方法找到離所述當(dāng)前位置最近的整數(shù)坐標(biāo)點(diǎn)，并將所述整數(shù)坐標(biāo)點(diǎn)的像素點(diǎn)RGB顏色值賦給所述當(dāng)前位置像素點(diǎn)。在本發(fā)明的一個(gè)實(shí)施例中，在所述步驟S5之前還包括判斷每個(gè)所述2D相機(jī)的姿態(tài)是否發(fā)生變換，如果所述2D相機(jī)的姿態(tài)發(fā)生變換，則重新計(jì)算所述像素對(duì)應(yīng)表。在本發(fā)明的一個(gè)實(shí)施例中，所述方法還包括向每個(gè)所述2D相機(jī)發(fā)送脈沖信號(hào)以控制每個(gè)所述2D相機(jī)以預(yù)定的幀頻同步拍攝平面視頻。在本發(fā)明的一個(gè)實(shí)施例中，所述幀頻為25幀每秒(fps)，則所述脈沖信號(hào)的高或低電平以約40毫秒為周期。根據(jù)本發(fā)明實(shí)施例的立體視頻的采集方法，可以有效地控制多個(gè)2D相機(jī)以恒定的幀率同步、穩(wěn)定地采集視頻圖像，并且數(shù)據(jù)處理方便，并采用優(yōu)化后的幾何校正及立體圖合成方法，可以實(shí)時(shí)的進(jìn)行立體顯示，達(dá)到良好的立體感知效果。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中圖1為本發(fā)明一方面實(shí)施例的立體視頻的采集系統(tǒng)的示意圖；圖2為本發(fā)明一個(gè)實(shí)施例的立體視頻的采集系統(tǒng)的結(jié)構(gòu)圖；圖3為本發(fā)明一個(gè)實(shí)施例的采集服務(wù)器的示意圖；圖4為本發(fā)明一個(gè)實(shí)施例的計(jì)算虛擬基線方向和虛擬光心位置的示意圖；以及圖5為本發(fā)明另一方面實(shí)施例的立體視頻的采集方法的流程圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。其中，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。圖1為本發(fā)明一方面實(shí)施例的立體視頻的采集系統(tǒng)的示意圖，圖2為本發(fā)明一個(gè)實(shí)施例的立體視頻的采集系統(tǒng)的結(jié)構(gòu)圖。下面結(jié)合圖1和圖2說明本發(fā)明實(shí)施例的采集系統(tǒng)。如圖1和圖2所示，根據(jù)本發(fā)明實(shí)施例的立體視頻的采集系統(tǒng)，包括采集設(shè)備100、 微控制器200、采集服務(wù)器300和立體顯示設(shè)備400。采集設(shè)備100包括多個(gè)2D相機(jī)13和多個(gè)姿態(tài)調(diào)整裝置20，每個(gè)2D相機(jī)13對(duì)應(yīng)一個(gè)姿態(tài)調(diào)整裝置20，多個(gè)2D相機(jī)13線性排布，用于拍攝平面視頻圖像。微控制器200通過每個(gè)2D相機(jī)13的通用輸入輸出口 GPIO (General Purpose Input Output)與采集設(shè)備 100相連，用于向多個(gè)2D相機(jī)13發(fā)送脈沖信號(hào)以控制多個(gè)2D相機(jī)13以預(yù)定的幀頻同步拍攝平面視頻圖像，其中，幀頻可為25幀每秒(fps)，脈沖信號(hào)的高或低電平以約40毫秒為周期。采集服務(wù)器300通過每個(gè)2D相機(jī)13的數(shù)據(jù)口與采集設(shè)備100相連，用于獲取多個(gè)2D相機(jī)13拍攝的平面視頻圖像，并對(duì)多個(gè)2D相機(jī)13進(jìn)行幾何標(biāo)定，以及對(duì)多個(gè)2D相機(jī)13拍攝的平面視頻圖像進(jìn)行實(shí)時(shí)幾何校正和立體圖像合成。在本發(fā)明的一個(gè)實(shí)施例中，采集服務(wù)器300通過4張1394b雙總線采集卡(PCI_e xl接口，一種總線結(jié)構(gòu)，圖中未示出)與每個(gè)2D相機(jī)13的數(shù)據(jù)口 15相連，其中，每張采集卡能達(dá)到160MB/S的帶寬，可連接2臺(tái)2D相機(jī)13。立體顯示設(shè)備400與采集服務(wù)器300相連，用于接收采集服務(wù)器300合成的立體圖像并進(jìn)行立體顯示。其中，2D相機(jī)13的數(shù)目由立體顯示設(shè)備400的視角數(shù)決定。在本發(fā)明的一個(gè)實(shí)施例中，一個(gè)姿態(tài)調(diào)整裝置20包括光具座1、滑動(dòng)座3、微型旋轉(zhuǎn)臺(tái)5、升降桿座8和接桿11。其中，光具座1做支撐，下方有連接三角架的螺紋孔，可固定在三角架上，也可固定在桌面；上方固定刻度尺2，可放置滑動(dòng)座3?；瑒?dòng)座3可在光具座1 上延X方向滑動(dòng)及用滑動(dòng)鎖定鈕4鎖定，用以粗調(diào)2D相機(jī)13的水平位置，上端固定微型旋轉(zhuǎn)臺(tái)5。微型旋轉(zhuǎn)臺(tái)5用以控制其上裝置以Y方向?yàn)檩S旋轉(zhuǎn)，從而調(diào)整2D相機(jī)的旋轉(zhuǎn)角度， 包括粗調(diào)旋轉(zhuǎn)臺(tái)19、螺旋測(cè)微頭6及旋轉(zhuǎn)鎖定鈕7。升降桿座8固定在粗調(diào)旋轉(zhuǎn)臺(tái)19上， 上端圓柱孔內(nèi)放置連接相機(jī)的接桿。接桿延Y方向滑動(dòng)可粗調(diào)相機(jī)高度，并用粗調(diào)升降鎖定鈕12鎖定；細(xì)調(diào)升降件10以Y方向?yàn)檩S旋轉(zhuǎn)可細(xì)調(diào)相機(jī)高度，并用細(xì)調(diào)升降鎖定鈕9鎖定。圖3為本發(fā)明實(shí)施例的采集服務(wù)器的示意圖。如圖3所示，在本發(fā)明的一個(gè)實(shí)施例中，采集服務(wù)器300包括相機(jī)幾何標(biāo)定模塊310、相機(jī)虛擬參數(shù)計(jì)算模塊320、像素對(duì)應(yīng)表確定模塊330、實(shí)時(shí)幾何校正模塊340和立體圖合成模塊350。相機(jī)幾何標(biāo)定模塊310用于標(biāo)定每個(gè)2D相機(jī)13的參數(shù)矩陣，其中，參數(shù)矩陣包括旋轉(zhuǎn)矩陣1^、平移向量Tn和內(nèi)參矩陣κη。具體地，相機(jī)幾何標(biāo)定模塊可通過張正友幾何標(biāo)定法獲得每個(gè)2D相機(jī)13的參數(shù)矩陣，亦可通過開源函數(shù)庫OpenCV (Open Source Computer Vision Library，開源計(jì)算機(jī)視覺庫)的相應(yīng)函數(shù)獲得每個(gè)2D相機(jī)13的參數(shù)矩陣?？臻g坐標(biāo)W向平面齊次坐標(biāo)#的投影方程w = K[R I T]W = KR[I | -C]W ,
其中，表示成比例關(guān)系，C為光心坐標(biāo)，與平移向量T的關(guān)系為T =-RC。相機(jī)虛擬參數(shù)計(jì)算模塊320用于根據(jù)每個(gè)2D相機(jī)13標(biāo)定的參數(shù)矩陣獲得虛擬參數(shù)矩陣，其中，虛擬參數(shù)包括虛擬基線方向f、虛擬光心位置《、虛擬旋轉(zhuǎn)矩陣瓦、虛擬平移向量之和虛擬內(nèi)參矩陣之。圖4為本發(fā)明實(shí)施例的計(jì)算虛擬基線方向f和虛擬光心位置的示意圖。如圖4 所示，在本發(fā)明的一個(gè)實(shí)施例中，以4個(gè)光心為例計(jì)算虛擬基線方向i、虛擬光心位置。首先，計(jì)算獲得所有相機(jī)的原光心Cn(n = 1，2，3，4)，然后將相鄰位置的兩個(gè)光心連接，求取連線中點(diǎn)，獲得3個(gè)連線中點(diǎn)，再將3個(gè)連線中點(diǎn)的相鄰兩點(diǎn)連接，求連線中點(diǎn)，獲得2個(gè)連線中點(diǎn)，連接這2個(gè)中點(diǎn)獲得到虛擬基線方向f ,這里需保證f軾>0 ,即虛擬基線方向f與原基線方向X夾角為銳角，否則將f反向。應(yīng)理解的是，本實(shí)施例以4個(gè)光心為例說明虛擬基線方向1的計(jì)算方法，多個(gè)光心的虛擬基線方向1計(jì)算方法與本實(shí)施例的計(jì)算方法類似。在本發(fā)明的一個(gè)實(shí)施例中，虛擬光心的位置《由(；及文決定。將原C1和Cn分別向 f上投影，垂足即為A和再將兩點(diǎn)間的線段等距分為N-I段，則端點(diǎn)依次為02、( 、…、 C在本發(fā)明的一個(gè)實(shí)施例中，所有2D相機(jī)13的虛擬旋轉(zhuǎn)矩陣瓦應(yīng)保持一致，記為 R?，F(xiàn)選取所有&的4方向的平均方向根據(jù)平均方向之和虛擬基線方向f計(jì)算虛擬f方向?yàn)椴娣eZxf,再根據(jù)虛擬基線方向f和虛擬f方向計(jì)算虛擬光軸方向i為叉積Ixf。則夂=力=[之}^ if,并保持三個(gè)方向兩兩垂直。在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)虛擬平移向量f 與虛擬旋轉(zhuǎn)矩陣&、虛擬光心的位置《的關(guān)系可得到虛擬平移向量f = -RnCn。在本發(fā)明的一個(gè)實(shí)施例中，計(jì)算虛擬內(nèi)參矩陣的過程如下，首先，內(nèi)參矩陣K公式表示如下，
fu r K= 0 Zv V0 ,
0 0 1其中，fu，fv分別為圖像坐標(biāo)軸U，ν方向的尺度因子，Y反映兩坐標(biāo)軸的偏斜角，(Utl, Vtl)為圖像主點(diǎn)坐標(biāo)。使所有相機(jī)的虛擬內(nèi)參矩陣之保持一致，記為犮。取兌的 / =/v=max{/ ,/vJ, f = 0,(‘化)為所有(uQn，VJ 平均值，從而獲得，
λ 0 0Kn=K= 0 I V0
0 0 1像素對(duì)應(yīng)表確定模塊330用于分別根據(jù)參數(shù)矩陣Κη，Rn, Tn和虛擬參數(shù)矩陣 itt確定每個(gè)2D相機(jī)13拍攝的平面視頻圖像像素點(diǎn)和校正后平面視頻圖像像素
點(diǎn)成一一映射關(guān)系的像素對(duì)應(yīng)表。具體地，首先根據(jù)參數(shù)矩陣Kn，Rn, Tn和虛擬參數(shù)矩陣之Λ, 獲得多組空間點(diǎn)W在各視角η上的第一投影坐標(biāo)也和第二投影坐標(biāo)<，其中，
9
權(quán)利要求
1.一種立體視頻的采集系統(tǒng)，其特征在于，包括采集設(shè)備，所述采集設(shè)備包括多個(gè)2D相機(jī)和多個(gè)姿態(tài)調(diào)整裝置，每個(gè)所述2D相機(jī)對(duì)應(yīng)一個(gè)所述姿態(tài)調(diào)整裝置，多個(gè)所述2D相機(jī)線性排布，用于拍攝平面視頻圖像；微控制器，所述微控制器通過每個(gè)所述2D相機(jī)的通用輸入輸出口與所述采集設(shè)備相連，用于向多個(gè)所述2D相機(jī)發(fā)送脈沖信號(hào)以控制多個(gè)所述2D相機(jī)以預(yù)定的幀頻同步拍攝平面視頻圖像；采集服務(wù)器，所述采集服務(wù)器通過每個(gè)所述2D相機(jī)的數(shù)據(jù)口與所述采集設(shè)備相連，用于獲取多個(gè)所述2D相機(jī)拍攝的平面視頻圖像，并對(duì)多個(gè)所述2D相機(jī)進(jìn)行幾何標(biāo)定，及對(duì)多個(gè)所述2D相機(jī)拍攝的平面視頻圖像進(jìn)行實(shí)時(shí)幾何校正和立體圖像合成；以及立體顯示設(shè)備，與所述采集服務(wù)器相連，用于接收所述采集服務(wù)器合成的立體圖像并進(jìn)行立體顯示。
2.根據(jù)權(quán)利要求1所述的立體視頻的采集系統(tǒng)，其特征在于，所述采集服務(wù)器進(jìn)一步包括相機(jī)幾何標(biāo)定模塊，用于標(biāo)定每個(gè)所述2D相機(jī)的參數(shù)矩陣，其中，所述參數(shù)矩陣包括旋轉(zhuǎn)矩陣I、平移向量Tn和內(nèi)參矩陣Kn ；相機(jī)虛擬參數(shù)計(jì)算模塊，用于根據(jù)每個(gè)所述2D相機(jī)標(biāo)定的參數(shù)矩陣獲得虛擬參數(shù)矩陣，其中，所述虛擬參數(shù)包括虛擬基線方向1、虛擬光心位置《、虛擬旋轉(zhuǎn)矩陣反、虛擬平移向量之和虛擬內(nèi)參矩陣I;像素對(duì)應(yīng)表確定模塊，用于分別根據(jù)所述參數(shù)矩陣Kn，Rn, Tn和所述虛擬參數(shù)矩陣確定每個(gè)所述2D相機(jī)拍攝的平面視頻圖像像素點(diǎn)和校正后平面視頻圖像像素點(diǎn)成一一映射關(guān)系的像素對(duì)應(yīng)表；實(shí)時(shí)幾何校正模塊，用于根據(jù)所述像素對(duì)應(yīng)表分別對(duì)每個(gè)所述2D相機(jī)拍攝的平面視頻圖像進(jìn)行實(shí)時(shí)幾何，獲得校正后的η視角平面視頻圖像，其中η為所述2D相機(jī)的個(gè)數(shù)；以及立體圖合成模塊，用于根據(jù)所述校正后的η視角平面視頻圖像合成立體圖像。
3.根據(jù)權(quán)利要求2所述的立體視頻的采集系統(tǒng)，其特征在于，所述像素對(duì)應(yīng)表確定模塊，進(jìn)一步用于根據(jù)所述參數(shù)矩陣Kn，Rn, Tn和所述虛擬參數(shù)矩陣f Λ, t獲得多組空間點(diǎn)W在各視角 η上的第一投影坐標(biāo)也和第二投影坐標(biāo)< ；根據(jù)多組所述第一投影坐標(biāo)# 和第二投影坐標(biāo)A獲得透視變換矩陣Hn ；以及根據(jù)所述透視變換矩陣Hn獲得每個(gè)所述2D相機(jī)拍攝的平面視頻圖像像素點(diǎn)和校正后平面視頻圖像像素點(diǎn)的成一一映射的像素對(duì)應(yīng)表。
4.根據(jù)權(quán)利要求2所述的立體視頻的采集系統(tǒng)，其特征在于，所述實(shí)時(shí)幾何校正模塊， 進(jìn)一步用于根據(jù)每個(gè)所述2D相機(jī)拍攝的平面視頻圖像的當(dāng)前位置像素點(diǎn)在所述像素對(duì)應(yīng)表找到所對(duì)應(yīng)的校正后的平面視頻圖像的像素點(diǎn)，并將所述校正后的平面視頻圖像的像素點(diǎn)的 RGB顏色值賦給所述當(dāng)前位置像素點(diǎn)，如果所述校正后的平面視頻圖像的像素點(diǎn)不為整數(shù)，則采用最近鄰插值方法找到離所述當(dāng)前位置最近的整數(shù)坐標(biāo)點(diǎn)，并將所述整數(shù)坐標(biāo)點(diǎn)的像素點(diǎn)RGB顏色值賦給所述當(dāng)前位置像素點(diǎn)。
5.根據(jù)權(quán)利要求2所述的立體視頻的采集系統(tǒng)，其特征在于，所述像素對(duì)應(yīng)表計(jì)算模塊還包括相機(jī)姿態(tài)變化判斷單元，用于判斷每個(gè)所述2D相機(jī)的姿態(tài)是否發(fā)生變換，如果所述2D 相機(jī)的姿態(tài)發(fā)生變換，則重新計(jì)算所述像素對(duì)應(yīng)表。
6.根據(jù)權(quán)利要求1所述的立體視頻的采集系統(tǒng)，其特征在于，所述幀頻為25幀每秒 (fps)，則所述脈沖信號(hào)的高或低電平以約40毫秒為周期。
7.一種立體視頻的采集方法，其特征在于，包括以下步驟51對(duì)預(yù)定的多個(gè)2D相機(jī)進(jìn)行幾何標(biāo)定，獲得每個(gè)所述2D相機(jī)的參數(shù)矩陣；52根據(jù)每個(gè)所述2D相機(jī)的參數(shù)矩陣獲得虛擬參數(shù)矩陣；53分別根據(jù)所述參數(shù)矩陣和所述虛擬參數(shù)矩陣計(jì)算每個(gè)所述2D相機(jī)平面視頻圖像像素點(diǎn)與校正后的平面視頻圖像像素點(diǎn)成一一映射關(guān)系的像素對(duì)應(yīng)表；54根據(jù)所述像素對(duì)應(yīng)表分別對(duì)每個(gè)所述2D相機(jī)拍攝的平面視頻圖像進(jìn)行實(shí)時(shí)幾何， 獲得校正后的η視角平面視頻圖像，其中η為所述2D相機(jī)的個(gè)數(shù)；以及55根據(jù)所述校正后的η視角圖像合成立體圖，并進(jìn)行立體顯示。
8.根據(jù)權(quán)利要求7所述的立體視頻的采集方法，其特征在于，所述步驟S3進(jìn)一步包括531根據(jù)所述參數(shù)矩陣Kn，Rn, Tn和所述虛擬參數(shù)矩陣f Λ, t獲得多組空間點(diǎn)W在各視角η上的第一投影坐標(biāo)也和第二投影坐標(biāo)532根據(jù)多組所述第一投影坐標(biāo)禮和第二投影坐標(biāo)孟 獲得透視變換矩陣Hn ；以及533根據(jù)所述透視變換矩陣Hn獲得每個(gè)所述2D相機(jī)拍攝的平面視頻圖像像素點(diǎn)和校正后平面視頻圖像像素點(diǎn)的成一一映射的像素對(duì)應(yīng)表。
9.根據(jù)權(quán)利要求7所述的立體視頻的采集方法，其特征在于，所述步驟S5進(jìn)一步包括根據(jù)每個(gè)所述2D相機(jī)拍攝的平面視頻圖像的當(dāng)前位置像素點(diǎn)在所述像素對(duì)應(yīng)表找到所對(duì)應(yīng)的校正后的平面視頻圖像的像素點(diǎn)，并將所述校正后的平面視頻圖像的像素點(diǎn)的 RGB顏色值賦給所述當(dāng)前位置像素點(diǎn)，如果所述校正后的平面視頻圖像的像素點(diǎn)不為整數(shù)，則采用最近鄰插值方法找到離所述當(dāng)前位置最近的整數(shù)坐標(biāo)點(diǎn)，并將所述整數(shù)坐標(biāo)點(diǎn)的像素點(diǎn)RGB顏色值賦給所述當(dāng)前位置像素點(diǎn)。
10.根據(jù)權(quán)利要求8所述的立體視頻的采集方法，其特征在于，在所述步驟S5之前還包括判斷每個(gè)所述2D相機(jī)的姿態(tài)是否發(fā)生變換，如果所述2D相機(jī)的姿態(tài)發(fā)生變換，則重新計(jì)算所述像素對(duì)應(yīng)表。
11.根據(jù)權(quán)利要求7所述的立體視頻的采集方法，其特征在于，所述方法還包括 向每個(gè)所述2D相機(jī)發(fā)送脈沖信號(hào)以控制每個(gè)所述2D相機(jī)以預(yù)定的幀頻同步拍攝平面視頻。
12.根據(jù)權(quán)利要求11所述的立體視頻的采集方法，其特征在于，所述幀頻為25幀每秒(fps)，則所述脈沖信號(hào)的高或低電平以約40毫秒為周期。
全文摘要
本發(fā)明提出一種立體視頻的采集系統(tǒng)及方法，該系統(tǒng)包括采集設(shè)備，包括多個(gè)2D相機(jī)和多個(gè)姿態(tài)調(diào)整裝置，每個(gè)2D相機(jī)對(duì)應(yīng)一個(gè)姿態(tài)調(diào)整裝置，多個(gè)2D相機(jī)線性排布，用于拍攝平面視頻圖像；微控制器，通過每個(gè)2D相機(jī)的通用輸入輸出口與采集設(shè)備相連，用于向多個(gè)2D相機(jī)發(fā)送脈沖信號(hào)以控制多個(gè)2D相機(jī)以預(yù)定的幀頻同步拍攝平面視頻圖像；采集服務(wù)器，通過每個(gè)2D相機(jī)的數(shù)據(jù)口與采集設(shè)備相連，用于獲取多個(gè)2D相機(jī)拍攝的平面視頻圖像，并對(duì)多個(gè)2D相機(jī)進(jìn)行幾何標(biāo)定，及對(duì)多個(gè)2D相機(jī)拍攝的平面視頻圖像進(jìn)行實(shí)時(shí)幾何校正和立體圖像合成；立體顯示設(shè)備，用于接收采集服務(wù)器合成的立體圖像并進(jìn)行立體顯示。本發(fā)明的系統(tǒng)可實(shí)時(shí)采集數(shù)據(jù)、靈活性好、立體感知效果佳。
文檔編號(hào)H04N13/02GK102572486SQ20121002543
公開日2012年7月11日 申請(qǐng)日期2012年2月6日 優(yōu)先權(quán)日2012年2月6日
發(fā)明者戴瓊海, 楊明進(jìn), 邵航 申請(qǐng)人:清華大學(xué)