基于主動全景視覺的3d環(huán)境復(fù)制系統(tǒng)及3d全景顯示繪制方法
【專利摘要】本發(fā)明公開了一種基于主動全景視覺的3D環(huán)境復(fù)制系統(tǒng)，包括全方位視覺傳感器、移動體激光光源以及用于對全方位圖像進(jìn)行3D全景重構(gòu)和3D全景繪制輸出的微處理器，微處理器包括標(biāo)定、3D重構(gòu)和3D全景顯示繪制三個部分，其中3D全景顯示繪制部分主要包括：以物為中心的全景繪制模塊、以人為中心的透視圖顯示繪制模塊、全景透視圖循環(huán)顯示繪制模塊、立體透視圖顯示繪制模塊、全景立體圖循環(huán)顯示繪制模塊和觀察距離變化立體透視圖顯示繪制模塊。本發(fā)明還公開了一種基于主動全景視覺的3D全景顯示繪制方法。本發(fā)明實現(xiàn)了3D全景模型重構(gòu)的幾何準(zhǔn)確性、真實感、具有親臨其境視覺感全景3D場景繪制顯示、重建過程自動化的完美統(tǒng)一。
【專利說明】基于主動全景視覺的3D環(huán)境復(fù)制系統(tǒng)及3D全景顯示繪制 方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及激光光源、全方位視覺傳感器以及計算機(jī)視覺技術(shù)在立體視覺測量及 3D繪制方面的應(yīng)用，尤其涉及一種基于主動全景視覺的3D環(huán)境復(fù)制系統(tǒng)及3D全景顯示繪 制方法。

【背景技術(shù)】
[0002] 三維重建技術(shù)包括了三維測量與立體重構(gòu)，是一門新興的、極具發(fā)展?jié)摿蛯嵱?價值的應(yīng)用技術(shù)，三維模型的重建技術(shù)主要涉及到以下三個方面的內(nèi)容：1)幾何的準(zhǔn)確 性；2)真實感；3)重建過程的自動化。三維模型的重建所需要的數(shù)據(jù)主要包括激光掃描的 深度圖像數(shù)據(jù)和圖像傳感器采集的圖像數(shù)據(jù)兩個方面。
[0003] 目前的三維激光掃描儀仍然有很多可改進(jìn)之處，1)如精密的硬件構(gòu)造，要求將 CCD技術(shù)、激光技術(shù)、精密機(jī)械傳感技術(shù)等進(jìn)行高質(zhì)量的整合，導(dǎo)致了該類儀器具有昂貴的 制造成本和維護(hù)成本。2)現(xiàn)有的三維激光掃描技術(shù)屬于面掃描成像技術(shù)，一幅掃描點云圖 無法獲取建筑物的全貌，尤其是建筑物內(nèi)部的全貌；從不同掃描站（視角）獲得的點云分別 采用其各自的局部坐標(biāo)系，因此需要將它們配準(zhǔn)到一個統(tǒng)一坐標(biāo)系下。配準(zhǔn)過程中存在著 多次多個坐標(biāo)系之間的轉(zhuǎn)換，造成了各種誤差并影響計算速度和計算資源。3)點云采集過 程中會帶入較多的干擾，導(dǎo)致了需要對點云數(shù)據(jù)進(jìn)行預(yù)處理等環(huán)節(jié)。4)各廠商的三維激光 掃描儀所配置的軟件中點云數(shù)據(jù)缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，難以實現(xiàn)數(shù)據(jù)的共享，這點將在數(shù) 字城市建設(shè)中尤為突出。5)兩種不同設(shè)備來獲取空間物點的幾何和色彩信息，不同設(shè)備之 間的幾何和色彩信息數(shù)據(jù)配準(zhǔn)好壞直接影響紋理映射和紋理合成的效果。6)三維建模處理 過程中需要多次人工干預(yù)，建模效率不高，這需要操作人員具有較高的專業(yè)知識，并且影響 著自動化程度。
[0004] 中國發(fā)明專利申請?zhí)枮?01210137201. 7公開了一種基于主動全景視覺傳感器的 全方位三維建模系統(tǒng)，系統(tǒng)主要包括全方位視覺傳感器、移動體激光光源以及用于對全方 位圖像進(jìn)行3D全景重構(gòu)的微處理器，移動體激光光源完成一次垂直方向的掃描得到了在 不同高度情況下的切片點云數(shù)據(jù)，將這些數(shù)據(jù)以所述的移動體激光光源的高度值作為保存 索引，這樣就能按切片點云數(shù)據(jù)產(chǎn)生順序進(jìn)行累加，最終構(gòu)建出帶有幾何信息和顏色信息 的全景3D模型。但是該技術(shù)方案存在著兩個主要問題，其一是移動體激光光源掃描得到的 點云數(shù)據(jù)無法得到垂直于移動體激光光源的平面點云數(shù)據(jù)，如桌面、地面和屋內(nèi)天頂平面； 其二是目前的三維重構(gòu)軟件不能滿足以人為中心的3D繪制顯示，現(xiàn)有的3D軟件主要是針 對以物為中心的3D繪制顯示，要滿足以人為中心的3D顯示就必須是讓觀察者具有親臨其 境的3D重構(gòu)再現(xiàn)，比如對龍門石窟的三維數(shù)字化，其三維數(shù)字化的最終目標(biāo)就是能讓任何 人都能通過互聯(lián)網(wǎng)遠(yuǎn)程游覽龍門石窟，以多角度、全方位體驗欣賞龍門石窟的藝術(shù)魅力。人 機(jī)工程中，一般以靜視野為依據(jù)設(shè)計視覺顯示器等有關(guān)部件，為了讓人們通過互聯(lián)網(wǎng)游覽 展示的場景時具有親臨其境視覺感，就需要用人機(jī)工程的方法來實現(xiàn)一種以人為中心的3D 立體繪制顯示。


【發(fā)明內(nèi)容】

[0005] 為了克服已有的被動式全景立體視覺測量裝置的計算機(jī)資源消耗大、實時性能 差、實用性不強(qiáng)、魯棒性不高等不足，全彩色全景LED光源的主動三維立體全景視覺測量裝 置容易受到環(huán)境光的干擾等不足，本發(fā)明提供一種通過直接獲取空間三維點的位置幾何信 息以及顏色信息，能夠減少計算機(jī)資源消耗、快速完成測量、實時性好、實用性強(qiáng)、魯棒性高 的基于主動全景視覺傳感器的全方位三維建模系統(tǒng)，采用以物為中心的3D宏觀視覺和以 人為中心的3D中觀視覺相融合的繪制顯示模式，增加用戶的親臨其境體驗感。
[0006] 要實現(xiàn)上述
【發(fā)明內(nèi)容】
，必須要解決幾個核心問題：（1)實現(xiàn)一種能覆蓋整個重構(gòu) 場景的移動體激光光源；（2)實現(xiàn)一種能快速獲得實際物體深度信息的主動式全景視覺傳 感器；（3)將激光掃描空間數(shù)據(jù)點與全景圖像中相應(yīng)像素點進(jìn)行快速融合的方法；(4) 一種 基于規(guī)則點云數(shù)據(jù)的高度自動化三維場景重建方法；（5)以人為中心的3D全景繪制顯示技 術(shù)；（6)以物為中心的3D宏觀視覺和以人為中心的3D中宏觀視覺相融合的繪制顯示技術(shù)；
[7] 3D重建過程的自動化，減少人工干預(yù)，整個掃描、處理、生成、繪制顯示過程一氣呵成。
[0007] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：
[0008] -種基于主動全景視覺的3D環(huán)境復(fù)制系統(tǒng)，包括全方位視覺傳感器、移動體激光 光源以及用于對全方位圖像進(jìn)行3D全景重構(gòu)和3D全景繪制輸出的微處理器，全方位視覺 傳感器安裝在移動體激光光源的導(dǎo)向支撐桿上，
[0009] 所述的移動體激光光源還包括沿導(dǎo)向支撐桿上下移動的體激光光源，該體激光光 源具有垂直導(dǎo)向支撐桿的第一全方位面激光、與導(dǎo)向支撐桿的軸心線成e。傾斜的第二全 方位面激光以及與導(dǎo)向支撐桿的軸心線成e a傾斜的第三全方位面激光；
[0010] 所述的微處理器分為標(biāo)定部分、3D重構(gòu)部分和3D全景顯示繪制部分；
[0011] 所述的標(biāo)定部分，用于確定全方位視覺傳感器的標(biāo)定參數(shù)，并在全方位視覺傳感 器所拍攝的全景圖像上解析出第一全方位面激光、第二全方位面激光和第三全方位面激光 對應(yīng)的激光投影信息；
[0012] 所述的3D重構(gòu)部分，根據(jù)移動體激光光源的位置，以及所述激光投影信息的相關(guān) 像素坐標(biāo)值，計算移動面的點云幾何信息，并將移動面的點云幾何信息和各全方位面激光 的顏色信息進(jìn)行融合，構(gòu)建全景3D模型；
[0013] 所述的3D全景顯示繪制部分，包括：
[0014] 以人為中心的透視圖顯示繪制模塊，根據(jù)所述的全景3D模型，以及觀察者處于3D 重構(gòu)環(huán)境中的視角和視場范圍，來繪制以人為中心的透視圖。
[0015] 所述的3D全景顯示繪制部分，還包括：
[0016] 全景透視圖循環(huán)顯示繪制模塊，根據(jù)所述的全景3D模型，以及觀察者處于3D重構(gòu) 環(huán)境中視角的循環(huán)改變和視場范圍，來繪制以人為中心的全景透視循環(huán)顯示圖；
[0017] 立體透視圖顯示繪制模塊，根據(jù)所述的透視圖，生成右視點圖像、左視點圖像和左 右視點圖像，來繪制以人為中心的立體透視圖；
[0018] 全景立體圖循環(huán)顯示繪制模塊，根據(jù)所述的全景3D模型，以及觀察者處于3D重構(gòu) 環(huán)境中視角的循環(huán)改變和視場范圍，通過不斷改變方位角P，生成在該方位角P下的左右 立體像對，來繪制以人為中心的全景立體透視循環(huán)顯示圖；
[0019] 觀察距離變化立體透視圖顯示繪制模塊，根據(jù)所述的全景3D模型，以及觀察者在 3D重構(gòu)環(huán)境中觀察距離的改變和視場范圍，來繪制在不斷改變觀察距離時以人為中心的全 景立體透視顯示圖。
[0020] 一種基于上述3D環(huán)境復(fù)制系統(tǒng)的3D全景顯示繪制方法，包括步驟：
[0021] 1)采用全方位視覺傳感器拍攝移動體激光光源投射形成的全景圖像；
[0022] 2)根據(jù)所述的全景圖像，確定全方位視覺傳感器的標(biāo)定參數(shù)，并解析出第一全方 位面激光、第二全方位面激光和第三全方位面激光對應(yīng)的激光投影信息；
[0023] 3)根據(jù)移動體激光光源的位置，以及所述激光投影信息的相關(guān)像素坐標(biāo)值，計算 移動面的點云幾何信息，并將移動面的點云幾何信息和各全方位面激光的顏色信息進(jìn)行融 合，構(gòu)建全景3D模型；
[0024] 4)根據(jù)所述的全景3D模型，以及觀察者處于3D重構(gòu)環(huán)境中的視角和視場范圍，來 繪制以人為中心的透視圖；具體步驟如下：
[0025] STEP1)以全方位視覺傳感器的單視點為坐標(biāo)原點Om(0, 0, 0)，建立三維柱狀空間 坐標(biāo)系；
[0026] STEP2)根據(jù)人眼的視覺范圍，確定透視窗口的大小，以方位角P和高度h為透視 窗口的變量，并得到透視窗口對應(yīng)的點云數(shù)據(jù)（h，Ir);
[0027] STEP3)根據(jù)方位角P的步長和高度h的范圍，以及所述的點云數(shù)據(jù)（h，P，r)，生 成數(shù)據(jù)矩陣；
[0028] STEP4)將數(shù)據(jù)矩陣中所有的三維坐標(biāo)用三角形面片連接起來，連接線的顏色采用 連接的兩個點的顏色平均值；
[0029] STEP5)將所有連接的三角形面片進(jìn)行輸出顯示，完成以人為中心的透視圖繪制。
[0030] 所述的3D全景顯示繪制方法還包括繪制以人為中心的全景透視循環(huán)顯示圖，通 過不斷改變方位角3，生成在該方位角3下的顯示數(shù)據(jù)矩陣，完成全景透視循環(huán)顯示圖繪 制。
[0031] 所述的3D全景顯示繪制方法還包括繪制以人為中心的立體透視圖，具體繪制算 法如下：
[0032] 5. 1 :確定初始方位角0 i，讀取最小距離hmin和最大距離hmax數(shù)據(jù)，確定視點，中央 眼=0,左視點=1，右視點=2 ;
[0033] 5. 2 ：h = hmin ；
[0034] 5. 3 :讀取距離值h的初始方位角P i開始到P #00的數(shù)據(jù)，如果P #00 > 1000， 則3 i+300 = e i+300-1000 ;根據(jù)所確定的視點，選擇中央眼0計算空間物點在左右眼的柱 坐標(biāo)；選擇左視點1計算空間物點在右眼的柱坐標(biāo)，將原坐標(biāo)數(shù)據(jù)作為左眼的柱坐標(biāo)；選擇 右視點2計算空間物點在左眼的柱坐標(biāo)，將原坐標(biāo)數(shù)據(jù)作為右眼的柱坐標(biāo)；分別用左右視 點將這些值作為左視點矩陣和右視點矩陣的新一行數(shù)據(jù)，h = h+Ah ;
[0035] 5. 4 :判斷h彡h_，如果不滿足轉(zhuǎn)到5. 3,直至生成左右視點的顯示矩陣；
[0036] 5. 5 :分別將顯示矩陣中所有的三維坐標(biāo)用三角形面片連接起來，連接方法是首 先將每一行的數(shù)據(jù)用直線進(jìn)行連接，然后將每一列的數(shù)據(jù)用直線進(jìn)行連接，最后將矩陣中 (i，j)和（i+l，j+l)的點云數(shù)據(jù)用直線進(jìn)行連接；連接線的顏色采用連接的兩個點的顏色 平均值；
[0037] 5. 6 :通過對上述處理后生成的立體像對進(jìn)行雙目立體顯示，完成以人為中心的立 體透視圖繪制。
[0038] 所述的3D全景顯示繪制方法還包括繪制以人為中心的全景立體透視循環(huán)顯示 圖，通過不斷改變方位角P，保存當(dāng)前P的顯示數(shù)據(jù)矩陣，分別將左視點矩陣和右視點矩 陣用三角形面片進(jìn)行連接，生成的立體像對，立體顯示輸出。
[0039] 所述的3D全景顯示繪制方法還包括繪制以人為中心的觀察距離變化立體透視 圖，根據(jù)觀察者不斷改變在3D環(huán)境中的自身空間位置，從人機(jī)工程的角度確定視場范圍， 來繪制全景立體圖。
[0040] 所述的第一全方位面激光、第二全方位面激光和第三全方位面激光分別為藍(lán)色線 激光、紅色線激光和綠色線激光，藍(lán)色線激光和綠色線激光安裝在紅色線激光的上下兩側(cè)， 且所有線激光的軸線相交于所述導(dǎo)向支撐桿的軸心線上的一點。
[0041] 所述的3D全景顯示繪制方法還包括以物為中心的全景繪制顯示，根據(jù)以全方位 視覺傳感器的單視點O m為坐標(biāo)原點的3D全景模型的點云數(shù)據(jù)，用移動體激光光源掃描全 景場景時產(chǎn)生的掃描切片，提取出藍(lán)色、紅色和綠色全方位面激光投射所產(chǎn)生的點云數(shù)據(jù)， 生成點云數(shù)據(jù)矩陣，實現(xiàn)以物為中心的全景繪制顯示。
[0042] 本發(fā)明的有益效果主要表現(xiàn)在：
[0043] (1)提供了一種全新的立體視覺獲取方法，利用全方位激光掃描和全方位視覺的 特性使得重構(gòu)后的三維模型同時具有較高的精度和較好的紋理信息；
[0044] (2)能有效地減少計算機(jī)資源消耗，具有實時性好、實用性強(qiáng)、魯棒性高、自動化程 度高等優(yōu)點，整個3D重構(gòu)不需要人工介入；
[0045] (3)利用全方位激光檢測保證了幾何的準(zhǔn)確性，采用高分辨率的全景圖像采集技 術(shù)使得在全景圖像上的每個像素同時擁有幾何信息和顏色信息，從而保證了 3D重構(gòu)的真 實感，整個過程自動掃描、自動解析和計算，不存在著三維重構(gòu)的病態(tài)計算問題，實現(xiàn)了三 維重建過程的自動化；實現(xiàn)了 3D全景模型重構(gòu)的幾何準(zhǔn)確性、真實感和重建過程自動化的 完美統(tǒng)一；
[0046] (4)實現(xiàn)了一種以人為中心的3D全景繪制顯示技術(shù)，將以物為中心的3D視覺和以 人為中心的3D視覺進(jìn)行融合，使得繪制出來的全景3D場景更具有親臨其境視覺感。

【專利附圖】

【附圖說明】
[0047] 圖1為一種全方位視覺傳感器的結(jié)構(gòu)圖；
[0048] 圖2為單視點折反射全方位視覺傳感器成像模型，圖2 (a)透視成像過程，圖2 (b) 傳感器平面，圖2 (c)圖像平面；
[0049] 圖3為移動體激光光源結(jié)構(gòu)簡圖；
[0050] 圖4為主動全景視覺傳感器的標(biāo)定說明圖；
[0051] 圖5為基于主動全景視覺傳感器的全方位三維建模系統(tǒng)的硬件結(jié)構(gòu)圖；
[0052] 圖6為全方位激光發(fā)生器部件的結(jié)構(gòu)圖，圖6(a)為全方位激光發(fā)生器部件正視 圖，圖（b)為全方位激光發(fā)生器部件俯視圖；
[0053] 圖7為全方位視覺傳感器的成像原理圖；
[0054] 圖8為透視成像原理圖；
[0055] 圖9為改變觀察距離雙目立體成像的原理圖，圖9(a)為改變觀察距離前雙目立體 成像的原理圖，圖9(b)改變觀察距離后雙目立體成像的原理圖；
[0056] 圖10為基于主動全景視覺傳感器的全方位三維建模系統(tǒng)及3D全景繪制的軟件架 構(gòu)圖；
[0057] 圖11為基于主動全景視覺傳感器的全方位三維建模系統(tǒng)中的點云空間幾何信息 計算的說明圖；
[0058] 圖12為基于主動全景視覺傳感器的全方位三維建模系統(tǒng)在獲取三維點云數(shù)據(jù)時 得到的切片全景圖像示意圖；
[0059] 圖13為在全景圖像上解析點云空間幾何信息計算的過程說明圖；
[0060] 圖14為人眼的水平視野說明圖；
[0061] 圖15為人眼的垂直視野說明圖；
[0062] 圖16為在解析全景切片圖像上分別獲取綠色、紅色和藍(lán)色激光投影線的說明圖。

【具體實施方式】
[0063] 實施例1
[0064] 參照圖1?16, 一種基于主動全景視覺的3D環(huán)境復(fù)制系統(tǒng)及3D全景顯示繪制方 法，包括全方位視覺傳感器、移動體激光光源以及用于對全方位圖像進(jìn)行3D全景重構(gòu)和3D 全景繪制輸出的微處理器。
[0065] 全方位視覺傳感器的中心與移動體激光光源的中心配置在同一根軸心線上。如附 圖1所示，全方位視覺傳感器包括雙曲面鏡面2、上蓋1、透明半圓形外罩3、下固定座4、攝 像單元固定座5、攝像單元6、連接單元7、上罩8。雙曲面鏡面2固定在上蓋1上，連接單元 7將下固定座4和透明半圓形外罩3連接成一體，透明半圓形外罩3與上蓋1以及上罩8通 過螺釘固定在一起，攝像單元6用螺釘固定在攝像單元固定座5上，攝像單元固定座5用螺 釘固定在下固定座4上，全方位視覺傳感器中的攝像單元6的輸出與微處理器連接。
[0066] 如附圖3所示，移動體激光光源用于產(chǎn)生三維體結(jié)構(gòu)投射光源，包括：導(dǎo)向支撐桿 2-1、激光發(fā)生組合單元2-2、底盤2-3、直線電機(jī)移動桿2-4、直線電機(jī)組件2-5、藍(lán)色線激光 發(fā)生單元2-6、紅色線激光發(fā)生單元2-7、綠色線激光發(fā)生單元2-8。
[0067] 激光發(fā)生組合單元2-2上共開有12個孔，其中每4個孔為一組，分為藍(lán)色線激光 發(fā)生單元安裝孔組、紅色線激光發(fā)生單元安裝孔組和綠色線激光發(fā)生單元安裝孔組。4個紅 色線激光發(fā)生單元安裝孔的軸心線分別與激光發(fā)生組合單元2-2的圓柱體的軸心線成正 交關(guān)系，4個藍(lán)色線激光發(fā)生單元安裝孔的軸心線分別與激光發(fā)生組合單元2-2的圓柱體 的軸心線成傾斜e。關(guān)系，4個綠色線激光發(fā)生單元安裝孔的軸心線分別與激光發(fā)生組合單 元2-2的圓柱體的軸心線成傾斜0 a關(guān)系。這12個孔在激光發(fā)生組合單元2-2的圓柱體 的圓周方向上成90°夾角均勻分布，這樣保證了 12個孔的軸心線相交于激光發(fā)生組合單 元2-2的圓柱體的軸心線上的同一點上，如附圖6所示。
[0068] 藍(lán)色線激光發(fā)生單元2-6固定在激光發(fā)生組合單元2-2的藍(lán)色線激光發(fā)生單元安 裝孔組的孔中，如附圖6所示，經(jīng)過這樣組合后的藍(lán)色線激光能形成一個發(fā)出藍(lán)色的全方 位面激光光源；紅色線激光發(fā)生單元2-7固定在線激光發(fā)生組合單元2-2的紅色線激光發(fā) 生單元安裝孔組的孔中，如附圖6所示，經(jīng)過這樣組合后的紅色線激光能形成一個發(fā)出紅 色的全方位面激光光源；綠光線激光發(fā)生單元2-8固定在線激光發(fā)生組合單元2-2的綠色 線激光發(fā)生單元安裝孔組的孔中，如附圖6所示，經(jīng)過這樣組合后的綠色線激光能形成一 個發(fā)出綠色的全方位面激光光源。當(dāng)激光發(fā)生組合單元2-2中的12個孔均固定好相對應(yīng) 的線激光發(fā)生單元后，就構(gòu)成了體激光光源；這樣體激光光源就能依次分別投射出藍(lán)色、紅 色和綠色的3色全方位面激光，其中紅色全方位面激光與導(dǎo)向支撐桿成垂直關(guān)系，藍(lán)色全 方位面激光與導(dǎo)向支撐桿的軸心線成e。傾斜角度關(guān)系，綠色全方位面激光與導(dǎo)向支撐桿 的軸心線成G a傾斜角度關(guān)系。
[0069] 移動體激光光源的裝配關(guān)系是將體激光光源套入到導(dǎo)向支撐桿2-1內(nèi)構(gòu)成移動 畐Ij，導(dǎo)向支撐桿2-1垂直固定在底盤2-3上，直線電機(jī)組件2-5固定在底盤2-3上，直線電 機(jī)移動桿2-4上端與體激光光源進(jìn)行固定連接，控制直線電機(jī)組件2-5來實現(xiàn)直線電機(jī)移 動桿2-4的上下移動，從而帶動體激光光源在導(dǎo)向支撐桿2-1的導(dǎo)向作用下上下移動，形成 一種移動的體激光光源，使得重構(gòu)的全景均被掃描。直線電機(jī)組件2-5為微型交流直線往 復(fù)式減速電動機(jī)，其往復(fù)運動范圍為700mm，型號為4IK25GNCMZ15S500,直線往復(fù)移動速度 為15mm/s，最大移動推力為625N。
[0070] 全方位視覺傳感器通過連接板安裝在移動體激光光源中的導(dǎo)向支撐桿2-1上，構(gòu) 成一個主動式全方位視覺傳感器，如附圖4所示，全方位視覺傳感器通過USB接口與微處理 器相連接。
[0071] 微處理器的應(yīng)用軟件中主要由標(biāo)定、3D重構(gòu)和3D全景顯示繪制三個部分組成。標(biāo) 定部分主要包括：視頻圖像讀取模塊、全方位視覺傳感器標(biāo)定模塊、全方位面激光信息解析 模塊、聯(lián)合標(biāo)定模塊。3D重構(gòu)部分主要包括：視頻圖像讀取模塊、移動體激光光源的直線電 機(jī)的位置估計模塊、全方位面激光信息解析模塊、移動面的點云幾何信息的計算模塊，點云 的幾何信息和顏色信息的融合模塊，以移動面的位置信息構(gòu)建全景3D模型構(gòu)建模塊，3D全 景模型生成模塊和存儲單元。3D全景顯示繪制部分主要包括：以物為中心的全景繪制模 塊、以人為中心的透視圖顯示繪制模塊、全景透視圖循環(huán)顯示繪制模塊、立體透視圖顯示繪 制模塊、全景立體圖循環(huán)顯示繪制模塊和觀察距離變化立體透視圖顯示繪制模塊。
[0072] 視頻圖像讀取模塊，用于讀取全方位視覺傳感器的視頻圖像，并保存在存儲單元 中，其輸出與全方位視覺傳感器標(biāo)定模塊和全方位面激光信息解析模塊連接。
[0073] 全方位視覺傳感器標(biāo)定模塊，用于確定三維空間點和攝像機(jī)成像平面上的二維圖 像點之間映射關(guān)系的參數(shù)，如附圖2所示；具體標(biāo)定過程是將標(biāo)定板繞全方位視覺傳感器 一周，拍攝若干組全景圖像，建立空間點和成像平面中像素點的若干等式，使用最優(yōu)化算法 求出最優(yōu)解，計算結(jié)果如表1所示，即為本發(fā)明中使用的全方位視覺傳感器的標(biāo)定參數(shù)；
[0074] 表I ODVS的標(biāo)定結(jié)果
[0075] 士 7. t-^-r - H aO a2 A t 中心點 標(biāo)定精度 參數(shù) a4 1.005 -6.65E-05 4.7466 325.3466 OD\S -75.12 0.0027 0 0.5502 -3.77E-05 I -1.372 237.7285
[0076] 標(biāo)定出全方位視覺傳感器的內(nèi)外參數(shù)后，就能建立一個成像平面的像素點與入射 光線，即入射角之間的對應(yīng)關(guān)系，如公式（1)表示； , HmHI HmHI
[0077] tana=-^~=----^-- U) /(IKII) +--?+% 11"1
[0078] 式中，a表示點云的入射角，I |u" I I為成像平面上的點到該平面中心點的距離， aQ、&1、&2和 &1<為標(biāo)定的全方位視覺傳感器的內(nèi)外參數(shù)，通過公式（1)建立一張成像平面任 一像素點與入射角之間的對應(yīng)關(guān)系表。
[0079] 對于本發(fā)明中所采用的全方位視覺傳感器的標(biāo)定后，成像平面上的點I |u" I I與 點云的入射角a關(guān)系可以用下面等式來表示；
[0080] tan a =-^ (2) -75.12 + 0.0027 Il m" Il2
[0081] 本發(fā)明中移動體激光光源的兩個極限位置是由移動體激光光源中的直線電機(jī)組 件的最大行程以及體激光光源的投射角所決定的，上極限位置設(shè)置以成年人當(dāng)站立時眼睛 處于平視狀態(tài)的高度為基準(zhǔn)，上極限位置初始值設(shè)置為1500_，下極限位置設(shè)置以成年人 當(dāng)蹲下時眼睛處于平視狀態(tài)的高度為基準(zhǔn)，下極限位置初始值設(shè)置為800mm ;直線電機(jī)組 件的最大行程為700mm，在上極限位置時還有30°的仰視角，在下極限位置時還有30°的 俯視角；本發(fā)明采用的全方位視覺傳感器具有28°的仰視角和65°的俯視角，覆蓋了近 93°垂直視場和360°水平視場；根據(jù)本發(fā)明的設(shè)計，移動體激光光源與全方位視覺傳感 器的單視點O m之間的距離用公式（3)進(jìn)行計算；
[0082] h(z) = h〇m - Hliplimit + hLaserMD (3)
[0083] 式中，為全方位視覺傳感器的單視點(^離地面的距離，hup liD1 itS移動體激光光 源的上極限位置，Kaseriffi為移動體激光光源的移動距離，h(z)為移動體激光光源與全方位 視覺傳感器的單視點Om之間的距離；如附圖4所示。
[0084] 這里規(guī)定全方位視覺傳感器的采集圖像速率為15Flame/s，本發(fā)明中設(shè)定了移動 體激光光源的垂直方向上的直線往復(fù)移動速度為15mm/s，兩個幀間之間移動體激光光源的 垂直方向上的直線移動距離為1mm，兩個極限位置之間距離為700mm，因此完成一次垂直方 向上掃描時間為47s，共會產(chǎn)生700個全景切片圖像；在一次垂直掃描過程中要處理700幀 圖像，在1幀圖像中存在著藍(lán)色激光線、紅色激光線和綠色激光線的三條投影線，其中第1 幀和700幀圖像就是兩個極限位置的掃描全景切片圖像。
[0085] 全方位面激光信息解析模塊，用于在全景圖像上解析出激光投影信息。解析在全 景圖上的藍(lán)色激光、紅色激光和綠色激光投射點的方法是根據(jù)藍(lán)色激光、紅色激光和綠色 激光投射點的像素的亮度要大于成像平面上的平均亮度，首先是將全景圖的RGB顏色空間 轉(zhuǎn)化成HIS顏色空間，然后將成像平面上的平均亮度的1. 2倍作為提取藍(lán)色激光、綠色激光 和紅色激光投射點的閾值，在提取出藍(lán)色激光、紅色激光和綠色激光投射點后需要進(jìn)一步 區(qū)分藍(lán)色激光、紅色激光和綠色激光投射點，本發(fā)明中根據(jù)HIS顏色空間中的色調(diào)值H進(jìn)行 判斷，如果色調(diào)值H在（225, 255)之間就判斷為藍(lán)色激光投射點，如果色調(diào)值H在（0, 30) 之間就判斷為紅色激光投射點，如果色調(diào)值H在（105,135)之間就判斷為綠色激光投射點， 其余像素點就判斷為干擾；為了得到激光投射線的準(zhǔn)確位置，本發(fā)明采用高斯近似方法來 抽取出激光投射線的中心位置，具體實現(xiàn)算法是：
[0086] St印1 :設(shè)置初始方位角0 = 0 ;
[0087] Step2 :在全景圖像上以方位角0從全景圖像的中心點開始檢索綠色激光、紅色 激光和藍(lán)色激光投射點，對于方位角3上存在著若干個連續(xù)的某種顏色激光投射的像素， 這里選擇HIS顏色空間中的I分量，即亮度值接近最高值的三個連續(xù)像素通過高斯近似方 法來估算激光投射線的中心位置；具體計算方法由公式（4)給出，
[0088]

【權(quán)利要求】
1. 一種基于主動全景視覺的3D環(huán)境復(fù)制系統(tǒng)，包括全方位視覺傳感器、移動體激光光 源以及用于對全方位圖像進(jìn)行3D全景重構(gòu)和3D全景繪制輸出的微處理器，全方位視覺傳 感器安裝在移動體激光光源的導(dǎo)向支撐桿上，其特征在于： 所述的移動體激光光源還包括沿導(dǎo)向支撐桿上下移動的體激光光源，該體激光光源具 有垂直導(dǎo)向支撐桿的第一全方位面激光、與導(dǎo)向支撐桿的軸心線成Θ。傾斜的第二全方位 面激光以及與導(dǎo)向支撐桿的軸心線成Θ a傾斜的第三全方位面激光； 所述的微處理器分為標(biāo)定部分、3D重構(gòu)部分和3D全景顯示繪制部分； 所述的標(biāo)定部分，用于確定全方位視覺傳感器的標(biāo)定參數(shù)，并在全方位視覺傳感器所 拍攝的全景圖像上解析出第一全方位面激光、第二全方位面激光和第三全方位面激光對應(yīng) 的激光投影信息； 所述的3D重構(gòu)部分，根據(jù)移動體激光光源的位置，以及所述激光投影信息的相關(guān)像素 坐標(biāo)值，計算移動面的點云幾何信息，并將移動面的點云幾何信息和各全方位面激光的顏 色信息進(jìn)行融合，構(gòu)建全景3D模型； 所述的3D全景顯示繪制部分，包括： 以人為中心的透視圖顯示繪制模塊，根據(jù)所述的全景3D模型，以及觀察者處于3D重構(gòu) 環(huán)境中的視角和視場范圍，來繪制以人為中心的透視圖。
2. 如權(quán)利要求1所述的基于主動全景視覺的3D環(huán)境復(fù)制系統(tǒng)，其特征在于，所述的3D 全景顯示繪制部分，還包括： 全景透視圖循環(huán)顯示繪制模塊，根據(jù)所述的全景3D模型，以及觀察者處于3D重構(gòu)環(huán)境 中視角的循環(huán)改變和視場范圍，來繪制以人為中心的全景透視循環(huán)顯示圖； 立體透視圖顯示繪制模塊，根據(jù)所述的透視圖，生成右視點圖像、左視點圖像和左右視 點圖像，來繪制以人為中心的立體透視圖； 全景立體圖循環(huán)顯示繪制模塊，根據(jù)所述的全景3D模型，以及觀察者處于3D重構(gòu)環(huán)境 中視角的循環(huán)改變和視場范圍，通過不斷改變方位角β，生成在該方位角β下的左右立體 像對，來繪制以人為中心的全景立體透視循環(huán)顯示圖； 觀察距離變化立體透視圖顯示繪制模塊，根據(jù)所述的全景3D模型，以及觀察者在3D重 構(gòu)環(huán)境中觀察距離的改變和視場范圍，來繪制在不斷改變觀察距離時以人為中心的全景立 體透視顯示圖。
3. -種基于權(quán)利要求1或2所述3D環(huán)境復(fù)制系統(tǒng)的3D全景顯示繪制方法，其特征在 于，包括步驟： 1) 采用全方位視覺傳感器拍攝移動體激光光源投射形成的全景圖像； 2) 根據(jù)所述的全景圖像，確定全方位視覺傳感器的標(biāo)定參數(shù)，并解析出第一全方位面 激光、第二全方位面激光和第三全方位面激光對應(yīng)的激光投影信息； 3) 根據(jù)移動體激光光源的位置，以及所述激光投影信息的相關(guān)像素坐標(biāo)值，計算移動 面的點云幾何信息，并將移動面的點云幾何信息和各全方位面激光的顏色信息進(jìn)行融合， 構(gòu)建全景3D模型； 4) 根據(jù)所述的全景3D模型，以及觀察者處于3D重構(gòu)環(huán)境中的視角和視場范圍，來繪制 以人為中心的透視圖；具體步驟如下： STEP1)以全方位視覺傳感器的單視點為坐標(biāo)原點Om(0, 0, 0)，建立三維柱狀空間坐標(biāo) 系； STEP2)根據(jù)人眼的視覺范圍，確定透視窗口的大小，以方位角β和高度h為透視窗口 的變量，并得到透視窗口對應(yīng)的點云數(shù)據(jù)（h，β，Γ); STEP3)根據(jù)方位角β的步長和高度h的范圍，以及所述的點云數(shù)據(jù)（h，β，Γ)，生成數(shù) 據(jù)矩陣； STEP4)將數(shù)據(jù)矩陣中所有的三維坐標(biāo)用三角形面片連接起來，連接線的顏色采用連接 的兩個點的顏色平均值； STEP5)將所有連接的三角形面片進(jìn)行輸出顯示，完成以人為中心的透視圖繪制。
4.如權(quán)利要求3所述的3D全景顯示繪制方法，其特征在于，所述的3D全景顯示繪制方 法還包括繪制以人為中心的全景透視循環(huán)顯示圖，通過不斷改變方位角β，生成在該方位 角β下的顯示數(shù)據(jù)矩陣，完成全景透視循環(huán)顯示圖繪制；所述顯示數(shù)據(jù)矩陣的算法如下： 4. 1)確定初始方位角β i，讀取最小距離hmin和最大距離hmax數(shù)據(jù)； 4. 2) β = β i，確定循環(huán)顯示次數(shù)N，n = O ; 4. 3) h = hmin ； 4. 4)讀取距離值h的初始方位角β開始到β+300的數(shù)據(jù)，如果β+300彡1000,則 β +300 = β +300-1000 ;將這些值作為矩陣的新一行數(shù)據(jù)，h = h+Ah ; 4. 5)判斷h彡hmax，如果不滿足轉(zhuǎn)到4. 4); 4.6)保存在當(dāng)前β的顯示數(shù)據(jù)矩陣，將顯示數(shù)據(jù)矩陣用三角形面片進(jìn)行連接，顯示輸 出；β = β +Δ β ; 4· 7)判斷 β 彡 3600 ; 4· 8)如果是 β = β -3600, η = η+1 ; 4. 9)判斷η彡Ν，如果不滿足轉(zhuǎn)到4. 3)。
5. 如權(quán)利要求3所述的3D全景顯示繪制方法，其特征在于，所述的3D全景顯示繪制方 法還包括繪制以人為中心的立體透視圖，具體繪制算法如下： 5. 1 :確定初始方位角β i，讀取最小距離hmin和最大距離hmax數(shù)據(jù)，確定視點，中央眼= 0，左視點=1，右視點=2 ; 5. 2 ：h = hmin ； 5. 3 :讀取距離值h的初始方位角β i開始到β i+300的數(shù)據(jù)，如果β i+300彡1000,則 β 1+300 = β 1+300-1000 ;根據(jù)所確定的視點，選擇中央眼〇計算空間物點在左右眼的柱坐 標(biāo)；選擇左視點1計算空間物點在右眼的柱坐標(biāo)，將原坐標(biāo)數(shù)據(jù)作為左眼的柱坐標(biāo)；選擇右 視點2計算空間物點在左眼的柱坐標(biāo)，將原坐標(biāo)數(shù)據(jù)作為右眼的柱坐標(biāo)；分別用左右視點 將這些值作為左視點矩陣和右視點矩陣的新一行數(shù)據(jù)，h = h+Ah ; 5. 4 :判斷h > hmax，如果不滿足轉(zhuǎn)到5. 3,直至生成左右視點的顯示矩陣； 5. 5 :分別將顯示矩陣中所有的三維坐標(biāo)用三角形面片連接起來，連接方法是首先將每 一行的數(shù)據(jù)用直線進(jìn)行連接，然后將每一列的數(shù)據(jù)用直線進(jìn)行連接，最后將矩陣中（i，j) 和（i+l，j+l)的點云數(shù)據(jù)用直線進(jìn)行連接；連接線的顏色采用連接的兩個點的顏色平均 值； 5. 6 :通過對上述處理后生成的立體像對進(jìn)行雙目立體顯示，完成以人為中心的立體透 視圖繪制。
6.如權(quán)利要求3所述的3D全景顯示繪制方法，其特征在于，所述的3D全景顯示繪制方 法還包括繪制以人為中心的全景立體透視循環(huán)顯示圖，通過不斷改變方位角β，生成在該 方位角β下的左右立體像對，其算法如下： 6. 1 :確定初始方位角β i，讀取最小距離hmin和最大距離hmax數(shù)據(jù)，確定視點，中央眼= O，左視點=1，右視點=2 ; 6. 2 : β = β i，確定循環(huán)顯示次數(shù)N，n = O ; 6. 3 ：h = hmin ； 6. 4 :讀取距離值h的初始方位角β i開始到β #00的數(shù)據(jù)，如果β #00 > 1000,則 β ι+300 = β ι+300-1000 ;根據(jù)所確定的視點，選擇中央眼〇計算空間物點在左右眼的柱坐 標(biāo)；選擇左視點1計算空間物點在右眼的柱坐標(biāo)，將原坐標(biāo)數(shù)據(jù)作為左眼的柱坐標(biāo)；選擇右 視點2計算空間物點在左眼的柱坐標(biāo)，將原坐標(biāo)數(shù)據(jù)作為右眼的柱坐標(biāo)；分別用左右視點 將這些值作為左視點矩陣和右視點矩陣的新一行數(shù)據(jù)，h = h+Ah ; 6. 5 :判斷h彡hmax，如果不滿足轉(zhuǎn)到6. 4 ; 6. 6:保存當(dāng)前β的顯示數(shù)據(jù)矩陣，分別將左視點矩陣和右視點矩陣用三角形面片進(jìn) 行連接,生成的立體像對,立體顯示輸出；β = β+Δ β ; 6· 7 :判斷 β 彡 3600 ; 6· 8 :如果是 β = β -3600, η = η+1 ; 6. 9 :判斷η彡N，如果不滿足轉(zhuǎn)到6. 3。
7. 如權(quán)利要求5或6所述的3D全景顯示繪制方法，其特征在于，根據(jù)單視點坐標(biāo) 〇m(〇,〇,〇)及空間物點P(h，β， Γ)之間的幾何關(guān)系，計算出新視點的坐標(biāo)包括： 將單視點坐標(biāo)Om(〇,〇,〇)作為右眼視點的坐標(biāo)，用公式（13)計算出空間P點在左眼視 點的坐標(biāo)；
式中，hK為空間P點在左眼視點的高度，k為空間P點在右眼視點的高度，rK為空間P 點在左眼視點的入射角，￥為空間P點在右眼視點的入射角的平方值，為空間P點在左 眼視點的方位角，為空間P點在右眼視點的方位角； 將單視點坐標(biāo)Om(〇,〇,〇)作為左眼視點的坐標(biāo)，用公式（14)計算出空間P點在右眼視 點的坐標(biāo)；
將單視點坐標(biāo)Om(〇,〇,〇)作為中央眼的坐標(biāo)，用公式（15)計算出空間P點在左右眼視 點的坐標(biāo)；
其中，B為兩眼間的距離。
8.如權(quán)利要求3所述的3D全景顯示繪制方法，其特征在于，所述的3D全景顯示繪制方 法還包括繪制以人為中心的觀察距離變化立體透視圖，用于根據(jù)觀察者不斷改變在3D環(huán) 境中的自身空間位置，從人機(jī)工程的角度確定視場范圍，來繪制全景立體圖；具體包括： 首先，當(dāng)觀測者由遠(yuǎn)及近漫游場景時，相對觀測者的視點來說空間上的P(h，β，Γ)變 成了 P (hD，β D，rD)，將觀察的方向作為Y軸，那么當(dāng)觀測者由遠(yuǎn)及近漫游場景時只是在Y軸 上移動了一個距離D，將柱坐標(biāo)系的點云P(h，β， Γ)點先用公式（16)進(jìn)行；
轉(zhuǎn)換成笛卡爾坐標(biāo)系的點云P(x，y，z)點，移動后新的視點0'm(0,0,0)與原視點 〇m(〇,〇,〇)的移動距離為D，用公式（17)和公式（18)表示，
用公式（19)計算出在新的視點0'm(0,0,0)坐標(biāo)系下所有點云的坐標(biāo)P(x'，y'，z'）， 然后將笛卡爾坐標(biāo)系的點云P(x'，y'，z'）點再轉(zhuǎn)換成高斯坐標(biāo)系的點云P(h'，β '，r'），將 移動后的視點〇'm(〇,〇,〇)作為中央眼的坐標(biāo)，用公式（19)計算出空間點P(h'，β'， Γ'）在 左右眼視點的坐標(biāo)；在新視點〇'm(〇,〇,〇)的視域需要在公式（19)計算結(jié)果上通過新視點 〇' m(〇,〇,〇)的入射角α'和方位角β'來確定，然后用以人為中心的立體透視圖顯示繪制 方法繪制在新視點〇'">(〇,〇,〇)的立體透視圖；在新視點〇'">(〇,〇,〇)的以人為中心的全景立 體循環(huán)顯示繪制采用以人為中心的全景立體圖循環(huán)顯示繪制方法；
式中，h\為新的視點0' m(0, 0, 0)坐標(biāo)系下空間P點在右眼視點的高度，為新的視 點0'm(0,0,0)坐標(biāo)系下空間P點在右眼視點的入射角，為新的視點0'm(0,0,0)坐標(biāo)系 下空間P點在左眼視點的方位角，h' κ為新的視點0' m(0, 0, 0)坐標(biāo)系下空間P點在左眼視 點的高度，r'κ為新的視點0'm(0, 0, 0)坐標(biāo)系下空間P點在左眼視點的入射角，β ' κ為新的 視點〇' m (〇, 〇, 〇)坐標(biāo)系下空間P點在右眼視點的方位角。
9. 如權(quán)利要求3所述的3D全景顯示繪制方法，其特征在于，所述的第一全方位面激光、 第二全方位面激光和第三全方位面激光分別為藍(lán)色線激光、紅色線激光和綠色線激光，藍(lán) 色線激光和綠色線激光安裝在紅色線激光的上下兩側(cè)，且所有線激光的軸線相交于所述導(dǎo) 向支撐桿的軸心線上的一點。
10. 如權(quán)利要求9所述的3D全景顯示繪制方法，其特征在于，所述的3D全景顯示繪制 方法還包括以物為中心的全景繪制顯示，根據(jù)以全方位視覺傳感器的單視點O m為坐標(biāo)原點 的3D全景模型的點云數(shù)據(jù)，用移動體激光光源掃描全景場景時產(chǎn)生的掃描切片，提取出藍(lán) 色、紅色和綠色全方位面激光投射所產(chǎn)生的點云數(shù)據(jù)，生成點云數(shù)據(jù)矩陣，實現(xiàn)以物為中心 的全景繪制顯示。
【文檔編號】G01C11/00GK104374374SQ201410632152
【公開日】2015年2月25日 申請日期:2014年11月11日 優(yōu)先權(quán)日:2014年11月11日
【發(fā)明者】湯一平, 周偉敏, 魯少輝, 韓國棟, 吳挺, 陳麒, 韓旺明, 胡克鋼, 王偉羊 申請人:浙江工業(yè)大學(xué)