基于深度攝像機(jī)的手持cave投影系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及基于深度攝像機(jī)的手持CAVE投影系統(tǒng)，屬于CAVE投影陳展技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 數(shù)字博物館可以使文化遺產(chǎn)突破原有技術(shù)條件和保存方式的限制，得到有效保 護(hù)。同時憑借互聯(lián)網(wǎng)龐大的受眾群體和快捷的傳播速度，可以大大提升文化遺產(chǎn)的文化傳 承功能。陳展技術(shù)作為數(shù)字博物館的關(guān)鍵技術(shù)，憑借多媒體、互動化、虛擬化的特點豐富了 參觀者的游覽體驗，更易于生動揭示展品內(nèi)涵與價值。然而，目前對于陳展技術(shù)的開發(fā)大多 停留在通過個人電腦，在小型的二維屏幕上實現(xiàn)圖文展示或虛擬漫游的形式上。這些展示 技術(shù)在沉浸性上存在不足，顯示畫面較小，在大型場景和文物的顯示上視覺沖擊力不夠。同 時由于在電腦前采用坐姿，通過鍵盤鼠標(biāo)進(jìn)行的人機(jī)交互一定程度上會造成人與場景之間 的隔閡。針對這一問題，又提出了使用CAVE系統(tǒng)進(jìn)行數(shù)字陳展。
[0003] CAVE系統(tǒng)是一種由被投影墻組成的高度沉浸的虛擬演示環(huán)境，用戶可以在被投影 墻包圍的環(huán)境中近距離接觸虛擬三維物體，或者隨意漫游虛擬環(huán)境。CAVE系統(tǒng)可用于虛擬 展示、虛擬設(shè)計、模擬訓(xùn)練、模擬軍事指揮、建筑設(shè)計與城市規(guī)劃等。相對于在小型的二維屏 幕上進(jìn)行圖文瀏覽或三維漫游的虛擬現(xiàn)實展示方式，CAVE系統(tǒng)可以使參觀者在一個實體空 間內(nèi)自由走動，因此具有更好的沉浸性、更大的顯示畫面、更強(qiáng)的視覺沖擊力，尤其適合展 示大型場景和物體。但傳統(tǒng)的CAVE投影系統(tǒng)需要專門的設(shè)備和場地，不適合小型機(jī)構(gòu)和個 人用戶使用。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明目的是為了解決現(xiàn)有CAVE投影系統(tǒng)進(jìn)行陳展演示，需要專業(yè)的設(shè)備和場 地，成本高并且使用不便的問題，提供了一種基于深度攝像機(jī)的手持CAVE投影系統(tǒng)。
[0005] 本發(fā)明所述基于深度攝像機(jī)的手持CAVE投影系統(tǒng)，它包括手持投影儀、計算機(jī)和 多個深度傳感器，
[0006] 多個深度傳感器用于測量獲得用戶所在空間墻壁的三維信息；同時，距離用戶最 近的一臺深度傳感器還用于測量手持投影儀與用戶所在空間墻壁之間的距離、角度關(guān)系；
[0007] 計算機(jī)用于根據(jù)用戶所在空間墻壁的三維信息構(gòu)建虛擬墻壁，并根據(jù)虛擬墻壁對 待展示圖像進(jìn)行重構(gòu)，獲得與虛擬墻壁寬高比例相一致的重構(gòu)圖像，再將重構(gòu)圖像用紋理 貼圖的方式映射在虛擬墻壁上，獲得欲投影畫面；計算機(jī)還用于根據(jù)手持投影儀與用戶所 在空間墻壁之間的距離、角度關(guān)系計算獲得手持投影儀在用戶所在空間墻壁的照射范圍， 并實時根據(jù)相應(yīng)的欲投影畫面生成對應(yīng)于所述照射范圍的投影畫面；
[0008] 手持投影儀用于將計算機(jī)生成的投影畫面投射在用戶所在空間墻壁上，隨著用戶 在空間范圍內(nèi)的走動或者手臂動作的改變，實現(xiàn)探索式、沉浸式實景漫游。
[0009] 所述待展示圖像的獲得方法為：
[0010] 使用數(shù)碼相機(jī)采集獲取展示場景內(nèi)的每一面墻壁的場景圖像，所述每一面墻壁分 別均勻分成若干個子區(qū)域，使用數(shù)碼相機(jī)首先采集每一面墻壁的每一個子區(qū)域圖像，并對 所有子區(qū)域圖像進(jìn)行畸變校正，獲得每一個子區(qū)域場景圖像；再對每一面墻壁的所有子區(qū) 域場景圖像進(jìn)行拼接，獲得每一面墻壁的場景圖像，作為一幅待展示圖像；對每一面墻壁的 待展示圖像進(jìn)行編號，存入場景圖像數(shù)據(jù)庫。
[0011] 采用多個深度傳感器測量獲得用戶所在空間墻壁的三維信息的具體方法為：
[0012] 首先對多個深度傳感器進(jìn)行標(biāo)定：在空間內(nèi)放置棋盤格標(biāo)定板，并多次移動棋盤 格標(biāo)定板的放置位置5-10次，棋盤格標(biāo)定板的放置位置使所有深度傳感器能夠完整拍攝 獲得棋盤格標(biāo)定板圖像；每一次移動棋盤格標(biāo)定板的放置位置時，采用所有深度傳感器自 帶的彩色攝像頭，分別同步拍攝獲得棋盤格標(biāo)定板圖像；
[0013] 然后計算深度傳感器的變換矩陣，將多個深度傳感器統(tǒng)一到共同的坐標(biāo)系內(nèi)：采 用標(biāo)定模塊對所有拍攝獲得的棋盤格標(biāo)定板圖像進(jìn)行處理，指定多個深度傳感器中的一臺 深度傳感器作為基準(zhǔn)深度傳感器，以基準(zhǔn)深度傳感器拍攝獲得的棋盤格標(biāo)定板圖像為基 準(zhǔn)，再根據(jù)其它深度傳感器拍攝獲得的棋盤格標(biāo)定板圖像計算獲得所述其它深度傳感器的 旋轉(zhuǎn)矩陣和平移矩陣，根據(jù)所述旋轉(zhuǎn)矩陣和平移矩陣的相應(yīng)參數(shù)，對所述其它深度傳感器 拍攝獲得的棋盤格標(biāo)定板圖像進(jìn)行坐標(biāo)變換，將多個深度傳感器統(tǒng)一到共同的坐標(biāo)系內(nèi)；
[0014] 多個深度傳感器首先測量獲得用戶所在空間墻壁的三維深度數(shù)據(jù)，使用處理函數(shù) 將所述三維深度數(shù)據(jù)轉(zhuǎn)換為三維點云形式，同時根據(jù)標(biāo)定所得的旋轉(zhuǎn)矩陣和平移矩陣對三 維點云形式的坐標(biāo)值進(jìn)行變換，獲得經(jīng)過整合的三維點云數(shù)據(jù)集；
[0015] 對三維點云數(shù)據(jù)集進(jìn)行統(tǒng)計，計算獲得用戶所在空間的長度、寬度和高度，再估算 獲得用戶所在空間各個墻壁的位置、大小，將所述用戶所在空間作為由六面墻壁構(gòu)成的方 盒模型；由各個墻壁的位置、大小，計算獲得方盒模型中每個頂點的坐標(biāo)，進(jìn)而建立方盒模 型的幾何模型，該幾何模型在三維空間中與用戶所在空間的大小相同，由此獲得用戶所在 空間墻壁的三維信息。
[0016] 獲得欲投影畫面的具體方法為：
[0017] 將構(gòu)成所述幾何模型的六面墻壁作為虛擬墻壁，首先將場景圖像數(shù)據(jù)庫中待展示 圖像與虛擬墻壁進(jìn)行配對：將每一面虛擬墻壁與每一張待展示圖像進(jìn)行編號，列舉所有匹 配方案，計算所有匹配方案中虛擬墻壁與待展示圖像寬高比差值的絕對值之和最小的匹配 方案作為配對的最優(yōu)方案；
[0018] 對待展示圖像進(jìn)行縮放、重排布處理與紋理貼圖：將待展示圖像根據(jù)紋理豐富程 度、失真程度及展示重要程度劃分為前景區(qū)域和背景區(qū)域；再對背景區(qū)域進(jìn)行拉伸處理，使 背景區(qū)域與相應(yīng)虛擬墻壁的寬高比相符合，此時待展示圖像中未被背景區(qū)域填充的部分成 為沒有實際圖像內(nèi)容的空洞區(qū)域；再根據(jù)前景區(qū)域與空洞區(qū)域的位置關(guān)系，將每一個前景 區(qū)域?qū)?yīng)的圖像放置到相對應(yīng)的空洞區(qū)域的中心位置，同時對前景區(qū)域進(jìn)行等比例縮放， 使其完全填滿空洞區(qū)域，獲得了重構(gòu)圖像；
[0019] 由此，重構(gòu)圖像與虛擬墻壁具有了相等的寬高比，采用紋理貼圖的方式，將重構(gòu)圖 像映射在虛擬墻壁上，獲得欲投影畫面。
[0020] 獲得手持投影儀在用戶所在空間墻壁的照射范圍的具體方法為：
[0021] 首先通過距離用戶最近的一臺深度傳感器和人體骨骼識別模塊對用戶人體關(guān)節(jié) 進(jìn)行捕捉和跟蹤，獲取用戶持有手持投影儀一側(cè)手臂的掌心與肘關(guān)節(jié)的空間坐標(biāo)，根據(jù)二 者的空間坐標(biāo)確定一條射線，并視該射線與手持投影儀光心射出光線的中軸線重合；
[0022] 建立以手持投影儀所在位置為原點的三維空間局部坐標(biāo)系：將持有手持投影儀一 側(cè)手臂的掌心位置作為手持投影儀所在位置，視用戶腕關(guān)節(jié)與肘關(guān)節(jié)的連線與手持投影儀 光心射出的光線平行；
[0023] 設(shè)定腕關(guān)節(jié)在世界坐標(biāo)系中的坐標(biāo)為（xw，yw，z w)，肘關(guān)節(jié)在世界坐標(biāo)系中的坐標(biāo) 為（Xe，^ ，根據(jù)二者的坐標(biāo)之差計算獲得向量nQ:
[0024] n0= [ (X e_xw)，（ye_yw)，（ze-z w)]，
[0025] 其中Iitl的方向與手持投影儀射出的光線方向相反；
[0026] 在世界坐標(biāo)系中，選取豎直方向向量（0, 1，0)，則獲得向量Utl為：
[0027] U0= (0, 1,0) Xn0,
[0028] u。垂直于向量nQ;
[0029] 再根據(jù)向量uQ、nQ，獲得向量vQ:
[0030] v0=n0Xu0，
[0031] V。分別垂直于向量uQ、n0;
[0032] 基于向量1?AUc^Pvtl構(gòu)建一個右手坐標(biāo)系，則該右手坐標(biāo)系的原點為（x w, yw, zw);
[0033] 將向量rviv^P Vci標(biāo)準(zhǔn)化，獲得相應(yīng)的向量n、u和v，則在世界坐標(biāo)系xyz中向量 n、u和V的坐標(biāo)分別為（xu, yu, zu)、（xv, yv, zv)、（xn, yn, zn);由此獲得將世界坐標(biāo)系xyz中的 坐標(biāo)點轉(zhuǎn)換為局部坐標(biāo)系mm中坐標(biāo)點的轉(zhuǎn)換矩陣C :
【主權(quán)項】
1. 一種基于深度攝像機(jī)的手持CAVE投影系統(tǒng)，其特征在于，它包括手持投影儀（I)、計 算機(jī)（2)和多個深度傳感器（3)， 多個深度傳感器（3)用于測量獲得用戶所在空間墻壁的三維信息；同時，距離用戶最 近的一臺深度傳感器（3)還用于測量手持投影儀（1)與用戶所在空間墻壁之間的距離、角 度關(guān)系； 計算機(jī)（2)用于根據(jù)用戶所在空間墻壁的三維信息構(gòu)建虛擬墻壁，并根據(jù)虛擬墻壁對 待展示圖像進(jìn)行重構(gòu)，獲得與虛擬墻壁寬高比例相一致的重構(gòu)圖像，再將重構(gòu)圖像用紋理 貼圖的方式映射在虛擬墻壁上，獲得欲投影畫面；計算機(jī)（2)還用于根據(jù)手持投影儀（1)與 用戶所在空間墻壁之間的距離、角度關(guān)系計算獲得手持投影儀（1)在用戶所在空間墻壁的 照射范圍，并實