專利名稱：基于增強現(xiàn)實技術(shù)的生命探測與救援系統(tǒng)及其實現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于增強現(xiàn)實技術(shù)的生命探測與救援系統(tǒng)及其實現(xiàn)方法。
背景技術(shù)：
隨著城市化進程逐步加快，城鄉(xiāng)建(構(gòu))筑物的規(guī)模、高度以及跨度都逐漸增加， 人口密度也越來越大，地震災(zāi)害造成的潛在危險性與日俱增，一旦發(fā)生破壞性地震，將造成 人民生命財產(chǎn)的巨大損失。如何最大限度地減輕地震災(zāi)害造成的損失，是各國防震減災(zāi)工 作的重要任務(wù)，其中如何搶救被壓埋人員，有效地減少人員傷亡是減輕災(zāi)害損失的首要任 務(wù)，也是最能體現(xiàn)出減災(zāi)實效的關(guān)鍵環(huán)節(jié)。據(jù)有關(guān)專家調(diào)查統(tǒng)計，唐山地震發(fā)生后，第一 天將被壓埋人員救出救活率為81%，第二天內(nèi)救出救活率為53%，第三天內(nèi)救出救活率為 36. 7%，第四天內(nèi)救出救活率為19%，第五天內(nèi)救出救活率為7. 4%，越晚救活的希望就越小。 上述數(shù)據(jù)表明，實施救助的時間越早，救出的人員越多；尤其震后72小時是救助被埋人員 的關(guān)鍵時期。國內(nèi)、外歷次大震救援的事實證明，對壓埋人員搶救越快越及時，救出救活的 可能性越大。因此，震后對于被埋人員的迅速定位、迅速救援就成了救災(zāi)的關(guān)鍵，同時這也 對救援技術(shù)和設(shè)備提出了更高的要求。目前，我國的地震救援隊已配備了搜救犬和多種搜 救儀器，包括聲波振動生命探測儀、光學(xué)生命探測儀、紅外聲明探測儀等。這些手段雖然能 夠探測到生命信息的存在，但是對于精確定位方面做得還很不夠，以致于耽誤了寶貴的救 援時間。因此如何進行精確定位、可視救援在當前抗震救援中的一個亟待解決的難題。增強現(xiàn)實(AR，AUgmentedReality)，通常也稱作擴充現(xiàn)實、增強視覺或增強現(xiàn)實視 覺，是近年來國際上在虛擬現(xiàn)實研究的基礎(chǔ)上發(fā)展出來的一個新的研究方向，也是虛擬現(xiàn) 實研究領(lǐng)域的一個難點熱點問題。增強現(xiàn)實技術(shù)就是將計算機生成的虛擬圖像或其他信息 有機地、實時地、動態(tài)地疊加(或融合)在觀察者所看到的現(xiàn)實環(huán)境當中，并且這些虛擬信息 與用戶周圍的現(xiàn)實環(huán)境融為一體，使用戶從感官效果上確信虛擬環(huán)境是其周圍真實環(huán)境的 有機組成部分，當用戶在真實場景中移動時，虛擬物體也隨之發(fā)生變化，就好像這些虛擬物 體是真的存在于真實場景中一樣。這種增強信息可以是在真實環(huán)境中與真實物體共存的虛 擬物體，也可以是關(guān)于存在的真實物體的非幾何信息。從目前國內(nèi)外發(fā)展的現(xiàn)狀來看，增強 現(xiàn)實系統(tǒng)仍然處于實驗室階段，目前已開發(fā)成功的跟蹤注冊技術(shù)一般需要在環(huán)境可控的條 件下才可以取得精確的結(jié)果。相對于室內(nèi)增強現(xiàn)實系統(tǒng)的發(fā)展，室外增強現(xiàn)實系統(tǒng)的發(fā)展 相對滯后。要將虛擬圖像準確地疊加在客觀世界的場景上，就必須精確、實時地確定用戶的 位置和視線方向。對于室外增強現(xiàn)實系統(tǒng)，目前國際上通常采用的跟蹤定位方法主要分三 類基于計算機視覺的注冊定位、基于跟蹤設(shè)備的注冊定位、基于視覺和跟蹤設(shè)備的混合注 冊定位?；谟嬎銠C視覺的三維注冊方法以計算機視覺理論為基礎(chǔ)，對CCD攝像機拍攝到 的現(xiàn)實環(huán)境圖像進行處理與識別，獲取跟蹤信息，其特點是設(shè)備簡單、成本低廉，目前對基 于計算機視覺的注冊技術(shù)的研究在AR領(lǐng)域處于主導(dǎo)地位。但是對于大范圍未知的戶外環(huán) 境，采用計算機視覺的注冊方式并不合適。采用高精度定位方式，例如GPSRTK技術(shù)可以將定位精度達到厘米級，完全可以滿足戶外增強現(xiàn)實系統(tǒng)的需求。利用增強現(xiàn)實技術(shù)將生命探測儀探測到的被埋人員信息實時疊加到救援人員所 看到的現(xiàn)場視頻圖像上，就可以使救援人員實時看到被埋人員，不但使救援更加有的放矢， 更重要是節(jié)省了寶貝的救援時間，具有重要的現(xiàn)實意義。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了解決上述問題，提供一種基于增強現(xiàn)實技術(shù)的生命探測與 救援系統(tǒng)及其實現(xiàn)方法，它可以在救援現(xiàn)場快速、精確定位被埋人員，并生成增強現(xiàn)實圖 像，指導(dǎo)救援的實現(xiàn)。為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案 一種基于增強現(xiàn)實技術(shù)的生命探測與救援系統(tǒng)，它包括集成了三維電子羅盤的生命探 測儀，三維電子羅盤和生命探測儀均與穿戴式計算機連接；同時穿戴式計算機還與定位設(shè) 備以及頭盔顯示器連接，并且頭盔顯示器也集成了三維電子羅盤和CXD攝像機。所述定位設(shè)備為GPS接收機或光學(xué)或電磁或聲學(xué)定位設(shè)備。所述生命探測儀、定位設(shè)備以及頭盔顯示器與穿戴式計算機采用有線連接或無線 連接方式。一種基于增強現(xiàn)實技術(shù)的生命探測與救援系統(tǒng)方法，它的具體步驟為
a.通過高精度定位設(shè)備進行實時、精確的測定救援人員的三維位置；
b.利用三維電子羅盤與生命探測儀，獲得在某一已知位置點測定指向被埋人員的三維 方向信息，即指向被埋人員的生命探測儀天線的三維角度信息；
c.通過至少兩點的測量，得出被埋人員位置的三維坐標，具體計算方法如下
設(shè)過已知觀測點召P2Ci2 .y2;%)......:Px<X,yx’zJ且已測定方向的η條直線
4Λ......4 ,其中，η為自然數(shù)；則各直線方程如下
H1=
COSiT1 COS ,4 COS Y1
X_X2 — _ Z-Z2 cos <X2 COS 爲 COS Y2
_y~>\ — z-z,
cos aa cos 總 cos Y1t
其中 c。sOp cos β^ cosyrcoso:r cos β2-cos ？''a......cos cos 總，Cosyi 分別是各直線的方
向余弦，對于η條直線…,4 ,理論上應(yīng)該相交于一點A，由于測量誤差的存在，不會相
交于一點，但總能分別求出到兩兩直線的最短點為,劣,…乂，則i的平均值即為最優(yōu)值；
d.通過穿戴式計算機的三維虛擬圖形繪制軟件，利用步驟a和步驟b所得到的信息參 數(shù)以及通過步驟c得到的三維坐標實時繪制出基于被埋人員三維位置的虛擬圖形；
e.通過救援人員穿戴的頭盔顯示器上的CXD攝像機獲取救援現(xiàn)場的視頻圖像；
f.通過救援人員穿戴的頭盔顯示器上的高精度三維電子羅盤可以得到救援人員視線方向信息；
g.將步驟d所得到的被埋人員位置的虛擬圖像利用穿戴式計算機內(nèi)的增強現(xiàn)實軟件，得到疊加了被埋人員虛擬圖形的視頻圖像；
h.將步驟g得到的增強現(xiàn)實圖像傳輸?shù)骄仍藛T穿戴的頭盔顯示器上，使救援人員實 時看到疊加了被埋人員三維虛擬圖形的視頻圖像；
i.當救援人員的位置和視線方向發(fā)生變化的時候，其所看到的被埋人員的虛擬圖形也 相應(yīng)地發(fā)生變化。本發(fā)明的基于增強現(xiàn)實技術(shù)的生命探測與救援系統(tǒng)及其實現(xiàn)方法，它包括生命探 測設(shè)備、高精度三維電子羅盤、定位設(shè)備、穿戴式電腦、頭盔顯示器等硬件設(shè)備及其相應(yīng)的 軟件，各種設(shè)備均通過相應(yīng)接口集成到穿戴式電腦上，并通過穿戴式電腦上運行的增強現(xiàn) 實系統(tǒng)處理相應(yīng)的數(shù)據(jù)。本發(fā)明的有益效果是可以通過生命探測儀和三維電子羅盤實現(xiàn)對被埋人員的快 速、精確定位，在救援現(xiàn)場通過救援人員佩戴的頭盔顯示器可以實時看到疊加了被埋人員 三維虛擬圖形的視頻圖像，就像救援人員能真的看到被埋人員一樣，并且其所看到的被埋 人員的虛擬圖形隨著救援人員位置和視線方向的變化而相應(yīng)的變化。從而可以更好的指導(dǎo) 救援，縮短了救援時間。


圖1本發(fā)明專利的系統(tǒng)結(jié)構(gòu)圖。圖2本發(fā)明工作流程示意圖。圖3為利用生命探測儀及定位定向設(shè)備來測定被埋人員位置原理圖。其中，1.生命探測儀，2.三維電子羅盤，3.定位設(shè)備，4.頭盔顯示器，5.穿戴式計 算機，6. CXD攝像機。
具體實施例方式下面結(jié)合附圖和實施例對本發(fā)明專利作進一步說明。圖1中，本系統(tǒng)集成了生命探測儀1、高精度的三維電子羅盤2、高精度的定位設(shè)備 3、穿戴式計算機5、頭盔顯示器4等硬件設(shè)備及相應(yīng)的軟件，其中頭盔顯示器4集成了三維 電子羅盤2和CXD攝像機6。通過生命探測儀1、三維電子羅盤2、定位設(shè)備3的多點(至少 兩點)測量可以精確地測定被埋人員的三維位置，通過穿戴式計算機中5的圖形處理軟件 繪制出基于被埋人員三維位置的虛擬圖形，然后通過定位設(shè)備3、穿戴式計算機5、頭盔顯 示器4及穿戴式計算機5中的增強現(xiàn)實軟件系統(tǒng)可以使救援人員實時看到疊加了被埋人員 三維虛擬圖形的現(xiàn)場視頻圖像，并且隨著救援人員位置和視線方向的變化而相應(yīng)地發(fā)生變 化。本發(fā)明涉及到基于增強現(xiàn)實技術(shù)的生命探測與救援系統(tǒng)及其實現(xiàn)方法，該方法利 用高精度定位手段(例如GPSRTK等)實時、精確測定救援人員的三維位置；通過將高精度 三維電子羅盤與生命探測儀集成，可以在某一已知位置點測定指向被埋人員的三維方向信 息，即指向被埋人員的生命探測儀天線的三維角度信息；通過多點(至少兩點)的探測，可以 解求出被埋人員位置的三維坐標；通過穿戴式電腦的三維虛擬圖形繪制軟件，并利用所獲取的坐標系轉(zhuǎn)換參數(shù)實時繪制出基于被埋人員三維位置的虛擬圖形；通過救援人員攜帶的 頭盔顯示器可以實時看到疊加了被埋人員三維虛擬圖形的視頻圖像，當救援人員的位置和 視線方向發(fā)生變化的時候，其所看到的被埋人員的虛擬圖形也相應(yīng)地發(fā)生變化，就像真的 看到被埋人員一樣，可以更好的指導(dǎo)救援。本發(fā)明的工作流程如圖2所示
a.通過高精度定位手段(例如GPSRTK等)可以實時、精確測定救援人員(即生命探測儀) 的三維位置；
b.通過將高精度三維電子羅盤與生命探測儀集成，可以在某一已知位置點測定指向被 埋人員的三維方向信息，即指向被埋人員的生命探測儀天線的三維角度信息；
c.通過至少兩點的測量，得出被埋人員位置的三維坐標，具體計算方法如下
設(shè)過已知觀測點召O1JU+ P2(ZW2)…….Ps(Ws)且已測定方向的η條直線
4Λ......4 ,其中，η為自然數(shù)；則各直線方程如下
χι _》'— _ ζ~ζι cos Q11 cos A cos
COS Ci2 COS βΑ COS Y2
x —二 z — z 龍
cosas cos 總 Cos^a 其中 C0SO|, COS 疼 COS ^rCOSOfy COS 爲,COS Y2......COS α COS β及、COS^s 分別是各直線的方
向余弦，對于η條直線…,4 ,理論上應(yīng)該相交于一點Α，由于測量誤差的存在，不會相
交于一點，但總能分別求出到兩兩直線的最短點劣,…，則i的平均值即為最優(yōu)值；
d.通過穿戴式電腦的三維虛擬圖形繪制軟件，并利用步驟a和步驟b所得到的信息參 數(shù)以及通過步驟c得到的三維坐標可以實時繪制出基于被埋人員三維位置的虛擬圖形；
e.通過救援人員穿戴的頭盔顯示器上的CCD攝像機可以獲取救援現(xiàn)場的視頻圖像；
f.通過救援人員穿戴的頭盔顯示器上集成的高精度三維電子羅盤可以得到救援人員 視線方向信息；
g.將步驟d所得到的被埋人員位置的三維虛擬圖形利用穿戴式電腦內(nèi)的虛擬圖像和 視頻圖像實時疊加軟件，得到增強現(xiàn)實圖像。h.將通過步驟g得到的增強現(xiàn)實圖像傳輸?shù)骄仍藛T穿戴的頭盔顯示器上，就可 以得到疊加了被埋人員三維虛擬圖像的視頻圖像。i.當救援人員的位置(步驟a)和視線方向(步驟f)發(fā)生變化的時候，其所看到的 被埋人員的虛擬圖形也相應(yīng)地發(fā)生變化，就像真的看到被埋人員一樣，可以更好的指導(dǎo)救援。步驟a中利用高精度定位手段實時測定救援人員的三維坐標。步驟b中將高精度三維電子羅盤與生命探測儀進行集成，當生命探測儀探測到有 生命信息存在時，生命探測儀天線所指示的方向即為生命信息存在的方向，此時可通過集成的高精度三維電子羅盤來測定生命探測儀天線的三維方向。步驟c中每個點的測定都包含了步驟a和步驟b，可以通過重復(fù)多點(至少兩點) 的測定，解算出被埋人員的三維位置坐標。步驟d中，根據(jù)步驟a和步驟b所得到的信息可以計算出相關(guān)坐標系轉(zhuǎn)換參數(shù)，將 解算出的被埋人員的三維坐標轉(zhuǎn)換到頭盔顯示器上的CCD攝像機坐標系，并通過穿戴式電 腦中的三維圖形繪制軟件，繪制出基于被埋人員三維位置的虛擬圖形。步驟e中，救援人員可以通過其穿戴的頭盔顯示器上的CXD攝像機獲取現(xiàn)場的視 頻圖像。步驟f中，救援人員可以通過穿戴的頭盔顯示器上的高精度三維電子羅盤來實時 獲取視線方向的三維信息。步驟g中，通過救援人員穿戴式電腦中的增強現(xiàn)實功能軟件，實現(xiàn)被埋人員虛擬 圖形與現(xiàn)場視頻圖像的實時疊加。步驟h中，救援人員通過其穿戴的頭盔顯示器可以實時看到疊加了被埋人員虛擬 圖形的救援現(xiàn)場視頻圖像，頭盔顯示器和穿戴式電腦相連接。
步驟i中，當救援人員的位置和視線方向發(fā)生變化的時候，疊加的虛擬圖形也相 應(yīng)地發(fā)生變化，就像救援人員真的看到被埋人員一樣，這樣就可以高效地指導(dǎo)救援工作進 行。本發(fā)明利用生命探測儀及定位定向設(shè)備測定被埋人員位置的原理示意圖如 圖3所示，救援人員通過生命探測儀及定位定向設(shè)備測量并求出某一點的三維位置 P1(^yliZ1)和三維方向(鉺，AJ1),同理獲取第二點的三維位置巧(Z2J2J2)和三維方向
、直至獲取第η點的三維位置巧(Λ,八，、)和三維方向(《s，AlJ，通過相關(guān) 的空間解析幾何公式可以解算出被埋人員的三維位置坐標。
權(quán)利要求
一種基于增強現(xiàn)實技術(shù)的生命探測與救援系統(tǒng)，其特征是，它包括集成了三維電子羅盤的生命探測儀，三維電子羅盤和生命探測儀均與穿戴式計算機連接；同時穿戴式計算機還與定位設(shè)備以及頭盔顯示器連接，并且頭盔顯示器也集成了三維電子羅盤和CCD攝像機。
2.如權(quán)利要求1所述的基于增強現(xiàn)實技術(shù)的生命探測與救援系統(tǒng)，其特征是，所述定 位設(shè)備為GPS接收機或光學(xué)或電磁或聲學(xué)定位設(shè)備。
3.如權(quán)利要求1所述的基于增強現(xiàn)實技術(shù)的生命探測與救援系統(tǒng)，其特征是，所述生 命探測儀、定位設(shè)備以及頭盔顯示器與穿戴式計算機采用有線連接或無線連接方式。
4.一種基于增強現(xiàn)實技術(shù)的生命探測與救援系統(tǒng)方法，其特征是，它的具體步驟為a.通過高精度定位設(shè)備進行實時、精確的測定救援人員的三維位置；b.利用三維電子羅盤與生命探測儀，獲得在某一已知位置點測定指向被埋人員的三維 方向信息，即指向被埋人員的生命探測儀天線的三維角度信息；c.通過至少兩點的測量，得出被埋人員位置的三維坐標，具體計算方法如下設(shè)過已知觀測點召⑷乃，巧)、P20^v2，％)......且已測定方向的n條直線kA......4 ,其中，n為自然數(shù)；則各直線方程如下<formula>formula see original document page 2</formula>cosas cos 總 cos ys 其中 C0SO|, COS 疼 COS COS CL'2% cos 爲、cos }J2......COS^, COS 各 C0S^s 分別是各直線的方向余弦，對于n條直線^石，…分別求出到兩兩直線的最短點為，劣，■■■，‘，則i的平均 值即a為最優(yōu)值；d.通過穿戴式計算機的三維虛擬圖形繪制軟件，利用步驟a和步驟b所得到的信息參 數(shù)以及通過步驟c得到的三維坐標實時繪制出基于被埋人員三維位置的虛擬圖形；e.通過救援人員穿戴的頭盔顯示器上的(XD攝像機獲取救援現(xiàn)場的視頻圖像；f.通過救援人員穿戴的頭盔顯示器上的高精度三維電子羅盤可以得到救援人員視線 方向信息；g.將步驟d所得到的被埋人員位置的虛擬圖像利用穿戴式計算機內(nèi)的增強現(xiàn)實軟件， 得到疊加了被埋人員虛擬圖形的視頻圖像；h.將步驟g得到的增強現(xiàn)實圖像傳輸?shù)骄仍藛T穿戴的頭盔顯示器上，使救援人員實 時看到疊加了被埋人員三維虛擬圖形的視頻圖像；i.當救援人員的位置和視線方向發(fā)生變化的時候，其所看到的被埋人員的虛擬圖形也 相應(yīng)地發(fā)生變化。
全文摘要
本發(fā)明涉及一種基于增強現(xiàn)實技術(shù)的生命探測與救援系統(tǒng)及其實現(xiàn)方法。它包括集成了三維電子羅盤的生命探測儀，三維電子羅盤和生命探測儀均與穿戴式計算機連接；同時穿戴式計算機還與定位設(shè)備以及頭盔顯示器連接，并且頭盔顯示器也集成了三維電子羅盤和CCD攝像機。通過生命探測儀、高精度三維電子羅盤、高精度定位設(shè)備的多點(至少兩點)測量可以精確地測定被埋人員的三維位置，然后通過高精度定位設(shè)備、穿戴式電腦、頭盔顯示器及穿戴式電腦中的增強現(xiàn)實軟件系統(tǒng)可以使救援人員實時看到疊加了被埋人員三維虛擬圖形的現(xiàn)場視頻圖像，并且隨著救援人員位置和視線方向的變化而相應(yīng)地發(fā)生變化，因此可以更好地指導(dǎo)救援工作的進行，縮短了救援時間。
文檔編號G01S15/06GK101833115SQ20101017480
公開日2010年9月15日 申請日期2010年5月18日 優(yōu)先權(quán)日2010年5月18日
發(fā)明者常勇 申請人:山東師范大學(xué)