專利名稱：語音通信系統(tǒng)的制作方法
優(yōu)先權(quán)要求本申請要求享有2004年5月26日提交的日本專利申請JP2004-155733的優(yōu)先權(quán)，該申請的內(nèi)容作為參考在此引入本申請文件。
背景技術(shù)：
本發(fā)明涉及一種技術(shù)，使用該技術(shù)，人們通過媒介主要以語音方式相互交談。
日本專利特開公開No.2002-236031(下文中稱作專利文件1)公開了一種使用GPS技術(shù)的導(dǎo)航系統(tǒng)，該系統(tǒng)基于手提電話用戶的位置信息和其通信伙伴的位置信息來顯示該用戶和其通信伙伴的相對位置信息。
作為使用虛擬空間的會議系統(tǒng)，現(xiàn)有一種由京都大學(xué)開發(fā)的會議系統(tǒng)FreeWalk。參見，例如，NAKANISHI，Hideyuki，YOSHIDA，Chikara，NISHIMURA，Toshikazu和ISHIDA，Toru的“FreeWalkSupport of Non-formalCommunication Using Three-dimensional Virtual Space”，IPSJ Journal，第39卷，第5期，1356頁-1364頁，1998年(下文中稱作非專利文件1)和Nakanishi，H.、Yoshida，C.、Nishimura，T.和Ishida，T.的“FreeWalkA3D Virtual Space for Casual Meetings”，IEEE Multimedia，1999年4月-6月，第2028頁(下文中稱作非專利文件2)。
FreeWalk是會議系統(tǒng)的用戶通過三維圖形共享一個(gè)虛擬空間的一種系統(tǒng)，所述三維圖形是一個(gè)從用戶的觀察點(diǎn)或從他的觀察點(diǎn)附近但能在視野范圍內(nèi)看到他自己的觀察點(diǎn)看到的圖像。三維圖形學(xué)是一種通過計(jì)算機(jī)圖形學(xué)來模擬三維空間的技術(shù)，例如，OpenGL(http//www.opengl.org/)，它是事實(shí)上的標(biāo)準(zhǔn)，以及微軟公司的Direct 3D是為了實(shí)現(xiàn)那個(gè)目標(biāo)的API程序(應(yīng)用程序接口程序)。攝像機(jī)把會話伙伴的圖像拍攝下來，并在虛擬屏幕上實(shí)時(shí)放映，該圖象是從，例如，用戶的觀察點(diǎn)看到的圖像。此外，每個(gè)用戶都能在這個(gè)虛擬空間中自由移動(dòng)。即，每個(gè)用戶可以使用點(diǎn)擊設(shè)備或鍵盤的按鍵來改變他在虛擬空間中的位置。在非專利文件1和2中，當(dāng)距離增加時(shí)語音衰減，但是那些文件沒有提及在下面提到的三維音頻技術(shù)。
此外，現(xiàn)有一種由Interval Research公司開發(fā)的會議系統(tǒng)Somewire。例如參見US5,889,843(下文中稱作專利文件2)、US6,262,711B1(下文中稱作專利文件3)，和Singer，A.、Hindus，D.、Stifelman，L.和White，S.的“Tangible ProgressLess Is More In Somewire Audio Spaces”，ACM CHI’99(關(guān)于在計(jì)算系統(tǒng)中人性因素的會議)，第104頁至第112頁，1999年5月(下文中稱作非專利文件3)。Somewire是會議系統(tǒng)的用戶共享虛擬系統(tǒng)且在相同空間中的用戶能相互交談的一種系統(tǒng)。在Somewire中，語音由高質(zhì)量的立體聲再現(xiàn)。此外，Somewire具有一個(gè)直觀有形的接口，因?yàn)樗捎昧四芡ㄟ^移動(dòng)類似玩偶的圖形來控制虛擬空間中的對話伙伴位置的GUI(圖形用戶接口)。在Somewire中，當(dāng)距離增加時(shí)語音不衰減，而且沒有采用三維音頻技術(shù)。
此外，現(xiàn)有一種由Hewlett-Packard公司開發(fā)的使用分布式3D音頻技術(shù)的會議系統(tǒng)。例如，參見Low，C.和Babarit，L.的“Distributed 3DAudio Rendering”，7th International World Wide Web Conference(WWW7)，1998年，http//www7.scu.edu.au/programme/fullpapers/1912/com1912.htm(下文中稱作非專利文件4)。所述分布式3D音頻技術(shù)是一種把三維音頻技術(shù)應(yīng)用到網(wǎng)絡(luò)系統(tǒng)(所謂的分布式環(huán)境)的技術(shù)。所述三維音頻技術(shù)是一種模擬三維聲學(xué)空間的技術(shù)，并且，例如，由Loki Entertainment Software Inc和其它公司規(guī)定的OpenAL(http//www.opengl.org/)和微軟公司的DirectSound 3D、Creativetechnology，Ltd.的EAX2.0(http//www.atc.dreative.com/algorithms/eax20.pdf)被舉出來作為為了實(shí)現(xiàn)那個(gè)目標(biāo)的幾個(gè)API程序。使用所述三維音頻技術(shù)，在使用揚(yáng)聲器，諸如耳機(jī)或2或4聲道的揚(yáng)聲器的聲音再現(xiàn)中，可以模擬從收聽者的角度聽到的聲源的方向和距離，并且在聲學(xué)空間定位該聲源。此外，通過模擬諸如混響、由物體諸如墻造成的反射、取決于距離的空氣對聲音的吸收、障礙物對聲音的攔截等聲學(xué)特性，能夠表示出存在房間的感覺和在空間中存在物體的感覺。所述三維音頻技術(shù)是立體聲電話再現(xiàn)系統(tǒng)中的一種。除所述三維音頻技術(shù)外，所述立體聲電話再現(xiàn)系統(tǒng)還包括簡單的立體聲電話再現(xiàn)技術(shù)。例如，可以舉出一種在耳機(jī)的左右揚(yáng)聲器中區(qū)分音量以單獨(dú)地再現(xiàn)多個(gè)聲音的立體聲電話再現(xiàn)技術(shù)。
發(fā)明概述有時(shí)，即使手提電話中的通信伙伴在一個(gè)人附近的位置(即，這個(gè)人能看見的位置)，對于那個(gè)人來說要發(fā)現(xiàn)該通信伙伴也是困難的。例如，在擁擠的游樂園和鬧市區(qū)車站，即使一個(gè)人與他的通信伙伴在可視距離內(nèi)通過手提電話相互交談，要在人群中發(fā)現(xiàn)該通信伙伴和接近他也是困難的。此外，在施工地點(diǎn)或類似的地方，有時(shí)掌握看不見的合作工人的工作位置(站)是必要的。
此外，虛擬空間(即，一個(gè)人通過媒介與之通信的通信伙伴)中的通信伙伴在真實(shí)空間中位于附近的情況下，有時(shí)由三維音頻技術(shù)產(chǎn)生的通信伙伴的媒介聲音和真實(shí)空間中的直達(dá)聲從不同方向或以不同的距離被聽到。結(jié)果，會出現(xiàn)不好的情況，即，當(dāng)一個(gè)人響應(yīng)來自真實(shí)空間中位于其附近的通信伙伴的招呼時(shí)，這個(gè)人將他的臉轉(zhuǎn)向不同的方向。
專利文件1在地圖上顯示通信伙伴的位置，但沒有考慮通過語音來辨認(rèn)伙伴的位置。此外，在專利文件2和3以及非專利文件1到4描述的會議系統(tǒng)中沒有考慮通信伙伴在真實(shí)空間中的位置。
考慮到上述的情形提出本發(fā)明。本發(fā)明的一個(gè)目的是提供一種語音通信系統(tǒng)，在該系統(tǒng)中真實(shí)空間與虛擬空間相關(guān)聯(lián)，且能象親身感覺一樣掌握通信伙伴在真實(shí)空間中的相對位置和方向。
為了解決上述問題，本發(fā)明基于真實(shí)空間中的每個(gè)用戶的位置信息來計(jì)算虛擬空間中的多個(gè)用戶的位置。
例如，本發(fā)明提供一種用于通過虛擬空間在多個(gè)用戶之間實(shí)現(xiàn)會話的語音通信系統(tǒng)。
該語音通信系統(tǒng)包括管理在真實(shí)空間中用戶各自位置的服務(wù)器裝置，以及分別被這些用戶使用的多個(gè)客戶終端。
每一個(gè)所述客戶終端包括一個(gè)位置監(jiān)測裝置，該位置監(jiān)測裝置監(jiān)測與該客戶終端自身的用戶在真實(shí)空間中的位置相關(guān)的位置信息；一個(gè)客戶端發(fā)送裝置，該客戶端發(fā)送裝置把該客戶終端自身的用戶在真實(shí)空間中的位置信息發(fā)送到服務(wù)器裝置，該位置信息由所述位置監(jiān)測裝置監(jiān)測；一個(gè)客戶端接收裝置，該客戶端接收裝置從所述服務(wù)器裝置接收與除該客戶終端自身的用戶之外的每一個(gè)其它用戶在真實(shí)空間中的位置相關(guān)的位置信息；一個(gè)空間建模裝置，該空間建模裝置基于該客戶終端自身的用戶的位置信息和每一個(gè)其它用戶的位置信息來計(jì)算用戶在虛擬空間中各自的位置；以及一個(gè)聲音控制裝置，該聲音控制裝置基于通過所述空間建模裝置計(jì)算的位置來控制施加到每一個(gè)其它用戶語音的聲音效果。
所述服務(wù)器裝置包括一個(gè)服務(wù)器接收裝置，對于多個(gè)客戶終端中的每一個(gè)，該服務(wù)器接收裝置從客戶終端接收該客戶終端用戶在真實(shí)空間中的位置信息；一個(gè)存儲裝置，該存儲裝置存儲每一個(gè)用戶在真實(shí)空間中的位置信息，該位置信息由所述服務(wù)器接收裝置接收；以及一個(gè)服務(wù)器發(fā)送裝置，對于客戶終端中的每個(gè)客戶終端，該服務(wù)器發(fā)送裝置把除該客戶終端的用戶之外的其它用戶的位置信息發(fā)送到所述客戶終端，該位置信息存儲在所述存儲裝置中。
附圖簡述

圖1是示出本發(fā)明一個(gè)實(shí)施例的網(wǎng)絡(luò)配置的圖；圖2是示出在該實(shí)施例中每個(gè)裝置的硬件配置的框圖3是示出在該實(shí)施例中一個(gè)客戶端配置的框圖；圖4是示意性示出在該實(shí)施例中真實(shí)空間與虛擬空間之間的映射的圖；圖5是示意性示出在該實(shí)施例中聲源的方向和距離的圖；圖6是示意性示出該實(shí)施例的在音頻渲染器中的處理的圖；圖7示出在該實(shí)施例中顯示虛擬空間的顯示器屏幕的例子；圖8A示出在該實(shí)施例中的客戶端的一個(gè)例子；圖8B示出在該實(shí)施例中的客戶端的一個(gè)例子；圖9是示出在該實(shí)施例中客戶端的網(wǎng)絡(luò)連接處理的流程圖；圖10是示出在該實(shí)施例中客戶端的進(jìn)入處理的流程圖；圖11是示出在該實(shí)施例中客戶端對其用戶自身移動(dòng)的處理的流程圖；圖12是示出在該實(shí)施例中客戶端對另一個(gè)客戶端的用戶移動(dòng)的處理的流程圖；圖13是示出在該實(shí)施例中的平臺服務(wù)器的功能框圖；圖14是示出在該實(shí)施例中平臺服務(wù)器程序的流程圖；圖15是示出帶有一個(gè)聲音服務(wù)器的實(shí)施例的網(wǎng)絡(luò)配置的圖；以及圖16是示出在帶有該聲音服務(wù)器的實(shí)施例中的該聲音服務(wù)器的功能框圖。
優(yōu)選實(shí)施例詳述現(xiàn)在將描述本發(fā)明的實(shí)施例。
圖1示出應(yīng)用本發(fā)明的一個(gè)實(shí)施例的語音通信系統(tǒng)的系統(tǒng)配置。如圖所示，這個(gè)系統(tǒng)包括多個(gè)客戶端201、202和203、管理平臺(presence)的平臺服務(wù)器110、控制會話的SIP代理服務(wù)器120、以及注冊和鑒別用戶的注冊服務(wù)器130，它們通過諸如互聯(lián)網(wǎng)的網(wǎng)絡(luò)101相互連接。這里，平臺指的是虛擬空間本身和在虛擬空間中每個(gè)用戶的位置信息(存在的感覺)。
雖然在本實(shí)施例中存在三個(gè)客戶端，但是客戶端的數(shù)目并不局限于三個(gè)，可以是兩個(gè)、四個(gè)或更多。此外，在本實(shí)施例中，網(wǎng)絡(luò)101由單一區(qū)域組成。然而，一個(gè)網(wǎng)絡(luò)由多個(gè)區(qū)域組成也是可能的，并且這些區(qū)域彼此相連使得通信能夠在多個(gè)區(qū)域上擴(kuò)展。在這種情況下，存在多個(gè)平臺服務(wù)器110、多個(gè)SIP代理服務(wù)器120，以及多個(gè)注冊服務(wù)器130。
接下來，將描述該語音通信系統(tǒng)的硬件配置。
圖2示出中客戶端201、202和203、平臺服務(wù)器110、SIP代理服務(wù)器120和注冊服務(wù)器130中的每一個(gè)的硬件配置。
客戶端201、202和203中的每一個(gè)能由普通計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)，該計(jì)算機(jī)系統(tǒng)包括根據(jù)程序執(zhí)行數(shù)據(jù)處理和計(jì)算的CPU301、存儲器302，CPU301能從該存儲器直接讀和寫，諸如硬盤的外部存儲器303、用于與外部系統(tǒng)進(jìn)行數(shù)據(jù)通信的通信單元304、輸入單元305，以及輸出單元306。例如，可以舉出諸如PDA(個(gè)人數(shù)字助理)、可穿戴的計(jì)算機(jī)，或PC(個(gè)人電腦)一樣的便攜式計(jì)算機(jī)系統(tǒng)。隨后將參考圖3詳細(xì)描述該輸入單元305和該輸出單元306。
平臺服務(wù)器110、SIP代理服務(wù)器120和注冊服務(wù)器130中的每一個(gè)能作為普通計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)，該普通計(jì)算機(jī)系統(tǒng)至少包括根據(jù)程序執(zhí)行數(shù)據(jù)處理和計(jì)算的CPU301、存儲器302，CPU301能從該存儲器直接讀和寫，諸如硬盤的外部存儲器303，以及用于與外部系統(tǒng)進(jìn)行數(shù)據(jù)通信的通信單元304。例如，可能提到服務(wù)器或主機(jī)。
當(dāng)CPU301執(zhí)行上載到或存儲在存儲器302中的某些程序(在客戶端201、202或203的情況下，是用于客戶端的程序；在平臺服務(wù)器110的情況下，是用于平臺服務(wù)器的程序；在SIP代理服務(wù)器120的情況下，是用于代理服務(wù)器的程序；以及在注冊服務(wù)器130情況下，是用于注冊服務(wù)器的程序)時(shí)，下面提到的上述裝置的功能將被一一實(shí)現(xiàn)。
接著參考圖3，將描述客戶端201的輸入單元305和輸出單元306以及客戶端201的功能部件?？蛻舳?02和203具有與客戶端201相似的配置。
至于輸入單元305，客戶端201具有麥克風(fēng)211、攝像機(jī)213、GPS接收機(jī)231、磁傳感器232，以及操作單元(未示出)。至于輸出單元306，客戶端201具有適合三維音頻技術(shù)的耳機(jī)217和顯示器220。該GPS接收機(jī)231從至少三個(gè)GPS人造衛(wèi)星接收GPS信號。并且對于那些(至少三個(gè))GPS人造衛(wèi)星，該GPS接收機(jī)231測量客戶端201與每個(gè)GPS人造衛(wèi)星之間的距離以及該距離變化的速度，以計(jì)算在真實(shí)空間中攜帶該客戶端201的用戶的當(dāng)前位置。該磁傳感器232檢測地球的磁場，并且基于該監(jiān)測結(jié)果，計(jì)算在真實(shí)空間中攜帶該客戶端201的用戶的方向(指南針方向)。也可以使用監(jiān)測移動(dòng)物體旋轉(zhuǎn)角度的回轉(zhuǎn)羅盤代替該磁傳感器232。
至于功能部件，該客戶端201包括音頻編碼器212、音頻渲染器216、視頻編碼器214、圖形渲染器219、空間建模器221、平臺提供器222、音頻通信單元215、視頻通信單元218和會話控制單元223。
該音頻編碼器212把語音轉(zhuǎn)換為數(shù)字信號。該音頻渲染器216使用三維音頻技術(shù)執(zhí)行由虛擬空間特性引起的處理(例如混響和濾波)。該視頻編碼器214把圖像轉(zhuǎn)換為數(shù)字信號。該圖形渲染器219執(zhí)行由虛擬空間特性引起的處理。該空間建模器221從GPS接收機(jī)231和磁傳感器232接收在真實(shí)空間中的位置信息和方向信息，以計(jì)算平臺信息，諸如在虛擬空間中用戶的位置和方向。該平臺提供器222把在真實(shí)空間中的用戶的位置信息和方向信息發(fā)送到平臺服務(wù)器110，并從平臺服務(wù)器110接收用戶在真實(shí)空間中的位置信息和方向信息。該音頻通信單元215實(shí)時(shí)地向和從另一個(gè)客戶端發(fā)送和接收音頻信號。該視頻頻通信單元218實(shí)時(shí)地向和從另一個(gè)客戶端發(fā)送和接收視頻信號。該會話控制單元223通過該SIP代理服務(wù)器120控制在客戶端201與另一個(gè)客戶端或平臺服務(wù)器110之間的通信會話。
這里，該虛擬空間是為了在多個(gè)用戶之間的會議或會話而虛擬產(chǎn)生的空間，并由平臺服務(wù)器110管理。當(dāng)用戶進(jìn)入特定的虛擬空間時(shí)，平臺服務(wù)器110發(fā)送關(guān)于虛擬空間特性的信息，以及關(guān)于存在于虛擬空間中的其它用戶在真實(shí)空間中的位置信息和方向信息。然后，該空間建模器221把該發(fā)送的信息以及客戶端201自身的用戶在真實(shí)空間中的位置信息和方向信息存儲進(jìn)該存儲器302或外部存儲器303。這里，位置信息和方向信息分別從該GPS接收機(jī)231和磁傳感器232輸入。虛擬空間的特性包括例如空間的大小、天花板的高度、墻和天花板的反射率/顏色/質(zhì)地(texture)、混響特性以及歸因于空間中的空氣的聲音吸收率。在它們之中，墻和天花板的反射率，混響特性和歸因于空間中空氣的聲音吸收率是聽覺特性，墻和天花板的顏色和質(zhì)地是視覺特性，空間的大小和天花板的高度既是聽覺特性又是視覺特性。
接下來，將按照平臺、語音和圖像的順序描述每個(gè)功能的操作。
對于平臺，該GPS接收機(jī)231和磁傳感器232計(jì)算客戶端201自身的用戶在真實(shí)空間中的位置和方向，并把所討論的用戶的位置信息和方向信息輸入到空間建模器221。該空間建模器221把虛擬空間的特性(例如空間的大小和混響特性)，以及其它用戶(存在于虛擬空間中的)在真實(shí)空間中的位置信息和方向信息保存進(jìn)存儲器302或外部存儲器303。那些特性以及位置信息和方向信息預(yù)先從平臺服務(wù)器110發(fā)送出去?；谠撎摂M空間的特性以及客戶端201自身的用戶和其它用戶的位置信息，該空間建模器221把真實(shí)空間映射到虛擬空間。在虛擬空間包括客戶端201自身的用戶和多個(gè)其它用戶的情況下，該空間建模器221把在真實(shí)空間中離客戶端201自身的用戶比較近的用戶在虛擬空間中也安排在離客戶端201的用戶比較近的位置。從真實(shí)空間到虛擬空間的映射可以是線性映射，在該映射中真實(shí)空間中的位置信息按比例縮小到虛擬空間中的位置，從真實(shí)空間到虛擬空間的映射或者可以是非線性映射。將在下面描述非線性映射。
圖4是示意性示出在真實(shí)空間與虛擬空間之間非線性映射的一個(gè)例子的圖，并且這個(gè)非線性映射使用arctan(x)。作為普通的坐標(biāo)系統(tǒng)，在圖中示出的非線性映射使用在真實(shí)空間中的坐標(biāo)(位置信息)。圖4圖解了表示真實(shí)空間且與書頁表面垂直的平面p、在真實(shí)空間中客戶端201自身的用戶的位置u，以及真實(shí)空間中第三其它用戶的位置c。換句話說，包括平面p的u和c的切面線在頁面中示出(圖4)。此外，圖4圖解了與該平面p相切且表示客戶端201其自身用戶的虛擬空間的球s的橫截面，以及與該平面p相切且表示第三其它用戶的虛擬空間的球q的橫截面。此外，假定第一其它用戶存在于真實(shí)空間的該平面p中的位置a，并且第二其它用戶在真實(shí)空間的該平面p中的位置b。
在那種情況下，該空間建模器221把與另一用戶的距離d轉(zhuǎn)換為arctan(d/r)(r常數(shù))，即，該球s上的一段弧的長度(乘以一個(gè)常數(shù))。具體地，真實(shí)空間中存在于位置a(它與客戶端201自身的用戶的距離是從u到a線段的長度)的該第一其它用戶映射到(定位在)虛擬空間中的位置a’(它與客戶端201自身的用戶的距離是從u到a’的弧的長度)。類似地，該空間建模器221把存在于真實(shí)空間中位置b的該第二其它用戶映射(定位)到虛擬空間中的位置b’，并且把存在于真實(shí)空間中的位置c的第三其它用戶映射(定位)到虛擬空間中的位置c’。也就是說，對于該平面p中的每一點(diǎn)，該空間建模器221執(zhí)行從作為真實(shí)空間的平面p到作為虛擬空間的球s的坐標(biāo)轉(zhuǎn)換。為了在頁面(圖)上的說明，在上面的描述中假定除了客戶端201自身的用戶以外的所有用戶存在于上述的切面線上。然而，即使在除了客戶端201的用戶以外的兩個(gè)或更多用戶不存在于包括客戶端201用戶的同一條線上的情況下，在三維空間中進(jìn)行相似的映射也是可以做到的。
此外，在除了客戶端201的用戶以外的一個(gè)用戶存在于無限遠(yuǎn)的位置的情況下，所討論的該用戶被映射到(定位于)虛擬空間中的位置d’。這樣，通過把無限遠(yuǎn)映射到有限距離的點(diǎn)，即使該用戶位于最遠(yuǎn)的距離處，存在于相同虛擬空間中的用戶進(jìn)行相互交談也是可以做到的。此外，在作為虛擬空間的球s的上半球是伸展的平面的情形下，該空間建模器221執(zhí)行映射到每一個(gè)位置a’、b’、c’、d’。
此外，作為虛擬空間的一種特性，該空間建模器221把作為虛擬空間的球s的半徑r(或者該半徑r乘以一個(gè)常數(shù))保存進(jìn)存儲器302或外部存儲器303。使用保存在存儲器或類似的保存裝置302、303中的球s的半徑r，該空間建模器221把球s設(shè)定為虛擬空間。虛擬空間的特性，即，球s的半徑r由平臺服務(wù)器110管理，并被通知到每一個(gè)客戶端的空間建模器221。換句話說，對于存在于相同虛擬空間的所有用戶，作為虛擬空間的球s的半徑r是一致的。因此，使用戶的距離感一致是可以做到的。
此外，球q是存在于真實(shí)空間中位置c的第三其它用戶的虛擬空間。與客戶端201用戶的該空間建模器221相似，第三其它用戶的空間建模器221使用arctan(x)，把存在于真實(shí)空間中位置u的客戶端201的用戶映射(定位)到真實(shí)空間中的位置u”。
然后，該空間建模器221使用每一個(gè)已經(jīng)映射到虛擬空間中的用戶的方向信息來設(shè)定每一個(gè)用戶的方向。在磁傳感器232的方向與用戶的方向不一致(例如，當(dāng)磁傳感器232的安裝位置不固定時(shí))的情況下，或者在由于磁干擾而該磁傳感器232不能表示正確方向的情況下，執(zhí)行下面的操作是可以做到的。例如，為了使磁傳感器232表示正確的方向，用戶轉(zhuǎn)向一個(gè)特定的方向(例如，北方)并按下操作單元226(參見圖8A)上的復(fù)位按鈕。該空間建模器221接收來自該復(fù)位按鈕的信號并校正來自磁傳感器的輸出，以使在那個(gè)時(shí)間點(diǎn)上的方向被認(rèn)為是上述特定的方向。此外，代替上面提到的基于絕對方向(特定的方向)的校正，可能考慮一種方法，在該方法中使得在真實(shí)空間中的另一個(gè)用戶的方向與他在虛擬空間中的方向一致。例如，該用戶把他的臉轉(zhuǎn)向存在于他附近的另一個(gè)用戶，并按下復(fù)位按鈕來校正磁傳感器232的輸出，以使在真實(shí)空間中的方向與在虛擬空間中的相對方向一致。在客戶端中準(zhǔn)備了多種校正方法的情況下，用戶首先選擇一種方法然后按下該復(fù)位按鈕。
該空間建模器221把客戶端201自身的用戶在真實(shí)空間中的位置信息和方向信息通過平臺提供器222發(fā)送到平臺服務(wù)器110。此外，該空間建模器221從平臺服務(wù)器110接收其它用戶在真實(shí)空間中的位置信息和方向信息。即，該空間建模器221通過網(wǎng)絡(luò)101接收其它用戶的位置信息和方向信息，并且因此，對于虛擬空間中其它用戶的位置和方向，將不可避免的發(fā)生延遲和抖動(dòng)。另一方面，由于GPS接收機(jī)231和磁傳感器232直接將信息輸入到該空間建模器221，因此在客戶端201自身的用戶的位置和方向中幾乎沒有延遲和抖動(dòng)發(fā)生。
至于語音，該麥克風(fēng)211收集客戶端201用戶的語音，并把收集的語音發(fā)送到該音頻編碼器212。該音頻編碼器212把收到的語音轉(zhuǎn)換為數(shù)字信號，并把該數(shù)字信號輸出到音頻渲染器216。此外，該音頻通信單元215把音頻信號或多個(gè)音頻信號實(shí)時(shí)發(fā)送到一個(gè)或多個(gè)其它客戶端，并從一個(gè)或多個(gè)其它客戶端實(shí)時(shí)接收音頻信號或多個(gè)音頻信號，并把接收到的音頻信號或多個(gè)音頻信號輸出到該音頻渲染器216。
從該音頻編碼器212和音頻通信單元215輸出的數(shù)字輸出信號輸入到音頻渲染器216。然后，使用三維音頻技術(shù)，基于虛擬空間的聲學(xué)特性和客戶端201自身的用戶和其它用戶的位置(映射到虛擬空間中的)，該音頻渲染器216計(jì)算在虛擬空間中是怎樣聽見其它用戶(通信伙伴)的語音的。隨后參考圖5和圖6將詳細(xì)描述該音頻渲染器216。
圖5是示意性示出聲源即通信伙伴(另一個(gè)用戶)的方向和距離的圖。在圖5中示出了從正上方看到的表示人的頭1和作為通信伙伴的聲源2。該頭1具有表示臉的方向的鼻子11。換句話說，該頭1面向附加鼻子11的方向3。在三維音頻技術(shù)中，聲音的方向和距離由HRIR(與頭相關(guān)的脈沖響應(yīng))和由諸如房間的虛擬環(huán)境產(chǎn)生的偽混響表示，其中HRIR示出聲音是怎樣圍繞頭1(脈沖響應(yīng))而變化的。并且，HRIR由聲源2與頭1之間的距離4以及頭1與聲源2之間的角度(水平角和垂直角)5來確定。這里，假定存儲器302或外部存儲器303預(yù)先存儲了使用虛擬的頭(頭1)為每一個(gè)距離和為每一個(gè)角度測量的大量的HRIR。此外，至于所述大量的HRIR，不同的數(shù)量用于左聲道(在虛擬頭的左耳測量的數(shù)量)和用于右聲道(在虛擬頭的右耳測量的數(shù)量)，來表示右與左、前與后，以及上和下的方向感。
圖6是示出在音頻渲染器216中的處理的圖。對于每一個(gè)聲源(除客戶端201自身的用戶以外的每一個(gè)用戶)，該音頻渲染器216使用RTP(實(shí)時(shí)傳輸協(xié)議)為每一個(gè)接收到(通常在20毫秒的間隔下)的包執(zhí)行下面的計(jì)算。如圖所示，對于每一個(gè)聲源，該音頻渲染器216接收虛擬空間中那個(gè)聲源的信號串si[t](t＝1，…)和坐標(biāo)(xi，yi)的輸入(S61)。這里，每個(gè)聲源在虛擬空間中的坐標(biāo)輸入自該空間建模器221。在該空間建模器221把每個(gè)聲源(除了客戶端201自身的用戶以外的每一個(gè)用戶)映射(定位)到虛擬空間以后，該空間建模器221把每個(gè)用戶的坐標(biāo)(在虛擬空間中的位置信息)輸入到該音頻渲染器216。此外，每個(gè)聲源的信號串輸入自該音頻通信單元215。
然后，對于每一個(gè)聲源，該音頻渲染器216使用輸入的坐標(biāo)計(jì)算在客戶端201自身的用戶與那個(gè)聲源之間的距離和角度(方位角)(S62)。這里，假定客戶端201自身的用戶在虛擬空間的中心(坐標(biāo)(0，0))。然后，該音頻渲染器216從預(yù)先存儲在存儲器302或外部存儲器303中的HRIR值中指定相應(yīng)于在客戶端201自身的用戶與每一個(gè)聲源之間的距離和角度(方位角)的HRIR(S63)。這里，該音頻渲染器216可以使用由存儲在存儲器302或類似存儲裝置中的HRIR值的插入值計(jì)算的HRIR值。
然后，該音頻渲染器216使用在S61中輸入的信號串以及在S63中指定的HRIR的左聲道HRIR來執(zhí)行卷積計(jì)算，以產(chǎn)生一個(gè)左聲道信號(S65)。然后，該音頻渲染器216把從所有聲源獲得的各自的左聲道信號相加(S65)。此外，該音頻渲染器216使用在S61中輸入的信號串和在S63中指定的HRIR的右聲道HRIR來執(zhí)行卷積計(jì)算(S66)。然后，該音頻渲染器216把從所有聲源獲得的各自的右聲道信號相加(S67)。
接著，該音頻渲染器216把混響加到從所述疊加中獲得的左聲道信號(S68)。即，該音頻渲染器216根據(jù)虛擬空間的特性基于聲音是怎樣變化的(脈沖響應(yīng))來計(jì)算所述混響。至于混響計(jì)算的方法，可以舉出被稱為FIR(有限脈沖響應(yīng))和IIR(無限脈沖響應(yīng))的計(jì)算方法。這些方法是涉及數(shù)字濾波器的基本方法，故在這里省略對它們的描述。此外，與左聲道相似，該音頻渲染器216把混響加到從上述疊加中獲得的右聲道信號(S69)。雖然如上面所述，對于每一個(gè)包執(zhí)行HRIR的指定(S63)以及混響的計(jì)算(S68和S69)，該卷積計(jì)算(S64和S66)的每一步產(chǎn)生將要傳遞到下一個(gè)包的一部分。因此，有必要保存指定的HRIR或輸入的信號串直到進(jìn)行下一個(gè)包的處理。
這樣，通過對從該音頻通信單元215輸出的用戶(即通信伙伴)語音執(zhí)行例如音量控制、混響和反射的疊加、濾波等等的處理，該音頻渲染器216控制聲音效果，以獲得在客戶端201自身的用戶在虛擬空間中的位置聽到的聲音。換句話說，通過執(zhí)行由虛擬空間的特性和關(guān)于通信伙伴的相對位置引起的處理，語音被定向和再現(xiàn)。因此，通過親身感覺能容易地掌握聲音不能被直接聽到的通信伙伴的方向。
這里，如果有必要的話，該音頻渲染器216可能對從該音頻編碼器212輸出的它自己的用戶的語音執(zhí)行由虛擬空間的特性引起的處理，例如混響和濾波，并且其后在客戶端201的用戶的頭的位置對語音進(jìn)行渲染。由該音頻渲染器216產(chǎn)生的它自己的用戶的語音輸出到耳機(jī)217，以便讓用戶本人聽到。當(dāng)客戶端201自身的用戶聽見他語音的直達(dá)聲時(shí)，該用戶有時(shí)會得到一種奇怪的感覺，并且，特別是在一個(gè)很大的延遲干擾了該用戶的發(fā)聲的時(shí)候。因此，通常防止客戶端201自身的用戶聽到他自己的聲音。然而，防止客戶端201自身的用戶聽到直達(dá)聲并且使他只聽到在10毫秒限度內(nèi)的延遲的混響是可以做到的。因此，使客戶端201自身的用戶具有關(guān)于用戶本人在虛擬空間中的位置和虛擬空間大小的親身感覺是可以做到的。
至于圖像，該攝像機(jī)213拍攝用戶的頭并把拍攝的圖像連續(xù)地發(fā)送到該視頻編碼器214。然后，該視頻編碼器214把圖像轉(zhuǎn)換為數(shù)字信號并把所述信號輸出到該圖形渲染器219。此外，該視頻通信單元218向一個(gè)或多個(gè)其它客戶端實(shí)時(shí)發(fā)送視頻信號(或多個(gè)視頻信號)，以及從一個(gè)或多個(gè)其它客戶端實(shí)時(shí)接收視頻信號(或多個(gè)視頻信號)，并把所述視頻信號(或多個(gè)視頻信號)輸出到該圖形渲染器219。接著，該圖形渲染器219從該視頻編碼器214和視頻通信單元218接收數(shù)字輸出信號。
然后，基于虛擬空間的視覺特性以及通信伙伴和該用戶本人在虛擬空間中的位置，該圖形渲染器219計(jì)算(坐標(biāo)轉(zhuǎn)換)在虛擬空間中怎樣看見通信伙伴。那些特性和位置由該空間建模器221保存。接著，該圖形渲染器219基于上述計(jì)算，從用戶其自身位置的觀察點(diǎn)出發(fā)，對從該視頻通信單元218輸出的通信伙伴的圖像執(zhí)行由于虛擬空間的特性而產(chǎn)生的處理，以產(chǎn)生將要輸出到顯示屏幕上的圖像數(shù)據(jù)。由該圖形渲染器219產(chǎn)生的圖像輸出到顯示器220并再現(xiàn)為從客戶端201的用戶的觀察點(diǎn)看見的圖像。用戶在必要時(shí)可參考顯示器220的輸出。
圖7示出在顯示器220上顯示的虛擬空間的一個(gè)例子。圖7中示出的內(nèi)容是客戶端201自身的用戶與客戶端202和203的第一和第二其它用戶共享虛擬空間的一個(gè)例子。在所述示出的例子中，該虛擬空間以平面視圖來說明?；谔摂M空間的特性，客戶端201自身的用戶在虛擬空間中的位置和關(guān)于其它用戶的信息被顯示為從正上方觀察得到的二維圖像，它自身的頭像(abutter)411表示客戶端201的用戶本人，并且第一其它頭像412和第二其它頭像413表示位于虛擬空間中作為通信伙伴的用戶。所提到的特性、位置和信息通過空間建模器221存儲在存儲器302或外部存儲器303中。該圖形渲染器219顯示該圖像以使客戶端201自身的用戶的位置和方向固定，并且該虛擬空間和在該虛擬空間中的其它用戶相對于作為中心的客戶端201的用戶移動(dòng)和旋轉(zhuǎn)。當(dāng)客戶端201的用戶在真實(shí)空間中移動(dòng)或旋轉(zhuǎn)時(shí)，于是該空間建模器221接收來自該GPS接收機(jī)231或磁傳感器232的輸入，并映射到虛擬空間中，以使屏幕被實(shí)時(shí)顯示，在該屏幕中，虛擬空間或在虛擬空間中的其它用戶相對于客戶端201自身的用戶移動(dòng)或旋轉(zhuǎn)。此外，在所述示出的例子中，顯示了表示北方的方向信息420。
因而，表示在虛擬空間中客戶端201自身的用戶與作為通信伙伴的其它用戶(客戶端202和203)之間的位置關(guān)系是可以做到的。此外，通過將客戶端201自身的用戶的方向固定為向前的方向，語音與圖形顯示之間的一致性得到了保證，并且能夠象親身感覺一樣掌握其它用戶的位置和方向。此外，能顯示存在于客戶端201自身的用戶后面的另一個(gè)用戶，因而有利的是，忽略掉從背后靠近客戶端201的用戶的另一個(gè)用戶的風(fēng)險(xiǎn)很小。
雖然在圖中未示出，在該顯示器220上也可以示出比例尺，因而在虛擬空間中到另一個(gè)用戶的距離能被精確地表示。例如，考慮使用單選按鈕或類似的按鈕來從多個(gè)備選方案中選擇一個(gè)比例尺，或使用滾動(dòng)條滑尺來連續(xù)地改變比例。在這樣的按鈕或滾動(dòng)條滑尺的操作之后顯示的平面視圖的比例立即改變，能夠觀察到遠(yuǎn)距離物體的狀態(tài)以確定客戶端201自身的用戶在房間(虛擬空間)中的位置或詳細(xì)地觀察附近區(qū)域。
此外，雖然沒有示出，客戶端201通過攝像機(jī)213拍攝的它自己的用戶的圖像通過材質(zhì)貼圖粘貼到頭像411，客戶端202通過攝像機(jī)213拍攝的第一其它用戶的圖像粘貼到頭像412，客戶端203通過攝像機(jī)213拍攝的第二其它用戶的圖像粘貼到頭像413。當(dāng)作為通信伙伴的用戶旋轉(zhuǎn)時(shí)，該結(jié)構(gòu)也旋轉(zhuǎn)。因此，掌握第一和第二其它用戶在虛擬空間中所面對的方向是可以做到的。
對于實(shí)時(shí)語音或圖像通信，采用了RTP(實(shí)時(shí)傳輸協(xié)議)。RTP是在由IETF(國際工程任務(wù)組(Internet Engineer Task Force))發(fā)布的文件RFC3550中描述的協(xié)議。當(dāng)語音或圖像通信中允許延遲增加到某種程度時(shí)，那么可能要另外提供用于語音或圖像通信的通信代理服務(wù)器，并且音頻通信單元215，或視頻通信單元218通過該通信代理服務(wù)器與另一個(gè)用戶進(jìn)行語音或圖像通信。
在上文中，已經(jīng)描述了圖2的客戶端201。在該客戶端201中，麥克風(fēng)211、攝像機(jī)213、GPS接收機(jī)231、磁傳感器232、耳機(jī)217和顯示器220通過硬件實(shí)現(xiàn)。另一方面，該音頻編碼器212和視頻編碼器214通過軟件、硬件或者它們的結(jié)合來實(shí)現(xiàn)。此外，該音頻通信單元215、視頻通信單元218、空間建模器221和會話控制單元223一般通過軟件實(shí)現(xiàn)。
接著，參考圖8A和圖8B，將描述客戶端201、202和203的例子。
圖8A中示出的客戶端具有與PDA或手持計(jì)算機(jī)相近的大小和功能?？蛻舳藢?shí)體230包括一個(gè)攝像機(jī)213、一個(gè)顯示器220、一個(gè)操作單元226、一個(gè)天線237和一個(gè)GPS接收機(jī)231。此外，連接到實(shí)體230的聽筒包括耳機(jī)217、麥克風(fēng)211和磁傳感器232。在耳機(jī)217中(例如，在頭帶的上部)提供磁傳感器232的情況下，用戶能把磁傳感器232放在與用戶成幾乎恒定的角度上。該操作單元226具有指令按鈕241-245，這些按鈕把各種指令輸入到客戶端201。在所述指令按鈕241-245中存在一個(gè)復(fù)位按鈕，該復(fù)位按鈕用于當(dāng)用戶戴上聽筒時(shí)，調(diào)整耳機(jī)217中提供的磁傳感器232的方向。雖然在圖中示出的聽筒是以有線方式連接到實(shí)體230的，但是聽筒可以通過藍(lán)牙或IrDA(紅外線)無線連接。此外，客戶端依靠該天線237經(jīng)由無線LAN連接到所述網(wǎng)絡(luò)101。
在圖8B中示出的客戶端是可穿戴計(jì)算機(jī)的一個(gè)例子?？蛻舳藢?shí)體241看起來像一副眼鏡的鏡框，該實(shí)體帶有麥克風(fēng)211、攝像機(jī)213、耳機(jī)217、顯示器220、GPS接收機(jī)231和磁傳感器232。該顯示器220是安裝在頭上的顯示器，并且它在戴著客戶端實(shí)體241的用戶前面幾十厘米處形成虛擬圖像，或者在該用戶前面形成三維圖像。此外，圖8B的客戶端具有有線或無線連接的操作單元226(未示出)。
接下來，參考圖9到12，將描述客戶端201中的程序。
圖9示出把客戶端201連接到網(wǎng)絡(luò)101的程序。在圖中示出的連接程序在打開電源時(shí)執(zhí)行。首先，該會話控制單元223把包括該用戶的識別信息和鑒別信息的登陸消息發(fā)送到該SIP代理服務(wù)器120(S901)。一接收到該登陸消息，該SIP代理服務(wù)器120就把對用戶的鑒別請求消息發(fā)送到該注冊服務(wù)器130。然后，該注冊服務(wù)器130鑒別該用戶的識別信息和鑒別信息，并把該用戶的識別信息發(fā)送到平臺服務(wù)器110。為了在客戶端和該注冊服務(wù)器130之間的通信，考慮使用IETF的文件RFC3261中規(guī)定的協(xié)議SIP(會議初始協(xié)議)的REGISTER消息?？蛻舳送ㄟ^該SIP代理服務(wù)器120把REGISTER消息周期性地發(fā)送到該注冊服務(wù)器130。
此外，至于在客戶端201的平臺提供器222和平臺服務(wù)器110之間的通信，使用IETF的文件RFC3265中規(guī)定的SIP的SUBSCRIBE消息是可能的。SUBSCRIBE消息是連貫的請求消息，該消息預(yù)先請求接收在事件發(fā)生時(shí)的通知。該平臺提供器222請求平臺服務(wù)器110通知已發(fā)生的關(guān)于房間列表和出席列表的事件。在該平臺提供器222使用SUBSCRIBE消息的情況下，該平臺提供器222通過該會話控制單元223和SIP代理服務(wù)器120與平臺服務(wù)器110通信。
接著，該平臺提供器222從平臺服務(wù)器110接收房間列表(S902)。這里，在S901中使用SUBSCRIBE消息的情況下，那么，所述房間列表以NOTIFY消息的形式作為上述的事件通知消息被接收。然后，該平臺提供器222在顯示器220上顯示接收到的房間列表(S903)圖10示出當(dāng)用戶從顯示器220上顯示的房間列表中選擇他想進(jìn)入的房間時(shí)客戶端201的程序?？蛻舳?01的平臺提供器222接收通過操作單元226輸入的房間選擇指令(S1001)。然后，該平臺提供器222把進(jìn)入消息(進(jìn)入)發(fā)送到平臺服務(wù)器110(S1002)。所述進(jìn)入消息包括客戶端201自身的用戶的識別消息，以及該用戶在真實(shí)空間中的位置信息和方向信息?？蛻舳?01用戶的所述位置信息和方向信息由該GPS接收機(jī)321和磁傳感器322計(jì)算，并被輸入到該空間建模器221。然后，該空間建模器221把輸入的位置信息和方向信息存儲進(jìn)存儲器302或外部存儲器303。該平臺提供器222讀取存儲在存儲器302或外部存儲器303中的位置信息和方向信息，并發(fā)送包括所述位置信息和方向信息的進(jìn)入消息。
或者，SIP的SUBSCRIBE消息可以用于發(fā)送進(jìn)入消息。即，其接收方是所選房間的SUBSCRIBE消息被用作進(jìn)入消息。SUBSCRIBE消息請求通知在所選房間的虛擬空間中發(fā)生的事件(例如，用戶的進(jìn)入、離開和移動(dòng)，以及虛擬空間特性的變化)。
接著，該平臺提供器222從平臺服務(wù)器110接收列出現(xiàn)在位于所選房間中的用戶(除客戶端201自身的用戶以外)的出席列表(S1003)。當(dāng)SUBSCRIBE消息用作進(jìn)入消息時(shí)，相應(yīng)于該SUBSCRIBE消息的以NOTIFY消息形式的所述出席列表被發(fā)送到該平臺提供器222。假定該出席列表至少包括在該房間中除了客戶端201自身的用戶以外的用戶的用戶識別信息、他們在真實(shí)空間中的位置信息和方向信息，以及指定房間的虛擬空間特性。所述虛擬空間特性包括在圖4中作為虛擬空間的球s的半徑r，或者該半徑r乘以一個(gè)常數(shù)(下文中，稱為虛擬空間半徑或類似參數(shù))。
雖然沒有示出離開房間的程序，但是該平臺提供器222從用戶接收離開指令，并把包括該用戶識別信息的離開消息發(fā)送到所述平臺服務(wù)器110。
圖11示出在該用戶改變他的呈現(xiàn)，即在虛擬空間中的一個(gè)范圍內(nèi)移動(dòng)的情況下的程序。首先，該空間建模器221從該GPS接收機(jī)231和磁傳感器232接收位置信息和方向信息(下文中，稱為位置信息及類似信息)的輸入(S1101)。然后，該空間建模器把存儲在存儲器302或外部存儲器303(下文中，稱為存儲器或類似存儲裝置)中的所述位置信息及類似信息與在S1101中接收到的所述位置信息及類似信息相比較，以判別兩者是否不同(S1102)。這里，存儲器或類似存儲裝置存儲上一次從該GPS接收機(jī)231和磁傳感器232輸入的位置信息及類似信息。
在接收到的位置信息及類似信息與存儲在存儲器或類似存儲裝置中的位置信息及類似信息一樣，即，客戶端201自身的用戶在真實(shí)空間中既沒有移動(dòng)也沒有改變他的方向的情況下(在S1102中為NO)，該空間建模器221不執(zhí)行下面的處理而返回到S1101。
在接收到的位置信息及類似信息與存儲在存儲器或類似存儲裝置中的位置信息及類似信息不同，即，客戶端201自身的用戶在真實(shí)空間中移動(dòng)或改變他的方向的情況下(在S1102中為YES)，該空間建模器221把接收到的位置信息及類似信息存儲進(jìn)存儲器或類似存儲裝置。然后，使用移動(dòng)以后的位置信息及類似的信息，該空間建模器221改變映射或用戶在虛擬空間中的方向(S1103)。到虛擬空間的所述映射是在真實(shí)空間與虛擬空間之間的非線性映射(圖4中描述的)。該空間建模器221把客戶端201自身的用戶定位在該虛擬空間的中央，并且再通過非線性映射把存在于相同虛擬空間中的除客戶端201的用戶以外的用戶定位。
接著，該空間建模器221把移動(dòng)之后的位置信息及類似的信息通知給該音頻渲染器216、圖形渲染器219和平臺提供器222(S1104)。如參考圖6所描述的，該音頻渲染器216計(jì)算在虛擬空間中客戶端201的用戶的位置和方向怎樣聽到通信伙伴的語音。這里，基于在真實(shí)空間中的位置信息及類似的信息，所提及的位置和方向已被映射到虛擬空間。然后，基于該計(jì)算，該音頻渲染器216對從音頻通信單元215輸出的其它用戶(通信伙伴)的語音執(zhí)行諸如音量控制、混響、濾波等等處理，并控制聲音效果以獲得客戶端201的用戶在虛擬空間中他的位置上將要聽見的聲音，并刷新三維聲音。此外，該圖形渲染器219基于客戶端201的用戶在虛擬空間中的位置和方向改變觀察點(diǎn)。這里，基于真實(shí)空間中的位置信息及類似的信息，所提及的位置和方向已經(jīng)被映射到虛擬空間。并且該圖形渲染器219計(jì)算在虛擬空間中通信伙伴(參見圖7)是怎樣被看見的。然后，該圖形渲染器219產(chǎn)生圖像數(shù)據(jù)并輸出到屏幕上，作為從那個(gè)方向在那個(gè)位置看見的視圖，并刷新顯示器屏幕。
接著，該平臺提供器222把移動(dòng)以后真實(shí)空間中的位置信息及類似的信息通知給平臺服務(wù)器110(S1105)。當(dāng)使用所述SIP協(xié)議時(shí)，采用NOTIFY消息。NOTIFY消息通常作為接收SUBSCRIBE消息的結(jié)果被發(fā)送出去。因而，考慮到平臺服務(wù)器110從客戶端201接收進(jìn)入消息時(shí)，該平臺服務(wù)器110不僅發(fā)送出席列表，而且也發(fā)送相應(yīng)于上述NOTIFY消息的SUBSCRIBE消息。一接收到已經(jīng)由平臺提供器222通知的、在真實(shí)空間中的位置信息及類似信息，該平臺服務(wù)器更新在所述出席列表中所討論的用戶的位置信息及類似信息。
圖12示出平臺改變輸入程序，即，在該平臺服務(wù)器110把在真實(shí)空間中的其它用戶的位置信息及類似信息通知客戶端201的情況下的程序。
該空間建模器221通過平臺提供器222從平臺服務(wù)器110接收另一客戶端的用戶的位置信息及類似信息(S1201)。該平臺服務(wù)器110把從圖11的S1105中的客戶端201發(fā)送的位置信息及類似信息通知(發(fā)送)到除客戶端201以外的客戶端，即發(fā)送者。然后，該空間建模器221把已通知的位置信息及類似信息存儲進(jìn)存儲器或類似存儲裝置。此外，使用已通知的位置信息及類似信息，該空間建模器221把其它用戶映射進(jìn)虛擬空間，或者改變其它用戶的方向(參見圖4)。然后，該空間建模器221把移動(dòng)后的虛擬空間中的位置信息及類似信息通知給該音頻渲染器216和圖形渲染器219(S1203)。如參考圖11的S1104所描述的，基于所述通知的另一個(gè)用戶的位置和方向，該音頻渲染器216和圖形渲染器219刷新那個(gè)用戶的三維聲音以及顯示器屏幕。
接著，將描述該平臺服務(wù)器110的功能配置和程序。該注冊服務(wù)器130和SIP代理服務(wù)器120與使用SIP的傳統(tǒng)通信中的注冊服務(wù)器和代理服務(wù)器相似，因而這里省略對它們的描述。
圖13示出該平臺服務(wù)器110的一種功能配置。該平臺服務(wù)器110包括一個(gè)接口單元111，該接口單元把各種信息發(fā)送到客戶端，并從客戶端接收各種信息；一個(gè)判斷單元112，該判斷單元判斷來自客戶端的消息的類型；一個(gè)處理單元113，該處理單元執(zhí)行相應(yīng)于該判斷結(jié)果的處理；以及一個(gè)存儲單元114，該存儲單元管理和存儲虛擬空間的特性、在虛擬空間中已發(fā)生的事件(用戶的進(jìn)入、離開、移動(dòng)等等)、房間列表、出席列表等等。該存儲單元114預(yù)先存儲由該平臺服務(wù)器110管理的某些虛擬空間的特性。如上所述，用戶從那些虛擬空間中選擇他想進(jìn)入的一個(gè)虛擬空間(參見圖9和圖10)。其后，客戶端把已進(jìn)入該虛擬空間的用戶的各種事件發(fā)送到平臺服務(wù)器110。因而，各種事件在每一個(gè)虛擬空間中發(fā)生。該存儲單元114把上述信息存儲進(jìn)存儲器302或外部存儲器303中。
圖14示出所述平臺服務(wù)器110的程序。該平臺服務(wù)器110從客戶端接收請求并執(zhí)行所述請求的處理，直到停止該平臺服務(wù)器110。首先，所述接口單元111等待來自客戶端的消息(S1411)。當(dāng)接收到消息時(shí)，所述判斷單元112判斷由所述接口單元111接收到的消息的類型(S1412)。
在該消息是登陸消息的情況下，所述處理單元113指示該接口單元111把房間列表發(fā)送到消息源的客戶端(S1421)。所述接口單元111把房間列表發(fā)送到消息源的客戶端。其后，程序返回到S1411，以等待下一條消息。
在該消息是進(jìn)入消息的情況下，所述處理單元113把該消息源的用戶添加到該指定房間的出席列表(S1431)。即，所述處理單元113把所討論用戶的識別信息，以及該用戶在真實(shí)空間中的位置信息和方向信息添加到出席列表。接著，所述處理單元113指示該接口單元111把該指定房間的所有出席者(除了所討論的用戶以外)的識別信息，以及位置信息和方向信息發(fā)送到作為該消息源的客戶端。此外，所述處理單元113指示該接口單元111把指定房間的虛擬空間特性發(fā)送到作為該消息源的客戶端。所述虛擬空間特性包括圖4中示出的作為虛擬空間的球s的半徑r，或該半徑r乘以一個(gè)常數(shù)(下文中，稱作虛擬空間半徑或類似參數(shù))。根據(jù)上面的指令，所述接口單元111把那些信息發(fā)送到作為消息源的客戶端(S1432)。然后，該程序轉(zhuǎn)到下面描述的S1436。
在該消息是移動(dòng)消息的情況下，所述處理單元113更新出席列表中在真實(shí)空間中作為該消息源的客戶端(用戶)的位置信息和方向信息(S1435)。該位置信息和方向信息包括在所述移動(dòng)信息中。然后，所述處理單元113指示該接口單元111把作為該消息源的客戶端的識別信息，以及位置信息和方向信息通知到所討論房間的所有出席者的客戶端(除作為該消息源的客戶端以外)(S1436)。根據(jù)該指令，所述接口單元111把那些信息發(fā)送到客戶端并返回到S1411。這與進(jìn)入消息的情況相同(S1431)。
在該消息是離開消息的情況下，所述處理單元113從出席列表中刪除作為該消息源的客戶端的用戶(S1441)。然后，所述處理單元113指示該接口單元111把所討論的用戶從房間的離開通知到所討論的房間的所有出席者的客戶端(除作為該消息源的客戶端以外)(S1442)。根據(jù)該指令，所述接口單元111發(fā)送該信息到客戶端并返回到S1411。
雖然沒有示出，但是該平臺服務(wù)器110也可以接收來自平臺服務(wù)器110的管理者的請求(輸入)，以改變虛擬空間的特性。例如，所述判斷單元112接收從該平臺服務(wù)器110的輸入單元305輸入的虛擬空間半徑應(yīng)改變的指令。這個(gè)指令包括識別信息，該識別信息識別作為改變目標(biāo)的房間，以及改變以后的虛擬空間半徑或類似參數(shù)。然后，所述處理單元113改變存儲在存儲器單元114中的、關(guān)于作為改變目標(biāo)的房間的虛擬空間半徑或類似參數(shù)。然后，所述處理單元113讀取存儲在該存儲單元114中的出席列表，并把改變了的虛擬空間半徑或類似參數(shù)通知到作為改變目標(biāo)的房間中的所有用戶的客戶端。每個(gè)被通知了該變化的客戶端的空間建模器將真實(shí)空間中的每個(gè)用戶映射到具有已改變的虛擬空間半徑，或類似參數(shù)的球s上(在圖4中示出)。
上文中，已描述了本實(shí)施例。
根據(jù)本實(shí)施例，通過通信伙伴的語音(媒介聲音)，能象親身感覺一樣容易地掌握通信伙伴在真實(shí)空間中的相對位置和方向。因此，用戶能在虛擬空間中和真實(shí)空間中相互自然的會話。
在本實(shí)施例的語音通信系統(tǒng)中，基于該用戶在真實(shí)空間中的位置和方向?qū)⒚恳粋€(gè)用戶映射到虛擬空間。因此，即使當(dāng)通信伙伴位于一個(gè)遙遠(yuǎn)的位置，在該位置他的語音(直達(dá)聲)真實(shí)空間中不能被聽到，通過通信伙伴的語音(媒介聲音)也能象親身感覺一樣容易地掌握通信伙伴的相對位置和方向。因而，在人群中不費(fèi)力地發(fā)現(xiàn)并接近通信伙伴是可以做到的。
此外，在本實(shí)施例中，通信伙伴在真實(shí)空間中存在的方向與在虛擬空間中的方向一致。因此，當(dāng)通信伙伴在能聽到他聲音(直達(dá)聲)的直線(point-blank)距離的位置時(shí)，在真實(shí)空間中的語音(直達(dá)聲)與在虛擬空間中的語音(媒介聲音)在不同方向被彼此聽到的情況將不會發(fā)生。因此，不會發(fā)生當(dāng)用戶響應(yīng)來自通信伙伴的招呼時(shí)，把他的臉轉(zhuǎn)向不同方向的令人不快的情況。
本發(fā)明并不局限于上述的實(shí)施例，且能在本發(fā)明的范圍內(nèi)有各種的變化。
例如，上述實(shí)施例的客戶端201具有攝像機(jī)213、視頻編碼器214等等，并把虛擬空間的圖像數(shù)據(jù)輸出到顯示器220。然而，根據(jù)本發(fā)明的語音通信系統(tǒng)是主要使用語音通信的系統(tǒng)。因此，客戶端201不需要把虛擬空間的圖像數(shù)據(jù)輸出到顯示器220。在那種情況下，該客戶端201沒有攝像機(jī)213、視頻編碼器214、顯示器220等等。
此外，在本實(shí)施例中，該圖形渲染器219使用平面視圖(二維數(shù)據(jù))來表示虛擬空間(參見圖7)。然而，該圖形渲染器219使用三維圖形技術(shù)來更清晰地顯示虛擬空間是可以做到的。換句話說，基于存儲在存儲器302或外部存儲器303內(nèi)的三維數(shù)據(jù)，諸如空間的大小、虛擬空間的特性(例如，墻和天花板的材料)、以及客戶端201的用戶及其它用戶在虛擬空間中的位置和方向，該空間建模器221能產(chǎn)生二維圖像，以在顯示器220上顯示。
此外，該音頻渲染器216能對從所述音頻通信單元215輸出的另一用戶的(通信伙伴的)語音(媒介聲音)執(zhí)行下面的處理。例如，該音頻渲染器216可以對媒介聲音進(jìn)行濾波以產(chǎn)生在真實(shí)語音(直達(dá)聲)的情況下不可能有的脈沖響應(yīng)?；蛘?，該音頻渲染器216可以把與真實(shí)語音(直達(dá)聲)的混響不同的混響添加到另一個(gè)用戶的(通信伙伴的)語音(媒介聲音)上，以使離聲源的距離感能被識別出來。或者，該音頻渲染器216可以把噪聲添加到另一個(gè)用戶的(通信伙伴的)語音(媒介聲音)上。在那種情況下，即使當(dāng)作為通信伙伴的用戶在其真實(shí)語音(直達(dá)聲)在真實(shí)空間中能夠被聽到的直線距離的位置時(shí)，也容易判斷通信伙伴的語音是真實(shí)聲音還是媒介聲音。
此外，在通信伙伴在其真實(shí)語音(直達(dá)聲)在真實(shí)空間中能夠被聽到的距離的情況下，該通信伙伴的真實(shí)語音(直達(dá)聲)，和從該音頻通信單元215輸出的語音(媒介聲音)都能被聽到。在那種情況下，當(dāng)該媒介聲音的延遲小時(shí)，所述媒介聲音用于定位。另一方面，當(dāng)該媒介聲音的延遲太大時(shí)，所述媒介聲音聽起來就象與直達(dá)聲無關(guān)的獨(dú)立聲源一樣，因而產(chǎn)生混淆。因此，當(dāng)通信伙伴在預(yù)定的直線距離內(nèi)的情況下，該音頻渲染器216可以把通信伙伴的語音(媒介聲音)的延遲時(shí)間控制在一定的范圍內(nèi)。當(dāng)所述媒介聲音的延遲大于所述直達(dá)聲且在一定范圍內(nèi)時(shí)，該媒介聲音聽起來象是直達(dá)聲的混響(回聲)。在那種情況下，所述直達(dá)聲用于定位并且能避免混淆的發(fā)生。此外，該音頻渲染器216可以把存在于直線距離的通信伙伴的語音(媒介聲音)的聲音音量降低一定的量或以一定的比率來降低該音量。在那種情況下，該聲音音量能與在只能聽到媒介聲音的很遠(yuǎn)的距離處的通信伙伴的聲音音量平衡。
無線通信技術(shù)藍(lán)牙可以用于判斷通信伙伴是否位于在真實(shí)空間中能夠聽到直達(dá)聲的直線距離。即，當(dāng)數(shù)據(jù)能用藍(lán)牙來發(fā)送和接收時(shí)，那么可以判斷該通信伙伴位于直線距離處。
本實(shí)施例的客戶端使用該GPS接收機(jī)231和磁傳感器232來測定其用戶(客戶端)的位置和方向。然而，傳感器網(wǎng)絡(luò)也可以用于測定用戶(客戶端)的位置和方向。當(dāng)使用傳感器網(wǎng)絡(luò)時(shí)，即使當(dāng)用戶在室內(nèi)使用客戶端時(shí)，也能檢測到用戶的位置和方向。
在本實(shí)施例中，每個(gè)客戶端直接執(zhí)行語音通信，并從另一個(gè)客戶端輸入的語音中產(chǎn)生三維語音(參見圖6)。然而，在客戶端的處理和通信性能比較低的情況下，這樣的處理能由服務(wù)器執(zhí)行。換句話說，聲音服務(wù)器可以重新添加到圖1示出的網(wǎng)絡(luò)配置中。下面，將描述具有聲音服務(wù)器的一個(gè)實(shí)施例。
圖15是示出具有聲音服務(wù)器的一個(gè)實(shí)施例的網(wǎng)絡(luò)配置的圖。在該圖中示出的網(wǎng)絡(luò)配置與圖1中示出的網(wǎng)絡(luò)配置的不同之處在于圖15的網(wǎng)絡(luò)配置中存在聲音服務(wù)器140。此外，客戶端201、202和203中的每一個(gè)具有與圖3示出的客戶端不同的配置，它們有下面幾點(diǎn)不同。即，該音頻渲染器216僅僅是一個(gè)聲音解碼器，它并不執(zhí)行聲音的三維處理(參見圖6)。此外，該音頻通信單元215與該聲音服務(wù)器140通信，而不直接與另一個(gè)客戶端通信。
圖16是示出該聲音服務(wù)器140的框圖。如圖所示，該聲音服務(wù)器140包括一個(gè)或多個(gè)音頻接收單元141、一個(gè)或多個(gè)音頻渲染器142、一個(gè)或多個(gè)混合器143、以及一個(gè)或多個(gè)音頻發(fā)送單元144。即，該聲音服務(wù)器140具有相應(yīng)于客戶端數(shù)量的這些處理單元141-144(即，用于每個(gè)客戶端的一套處理單元141-144)?；蛘?，不具有相應(yīng)于客戶端數(shù)量的該音頻接收單元141、音頻渲染器142、混合器143和音頻發(fā)送單元144，但通過以時(shí)間共享的方式使用一個(gè)程序或一個(gè)裝置，該聲音服務(wù)器140可以為每一個(gè)客戶端實(shí)現(xiàn)這些功能單元141-144中的每一個(gè)。
此外，該聲音服務(wù)器140進(jìn)一步包括一個(gè)空間建模器145。該空間建模器145從平臺服務(wù)器110接收每個(gè)用戶在真實(shí)空間中的位置和虛擬空間的特性(諸如虛擬空間半徑或類似參數(shù))，并通過與圖3中示出的客戶端201的空間建模器221的處理相似的處理，把每個(gè)用戶的位置映射(定位)到虛擬空間。
每個(gè)音頻接收單元141接收從相關(guān)的客戶端的音頻通信單元215輸入的語音。每個(gè)音頻渲染器142產(chǎn)生三維語音，并把相應(yīng)于相關(guān)的客戶端的兩聲道(左和右聲道)信號數(shù)據(jù)(信號串)輸出到與各自客戶端相關(guān)聯(lián)的混合器143。即，基于由該空間建模器145安排的每個(gè)用戶在虛擬空間中的位置，每個(gè)音頻渲染器142執(zhí)行與圖3中示出的客戶端的音頻渲染器216的處理相似的處理，即，聲源輸入的接收(圖6的S61)、距離和角度的計(jì)算(S62)、HRIR的指定(S63)和卷積計(jì)算(S64和S66)。每個(gè)混合器143從每個(gè)音頻渲染器142接收兩聲道信號數(shù)據(jù)，并執(zhí)行與圖3中示出的客戶端的音頻渲染器216的處理相似的處理，即，混合(S65和S67)和混響計(jì)算(S68和S69)。然后，每個(gè)混合器143把兩聲道信號數(shù)據(jù)輸出到相應(yīng)的音頻發(fā)送單元144。每個(gè)音頻發(fā)送單元144把接收到的兩聲道信號數(shù)據(jù)發(fā)送到相應(yīng)的客戶端。
接著，將描述由平臺服務(wù)器110和客戶端進(jìn)行的處理。當(dāng)在步驟S1432、S1436和S1442中，該平臺服務(wù)器110把相關(guān)的用戶(多個(gè)用戶)的用戶名(或多個(gè)用戶名)、位置(或多個(gè)位置)以及虛擬空間半徑或類似參數(shù)通知給相關(guān)的客戶端(或多個(gè)客戶端)時(shí)，平臺服務(wù)器110也把這些信息通知到該聲音服務(wù)器140。因此，當(dāng)每個(gè)客戶端進(jìn)入房間時(shí)，那個(gè)客戶端執(zhí)行與該聲音服務(wù)器140的預(yù)定通信端口(或者與在進(jìn)入時(shí)平臺服務(wù)器110通知的通信端口)的語音通信。即，每個(gè)客戶端的音頻通信單元215把一個(gè)聲道的語音流發(fā)送到該聲音服務(wù)器140，并從該聲音服務(wù)器140接收兩聲道語音流。
接著，將描述由聲音服務(wù)器140進(jìn)行的處理。每個(gè)與客戶端相關(guān)聯(lián)的音頻接收單元141接收并緩沖來自那個(gè)客戶端的語音流，以把與所有其它輸入客戶端的語音流同步的數(shù)據(jù)信號發(fā)送到與那個(gè)客戶端相關(guān)聯(lián)的音頻渲染器142。這種緩沖(輸出緩沖)的方法在下面的文件中描述，例如，Colin PerkinsRTPAudio and Video for the Internet，Addison-Wesley Pub Co；1st edition(2003年6月11日)。
然后，基于由該空間建模器145安排的每個(gè)用戶在虛擬空間中的位置，每個(gè)音頻渲染器142執(zhí)行距離/角度計(jì)算、HRIR的指定和卷積計(jì)算(圖6中的S62-S64和S66)的處理。然后，每個(gè)混合器143執(zhí)行所述混合(圖6中的S65和S67)和混響計(jì)算(圖6中的S68和S69)，并輸出相應(yīng)于相關(guān)的客戶端的兩聲道信號數(shù)據(jù)。每個(gè)音頻發(fā)送單元144把該兩聲道信號數(shù)據(jù)發(fā)送到相關(guān)的客戶端。因此，即使在客戶端的處理特性低的情況下，實(shí)現(xiàn)三維語音也是可以做到的。
此外，該平臺服務(wù)器110可以具有上述聲音服務(wù)器140的功能。換句話說，如果不提供聲音服務(wù)器140，該平臺服務(wù)器110不但管理用戶的位置、虛擬空間特性等等，而且也執(zhí)行上述聲音服務(wù)器140的處理。
權(quán)利要求
1.一種語音通信系統(tǒng)，用于通過虛擬空間來實(shí)現(xiàn)在多個(gè)用戶之間的會話，其中所述語音通信系統(tǒng)包括，管理所述多個(gè)用戶在真實(shí)空間中各自的位置的服務(wù)器裝置，以及由所述多個(gè)用戶分別使用的多個(gè)客戶終端；所述多個(gè)客戶終端中的每一個(gè)包括一個(gè)位置監(jiān)測裝置，該位置監(jiān)測裝置監(jiān)測與客戶終端自身的用戶在真實(shí)空間中的位置相關(guān)的位置信息；一個(gè)客戶端發(fā)送裝置，該客戶端發(fā)送裝置把客戶終端自身的用戶在真實(shí)空間中的位置信息發(fā)送到所述服務(wù)器裝置，所述位置信息由所述位置監(jiān)測裝置監(jiān)測；一個(gè)客戶端接收裝置，該客戶端接收裝置從所述服務(wù)器裝置接收與除了所述客戶終端自身的用戶以外的其它用戶中的每一個(gè)在真實(shí)空間中的位置相關(guān)的位置信息；一個(gè)空間建模裝置，該空間建模裝置基于所述客戶終端自身的用戶的所述位置信息，以及所述其它用戶中的每一個(gè)的所述位置信息來計(jì)算所述多個(gè)用戶在虛擬空間中各自的位置；以及一個(gè)聲音控制裝置，該聲音控制裝置基于由所述空間建模裝置計(jì)算的位置來控制應(yīng)用到所述其它用戶中的每一個(gè)的語音的聲音效果；以及所述服務(wù)器裝置包括一個(gè)服務(wù)器接收裝置，對于所述多個(gè)客戶終端中的每一個(gè)，該服務(wù)器接收裝置從所述客戶終端接收客戶終端的用戶在真實(shí)空間中的所述位置信息；一個(gè)存儲裝置，該存儲裝置存儲所述多個(gè)用戶中的每一個(gè)在真實(shí)空間中的位置信息，所述位置信息由所述服務(wù)器接收裝置接收；以及一個(gè)服務(wù)器發(fā)送裝置，對于所述多個(gè)客戶終端中的每一個(gè)客戶終端，該服務(wù)器發(fā)送裝置把除一個(gè)客戶終端的用戶以外的其它用戶的位置信息發(fā)送到所述客戶終端，所述位置信息存儲在所述存儲裝置中。
2.根據(jù)權(quán)利要求1所述的語音通信系統(tǒng)，其中每個(gè)客戶終端的所述位置監(jiān)測裝置進(jìn)一步監(jiān)測所述客戶終端自身的用戶在真實(shí)空間中所面對的方向；所述位置信息包括表示客戶終端自身的用戶的方向或一個(gè)所述其它用戶的方向的方向信息；以及所述聲音控制裝置基于客戶終端自身的所述用戶或所述其它用戶在真實(shí)空間中的所述方向信息來控制應(yīng)用到所述其它用戶中的每一個(gè)的語音的聲音效果。
3.根據(jù)權(quán)利要求2所述的語音通信系統(tǒng)，其中所述建模裝置把所述客戶終端自身的所述用戶定位在虛擬空間的中央，并基于客戶終端自身的所述用戶與相關(guān)的其它用戶之間在真實(shí)空間中的距離和方向來計(jì)算所述其它用戶中的每一個(gè)在虛擬空間中的位置，所述距離和方向是基于客戶端自身的所述用戶的位置信息和所述其它用戶的位置信息來計(jì)算的。
4.根據(jù)權(quán)利要求1所述的語音通信系統(tǒng)，其中所述聲音控制裝置基于所述多個(gè)用戶在虛擬空間中各自的位置，以及所述虛擬空間特性的特性信息來控制應(yīng)用到所述其它用戶中的每一個(gè)的語音的聲音效果。
5.根據(jù)權(quán)利要求1所述的語音通信系統(tǒng)，其中所述多個(gè)客戶終端中的每一個(gè)進(jìn)一步包括一個(gè)圖像產(chǎn)生裝置，該圖像產(chǎn)生裝置基于由所述空間建模裝置計(jì)算的位置來產(chǎn)生要被輸出到顯示器屏幕上的圖像數(shù)據(jù)；
6.根據(jù)權(quán)利要求5所述的語音通信系統(tǒng)，其中所述圖像產(chǎn)生裝置總是固定客戶終端自身的用戶在虛擬空間中的位置和方向，并產(chǎn)生圖像數(shù)據(jù)，該圖像數(shù)據(jù)是通過相對于所述客戶端自身的用戶來移動(dòng)所述虛擬空間和所述其它用戶，或者以所述客戶端自身的用戶為中心旋轉(zhuǎn)所述虛擬空間和所述其它用戶來得到的；
7.根據(jù)權(quán)利要求1所述的語音通信系統(tǒng)，其中所述服務(wù)器裝置的所述存儲裝置存儲虛擬空間的特性；所述服務(wù)器發(fā)送裝置把所述虛擬空間的特性發(fā)送到所述多個(gè)客戶終端中的每一個(gè)；所述客戶端接收裝置從所述服務(wù)器裝置接收虛擬空間的所述特性；所述空間建模裝置基于所述虛擬空間的特性來計(jì)算所述多個(gè)用戶中的每一個(gè)在虛擬空間中的位置；所述聲音控制裝置基于由所述空間建模裝置計(jì)算的位置，控制應(yīng)用到所述其它用戶中的每一個(gè)的語音的聲音效果；
8.一種由語音通信系統(tǒng)中的用戶使用的客戶終端，用于通過虛擬空間來實(shí)現(xiàn)在多個(gè)用戶之間的會話，包括一個(gè)位置監(jiān)測裝置，監(jiān)測與客戶終端自身的用戶在真實(shí)空間中的位置相關(guān)的位置信息；一個(gè)發(fā)送裝置，該發(fā)送裝置把客戶終端自身的用戶在真實(shí)空間中的位置信息發(fā)送到一個(gè)服務(wù)器裝置，該服務(wù)器裝置管理所述多個(gè)用戶中的每一個(gè)在真實(shí)空間中的位置，所述位置信息由所述位置監(jiān)測裝置監(jiān)測；一個(gè)接收裝置，該接收裝置從所述服務(wù)器裝置接收與除了所述客戶終端自身的用戶以外的其它用戶中的每一個(gè)在真實(shí)空間中的位置相關(guān)的位置信息；一個(gè)空間建模裝置，該空間建模裝置基于所述客戶終端自身的用戶的所述位置信息，和所述其它用戶中的每一個(gè)的所述位置信息來計(jì)算所述多個(gè)用戶在虛擬空間中的位置；以及一個(gè)聲音控制裝置，該聲音控制裝置基于由所述空間建模裝置計(jì)算的位置來控制應(yīng)用到所述其它用戶中的每一個(gè)的語音的聲音效果；
9.一種在語音通信系統(tǒng)中的服務(wù)器裝置，該語音通信系統(tǒng)用于通過虛擬空間來實(shí)現(xiàn)在分別使用多個(gè)客戶終端的多個(gè)用戶之間的會話，該服務(wù)器裝置包括一個(gè)服務(wù)器接收裝置，對于所述多個(gè)客戶終端中的每一個(gè)，該服務(wù)器接收裝置從所述客戶終端接收客戶終端用戶在真實(shí)空間中的位置信息；一個(gè)存儲裝置，該存儲裝置存儲所述多個(gè)用戶中的每一個(gè)在真實(shí)空間中的位置信息，所述位置信息由所述服務(wù)器接收裝置接收；以及一個(gè)服務(wù)器發(fā)送裝置，對于所述多個(gè)客戶終端中的每一個(gè)客戶終端，該服務(wù)器發(fā)送裝置把除一個(gè)客戶終端用戶以外的其它用戶的位置信息發(fā)送到所述客戶終端，所述位置信息存儲在所述存儲器裝置中。
10.一種用于通過虛擬空間在多個(gè)用戶之間實(shí)現(xiàn)會話的語音通信系統(tǒng)，其中所述語音通信系統(tǒng)包括，管理所述多個(gè)用戶在真實(shí)空間中的各自位置的一個(gè)服務(wù)器裝置，由所述多個(gè)用戶分別使用的多個(gè)客戶終端，以及控制所述多個(gè)用戶的語音的一個(gè)聲音服務(wù)器裝置；所述多個(gè)客戶終端中的每一個(gè)包括一個(gè)位置監(jiān)測裝置，該位置監(jiān)測裝置監(jiān)測與所述客戶終端自身的用戶在真實(shí)空間中的位置相關(guān)的位置信息；一個(gè)客戶端發(fā)送裝置，該客戶端發(fā)送裝置把所述客戶終端自身的用戶在真實(shí)空間中的位置信息發(fā)送到所述服務(wù)器裝置，所述位置信息由所述位置監(jiān)測裝置監(jiān)測；一個(gè)客戶端接收裝置，該客戶端接收裝置從所述服務(wù)器裝置接收與除了所述客戶終端自身的用戶以外的其它用戶中的每一個(gè)在真實(shí)空間中的位置相關(guān)的位置信息；一個(gè)客戶端空間建模裝置，該空間建模裝置基于所述客戶終端自身的用戶的所述位置信息，和所述其它用戶中的每一個(gè)的所述位置信息來計(jì)算所述多個(gè)用戶在所述虛擬空間中的位置；一個(gè)客戶端語音發(fā)送裝置，該客戶端語音發(fā)送裝置發(fā)送所述客戶端自身的用戶的語音；以及一個(gè)語音輸出裝置，該語音輸出裝置接收所述其它用戶各自的語音，所述語音的聲音效果基于在虛擬空間中的所述位置來被控制，并且該語音輸出裝置輸出所述其它用戶的語音；所述服務(wù)器裝置包括一個(gè)服務(wù)器接收裝置，對于所述多個(gè)客戶終端中的每一個(gè)，該服務(wù)器接收裝置從所述客戶終端接收客戶終端用戶在真實(shí)空間中的所述位置信息；一個(gè)存儲裝置，該存儲裝置存儲所述多個(gè)用戶中的每一個(gè)在真實(shí)空間中的所述位置信息，所述位置信息由所述服務(wù)器接收裝置接收；第一服務(wù)器發(fā)送裝置，對于所述多個(gè)客戶終端中的每一個(gè)客戶終端，該第一服務(wù)器發(fā)送裝置把除一個(gè)客戶終端的用戶以外的其它用戶的位置信息發(fā)送到所述客戶終端，所述位置信息存儲在所述存儲器裝置中；第二服務(wù)器發(fā)送裝置，該第二服務(wù)器發(fā)送裝置把所述多個(gè)客戶終端的所述多個(gè)用戶中的每一個(gè)的所述位置信息發(fā)送到所述聲音服務(wù)器裝置；以及所述聲音服務(wù)器裝置包括一個(gè)服務(wù)器語音接收裝置，對于所述多個(gè)客戶終端中的每一個(gè)，該服務(wù)器語音接收裝置從客戶終端接收那個(gè)客戶終端用戶的語音；一個(gè)服務(wù)器空間建模裝置，該服務(wù)器空間建模裝置從所述服務(wù)器裝置接收所述多個(gè)客戶終端的所述多個(gè)用戶中的每一個(gè)在真實(shí)空間中的位置信息，并且該服務(wù)器空間建模裝置基于所述多個(gè)用戶中的每一個(gè)的所述位置信息來計(jì)算所述多個(gè)用戶在虛擬空間中各自的位置；一個(gè)聲音控制裝置，對于所述多個(gè)客戶終端中的每一個(gè)，該聲音控制裝置基于由所述服務(wù)器空間建模裝置計(jì)算的位置來控制應(yīng)用到所述其它用戶中的每一個(gè)的語音的聲音效果；以及一個(gè)服務(wù)器語音發(fā)送裝置，該服務(wù)器語音發(fā)送裝置把所述多個(gè)用戶的語音發(fā)送到所述多個(gè)客戶終端中的每一個(gè)，所述語音由所述聲音控制裝置控制。
11.一種語音通信系統(tǒng)中的聲音服務(wù)器裝置，該語音通信系統(tǒng)用于通過虛擬空間實(shí)現(xiàn)在分別使用多個(gè)客戶終端的多個(gè)用戶之間的會話，該聲音服務(wù)器裝置包括一個(gè)語音接收裝置，對于所述多個(gè)客戶終端中的每一個(gè)，該語音接收裝置從客戶終端接收該客戶終端用戶的語音；一個(gè)空間建模裝置，該空間建模裝置從外部系統(tǒng)接收所述多個(gè)客戶終端的所述多個(gè)用戶中的每一個(gè)在真實(shí)空間中的位置信息，并且該空間建模裝置基于所述多個(gè)用戶中的每一個(gè)的所述位置信息來計(jì)算所述多個(gè)用戶在所述虛擬空間中各自的位置；一個(gè)聲音控制裝置，對于所述多個(gè)客戶終端中的每一個(gè)，該聲音控制裝置基于所述空間建模裝置計(jì)算的位置來控制應(yīng)用到所述其它用戶中的每一個(gè)的語音的聲音效果；以及一個(gè)服務(wù)器語音發(fā)送裝置，該服務(wù)器語音發(fā)送裝置把所述多個(gè)用戶的語音發(fā)送到所述多個(gè)客戶終端中的每一個(gè)，所述語音由所述聲音控制裝置控制。
12.一種用于通過虛擬空間在所個(gè)用戶之間實(shí)現(xiàn)會話的語音通信方法，其中由所述多個(gè)用戶分別使用的所述多個(gè)客戶終端中的每一個(gè)執(zhí)行下面的步驟，即監(jiān)測步驟，該監(jiān)測步驟監(jiān)測與相關(guān)客戶終端的用戶在真實(shí)空間中的位置相關(guān)的位置信息；發(fā)送步驟，該發(fā)送步驟把客戶終端自身的用戶在真實(shí)空間中的位置信息發(fā)送到管理所述多個(gè)用戶在真實(shí)空間中各自位置的一個(gè)服務(wù)器裝置，所述位置信息在所述監(jiān)測步驟中被監(jiān)測；接收步驟，該接收步驟從所述服務(wù)器裝置接收與除所述客戶終端自身的用戶以外的其它用戶中的每一個(gè)在真實(shí)空間中的位置相關(guān)的位置信息；計(jì)算步驟，該計(jì)算步驟基于所述客戶終端自身的用戶的位置信息和所述其它用戶中的每一個(gè)的所述位置信息來計(jì)算所述多個(gè)用戶在所述虛擬空間中各自的位置；以及聲音控制步驟，該聲音控制步驟基于所述計(jì)算出的位置，控制應(yīng)用到所述其它用戶中的每一個(gè)的語音的聲音效果。
13.根據(jù)權(quán)利要求12所述的語音通信方法，其中所述監(jiān)測步驟進(jìn)一步監(jiān)測所述客戶終端自身的所述用戶在真實(shí)空間中所面對的方向；以及所述位置信息包括表示所述客戶終端自身的用戶的方向或所述其它用戶中的一個(gè)的方向的方向信息。
14.根據(jù)權(quán)利要求12所述的語音通信方法，其中由所述多個(gè)用戶分別使用的所述多個(gè)客戶終端中的每一個(gè)進(jìn)一步執(zhí)行產(chǎn)生步驟，該產(chǎn)生步驟基于在所述計(jì)算步驟中計(jì)算出的位置來產(chǎn)生要被輸出到顯示器屏幕上的圖像數(shù)據(jù)；
15.根據(jù)權(quán)利要求12所述的語音通信方法，其中所述聲音控制步驟基于所述多個(gè)用戶在虛擬空間中各自的位置，以及關(guān)于所述虛擬空間特性的特性信息來控制應(yīng)用到所述其它用戶中的每一個(gè)的語音的聲音效果。
全文摘要
提供了一種語音通信系統(tǒng)，在該系統(tǒng)中真實(shí)空間與虛擬空間相關(guān)聯(lián)，而且能感受到真實(shí)空間中通信伙伴的相對位置和方向，就象身臨其境一樣?？蛻舳?01包括監(jiān)測客戶終端201自身的用戶在真實(shí)空間中位置的GPS接收機(jī)23 1和磁傳感器232；把監(jiān)測裝置監(jiān)測的位置發(fā)送到一個(gè)服務(wù)器裝置的平臺提供器222；基于真實(shí)空間中用戶自身的位置和其它用戶的位置來計(jì)算虛擬空間中的用戶位置的空間建模器332；以及基于虛擬空間中的用戶位置來控制聲音效果的音頻渲染器216。
文檔編號H04M3/56GK1703065SQ20041008744
公開日2005年11月30日 申請日期2004年8月10日 優(yōu)先權(quán)日2004年5月26日
發(fā)明者金田泰 申請人:株式會社日立制作所