本發(fā)明涉及一種遠(yuǎn)程呈現(xiàn)交互方式的設(shè)計(jì)，尤其涉及一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)，屬于人機(jī)交互技術(shù)領(lǐng)域。

背景技術(shù)：

如今我們可以通過(guò)網(wǎng)絡(luò)相機(jī)獲取世界任意地點(diǎn)的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像(Live Video Image)，并與該地點(diǎn)的人們進(jìn)行交流，與該地點(diǎn)中的設(shè)備進(jìn)行交互，就好像我們?cè)诂F(xiàn)場(chǎng)一樣。目前，有很多遠(yuǎn)程交互方式和系統(tǒng)，例如視頻會(huì)議、遠(yuǎn)程操作機(jī)器人、遠(yuǎn)程健康護(hù)理以及遠(yuǎn)程呈現(xiàn)機(jī)器人(telepresence robot)等。這些系統(tǒng)多是采用傳統(tǒng)的遠(yuǎn)程交互方式，即用戶在遠(yuǎn)程空間(remote space)中的用戶界面上通過(guò)鍵盤(pán)、鼠標(biāo)、操作桿以及圖形界面來(lái)與本地空間(local space)進(jìn)行交互。這些系統(tǒng)通常是為特定的任務(wù)設(shè)計(jì)并且需要經(jīng)過(guò)訓(xùn)練的操作員進(jìn)行操作。

觸屏技術(shù)的發(fā)展，為實(shí)現(xiàn)更加自然且更加普適的人機(jī)交互提供了支撐。觸屏交互擺脫了輸入設(shè)備的限制，實(shí)現(xiàn)了人與設(shè)備的直觀交互。觸屏技術(shù)讓計(jì)算機(jī)、手機(jī)、Pad等設(shè)備變成了可觸摸交互的智能設(shè)備，用戶可以直接用手指點(diǎn)擊屏幕從而便捷地完成操作。一些遠(yuǎn)程交互系統(tǒng)也采用掌上計(jì)算機(jī)或平板電腦、智能手機(jī)以及其他移動(dòng)裝置作為交互設(shè)備，在現(xiàn)場(chǎng)視頻圖像上疊加圖形用戶界面，通過(guò)點(diǎn)擊圖形用戶界面上的虛擬按鈕來(lái)進(jìn)行交互操作。

上述已有的遠(yuǎn)程交互技術(shù)雖然可以實(shí)現(xiàn)遠(yuǎn)程交互，但是這些遠(yuǎn)程交互技術(shù)無(wú)法直接利用現(xiàn)有裝置成熟的、符合人體工效學(xué)的控制面板，需要設(shè)計(jì)額外的圖形用戶界面，并且用戶使用時(shí)需要預(yù)先進(jìn)行相應(yīng)的訓(xùn)練，限制了遠(yuǎn)程呈現(xiàn)交互的應(yīng)用范圍，降低了遠(yuǎn)程交互的效果和用戶體驗(yàn)。

為了實(shí)現(xiàn)更好的遠(yuǎn)程交互效果和用戶體驗(yàn)，本發(fā)明設(shè)計(jì)了一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的用戶界面，簡(jiǎn)稱(chēng)TIUI(Touchable live video Image based User Inter face)，實(shí)現(xiàn)遠(yuǎn)程呈現(xiàn)交互。具體通過(guò)遠(yuǎn)程呈現(xiàn)機(jī)器人獲取本地空間現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像，用戶在遠(yuǎn)程空間通過(guò)TIUI直接觸摸本地空間的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像，實(shí)現(xiàn)與本地空間中物體和環(huán)境交互，稱(chēng)為遠(yuǎn)程呈現(xiàn)交互方法。通過(guò)直接觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像進(jìn)行遠(yuǎn)程呈現(xiàn)交互，可以直接利用現(xiàn)有裝置成熟的、符合人體工效學(xué)的控制面板,無(wú)需設(shè)計(jì)額外的圖形用戶界面；可以給用戶身臨其境的用戶體驗(yàn)；并且，借助于智能手機(jī)、平板等掌上電腦設(shè)備，可以在移動(dòng)的情況下隨時(shí)隨地的進(jìn)行遠(yuǎn)程呈現(xiàn)交互。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是克服現(xiàn)有遠(yuǎn)程交互方法和系統(tǒng)在易用性以及用戶體驗(yàn)方面的技術(shù)缺陷，進(jìn)一步提升遠(yuǎn)程交互的效果和用戶體驗(yàn)，提出了一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)。

一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)，包括一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法(簡(jiǎn)稱(chēng)本方法)和一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互系統(tǒng)，(簡(jiǎn)稱(chēng)本系統(tǒng))；

其中，本系統(tǒng)包括本地空間和遠(yuǎn)程空間；本地空間中包含遠(yuǎn)程呈現(xiàn)機(jī)器人和遠(yuǎn)程可交互裝置；遠(yuǎn)程空間中包括用戶、帶有觸摸屏的計(jì)算裝置和TIUI；

其中，帶有觸摸屏的計(jì)算裝置至少可以為掌上電腦和智能手機(jī)；本地空間和遠(yuǎn)程空間通過(guò)無(wú)線網(wǎng)絡(luò)連接；

其中，TIUI是一種基于可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的用戶界面，用于觸摸帶有觸摸屏的計(jì)算裝置；計(jì)算裝置包括遠(yuǎn)程空間無(wú)線通信網(wǎng)絡(luò)模塊；

遠(yuǎn)程可交互裝置和智能家居(或智能辦公裝置)的主要區(qū)別是前者每一個(gè)裝置是完全獨(dú)立的，由遠(yuǎn)程直接控制，該裝置的識(shí)別主要通過(guò)計(jì)算機(jī)視覺(jué)方法或/和條形碼標(biāo)簽方法實(shí)現(xiàn)；后者裝置需要事先固定，并連接到本地中央控制單元，由本地控制單元接收遠(yuǎn)程控制；

遠(yuǎn)程可交互裝置也可以是遠(yuǎn)程呈現(xiàn)機(jī)器人；遠(yuǎn)程呈現(xiàn)機(jī)器人由計(jì)算機(jī)、移動(dòng)底座和機(jī)器人頭部組成；其中，機(jī)器人頭部包括呈現(xiàn)用戶的顯示屏、前視攝像頭、俯視廣角攝像頭、揚(yáng)聲器、麥克風(fēng)、云臺(tái)和升降桿；

遠(yuǎn)程可交互裝置包括標(biāo)識(shí)(id)、驅(qū)動(dòng)器(actuator)和本地空間無(wú)線通信網(wǎng)絡(luò)模塊；其中，標(biāo)識(shí)是指獨(dú)一無(wú)二的特征，可以用計(jì)算機(jī)視覺(jué)的方法識(shí)別，也可以用二維條形碼標(biāo)簽來(lái)標(biāo)識(shí)；比如，家里的空調(diào)、監(jiān)控?cái)z像機(jī)、窗簾、照明燈，都可以用計(jì)算機(jī)視覺(jué)的方法識(shí)別外觀，同人的視覺(jué)識(shí)別方法一樣；也可以用他們的二維碼進(jìn)行區(qū)分；計(jì)算機(jī)視覺(jué)技術(shù)在識(shí)別外觀相同的兩個(gè)裝置時(shí)，還要識(shí)別裝置所處的位置，以區(qū)分這兩個(gè)裝置，或用定位技術(shù)獲取裝置的位置參數(shù)：比如，室內(nèi)有兩個(gè)窗簾，可以通過(guò)定位技術(shù)區(qū)分不同位置的窗簾，實(shí)現(xiàn)不同窗簾的控制；驅(qū)動(dòng)器是指電機(jī)、繼電器為主的電能到機(jī)械能或其它能量形式的轉(zhuǎn)化裝置；本地空間無(wú)線通信網(wǎng)絡(luò)模塊，比如WIFI模塊，是實(shí)現(xiàn)遠(yuǎn)程可交互裝置與互聯(lián)網(wǎng)連接的重要工具；

本系統(tǒng)中各組成部分的功能如下：

遠(yuǎn)程可交互裝置的功能是實(shí)現(xiàn)遠(yuǎn)程交互；其中，標(biāo)識(shí)的功能是用于區(qū)分兩個(gè)裝置；驅(qū)動(dòng)器的功能是實(shí)現(xiàn)自動(dòng)控制；無(wú)線通信網(wǎng)絡(luò)的功能是實(shí)現(xiàn)遠(yuǎn)程可交互裝置與互聯(lián)網(wǎng)連接；

遠(yuǎn)程呈現(xiàn)機(jī)器人中的升降桿的功能是使遠(yuǎn)程呈現(xiàn)機(jī)器人根據(jù)不用的應(yīng)用場(chǎng)景調(diào)節(jié)頭部高度；云臺(tái)的功能是使遠(yuǎn)程呈現(xiàn)機(jī)器人左右和上下運(yùn)動(dòng)頭部，更便捷地獲取現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像；

一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法(簡(jiǎn)稱(chēng)本方法)，包括如下步驟：

步驟一、遠(yuǎn)程呈現(xiàn)機(jī)器人利用計(jì)算機(jī)視覺(jué)的方法，直接識(shí)別遠(yuǎn)程可交互裝置或通過(guò)遠(yuǎn)程可交互裝置的二維碼標(biāo)簽識(shí)別該裝置，具體為：

步驟1.1遠(yuǎn)程呈現(xiàn)機(jī)器人利用計(jì)算機(jī)視覺(jué)的方法直接識(shí)別遠(yuǎn)程可交互裝置，并根據(jù)是否識(shí)別了遠(yuǎn)程可交互裝置，決定是否進(jìn)行步驟1.2的操作，若已經(jīng)識(shí)別，直接跳到步驟二；若未識(shí)別，跳至步驟1.2；

其中，通過(guò)計(jì)算機(jī)視覺(jué)的方法識(shí)別遠(yuǎn)程可交互裝置通常是通過(guò)提取圖像特征進(jìn)行識(shí)別，比如顏色、紋理、表觀和形狀；

步驟1.2當(dāng)通過(guò)計(jì)算機(jī)視覺(jué)的方法無(wú)法準(zhǔn)確識(shí)別遠(yuǎn)程可交互裝置時(shí)，本發(fā)明使用二維碼作為遠(yuǎn)程可交互裝置的標(biāo)識(shí)進(jìn)行識(shí)別，此種識(shí)別方法簡(jiǎn)單，計(jì)算效率高，識(shí)別率達(dá)到100％；

其中，二維碼包含了裝置名稱(chēng)、裝置位置、連接接口、操作指令為主的信息；

步驟二、遠(yuǎn)程呈現(xiàn)機(jī)器人在本地空間中移動(dòng)來(lái)獲取本地空間的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像，具體為：

2.1遠(yuǎn)程呈現(xiàn)機(jī)器人通過(guò)機(jī)器人頭部的前視攝像頭獲取本地空間的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像用于遠(yuǎn)程呈現(xiàn)交互；

2.2機(jī)器人頭部的俯視廣角攝像頭獲取機(jī)器人底座及其周?chē)h(huán)境圖像，用于用戶操作遠(yuǎn)程呈現(xiàn)機(jī)器人運(yùn)動(dòng)的反饋視覺(jué)信息；

步驟三、計(jì)算機(jī)將兩個(gè)攝像頭采集的視頻圖像實(shí)時(shí)拼接，形成的拼接視頻圖像作為現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像，通過(guò)本地空間無(wú)線通信網(wǎng)絡(luò)模塊傳輸給遠(yuǎn)程空間的TIUI；

其中，拼接視頻圖像分為上下兩部分，上部分為前視攝像機(jī)采集的本地空間視頻圖像，下部分來(lái)自俯視廣角攝像頭采集的機(jī)器人底座及周?chē)h(huán)境圖像；步驟四、用戶在TIUI上觸摸步驟三輸出的拼接視頻圖像，實(shí)現(xiàn)與本地空間中的遠(yuǎn)程可交互裝置的交互及控制遠(yuǎn)程呈現(xiàn)機(jī)器人在本地空間的運(yùn)動(dòng)，具體為：

4.1用戶觸摸拼接視頻圖像的上部分，完成用戶與遠(yuǎn)程可交互裝置的交互任務(wù)，也能控制云臺(tái)轉(zhuǎn)動(dòng)，轉(zhuǎn)動(dòng)前視攝像頭獲取左右上下方位的圖像，能控制升降桿上下運(yùn)動(dòng)，調(diào)整機(jī)器人高度；

4.2用戶觸摸拼接視頻圖像的下部分，完成遠(yuǎn)程呈現(xiàn)機(jī)器人的運(yùn)動(dòng)，也可以對(duì)導(dǎo)航路徑、障礙物、安全區(qū)域、目的地為主的信息進(jìn)行標(biāo)記；

其中，為了便于用戶區(qū)分和使用方便，針對(duì)4.1和4.2的不同操作定義了單手指觸摸手勢(shì)和雙手指觸摸手勢(shì)兩類(lèi)觸摸手勢(shì)；

其中，單手指觸摸手勢(shì)用于操作遠(yuǎn)程可交互裝置，具體用于標(biāo)記地面導(dǎo)航路徑和障礙物；

具體為：當(dāng)步驟一中識(shí)別遠(yuǎn)程可交互裝置采用步驟1.2，即二維碼識(shí)別時(shí)，用戶在TIUI上用單手指觸摸遠(yuǎn)程可交互裝置的二維碼圖像，本系統(tǒng)自動(dòng)識(shí)別二維碼，并自動(dòng)跟蹤移動(dòng)中的二維碼，建立TIUI上遠(yuǎn)程可交互裝置的圖像與實(shí)際遠(yuǎn)程可交互裝置的對(duì)應(yīng)關(guān)系，然后用戶通過(guò)TIUI直接觸摸遠(yuǎn)程可交互裝置的控制面板圖像，如同觸摸真實(shí)裝置的控制面板，比如，觸摸本地空間中的門(mén)禁系統(tǒng)密碼健面板圖像，如同用戶在本地空間直接觸摸密碼鍵；

由于TIUI上的密碼健圖像和遠(yuǎn)程可交互裝置建立了對(duì)應(yīng)關(guān)系，因此，觸摸一個(gè)遠(yuǎn)程可交互裝置的圖像，就是通過(guò)無(wú)線網(wǎng)絡(luò)向該裝置的驅(qū)動(dòng)器發(fā)送對(duì)應(yīng)的控制指令，使該裝置完成相應(yīng)動(dòng)作，實(shí)現(xiàn)通過(guò)TIUI的遠(yuǎn)程呈現(xiàn)交互；

根據(jù)單手指觸摸手勢(shì)及手勢(shì)所在的TIUI上下部區(qū)域，將手勢(shì)分為四個(gè)模式：

1)單手指上部模式：?jiǎn)问种赣|摸手勢(shì)作用于TIUI的上部圖像區(qū)域中，用于操作本地空間中的遠(yuǎn)程可交互裝置；

2)雙手指上部模式：雙手指觸摸手勢(shì)作用于TIUI的上部圖像區(qū)域中，用于控制云臺(tái)上下左右運(yùn)動(dòng)，控制升降桿的升降運(yùn)動(dòng)；

3)單手指下部模式：?jiǎn)问种赣|摸手勢(shì)作用于TIUI的下部圖像區(qū)域中，用于標(biāo)記機(jī)器人的運(yùn)動(dòng)軌跡和地面上的障礙物；

4)雙手指下部模式：雙手指觸摸手勢(shì)作用于TIUI的下部圖像區(qū)域中，用于遠(yuǎn)程控制機(jī)器人的運(yùn)動(dòng)；

雙手指觸摸手勢(shì)用于操作遠(yuǎn)程呈現(xiàn)機(jī)器人的自身運(yùn)動(dòng)，包括機(jī)器人底座前后和左右運(yùn)動(dòng)，機(jī)器人頭部前視和俯視攝像機(jī)左右上下運(yùn)動(dòng)，升降桿的升降運(yùn)動(dòng)；

至此，從步驟一到步驟四，完成了一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法。

有益效果

一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)，與現(xiàn)有技術(shù)相比，具有如下有益效果：

(1)本發(fā)明通過(guò)遠(yuǎn)程呈現(xiàn)機(jī)器人在本地空間中移動(dòng)，獲取本地空間的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像，與固定攝像頭獲取視頻的方式相比，有效的解決遮擋問(wèn)題；本地空間可以在室內(nèi)，也可以在室外，擴(kuò)大了使用范圍；

(2)遠(yuǎn)程呈現(xiàn)機(jī)器人在本地空間中呈現(xiàn)用戶的面部表情及聲音，可以給用戶更好的體驗(yàn)；遠(yuǎn)程呈現(xiàn)機(jī)器人與固定攝像頭相比，遵循“我看到你，你看到我”，可以更好的保護(hù)用戶隱私；

(3)本發(fā)明采用的用戶界面TIUI，能在掌上電腦、智能手機(jī)等移動(dòng)計(jì)算設(shè)備使用，可以隨時(shí)隨地與本地空間進(jìn)行遠(yuǎn)程呈現(xiàn)交互；

(4)本發(fā)明采用的用戶界面TIUI,采用單手指觸摸手勢(shì)直接觸摸圖像中遠(yuǎn)程可交互裝置的控制面板，完成與遠(yuǎn)程可交互裝置的交互操作；利用現(xiàn)有裝置成熟的、符合人體工效學(xué)的控制面板,無(wú)需設(shè)計(jì)額外的圖形用戶界面，給用戶提供身臨其境的交互體驗(yàn)；

(5)采用雙手指觸摸手勢(shì)操作遠(yuǎn)程呈現(xiàn)機(jī)器人，包括控制云臺(tái)、控制升降桿等,為用戶提供簡(jiǎn)單直觀的操作方式；

(6)本發(fā)明中的TIUI上的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像由遠(yuǎn)程呈現(xiàn)機(jī)器人上的前視攝像機(jī)獲取的前視場(chǎng)景圖像和俯視攝像機(jī)獲取的俯視圖像實(shí)時(shí)拼接組成，使得用戶在遠(yuǎn)程呈現(xiàn)交互過(guò)程中始終關(guān)注一個(gè)視頻圖像界面，增強(qiáng)了用戶體驗(yàn)，提高了交互效率。

附圖說(shuō)明

圖1是本發(fā)明一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)的本系統(tǒng)組成示意圖；

圖2是本發(fā)明一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)的本系統(tǒng)中遠(yuǎn)程呈現(xiàn)機(jī)器人的組成示意圖；

圖3是本發(fā)明一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法中的圖像拼接示意圖；

圖4是本發(fā)明一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法中的圖像校正示意圖；

圖5是本發(fā)明一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法與系統(tǒng)中的基于可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像用戶界面；

圖6是本發(fā)明一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法中的雙手指觸摸手勢(shì)；

圖7是本發(fā)明一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法中的單手指觸摸手勢(shì)；

其中，圖1中101是遠(yuǎn)程呈現(xiàn)機(jī)器人所處的本地空間，102是用戶所處的遠(yuǎn)程空間，103和104分別為本地空間無(wú)線通信網(wǎng)絡(luò)模塊和遠(yuǎn)程空間無(wú)線通信網(wǎng)絡(luò)模塊、遠(yuǎn)程空間無(wú)線網(wǎng)絡(luò)模塊，105是互聯(lián)網(wǎng)，106是本地空間中的遠(yuǎn)程可交互裝置，107是遠(yuǎn)程呈現(xiàn)機(jī)器人，108是帶有觸摸屏的計(jì)算裝置，109是用戶；

圖2中201是呈現(xiàn)用戶的顯示屏，202是麥克風(fēng)，203是揚(yáng)聲器，204是云臺(tái)，205是前視攝像頭，206是俯視廣角攝像頭，207是升降桿，208是計(jì)算機(jī)，209是移動(dòng)底座；

圖3中301為前視攝像頭采集的圖像，302為俯視廣角攝像頭采集的圖像，303和304為在圖像上選擇的六個(gè)特征點(diǎn)，305為合成的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像，合成的圖像中只包含一組選擇的六個(gè)點(diǎn)；

圖4中401為俯視攝像頭采集原始圖像，402為校正后的圖像，403為手選特征點(diǎn)序列；404為將原始圖像的部分區(qū)域進(jìn)行裁剪的畸變矯正過(guò)程；

圖5中501為帶有觸摸屏的計(jì)算裝置，502為用戶手指，503為現(xiàn)場(chǎng)實(shí)時(shí)視頻上部圖像區(qū)域，504為現(xiàn)場(chǎng)實(shí)時(shí)視頻下部圖像區(qū)域。。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施例，對(duì)本發(fā)明所提出的一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)進(jìn)行詳細(xì)描述。

實(shí)施例1

本實(shí)施例具體闡述了本發(fā)明所提出方法和系統(tǒng)的系統(tǒng)組成和工作過(guò)程。

圖1為本發(fā)明一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)中本系統(tǒng)的組成。

從圖1可以看出：本系統(tǒng)包含101是遠(yuǎn)程呈現(xiàn)機(jī)器人所處的本地空間，102是用戶所處的遠(yuǎn)程空間，103和104分別為本地空間無(wú)線通信網(wǎng)絡(luò)模塊和遠(yuǎn)程空間無(wú)線通信網(wǎng)絡(luò)模塊、遠(yuǎn)程空間無(wú)線網(wǎng)絡(luò)模塊，105是互聯(lián)網(wǎng)，106是本地空間中的遠(yuǎn)程可交互裝置，107是遠(yuǎn)程呈現(xiàn)機(jī)器人，108是帶有觸摸屏的計(jì)算裝置，109是用戶。

本系統(tǒng)包括本地空間中的遠(yuǎn)程呈現(xiàn)機(jī)器人和遠(yuǎn)程可交互裝置，遠(yuǎn)程空間中用戶使用的掌上電腦或智能手機(jī)中包含104和TIUI(即108)。

進(jìn)一步的，本發(fā)明通過(guò)遠(yuǎn)程呈現(xiàn)機(jī)器人在本地空間中移動(dòng)以獲取本地空間的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像。遠(yuǎn)程呈現(xiàn)機(jī)器人由計(jì)算機(jī)、機(jī)器人頭部和移動(dòng)底座組成，如圖2所示。

從圖2可以看出，遠(yuǎn)程呈現(xiàn)機(jī)器人包括201：呈現(xiàn)用戶的顯示屏，202：麥克風(fēng)，203：揚(yáng)聲器，204：云臺(tái)，205：前視攝像頭，206：俯視廣角攝像頭，207：升降桿，208：計(jì)算機(jī)，209：移動(dòng)底座。

其中，呈現(xiàn)用戶的顯示屏、前視攝像頭、俯視廣角攝像頭、揚(yáng)聲器、麥克風(fēng)、云臺(tái)和升降桿，包含在機(jī)器人頭部中；升降桿的功能是使得機(jī)器人可以根據(jù)不用的應(yīng)用場(chǎng)景調(diào)節(jié)自身高度；云臺(tái)的功能是：使得機(jī)器人可以更便捷的獲取環(huán)境圖像。

通過(guò)機(jī)器人頭部的前視攝像頭采集遠(yuǎn)程環(huán)境圖像用于遠(yuǎn)程呈現(xiàn)交互；通過(guò)機(jī)器人頭部的俯視廣角攝像頭采集移動(dòng)底座周?chē)h(huán)境圖像，用于輔助用戶操作遠(yuǎn)程呈現(xiàn)機(jī)器人的運(yùn)動(dòng)；將兩個(gè)攝像頭采集的視頻圖像進(jìn)行實(shí)時(shí)拼接，形成拼接視頻圖像作為現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像。拼接視頻圖像分為上下兩部分，上部圖像區(qū)域?yàn)榍耙晹z像機(jī)采集的本地空間場(chǎng)景圖像，是用戶與遠(yuǎn)程可交互裝置進(jìn)行遠(yuǎn)程呈現(xiàn)交互的區(qū)域，也是控制云臺(tái)運(yùn)動(dòng)和控制升降桿高度的操作區(qū)域；下部圖像區(qū)域?yàn)楦┮晹z像機(jī)采集的移動(dòng)底座和周?chē)孛娴膱D像，是用戶遠(yuǎn)程操作機(jī)器人運(yùn)動(dòng)、標(biāo)記地面導(dǎo)航路徑、標(biāo)記障礙物的操作區(qū)域。

實(shí)施例2

本實(shí)施例闡述了本發(fā)明所提出的一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法對(duì)現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的拼接過(guò)程，對(duì)應(yīng)發(fā)明內(nèi)容中的步驟三，如圖3所示。

從圖3可以看出，301為前視攝像頭采集的圖像，302為俯視攝廣角像頭采集的圖像，303和304為在圖像上選擇的六個(gè)特征點(diǎn)，305為合成的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像，合成的圖像中只包含一組選擇的六個(gè)點(diǎn)。

具體到本實(shí)施例，采用交互方式完成圖像拼接所需的攝像頭參數(shù)標(biāo)定；具體為：通過(guò)觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像用戶界面，手工在前視攝像機(jī)和俯視攝像機(jī)采集圖像的公共區(qū)域中選擇特征點(diǎn)進(jìn)行匹配；圖3中303和304為攝像機(jī)拍攝到的手工選擇的6個(gè)特征點(diǎn)，1和2兩個(gè)圖像中均包含這6個(gè)特征點(diǎn)；圖像合成的過(guò)程首先采用匹配算法對(duì)1和2中的特征點(diǎn)進(jìn)行匹配，匹配完成后上下拼接合成305這一單一圖像，305中只有一組特征點(diǎn)306。

為采集更多的機(jī)器人運(yùn)行場(chǎng)景信息，俯視廣角攝像頭采集的圖像會(huì)產(chǎn)生一定程度的畸變，具體如圖4所示。

圖像401為俯視攝像頭采集的原始圖像，其中的特征點(diǎn)序列會(huì)因?yàn)閳D像畸變而使得排列更加緊湊，并不是真實(shí)情況的還原。在得到特征點(diǎn)的匹配結(jié)果之后，進(jìn)行圖像合成之前，需進(jìn)行畸變矯正。這一過(guò)程主要由原始圖像的初步畸變校正和拼接前的圖像變換組成。初步的畸變校正中攝像頭的內(nèi)外參數(shù)采用基于標(biāo)定模板的方法事先獲取，根據(jù)攝像頭的內(nèi)外參數(shù)得到畸變系數(shù)。對(duì)于俯視攝像頭采集的每一幀的圖像進(jìn)行初步的畸變校正，為拼接前的圖像變換做好準(zhǔn)備?；兂C正的過(guò)程將原始圖像的部分區(qū)域(圖4中的404區(qū)域)進(jìn)行裁剪，剩余部分又由上至下進(jìn)行不同程度的畸變矯正。根據(jù)6個(gè)特征點(diǎn)的匹配關(guān)系和上下不同的畸變系數(shù)得到一組參數(shù)生成變換矩陣，對(duì)于初步校正后的每一幀圖像通過(guò)這一變換矩陣的變換得到圖4中的目標(biāo)圖像402，最后用此圖像與前視攝像頭采集的圖像進(jìn)行拼接。

實(shí)施例3

本實(shí)施例闡述了本發(fā)明所提方法與系統(tǒng)中的TIUI，示意圖為圖5所示。從圖5可以看出，基于可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的用戶界面TIUI，501為帶有觸摸屏的計(jì)算裝置，即：操作控制設(shè)備，包括平板電腦，智能手機(jī)等帶有觸摸屏的設(shè)備，502為用戶手指，503為現(xiàn)場(chǎng)實(shí)時(shí)視頻上部圖像區(qū)域，504為現(xiàn)場(chǎng)實(shí)時(shí)視頻下部圖像區(qū)域。

本發(fā)明中所述的用戶界面是一種基于可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的用戶界面TIUI。通過(guò)遠(yuǎn)程呈現(xiàn)機(jī)器人獲取本地空間的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像，通過(guò)無(wú)線網(wǎng)絡(luò)將視頻圖像實(shí)時(shí)傳送到遠(yuǎn)程空間，用戶在遠(yuǎn)程空間中的TIUI上控制遠(yuǎn)程呈現(xiàn)機(jī)器人在本地空間中的運(yùn)動(dòng)，并與本地空間中的可交互裝置進(jìn)行遠(yuǎn)程呈現(xiàn)交互。

TIUI的主要部分是本地空間的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像，此圖像由遠(yuǎn)程呈現(xiàn)機(jī)器人的前視攝像機(jī)和俯視攝像機(jī)采集的視頻圖像實(shí)時(shí)拼接而成。拼接視頻圖像分為上下兩部分，上部圖像來(lái)自前視攝像機(jī)，下部圖像來(lái)自俯視攝像機(jī)。

為了便于用戶區(qū)分和使用方便，在用戶界面上部和下部圖像區(qū)域上針對(duì)不同操作定義了2類(lèi)觸摸手勢(shì)：?jiǎn)问种赣|摸手勢(shì)和雙手指觸摸手勢(shì)。雙手指觸摸手勢(shì)用于操作遠(yuǎn)程呈現(xiàn)機(jī)器人自身運(yùn)動(dòng)，包括機(jī)器人底座前后和左右運(yùn)動(dòng)，機(jī)器人頭部前視和俯視攝像機(jī)左右上下運(yùn)動(dòng)，升降桿的升降運(yùn)動(dòng)。單手指觸摸手勢(shì)用于操作遠(yuǎn)程可交互裝置，以及標(biāo)記地面導(dǎo)航路徑和障礙物。根據(jù)手勢(shì)及手勢(shì)所在的TIUI上下部區(qū)域，將手勢(shì)分為四個(gè)模式：

1)單手指上部模式：?jiǎn)问种赣|摸手勢(shì)作用于TIUI的上部圖像區(qū)域中，用于操作本地空間中的遠(yuǎn)程可交互裝置；

2)雙手指上部模式：雙手指觸摸手勢(shì)作用于TIUI的上部圖像區(qū)域中，用于控制云臺(tái)上下左右運(yùn)動(dòng)，控制升降桿的升降運(yùn)動(dòng)。

3)單手指下部模式：?jiǎn)问种赣|摸手勢(shì)作用于TIUI的下部圖像區(qū)域中，用于標(biāo)記機(jī)器人的運(yùn)動(dòng)軌跡和地面上的障礙物；

4)雙手指下部模式：雙手指觸摸手勢(shì)作用于TIUI的下部圖像區(qū)域中，用于遠(yuǎn)程控制機(jī)器人的運(yùn)動(dòng)。

本發(fā)明設(shè)計(jì)的用于操作遠(yuǎn)程呈現(xiàn)機(jī)器人的雙手指觸摸手勢(shì)源于對(duì)游泳、劃船項(xiàng)目中人們動(dòng)作的觀察，人們向后、向前擺動(dòng)雙臂或是雙槳就能讓自己前進(jìn)或后退，同時(shí)當(dāng)兩只手臂或是兩個(gè)船槳的擺動(dòng)速度不一樣時(shí)，身體或船身便會(huì)向速度較慢的方向轉(zhuǎn)動(dòng)。參考上述運(yùn)動(dòng)規(guī)律，本發(fā)明設(shè)計(jì)的以用戶為中心的基于運(yùn)動(dòng)規(guī)律的觸摸手勢(shì)，能在讓遠(yuǎn)程呈現(xiàn)機(jī)器人友好呈現(xiàn)用戶的同時(shí)，讓用戶獲得在本地空間中真實(shí)存在、前進(jìn)、后退、左轉(zhuǎn)和右轉(zhuǎn)的交互體驗(yàn)。本發(fā)明設(shè)計(jì)的雙手指觸摸手勢(shì)如圖6所示。

同時(shí)本發(fā)明設(shè)計(jì)了單手指觸摸手勢(shì)，使得用戶可以便捷、靈活地與本地空間中的可交互裝置進(jìn)行遠(yuǎn)程呈現(xiàn)交互，這與人們?cè)谟|屏設(shè)備上的操作習(xí)慣一致。本發(fā)明設(shè)計(jì)的單手指觸摸手勢(shì)如圖7所示。圖7中所定義單手指觸摸手勢(shì)，如點(diǎn)擊(tap)、按(press)、拖(drag)、圈(lasso)等手勢(shì)在操作本地空間中不同裝置時(shí)對(duì)應(yīng)不同的操作指令，這些對(duì)應(yīng)關(guān)系都被保存在遠(yuǎn)程可交互裝置的二維碼中，當(dāng)裝置被系統(tǒng)識(shí)別后，這些對(duì)應(yīng)關(guān)系將被系統(tǒng)讀入，并在TIUI上顯示對(duì)用戶的操作提示，用戶通過(guò)以上不同的手勢(shì)操作可交互裝置完成不同的遠(yuǎn)程操作。

實(shí)施例4

本實(shí)施例具體闡述了本發(fā)明所提方法與系統(tǒng)中用于通過(guò)TIUI進(jìn)行遠(yuǎn)程呈現(xiàn)交互的過(guò)程。

用戶在遠(yuǎn)程空間通過(guò)TIUI，直接觸摸遠(yuǎn)程可交互裝置的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像，完成與遠(yuǎn)程可交互裝置的遠(yuǎn)程呈現(xiàn)交互。本發(fā)明利用計(jì)算機(jī)視覺(jué)的方法，直接識(shí)別遠(yuǎn)程可交互裝置，或通過(guò)遠(yuǎn)程可交互裝置的二維碼識(shí)別該裝置。通過(guò)計(jì)算機(jī)視覺(jué)的方法識(shí)別遠(yuǎn)程可交互裝置通常是通過(guò)提取圖像特征進(jìn)行識(shí)別，比如顏色、紋理、表觀和形狀。當(dāng)通過(guò)計(jì)算機(jī)視覺(jué)的方法無(wú)法準(zhǔn)確識(shí)別遠(yuǎn)程可交互裝置時(shí)，本發(fā)明使用二維碼作為遠(yuǎn)程可交互裝置的標(biāo)識(shí)進(jìn)行識(shí)別，這種識(shí)別方法簡(jiǎn)單，計(jì)算效率高，識(shí)別率達(dá)到100％。二維碼包含了裝置名稱(chēng)、裝置位置、連接接口、操作指令等信息。用戶在TIUI上用單手指觸摸遠(yuǎn)程可交互裝置的二維碼圖像，系統(tǒng)自動(dòng)識(shí)別二維碼，并自動(dòng)跟蹤移動(dòng)中的二維碼，建立TIUI上遠(yuǎn)程可交互裝置的圖像與實(shí)際遠(yuǎn)程可交互裝置的對(duì)應(yīng)關(guān)系，然后用戶通過(guò)TIUI直接觸摸遠(yuǎn)程可交互裝置的控制面板圖像，如同觸摸真實(shí)裝置的控制面板，比如，觸摸本地空間中的門(mén)禁系統(tǒng)密碼健面板圖像，如同用戶在本地空間直接觸摸密碼鍵。由于TIUI上的密碼健圖像和遠(yuǎn)程可交互裝置建立了對(duì)應(yīng)關(guān)系，因此，觸摸一個(gè)遠(yuǎn)程可交互裝置的圖像，就是通過(guò)WiFi向該裝置的驅(qū)動(dòng)器發(fā)送對(duì)應(yīng)的控制指令，使該裝置完成相應(yīng)動(dòng)作，實(shí)現(xiàn)通過(guò)TIUI的遠(yuǎn)程呈現(xiàn)交互。

實(shí)施例5

本實(shí)施例具體闡述了采用本發(fā)明所提出的方法和系統(tǒng)應(yīng)用于遠(yuǎn)程陪護(hù)。用戶通過(guò)雙手指觸摸手勢(shì)，在TIUI的下部圖像區(qū)域中，控制遠(yuǎn)程呈現(xiàn)機(jī)器人移動(dòng)至帶有密碼鎖的房門(mén)門(mén)口；通過(guò)單手指觸摸手勢(shì)，在TIUI的上部圖像區(qū)域中，點(diǎn)擊密碼鎖的二維碼圖像，系統(tǒng)自動(dòng)識(shí)別二維碼，并建立TIUI上密碼鎖的圖像與實(shí)際密碼鎖的對(duì)應(yīng)關(guān)系；然后用戶在TIUI的上部圖像區(qū)域中使用點(diǎn)手指點(diǎn)擊密碼鎖按鍵的圖像，系統(tǒng)通過(guò)WiFi向密碼鎖的驅(qū)動(dòng)器發(fā)送對(duì)應(yīng)的控制指令，當(dāng)用戶輸入正確的密碼后，可以打開(kāi)房門(mén)。

用戶通過(guò)雙手指觸摸手勢(shì)，在TIUI的下部圖像區(qū)域中，控制遠(yuǎn)程呈現(xiàn)機(jī)器人進(jìn)入房間，移動(dòng)至燈的開(kāi)關(guān)前；在TIUI的上部圖像區(qū)域中，點(diǎn)擊開(kāi)關(guān)的二維碼圖像，然后點(diǎn)擊開(kāi)關(guān)的圖像，可以打開(kāi)房間中的燈。

此外，本發(fā)明所述方法還可應(yīng)用于遠(yuǎn)程陪護(hù)，遠(yuǎn)程醫(yī)療，遠(yuǎn)程教育等領(lǐng)域。

以上所述為本發(fā)明的較佳實(shí)施例而已，本發(fā)明不應(yīng)該局限于該實(shí)施例和附圖所公開(kāi)的內(nèi)容。凡是不脫離本發(fā)明所公開(kāi)的精神下完成的等效或修改，都落入本發(fā)明保護(hù)的范圍。