一種交互現(xiàn)實(shí)系統(tǒng)和方法
【專利摘要】本發(fā)明是一種交互現(xiàn)實(shí)系統(tǒng)和方法，由現(xiàn)實(shí)世界(1)、攝像機(jī)(2)和計(jì)算機(jī)(3)三個(gè)部分組成，現(xiàn)實(shí)世界(1)包含有機(jī)器人和場(chǎng)景。攝像機(jī)(2)通過(guò)WiFi模塊將現(xiàn)實(shí)世界(1)圖像實(shí)時(shí)傳給計(jì)算機(jī)(3)，并在計(jì)算機(jī)(3)的多點(diǎn)觸摸顯示屏上顯示。當(dāng)操作員用手指直接拖動(dòng)顯示屏上的機(jī)器人圖像時(shí)，計(jì)算機(jī)(3)通過(guò)WiFi模塊向該機(jī)器人發(fā)送移動(dòng)遙控指令，該機(jī)器人隨著手指的拖動(dòng)，完成前進(jìn)、后退、轉(zhuǎn)彎、停止等作業(yè)。操作員可以在計(jì)算機(jī)(3)顯示屏上標(biāo)記多個(gè)機(jī)器人圖像，拖動(dòng)其中任何一臺(tái)機(jī)器人，所有被標(biāo)記的機(jī)器人都會(huì)做相同的作業(yè)，以此完成多臺(tái)機(jī)器人的同時(shí)遙控。與已有系統(tǒng)相比，本發(fā)明對(duì)多機(jī)器人的遙控更自然、簡(jiǎn)單和便捷。
【專利說(shuō)明】一種交互現(xiàn)實(shí)系統(tǒng)和方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人與機(jī)器人交互方式，特別是一種人與現(xiàn)實(shí)世界中多個(gè)機(jī)器人交互的系統(tǒng)和方法，屬于人機(jī)交互領(lǐng)域。

【背景技術(shù)】
[0002]一般機(jī)器人都具有遙控功能。通過(guò)遙控裝置，在可視范圍內(nèi)遙控機(jī)器人進(jìn)行作業(yè)，也可以通過(guò)視頻圖像遙控可視范圍以外的機(jī)器人進(jìn)行作業(yè)。遙控機(jī)器人直接受控于人類，能夠?qū)⑷祟愔腔酆蜋C(jī)器人自主能力相結(jié)合，高效率、高質(zhì)量完成作業(yè)，這類機(jī)器人仍然是未來(lái)機(jī)器人的主流。遙控機(jī)器人主要由遙控裝置、視頻監(jiān)控裝置、自主機(jī)器人等三個(gè)部分組成。遙控裝置包含方向十字鍵和功能鍵，也有的遙控裝置包含方向手柄(或方向盤)和功能鍵。操作員通過(guò)視頻監(jiān)控裝置觀測(cè)現(xiàn)場(chǎng)，通過(guò)遙控裝置向機(jī)器人發(fā)送指令，遠(yuǎn)距離遙控機(jī)器人完成作業(yè)。近幾年，出現(xiàn)了觸摸屏遙控裝置，比如iPad機(jī)器人、iPad航模、iPad潛艇等，在iPad觸摸屏上顯示相應(yīng)的方向十字鍵(或方向盤)和功能鍵圖標(biāo)，通過(guò)觸摸圖標(biāo)遙控機(jī)器人完成作業(yè)。
[0003]目前設(shè)計(jì)的遙控裝置盡管很人性化，但仍然需要操作員具有良好的遙控操作技能；尤其在遙控多個(gè)機(jī)器人時(shí)，需要多人操作多個(gè)對(duì)應(yīng)的遙控裝置，產(chǎn)生多人之間的同步、合作與競(jìng)爭(zhēng)等控制問(wèn)題。


【發(fā)明內(nèi)容】

[0004]本發(fā)明針對(duì)上述問(wèn)題，提出一種交互現(xiàn)實(shí)系統(tǒng)(Interactive Reality Systems,IRS)和方法。
[0005]本發(fā)明的基本思想是通過(guò)攝像機(jī)建立現(xiàn)實(shí)世界中機(jī)器人和其在計(jì)算機(jī)多點(diǎn)觸摸顯示屏上的圖像之間的對(duì)應(yīng)關(guān)系，操作員直接觸摸顯示屏上的機(jī)器人圖像，就能實(shí)現(xiàn)對(duì)現(xiàn)實(shí)世界中機(jī)器人的遙控，稱這種遙控方式為觸摸圖像遙控(Tele-Control by TouchingImages, TCTI)。觸摸圖像遙控不是觸摸顯示屏上的遙控健圖標(biāo)，而是直接觸摸顯示屏上的機(jī)器人圖像。
[0006]本發(fā)明的目的是建立一種交互現(xiàn)實(shí)系統(tǒng)，操作員用手指觸摸計(jì)算機(jī)的多點(diǎn)觸摸顯示屏，直接拖動(dòng)顯示屏中的機(jī)器人圖像，就能完成機(jī)器人前進(jìn)、后退、轉(zhuǎn)彎、停止等遙控作業(yè)；操作員能夠在顯示屏上標(biāo)記多個(gè)機(jī)器人圖像，拖動(dòng)任何一個(gè)機(jī)器人圖像，其它機(jī)器人圖像也一起被拖動(dòng)，完成現(xiàn)實(shí)世界中多個(gè)機(jī)器人的遙控。本發(fā)明的另一個(gè)目的是建立一種交互現(xiàn)實(shí)方法，使用攝像機(jī)將現(xiàn)實(shí)世界的圖像傳給一定距離以外的計(jì)算機(jī)，并顯示在計(jì)算機(jī)的多點(diǎn)觸摸顯示屏上，通過(guò)直接觸摸現(xiàn)實(shí)世界的圖像，實(shí)現(xiàn)人與現(xiàn)實(shí)世界的交流和互動(dòng)。
[0007]本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的。
[0008]1.一種交互現(xiàn)實(shí)系統(tǒng)，由現(xiàn)實(shí)世界(I)、攝像機(jī)(2)和計(jì)算機(jī)(3)等三個(gè)部分組成，現(xiàn)實(shí)世界(I)中包含有機(jī)器人和場(chǎng)景，機(jī)器人、攝像機(jī)(2)和計(jì)算機(jī)(3)都包含有WiFi模塊，計(jì)算機(jī)(3)還包含有多點(diǎn)觸摸顯示屏、計(jì)算模塊和控制模塊，所述現(xiàn)實(shí)世界(I)中機(jī)器人用于完成其在場(chǎng)景中的作業(yè)任務(wù)，攝像機(jī)(2)用于完成現(xiàn)實(shí)世界(I)的圖像獲取，并通過(guò)WiFi模塊實(shí)時(shí)傳給計(jì)算機(jī)(3)的任務(wù)，其特征在于，所述計(jì)算機(jī)(3)的計(jì)算模塊用于建立現(xiàn)實(shí)世界(I)的機(jī)器人與多點(diǎn)觸摸顯示屏上機(jī)器人圖像的對(duì)應(yīng)關(guān)系，并在多點(diǎn)觸摸顯示屏上顯示具有對(duì)應(yīng)關(guān)系的圖像，以及識(shí)別操作員在多點(diǎn)觸摸顯示屏上觸摸圖像的動(dòng)作，計(jì)算機(jī)(3)的控制模塊將觸摸圖像的動(dòng)作轉(zhuǎn)換為對(duì)應(yīng)機(jī)器人可以識(shí)別的指令，通過(guò)WiFi模塊向現(xiàn)實(shí)世界(I)中對(duì)應(yīng)的機(jī)器人發(fā)出，使其按照指令完成作業(yè)任務(wù)
[0009]一種交互現(xiàn)實(shí)方法，其特征在于，攝像機(jī)(2)通過(guò)WiFi模塊將現(xiàn)實(shí)世界(I)圖像實(shí)時(shí)傳給計(jì)算機(jī)(3)，計(jì)算機(jī)(3)的計(jì)算模塊對(duì)圖像中的機(jī)器人進(jìn)行實(shí)時(shí)的識(shí)別和定位計(jì)算，操作員用手指直接拖動(dòng)多點(diǎn)觸摸顯示屏上的機(jī)器人圖像，遙控機(jī)器人在現(xiàn)實(shí)世界(I)做相應(yīng)的動(dòng)作；通過(guò)該種方法循環(huán)往復(fù)，操作員可以通過(guò)多點(diǎn)觸摸顯示屏實(shí)時(shí)控制現(xiàn)實(shí)世界(I)中的機(jī)器人完成作業(yè)任務(wù)。
[0010]所述方法還包括現(xiàn)實(shí)世界(I)中多個(gè)機(jī)器人和多點(diǎn)觸摸顯示屏中機(jī)器人圖像的對(duì)應(yīng)關(guān)系的建立，該建立過(guò)程可以通過(guò)以下兩種方式中的任何一種實(shí)現(xiàn):
[0011]一、計(jì)算機(jī)(3)的控制模塊通過(guò)WiFi模塊給現(xiàn)實(shí)世界(I)中的某一個(gè)機(jī)器人發(fā)送特定運(yùn)動(dòng)的遙控指令，操作員對(duì)多點(diǎn)觸摸顯示屏中做相應(yīng)運(yùn)動(dòng)的那個(gè)機(jī)器人進(jìn)行標(biāo)記，計(jì)算機(jī)(3)的計(jì)算模塊將該機(jī)器人圖像存儲(chǔ)下來(lái)，用于后續(xù)的識(shí)別和定位，完成對(duì)應(yīng)關(guān)系的建立；
[0012]二、計(jì)算機(jī)(3)的控制模塊通過(guò)WiFi模塊給現(xiàn)實(shí)世界(I)中的某一個(gè)機(jī)器人發(fā)送特定運(yùn)動(dòng)的遙控指令，計(jì)算機(jī)(3)的計(jì)算模塊自動(dòng)檢測(cè)做相應(yīng)動(dòng)作的那個(gè)機(jī)器人并進(jìn)行標(biāo)記，將該機(jī)器人圖像存儲(chǔ)下來(lái)，用于后續(xù)的識(shí)別和定位，完成對(duì)應(yīng)關(guān)系的建立。
[0013]操作員可以在多點(diǎn)觸摸顯示屏上標(biāo)記多個(gè)機(jī)器人圖像，拖動(dòng)任何一個(gè)機(jī)器人圖像，所有被標(biāo)記的機(jī)器人都在現(xiàn)實(shí)世界(I)做相同的動(dòng)作，實(shí)現(xiàn)多臺(tái)機(jī)器人的遙控。
[0014]操作員在多點(diǎn)觸摸顯示屏上對(duì)現(xiàn)實(shí)世界(I)的場(chǎng)景圖像進(jìn)行標(biāo)記，標(biāo)記特定的點(diǎn)或區(qū)域，當(dāng)現(xiàn)實(shí)世界(I)的機(jī)器人與這些點(diǎn)或區(qū)域的距離低于閾值L，控制模塊自動(dòng)向?qū)?yīng)的機(jī)器人發(fā)出相關(guān)指令，遙控機(jī)器人做相應(yīng)的動(dòng)作。
[0015]本發(fā)明具有如下優(yōu)點(diǎn):
[0016]1、遙控直觀。在觸摸屏上看到機(jī)器人圖像，直接拖動(dòng)機(jī)器人圖像，可以看到機(jī)器人是否按照操作人員的意圖運(yùn)動(dòng)。
[0017]2、遙控自然。操作人員用手指拖動(dòng)機(jī)器人圖像是按照自然的方式進(jìn)行的，比如，向前拖動(dòng)是前行，向左拖動(dòng)是左轉(zhuǎn)等。
[0018]3、遙控多個(gè)機(jī)器人更加容易、便捷。通過(guò)“成組”功能鍵，將多個(gè)機(jī)器人劃為一組，遙控任何一個(gè)機(jī)器人等于遙控整組機(jī)器人做相同的作業(yè)。
[0019]4、能夠?qū)ΜF(xiàn)實(shí)世界進(jìn)行虛擬標(biāo)記，為機(jī)器人自主作業(yè)提供信息。在現(xiàn)實(shí)世界(I)的圖像上，通過(guò)畫線和畫圈設(shè)置壁壘、禁區(qū)或工作區(qū)，實(shí)現(xiàn)對(duì)現(xiàn)實(shí)世界(I)的標(biāo)記，無(wú)需到現(xiàn)實(shí)世界現(xiàn)場(chǎng)設(shè)置實(shí)物，提高工作效率。特別是機(jī)器人可以到達(dá)而人員無(wú)法到達(dá)的現(xiàn)場(chǎng)，這種標(biāo)記方法更加有效。
[0020]5、更加通用的遙控功能，硬件系統(tǒng)不變，只改變軟件，就可以改變功能，升級(jí)容易，成本低。

【專利附圖】

【附圖說(shuō)明】
[0021]圖1為本發(fā)明組成結(jié)構(gòu)示意圖。
[0022]圖2為本發(fā)明實(shí)施例示意圖。
[0023]圖3為本發(fā)明實(shí)施例中多點(diǎn)觸摸顯示屏功能菜單健示意圖。
[0024]圖4為本發(fā)明實(shí)施例中遙控單個(gè)機(jī)器人示意圖。
[0025]圖5為本發(fā)明實(shí)施例中遙控多個(gè)機(jī)器人示意圖。
[0026]圖6為本發(fā)明實(shí)施例中在多點(diǎn)觸摸顯示屏上對(duì)場(chǎng)景進(jìn)行標(biāo)記示意圖。
[0027]附圖標(biāo)記:現(xiàn)實(shí)世界-1 ;攝像機(jī)-2 ;計(jì)算機(jī)_3。
[0028]實(shí)施方式
[0029]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明的工作過(guò)程作進(jìn)一步說(shuō)明。
[0030]一種交互現(xiàn)實(shí)系統(tǒng)，由現(xiàn)實(shí)世界(I)、攝像機(jī)(2)和計(jì)算機(jī)(3)等三個(gè)部分組成，如圖1所示。現(xiàn)實(shí)世界(I)中包含有機(jī)器人和場(chǎng)景，機(jī)器人有WiFi模塊；機(jī)器人具有感知和定位等自主能力，具有自主避障功能。攝像機(jī)(2)包含有WiFi模塊，計(jì)算機(jī)(3)包含有計(jì)算模塊、WiFi模塊、控制模塊和多點(diǎn)觸摸顯示屏，具有強(qiáng)大的計(jì)算和存儲(chǔ)能力?，F(xiàn)實(shí)世界
(I)的機(jī)器人、攝像機(jī)(2)、計(jì)算機(jī)(3)直接通過(guò)WiFi模塊連接的。攝像機(jī)(2)通過(guò)WiFi模塊將現(xiàn)實(shí)世界(I)圖像實(shí)時(shí)傳給計(jì)算機(jī)(3)，計(jì)算機(jī)(3)的計(jì)算模塊對(duì)圖像中的機(jī)器人進(jìn)行實(shí)時(shí)的定位計(jì)算，建立現(xiàn)實(shí)世界(I)的機(jī)器人與多點(diǎn)觸摸顯示屏上機(jī)器人圖象的對(duì)應(yīng)關(guān)系，并在多點(diǎn)觸摸顯示屏上顯示具有這種對(duì)應(yīng)關(guān)系的圖像。操作員觸摸顯示屏上的機(jī)器人圖像，計(jì)算機(jī)(3)的計(jì)算模塊識(shí)別該觸摸動(dòng)作，并由控制模塊生成控制指令，通過(guò)WiFi模塊向?qū)?yīng)的機(jī)器人發(fā)送，完成對(duì)現(xiàn)實(shí)世界(I)中機(jī)器人的遙控。
[0031]攝像機(jī)(2)安裝在現(xiàn)實(shí)世界(I)中一個(gè)固定位置，獲取現(xiàn)實(shí)世界(I)的圖像，并通過(guò)WiFi模塊實(shí)時(shí)傳給計(jì)算機(jī)(3)。在現(xiàn)實(shí)世界(I)中安裝多個(gè)固定攝像機(jī)，能完成現(xiàn)實(shí)世界(I)的多方位圖像獲取任務(wù)。當(dāng)使用多個(gè)攝像機(jī)(2)時(shí)，計(jì)算機(jī)(3)需要分屏顯示，或使用對(duì)應(yīng)的多臺(tái)計(jì)算機(jī)(3)。
[0032]計(jì)算機(jī)(3)的計(jì)算模塊能夠?qū)z像機(jī)(2)拍攝的現(xiàn)實(shí)世界⑴的圖像中的機(jī)器人進(jìn)行實(shí)時(shí)檢測(cè)、跟蹤、識(shí)別和定位，該定位信息和多點(diǎn)觸摸陣列形成對(duì)應(yīng)關(guān)系，這種對(duì)應(yīng)關(guān)系使得計(jì)算機(jī)能夠準(zhǔn)確感知操作員是否觸摸到對(duì)應(yīng)的機(jī)器人圖像。不同的觸摸動(dòng)作表示不同的遙控指令，選擇自然的拖動(dòng)動(dòng)作，機(jī)器人會(huì)隨著手指的拖動(dòng)而移動(dòng)，可以做到機(jī)器人跟隨手指移動(dòng)。對(duì)于一個(gè)正在移動(dòng)的機(jī)器人，手指按住多點(diǎn)觸摸顯示屏上的機(jī)器人圖像，現(xiàn)實(shí)世界(I)中的機(jī)器人就在計(jì)算機(jī)(3)的控制模塊的控制下停止移動(dòng)。
[0033]操作員可以在多點(diǎn)觸摸顯示屏上對(duì)現(xiàn)實(shí)世界(I)的圖像進(jìn)行標(biāo)記，標(biāo)記特定的點(diǎn)或區(qū)域，并賦予特定的含義，比如禁止區(qū)域、沙地區(qū)域、目的地點(diǎn)等。無(wú)需到現(xiàn)實(shí)世界⑴中去設(shè)置實(shí)物。當(dāng)機(jī)器人與這些點(diǎn)或區(qū)域的距離低于一個(gè)預(yù)先設(shè)定的閾值L時(shí)，計(jì)算機(jī)(3)的控制模塊自動(dòng)發(fā)出指令，遙控對(duì)應(yīng)的機(jī)器人做相應(yīng)的動(dòng)作，比如遇到禁止區(qū)域，機(jī)器人無(wú)需自主感知，控制模塊直接向該機(jī)器人發(fā)出指令，遙控該機(jī)器人遠(yuǎn)離禁止區(qū)域。此時(shí)，操作員也無(wú)法通過(guò)拖動(dòng)該機(jī)器人進(jìn)入禁區(qū)。
[0034]操作員還可以在多點(diǎn)觸摸顯示屏上標(biāo)記多個(gè)機(jī)器人圖像，標(biāo)記后，拖動(dòng)任何一個(gè)機(jī)器人圖像，所有被標(biāo)記的機(jī)器人都在現(xiàn)實(shí)世界(I)做相同的動(dòng)作，實(shí)現(xiàn)多個(gè)機(jī)器人的遙控。
[0035]本發(fā)明還需要建立現(xiàn)實(shí)世界⑴中機(jī)器人和計(jì)算機(jī)(3)顯示的機(jī)器人圖像之間的對(duì)應(yīng)關(guān)系。如果只有一個(gè)機(jī)器人，圖像中的機(jī)器人就是現(xiàn)實(shí)世界中的那個(gè)機(jī)器人，無(wú)需建立遙控對(duì)應(yīng)關(guān)系。但現(xiàn)實(shí)世界(I)中有多個(gè)機(jī)器人時(shí)，計(jì)算機(jī)(3)的多點(diǎn)觸摸顯示屏上將顯示多個(gè)機(jī)器人圖像，此時(shí)需要建立現(xiàn)實(shí)世界(I)中的機(jī)器人和多點(diǎn)觸摸顯示屏中機(jī)器人圖像的對(duì)應(yīng)關(guān)系，稱為遙控對(duì)應(yīng)關(guān)系。有了遙控對(duì)應(yīng)關(guān)系，則拖動(dòng)多點(diǎn)觸摸顯示屏中某一個(gè)機(jī)器人圖像時(shí)，計(jì)算機(jī)(3)的控制模塊就可以通過(guò)WiFi模塊向該機(jī)器人發(fā)送遙控指令，對(duì)應(yīng)的機(jī)器人做相應(yīng)的動(dòng)作。
[0036]下面是建立遙控對(duì)應(yīng)關(guān)系的二種技術(shù)。
[0037]第一種是交互式遙控對(duì)應(yīng)技術(shù)。計(jì)算機(jī)(3)的控制模塊通過(guò)WiFi模塊給現(xiàn)實(shí)世界(I)中的一個(gè)機(jī)器人發(fā)送特定運(yùn)動(dòng)的遙控指令，操作員對(duì)多點(diǎn)觸摸顯示屏中做相應(yīng)運(yùn)動(dòng)的機(jī)器人進(jìn)行標(biāo)記，完成遙控對(duì)應(yīng)關(guān)系的建立。這種技術(shù)也叫點(diǎn)名技術(shù)，點(diǎn)到誰(shuí)的名字，誰(shuí)就給出動(dòng)作，然后用戶對(duì)其標(biāo)記，計(jì)算機(jī)(3)的計(jì)算模塊將圖像存儲(chǔ)下來(lái)，為后續(xù)的機(jī)器人識(shí)別和定位提供模板信息。
[0038]第二種是圖像識(shí)別遙控對(duì)應(yīng)技術(shù)。在機(jī)器人上貼有標(biāo)簽，比如用不同顏色的組合作為標(biāo)簽，就像足球運(yùn)動(dòng)員身背號(hào)碼一樣，由計(jì)算機(jī)對(duì)標(biāo)簽進(jìn)行識(shí)別，建立遙控對(duì)應(yīng)關(guān)系。也可以采用計(jì)算機(jī)自動(dòng)點(diǎn)名技術(shù)，即計(jì)算機(jī)(3)的控制模塊自動(dòng)給某一個(gè)機(jī)器人發(fā)送特定動(dòng)作指令，計(jì)算機(jī)(3)的計(jì)算模塊自動(dòng)檢測(cè)做特定動(dòng)作的機(jī)器人，并進(jìn)行標(biāo)記以及將其圖像存儲(chǔ)下來(lái)，為后續(xù)的機(jī)器人識(shí)別和定位提供模板信息。
[0039]下面結(jié)合一個(gè)具體的實(shí)施例對(duì)上述內(nèi)容作進(jìn)一步說(shuō)明。
[0040]圖2是本發(fā)明實(shí)施例示意圖，在現(xiàn)實(shí)世界(I)中有6個(gè)機(jī)器人，分成白和黑2隊(duì)對(duì)陣，每隊(duì)3個(gè)。在現(xiàn)實(shí)世界⑴中，固定安裝一臺(tái)攝像機(jī)(2)，攝像機(jī)⑵通過(guò)WiFi模塊將現(xiàn)實(shí)世界(I)的圖像實(shí)時(shí)傳給計(jì)算機(jī)(3)，并在多點(diǎn)觸摸顯示屏上直接顯示。
[0041]白和黑兩隊(duì)機(jī)器人分別由兩位用戶作為領(lǐng)隊(duì)來(lái)遙控。黑色手指代表黑隊(duì)機(jī)器人領(lǐng)隊(duì)，白色手指代表白隊(duì)機(jī)器人領(lǐng)隊(duì)。
[0042]計(jì)算機(jī)(3)的多點(diǎn)觸摸顯示屏上有功能菜單健，如圖3所示。按功能菜單健，菜單展開，出現(xiàn)5個(gè)功能鍵:刪除、成組、障礙、對(duì)應(yīng)、確認(rèn)。
[0043]本發(fā)明系統(tǒng)有兩種狀態(tài)，一種是設(shè)置狀態(tài)，一種是遙控狀態(tài)。菜單展開，處于設(shè)置狀態(tài)，此時(shí)可以建立遙控“對(duì)應(yīng)”關(guān)系，可以設(shè)置“障礙”，也可以“成組”機(jī)器人等。
[0044]本系統(tǒng)開始工作時(shí)，按功能菜單健，菜單展開，按“對(duì)應(yīng)”健，然后采用交互式對(duì)應(yīng)技術(shù)，建立現(xiàn)實(shí)世界(I)中6個(gè)機(jī)器人和計(jì)算機(jī)(I)多點(diǎn)觸摸顯示屏上6個(gè)機(jī)器人圖像之間的對(duì)應(yīng)關(guān)系?？梢灾貜?fù)建立對(duì)應(yīng)關(guān)系。按菜單中的確認(rèn)健，菜單收回，系統(tǒng)進(jìn)入遙控狀態(tài)。
[0045]圖4所示的是白和黑兩隊(duì)領(lǐng)隊(duì)分別用手指觸摸自己的機(jī)器人隊(duì)員圖像，領(lǐng)隊(duì)手指拖動(dòng)任何一個(gè)機(jī)器人的圖像，對(duì)應(yīng)的機(jī)器人隨著手指的移動(dòng)而移動(dòng)，能完成諸如前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)等運(yùn)動(dòng)，實(shí)現(xiàn)了通過(guò)觸摸顯示屏遙控機(jī)器人的目的。
[0046]當(dāng)遙控多個(gè)機(jī)器人做同樣的運(yùn)動(dòng)或同時(shí)運(yùn)動(dòng)到同一位置時(shí)，領(lǐng)隊(duì)按功能菜單健，菜單展開，按“成組”健，然后在多點(diǎn)觸摸顯示屏上將這些機(jī)器人圖像圈起來(lái)，形成遙控區(qū)域，領(lǐng)隊(duì)手指拖動(dòng)遙控區(qū)域的任何一個(gè)機(jī)器人圖像，則遙控區(qū)域中的所有機(jī)器人圖像都被拖動(dòng)，實(shí)現(xiàn)了通過(guò)觸摸一個(gè)機(jī)器人圖像能遙控多個(gè)機(jī)器人的目的，如圖5所示。
[0047]本發(fā)明不僅可以對(duì)現(xiàn)實(shí)世界(I)中的機(jī)器人進(jìn)行遙控和設(shè)置，還可以對(duì)場(chǎng)景進(jìn)行設(shè)置。現(xiàn)實(shí)世界(I)中的機(jī)器人具有感知、定位和避障功能，也可以識(shí)別和理解場(chǎng)景，比如障礙物，特定目標(biāo)等，但識(shí)別和理解都有一定的局限性，比如識(shí)別率、計(jì)算時(shí)間等。在交互現(xiàn)實(shí)系統(tǒng)中，由于操作員直接通過(guò)計(jì)算機(jī)(3)的多點(diǎn)觸摸顯示屏看到現(xiàn)實(shí)世界(I)中的機(jī)器人和場(chǎng)景，可以直接對(duì)場(chǎng)景進(jìn)行交互標(biāo)記，標(biāo)記特定的點(diǎn)和區(qū)域。無(wú)需人員直接到現(xiàn)實(shí)世界的現(xiàn)場(chǎng)設(shè)置實(shí)物標(biāo)記，可以有效的提高工作效率，特別是機(jī)器人可以到達(dá)而人員無(wú)法到達(dá)的現(xiàn)場(chǎng)，這種標(biāo)記方法更加有效。
[0048]圖6是本實(shí)施例在場(chǎng)景中設(shè)置的禁止線和禁止區(qū)域。按功能菜單健，菜單展開，按其中的“障礙”健，然后在多點(diǎn)觸摸顯示屏上的場(chǎng)景圖像中畫線，比如，機(jī)器人在道路上運(yùn)動(dòng)，可以在路牙或水溝邊上劃線，告知機(jī)器人這是路牙或水溝，不可越界；也可以將場(chǎng)景圖像某一個(gè)特定區(qū)域圈起來(lái)，如圖6中的三角區(qū)域，表示該區(qū)域是障礙物或陷阱，機(jī)器人不能踏入，比如水池或沙地等。當(dāng)機(jī)器人接近這些點(diǎn)或區(qū)域時(shí)，計(jì)算機(jī)(3)的控制模塊會(huì)自動(dòng)給機(jī)器人發(fā)出指令，來(lái)遙控機(jī)器人做相應(yīng)的動(dòng)作，此時(shí)，即使操作人誤操作，也無(wú)法拖動(dòng)機(jī)器人進(jìn)入這些障礙區(qū)。
[0049]本領(lǐng)域技術(shù)人員都了解，本系統(tǒng)可以完成的功能不只包含實(shí)施例中所述，還可以通過(guò)功能菜單健設(shè)置更多的功能，比如設(shè)置某一個(gè)機(jī)器人為隊(duì)長(zhǎng)，設(shè)置一個(gè)機(jī)器人為另一個(gè)機(jī)器人的衛(wèi)兵等。
[0050]以上所述的具體描述，對(duì)發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例，用于解釋本發(fā)明，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種交互現(xiàn)實(shí)系統(tǒng)，由現(xiàn)實(shí)世界(I)、攝像機(jī)(2)和計(jì)算機(jī)(3)等三個(gè)部分組成，現(xiàn)實(shí)世界(I)中包含有機(jī)器人和場(chǎng)景，機(jī)器人、攝像機(jī)(2)和計(jì)算機(jī)(3)都包含有WiFi模塊，計(jì)算機(jī)(3)還包含有多點(diǎn)觸摸顯示屏、計(jì)算模塊和控制模塊，所述現(xiàn)實(shí)世界(I)中機(jī)器人用于完成其在場(chǎng)景中的作業(yè)任務(wù)，攝像機(jī)(2)用于完成現(xiàn)實(shí)世界(I)的圖像獲取，并通過(guò)WiFi模塊實(shí)時(shí)傳給計(jì)算機(jī)(3)的任務(wù)，其特征在于，所述計(jì)算機(jī)(3)的計(jì)算模塊用于建立現(xiàn)實(shí)世界(I)的機(jī)器人與多點(diǎn)觸摸顯示屏上機(jī)器人圖像的對(duì)應(yīng)關(guān)系，并在多點(diǎn)觸摸顯示屏上顯示具有對(duì)應(yīng)關(guān)系的圖像，以及識(shí)別操作員在多點(diǎn)觸摸顯示屏上觸摸圖像的動(dòng)作，計(jì)算機(jī)(3)的控制模塊將觸摸圖像的動(dòng)作轉(zhuǎn)換為對(duì)應(yīng)機(jī)器人可以識(shí)別的指令，通過(guò)WiFi模塊向現(xiàn)實(shí)世界(I)中對(duì)應(yīng)的機(jī)器人發(fā)出，使其按照指令完成作業(yè)任務(wù)。
2.一種交互現(xiàn)實(shí)方法，其特征在于，攝像機(jī)(2)通過(guò)WiFi模塊將現(xiàn)實(shí)世界(I)圖像實(shí)時(shí)傳給計(jì)算機(jī)(3)，計(jì)算機(jī)(3)的計(jì)算模塊對(duì)圖像中的機(jī)器人進(jìn)行實(shí)時(shí)的識(shí)別和定位計(jì)算，操作員用手指直接拖動(dòng)多點(diǎn)觸摸顯示屏上的機(jī)器人圖像，遙控機(jī)器人在現(xiàn)實(shí)世界(I)做相應(yīng)的動(dòng)作；通過(guò)該種方法循環(huán)往復(fù)，操作員可以通過(guò)多點(diǎn)觸摸顯示屏實(shí)時(shí)控制現(xiàn)實(shí)世界的機(jī)器人完成作業(yè)任務(wù)。
3.根據(jù)權(quán)利要求2所述的一種交互現(xiàn)實(shí)方法，其特征在于，所述方法還包括現(xiàn)實(shí)世界(I)中多個(gè)機(jī)器人和多點(diǎn)觸摸顯示屏中機(jī)器人圖像的對(duì)應(yīng)關(guān)系的建立，該建立過(guò)程可以通過(guò)以下兩種方式中的任何一種實(shí)現(xiàn): 一、計(jì)算機(jī)(3)的控制模塊通過(guò)WiFi模塊給現(xiàn)實(shí)世界(I)中的某一個(gè)機(jī)器人發(fā)送特定運(yùn)動(dòng)的遙控指令，操作員對(duì)多點(diǎn)觸摸顯示屏中做相應(yīng)運(yùn)動(dòng)的那個(gè)機(jī)器人圖像進(jìn)行標(biāo)記，計(jì)算機(jī)(3)的計(jì)算模塊將該機(jī)器人圖像存儲(chǔ)下來(lái)，用于后續(xù)的識(shí)別和定位，完成對(duì)應(yīng)關(guān)系的建立； 二、計(jì)算機(jī)(3)的控制模塊通過(guò)WiFi模塊給現(xiàn)實(shí)世界(I)中的某一個(gè)機(jī)器人發(fā)送特定運(yùn)動(dòng)的遙控指令，計(jì)算機(jī)(3)的計(jì)算模塊自動(dòng)檢測(cè)做相應(yīng)動(dòng)作的那個(gè)機(jī)器人并進(jìn)行標(biāo)記，并將機(jī)器人圖像存儲(chǔ)下來(lái)，用于后續(xù)的識(shí)別和定位，完成對(duì)應(yīng)關(guān)系的建立。
4.根據(jù)權(quán)利要求2所述的一種交互現(xiàn)實(shí)方法，其特征在于，操作員可以在多點(diǎn)觸摸顯示屏上標(biāo)記多個(gè)機(jī)器人圖像，拖動(dòng)任何一個(gè)機(jī)器人圖像，所有被標(biāo)記的機(jī)器人都在現(xiàn)實(shí)世界(I)做相同的動(dòng)作，實(shí)現(xiàn)多臺(tái)機(jī)器人的遙控。
5.根據(jù)權(quán)利要求2-4任一所述的一種交互現(xiàn)實(shí)方法，其特征在于，操作員在多點(diǎn)觸摸顯示屏上對(duì)現(xiàn)實(shí)世界(I)的場(chǎng)景圖像進(jìn)行標(biāo)記，標(biāo)記特定的點(diǎn)或區(qū)域，當(dāng)現(xiàn)實(shí)世界(I)的機(jī)器人與這些點(diǎn)或區(qū)域的距離低于閾值L，控制模塊自動(dòng)向?qū)?yīng)的機(jī)器人發(fā)出相關(guān)指令，遙控機(jī)器人做相應(yīng)的動(dòng)作。
【文檔編號(hào)】G05D1/02GK104238418SQ201410468689
【公開日】2014年12月24日 申請(qǐng)日期:2014年9月15日 優(yōu)先權(quán)日:2014年7月2日
【發(fā)明者】賈云得 申請(qǐng)人:北京理工大學(xué)