本發(fā)明涉及桌面三維交互，尤其涉及基于桌面三維交互一體機(jī)的手勢(shì)交互方法、裝置及設(shè)備。

背景技術(shù)：

1、當(dāng)前的桌面三維交互一體機(jī)雖然在一定程度上提供了模擬真實(shí)操作環(huán)境，但采用激光筆作為桌面三維交互一體機(jī)主要的操作工具，其局限性日益凸顯，具體：

2、1）激光筆的操作方式不夠直觀和靈活，難以滿足用戶在針對(duì)桌面三維交互一體機(jī)提供的模擬真實(shí)操作環(huán)境中模擬需要進(jìn)行的精確操作；

3、2）若桌面三維交互一體機(jī)的模擬真實(shí)操作環(huán)境是具體用于多場(chǎng)景康復(fù)訓(xùn)練，使用激光筆的操作方式缺乏帶入感，使得用戶在虛擬環(huán)境中難以獲得沉浸式的操作體驗(yàn)，降低了康復(fù)訓(xùn)練效果；

4、3）現(xiàn)有的桌面三維交互一體機(jī)無法模擬復(fù)雜的手部動(dòng)作，這在許多需要精細(xì)操作領(lǐng)域（如醫(yī)療、工程等）的康復(fù)訓(xùn)練中，就無法完成精細(xì)的手部操作，導(dǎo)致無法完成康復(fù)訓(xùn)練。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了基于桌面三維交互一體機(jī)的手勢(shì)交互方法、裝置及設(shè)備，旨在解決現(xiàn)有技術(shù)中桌面三維交互一體機(jī)采用激光筆作為主要的操作工具，無法模擬復(fù)雜的手部動(dòng)作，無法在需要精細(xì)操作的領(lǐng)域完成康復(fù)訓(xùn)練的問題。

2、第一方面，本發(fā)明實(shí)施例提供了一種基于桌面三維交互一體機(jī)的手勢(shì)交互方法，應(yīng)用于桌面三維交互一體機(jī)，其中，所述桌面三維交互一體機(jī)包括3d顯示器一體機(jī)、3d眼鏡和手勢(shì)識(shí)別設(shè)備，所述手勢(shì)識(shí)別設(shè)備與所述3d顯示器一體機(jī)通訊連接；所述基于桌面三維交互一體機(jī)的手勢(shì)交互方法包括：

3、所述3d顯示器一體機(jī)響應(yīng)于康復(fù)訓(xùn)練指令，獲取與所述康復(fù)訓(xùn)練指令對(duì)應(yīng)的訓(xùn)練目標(biāo)模型并在康復(fù)訓(xùn)練虛擬場(chǎng)景中進(jìn)行三維顯示，以使得用戶基于3d眼鏡對(duì)訓(xùn)練目標(biāo)模型進(jìn)行查看；

4、所述手勢(shì)識(shí)別設(shè)備若檢測(cè)采集到用戶的手部圖像集，則基于所述手部圖像集對(duì)應(yīng)創(chuàng)建用戶手部模型，并將所述用戶手部模型映射至所述康復(fù)訓(xùn)練虛擬場(chǎng)景；

5、所述手勢(shì)識(shí)別設(shè)備若檢測(cè)到用戶針對(duì)所述訓(xùn)練目標(biāo)模型在所述康復(fù)訓(xùn)練虛擬場(chǎng)景中的當(dāng)前操作手勢(shì)數(shù)據(jù)，則對(duì)所述當(dāng)前操作手勢(shì)數(shù)據(jù)進(jìn)行識(shí)別，得到當(dāng)前操作識(shí)別結(jié)果；

6、所述3d顯示器一體機(jī)基于所述當(dāng)前操作識(shí)別結(jié)果對(duì)所述訓(xùn)練目標(biāo)模型進(jìn)行模型操作，得到當(dāng)前目標(biāo)操作模型；

7、所述手勢(shì)識(shí)別設(shè)備若檢測(cè)到下一操作手勢(shì)數(shù)據(jù)，則以下一操作手勢(shì)數(shù)據(jù)作為所述當(dāng)前操作手勢(shì)數(shù)據(jù)，以所述當(dāng)前目標(biāo)操作模型作為所述訓(xùn)練目標(biāo)模型，并返回執(zhí)行所述手勢(shì)識(shí)別設(shè)備若檢測(cè)到用戶針對(duì)所述訓(xùn)練目標(biāo)模型在所述康復(fù)訓(xùn)練虛擬場(chǎng)景中的當(dāng)前操作手勢(shì)數(shù)據(jù)，則對(duì)所述當(dāng)前操作手勢(shì)數(shù)據(jù)進(jìn)行識(shí)別，得到當(dāng)前操作識(shí)別結(jié)果的步驟，直至所述手勢(shì)識(shí)別設(shè)備未檢測(cè)到下一操作手勢(shì)數(shù)據(jù)或檢測(cè)到操作結(jié)束指令時(shí)停止檢測(cè)。

8、第二方面，本發(fā)明實(shí)施例還提供了一種基于桌面三維交互一體機(jī)的手勢(shì)交互裝置，配置于桌面三維交互一體機(jī)，其中，所述桌面三維交互一體機(jī)包括3d顯示器一體機(jī)、3d眼鏡和手勢(shì)識(shí)別設(shè)備，所述手勢(shì)識(shí)別設(shè)備與所述3d顯示器一體機(jī)通訊連接；

9、所述3d顯示器一體機(jī)，用于響應(yīng)于康復(fù)訓(xùn)練指令，獲取與所述康復(fù)訓(xùn)練指令對(duì)應(yīng)的訓(xùn)練目標(biāo)模型并在康復(fù)訓(xùn)練虛擬場(chǎng)景中進(jìn)行三維顯示，以使得用戶基于3d眼鏡對(duì)訓(xùn)練目標(biāo)模型進(jìn)行查看；

10、所述手勢(shì)識(shí)別設(shè)備，用于若檢測(cè)采集到用戶的手部圖像集，則基于所述手部圖像集對(duì)應(yīng)創(chuàng)建用戶手部模型，并將所述用戶手部模型映射至所述康復(fù)訓(xùn)練虛擬場(chǎng)景；

11、所述手勢(shì)識(shí)別設(shè)備，還用于若檢測(cè)到用戶針對(duì)所述訓(xùn)練目標(biāo)模型在所述康復(fù)訓(xùn)練虛擬場(chǎng)景中的當(dāng)前操作手勢(shì)數(shù)據(jù)，則對(duì)所述當(dāng)前操作手勢(shì)數(shù)據(jù)進(jìn)行識(shí)別，得到當(dāng)前操作識(shí)別結(jié)果；

12、所述3d顯示器一體機(jī)，還用于基于所述當(dāng)前操作識(shí)別結(jié)果對(duì)所述訓(xùn)練目標(biāo)模型進(jìn)行模型操作，得到當(dāng)前目標(biāo)操作模型；

13、所述手勢(shì)識(shí)別設(shè)備，還用于若檢測(cè)到下一操作手勢(shì)數(shù)據(jù)，則以下一操作手勢(shì)數(shù)據(jù)作為所述當(dāng)前操作手勢(shì)數(shù)據(jù)，以所述當(dāng)前目標(biāo)操作模型作為所述訓(xùn)練目標(biāo)模型，并返回執(zhí)行所述手勢(shì)識(shí)別設(shè)備若檢測(cè)到用戶針對(duì)所述訓(xùn)練目標(biāo)模型在所述康復(fù)訓(xùn)練虛擬場(chǎng)景中的當(dāng)前操作手勢(shì)數(shù)據(jù)，則對(duì)所述當(dāng)前操作手勢(shì)數(shù)據(jù)進(jìn)行識(shí)別，得到當(dāng)前操作識(shí)別結(jié)果的步驟，直至所述手勢(shì)識(shí)別設(shè)備未檢測(cè)到下一操作手勢(shì)數(shù)據(jù)或檢測(cè)到操作結(jié)束指令時(shí)停止檢測(cè)。

14、第三方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備，其包括存儲(chǔ)器及處理器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述第一方面所述的方法。

15、第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括程序指令，所述程序指令當(dāng)被處理器執(zhí)行時(shí)可實(shí)現(xiàn)上述第一方面所述的方法。

16、本發(fā)明實(shí)施例提供了基于桌面三維交互一體機(jī)的手勢(shì)交互方法、裝置及設(shè)備，應(yīng)用于桌面三維交互一體機(jī)，其中，桌面三維交互一體機(jī)包括3d顯示器一體機(jī)、3d眼鏡和手勢(shì)識(shí)別設(shè)備，手勢(shì)識(shí)別設(shè)備與3d顯示器一體機(jī)通訊連接；方法包括：3d顯示器一體機(jī)響應(yīng)于康復(fù)訓(xùn)練指令，獲取與康復(fù)訓(xùn)練指令對(duì)應(yīng)的訓(xùn)練目標(biāo)模型并在康復(fù)訓(xùn)練虛擬場(chǎng)景中進(jìn)行三維顯示，以使得用戶基于3d眼鏡對(duì)訓(xùn)練目標(biāo)模型進(jìn)行查看；手勢(shì)識(shí)別設(shè)備若檢測(cè)采集到用戶的手部圖像集，則基于手部圖像集對(duì)應(yīng)創(chuàng)建用戶手部模型，并將用戶手部模型映射至康復(fù)訓(xùn)練虛擬場(chǎng)景；手勢(shì)識(shí)別設(shè)備若檢測(cè)到用戶針對(duì)訓(xùn)練目標(biāo)模型在康復(fù)訓(xùn)練虛擬場(chǎng)景中的當(dāng)前操作手勢(shì)數(shù)據(jù)，則對(duì)當(dāng)前操作手勢(shì)數(shù)據(jù)進(jìn)行識(shí)別，得到當(dāng)前操作識(shí)別結(jié)果；3d顯示器一體機(jī)基于當(dāng)前操作識(shí)別結(jié)果對(duì)訓(xùn)練目標(biāo)模型進(jìn)行模型操作，得到當(dāng)前目標(biāo)操作模型；手勢(shì)識(shí)別設(shè)備若檢測(cè)到下一操作手勢(shì)數(shù)據(jù)，則以下一操作手勢(shì)數(shù)據(jù)作為當(dāng)前操作手勢(shì)數(shù)據(jù)，并返回執(zhí)行手勢(shì)識(shí)別設(shè)備若檢測(cè)到用戶針對(duì)訓(xùn)練目標(biāo)模型在康復(fù)訓(xùn)練虛擬場(chǎng)景中的當(dāng)前操作手勢(shì)數(shù)據(jù)，則對(duì)當(dāng)前操作手勢(shì)數(shù)據(jù)進(jìn)行識(shí)別，得到當(dāng)前操作識(shí)別結(jié)果的步驟，直至手勢(shì)識(shí)別設(shè)備未檢測(cè)到下一操作手勢(shì)數(shù)據(jù)或檢測(cè)到操作結(jié)束指令。本發(fā)明實(shí)施例能基于手勢(shì)識(shí)別設(shè)備快速采集用戶手部圖像并在康復(fù)訓(xùn)練虛擬場(chǎng)景相應(yīng)的三維空間中對(duì)應(yīng)創(chuàng)建用戶手部模型，之后采用用戶手部實(shí)際動(dòng)作驅(qū)動(dòng)用戶手部模型對(duì)康復(fù)訓(xùn)練虛擬場(chǎng)景中的訓(xùn)練目標(biāo)模型進(jìn)行相應(yīng)操作，能有效模擬復(fù)雜的手部動(dòng)作并實(shí)現(xiàn)相應(yīng)的虛擬康復(fù)訓(xùn)練。

技術(shù)特征：

1.一種基于桌面三維交互一體機(jī)的手勢(shì)交互方法，應(yīng)用于桌面三維交互一體機(jī)，其特征在于，所述桌面三維交互一體機(jī)包括3d顯示器一體機(jī)、3d眼鏡和手勢(shì)識(shí)別設(shè)備，所述手勢(shì)識(shí)別設(shè)備與所述3d顯示器一體機(jī)通訊連接；所述基于桌面三維交互一體機(jī)的手勢(shì)交互方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述手勢(shì)識(shí)別設(shè)備若檢測(cè)采集到用戶的手部圖像集，則基于所述手部圖像集對(duì)應(yīng)創(chuàng)建用戶手部模型，并將所述用戶手部模型映射至所述康復(fù)訓(xùn)練虛擬場(chǎng)景，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述若檢測(cè)到有用戶手部進(jìn)入與所述手勢(shì)識(shí)別設(shè)備對(duì)應(yīng)的交互區(qū)域，則獲取預(yù)設(shè)的手部圖像采集策略的步驟之后，在所述基于所述手部圖像采集策略對(duì)所述交互區(qū)域中的用戶手部進(jìn)行圖像采集，得到所述手部圖像集的步驟之前，所述方法還包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于預(yù)設(shè)的三維重建策略對(duì)所述手部圖像集在所述康復(fù)訓(xùn)練虛擬場(chǎng)景中進(jìn)行三維手部虛擬模型重建，得到所述用戶手部模型，并將所述用戶手部模型映射至所述康復(fù)訓(xùn)練虛擬場(chǎng)景，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于所述預(yù)處理手部圖像集中各預(yù)處理手部圖像的圖像信息及對(duì)應(yīng)的手部簡(jiǎn)化節(jié)點(diǎn)模型，確定所述用戶手部模型，并將所述用戶手部模型映射至所述康復(fù)訓(xùn)練虛擬場(chǎng)景，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述當(dāng)前操作識(shí)別結(jié)果對(duì)所述訓(xùn)練目標(biāo)模型進(jìn)行模型操作，得到當(dāng)前目標(biāo)操作模型，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述3d顯示器一體機(jī)基于所述當(dāng)前操作識(shí)別結(jié)果對(duì)所述訓(xùn)練目標(biāo)模型進(jìn)行模型操作，得到當(dāng)前目標(biāo)操作模型的步驟之后，所述方法還包括：

8.一種基于桌面三維交互一體機(jī)的手勢(shì)交互裝置，配置于桌面三維交互一體機(jī)，其特征在于，所述桌面三維交互一體機(jī)包括3d顯示器一體機(jī)、3d眼鏡和手勢(shì)識(shí)別設(shè)備，所述手勢(shì)識(shí)別設(shè)備與所述3d顯示器一體機(jī)通訊連接；

9.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器及處理器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的基于桌面三維交互一體機(jī)的手勢(shì)交互方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括程序指令，所述程序指令當(dāng)被處理器執(zhí)行時(shí)可實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的基于桌面三維交互一體機(jī)的手勢(shì)交互方法。

技術(shù)總結(jié)
本發(fā)明公開了基于桌面三維交互一體機(jī)的手勢(shì)交互方法、裝置及設(shè)備，手勢(shì)識(shí)別設(shè)備若檢測(cè)到用戶針對(duì)訓(xùn)練目標(biāo)模型在康復(fù)訓(xùn)練虛擬場(chǎng)景中的當(dāng)前操作手勢(shì)數(shù)據(jù)，則對(duì)其進(jìn)行識(shí)別得到當(dāng)前操作識(shí)別結(jié)果；3D顯示器一體機(jī)基于當(dāng)前操作識(shí)別結(jié)果對(duì)訓(xùn)練目標(biāo)模型進(jìn)行模型操作，得到當(dāng)前目標(biāo)操作模型；手勢(shì)識(shí)別設(shè)備持續(xù)對(duì)用戶手部進(jìn)行檢測(cè)，直至未檢測(cè)到下一操作手勢(shì)數(shù)據(jù)或檢測(cè)到操作結(jié)束指令。本發(fā)明實(shí)施例能基于手勢(shì)識(shí)別設(shè)備快速采集用戶手部圖像并在康復(fù)訓(xùn)練虛擬場(chǎng)景相應(yīng)的三維空間中對(duì)應(yīng)創(chuàng)建用戶手部模型，之后采用用戶手部實(shí)際動(dòng)作驅(qū)動(dòng)用戶手部模型對(duì)訓(xùn)練目標(biāo)模型進(jìn)行相應(yīng)操作，能有效模擬復(fù)雜的手部動(dòng)作并實(shí)現(xiàn)相應(yīng)的虛擬康復(fù)訓(xùn)練。

技術(shù)研發(fā)人員：陳作兵,戚斌杰,黎佳琪,周帆曦,李海軍,張?zhí)旆?br/>受保護(hù)的技術(shù)使用者：杭州露電數(shù)字科技集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9