本申請涉及神經(jīng)網(wǎng)絡(luò)，特別是涉及一種連續(xù)手勢識別方法、裝置和計算機設(shè)備。

背景技術(shù)：

1、手勢作為一種肢體語言，在人類交流中起著重要作用，一個簡單的手勢蘊涵豐富的信息，正因如此，人與人之間可以通過手勢來傳達大量信息。目前，手勢識別已經(jīng)成為計算機視覺和人工智能領(lǐng)域中的一種技術(shù)，用于通過識別和分析人的手部動作來控制設(shè)備或進行交互。這項技術(shù)通常使用傳感器、攝像頭和圖像處理算法來捕捉和解讀手勢。

2、目前已知的手勢識別大多數(shù)針對于靜止手勢進行識別。比如識別石頭剪刀布的游戲，只需要識別在當(dāng)前時刻出的是哪一種手勢即可。但是，連續(xù)手勢識別要求結(jié)合歷史手勢信息以及未來手勢信息得出完整手勢的含義，比如招手讓對方過來，該手勢即需識別連續(xù)手勢運動才可理解。

3、針對連續(xù)手勢識別任務(wù)，現(xiàn)有解決方案大多用rgb圖片、深度圖等作為輸入，且人工神經(jīng)網(wǎng)絡(luò)設(shè)計較復(fù)雜，導(dǎo)致網(wǎng)絡(luò)延遲較高，無法滿足模型輸出的實時性。

技術(shù)實現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種輕量化設(shè)計的連續(xù)手勢識別方法、裝置和計算機設(shè)備，提升連續(xù)手勢識別的速度。

2、第一方面，本申請?zhí)峁┝艘环N連續(xù)手勢識別方法。該方法包括：

3、從連續(xù)的圖像幀中提取每一圖像幀中的手部關(guān)鍵點，獲取帶有時序特征的第一手部關(guān)鍵點信息；

4、對第一手部關(guān)鍵點信息進行下采樣，獲取第二手部關(guān)鍵點信息；

5、利用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型對第一手部關(guān)鍵點信息和第二手部關(guān)鍵點信息進行特征融合，識別連續(xù)圖像幀中包含的手勢語義類別。

6、在一個實施例中，第一手部關(guān)鍵點信息包括圖像幀的編號、手部關(guān)鍵點的編號，以及手部關(guān)鍵點的三維坐標。

7、在一個實施例中，從連續(xù)的圖像幀中提取每一圖像幀中的手部關(guān)鍵點，包括：

8、針對每一圖像幀，定位手部位置，輸出手部圖像；

9、基于手部圖像識別手部關(guān)鍵點。

10、在一個實施例中，獲取帶有時序特征的第一手部關(guān)鍵點信息，包括：

11、提取當(dāng)前圖像幀中的手部關(guān)鍵點和歷史固定長度圖像幀中的手部關(guān)鍵點；當(dāng)前圖像幀和歷史固定長度圖像幀為連續(xù)圖像幀；

12、按照圖像幀的時間順序排列所有手部關(guān)鍵點，獲取帶有時序特征的當(dāng)前圖像幀對應(yīng)的第一手部關(guān)鍵點信息。

13、在一個實施例中，預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型包括展平層、卷積層、拼接層和全連接層；

14、利用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型對第一手部關(guān)鍵點信息和第二手部關(guān)鍵點信息進行特征融合，識別連續(xù)圖像幀中包含的手勢語義類別，包括：

15、將第一手部關(guān)鍵點信息和第二手部關(guān)鍵點信息分別輸入展平層進行展平處理，分別獲取第一一維數(shù)據(jù)和第二一維數(shù)據(jù)；

16、將第一一維數(shù)據(jù)和第二一維數(shù)據(jù)分別輸入卷積層進行卷積，分別獲取第一局部特征和第二局部特征；

17、將第一局部特征和第二局部特征共同輸入拼接層，獲取融合特征；

18、將融合特征輸入全連接層，獲取手勢語義類別。

19、在一個實施例中，采用基于滑動窗口的平滑算法，取滑動窗口內(nèi)出現(xiàn)次數(shù)最多的手勢作為當(dāng)前滑動窗口內(nèi)的連續(xù)圖像幀的輸出手勢，并根據(jù)輸出手勢識別手勢語義類別。

20、第二方面，本申請還提供了一種連續(xù)手勢識別裝置。該裝置包括：

21、第一提取模塊，用于從連續(xù)的圖像幀中提取每一所述圖像幀中的手部關(guān)鍵點，獲取帶有時序特征的第一手部關(guān)鍵點信息；

22、第二提取模塊，用于對所述第一手部關(guān)鍵點信息進行下采樣，獲取第二手部關(guān)鍵點信息；

23、識別模塊，用于利用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型對所述第一手部關(guān)鍵點信息和所述第二手部關(guān)鍵點信息進行特征融合，識別所述連續(xù)圖像幀中包含的手勢語義類別。

24、第三方面，本申請還提供了一種計算機設(shè)備。該計算機設(shè)備包括存儲器和處理器，存儲器存儲有計算機程序，處理器執(zhí)行計算機程序時實現(xiàn)以下步驟：

25、從連續(xù)的圖像幀中提取每一圖像幀中的手部關(guān)鍵點，獲取帶有時序特征的第一手部關(guān)鍵點信息；

26、對第一手部關(guān)鍵點信息進行下采樣，獲取第二手部關(guān)鍵點信息；

27、利用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型對第一手部關(guān)鍵點信息和第二手部關(guān)鍵點信息進行特征融合，識別連續(xù)圖像幀中包含的手勢語義類別。

28、第四方面，本申請還提供了一種計算機可讀存儲介質(zhì)。該計算機可讀存儲介質(zhì)，其上存儲有計算機程序，計算機程序被處理器執(zhí)行時實現(xiàn)以下步驟：

29、從連續(xù)的圖像幀中提取每一圖像幀中的手部關(guān)鍵點，獲取帶有時序特征的第一手部關(guān)鍵點信息；

30、對第一手部關(guān)鍵點信息進行下采樣，獲取第二手部關(guān)鍵點信息；

31、利用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型對第一手部關(guān)鍵點信息和第二手部關(guān)鍵點信息進行特征融合，識別連續(xù)圖像幀中包含的手勢語義類別。

32、第五方面，本申請還提供了一種計算機程序產(chǎn)品。計算機程序產(chǎn)品，包括計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)以下步驟：

33、從連續(xù)的圖像幀中提取每一圖像幀中的手部關(guān)鍵點，獲取帶有時序特征的第一手部關(guān)鍵點信息；

34、對第一手部關(guān)鍵點信息進行下采樣，獲取第二手部關(guān)鍵點信息；

35、利用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型對第一手部關(guān)鍵點信息和第二手部關(guān)鍵點信息進行特征融合，識別連續(xù)圖像幀中包含的手勢語義類別。

36、上述連續(xù)手勢識別方法、裝置和計算機設(shè)備，首先從連續(xù)圖像幀中提取帶有時序特征的第一手部關(guān)鍵點信息，然后對第一手部關(guān)鍵點信息進行下采樣獲取第二手部關(guān)鍵點信息，最后利用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型識別手勢語義類別。本申請基于手部關(guān)鍵點進行手勢語義識別，相較于傳統(tǒng)的基于rgb圖像的手勢語義識別，有效減少了數(shù)據(jù)復(fù)雜度，從而很好地解決了連續(xù)手勢識別耗時高的問題。同時，本申請基于第一手部關(guān)鍵點信息和第二手部關(guān)鍵點信息進行手勢語義類別識別，第一手部關(guān)鍵點信息包含原始手速下的手部關(guān)鍵點特征，第二手部關(guān)鍵點信息包含相對更快手速下的手部關(guān)鍵點特征，通過將這兩個特征進行融合，提升連續(xù)手勢識別框架結(jié)構(gòu)的魯棒性，且第二手部關(guān)鍵點信息是基于第一手部關(guān)鍵點信息獲取的，可有效控制數(shù)據(jù)復(fù)雜度，實現(xiàn)在較低耗時的前提下提升連續(xù)手勢識別框架結(jié)構(gòu)的性能。

技術(shù)特征：

1.一種連續(xù)手勢識別方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一手部關(guān)鍵點信息包括所述圖像幀的編號、所述手部關(guān)鍵點的編號，以及所述手部關(guān)鍵點的三維坐標。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從連續(xù)的圖像幀中提取每一所述圖像幀中的手部關(guān)鍵點，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取帶有時序特征的第一手部關(guān)鍵點信息，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型包括展平層、卷積層、拼接層和全連接層；

6.根據(jù)權(quán)利要求1至5任意一項所述的方法，其特征在于，所述方法還包括：

7.一種連續(xù)手勢識別裝置，其特征在于，所述裝置包括：

8.一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至6中任一項所述的方法的步驟。

9.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6中任一項所述的方法的步驟。

10.一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，該計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6中任一項所述的方法的步驟。

技術(shù)總結(jié)
本申請涉及一種連續(xù)手勢識別方法、裝置和計算機設(shè)備。所述方法包括：從連續(xù)的圖像幀中提取每一圖像幀中的手部關(guān)鍵點，獲取帶有時序特征的第一手部關(guān)鍵點信息；對第一手部關(guān)鍵點信息進行下采樣，獲取第二手部關(guān)鍵點信息；利用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型對第一手部關(guān)鍵點信息和第二手部關(guān)鍵點信息進行特征融合，識別連續(xù)圖像幀中包含的手勢語義類別。本申請?zhí)岢隽嘶谑植筷P(guān)鍵點的連續(xù)手勢語義識別方法，極大地降低模型推理耗時，且對不同速度的連續(xù)手勢均具有較好的識別效果，提升連續(xù)手勢識別的實時性和魯棒性。

技術(shù)研發(fā)人員：胡周翔
受保護的技術(shù)使用者：蘇州深庭紀智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9