本發(fā)明涉及人工智能，具體涉及一種多模態(tài)互動數(shù)字展廳系統(tǒng)。

背景技術(shù)：

1、隨著信息技術(shù)的迅猛發(fā)展，數(shù)字展廳逐漸成為現(xiàn)代展示和展覽的重要形式。數(shù)字展廳通過整合多種先進技術(shù)，包括混合現(xiàn)實(mr)、手勢識別、語音控制和手柄交互，為參觀者提供全新的、沉浸式的參觀體驗。多模態(tài)互動技術(shù)的應(yīng)用不僅豐富了展覽內(nèi)容的表現(xiàn)形式，還能夠?qū)崟r更新展覽內(nèi)容，從而提升了觀眾的參與度和互動性。

2、盡管一些技術(shù)在數(shù)字展廳中得到了應(yīng)用，但現(xiàn)有的解決方案仍存在如下不足之處：

3、交互方式單一：目前的數(shù)字展廳大多只采用單一的交互方式，如僅通過觸摸屏或簡單的手勢控制來進行互動。這種單一的交互方式限制了用戶的操作自由度和體驗豐富性，無法充分滿足用戶多樣化的互動需求。

4、沉浸感不足：雖然混合現(xiàn)實技術(shù)在一定程度上增強了用戶的沉浸感，但現(xiàn)有系統(tǒng)中虛擬內(nèi)容與現(xiàn)實環(huán)境的融合度和互動性仍有待提高。用戶在體驗過程中常常會感覺到虛擬和現(xiàn)實之間的割裂感，影響整體沉浸體驗。

5、技術(shù)整合不完善：目前的數(shù)字展廳系統(tǒng)中，混合現(xiàn)實、手勢識別、語音控制和手柄交互等技術(shù)的整合應(yīng)用尚不充分。各項技術(shù)之間的協(xié)同工作效果不佳，導致系統(tǒng)的整體性能和用戶體驗受到限制。例如，手勢識別和語音控制的響應(yīng)速度和準確性不高，影響用戶的操作流暢性。

6、內(nèi)容更新滯后：數(shù)字展廳中的展覽內(nèi)容通常需要專業(yè)技術(shù)人員進行更新和維護，內(nèi)容更新周期長，靈活性差。這種滯后的內(nèi)容更新方式難以滿足快速變化的展覽需求和觀眾對新鮮內(nèi)容的渴望。

技術(shù)實現(xiàn)思路

1、針對上述技術(shù)問題，本發(fā)明提供一種多模態(tài)互動數(shù)字展廳系統(tǒng)，提供全面和沉浸式的參觀體驗，并實現(xiàn)內(nèi)容的實時更新和有效的用戶反饋機制。

2、本發(fā)明的實施例提供一種多模態(tài)互動數(shù)字展廳系統(tǒng)，所述系統(tǒng)包括：數(shù)據(jù)采集模塊，用于通過mr設(shè)備的多模態(tài)感知接口采集用戶在虛擬空間中對展品操作的多模態(tài)數(shù)據(jù)；數(shù)據(jù)處理模塊，用于對采集的多模態(tài)數(shù)據(jù)進行預(yù)處理，以標準化數(shù)據(jù)格式；指令識別模塊，用于對預(yù)處理的多模態(tài)數(shù)據(jù)進行指令識別，獲取對應(yīng)的操作指令；執(zhí)行模塊，用于根據(jù)獲取的操作指令執(zhí)行相應(yīng)操作更新虛擬場景中的物體狀態(tài)和行為。

3、可選地，所述數(shù)據(jù)采集模塊包括：手勢采集模塊，包括mr設(shè)備內(nèi)置的傳感器或攝像頭，用于實時捕捉用戶的手部圖像和關(guān)節(jié)點位置數(shù)據(jù)；語音采集模塊，包括麥克風，用于采集用戶的語音信號；手柄交互模塊，用于實時采集用戶的操作動作和姿態(tài)數(shù)據(jù)。

4、可選地，所述數(shù)據(jù)處理模塊包括：第一處理模塊，用于將手勢采集模塊采集的手部圖像和關(guān)節(jié)點位置數(shù)據(jù)進行預(yù)處理轉(zhuǎn)換為手勢數(shù)據(jù)；第二處理模塊，用于將采集的語音信號轉(zhuǎn)換為語音文本數(shù)據(jù)；第三處理模塊，用于將采集的操作動作和姿態(tài)數(shù)據(jù)進行預(yù)處理轉(zhuǎn)換為操作數(shù)據(jù)。

5、可選地，所述指令識別模塊包括：手勢識別模塊，用于通過深度學習算法將所述手部數(shù)據(jù)與預(yù)設(shè)的手勢模板進行匹配，確定具體的手勢指令；語音識別模塊，用于對所述語音文本數(shù)據(jù)通過語音識別模型或語音識別算法進行識別，確定具體的語音指令；手柄識別模塊，用于根據(jù)第三處理模塊處理的操作數(shù)據(jù)通過映射轉(zhuǎn)換為預(yù)定義的操作指令。

6、可選地，所述系統(tǒng)還包括：模型拆解與交互模塊，用于對虛擬展廳中的預(yù)設(shè)展品進行拆解、重組和觀察。

7、可選地，所述系統(tǒng)還包括：展品交互模塊，用于與虛擬展品近距離互動，對展品進行放大、縮小或旋轉(zhuǎn)。

8、可選地，所述第一處理模塊還用于從采集的手部圖像中提取手部的關(guān)鍵點數(shù)據(jù)，將關(guān)鍵點數(shù)據(jù)轉(zhuǎn)化為手部的骨架模型；所述手勢識別模塊還用于根據(jù)骨架模型的關(guān)鍵特征，提取手勢的主要特征，將提取的手勢的主要特征與預(yù)定義的手勢庫中的樣本進行比對并進行手勢分類，識別出具體的手勢。

9、可選地，所述關(guān)鍵特征包括關(guān)節(jié)角度、手指長度和相對位置特征，所述手勢分類方式包括模式匹配算法或深度學習模型方式。

10、可選地，所述手勢識別模塊還用于從手部圖像中提取手部的關(guān)鍵點數(shù)據(jù)，將提取的關(guān)鍵點數(shù)據(jù)轉(zhuǎn)化為特征向量，特征向量表示手勢的空間結(jié)構(gòu)和動態(tài)信息；訓練學習模型，并使用標注的手勢數(shù)據(jù)對學習模型進行訓練，使用訓練后的模型對手勢數(shù)據(jù)進行手勢識別，識別出具體的手勢。

11、可選地，所述第二處理模塊還用于對語音文本數(shù)據(jù)進行標注，標明每個語句的意圖和實體，并使用標注好的數(shù)據(jù)集訓練語言處理模型，獲取訓練好的語音識別模型用于對語音文本數(shù)據(jù)進行識別。

12、本發(fā)明實施例提供的技術(shù)方案中，通過數(shù)據(jù)采集模塊采集多模態(tài)數(shù)據(jù)，并通過數(shù)據(jù)處理模塊進行預(yù)處理，對預(yù)處理后的數(shù)據(jù)進行指令識別，獲取對應(yīng)的操作指令，通過操作指令更新虛擬場景中的物體狀態(tài)和行為，相比于現(xiàn)有技術(shù)，本發(fā)明通過多模態(tài)感知接口感知用戶操作，快速獲取和理解展品內(nèi)容，減少外界干擾，并提升沉浸感和互動性，提高展覽效果。

技術(shù)特征：

1.一種多模態(tài)互動數(shù)字展廳系統(tǒng)，其特征在于，所述系統(tǒng)包括：

2.根據(jù)權(quán)利要求1所述的多模態(tài)互動數(shù)字展廳系統(tǒng)，其特征在于，所述數(shù)據(jù)采集模塊包括：

3.根據(jù)權(quán)利要求2所述的多模態(tài)互動數(shù)字展廳系統(tǒng)，其特征在于，所述數(shù)據(jù)處理模塊包括：

4.根據(jù)權(quán)利要求3所述的多模態(tài)互動數(shù)字展廳系統(tǒng)，其特征在于，所述指令識別模塊包括：

5.根據(jù)權(quán)利要求1所述的多模態(tài)互動數(shù)字展廳系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

6.根據(jù)權(quán)利要求1所述的多模態(tài)互動數(shù)字展廳系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

7.根據(jù)權(quán)利要求3所述的多模態(tài)互動數(shù)字展廳系統(tǒng)，其特征在于，所述第一處理模塊還用于從采集的手部圖像中提取手部的關(guān)鍵點數(shù)據(jù)，將關(guān)鍵點數(shù)據(jù)轉(zhuǎn)化為手部的骨架模型；所述手勢識別模塊還用于根據(jù)骨架模型的關(guān)鍵特征，提取手勢的主要特征，將提取的手勢的主要特征與預(yù)定義的手勢庫中的樣本進行比對并進行手勢分類，識別出具體的手勢。

8.根據(jù)權(quán)利要求7所述的多模態(tài)互動數(shù)字展廳系統(tǒng)，其特征在于，所述關(guān)鍵特征包括關(guān)節(jié)角度、手指長度和相對位置特征，所述手勢分類方式包括模式匹配算法或深度學習模型方式。

9.根據(jù)權(quán)利要求7所述的多模態(tài)互動數(shù)字展廳系統(tǒng)，其特征在于，所述手勢識別模塊還用于從手部圖像中提取手部的關(guān)鍵點數(shù)據(jù)，將提取的關(guān)鍵點數(shù)據(jù)轉(zhuǎn)化為特征向量，特征向量表示手勢的空間結(jié)構(gòu)和動態(tài)信息；訓練學習模型，并使用標注的手勢數(shù)據(jù)對學習模型進行訓練，使用訓練后的模型對手勢數(shù)據(jù)進行手勢識別，識別出具體的手勢。

10.根據(jù)權(quán)利要求4所述的多模態(tài)互動數(shù)字展廳系統(tǒng)，其特征在于，所述第二處理模塊還用于對語音文本數(shù)據(jù)進行標注，標明每個語句的意圖和實體，并使用標注好的數(shù)據(jù)集訓練語言處理模型，獲取訓練好的語音識別模型用于對語音文本數(shù)據(jù)進行識別。

技術(shù)總結(jié)
本申請公開一種多模態(tài)互動數(shù)字展廳系統(tǒng)，所述系統(tǒng)包括：數(shù)據(jù)采集模塊，通過MR設(shè)備的多模態(tài)感知接口采集用戶在虛擬空間中對展品操作的多模態(tài)數(shù)據(jù)；數(shù)據(jù)處理模塊，對采集的多模態(tài)數(shù)據(jù)進行預(yù)處理，以標準化數(shù)據(jù)格式；指令識別模塊，用于對預(yù)處理的多模態(tài)數(shù)據(jù)進行指令識別，獲取對應(yīng)的操作指令；執(zhí)行模塊，根據(jù)獲取的操作指令執(zhí)行相應(yīng)操作更新虛擬場景中的物體狀態(tài)和行為。本申請通過多模態(tài)感知接口感知用戶操作，快速獲取和理解展品內(nèi)容，減少外界干擾，并提升沉浸感和互動性，提高展覽效果。

技術(shù)研發(fā)人員：曾鏡彬,葉征明,張邦禹,范小林
受保護的技術(shù)使用者：深圳元想視界科技集團有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9