本申請(qǐng)涉及智能家居設(shè)備控制，具體而言，涉及一種智能家居設(shè)備的控制方法、裝置、介質(zhì)和系統(tǒng)。

背景技術(shù)：

1、在智能家居技術(shù)領(lǐng)域中，用戶去控制各種智能家居時(shí)一般都是采用聲控進(jìn)行，但隨著智能家居產(chǎn)品功能不斷增多，單靠聲控在一些時(shí)候無(wú)法讓智能家居滿足用戶真正的需求，即單獨(dú)通過(guò)語(yǔ)音這一個(gè)模態(tài)的指令無(wú)法讓智能家居滿足用戶真正的需求。這往往會(huì)降低用戶在使用智能家居時(shí)的體驗(yàn)，從而對(duì)該智能家居的口碑產(chǎn)生影響。

2、即現(xiàn)有方案獨(dú)通過(guò)語(yǔ)音這一個(gè)模態(tài)的指令無(wú)法讓智能家居滿足用戶真正的需求。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的主要目的在于提供一種智能家居設(shè)備的控制方法、裝置、介質(zhì)和系統(tǒng)，以至少解決現(xiàn)有方案獨(dú)通過(guò)語(yǔ)音這一個(gè)模態(tài)的指令無(wú)法讓智能家居滿足用戶真正的需求的問(wèn)題。

2、為了實(shí)現(xiàn)上述目的，根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種智能家居設(shè)備的控制方法，該方法包括：獲取多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)表征用于控制所述智能家居設(shè)備的數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括用戶的語(yǔ)音數(shù)據(jù)、文本數(shù)據(jù)和圖像數(shù)據(jù)；對(duì)所述多模態(tài)數(shù)據(jù)中的各類型數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理數(shù)據(jù)，并對(duì)所述預(yù)處理數(shù)據(jù)進(jìn)行特征提取，得到特征數(shù)據(jù)；采用所述特征數(shù)據(jù)對(duì)膠囊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到最終膠囊網(wǎng)絡(luò)模型；應(yīng)用所述最終膠囊網(wǎng)絡(luò)模型對(duì)所述智能家居設(shè)備進(jìn)行相應(yīng)的控制。

3、可選地，所述預(yù)處理數(shù)據(jù)包括第一預(yù)處理數(shù)據(jù)、第二預(yù)處理數(shù)據(jù)和第三預(yù)處理數(shù)據(jù)，對(duì)所述多模態(tài)數(shù)據(jù)中的各類型數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理數(shù)據(jù)，包括：對(duì)所述多模態(tài)數(shù)據(jù)中的所述文本數(shù)據(jù)依次進(jìn)行分詞處理和歸一化處理，得到所述第一預(yù)處理數(shù)據(jù)；對(duì)所述多模態(tài)數(shù)據(jù)中的所述語(yǔ)音數(shù)據(jù)依次進(jìn)行分幀、加窗和歸一化處理，得到所述第二預(yù)處理數(shù)據(jù)；對(duì)所述多模態(tài)數(shù)據(jù)中的所述圖像數(shù)據(jù)依次進(jìn)行裁剪、縮放和歸一化處理，得到所述第三預(yù)處理數(shù)據(jù)。

4、可選地，所述特征數(shù)據(jù)包括第一特征數(shù)據(jù)、第二特征數(shù)據(jù)和第三特征數(shù)據(jù)，對(duì)所述預(yù)處理數(shù)據(jù)進(jìn)行特征提取，得到特征數(shù)據(jù)，包括：采用詞袋模型技術(shù)對(duì)所述第一預(yù)處理數(shù)據(jù)進(jìn)行特征提取，得到所述第一特征數(shù)據(jù)；采用短時(shí)傅里葉變換技術(shù)、梅爾頻率倒譜系數(shù)技術(shù)對(duì)所述第二預(yù)處理數(shù)據(jù)進(jìn)行特征提取，得到所述第二特征數(shù)據(jù)；采用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)所述第三預(yù)處理數(shù)據(jù)進(jìn)行特征提取，得到所述第三特征數(shù)據(jù)。

5、可選地，在采用所述特征數(shù)據(jù)對(duì)膠囊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到最終膠囊網(wǎng)絡(luò)模型的過(guò)程中，所述方法還包括：將所述特征數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，并采用動(dòng)態(tài)路由算法，使得所述膠囊網(wǎng)絡(luò)模型學(xué)習(xí)所述訓(xùn)練集中不同模態(tài)特征之間的關(guān)系和模式；使用反向傳播算法更新所述膠囊網(wǎng)絡(luò)模型的權(quán)重，以最小化損失函數(shù)的損失值。

6、可選地，在使用反向傳播算法更新所述膠囊網(wǎng)絡(luò)模型的權(quán)重，以最小化損失函數(shù)的過(guò)程中，所述方法還包括：

7、構(gòu)建所述損失函數(shù)為：

8、

9、其中，l為所述損失函數(shù)的損失值，k為維度的總數(shù)量，yi為第i維度的真實(shí)標(biāo)簽，pi為當(dāng)前的所述膠囊網(wǎng)絡(luò)模型在第i維度的預(yù)測(cè)概率分布。

10、可選地，采用所述特征數(shù)據(jù)對(duì)膠囊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到最終膠囊網(wǎng)絡(luò)模型，包括：

11、獲取當(dāng)前的所述膠囊網(wǎng)絡(luò)模型的當(dāng)前精確率和當(dāng)前召回率；

12、根據(jù)確定模型性能系數(shù)；

13、其中，所述模型性能系數(shù)表征所述當(dāng)前精確率和所述當(dāng)前召回率的調(diào)和平均數(shù)，f1為所述模型性能系數(shù)，precision為所述當(dāng)前精確率，recall為所述當(dāng)前召回率；

14、在所述模型性能系數(shù)小于系數(shù)閾值的情況下，確定當(dāng)前的所述膠囊網(wǎng)絡(luò)模型為所述最終膠囊網(wǎng)絡(luò)模型；

15、在所述模型性能系數(shù)大于或者等于所述系數(shù)閾值的情況下，生成提示信息，以提示至少需要調(diào)整當(dāng)前的所述膠囊網(wǎng)絡(luò)模型的結(jié)構(gòu)。

16、可選地，應(yīng)用所述最終膠囊網(wǎng)絡(luò)模型對(duì)所述智能家居設(shè)備進(jìn)行相應(yīng)的控制，包括：獲取當(dāng)前多模態(tài)數(shù)據(jù)；采用所述最終膠囊網(wǎng)絡(luò)模型對(duì)所述當(dāng)前多模態(tài)數(shù)據(jù)進(jìn)行處理，得到控制方案；采用所述控制方案控制對(duì)應(yīng)的所述智能家居設(shè)備。

17、根據(jù)本申請(qǐng)的另一方面，提供了一種智能家居設(shè)備的控制裝置，該裝置包括：

18、獲取單元，用于獲取多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)表征用于控制所述智能家居設(shè)備的數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括用戶的語(yǔ)音數(shù)據(jù)、文本數(shù)據(jù)和圖像數(shù)據(jù)；

19、第一處理單元，用于對(duì)所述多模態(tài)數(shù)據(jù)中的各類型數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理數(shù)據(jù)，并對(duì)所述預(yù)處理數(shù)據(jù)進(jìn)行特征提取，得到特征數(shù)據(jù)；

20、第二處理單元，用于采用所述特征數(shù)據(jù)對(duì)膠囊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到最終膠囊網(wǎng)絡(luò)模型；

21、第三處理單元，用于應(yīng)用所述最終膠囊網(wǎng)絡(luò)模型對(duì)所述智能家居設(shè)備進(jìn)行相應(yīng)的控制。

22、根據(jù)本申請(qǐng)的另一方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在所述程序運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行任意一種所述的方法。

23、根據(jù)本申請(qǐng)的另一方面，提供了一種智能家居設(shè)備的控制系統(tǒng)，該系統(tǒng)包括：一個(gè)或多個(gè)處理器，存儲(chǔ)器，以及一個(gè)或多個(gè)程序，其中，所述一個(gè)或多個(gè)程序被存儲(chǔ)在所述存儲(chǔ)器中，并且被配置為由所述一個(gè)或多個(gè)處理器執(zhí)行，所述一個(gè)或多個(gè)程序包括用于執(zhí)行任意一種所述的方法。

24、應(yīng)用本申請(qǐng)的技術(shù)方案，通過(guò)對(duì)所述多模態(tài)數(shù)據(jù)中的各類型數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理數(shù)據(jù)，并對(duì)所述預(yù)處理數(shù)據(jù)進(jìn)行特征提取，得到特征數(shù)據(jù)，從而使得特征提取后的數(shù)據(jù)，即特征數(shù)據(jù)更能代表用戶的真實(shí)意圖，之后采用所述特征數(shù)據(jù)對(duì)膠囊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到最終膠囊網(wǎng)絡(luò)模型，使得本申請(qǐng)相比現(xiàn)有方案更加更能夠準(zhǔn)確地辨識(shí)用戶的真實(shí)意圖，最終應(yīng)用所述最終膠囊網(wǎng)絡(luò)模型對(duì)所述智能家居設(shè)備進(jìn)行相應(yīng)的控制，從而解決了現(xiàn)有方案獨(dú)通過(guò)語(yǔ)音這一個(gè)模態(tài)的指令無(wú)法讓智能家居滿足用戶真正的需求的問(wèn)題。

技術(shù)特征：

1.一種智能家居設(shè)備的控制方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)處理數(shù)據(jù)包括第一預(yù)處理數(shù)據(jù)、第二預(yù)處理數(shù)據(jù)和第三預(yù)處理數(shù)據(jù)，對(duì)所述多模態(tài)數(shù)據(jù)中的各類型數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理數(shù)據(jù)，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述特征數(shù)據(jù)包括第一特征數(shù)據(jù)、第二特征數(shù)據(jù)和第三特征數(shù)據(jù)，對(duì)所述預(yù)處理數(shù)據(jù)進(jìn)行特征提取，得到特征數(shù)據(jù)，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在采用所述特征數(shù)據(jù)對(duì)膠囊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到最終膠囊網(wǎng)絡(luò)模型的過(guò)程中，所述方法還包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在使用反向傳播算法更新所述膠囊網(wǎng)絡(luò)模型的權(quán)重，以最小化損失函數(shù)的過(guò)程中，所述方法還包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用所述特征數(shù)據(jù)對(duì)膠囊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到最終膠囊網(wǎng)絡(luò)模型，包括：

7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的方法，其特征在于，應(yīng)用所述最終膠囊網(wǎng)絡(luò)模型對(duì)所述智能家居設(shè)備進(jìn)行相應(yīng)的控制，包括：

8.一種智能家居設(shè)備的控制裝置，其特征在于，包括：

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在所述程序運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行權(quán)利要求1至7中任意一項(xiàng)所述的方法。

10.一種智能家居設(shè)備的控制系統(tǒng)，其特征在于，包括：一個(gè)或多個(gè)處理器，存儲(chǔ)器，以及一個(gè)或多個(gè)程序，其中，所述一個(gè)或多個(gè)程序被存儲(chǔ)在所述存儲(chǔ)器中，并且被配置為由所述一個(gè)或多個(gè)處理器執(zhí)行，所述一個(gè)或多個(gè)程序包括用于執(zhí)行權(quán)利要求1至7中任意一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N智能家居設(shè)備的控制方法、裝置、介質(zhì)和系統(tǒng)，該方法通過(guò)對(duì)多模態(tài)數(shù)據(jù)中的各類型數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理數(shù)據(jù)，并對(duì)預(yù)處理數(shù)據(jù)進(jìn)行特征提取，得到特征數(shù)據(jù)，從而使得特征提取后的數(shù)據(jù)，即特征數(shù)據(jù)更能代表用戶的真實(shí)意圖，之后采用特征數(shù)據(jù)對(duì)膠囊網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到最終膠囊網(wǎng)絡(luò)模型，使得本申請(qǐng)相比現(xiàn)有方案更加更能夠準(zhǔn)確地辨識(shí)用戶的真實(shí)意圖，最終應(yīng)用最終膠囊網(wǎng)絡(luò)模型對(duì)智能家居設(shè)備進(jìn)行相應(yīng)的控制，從而解決了現(xiàn)有方案獨(dú)通過(guò)語(yǔ)音這一個(gè)模態(tài)的指令無(wú)法讓智能家居滿足用戶真正的需求的問(wèn)題。

技術(shù)研發(fā)人員：楊馳,李紹斌,唐杰,仇振陽(yáng),蔣朵拉
受保護(hù)的技術(shù)使用者：珠海格力電器股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9