本發(fā)明涉及多模態(tài)交互控制，具體涉及一種基于控制金字塔及多模態(tài)交互的智能窗簾控制方法。

背景技術(shù)：

1、隨著智能家居技術(shù)的快速發(fā)展，窗簾作為家居環(huán)境中的重要組成部分，其控制方式逐漸從傳統(tǒng)的手動操作向智能化控制方向轉(zhuǎn)變?，F(xiàn)有的智能窗簾控制系統(tǒng)通常依賴單一的控制方式，例如基于定時器的控制、遙控器控制、光感應(yīng)控制或語音指令控制。然而，這些控制方式在實際應(yīng)用中存在一定的局限性。

2、例如，基于定時器的控制方法無法動態(tài)適應(yīng)環(huán)境的實時變化，導(dǎo)致窗簾開合狀態(tài)與用戶需求不符；基于光感應(yīng)的控制方法雖然可以實現(xiàn)環(huán)境適應(yīng)性調(diào)整，但在復(fù)雜環(huán)境下，如強光干擾或多源光線變化的情況下，容易出現(xiàn)控制精度不足的問題；基于語音指令的控制方法則需要高精度的噪聲抑制和語音識別能力，但在嘈雜環(huán)境下可能會降低語音識別的可靠性。此外，現(xiàn)有系統(tǒng)往往難以實現(xiàn)多模態(tài)信息的融合處理，無法綜合考慮光強、溫濕度、聲音和用戶指令等多種因素進行精細化控制。

3、在智能窗簾控制技術(shù)的研究與應(yīng)用中，如何實現(xiàn)多模態(tài)信息的高效融合與動態(tài)響應(yīng)，從而滿足用戶對窗簾開合狀態(tài)的個性化和精細化需求，成為亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于控制金字塔及多模態(tài)交互的智能窗簾控制方法，用于解決現(xiàn)有的窗簾智能控制方法存在智能化水平低、精確度不高、適應(yīng)性差的技術(shù)問題，從而通過融合多種感知方式與用戶交互，提升窗簾控制的智能化水平、精確度和適應(yīng)性。

2、為解決上述問題，本發(fā)明所采用的技術(shù)方案如下：

3、一種基于控制金字塔及多模態(tài)交互的智能窗簾控制方法，包括以下步驟：

4、采集實時環(huán)境光強、實時多點溫濕度生成第一級別窗簾控制特征；

5、捕捉現(xiàn)場環(huán)境聲音特征，實時分離語音指令與環(huán)境噪聲，并基于語音指令生成第二級別窗簾控制特征；

6、定時向用戶終端設(shè)備索取控制指令，對控制指令進行分析、轉(zhuǎn)換，生成第三級別窗簾控制特征；

7、將第一、第二、第三級別窗簾控制特征基于多模態(tài)融合算法進行關(guān)聯(lián)分析，形成窗簾控制金字塔；

8、對窗簾控制金字塔進行學(xué)習(xí)、轉(zhuǎn)換、填充、雙向提取確定控制意圖；

9、將控制意圖輸入到窗簾控制模型中，進行窗簾的精細開合狀態(tài)控制；

10、對窗簾的運動狀態(tài)進行實時監(jiān)測，并將實時監(jiān)測信息反饋回窗簾控制模型進行動態(tài)調(diào)整，以控制效果；

11、其中，多模態(tài)融合算法包括：

12、通過將第一、第二、第三級別窗簾控制特征進行映射，得到共享特征、獨立特征，并將共享特征和獨立特征進行拼接，得到組合特征；

13、為所述組合特征構(gòu)建回歸系數(shù)矩陣，并結(jié)合所述組合特征形成窗簾控制金字塔。

14、作為本發(fā)明優(yōu)選的實施方式，在采集實時環(huán)境光強時，包括：

15、將光強探測器像面以x坐標(biāo)劃分為多個探測元區(qū)域，通過中階梯光柵對實時光線進行色散，通過透射式棱鏡進行分光，令不同波長的光線落在光強探測器像面上；

16、獲取所述中階梯光柵不同光柵衍射級次的中心波長；

17、根據(jù)所述中心波長，得到不同中心波長下的棱鏡折射率，并進一步得到不同波長的光線從所述中階梯光柵入射到所述透射式棱鏡后，出射角與棱鏡折射率的關(guān)系；

18、根據(jù)出射角與棱鏡折射率的關(guān)系，確定不同中心波長與選定的參考波長之間的出射角的差值，并通過聚焦鏡焦距確定光線落在光強探測器像面上的探測元區(qū)域；

19、建立探測元區(qū)域與衍射級次的級次擬合關(guān)系式，從而確定實時光線的光柵衍射級次、實時光強值。

20、作為本發(fā)明優(yōu)選的實施方式，在采集實時溫濕度時，包括：

21、利用底層數(shù)據(jù)寄存器通過串口進行多點溫濕度數(shù)據(jù)的實時采集，并通過中斷處理函數(shù)對多點溫濕度數(shù)據(jù)進行解析與處理；

22、其中，在進行解析與處理時，包括：

23、獲取多點溫濕度傳感器的交叉修正系數(shù)，基于所述交叉修正系數(shù)構(gòu)建交叉修正系數(shù)矩陣，如公式7所示：

24、???（7）；

25、式中，為第個溫度傳感器和第個濕度傳感器之間的交叉修正系數(shù)，為溫、濕度傳感器的數(shù)量，為交叉修正系數(shù)矩陣；

26、基于所述交叉修正系數(shù)矩陣，得到準(zhǔn)確的多點溫濕度數(shù)據(jù)，如公式8所示：

27、????????（8）；

28、式中，、分別為實際采集的多點溫、濕度數(shù)據(jù)，為個溫度傳感器采集的溫度數(shù)據(jù)，為個濕度傳感器采集的濕度數(shù)據(jù)，、表示對與第個溫度傳感器、第個濕度傳感器相關(guān)的所有交叉修正系數(shù)取平均，、分別為修正后的多點溫、濕度數(shù)據(jù)。

29、作為本發(fā)明優(yōu)選的實施方式，在捕捉現(xiàn)場環(huán)境聲音特征時，包括：

30、對捕捉到的現(xiàn)場環(huán)境聲音信號進行分幀操作，得到若干幀聲音信號，并對每一幀聲音信號提取維特征向量；

31、基于所述維特征向量，對每一幀聲音信號獲取第維的均值、方差，其中，；

32、對每一幀聲音信號進行線性變換，消除不同特征向量之間的尺度差異；

33、使用混合高斯模型逼近特征參數(shù)的概率密度分布，并進一步得到累計分布函數(shù)；

34、獲取現(xiàn)場環(huán)境聲音的譜特征，并與所述累計分布函數(shù)形成噪聲抑制特征向量；

35、給定標(biāo)準(zhǔn)的語音數(shù)據(jù)，并基于所述噪聲抑制特征向量進行迭代估計，抑制現(xiàn)場環(huán)境噪聲；

36、其中，所述譜特征包括特征譜和譜。

37、作為本發(fā)明優(yōu)選的實施方式，在生成第二級別窗簾控制特征時，包括：將實時分離出的語音指令進行詞法和語法分析，生成第二級別窗簾控制特征；

38、其中，所述實時分離，包括：

39、將經(jīng)過噪聲抑制的聲音信號輸入到分離模型，通過分離模型中的前置模塊提取聲音信號的特征，經(jīng)過由深度cnn網(wǎng)絡(luò)構(gòu)成的編碼層進行處理和轉(zhuǎn)換后，通過解碼層中的ctc模型和注意力機制進行解碼，同時利用雙向長短時記憶網(wǎng)絡(luò)兼顧上下文信息。

40、作為本發(fā)明優(yōu)選的實施方式，在對控制指令進行分析、轉(zhuǎn)換時，包括：

41、判斷控制指令為文本指令或語音指令，若為文本指令，則直接轉(zhuǎn)換為第三級別窗簾控制特征，若為語音指令，則進行詞法和語法分析后，轉(zhuǎn)換為第三級別窗簾控制特征；

42、在進行詞法和語法分析時，包括：

43、通過詞法分析器對語音指令字符串進行逐個掃描，組成詞法單元序列，通過語法分析器基于語法樹節(jié)點，并根據(jù)策略文法對輸入的詞法單元序列進行遞歸下降的語法分析，得到語法分析樹，并基于語法分析樹生成第二或第三級別窗簾控制特征。

44、作為本發(fā)明優(yōu)選的實施方式，在得到組合特征時，還包括：

45、通過變換矩陣將第一、第二、第三級別窗簾控制特征進行映射，得到三個級別窗簾控制特征之間的共享特征，以及三個級別窗簾自身所特有的獨立特征、、，并進行拼接，得到組合特征；

46、在構(gòu)建回歸系數(shù)矩陣、形成窗簾控制金字塔時，還包括：

47、獲取分別對應(yīng)于共享特征、獨立特征、、的第一、第二、第三、第四權(quán)重系數(shù)、、、，并構(gòu)建回歸系數(shù)矩陣；

48、基于所述組合特征和所述回歸系數(shù)矩陣，形成所述窗簾控制金字塔，如公式15所示：

49、??（15）；

50、式中，為窗簾控制金字塔。

51、作為本發(fā)明優(yōu)選的實施方式，在確定控制意圖時，包括：

52、利用自學(xué)習(xí)的層對所述窗簾控制金字塔進行學(xué)習(xí)與轉(zhuǎn)換，得到初始有效特征集；

53、對所述初始有效特征集填充空白向量直至到句子的最大長度，得到最終有效特征集；

54、采用基于建立的雙向語義提取網(wǎng)絡(luò)對所述最終有效特征集進行雙向提取，得到所述窗簾控制金字塔在特征空間中的向量組表達以及高維語義向量表征；

55、根據(jù)所述向量組表達和所述高維語義向量表征確定所述控制意圖。

56、作為本發(fā)明優(yōu)選的實施方式，在進行窗簾的精細開合狀態(tài)控制時，包括：

57、獲取窗簾直流電機的電樞電壓，并將直流電機在時刻的輸入電壓模糊化為所述電樞電壓作為模糊控制器的輸出；

58、將所述控制意圖結(jié)合歷史數(shù)據(jù)，確定當(dāng)前控制區(qū)域的目標(biāo)光強值，與第一級別窗簾控制特征所包含的實時光強值進行比對，得到實時光強差值，并作為模糊控制器的輸入，進而得到目標(biāo)輸入電壓；

59、采集直流電機的實時輸入電壓，并與目標(biāo)輸入電壓進行對比得到輸入電壓差值，將輸入電壓差值作為模糊控制器的輸入，進而確定控制比例增益變化量、積分增益變化量、微分增益變化量，并對輸出的脈沖信號即時調(diào)整，直至輸入電壓差值小于預(yù)設(shè)閾值。

60、作為本發(fā)明優(yōu)選的實施方式，在進行動態(tài)調(diào)整時，包括：

61、將所述控制意圖結(jié)合歷史數(shù)據(jù)，確定窗簾的目標(biāo)行程量；

62、將實時監(jiān)測得到的行程量與目標(biāo)行程量進行比對，得到行程偏差量，并進一步得到行程偏差變化率；

63、將行程偏差量和行程偏差變化率作為輸入，并通過建立的模糊控制表對控制比例增益變化量、積分增益變化量、微分增益變化量進行動態(tài)調(diào)整。

64、相比現(xiàn)有技術(shù)，本發(fā)明的有益效果在于：

65、（1）精確的環(huán)境感知與智能響應(yīng)

66、本發(fā)明通過融合實時環(huán)境光強、溫濕度、聲音特征以及用戶控制指令，形成多模態(tài)交互控制系統(tǒng)，能夠?qū)崟r感知環(huán)境變化并自動調(diào)整窗簾的開合狀態(tài)。相比傳統(tǒng)的單一控制方式，能夠更精確地適應(yīng)不同環(huán)境條件，如室內(nèi)光照變化、溫濕度波動以及背景噪聲干擾，實現(xiàn)窗簾開合的動態(tài)優(yōu)化，提升用戶居住的舒適性與能源效率。

67、（2）自學(xué)習(xí)與精細化控制

68、本發(fā)明通過引入多模態(tài)融合算法與自學(xué)習(xí)機制，使窗簾控制系統(tǒng)能夠根據(jù)實時數(shù)據(jù)進行自我優(yōu)化。通過學(xué)習(xí)環(huán)境光強、溫濕度變化、聲音信號以及用戶反饋，系統(tǒng)能夠逐步提升控制精度和響應(yīng)速度，避免了人為干預(yù)和定時控制的局限，提供更加智能和個性化的窗簾控制體驗。

69、（3）噪聲抑制與語音指令精確識別

70、本發(fā)明采用先進的噪聲抑制算法和深度學(xué)習(xí)技術(shù)，在現(xiàn)場環(huán)境噪聲較大的情況下，能夠有效分離語音指令與背景噪聲，提高語音識別的準(zhǔn)確性和響應(yīng)速度。即使在噪聲干擾較大的環(huán)境中，用戶的語音指令仍然能夠得到精準(zhǔn)識別，增強了用戶操作的便捷性。

71、（4）多層次控制特征的融合與優(yōu)化

72、本發(fā)明通過將光強、溫濕度、聲音特征以及用戶指令分別生成不同級別的窗簾控制特征，并通過多模態(tài)融合算法進行關(guān)聯(lián)分析，形成窗簾控制金字塔。這一創(chuàng)新的結(jié)構(gòu)能夠綜合不同來源的數(shù)據(jù)，自動學(xué)習(xí)和調(diào)整控制意圖，實現(xiàn)窗簾控制的精細化和動態(tài)化。

73、（5）靈活的動態(tài)調(diào)整與反饋機制

74、本發(fā)明通過實時監(jiān)測窗簾的運動狀態(tài)，并將監(jiān)測信息反饋到窗簾控制模型，實現(xiàn)動態(tài)調(diào)整。這種反饋機制能夠保證窗簾在實際使用過程中始終保持最優(yōu)的開合狀態(tài)，減少能源浪費，并根據(jù)用戶需求進行精準(zhǔn)調(diào)整。

75、（6）能源節(jié)約與環(huán)境適應(yīng)能力

76、本發(fā)明在窗簾控制過程中結(jié)合實時的光照強度和溫濕度信息，能夠有效優(yōu)化窗簾開合狀態(tài)，從而在不同季節(jié)和環(huán)境條件下，自動調(diào)節(jié)室內(nèi)光照和溫度，避免能源浪費，提升居住環(huán)境的舒適度和能效表現(xiàn)。

77、下面結(jié)合附圖和具體實施方式對本發(fā)明作進一步詳細說明。