本發(fā)明涉及脊柱健康領域，尤其是涉及基于多模態(tài)信息融合的脊柱側彎評估系統(tǒng)以及裝置。

背景技術：

1、隨著坐班族的增加，脊柱側彎人群愈發(fā)增多，多發(fā)生于青少年，嚴重影響身體發(fā)育和健康。醫(yī)學影像是評估治療脊柱側彎的最常用手段。然而，醫(yī)學影像的成像方法在提供實時反饋方面存在不足，且存在輻射劑量問題。

技術實現(xiàn)思路

1、為了克服現(xiàn)有技術的不足，本發(fā)明的目的之一在于提供一種能夠準確評估脊柱側彎的基于多模態(tài)信息融合的脊柱側彎評估系統(tǒng)。

2、為了克服現(xiàn)有技術的不足，本發(fā)明的目的之二在于提供一種能夠準確評估脊柱側彎的基于多模態(tài)信息融合的脊柱側彎評估裝置。

3、本發(fā)明的目的之一采用如下技術方案實現(xiàn)：

4、一種基于多模態(tài)信息融合的脊柱側彎評估系統(tǒng)，包括

5、背部壓力肌電信號采集模塊，用于采集背部肌群的應力肌電信息；

6、熱成像模塊，獲取人體的身體表面的熱成像信息圖；

7、足底壓力采集模塊，采集足底壓力信息；

8、多模數(shù)據(jù)融合模塊，構建包括編碼器層、特征匹配層以及預測層的多模數(shù)據(jù)融合網絡模型，將所述應力肌電信息、所述熱成像信息圖以及所述足底壓力信息輸入所述編碼器層，在所述特征匹配層采用交叉注意力機制將來自不同模塊的特征進行融合，在所述預測層，用加權池將每個模態(tài)的向量轉化為相同的固定長度，使用mlp構建一個融合門，并將它們與加權相結合，最后使用分類器模型進行脊柱側彎評估，根據(jù)脊柱側彎程度分類。

9、進一步的，所述背部壓力肌電信號采集模塊包括多通道陣列柔性肌電采集傳感器，通過所述多通道陣列柔性肌電采集傳感器采集背部肌群的應力肌電信息。

10、進一步的，所述熱成像模塊捕獲的熱成像信息為背部熱成像信息圖。

11、進一步的，所述足底壓力信息為陣列信息。

12、進一步的，所述編碼器層包括背部肌電壓力信號編碼器、熱成像圖編碼器以及足底壓力數(shù)據(jù)編碼器，向所述背部肌電壓力信號編碼器輸入所述應力肌電信息，向所述熱成像圖編碼器輸入所述熱成像信息圖，向所述足底壓力數(shù)據(jù)編碼器輸入足底壓力信息。

13、進一步的，所述特征匹配層包括3個匹配塊，所述3個匹配塊迭代學習每個模態(tài)的注意感知表示。

14、進一步的，所述特征匹配層還包括提取模塊，所述提取模塊提取所述應力肌電信息、所述熱成像信息圖以及所述足底壓力信息的有用特征。

15、本發(fā)明的目的之二采用如下技術方案實現(xiàn)：

16、一種基于多模態(tài)信息融合的脊柱側彎評估裝置，包括肌電采集傳感器、熱成像攝像機、足底陣列壓力傳感器以及處理器，所述處理器與所述肌電采集傳感器、所述熱成像攝像機以及所述足底陣列壓力傳感器通信連接，所述肌電采集傳感器采集背部肌群的應力肌電信息，所述熱成像攝像機獲取人體的身體表面的熱成像信息圖，所述足底陣列壓力傳感器采集足底壓力信息，所述處理器內設有多模數(shù)據(jù)融合模型，所述多模數(shù)據(jù)融合模型提取傳感器數(shù)據(jù)的有用特征，并采用交叉注意力機制將來自不同傳感器的特征進行融合，用加權池將每個模態(tài)的向量轉化為相同的固定長度，使用分類器模型進行脊柱側彎評估，根據(jù)其脊柱側彎程度分類。

17、進一步的，所述肌電采集傳感器為柔性傳感器。

18、相比現(xiàn)有技術，本發(fā)明基于多模態(tài)信息融合的脊柱側彎評估系統(tǒng)利用脊柱側彎時背部的應力肌電信息、熱成像信息圖以及足底壓力信息的協(xié)同機制，將背部的應力肌電信息、熱成像信息圖以及足底壓力信息多模態(tài)數(shù)據(jù)融合，通過多模數(shù)據(jù)融合模型實現(xiàn)全自動化評估，評估準確率高、無輻射。

技術特征：

1.一種基于多模態(tài)信息融合的脊柱側彎評估系統(tǒng)，其特征在于：包括

2.根據(jù)權利要求1所述的基于多模態(tài)信息融合的脊柱側彎評估系統(tǒng)，其特征在于：所述背部壓力肌電信號采集模塊包括多通道陣列柔性肌電采集傳感器，通過所述多通道陣列柔性肌電采集傳感器采集背部肌群的應力肌電信息。

3.根據(jù)權利要求1所述的基于多模態(tài)信息融合的脊柱側彎評估系統(tǒng)，其特征在于：所述熱成像模塊捕獲的熱成像信息為背部熱成像信息圖。

4.根據(jù)權利要求1所述的基于多模態(tài)信息融合的脊柱側彎評估系統(tǒng)，其特征在于：所述足底壓力信息為陣列信息。

5.根據(jù)權利要求1所述的基于多模態(tài)信息融合的脊柱側彎評估系統(tǒng)，其特征在于：所述編碼器層包括背部肌電壓力信號編碼器、熱成像圖編碼器以及足底壓力數(shù)據(jù)編碼器，向所述背部肌電壓力信號編碼器輸入所述應力肌電信息，向所述熱成像圖編碼器輸入所述熱成像信息圖，向所述足底壓力數(shù)據(jù)編碼器輸入足底壓力信息。

6.根據(jù)權利要求1所述的基于多模態(tài)信息融合的脊柱側彎評估系統(tǒng)，其特征在于：所述特征匹配層包括3個匹配塊，所述3個匹配塊迭代學習每個模態(tài)的注意感知表示。

7.根據(jù)權利要求6所述的基于多模態(tài)信息融合的脊柱側彎評估系統(tǒng)，其特征在于：所述特征匹配層還包括提取模塊，所述提取模塊提取所述應力肌電信息、所述熱成像信息圖以及所述足底壓力信息的有用特征。

8.一種基于多模態(tài)信息融合的脊柱側彎評估裝置，其特征在于：包括肌電采集傳感器、熱成像攝像機、足底陣列壓力傳感器以及處理器，所述處理器與所述肌電采集傳感器、所述熱成像攝像機以及所述足底陣列壓力傳感器通信連接，所述肌電采集傳感器采集背部肌群的應力肌電信息，所述熱成像攝像機獲取人體的身體表面的熱成像信息圖，所述足底陣列壓力傳感器采集足底壓力信息，所述處理器內設有多模數(shù)據(jù)融合模型，所述多模數(shù)據(jù)融合模型提取傳感器數(shù)據(jù)的有用特征，并采用交叉注意力機制將來自不同傳感器的特征進行融合，用加權池將每個模態(tài)的向量轉化為相同的固定長度，使用分類器模型進行脊柱側彎評估，根據(jù)其脊柱側彎程度分類。

9.根據(jù)權利要求8所述的基于多模態(tài)信息融合的脊柱側彎評估裝置，其特征在于：所述肌電采集傳感器為柔性傳感器。

技術總結
本發(fā)明公開了一種基于多模態(tài)信息融合的脊柱側彎評估系統(tǒng)以及裝置，屬于脊柱健康領域，背部壓力肌電信號采集模塊采集背部肌群的應力肌電信息；熱成像模塊獲取人體的熱成像信息圖；足底壓力采集模塊采集足底壓力信息；多模數(shù)據(jù)融合模塊，將應力肌電信息、熱成像信息圖以及足底壓力信息輸入編碼器層，在特征匹配層采用交叉注意力機制將來自不同模塊的特征進行融合，使用分類器模型進行脊柱側彎評估，根據(jù)脊柱側彎程度分類。本申請利用脊柱側彎時背部的應力肌電信息、熱成像信息圖以及足底壓力信息的協(xié)同機制，將背部的應力肌電信息、熱成像信息圖以及足底壓力信息多模態(tài)數(shù)據(jù)融合，通過多模數(shù)據(jù)融合模型實現(xiàn)全自動化評估，評估準確率高、無輻射。

技術研發(fā)人員：郭凱,吳煜雯,魏野,王燦
受保護的技術使用者：中國科學院蘇州生物醫(yī)學工程技術研究所
技術研發(fā)日：
技術公布日：2025/1/9