本發(fā)明涉及療效輔助監(jiān)管，具體為一種基于多模態(tài)驅(qū)動的知識圖譜療效輔助監(jiān)管系統(tǒng)及方法。

背景技術(shù)：

1、近年來，隨著醫(yī)療信息化技術(shù)的迅速發(fā)展，電子病歷(emr)系統(tǒng)和醫(yī)學(xué)影像數(shù)據(jù)的整合應(yīng)用為患者健康管理和治療效果評估提供了新的契機；知識圖譜技術(shù)作為人工智能領(lǐng)域的重要工具，通過構(gòu)建多維數(shù)據(jù)的語義網(wǎng)絡(luò)，有效地表示實體之間的復(fù)雜關(guān)系，已在醫(yī)療領(lǐng)域獲得廣泛應(yīng)用；特別是在治療過程中，病人的病情發(fā)展和療效評估數(shù)據(jù)常來自多種模式的數(shù)據(jù)源，包括電子病歷文本、b超等影像數(shù)據(jù)；通過這些多模態(tài)數(shù)據(jù)的融合，醫(yī)生能夠更全面地掌握患者的治療過程，從而做出更精準(zhǔn)的治療決策；然而，目前多數(shù)療效評估方法仍依賴于單一模態(tài)數(shù)據(jù)，缺乏對病情變化的動態(tài)跟蹤與綜合分析，難以全面、及時地評估患者的治療效果。

2、現(xiàn)有技術(shù)中的不足主要表現(xiàn)在幾個方面；首先，多數(shù)療效評估系統(tǒng)局限于基于文本數(shù)據(jù)的分析，難以有效整合醫(yī)療圖像數(shù)據(jù)，使得患者病灶的空間變化未能充分反映在評估結(jié)果中；其次，現(xiàn)有技術(shù)多是基于靜態(tài)的歷史數(shù)據(jù)，缺乏對患者病情隨時間變化的動態(tài)跟蹤分析，難以有效預(yù)測未來的病情發(fā)展及治療效果；此外，患者之間的個體差異性未能得到充分考慮，導(dǎo)致治療方案的個性化程度不足，影響了臨床治療的精確性和科學(xué)性。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于多模態(tài)驅(qū)動的知識圖譜療效輔助監(jiān)管系統(tǒng)及方法，以解決上述背景技術(shù)中提出的問題。

2、為了解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

3、一種基于多模態(tài)驅(qū)動的知識圖譜療效輔助監(jiān)管方法，本方法包括以下步驟：建立患者數(shù)據(jù)庫，構(gòu)建患者的電子病歷數(shù)據(jù)集和b超圖像數(shù)據(jù)集；提取患者與電子病例之間的實體和關(guān)系；構(gòu)建患者與電子病例之間的第一實體集和第一關(guān)系集，構(gòu)建初始知識圖譜；利用圖像分析技術(shù)提取b超圖像中的病灶區(qū)域，構(gòu)建患者與b超圖像之間的第二實體集和第二關(guān)系集；將第二實體集和第二關(guān)系集，添加到初始知識圖譜中，形成患者個性化知識圖譜；對病灶附加時間序列周期標(biāo)簽，記為周期病灶；計算患者的療效預(yù)測值；計算周期病灶的病灶變化率；基于療效預(yù)測值和所述病灶變化率，計算患者的綜合療效評估值；基于綜合療效評估值，構(gòu)建療效評估集，并更新至患者個性化知識圖譜；計算不同患者之間的優(yōu)化療效預(yù)測值；基于優(yōu)化療效預(yù)測值，計算最優(yōu)治療方案。

4、作為本發(fā)明所述一種基于多模態(tài)驅(qū)動的知識圖譜療效輔助監(jiān)管方法的一種優(yōu)選方案，建立患者數(shù)據(jù)庫，記為hz＝{hza|a∈[1,a]}，其中，hza表示第a個患者，a表示患者總數(shù)；獲取患者h(yuǎn)za的電子病歷數(shù)據(jù)和b超圖像數(shù)據(jù)，分別構(gòu)建電子病歷數(shù)據(jù)集db＝{dba|a∈[1,a]}和b超圖像數(shù)據(jù)集bc＝{bca|a∈[1,a]}，其中，dba表示第a個患者的電子病歷數(shù)據(jù)，bca表示第a個患者的b超圖像數(shù)據(jù)；所述電子病例數(shù)據(jù)包括患者h(yuǎn)za的患病癥狀、治療方案和藥物。

5、基于所述電子病歷數(shù)據(jù)集和患者數(shù)據(jù)庫，提取患者與電子病例之間的實體和關(guān)系，所述實體包括患者h(yuǎn)za、患病癥狀si、治療方案tb和藥物dc，其中，si表示第i個患病癥狀，tb表示第b個治療方案，dc表示第c種藥物；所述關(guān)系包括患有、接受和使用；所述患有表示患者h(yuǎn)za與患病癥狀si之間的患有關(guān)系，所述接受表示患者h(yuǎn)za與治療方案tb之間的接受關(guān)系，所述使用表示患者h(yuǎn)za與藥物dc之間的使用關(guān)系。

6、作為本發(fā)明所述一種基于多模態(tài)驅(qū)動的知識圖譜療效輔助監(jiān)管方法的一種優(yōu)選方案，構(gòu)建患者與電子病例之間的第一實體集和第一關(guān)系集，分別記為第一實體集fe＝{患者h(yuǎn)za、患病癥狀si、治療方案tb、藥物dc}和第一關(guān)系集fr＝{患有、接受、使用}，基于所述第一實體集e和第一關(guān)系集r，構(gòu)建初始知識圖譜，記為g＝{fe，fr}。

7、利用圖像分析技術(shù)提取b超圖像中的病灶區(qū)域l，并記錄病灶的位置和大小，所述病灶區(qū)域是指在b超圖像上顯示出來的組織和器官的異常區(qū)域；構(gòu)建患者與b超圖像之間的第二實體集和第二關(guān)系集，分別記為第二實體集se＝{患者h(yuǎn)za、病灶位置、病灶大小}和第二關(guān)系集sr＝{屬于、位于、測量值}，所述屬于表示病灶屬于患者h(yuǎn)za，所述位于表示病灶位于b超圖像中的病灶位置，所述測量值表示病灶測量出的病灶大小。

8、作為本發(fā)明所述一種基于多模態(tài)驅(qū)動的知識圖譜療效輔助監(jiān)管方法的一種優(yōu)選方案，將所述第二實體集和第二關(guān)系集，添加到初始知識圖譜g＝{fe，fr}中，形成最終的患者個性化知識圖譜，記為hg＝{fe∪se，fr∪sr}；構(gòu)建時間序列，記為sj＝{t|t∈[1,t]}，其中，t表示第t個時間點，t表示時間點總數(shù)，對所述病灶l附加時間序列周期標(biāo)簽，記為周期病灶lt。

9、計算患者h(yuǎn)za的療效預(yù)測值p(hza,si,tb,dc)，計算公式如下：

10、p(hza,si,tb,dc)＝α1·f(si)+α2·f(tb)+α3·f(dc)；

11、

12、f(dc)＝dc·pc·ec；

13、其中，f(si)表示患病癥狀的特征函數(shù)，f(tb)表示治療方案的特征函數(shù)，f(dc)表示藥物特征函數(shù)，α1、α2和α3分別表示預(yù)設(shè)的患病癥狀、治療方案和藥物的權(quán)重，si表示患病癥狀si的嚴(yán)重程度，根據(jù)醫(yī)生的評級標(biāo)準(zhǔn)來確定，di表示癥狀持續(xù)的時間，fi表示癥狀的出現(xiàn)頻率，ib表示治療方案的強度，eb表示治療方式的適配性，根據(jù)治療方案與患者的適應(yīng)癥匹配度評分，db表示療程的時長，dc表示藥物dc的劑量，pc表示藥物的使用頻率，ec表示基于臨床數(shù)據(jù)設(shè)定的藥物的療效評分。

14、在本發(fā)明中，該公式是基于患者的癥狀、治療方案和藥物的權(quán)重加權(quán)求和；通過對患病癥狀嚴(yán)重程度、持續(xù)時間、頻率，治療方案的強度、適配性及療程，藥物的劑量、頻率和臨床效果進(jìn)行量化，得出一個綜合的療效預(yù)測值；該公式的核心作用在于量化患者當(dāng)前癥狀、治療方案和藥物對治療效果的影響；通過將電子病歷中的文本信息(如癥狀、治療方案、藥物信息)轉(zhuǎn)換為可量化的特征，再結(jié)合相應(yīng)的權(quán)重，計算出每個患者的療效預(yù)測值；該值可以作為評估治療方案有效性的基礎(chǔ)，為后續(xù)的療效評估和優(yōu)化提供支持。

15、計算時間點t時，周期病灶lt的病灶變化率δlt，計算公式如下：

16、

17、其中，δlt表示周期病灶lt的病灶變化率，l1表示治療前的初始病灶大小，且，t≠1。

18、在本發(fā)明中，該公式用于衡量治療過程中病灶的縮小程度，體現(xiàn)治療的效果。初始病灶大小和當(dāng)前病灶大小的差值占初始病灶大小的比例表示病灶的變化率；主要作用是動態(tài)跟蹤患者病灶的變化情況，量化治療過程中病灶的縮小或惡化程度；通過結(jié)合時間序列數(shù)據(jù)中的病灶大小，醫(yī)生可以直觀地看到治療前后的病灶變化；該指標(biāo)幫助評估治療效果的實際表現(xiàn)，特別是在需要結(jié)合影像數(shù)據(jù)分析的情況下，起到了動態(tài)監(jiān)控病情進(jìn)展的作用。

19、基于所述療效預(yù)測值p(hza,si,tb,dc)和所述病灶變化率δlt，計算患者h(yuǎn)za的綜合療效評估值r(hza,si,tb,dc,t)，計算公式如下：

20、r(hza,si,tb,dc,t)＝β·p(hza,si,tb,dc)+γ·δlt；

21、其中，β和γ表示預(yù)設(shè)的參數(shù)，依據(jù)不同的病情、癥狀和治療階段進(jìn)行調(diào)整。

22、在本發(fā)明中，綜合療效評估值將療效預(yù)測值與病灶變化率結(jié)合，形成整體療效的評估指標(biāo)；將不同來源的數(shù)據(jù)(電子病歷數(shù)據(jù)和影像數(shù)據(jù))融合在一起，生成更全面的療效評估；該指標(biāo)可以反映患者的整體健康狀態(tài)，并為醫(yī)生提供基于多個維度的療效分析結(jié)果，支持醫(yī)療決策。

23、作為本發(fā)明所述一種基于多模態(tài)驅(qū)動的知識圖譜療效輔助監(jiān)管方法的一種優(yōu)選方案，基于綜合療效評估值r(hza,si,tb,dc,t)，構(gòu)建療效評估集pg＝{[si,tb,dc,r(hza,si,tb,dc,t)]}，將所述療效評估集pg更新至患者個性化知識圖譜hg，更新公式為：tg＝hg∪pg，其中，tg表示更新后的患者個性化知識圖譜。

24、基于所述更新后的患者個性化知識圖譜tg，預(yù)設(shè)計算患者h(yuǎn)za與患者h(yuǎn)zo之間的相似性，記為sim(hza,hzo)，其中，hzo表示第o個患者，且，o≠a；基于患者h(yuǎn)za與患者h(yuǎn)zo之間的相似性sim(hza,hzo)，計算患者h(yuǎn)za與患者h(yuǎn)zo的優(yōu)化療效預(yù)測值，計算公式如下：

25、

26、其中，r(hzo,si,tb,dc,t)表示患者h(yuǎn)zo的綜合療效評估值，ropt(hza,si)表示患者h(yuǎn)za與患者h(yuǎn)zo的優(yōu)化療效預(yù)測值。

27、在本發(fā)明中，該公式通過不同患者之間療效的相似性和綜合療效評估值進(jìn)行計算，為患者提供更個性化的療效預(yù)測；通過跨患者數(shù)據(jù)的相似性分析，提升療效預(yù)測的精度，為患者提供更為個性化的治療評估；通過借鑒其他相似患者的治療效果，這一公式能夠為當(dāng)前患者的療效預(yù)測提供更具參考價值的分析。

28、基于所述患者h(yuǎn)za與患者h(yuǎn)zo的優(yōu)化療效預(yù)測值ropt(hza,si)，計算最優(yōu)治療方案，計算公式如下：

29、b(tb,dc)＝argmaxtb,dc[ropt(hza,si)]；

30、其中，b(tb,dc)表示最優(yōu)治療方案。

31、若患者h(yuǎn)za與患者h(yuǎn)zo的優(yōu)化療效預(yù)測值ropt(hza,si)大于患者h(yuǎn)za的綜合療效評估值r(hza,si,tb,dc,t)，則為患者h(yuǎn)za推薦最優(yōu)治療方案b(tb,dc)。

32、在本發(fā)明中，該公式通過比較多個治療方案的優(yōu)化療效預(yù)測值，選擇能夠最大化療效的方案；根據(jù)優(yōu)化后的療效預(yù)測值，自動推薦最優(yōu)的治療方案，可以幫助醫(yī)生從多個治療方案中選擇效果最佳的方案，提高醫(yī)療決策的科學(xué)性和準(zhǔn)確性；借助該公式，醫(yī)生可以為患者制定個性化的治療計劃，從而提升治療效果。

33、一種基于多模態(tài)驅(qū)動的知識圖譜療效輔助監(jiān)管系統(tǒng)，本系統(tǒng)包括：患者數(shù)據(jù)管理模塊、知識圖譜構(gòu)建模塊、療效評估模塊和個性化療效優(yōu)化模塊。

34、所述患者數(shù)據(jù)管理模塊：建立患者數(shù)據(jù)庫，構(gòu)建患者的電子病歷數(shù)據(jù)集和b超圖像數(shù)據(jù)集；提取患者與電子病例之間的實體和關(guān)系。

35、所述知識圖譜構(gòu)建模塊：構(gòu)建患者與電子病例之間的第一實體集和第一關(guān)系集，構(gòu)建初始知識圖譜；利用圖像分析技術(shù)提取b超圖像中的病灶區(qū)域，構(gòu)建患者與b超圖像之間的第二實體集和第二關(guān)系集。

36、所述療效評估模塊：將第二實體集和第二關(guān)系集，添加到初始知識圖譜中，形成患者個性化知識圖譜；對病灶附加時間序列周期標(biāo)簽，記為周期病灶；計算患者的療效預(yù)測值；計算周期病灶的病灶變化率；基于療效預(yù)測值和所述病灶變化率，計算患者的綜合療效評估值。

37、所述個性化療效優(yōu)化模塊：基于綜合療效評估值，構(gòu)建療效評估集，并更新至患者個性化知識圖譜；計算不同患者之間的優(yōu)化療效預(yù)測值；基于優(yōu)化療效預(yù)測值，計算最優(yōu)治療方案。

38、進(jìn)一步的，所述患者數(shù)據(jù)管理模塊包括數(shù)據(jù)庫構(gòu)建單元和實體與關(guān)系提取單元。

39、所述數(shù)據(jù)庫構(gòu)建單元：建立患者數(shù)據(jù)庫，記為hz＝{hza|a∈[1,a]}，其中，hza表示第a個患者，a表示患者總數(shù)；獲取患者h(yuǎn)za的電子病歷數(shù)據(jù)和b超圖像數(shù)據(jù)，分別構(gòu)建電子病歷數(shù)據(jù)集db＝{dba|a∈[1,a]}和b超圖像數(shù)據(jù)集bc＝{bca|a∈[1,a]}，其中，dba表示第a個患者的電子病歷數(shù)據(jù)，bca表示第a個患者的b超圖像數(shù)據(jù)；所述電子病例數(shù)據(jù)包括患者h(yuǎn)za的患病癥狀、治療方案和藥物。

40、所述實體與關(guān)系提取單元：基于所述電子病歷數(shù)據(jù)集和患者數(shù)據(jù)庫，提取患者與電子病例之間的實體和關(guān)系，所述實體包括患者h(yuǎn)za、患病癥狀si、治療方案tb和藥物dc，其中，si表示第i個患病癥狀，tb表示第b個治療方案，dc表示第c種藥物；所述關(guān)系包括患有、接受和使用；所述患有表示患者h(yuǎn)za與患病癥狀si之間的患有關(guān)系，所述接受表示患者h(yuǎn)za與治療方案tb之間的接受關(guān)系，所述使用表示患者h(yuǎn)za與藥物dc之間的使用關(guān)系。

41、進(jìn)一步的，所述知識圖譜構(gòu)建模塊包括第一實體集和第一關(guān)系集構(gòu)建單元和第二實體集和第二關(guān)系集構(gòu)建單元。

42、所述第一實體集和第一關(guān)系集構(gòu)建單元：構(gòu)建患者與電子病例之間的第一實體集和第一關(guān)系集，分別記為第一實體集fe＝{患者h(yuǎn)za、患病癥狀si、治療方案tb、藥物dc}和第一關(guān)系集fr＝{患有、接受、使用}，基于所述第一實體集e和第一關(guān)系集r，構(gòu)建初始知識圖譜，記為g＝{fe，fr}。

43、所述第二實體集和第二關(guān)系集構(gòu)建單元：利用圖像分析技術(shù)提取b超圖像中的病灶區(qū)域l，并記錄病灶的位置和大小，所述病灶區(qū)域是指在b超圖像上顯示出來的組織和器官的異常區(qū)域；構(gòu)建患者與b超圖像之間的第二實體集和第二關(guān)系集，分別記為第二實體集se＝{患者h(yuǎn)za、病灶位置、病灶大小}和第二關(guān)系集sr＝{屬于、位于、測量值}，所述屬于表示病灶屬于患者h(yuǎn)za，所述位于表示病灶位于b超圖像中的病灶位置，所述測量值表示病灶測量出的病灶大小。

44、進(jìn)一步的，所述療效評估模塊包括療效預(yù)測和病灶變化率計算單元和綜合療效評估值計算單元。

45、所述療效預(yù)測和病灶變化率計算單元：將所述第二實體集和第二關(guān)系集，添加到初始知識圖譜g＝{fe，fr}中，形成最終的患者個性化知識圖譜，記為hg＝{fe∪se，fr∪sr}；構(gòu)建時間序列，記為sj＝{t|t∈[1,t]}，其中，t表示第t個時間點，t表示時間點總數(shù)，對所述病灶l附加時間序列周期標(biāo)簽，記為周期病灶lt；計算患者h(yuǎn)za的療效預(yù)測值p(hza,si,tb,dc)。

46、所述綜合療效評估值計算單元：計算時間點t時，周期病灶lt的病灶變化率δlt；基于所述療效預(yù)測值p(hza,si,tb,dc)和所述病灶變化率δlt，計算患者h(yuǎn)za的綜合療效評估值r(hza,si,tb,dc,t)。

47、進(jìn)一步的，所述個性化療效優(yōu)化模塊包括知識圖譜更新單元和最優(yōu)治療方案推薦單元。

48、所述知識圖譜更新單元：基于綜合療效評估值r(hza,si,tb,dc,t)，構(gòu)建療效評估集pg＝{[si,tb,dc,r(hza,si,tb,dc,t)]}，將所述療效評估集pg更新至患者個性化知識圖譜hg，更新公式為：tg＝hg∪pg，其中，tg表示更新后的患者個性化知識圖譜；基于所述更新后的患者個性化知識圖譜tg，預(yù)設(shè)計算患者h(yuǎn)za與患者h(yuǎn)zo之間的相似性，記為sim(hza,hzo)，其中，hzo表示第o個患者，且，o≠a；基于患者h(yuǎn)za與患者h(yuǎn)zo之間的相似性sim(hza,hzo)，計算患者h(yuǎn)za與患者h(yuǎn)zo的優(yōu)化療效預(yù)測值ropt(hza,si)。

49、所述最優(yōu)治療方案推薦單元：基于所述患者h(yuǎn)za與患者h(yuǎn)zo的優(yōu)化療效預(yù)測值ropt(hza,si)，計算最優(yōu)治療方案b(tb,dc)；若患者h(yuǎn)za與患者h(yuǎn)zo的優(yōu)化療效預(yù)測值ropt(hza,si)大于患者h(yuǎn)za的綜合療效評估值r(hza,si,tb,dc,t)，則為患者h(yuǎn)za推薦最優(yōu)治療方案b(tb,dc)。

50、與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果是：本發(fā)明提供的一種基于多模態(tài)驅(qū)動的知識圖譜療效輔助監(jiān)管系統(tǒng)及方法中，通過融合電子病歷、b超圖像及時間序列數(shù)據(jù)，構(gòu)建個性化知識圖譜，實現(xiàn)了對患者療效的全面評估；首先，收集并結(jié)構(gòu)化患者的多模態(tài)數(shù)據(jù)，為后續(xù)分析奠定基礎(chǔ)；其次，利用圖像分析技術(shù)提取病灶信息，并通過知識圖譜構(gòu)建病情和治療方案的動態(tài)關(guān)聯(lián)，量化病灶變化與療效預(yù)測；最后，通過患者間療效相似性分析優(yōu)化治療方案，為患者推薦最優(yōu)治療方案，從而提高了醫(yī)療決策的精準(zhǔn)性和治療效果的科學(xué)性。