本發(fā)明涉及人工智能領(lǐng)域，具體涉及一種克羅恩病粘膜愈合預(yù)測方法及系統(tǒng)。

背景技術(shù)：

1、克羅恩病((crohn’s?disease，cd)是一種病因不明的消化道慢性炎癥性腸道疾病，常累及小腸，其鑒別診斷困難且難治患者較多。病情遷延反復(fù)，常導(dǎo)致勞動(dòng)力喪失，嚴(yán)重影響患者的身心健康。近年來，克羅恩病的全球發(fā)病率呈上升趨勢，我國的發(fā)病率在過去20年中急劇增加。

2、腸道粘膜愈合(mucosal?healing，mh)是克羅恩病的治療終點(diǎn)，然而，克羅恩病患者對藥物反應(yīng)的異質(zhì)性強(qiáng)，且缺乏規(guī)律性，對臨床選擇適宜藥物造成極大挑戰(zhàn)，在反復(fù)換藥的過程中增加了患者的經(jīng)濟(jì)負(fù)擔(dān)、增加手術(shù)率，亦增加了達(dá)到腸道粘膜愈合的難度。因此，如果能準(zhǔn)確預(yù)測粘膜愈合的可能性，可以協(xié)助醫(yī)生初步判斷當(dāng)前治療方案的有效性，從而及時(shí)調(diào)整治療策略。

3、現(xiàn)有技術(shù)中，基于人工總結(jié)的超聲量化指標(biāo)(如腸壁厚度、血流分型、有無并發(fā)癥等)以及臨床指標(biāo)來建立預(yù)測模型，但這種預(yù)測模型提取的有效信息較少，因此，準(zhǔn)確度較低，臨床應(yīng)用有限。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中的上述問題，本發(fā)明提出了一種克羅恩病粘膜愈合預(yù)測方法及系統(tǒng)，提高了預(yù)測的準(zhǔn)確度。

2、本發(fā)明的第一方面，提出一種克羅恩病粘膜愈合預(yù)測系統(tǒng)，所述系統(tǒng)包括：

3、預(yù)處理模塊，用于對待預(yù)測病變腸段的治療前原始超聲圖像和對應(yīng)的原始臨床數(shù)據(jù)進(jìn)行預(yù)處理；

4、神經(jīng)網(wǎng)絡(luò)模型，用于根據(jù)預(yù)處理后的臨床數(shù)據(jù)和預(yù)處理后的超聲圖像，計(jì)算所述待預(yù)測病變腸段是否能達(dá)到粘膜愈合；

5、其中，所述神經(jīng)網(wǎng)絡(luò)模型已經(jīng)過訓(xùn)練，且包括：

6、特征提取模塊，用于從所述預(yù)處理后的超聲圖像中獲取第一特征圖；

7、第一預(yù)設(shè)數(shù)量的殘差模塊，彼此串聯(lián)且用于從所述第一特征圖中提取深層次的特征表示，得到第二特征圖；

8、融合模塊，用于將所述第二特征圖和所述預(yù)處理后的臨床數(shù)據(jù)進(jìn)行融合，得到融合特征；

9、判斷模塊，用于根據(jù)所述融合特征判斷所述待預(yù)測病變腸段能否達(dá)到粘膜愈合。

10、優(yōu)選地，所述原始臨床數(shù)據(jù)包括：類別型數(shù)據(jù)和數(shù)值型數(shù)據(jù)；

11、所述預(yù)處理模塊包括：

12、臨床數(shù)據(jù)轉(zhuǎn)換單元，用于將所述原始臨床數(shù)據(jù)中的所述類別型數(shù)據(jù)轉(zhuǎn)換為熱獨(dú)編碼并保持所述數(shù)值型數(shù)據(jù)不變，從而得到所述預(yù)處理后的臨床數(shù)據(jù)；

13、矩形框裁剪單元，用于從所述原始超聲圖像中裁剪出包含病變部位的矩形框圖像；

14、圖像縮放單元，用于根據(jù)預(yù)設(shè)尺寸對所述矩形框圖像進(jìn)行縮放操作；

15、像素值歸一化單元，用于將縮放后的所述矩形框圖像中的各像素值歸一化至[-1，1]的范圍內(nèi)，從而得到所述預(yù)處理后的超聲圖像。

16、優(yōu)選地，所述特征提取模塊包括：

17、resnet50網(wǎng)絡(luò)，用于從所述預(yù)處理后的超聲圖像中初步提取特征圖；

18、7x7卷積層，用于對初步提取的特征圖進(jìn)行縮小尺寸的操作；

19、最大遲化層，用于對縮小尺寸后的特征圖進(jìn)行降維操作，從而得到所述第一特征圖。

20、優(yōu)選地，每個(gè)所述殘差模塊包括：

21、串聯(lián)的第一3x3卷積層和第二3x3卷積層，用于對該殘差模塊的輸入特征進(jìn)行深層次提?。?/p>

22、壓縮和激勵(lì)(squeeze-and-excitation，se)單元，用于在所述第二3x3卷積層的輸出特征中引入注意力機(jī)制；

23、第一1x1卷積層，用于接收該殘差模塊的輸入特征，并調(diào)整維度使之與所述壓縮和激勵(lì)單元的輸出特征維度相匹配；

24、第一加法單元，用于將所述第一1x1卷積層的輸出與所述壓縮和激勵(lì)單元的輸出相加。

25、優(yōu)選地，所述壓縮和激勵(lì)單元包括：

26、第一全局池化層，用于將所述第二3x3卷積層的輸出特征中每個(gè)通道的信息壓縮為單一數(shù)值；

27、第一全連接層，用于將所述第一全局池化層的輸出特征減少通道數(shù)，以減少計(jì)算量并去除冗余信息；

28、relu激活函數(shù)，用于在所述第一全連接層的輸出中加入非線性特征；

29、第二全連接層，用于對所述relu激活函數(shù)輸出特征的通道數(shù)進(jìn)行恢復(fù)，輸出一個(gè)與所述第二3x3卷積層的輸出特征通道數(shù)相同的向量；該向量中的每個(gè)元素對應(yīng)一個(gè)通道的權(quán)重，表示該通道的重要性；

30、sigmoid激活函數(shù)，用于將所述第二全連接層的輸出映射到0至1之間，得到各通道的注意力權(quán)重；

31、第一注意力單元，用于接收所述第二3x3卷積層的輸出特征并加入所述注意力權(quán)重。

32、優(yōu)選地，所述融合模塊包括：

33、第二全局池化層，用于將所述第二特征圖中每個(gè)通道的信息壓縮為單一數(shù)值；

34、拼接單元，用于將所述第二全局池化層的輸出特征與所述預(yù)處理后的臨床數(shù)據(jù)進(jìn)行拼接，得到拼接特征；

35、串聯(lián)的第三全連接層和第四全連接層，用于從所述拼接特征中提取出更高層次的抽象特征；

36、第二注意力單元，用于利用所述抽象特征為所述第二特征圖添加注意力信息；

37、串聯(lián)的第三3x3卷積層和第四3x3卷積層，用于對添加了注意力信息的特征圖進(jìn)行特征提??；

38、第二1x1卷積層，用于接收所述第二特征圖，并調(diào)整維度使之與所述第四3x3卷積層的輸出特征維度相匹配；

39、第二加法單元，用于將所述第二1x1卷積層的輸出與所述第四3x3卷積層的輸出進(jìn)行相加，得到所述融合特征。

40、優(yōu)選地，所述判斷模塊包括：

41、第三全局池化層，用于將所述融合特征中每個(gè)通道的信息壓縮為單一數(shù)值；

42、第五全連接層，用于根據(jù)所述第三全局池化層的輸出進(jìn)行二分類，從而判斷所述待預(yù)測病變腸段是否能達(dá)到粘膜愈合。

43、優(yōu)選地，所述系統(tǒng)還包括：訓(xùn)練模塊；

44、所述訓(xùn)練模塊包括：

45、原始數(shù)據(jù)收集單元，用于收集第二預(yù)設(shè)數(shù)量的病變腸段治療前超聲圖像樣本、每個(gè)病變腸段對應(yīng)的臨床數(shù)據(jù)以及該病變腸段是否達(dá)到粘膜愈合的標(biāo)簽值，從而構(gòu)建原始數(shù)據(jù)集；所述標(biāo)簽值由隨訪的結(jié)腸鏡檢查和/或橫斷面成像評估得到；

46、數(shù)據(jù)處理單元，用于調(diào)用所述預(yù)處理模塊對所述原始數(shù)據(jù)集中每個(gè)超聲圖像樣本和對應(yīng)的臨床數(shù)據(jù)進(jìn)行預(yù)處理；

47、圖像擴(kuò)增單元，用于對每張預(yù)處理后的超聲圖像進(jìn)行水平、垂直和隨機(jī)翻轉(zhuǎn)以進(jìn)行圖像擴(kuò)增；

48、數(shù)據(jù)劃分單元，用于按照預(yù)設(shè)比例對擴(kuò)增后圖像進(jìn)行劃分，進(jìn)而基于每張圖像和臨床數(shù)據(jù)的對應(yīng)關(guān)系，用擴(kuò)增后圖像和預(yù)處理后的臨床數(shù)據(jù)構(gòu)建訓(xùn)練集和驗(yàn)證集；

49、訓(xùn)練單元，用于從所述訓(xùn)練集中每次選取一張圖像和對應(yīng)的臨床數(shù)據(jù)輸入到所述神經(jīng)網(wǎng)絡(luò)模型得到預(yù)測值，計(jì)算損失函數(shù)，調(diào)整所述神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，重復(fù)執(zhí)行直到所述損失函數(shù)不再減小，得到訓(xùn)練好的所述神經(jīng)網(wǎng)絡(luò)模型；

50、驗(yàn)證單元，用于利用所述驗(yàn)證集對訓(xùn)練好的所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行5折交叉驗(yàn)證，并對訓(xùn)練好的所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行外部驗(yàn)證和可靠性驗(yàn)證。

51、優(yōu)選地，所述第一預(yù)設(shè)數(shù)量為3；

52、所述類別型數(shù)據(jù)包括：患者性別、病變部位、有無吸煙史、有無既往腸道手術(shù)史、有無藥物治療以及藥物種類；

53、所述數(shù)值型數(shù)據(jù)包括：患者年齡、疾病持續(xù)時(shí)間、簡化克羅恩病活動(dòng)指數(shù)，以及超敏c反應(yīng)蛋白含量；

54、所述預(yù)設(shè)尺寸為：512x1024。

55、本發(fā)明的第二方面，提出一種克羅恩病粘膜愈合預(yù)測方法，所述方法包括：

56、對待預(yù)測病變腸段的治療前原始超聲圖像和對應(yīng)的原始臨床數(shù)據(jù)進(jìn)行預(yù)處理；

57、將預(yù)處理后的臨床數(shù)據(jù)和預(yù)處理后的超聲圖像輸入至神經(jīng)網(wǎng)絡(luò)模型，判斷所述待預(yù)測病變腸段是否能達(dá)到粘膜愈合；

58、其中，

59、所述神經(jīng)網(wǎng)絡(luò)模型已經(jīng)過訓(xùn)練，且包括：

60、特征提取模塊，用于從所述預(yù)處理后的超聲圖像中獲取第一特征圖；

61、第一預(yù)設(shè)數(shù)量的殘差模塊，彼此串聯(lián)且用于從所述第一特征圖中提取深層次的特征表示，得到第二特征圖；

62、融合模塊，用于將所述第二特征圖和所述預(yù)處理后的臨床數(shù)據(jù)進(jìn)行融合，得到融合特征；

63、判斷模塊，用于根據(jù)所述融合特征判斷所述待預(yù)測病變腸段能否達(dá)到粘膜愈合。

64、本發(fā)明具有如下有益效果：

65、本發(fā)明提出的克羅恩病粘膜愈合預(yù)測系統(tǒng)，首先使用特征提取模塊從超聲圖像數(shù)據(jù)中初步提取第一特征圖，然后使用三個(gè)串聯(lián)的殘差塊來提取深層次的特征表示得到第二特征圖，再將第二特征圖與臨床數(shù)據(jù)進(jìn)行融合，最后根據(jù)融合特征判斷待預(yù)測的病變腸段能否達(dá)到粘膜愈合。神經(jīng)網(wǎng)絡(luò)模型可以提取超聲圖像中人眼無法分辨的信息，再利用臨床數(shù)據(jù)為圖像特征添加注意力信息，因此經(jīng)過大量數(shù)據(jù)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型能夠提升預(yù)測的準(zhǔn)確度。殘差模塊可以緩解深度神經(jīng)網(wǎng)絡(luò)模型在反向傳播時(shí)的梯度消失問題，本發(fā)明通過串聯(lián)多個(gè)殘差模塊，可以逐步提取更加復(fù)雜和抽象的特征，提高特征提取的精度和魯棒性。

66、在預(yù)處理模塊中將包含病變部位的矩形框圖像裁減下來，以便后續(xù)只將矩形框圖像輸入神經(jīng)網(wǎng)絡(luò)模型進(jìn)行判斷，能夠防止混淆信息引入模型。

67、在特征提取模塊中，對resnet50提取的特征圖使用7x7卷積層和最大池化層可以進(jìn)一步減少特征圖的尺寸、增大感受野和降低計(jì)算量。

68、在殘差模塊中加入壓縮和激勵(lì)單元可以引導(dǎo)模型關(guān)注重要的通道特征。

69、總之，本發(fā)明對原始超聲圖像和原始臨床數(shù)據(jù)進(jìn)行預(yù)處理后，輸入到神經(jīng)網(wǎng)絡(luò)模型來預(yù)測病變腸段是否能達(dá)到粘膜愈合的手段，有效提高了預(yù)測的準(zhǔn)確度。