本發(fā)明涉及醫(yī)療,具體涉及一種基于多模態(tài)全腦mri的深度學(xué)習(xí)預(yù)測(cè)膠質(zhì)瘤多種分子病理的方法。
背景技術(shù):
1、2021年發(fā)布的第5版《世界衛(wèi)生組織中樞神經(jīng)系統(tǒng)腫瘤分類(lèi)》整合了膠質(zhì)瘤的分子病理,其中包括idh突變、1p/19q共缺失和mgmt啟動(dòng)子甲基化。無(wú)創(chuàng)預(yù)測(cè)膠質(zhì)瘤的分子病理有助于下一步的醫(yī)療決策。利用深度學(xué)習(xí)對(duì)mri(磁共振成像)進(jìn)行學(xué)習(xí)預(yù)測(cè)被認(rèn)為是一種具有前景的方法。然而,當(dāng)前的方法往往只利用常規(guī)mri進(jìn)行預(yù)測(cè),忽略了dt?i(彌散張量成像)這類(lèi)高級(jí)成像的潛在預(yù)測(cè)效益;而且現(xiàn)在的技術(shù)通常需要提供mri膠質(zhì)瘤分割區(qū)域作為訓(xùn)練數(shù)據(jù),mri分割膠質(zhì)瘤區(qū)域十分耗時(shí),限制了進(jìn)一步發(fā)展;此外,以往的方法只局限于只預(yù)測(cè)一種分子病理類(lèi)型,無(wú)法提供多種分子病理信息。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于多模態(tài)全腦mri的深度學(xué)習(xí)預(yù)測(cè)膠質(zhì)瘤多種分子病理的方法,以克服上述現(xiàn)有技術(shù)中的不足。
2、本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下:一種基于多模態(tài)全腦mri的深度學(xué)習(xí)預(yù)測(cè)膠質(zhì)瘤多種分子病理的方法,包括如下步驟:
3、步驟s01:輸入多模態(tài)全腦的mri成像數(shù)據(jù)和dt?i成像數(shù)據(jù);
4、步驟s02:從mri成像數(shù)據(jù)和dt?i成像數(shù)據(jù)中提取多維度、多切片的二維cnn塊;
5、步驟s03:對(duì)二維cnn塊進(jìn)行預(yù)處理;
6、步驟s04:對(duì)預(yù)處理后得到的多維度、多切片的圖像特征進(jìn)行解析,分別提取出軸面特征esag、冠狀面特征ecor以及矢狀面特征eax,根據(jù)esag、ecor和eax,計(jì)算出多平面多切片特征s;
7、步驟s05:對(duì)s進(jìn)行多平面多切片圖像標(biāo)記,添加帶分類(lèi)頭的變換器編碼塊,進(jìn)行idh突變、1p/19q共缺失和mgmt啟動(dòng)子甲基化多分子病理預(yù)測(cè)。
8、本發(fā)明的有益效果是:本發(fā)明通過(guò)將多模態(tài)全腦的mr?i成像數(shù)據(jù)和dt?i成像數(shù)據(jù)進(jìn)行綜合訓(xùn)練,從mri成像數(shù)據(jù)和dt?i成像數(shù)據(jù)中提取特征進(jìn)行訓(xùn)練,實(shí)現(xiàn)idh突變、1p/19q共缺失和mgmt啟動(dòng)子甲基化多分子病理預(yù)測(cè),且預(yù)測(cè)過(guò)程中考慮了dt?i成像數(shù)據(jù),及無(wú)需手動(dòng)標(biāo)記膠質(zhì)瘤區(qū)域的mri。
9、在上述技術(shù)方案的基礎(chǔ)上,本發(fā)明還可以做如下改進(jìn)。
10、進(jìn)一步,步驟s03中的提取多維度、多切片圖像特征由提取算子e計(jì)算得出,算子e的計(jì)算公式為:
11、r^c3d×l×w×h→r^c3d×n×w×h。
12、進(jìn)一步,步驟s04中的計(jì)算出多平面多切片特征s具體包括使用3d表示特征x的e=[ecor,esag,eax];計(jì)算得出的s=[scor,ssag,sax]。
13、進(jìn)一步,步驟s05中的帶分類(lèi)頭的變換器編碼塊包括:
14、非線性層non-l?i?near,其用于減小到原始圖像輸入的維數(shù);
15、多維度、多切面的嵌入層,其中多維度嵌入層,其用于保留位置信息;
16、多切面嵌入層,其用于提供一維標(biāo)記用于提供指示這些標(biāo)記屬于哪個(gè)平面;
17、多維度、多切面的編碼器,其用于將圖像中的位置信息嵌入到特征表示中,處理圖像中的位置變化和尺度變化;
18、多分類(lèi)的層結(jié)構(gòu),其用于同時(shí)預(yù)測(cè)idh突變、1p/19q共缺失和mgmt啟動(dòng)子甲基化多分子病理特征。
19、進(jìn)一步,多分類(lèi)的層結(jié)構(gòu)具體用于:
20、idh突變狀態(tài):野生型和突變型;
21、1p/19q缺失狀態(tài):缺失和無(wú)缺失;
22、mgmt甲基化狀態(tài):未甲基化和甲基化。
23、進(jìn)一步,mri成像數(shù)據(jù)的量化參數(shù)包括t1w、t1wc、t2w以及flai?r。
24、進(jìn)一步,dt?i成像數(shù)據(jù)的量化參數(shù)包括adc和fa。
25、進(jìn)一步,步驟s03中的預(yù)處理包括歸一化、去噪和增強(qiáng)。
1.一種基于多模態(tài)全腦mri的深度學(xué)習(xí)預(yù)測(cè)膠質(zhì)瘤多種分子病理的方法,其特征在于,包括如下步驟:
2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)全腦mri的深度學(xué)習(xí)預(yù)測(cè)膠質(zhì)瘤多種分子病理的方法,其特征在于,所述步驟s03中的所述提取多維度、多切片圖像特征由提取算子e計(jì)算得出,所述算子e的計(jì)算公式為:
3.根據(jù)權(quán)利要求2所述的一種基于多模態(tài)全腦mri的深度學(xué)習(xí)預(yù)測(cè)膠質(zhì)瘤多種分子病理的方法,其特征在于,所述步驟s04中的所述計(jì)算出多平面多切片特征s具體包括使用3d表示特征x的e=[ecor,esag,eax];計(jì)算得出的s=[scor,ssag,sax]。
4.根據(jù)權(quán)利要求1至3任一所述的一種基于多模態(tài)全腦mri的深度學(xué)習(xí)預(yù)測(cè)膠質(zhì)瘤多種分子病理的方法,其特征在于,所述步驟s05中的所述帶分類(lèi)頭的變換器編碼塊包括:
5.根據(jù)權(quán)利要求4所述的一種基于多模態(tài)全腦mri的深度學(xué)習(xí)預(yù)測(cè)膠質(zhì)瘤多種分子病理的方法,其特征在于,所述多分類(lèi)的層結(jié)構(gòu)具體用于:
6.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)全腦mri的深度學(xué)習(xí)預(yù)測(cè)膠質(zhì)瘤多種分子病理的方法,其特征在于,所述mri成像數(shù)據(jù)的量化參數(shù)包括t1w、t1wc、t2w以及flair。
7.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)全腦mri的深度學(xué)習(xí)預(yù)測(cè)膠質(zhì)瘤多種分子病理的方法,其特征在于,所述dti成像數(shù)據(jù)的量化參數(shù)包括adc和fa。
8.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)全腦mri的深度學(xué)習(xí)預(yù)測(cè)膠質(zhì)瘤多種分子病理的方法,其特征在于,所述步驟s03中的預(yù)處理包括歸一化、去噪和增強(qiáng)。