本發(fā)明涉及圖像處理領(lǐng)域，更具體地，涉及早產(chǎn)兒視網(wǎng)膜病變癥狀的預(yù)測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、近年來(lái)，隨著醫(yī)療技術(shù)的進(jìn)步，早產(chǎn)兒的存活率不斷提高，但與此同時(shí)，視網(wǎng)膜病變的發(fā)病率也呈上升趨勢(shì)，因此對(duì)該疾病的早期預(yù)測(cè)和干預(yù)顯得尤為關(guān)鍵。隨著醫(yī)學(xué)影像學(xué)和人工智能技術(shù)的快速發(fā)展，為早產(chǎn)兒視網(wǎng)膜病變的預(yù)測(cè)提供了新的可能。通過(guò)高分辨率的眼底成像技術(shù)，可以清晰觀(guān)察到視網(wǎng)膜血管的結(jié)構(gòu)和變化，為病變的識(shí)別提供客觀(guān)依據(jù)。同時(shí)，基于深度學(xué)習(xí)等人工智能算法，可以對(duì)眼底圖像進(jìn)行自動(dòng)分析和處理，提取出與病變相關(guān)的特征信息，實(shí)現(xiàn)對(duì)病變的早期預(yù)測(cè)和診斷。然而當(dāng)前的方法主要依賴(lài)于視網(wǎng)膜圖像的單一信息，而未能將視網(wǎng)膜圖像與危險(xiǎn)因素相結(jié)合，存在明顯的局限。單純依靠視網(wǎng)膜圖像進(jìn)行預(yù)測(cè)，雖然可以捕捉到病變的視覺(jué)特征，但忽略了其他重要的危險(xiǎn)因素，如早產(chǎn)兒的出生體重、胎齡等，容易導(dǎo)致誤診或漏診的情況發(fā)生。

2、現(xiàn)有技術(shù)公開(kāi)一種基于注意力機(jī)制和深監(jiān)督策略的早產(chǎn)兒視網(wǎng)膜病變自動(dòng)分區(qū)識(shí)別方法。該方法首先對(duì)二維視網(wǎng)膜眼底彩照?qǐng)D像進(jìn)行預(yù)處理，包括雙線(xiàn)性插值下采樣并進(jìn)行減均值處理，同時(shí)進(jìn)行在線(xiàn)數(shù)據(jù)擴(kuò)增操作以增強(qiáng)數(shù)據(jù)的多樣性。然后，空間通道注意力模塊sacab采用se壓縮激勵(lì)模塊作為其通道注意力機(jī)制，通過(guò)學(xué)習(xí)自動(dòng)獲得每個(gè)通道的重要程度，精確定位病變位置，增強(qiáng)特征提取效果。然而該方法采用單張圖片忽略了患者眼球多角度的病理特征，導(dǎo)致診斷不全面。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于公開(kāi)預(yù)測(cè)效果更好的早產(chǎn)兒視網(wǎng)膜病變癥狀的預(yù)測(cè)方法及系統(tǒng)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供早產(chǎn)兒視網(wǎng)膜病變癥狀的預(yù)測(cè)方法，包括：

3、獲取多個(gè)角度視網(wǎng)膜圖像以及危險(xiǎn)因素信息；

4、將多個(gè)角度視網(wǎng)膜圖像進(jìn)行降噪去冗余處理，得到處理后多個(gè)角度視網(wǎng)膜圖像；

5、構(gòu)建特征提取網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)包括兩個(gè)部分，第一部分是三個(gè)由下采樣層、convnext層、自適應(yīng)三通道注意力層組成的模塊，第二部分是由下采樣層和特殊的convnext層組成的，特殊的convnext層插入了rsg機(jī)制；

6、將處理后多個(gè)角度視網(wǎng)膜圖像通過(guò)特征提取網(wǎng)絡(luò)提取特征，獲得多個(gè)角度特征；

7、將危險(xiǎn)因素信息通過(guò)堆疊自編碼器提取特征，得到危險(xiǎn)因素特征；

8、將多個(gè)角度特征進(jìn)行特征融合，得到融合特征；將融合特征和危險(xiǎn)因素特征進(jìn)行特征拼接，得到最終特征；

9、根據(jù)最終特征，得到預(yù)測(cè)結(jié)果。

10、進(jìn)一步地，將多個(gè)角度視網(wǎng)膜圖像進(jìn)行降噪去冗余處理，得到處理后多個(gè)角度視網(wǎng)膜圖像包括：

11、通過(guò)在多個(gè)角度視網(wǎng)膜圖像上滑動(dòng)一個(gè)窗口，對(duì)窗口內(nèi)的多個(gè)角度視網(wǎng)膜圖像的像素值進(jìn)行排序并取中值作為新值，對(duì)窗口內(nèi)的多個(gè)角度視網(wǎng)膜圖像進(jìn)行處理得到新像素值圖像；

12、再將新像素值圖像與多個(gè)角度視網(wǎng)膜圖像進(jìn)行融合，得到降噪后圖像；

13、將一個(gè)與眼球大小相近的圓形掩膜逐像素乘以降噪后圖像，使得掩膜值為0的像素點(diǎn)變?yōu)橹付ū尘吧?，而值?的像素點(diǎn)保留原值得到處理后多個(gè)角度視網(wǎng)膜圖像。

14、進(jìn)一步地，特征提取網(wǎng)絡(luò)包括兩個(gè)部分，第一部分是三個(gè)由下采樣層、convnext層、自適應(yīng)三通道注意力層組成的模塊，第二部分是由下采樣層和特殊的convnext層組成的，特殊的convnext層插入了rsg機(jī)制；

15、x′＝[atba(convnext?block×n(downsampling(x)))]×3

16、enconvnext(x)

17、＝convnext?block×2(rsg(convnext?block(downsampling(x′))))

18、其中，enconvnext為特征提取網(wǎng)絡(luò)，atba是自適應(yīng)三通道注意力，downsampling是下采樣操作。

19、進(jìn)一步地，自適應(yīng)三通道注意力層包括三條通道，具體為：

20、自適應(yīng)三通道注意力層在第一條通道自適應(yīng)地優(yōu)先處理包含當(dāng)前任務(wù)關(guān)鍵信息的通道，同時(shí)第二條通道自適應(yīng)地調(diào)整其空間焦點(diǎn)以捕獲關(guān)鍵信息；此外，為了捕獲視網(wǎng)膜特征圖的全局依賴(lài)特性，第三條通道的第一階段通過(guò)三個(gè)1×1卷積操作進(jìn)行特征映射，獲取一組豐富的中間特征；在第二階段，使用查詢(xún)和鍵計(jì)算注意力權(quán)重，并利用這些權(quán)重加權(quán)和聚合值，形成注意力聚合特征；

21、自適應(yīng)三通道注意力層用公式表達(dá)如下：

22、xatba＝sumw(ca(xcb),sa(xcb),selfattention(xcb))

23、其中，sumw(·)表示加權(quán)平均操作，xatba表示自適應(yīng)三通道注意力的輸出，而xcb代enconvnext網(wǎng)絡(luò)輸出。

24、進(jìn)一步地，rsg機(jī)制包括中心估計(jì)部分、對(duì)比部分和向量轉(zhuǎn)換部分；

25、中心估計(jì)部分用于估計(jì)每個(gè)類(lèi)中的一組中心，中心估計(jì)部分公式如下：

26、γ1＝f(a1ave(x1)+b1)

27、給定一個(gè)輸入樣本的特征圖xl,l是樣本的類(lèi)別標(biāo)簽；接著對(duì)輸入樣本的特征圖進(jìn)行全局平均池化，然后通過(guò)一組參數(shù)al和bl執(zhí)行線(xiàn)性變換；最后，使用softmax函數(shù)f計(jì)算輸出概率分布γl，這個(gè)分布用于將樣本分配給其所屬類(lèi)別中的最接近中心；

28、對(duì)比部分模塊用于確保特征位移在樣本生成過(guò)程中不包含任何頻繁類(lèi)相關(guān)信息；對(duì)比部分模塊的公式如下：

29、γ*＝f(a*ave(h(cat[x1,x2]))+b*)

30、其中，x1,x2是來(lái)自同一小批量的任意兩個(gè)輸入樣本的特征圖，cat(·)代表沿著通道維度進(jìn)行的級(jí)聯(lián)操作，h(·)為卷積層，γ*用于表示兩個(gè)樣本是否屬于同一類(lèi)別；

31、向量變換用于根據(jù)估計(jì)的中心計(jì)算每個(gè)頻繁類(lèi)樣本的特征位移，并將其用于生成稀有類(lèi)的新樣本；向量變換公式如下：

32、

33、其中，表示頻繁類(lèi)l中的一個(gè)樣本，是與相同大小的中心特征圖，相減之后得到xfd-freq表示頻繁類(lèi)樣本的特征位移；

34、新的稀有類(lèi)樣本的生成過(guò)程是：

35、

36、其中，是卷積操作，表示稀有類(lèi)l中的樣本，是該類(lèi)中新生成的樣本。

37、進(jìn)一步地，還包括

38、對(duì)rsg機(jī)制的參數(shù)通過(guò)樣本對(duì)比部分損失中心估計(jì)部分以及最大向量損失函數(shù)進(jìn)行優(yōu)化，帶樣本對(duì)比部分損失的中心估計(jì)的目的是更新每類(lèi)的中心，優(yōu)化對(duì)比部分和中心估計(jì)部分；最大化向量損失優(yōu)化了向量變換模塊的參數(shù)，并確保新生成的樣本能夠放大特征稀有類(lèi)空間，總體損失函數(shù)公式如下：

39、ltotal＝lcls+λ1lcesc+λ2lmv

40、其中l(wèi)total為總體損失函數(shù)，lcesc為樣本對(duì)比損失的中心估計(jì)函數(shù)，lmv為最大向量損失函數(shù)，λ1，λ1為參數(shù)，lcls為分類(lèi)損失函數(shù)，用于衡量對(duì)樣本進(jìn)行分類(lèi)時(shí)的準(zhǔn)確性，確保模型能夠正確區(qū)分不同類(lèi)別的樣本。

41、進(jìn)一步地，堆疊自編碼器，由多個(gè)自編碼器疊加而成，每層包含一個(gè)編碼器和一個(gè)解碼器；編碼器將輸入壓縮到低維空間，解碼器則重建原始輸入；通過(guò)逐層訓(xùn)練，提取深層特征，并通過(guò)自監(jiān)督學(xué)習(xí)在無(wú)標(biāo)簽數(shù)據(jù)上進(jìn)行特征提取和降維。

42、進(jìn)一步地，將多個(gè)角度特征進(jìn)行特征融合，得到融合特征包括：

43、

44、xresh＝resh?ape(avg(xecn))

45、xconv＝conv1×1(xecn)

46、其中，m(·)為融合權(quán)重，融合權(quán)重的范圍在0到1之間，xmmff為融合特征，xecn為多個(gè)角度特征,xresh為平均特征，xconv為多視圖圖像特征。

47、進(jìn)一步地，將融合特征和危險(xiǎn)因素特征進(jìn)行特征拼接，得到最終特征包括：

48、將融合特征進(jìn)行降維，降維為一維向量，得到融合一維向量；

49、將危險(xiǎn)因素特征進(jìn)行降維，降維為一維向量，得到危險(xiǎn)因素一維向量；

50、將融合一維向量和危險(xiǎn)因素一維向量進(jìn)行拼接，得到最終特征。

51、此外本發(fā)明還提供一種早產(chǎn)兒視網(wǎng)膜病變癥狀的預(yù)測(cè)系統(tǒng)，包括：

52、獲取模塊：獲取多個(gè)角度視網(wǎng)膜圖像以及危險(xiǎn)因素信息；

53、處理模塊：將多個(gè)角度視網(wǎng)膜圖像進(jìn)行降噪去冗余處理，得到處理后多個(gè)角度視網(wǎng)膜圖像；

54、網(wǎng)絡(luò)構(gòu)建模塊：構(gòu)建特征提取網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)包括兩個(gè)部分，第一部分是三個(gè)由下采樣層、convnext層、自適應(yīng)三通道注意力層組成的模塊，第二部分是由下采樣層和特殊的convnext層組成的，特殊的convnext層插入了rsg機(jī)制；

55、圖像特征提取模塊：將處理后多個(gè)角度視網(wǎng)膜圖像通過(guò)特征提取網(wǎng)絡(luò)提取特征，獲得多個(gè)角度特征；

56、危險(xiǎn)因素特征提取模塊：將危險(xiǎn)因素信息通過(guò)堆疊自編碼器提取特征，得到危險(xiǎn)因素特征；

57、特征融合拼接模塊：將多個(gè)角度特征進(jìn)行特征融合，得到融合特征；將融合特征和危險(xiǎn)因素特征進(jìn)行特征拼接，得到最終特征；

58、預(yù)測(cè)模塊：根據(jù)最終特征，得到預(yù)測(cè)結(jié)果。

59、與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：

60、本方法采用多張從不同角度拍攝的視網(wǎng)膜圖像，并通過(guò)自適應(yīng)三通道注意力通過(guò)整合三種通道注意力，加強(qiáng)了對(duì)視網(wǎng)膜圖像中關(guān)鍵特征的識(shí)別和分析，并且通過(guò)rsg機(jī)制彌補(bǔ)了樣本數(shù)量的不足，并且本方法通過(guò)將圖像中獲得的特征與危險(xiǎn)因素特征進(jìn)行拼接，考慮了危險(xiǎn)因素對(duì)早產(chǎn)兒視網(wǎng)膜病變的影響，從而提高了早產(chǎn)兒視網(wǎng)膜病變癥狀的智能預(yù)測(cè)效果。