本發(fā)明涉及計(jì)算機(jī)視覺(jué)中的圖像語(yǔ)義分割，更具體的說(shuō)是涉及基于細(xì)節(jié)引導(dǎo)與多尺度注意力的心臟磁共振圖像分割方法。

背景技術(shù)：

1、目前，作為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)基本任務(wù)，圖像語(yǔ)義分割旨在對(duì)給定圖像進(jìn)行像素級(jí)的語(yǔ)義分類，通過(guò)確定真實(shí)邊界信息來(lái)區(qū)分出有意義的事物，如單個(gè)目標(biāo)和感興趣的區(qū)域。圖像語(yǔ)義分割用于實(shí)現(xiàn)對(duì)給定圖像內(nèi)容的像素級(jí)理解與識(shí)別。由于語(yǔ)義相關(guān)的目標(biāo)通常呈現(xiàn)出相似的模式，因此需要深入理解圖像的結(jié)構(gòu)化信息以及每個(gè)目標(biāo)的語(yǔ)義。

2、醫(yī)學(xué)圖像分割任務(wù)代表了對(duì)目標(biāo)語(yǔ)義的理解，其目的是根據(jù)醫(yī)學(xué)圖像中的某種相似性特征自動(dòng)或半自動(dòng)地對(duì)醫(yī)學(xué)圖像中的像素進(jìn)行分類，并將圖像分割成不同的有意義的區(qū)域，進(jìn)而得到分割結(jié)果。在心臟磁共振圖像中往往存在邊界細(xì)節(jié)信息比較豐富的情況，這也導(dǎo)致邊界與周圍像素的區(qū)分度不高、難區(qū)分以及相對(duì)比較模糊，從而給心臟磁共振圖像分割帶來(lái)了極大的挑戰(zhàn)。因此，能夠有效利用細(xì)節(jié)信息的圖像分割方法對(duì)于心臟磁共振圖像的語(yǔ)義分割具有極其重要的實(shí)用價(jià)值。

3、近年來(lái)，在心臟磁共振圖像分割任務(wù)中，醫(yī)學(xué)影像技術(shù)與人工智能方法被不斷優(yōu)化與改進(jìn)，在許多主要的分割基準(zhǔn)上都取得了提升，超越了傳統(tǒng)方法，成為當(dāng)前的主流方法。其中，基于卷積神經(jīng)網(wǎng)絡(luò)的方法取得了顯著的提升。對(duì)于心臟磁共振圖像分割模型的訓(xùn)練階段，該類方法能夠關(guān)聯(lián)像素的上下文信息，在分割任務(wù)中取得了長(zhǎng)足的進(jìn)步。因此，設(shè)計(jì)一個(gè)具有強(qiáng)大的圖像特征提取和表示能力卷積神經(jīng)網(wǎng)絡(luò)，自動(dòng)學(xué)習(xí)提取深度卷積特征進(jìn)行圖像語(yǔ)義分割則尤為重要。

4、雖然近期一些有效的算法被陸續(xù)提出，但從當(dāng)前研究中可以發(fā)現(xiàn)，由于復(fù)雜目標(biāo)的分割的難點(diǎn)往往體現(xiàn)在微小區(qū)域，而上下文信息或空間分辨率對(duì)分割模型的學(xué)習(xí)能力有很大的影響，直接影響到其對(duì)復(fù)雜目標(biāo)的分割能力。因此，這些方法仍然存在以下問(wèn)題：目標(biāo)的形狀、邊界等細(xì)節(jié)信息尚未得到有效利用，能夠保留目標(biāo)詳細(xì)信息的空間分辨率特征未能得到有效保留與恢復(fù)。此外，分割模型需要更有效地理解并進(jìn)一步融合細(xì)節(jié)信息與上下文信息的特征。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，為克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于細(xì)節(jié)引導(dǎo)與多尺度注意力的心臟磁共振圖像分割方法，通過(guò)基于細(xì)節(jié)引導(dǎo)與多尺度注意力的語(yǔ)義分割模型，能夠有效利用目標(biāo)詳細(xì)信息和多尺度注意力特征，實(shí)現(xiàn)對(duì)心臟磁共振圖像語(yǔ)義分割。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、本發(fā)明提供基于細(xì)節(jié)引導(dǎo)與多尺度注意力的心臟磁共振圖像分割方法，包括：

4、構(gòu)建基于細(xì)節(jié)引導(dǎo)與多尺度注意力的語(yǔ)義分割模型，所述語(yǔ)義分割模型包括：具有細(xì)節(jié)引導(dǎo)模塊的多級(jí)特征編碼器、具有多尺度注意力單元的解碼器和空洞卷積金字塔池化模塊；

5、利用心臟磁共振圖像數(shù)據(jù)集對(duì)所述語(yǔ)義分割模型進(jìn)行訓(xùn)練；其中，心臟磁共振圖像及帶有的分割目標(biāo)真實(shí)邊界標(biāo)簽作為模型的輸入，所述心臟磁共振圖像中各目標(biāo)的分割掩模作為輸出；所述分割目標(biāo)包括：心臟收縮和舒張周期的心內(nèi)膜以及心外膜；

6、在訓(xùn)練過(guò)程中，針對(duì)輸入圖像中各類目標(biāo)，比較預(yù)測(cè)特征與真實(shí)標(biāo)簽，構(gòu)建多任務(wù)損失函數(shù)；所述損失函數(shù)包括細(xì)節(jié)損失和分割損失；

7、將經(jīng)過(guò)訓(xùn)練的基于細(xì)節(jié)引導(dǎo)與多尺度注意力的語(yǔ)義分割模型，應(yīng)用于待分割的心臟磁共振圖像，最終獲得語(yǔ)義分割結(jié)果。

8、進(jìn)一步地，所述細(xì)節(jié)引導(dǎo)模塊的多級(jí)特征編碼器，構(gòu)建密集連接的殘差塊作為編碼主體部分，利用細(xì)節(jié)引導(dǎo)模塊通過(guò)拉普拉斯金字塔處理真實(shí)邊界標(biāo)簽生成細(xì)節(jié)特征圖，并利用語(yǔ)義特征計(jì)算細(xì)節(jié)損失；

9、其中，利用細(xì)節(jié)引導(dǎo)模塊通過(guò)拉普拉斯金字塔處理真實(shí)標(biāo)簽生成細(xì)節(jié)特征圖，公式如下：

10、md＝conv1×1(l(y)s＝1||u(l(y)s＝2)||u(l(y)s＝4))

11、其中，md表示包含邊界細(xì)節(jié)信息的細(xì)節(jié)特征圖；y表示心臟磁共振圖像中各待分割目標(biāo)的真實(shí)邊界標(biāo)簽；l(y)表示y上的拉普拉斯卷積，s表示步幅；u(·)表示雙線性上采樣函數(shù)；||表示通道級(jí)聯(lián)；conv1×1表示級(jí)聯(lián)后執(zhí)行的歸一化1×1卷積層。

12、進(jìn)一步地，所述多尺度注意力單元的解碼器通過(guò)多尺度上采樣塊進(jìn)行特征融合；該上采樣塊融合低分辨率特征和跳躍連接的高分辨率特征，并結(jié)合空間注意力和通道注意力機(jī)制，在上采樣注意力塊的末尾引入輸入圖像的梯度信息。

13、進(jìn)一步地，所述空間注意力的處理過(guò)程包括：

14、在空間注意力路徑中，使用連續(xù)的1×1卷積層convv1×1將通道數(shù)減少到1，并應(yīng)用sigmoid函數(shù)σ來(lái)重新縮放特征，將每個(gè)通道注意力值映射到[0，1]區(qū)間：

15、s(x)＝xc·σ(conv1×1(conv1×1(x))

16、其中，s(x)表示空間注意力機(jī)制中的注意力權(quán)重，x表示該注意力路徑的輸入特征，xc表示組合特征圖中的所有通道；

17、所述通道注意力的處理過(guò)程包括：

18、在通道注意力路徑中，采用壓縮與激活模塊進(jìn)行通道權(quán)重自適應(yīng)；為輸入特征的每個(gè)通道生成一個(gè)位于[0，1]區(qū)間內(nèi)的縮放因子，并根據(jù)該因子對(duì)其進(jìn)行縮放以獲得輸出特征c(x)；

19、所述上采樣注意力塊的輸出為：

20、ua(x)＝(1+s(x))⊙?c(x)

21、其中⊙表示元素乘積。

22、進(jìn)一步地，所述空洞卷積金字塔池化模塊和每個(gè)上采樣注意力塊的輸出分別與編碼器中的跳躍連接進(jìn)行融合，以聚合編碼器的多級(jí)特征。

23、進(jìn)一步地，心臟磁共振圖像及帶有的分割目標(biāo)真實(shí)邊界標(biāo)簽作為模型的輸入，包括：

24、在訓(xùn)練階段，對(duì)輸入的心臟磁共振圖像進(jìn)行數(shù)據(jù)預(yù)處理與數(shù)據(jù)增強(qiáng)，再作為模型的輸入進(jìn)行訓(xùn)練；所述心臟磁共振圖像帶有分割目標(biāo)真實(shí)邊界標(biāo)簽。

25、進(jìn)一步地，所述多任務(wù)損失函數(shù)包括細(xì)節(jié)損失和分割損失所述總損失ltotal由以下公式給出；

26、ltotal＝ldetail+lseg

27、其中，所述細(xì)節(jié)損失ldetail采用二元交叉熵和dice損失聯(lián)合優(yōu)化，確保空間細(xì)節(jié)信息與細(xì)節(jié)真實(shí)邊界標(biāo)簽對(duì)齊；

28、所述分割損失lseg基于心臟磁共振圖像中各分割目標(biāo)的真實(shí)邊界標(biāo)簽和預(yù)測(cè)分割掩模之間的交叉熵?fù)p失與dice損失進(jìn)行計(jì)算。

29、進(jìn)一步地，所述細(xì)節(jié)損失ldetail公式如下：

30、

31、其中，分別是真實(shí)細(xì)節(jié)標(biāo)簽與預(yù)測(cè)細(xì)節(jié)特征圖；所有像素都在高度為h、寬度為w的域中；二元交叉熵和dice損失分別如下：

32、

33、其中，n表示高度為h、寬度為w的區(qū)域；i表示n的第i像素，di和分別表示第i像素的真實(shí)細(xì)節(jié)標(biāo)簽和預(yù)測(cè)細(xì)節(jié)，ε＝1表示平滑項(xiàng)。

34、進(jìn)一步地，所述分割損失，使用交叉熵和dice損失來(lái)聯(lián)合優(yōu)化學(xué)習(xí)：

35、lseg＝lce+ldice

36、

37、其中，y表示心臟磁共振圖像中各待分割目標(biāo)的真實(shí)邊界標(biāo)簽，表示模型預(yù)測(cè)的各待分割目標(biāo)的邊界；y與都在高度為h、寬度為w、通道為類別數(shù)k的域中，y∈{0，1}h×w×k，yik和分別表示針對(duì)類別k的第i個(gè)像素的真實(shí)邊界標(biāo)簽和的預(yù)測(cè)邊界，其中數(shù)值0表示背景，1表示邊界；eps＝1e-7用于保持分母的數(shù)值穩(wěn)定性。

38、經(jīng)由上述的技術(shù)方案可知，與現(xiàn)有技術(shù)相比，具有如下優(yōu)勢(shì)：

39、有效提取并進(jìn)一步融合能夠關(guān)聯(lián)像素的上下文信息以及能夠保留目標(biāo)形狀、邊界等細(xì)節(jié)信息的空間分辨率特征，實(shí)現(xiàn)對(duì)心臟磁共振圖像的語(yǔ)義分割。