本發(fā)明涉及計(jì)算機(jī)視覺與醫(yī)學(xué)圖像處理，具體是一種融合卷積神經(jīng)網(wǎng)絡(luò)和transformer的黑色素瘤分割方法。

背景技術(shù)：

1、在全球范圍內(nèi)，皮膚癌作為一種普遍存在的疾病，其種類繁多，涵蓋了諸如黑色素瘤、merkel細(xì)胞癌、皮膚原位癌以及脂溢性角化病等。在這些類型中，惡性黑色素瘤以其高度的侵襲性和致死性而顯得尤為嚴(yán)峻，每年不幸地奪去了大約55,500條寶貴的生命，凸顯了對(duì)其進(jìn)行深入研究、早期篩查及有效治療的重要性。據(jù)估計(jì)，僅在美國(guó)，到2023年將有97,610例黑色素瘤新發(fā)病例。一旦黑色素瘤增殖和擴(kuò)散，就會(huì)對(duì)生命造成威脅。在疾病的早期階段，通過及時(shí)的干預(yù)，如簡(jiǎn)單的外科手術(shù)，黑色素瘤的治療往往能夠取得顯著成效。在此背景下，計(jì)算機(jī)輔助診斷(cad)系統(tǒng)展現(xiàn)出了其不可估量的獨(dú)特價(jià)值。該系統(tǒng)能夠?yàn)獒t(yī)療專業(yè)人員提供更為精準(zhǔn)、高效的醫(yī)學(xué)圖像解讀，精準(zhǔn)描繪出病變區(qū)域的形態(tài)特征、尺寸范圍及空間位置，進(jìn)而可以為治療方案的制定與外科手術(shù)的實(shí)施提供有力支持。

2、近十年來，深度學(xué)習(xí)領(lǐng)域的迅猛進(jìn)步極大地推動(dòng)了卷積神經(jīng)網(wǎng)絡(luò)(cnn)技術(shù)的多樣化發(fā)展，催生出了一系列創(chuàng)新性的應(yīng)用策略與方法，并在醫(yī)學(xué)圖像處理方便，特別是對(duì)醫(yī)學(xué)圖像進(jìn)行分割中表現(xiàn)出了出色的性能。但也存在局限性，由于建立像素之間的遠(yuǎn)程依賴關(guān)系存在困難，直接影響了分割結(jié)果的精確度，使得其在臨床實(shí)踐中難以達(dá)到理想的診斷標(biāo)準(zhǔn)。

3、盡管已有多種算法成功應(yīng)用于腦組織、肺部及血管等醫(yī)學(xué)圖像的精準(zhǔn)分割，然而，在惡性黑色素瘤檢測(cè)這一特定領(lǐng)域，尚缺乏有效的針對(duì)性技術(shù)實(shí)現(xiàn)高效分割。鑒于此，開發(fā)一種專門針對(duì)黑色素瘤的高效分割方法，以輔助臨床精準(zhǔn)診斷，已成為當(dāng)前亟待解決的重要課題。

4、公開于該背景技術(shù)部分的信息僅僅旨在增加對(duì)本發(fā)明的總體背景的理解，而不應(yīng)當(dāng)被視為承認(rèn)或以任何形式暗示該信息，構(gòu)成已為本領(lǐng)域一般技術(shù)人員所公知的現(xiàn)有技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種一種融合卷積神經(jīng)網(wǎng)絡(luò)和transformer的黑色素瘤分割方法，從而填補(bǔ)臨床診斷中黑色素瘤分割的空白。

2、為實(shí)現(xiàn)上述目的，本發(fā)明公開了一種一種融合卷積神經(jīng)網(wǎng)絡(luò)和transformer的黑色素瘤分割方法，包括：

3、步驟1、獲取黑色素瘤的公共數(shù)據(jù)集；

4、步驟2、對(duì)公共數(shù)據(jù)集的訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)；

5、步驟3、整合卷積神經(jīng)網(wǎng)絡(luò)(cnn)的局部特征提取能力、transformer的全局依賴建模優(yōu)勢(shì)以及psp-net的空間金字塔池化特性，創(chuàng)新性地引入了svit-c編碼器，該編碼器通過局部特征引導(dǎo)全局特征以捕獲更高層次的語義關(guān)聯(lián)。局部特征通過設(shè)計(jì)提出的dbf?moudle與全局特征融合，采用多分支深度交叉特征關(guān)注結(jié)構(gòu)multi-branch?deep?cross-featureattention(mbcfa)作為解碼器并改進(jìn)傳統(tǒng)的跳轉(zhuǎn)連接，很好地利用編碼器產(chǎn)生的多尺度信息，處理不同大小和形狀的病變區(qū)域的變化，達(dá)到良好的分割性能，減少參數(shù)，加快網(wǎng)絡(luò)訓(xùn)練速度；

6、步驟4、訓(xùn)練模型，得到對(duì)應(yīng)權(quán)重；

7、步驟5、在測(cè)試集上測(cè)試訓(xùn)練模型的分割效果。

8、優(yōu)選地，上述技術(shù)方案中，步驟1獲取大規(guī)模皮膚鏡圖像數(shù)據(jù)集-isic數(shù)據(jù)集，該數(shù)據(jù)集包含2000張訓(xùn)練圖像，150張驗(yàn)證圖像和600張測(cè)試圖像，所有的圖像都有對(duì)應(yīng)的ground?truth。數(shù)據(jù)結(jié)構(gòu)通過精心設(shè)計(jì)，依據(jù)7:2:1的科學(xué)配比劃分為訓(xùn)練子集、驗(yàn)證子集與測(cè)試子集，以確保模型訓(xùn)練、性能驗(yàn)證及最終評(píng)估的全面性與準(zhǔn)確性。

9、優(yōu)選地，上述技術(shù)方案，步驟2對(duì)黑色素瘤數(shù)據(jù)集的訓(xùn)練集進(jìn)行兩次數(shù)據(jù)增強(qiáng)，包括隨機(jī)旋轉(zhuǎn)、隨機(jī)平移、亮度調(diào)整、噪聲注入、剪切、隨機(jī)裁剪和翻轉(zhuǎn)的七種數(shù)據(jù)增強(qiáng)方法。

10、優(yōu)選地，上述技術(shù)方案中，步驟3對(duì)svmb-net模型構(gòu)建包括：

11、設(shè)計(jì)了一種基于cnn和transformer的混合高效分層特征提取結(jié)構(gòu)super?vit-cnn(svit-c)，提出global?feature?recover模塊以過濾冗余語義關(guān)系獲取關(guān)鍵全局特征。該結(jié)構(gòu)的局部特征標(biāo)注模塊的工作流程如下：

12、li＝bn(f3×3(relu(bn(f3×3))))+f1×1(li-1)???(1)

13、其中，li-1為前一層局部特征提取模塊的輸入，f3×3表示核大小為3×3的常規(guī)卷積運(yùn)算f1×1則代表1x1的卷積核變換。

14、在此框架中，batchnorm(簡(jiǎn)稱bn)扮演著標(biāo)準(zhǔn)化層的作用，f3×3對(duì)應(yīng)于3x3的卷積核操作，而f1×1則代表1x1的卷積核變換，relu函數(shù)作為非線性激活機(jī)制被引入，li-1為前一層局部特征提取模塊的輸入。

15、為了實(shí)現(xiàn)連續(xù)的全局特征提取，我們采用窗口基自注意力模塊(w-msa)及其變種——移位窗口劃分自注意力模塊(sw-msa)。這兩個(gè)模塊通過串聯(lián)工作，可以高效地表示并增強(qiáng)全局特征的捕捉能力：

16、

17、其中，zl-1表示上一階段雙分支融合模塊輸出的特征圖，ti’和ti’分別表示基于w-msa和sw-msa的特征提取塊的輸出特征矩陣，ln為layernorm操作。

18、全局特征恢復(fù)模塊的計(jì)算可表示為:

19、

20、其中q、k和v分別代表查詢、鍵和值，它們是輸入矩陣的線性變換。dk是密鑰向量的維度。

21、設(shè)計(jì)了具有良好極化注意力的雙分支融合shi模塊dbf?module，整合了cnn的局部特征提取能力和vit的全局特征捕捉優(yōu)勢(shì)，對(duì)局部與全局融合的進(jìn)行極化濾波顯著提升模型對(duì)病理圖像分割的性能表現(xiàn)。dbf?module基于convolutional?block?attention?module(cbam)和position?attention?mechanism(pam)。

22、cbam模塊的處理流程如(3)所示:

23、

24、式中表示矩陣逐元素乘法，f3×3和f7×7分別表示核大小為3×3和7×7的常規(guī)卷積運(yùn)算。

25、編碼器中雙分支融合模塊的融合過程如下:

26、

27、式中fo為雙分支融合模塊的輸出，ti為全局特征提取模塊，li為局部特征提取模塊，f3×3表示核大小為3×3的常規(guī)卷積運(yùn)算。

28、在公式中，雙分支融合模塊的輸出被定義為fo，它融合了由前一層中的全局特征提取模塊(其輸出為ti)與局部特征提取模塊(其輸出為li)提供的信息，這一過程通過1×1卷積核(記為f1×1)實(shí)現(xiàn)。此外，引入了layer?normalization(ln)進(jìn)行層間規(guī)范化，以及silu作為激活函數(shù)以增強(qiáng)非線性表達(dá)能力。

29、我們提出了一種名為multi-branch?deep?cross-featureattention(mbcfa)的多分支深度交叉特征關(guān)注結(jié)構(gòu)作為解碼器核心，該結(jié)構(gòu)有效地整合了編碼器生成的多尺度特征信息，以靈活應(yīng)對(duì)病變區(qū)域在尺寸與形態(tài)上的多樣性變化，從而實(shí)現(xiàn)卓越的分割效果。此設(shè)計(jì)不僅縮減了模型參數(shù)，還顯著加速了網(wǎng)絡(luò)的訓(xùn)練進(jìn)程。

30、編碼器架構(gòu)由五個(gè)層級(jí)構(gòu)成，各層分別對(duì)應(yīng)不同的特征尺度，標(biāo)記為s1至s5。這些層級(jí)的特征尺寸依據(jù)輸入圖像的高度h和寬度w分別為h/2*h/2、h/4*h/4、h/8*h/8、h/16*h/16、h/32*h/32。其中，h表示輸入圖像的高度，w表示輸入圖像的寬度。然后將特征映射s1、s2、s3、s4和s5通過線性上采樣到與輸入圖像相同的大小，從而得到s1'、s2'、s3'、s4'和s5'。接下來，在通道維度上連接s2'、s3'、s4'和s5'，并將結(jié)果輸入1×1卷積以減少通道維度并增強(qiáng)通道間的信息交換。確保輸出具有與s2相同的通道數(shù)。

31、之后，該1×1卷積的輸出被送入mbcfa模塊，以進(jìn)一步挖掘跨尺度特征間的深度交互。為了充分利用s1'中蘊(yùn)含的豐富邊界信息，我們沿著通道維度將mbcfa的輸出與s1'進(jìn)行特征拼接。最終，這一組合特征通過另一對(duì)1×1卷積層進(jìn)行處理，以優(yōu)化特征表示，為后續(xù)任務(wù)提供強(qiáng)有力的支持。計(jì)算公式如(5):

32、

33、其中fup為上線性插值，mscfa為多分支深度交叉特征注意，sx分別為各層對(duì)應(yīng)不同的特征尺度。

34、交叉注意公式表示如下(6):

35、

36、其中c為多分支深度交叉特征注意輸入，ln為layernorm操作，代表并行的三個(gè)1×k卷積或者k×1卷積。cfa(·)為交叉特征注意力。上層分支的“查詢”、“關(guān)鍵”和“值”分別為q1、k1和v1，下層分支的“查詢”、“關(guān)鍵”和“值”分別為q2、k2和v2。

37、在優(yōu)化后的技術(shù)流程中，步驟4聚焦于訓(xùn)練階段的實(shí)施，該步驟特別針對(duì)經(jīng)過數(shù)據(jù)增強(qiáng)技術(shù)處理后的訓(xùn)練集進(jìn)行深入的模型訓(xùn)練過程，此過程旨在提煉并構(gòu)建出所提出方法的核心訓(xùn)練權(quán)重，這些權(quán)重是模型性能與精度的基石，增強(qiáng)模型面對(duì)多樣化輸入數(shù)據(jù)的適應(yīng)力與泛化能力。

38、優(yōu)選地，上述技術(shù)方案中，采取的策略是將測(cè)試集數(shù)據(jù)饋送至優(yōu)化完成的模型中，隨后執(zhí)行預(yù)測(cè)流程，從而精準(zhǔn)地生成測(cè)試結(jié)果。此外。還提供經(jīng)過細(xì)致分割處理的二值化預(yù)測(cè)圖像。這些圖像直觀而清晰地展示了模型對(duì)測(cè)試樣本的高效識(shí)別與精準(zhǔn)分割能力，極大地提升了結(jié)果的可視化表現(xiàn)與實(shí)用價(jià)值。

39、優(yōu)選地，上述技術(shù)方案中，步驟5中在測(cè)試集上測(cè)試訓(xùn)練模型的效果步驟包括，將測(cè)試集輸入到訓(xùn)練好的模型中，得到模型的測(cè)試結(jié)果，并且將置信度和iou設(shè)為0.25和0.45，模型輸出帶目標(biāo)預(yù)測(cè)框和置信度的圖片。

40、優(yōu)選地，上述技術(shù)方案中，步驟5、在獨(dú)立的測(cè)試集上實(shí)施詳盡的性能評(píng)估與魯棒性檢驗(yàn)步驟包括，將測(cè)試集輸入到訓(xùn)練好的模型中，得到模型的測(cè)試結(jié)果，并且將置信度和iou設(shè)為0.25和0.45，模型輸出圖片帶有目標(biāo)預(yù)測(cè)框和置信度。本發(fā)明相較于現(xiàn)代技術(shù)優(yōu)點(diǎn)如下：

41、(1)此模型通過集成先進(jìn)的數(shù)據(jù)增強(qiáng)策略，實(shí)現(xiàn)了訓(xùn)練樣本數(shù)量與多樣性的雙重?cái)U(kuò)充。數(shù)據(jù)增強(qiáng)技術(shù)有效模擬了實(shí)際應(yīng)用中可能遇到的各種數(shù)據(jù)變異情況，促使模型在復(fù)雜多變的輸入條件下仍能維持穩(wěn)定的性能表現(xiàn)，從而確保了黑色素瘤分割任務(wù)在復(fù)雜環(huán)境影響下的高精度與可靠性。

42、(2)發(fā)明公開了一種一種融合卷積神經(jīng)網(wǎng)絡(luò)和transformer的黑色素瘤分割方法，融合了卷積神經(jīng)網(wǎng)絡(luò)(cnn)，transformer和psp-net的設(shè)計(jì)特點(diǎn)，引入了一種局部特征指導(dǎo)全局特征獲取高級(jí)語義關(guān)系的編碼器svit-c。局部特征通過設(shè)計(jì)提出的dbf?moudle與全局特征融合，采用多分支深度交叉特征關(guān)注結(jié)構(gòu)multi-branch?deep?cross-featureattention(mbcfa)作為解碼器并改進(jìn)傳統(tǒng)的跳轉(zhuǎn)連接，很好地利用編碼器產(chǎn)生的多尺度信息，處理不同大小和形狀的病變區(qū)域的變化，達(dá)到良好的分割性能，減少參數(shù)，加快網(wǎng)絡(luò)訓(xùn)練速度。