本技術(shù)涉及智慧醫(yī)療，特別是涉及醫(yī)學(xué)影像分析、人工智能及計(jì)算機(jī)科學(xué)。

背景技術(shù)：

1、乳腺癌2020年正式超越肺癌成為全球第一大癌癥。而且中國(guó)乳腺癌的發(fā)病率增速位居世界第一，是全球平均增速的兩倍。早期發(fā)現(xiàn)和準(zhǔn)確診斷對(duì)于治療和預(yù)后都具有重要意義。乳腺鉬靶篩查屬于目前診斷乳腺方面疾病中最簡(jiǎn)單、最可靠的檢測(cè)手段，但是對(duì)致密性乳腺組織穿透力差，一般不建議對(duì)40歲以下、無明確乳腺癌高危因素或臨床體檢未發(fā)現(xiàn)異常的婦女進(jìn)行鉬靶檢查。

2、超聲成像作為一種無創(chuàng)、低劑量、無輻射的檢測(cè)技術(shù)，已經(jīng)成為乳腺癌早期篩查的重要補(bǔ)充手段，也是臨床診斷的常用工具。然而，由于乳腺組織的解剖結(jié)構(gòu)較為復(fù)雜，涉及到多個(gè)成像模態(tài)multimodal和多角度multiview，因此單一成像方法往往難以得出準(zhǔn)確的診斷結(jié)果。

3、因此，如何設(shè)計(jì)符合臨床乳腺檢查標(biāo)準(zhǔn)bi-rads?altas，利用多模態(tài)多角度超聲成像(b超、多普勒、彈性成像，橫縱正交切面)和標(biāo)準(zhǔn)視角鉬靶圖像數(shù)據(jù)(cc和mlo視角)，提高乳腺癌的分級(jí)診斷準(zhǔn)確率和可靠性，并進(jìn)一步指導(dǎo)臨床手術(shù)及治療方案一直是醫(yī)學(xué)影像領(lǐng)域的研究熱點(diǎn)。

4、傳統(tǒng)的乳腺癌診斷主要依賴于醫(yī)生的經(jīng)驗(yàn)和技能，但是這種方法存在著主觀性強(qiáng)、精度低等問題。常用的基于人工智能的乳腺癌診斷技術(shù)包括機(jī)器學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)。這些技術(shù)旨在提取乳腺癌圖像中的特征，并通過訓(xùn)練算法進(jìn)行分類和預(yù)測(cè)。然而，由于乳腺癌圖像特征復(fù)雜，且存在多種不同的病理類型和分子亞型，傳統(tǒng)的深度學(xué)習(xí)模型往往難以達(dá)到準(zhǔn)確的診斷結(jié)果。隨著計(jì)算機(jī)技術(shù)和人工智能的發(fā)展，越來越多的研究開始探索多模態(tài)信息融合對(duì)乳腺癌診斷的影響。在這個(gè)背景下，基于人工智能的乳腺癌診斷技術(shù)不斷得到完善和發(fā)展，成為了目前乳腺癌診斷領(lǐng)域的研究熱點(diǎn)之一。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本技術(shù)的目的在于提供基于人工智能的乳腺癌分級(jí)分析系統(tǒng)、方法、終端及介質(zhì)，用于解決傳統(tǒng)的深度學(xué)習(xí)模型往往難以達(dá)到準(zhǔn)確的診斷結(jié)果的技術(shù)問題。

2、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本技術(shù)的第一方面提供一種基于人工智能的乳腺癌分級(jí)分析系統(tǒng)，包括超聲圖像模塊、鉬靶圖像模塊及臨床信息模塊；其中：所述超聲圖像模塊和鉬靶圖像模塊混合共同使用形成第一結(jié)合模塊，且兩者分別基于各自的多視角圖像訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，以輸出乳腺癌分級(jí)多分類的預(yù)測(cè)概率值；所述臨床信息模塊與所述超聲圖像模塊及鉬靶圖像模塊中的任一者或兩者混合共同使用以形成第二結(jié)合模塊，并以所述超聲圖像模塊和鉬靶圖像模塊中最新更新的神經(jīng)網(wǎng)絡(luò)模型權(quán)重作為第二結(jié)合模塊的預(yù)訓(xùn)練模型權(quán)重。

3、于本技術(shù)的第一方面的一些實(shí)施例中，所述超聲圖像模塊和鉬靶圖像模塊中使用的神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)包括特征提取模塊和特征融合模塊。

4、于本技術(shù)的第一方面的一些實(shí)施例中，所述特征提取模塊包括：第一卷積神經(jīng)網(wǎng)絡(luò)、擠壓和激勵(lì)模塊、第二卷積神經(jīng)網(wǎng)絡(luò)、自注意力機(jī)制模塊、梯度加權(quán)的類激活熱圖模塊；其中：所述第一卷積神經(jīng)網(wǎng)絡(luò)輸入共享權(quán)重的第一視角圖像和第二視角圖像；所述第一卷積神經(jīng)網(wǎng)絡(luò)的輸出連接所述擠壓和激勵(lì)模塊的輸入；所述擠壓和激勵(lì)模塊的輸出連接第二卷積神經(jīng)網(wǎng)絡(luò)的輸入；所述第二卷積神經(jīng)網(wǎng)絡(luò)的輸出連接自注意力機(jī)制模塊的輸入；所述梯度加權(quán)的類激活熱圖模塊根據(jù)所述自注意力機(jī)制模塊的輸出結(jié)果繪制得到對(duì)應(yīng)的熱力圖并輸出。

5、于本技術(shù)的第一方面的一些實(shí)施例中，所述第一卷積神經(jīng)網(wǎng)絡(luò)輸入同一模態(tài)下的兩個(gè)不同視角的圖像，分別為第一視角圖像和第二視角圖像；所述第一視角圖像和第二視角圖像分別為頭尾位乳腺鉬靶圖像和內(nèi)外側(cè)斜位乳腺鉬靶圖像中的一者及另一者，或?yàn)闄M切面乳腺超聲圖像和縱切面乳腺超聲圖像中的一者及另一者；并且，所述第一視角圖像和第二視角圖像共享權(quán)重。

6、于本技術(shù)的第一方面的一些實(shí)施例中，所述自注意力機(jī)制模塊計(jì)算輸入圖像中的每個(gè)位置與其他所有位置之間的相對(duì)重要性，對(duì)應(yīng)生成一組加權(quán)表示，并使用這些加權(quán)表示對(duì)輸入特征進(jìn)行加權(quán)求和，引入全局信息，以捕捉圖像中的物體之間的空間關(guān)系和上下文信息。

7、于本技術(shù)的第一方面的一些實(shí)施例中，所述自注意力機(jī)制模塊使用梯度加權(quán)的類激活熱圖來繪制熱力圖。

8、于本技術(shù)的第一方面的一些實(shí)施例中，所述自注意力機(jī)制模塊使用梯度加權(quán)的類激活熱圖來繪制熱力圖的方式包括：

9、對(duì)于目標(biāo)分類類別y，對(duì)輸入圖像上的每個(gè)位置(i，j)生成對(duì)應(yīng)的權(quán)重以表示圖像位置(i，j)對(duì)類別y的重要性；權(quán)重的計(jì)算方式包括：

10、其中，k表示層數(shù)，y表示類別；ak表示全局平均池化后的特征；表示全局平均池化后特征圖ak中與目標(biāo)分類類別y相關(guān)的權(quán)重系數(shù)；表示特征圖ak在位置(i，j)對(duì)輸入圖像通道c的偏導(dǎo)數(shù)；

11、所述熱力圖通過將權(quán)重和原始特征圖相乘并進(jìn)行relu函數(shù)操作的方式得到：

12、其中，grad-cam(c)(i，j)表示熱力圖；表示圖像位置(i，j)的權(quán)重；表示在第k層中第y個(gè)類別對(duì)應(yīng)的特征圖在位置(i,j)的激活值。

13、于本技術(shù)的第一方面的一些實(shí)施例中，所述特征融合模塊包括模態(tài)注意模塊、全連接層模塊、可解釋性模塊；所述模態(tài)注意模塊的輸出分別連接所述全連接層模塊合可解釋性模塊。

14、于本技術(shù)的第一方面的一些實(shí)施例中，所述模態(tài)注意模塊用于對(duì)所述特征提取模塊輸出的多模態(tài)進(jìn)行注意力加權(quán)處理，并通過學(xué)習(xí)每個(gè)模態(tài)的相關(guān)性來提取它們之間的關(guān)聯(lián)關(guān)系。

15、于本技術(shù)的第一方面的一些實(shí)施例中，所述特征融合模塊在通過模態(tài)注意模塊進(jìn)行注意力賦權(quán)后，直接經(jīng)過全連接層模塊得到最終的分類結(jié)果及概率，即直接輸出乳腺癌分級(jí)多分類的預(yù)測(cè)概率值；或者，通過在通過模態(tài)注意模塊進(jìn)行注意力賦權(quán)后，使用可解釋性模塊從每個(gè)模態(tài)中學(xué)習(xí)原型并提煉得到對(duì)應(yīng)的可解釋特征；所述可解釋性模塊從每個(gè)模態(tài)中學(xué)習(xí)代表性的原型，在推理過程中進(jìn)行相似性比較以得到基于領(lǐng)域知識(shí)的可解釋特征。

16、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本技術(shù)的第二方面提供一種基于人工智能的乳腺癌分級(jí)分析方法，包括：使用超聲圖像模塊和鉬靶圖像模塊混合共同使用形成第一結(jié)合模塊，且兩者分別基于各自的多視角圖像訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，以輸出乳腺癌分級(jí)多分類的預(yù)測(cè)概率值；或者，使用臨床信息模塊與所述超聲圖像模塊及鉬靶圖像模塊中的任一者或兩者混合共同使用以形成第二結(jié)合模塊，并以所述超聲圖像模塊和鉬靶圖像模塊中最新更新的神經(jīng)網(wǎng)絡(luò)模型權(quán)重作為第二結(jié)合模塊的預(yù)訓(xùn)練模型權(quán)重。

17、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本技術(shù)的第三方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述基于人工智能的乳腺癌分級(jí)分析方法。

18、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本技術(shù)的第四方面提供一種計(jì)算機(jī)設(shè)備，包括：處理器及存儲(chǔ)器；所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器用于執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)程序，以使所述計(jì)算機(jī)設(shè)備執(zhí)行所述基于人工智能的乳腺癌分級(jí)分析方法。

19、如上所述，本技術(shù)的基于人工智能的乳腺癌分級(jí)分析系統(tǒng)、方法、終端及介質(zhì)，具有以下有益效果：

20、(1)泛化能力強(qiáng)：本發(fā)明的技術(shù)方案目前已在4個(gè)中心、5種以上不同機(jī)器上進(jìn)行前瞻性外部驗(yàn)證，ai系統(tǒng)可以對(duì)乳腺癌進(jìn)行更全面、準(zhǔn)確的分析，且對(duì)新增樣本也具有很強(qiáng)的適應(yīng)能力。

21、(2)模塊化、臨床適用性高：本發(fā)明采用了三種模塊的ai系統(tǒng)進(jìn)行專屬乳腺癌分級(jí)診斷模型的訓(xùn)練，同時(shí)結(jié)合超聲圖像、鉬靶圖像單獨(dú)使用或組合使用，不僅考慮到了病人個(gè)體差異的因素，也提供了多種不同診斷方式的選擇，提高了診斷精度和可靠性，從而更好地保障了準(zhǔn)確性和普適性。此外，即使在非組合使用的情況下，本發(fā)明的ai系統(tǒng)也可以對(duì)單獨(dú)的超聲圖像或者鉬靶圖像進(jìn)行分析，這樣即使某個(gè)影像缺失，ai系統(tǒng)也依然可以使用。

22、(3)準(zhǔn)確度高：本發(fā)明單獨(dú)超聲或鉬靶圖像模塊超越放射科醫(yī)生(即臨床影像bi-rads分級(jí)任務(wù))，結(jié)合使用可以實(shí)現(xiàn)越級(jí)作戰(zhàn)，達(dá)到活檢病理水平，為活檢方式與手術(shù)方案提供了強(qiáng)有力的支持。

23、(4)可解釋性高：本發(fā)明可以提供診斷依據(jù)給醫(yī)生(兩種方式，post-hoc的attention?map或heatmap，領(lǐng)域知識(shí)(domain?knowledge)的prototypes類型)，增強(qiáng)醫(yī)生的診斷自信心，以便更好地進(jìn)行輔助診斷。

24、(5)分級(jí)決策能力強(qiáng)：本發(fā)明既可以提供臨床bi-rads分級(jí)需求，也可以提供病理水平的判斷，指導(dǎo)臨床醫(yī)生選擇手術(shù)方案與治療方式。