1.一種基于人工智能的乳腺癌分級(jí)分析系統(tǒng),其特征在于,包括超聲圖像模塊、鉬靶圖像模塊及臨床信息模塊;其中:
2.根據(jù)權(quán)利要求1所述的基于人工智能的乳腺癌分級(jí)分析系統(tǒng),其特征在于,所述超聲圖像模塊和鉬靶圖像模塊中使用的神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)包括特征提取模塊和特征融合模塊。
3.根據(jù)權(quán)利要求2所述的基于人工智能的乳腺癌分級(jí)分析系統(tǒng),其特征在于,所述特征提取模塊包括:第一卷積神經(jīng)網(wǎng)絡(luò)、擠壓和激勵(lì)模塊、第二卷積神經(jīng)網(wǎng)絡(luò)、自注意力機(jī)制模塊、梯度加權(quán)的類(lèi)激活熱圖模塊;其中:
4.根據(jù)權(quán)利要求3所述的基于人工智能的乳腺癌分級(jí)分析系統(tǒng),其特征在于,所述第一卷積神經(jīng)網(wǎng)絡(luò)輸入同一模態(tài)下的兩個(gè)不同視角的圖像,分別為第一視角圖像和第二視角圖像;所述第一視角圖像和第二視角圖像分別為頭尾位乳腺鉬靶圖像和內(nèi)外側(cè)斜位乳腺鉬靶圖像中的一者及另一者,或?yàn)闄M切面乳腺超聲圖像和縱切面乳腺超聲圖像中的一者及另一者;并且,所述第一視角圖像和第二視角圖像共享權(quán)重。
5.根據(jù)權(quán)利要求1所述的基于人工智能的乳腺癌分級(jí)分析系統(tǒng),其特征在于,所述自注意力機(jī)制模塊計(jì)算輸入圖像中的每個(gè)位置與其他所有位置之間的相對(duì)重要性,對(duì)應(yīng)生成一組加權(quán)表示,并使用這些加權(quán)表示對(duì)輸入特征進(jìn)行加權(quán)求和,引入全局信息,以捕捉圖像中的物體之間的空間關(guān)系和上下文信息。
6.根據(jù)權(quán)利要求1所述的基于人工智能的乳腺癌分級(jí)分析系統(tǒng),其特征在于,所述自注意力機(jī)制模塊使用梯度加權(quán)的類(lèi)激活熱圖來(lái)繪制熱力圖。
7.根據(jù)權(quán)利要求6所述的基于人工智能的乳腺癌分級(jí)分析系統(tǒng),其特征在于,所述自注意力機(jī)制模塊使用梯度加權(quán)的類(lèi)激活熱圖來(lái)繪制熱力圖的方式包括:
8.根據(jù)權(quán)利要求1所述的基于人工智能的乳腺癌分級(jí)分析系統(tǒng),其特征在于,所述特征融合模塊包括模態(tài)注意模塊、全連接層模塊、可解釋性模塊;所述模態(tài)注意模塊的輸出分別連接所述全連接層模塊合可解釋性模塊。
9.根據(jù)權(quán)利要求8所述的基于人工智能的乳腺癌分級(jí)分析系統(tǒng),其特征在于,所述模態(tài)注意模塊用于對(duì)所述特征提取模塊輸出的多模態(tài)進(jìn)行注意力加權(quán)處理,并通過(guò)學(xué)習(xí)每個(gè)模態(tài)的相關(guān)性來(lái)提取它們之間的關(guān)聯(lián)關(guān)系。
10.根據(jù)權(quán)利要求9所述的基于人工智能的乳腺癌分級(jí)分析系統(tǒng),其特征在于,所述特征融合模塊在通過(guò)模態(tài)注意模塊進(jìn)行注意力賦權(quán)后,直接經(jīng)過(guò)全連接層模塊得到最終的分類(lèi)結(jié)果及概率,即直接輸出乳腺癌分級(jí)多分類(lèi)的預(yù)測(cè)概率值;或者,通過(guò)在通過(guò)模態(tài)注意模塊進(jìn)行注意力賦權(quán)后,使用可解釋性模塊從每個(gè)模態(tài)中學(xué)習(xí)原型并提煉得到對(duì)應(yīng)的可解釋特征;所述可解釋性模塊從每個(gè)模態(tài)中學(xué)習(xí)代表性的原型,在推理過(guò)程中進(jìn)行相似性比較以得到基于領(lǐng)域知識(shí)的可解釋特征。
11.一種基于人工智能的乳腺癌分級(jí)分析方法,其特征在于,包括:
12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,其特征在于,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求12所述基于人工智能的乳腺癌分級(jí)分析方法。
13.一種計(jì)算機(jī)設(shè)備,其特征在于,包括:處理器及存儲(chǔ)器;