本發(fā)明涉及醫(yī)療圖像處理領(lǐng)域，特別涉及基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法。

背景技術(shù)：

1、目前常用的基于cad技術(shù)的傳統(tǒng)機(jī)器學(xué)習(xí)方法在醫(yī)療圖像處理方面不僅計(jì)算復(fù)雜、耗時(shí)而且易受噪聲影響；傳統(tǒng)模型只能處理標(biāo)準(zhǔn)ct影像，患者提供的非標(biāo)準(zhǔn)化圖像難以識(shí)別肺區(qū)和病灶，影響了最終診斷精度；由于深度學(xué)習(xí)模型越來(lái)越復(fù)雜，其訓(xùn)練難度大大提升，這對(duì)計(jì)算資源也提出較高要求，模型落地比較困難；不同惡性程度肺結(jié)節(jié)尺寸差距數(shù)十倍，傳統(tǒng)診斷網(wǎng)絡(luò)難以同時(shí)滿(mǎn)足不同尺寸肺結(jié)節(jié)的檢測(cè)。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述狀況，本發(fā)明的主要目的是為了提出基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，以解決上述技術(shù)問(wèn)題。

2、本發(fā)明提出基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，所述方法包括如下步驟：

3、步驟1、將rgb圖像轉(zhuǎn)換為灰度圖像，再將灰度圖像進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化后的灰度圖像；從標(biāo)準(zhǔn)化后的灰度圖像中選取中間區(qū)域，通過(guò)計(jì)算得到中間區(qū)域均值，通過(guò)k均值聚類(lèi)算法（k-maeans聚類(lèi)算法）將中間區(qū)域均值中的像素值分為兩類(lèi)，基于兩類(lèi)像素值的中心點(diǎn)得到分割閾值；基于分割閾值將標(biāo)準(zhǔn)化后的灰度圖像轉(zhuǎn)換成二值圖像；

4、步驟2、對(duì)二值圖像進(jìn)行腐蝕操作，得到腐蝕后的二值圖像；對(duì)腐蝕后的二值圖像進(jìn)行膨脹操作，得到膨脹后的二值圖像；

5、利用標(biāo)記連通區(qū)域函數(shù)（medasure.label）標(biāo)記膨脹后的二值圖像中的連通區(qū)域，得到標(biāo)記區(qū)域，再使用求唯一值函數(shù)（np.unique）捕獲所有標(biāo)記區(qū)域，得到捕獲區(qū)域；

6、遍歷所有捕獲區(qū)域，根據(jù)邊界框大小和位置篩選出符合條件的區(qū)域，并將符合條件的區(qū)域所對(duì)應(yīng)的標(biāo)簽添加到列表中；遍歷列表中所有的標(biāo)簽，利用全零的掩碼圖像通過(guò)迭代生成肺部掩碼圖像，隨后將肺部掩碼圖像轉(zhuǎn)換為uint8類(lèi)型并再次進(jìn)行膨脹操作，得到膨脹后的肺部掩碼圖像；

7、步驟3、對(duì)二值圖像中的像素點(diǎn)進(jìn)行分配并標(biāo)記，得到標(biāo)記后的像素點(diǎn)；計(jì)算并得到二值圖像中每個(gè)連通區(qū)域的像素和，基于所有連通區(qū)域的像素和，進(jìn)行取最大值處理，得到最大連通區(qū)域的像素和；對(duì)最大連通區(qū)域的像素和進(jìn)行篩選，得到大于最大連通區(qū)域像素和一半的連通區(qū)域索引列表；基于標(biāo)記后的像素點(diǎn)和連通區(qū)域索引列表，生成最大連通區(qū)域的掩膜；

8、基于膨脹后的肺部掩碼圖像和最大連通區(qū)域的掩膜得到經(jīng)過(guò)肺實(shí)質(zhì)分割部分處理后的肺實(shí)質(zhì)圖像；

9、集合經(jīng)過(guò)肺實(shí)質(zhì)分割部分處理后的肺實(shí)質(zhì)圖像和原圖像標(biāo)簽生成訓(xùn)練數(shù)據(jù)集，并利用訓(xùn)練數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練；

10、步驟4、將經(jīng)過(guò)肺實(shí)質(zhì)分割部分處理后的肺實(shí)質(zhì)圖像經(jīng)過(guò)標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化后的圖像；

11、將標(biāo)準(zhǔn)化后的圖像輸入改進(jìn)的殘差移動(dòng)模塊（irmb模塊），經(jīng)過(guò)殘差連接和深度卷積操作，得到增強(qiáng)特征圖；利用多頭自注意力機(jī)制對(duì)增強(qiáng)特征圖進(jìn)行處理，得到通過(guò)多頭自注意力機(jī)制處理的增強(qiáng)特征圖；

12、利用組卷積模塊（gsconv模塊）和多尺度組卷積池化模塊（msgscp模塊）對(duì)標(biāo)準(zhǔn)化后的圖像進(jìn)行處理，將處理結(jié)果通過(guò)高效瓶頸模塊進(jìn)行跳躍連接，得到連接后的輸出特征圖；

13、利用快速空間金字塔池化模塊（sppf模塊）對(duì)標(biāo)準(zhǔn)化后的圖像進(jìn)行處理，得到經(jīng)過(guò)快速空間金字塔池化操作后的特征圖；

14、步驟5、將通過(guò)多頭自注意力機(jī)制處理的增強(qiáng)特征圖、連接后的輸出特征圖和經(jīng)過(guò)快速空間金字塔池化操作后的特征圖輸入高效檢測(cè)頭，通過(guò)多尺度卷積和dfl機(jī)制得到邊界框坐標(biāo)；

15、通過(guò)邊界框坐標(biāo)對(duì)目標(biāo)進(jìn)行預(yù)測(cè)和跟蹤。

16、與現(xiàn)有技術(shù)相比，本發(fā)明有益效果如下：

17、1、本發(fā)明在網(wǎng)絡(luò)中構(gòu)建了基于形態(tài)學(xué)處理的肺實(shí)質(zhì)分割模塊，并且在輸入檢測(cè)網(wǎng)絡(luò)時(shí)進(jìn)行自動(dòng)尺寸標(biāo)準(zhǔn)化,對(duì)于患者提供的非標(biāo)準(zhǔn)數(shù)據(jù)可以更有效檢測(cè)，打破了醫(yī)療的時(shí)空界限；

18、2、本發(fā)明通過(guò)改進(jìn)的輕量化的網(wǎng)絡(luò)設(shè)計(jì)和優(yōu)化的損失函數(shù)減少了計(jì)算量，提升檢測(cè)效果，確保輕量化網(wǎng)絡(luò)在移動(dòng)端可以流暢實(shí)現(xiàn)功能；

19、3、本發(fā)明采用基于lu-rads分類(lèi)方法的對(duì)肺結(jié)節(jié)惡性程度的五級(jí)分類(lèi)標(biāo)準(zhǔn)，增強(qiáng)了可解釋性，滿(mǎn)足醫(yī)生對(duì)更豐富、解釋性更好的診斷內(nèi)容的需求，如病灶定位、診斷報(bào)告自動(dòng)生成等，滿(mǎn)足患者需要更清晰易懂的診斷結(jié)果的需求；

20、4、本發(fā)明在對(duì)肺結(jié)節(jié)以多尺度特征提取和融合為核心，通過(guò)對(duì)不同大小目標(biāo)的特征進(jìn)行充分的整合與處理，提升檢測(cè)精度和效率。

21、本發(fā)明的附加方面與優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)施例了解到。

技術(shù)特征：

1.基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，其特征在于，所述方法包括如下步驟：

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，其特征在于，在所述步驟1中，將rgb圖像轉(zhuǎn)換為灰度圖像，再將灰度圖像進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化后的灰度圖像；從標(biāo)準(zhǔn)化后的灰度圖像中選取中間區(qū)域，通過(guò)計(jì)算得到中間區(qū)域均值，通過(guò)k均值聚類(lèi)算法將中間區(qū)域均值中的像素值分為兩類(lèi)，基于兩類(lèi)像素值的中心點(diǎn)得到分割閾值；基于分割閾值將標(biāo)準(zhǔn)化后的灰度圖像轉(zhuǎn)換成二值圖像，具體步驟如下：

3.根據(jù)權(quán)利要求2所述的基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，其特征在于，在所述步驟2中，對(duì)二值圖像進(jìn)行腐蝕操作，得到腐蝕后的二值圖像；對(duì)腐蝕后的二值圖像進(jìn)行膨脹操作，得到膨脹后的二值圖像，具體步驟如下：

4.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，其特征在于，在所述步驟2中，遍歷所有捕獲區(qū)域，根據(jù)邊界框大小和位置篩選出符合條件的區(qū)域，并將符合條件的區(qū)域所對(duì)應(yīng)的標(biāo)簽添加到列表中；遍歷列表中所有的標(biāo)簽，利用全零的掩碼圖像通過(guò)迭代生成肺部掩碼圖像，隨后將肺部掩碼圖像轉(zhuǎn)換為uint8類(lèi)型并再次進(jìn)行膨脹操作，得到膨脹后的肺部掩碼圖像，具體步驟如下：

5.根據(jù)權(quán)利要求4所述的基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，其特征在于，所述步驟3中，對(duì)二值圖像中的像素點(diǎn)進(jìn)行分配并標(biāo)記，得到標(biāo)記后的像素點(diǎn)；計(jì)算并得到二值圖像中每個(gè)連通區(qū)域的像素和，基于所有連通區(qū)域的像素和，進(jìn)行取最大值處理，得到最大連通區(qū)域的像素和；對(duì)最大連通區(qū)域的像素和進(jìn)行篩選，得到大于最大連通區(qū)域像素和一半的連通區(qū)域索引列表；基于標(biāo)記后的像素點(diǎn)和連通區(qū)域索引列表，生成最大連通區(qū)域的掩膜，具體步驟如下：

6.根據(jù)權(quán)利要求5所述的基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，其特征在于，在所述步驟4中，將經(jīng)過(guò)肺實(shí)質(zhì)分割部分處理后的肺實(shí)質(zhì)圖像經(jīng)過(guò)標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化后的圖像，對(duì)應(yīng)過(guò)程存在的關(guān)系式為：

7.根據(jù)權(quán)利要求6所述的基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，其特征在于，在所述步驟4中，將標(biāo)準(zhǔn)化后的圖像輸入改進(jìn)的殘差移動(dòng)模塊，經(jīng)過(guò)殘差連接和深度卷積操作，得到增強(qiáng)特征圖；利用多頭自注意力機(jī)制對(duì)增強(qiáng)特征圖進(jìn)行處理，得到通過(guò)多頭自注意力機(jī)制處理的增強(qiáng)特征圖，其中，殘差連接的表達(dá)式為：

8.根據(jù)權(quán)利要求7所述的基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，其特征在于，在所述步驟4中，利用組卷積模塊和多尺度組卷積池化模塊對(duì)標(biāo)準(zhǔn)化后的圖像進(jìn)行處理，將處理結(jié)果通過(guò)高效瓶頸模塊進(jìn)行跳躍連接，得到連接后的輸出特征圖，其中，在組卷積模塊內(nèi)包含了分組卷積操作和通道shuffle操作，分組卷積操作對(duì)應(yīng)的關(guān)系式為：

9.根據(jù)權(quán)利要求8所述的基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，其特征在于，在所述步驟4中，利用快速空間金字塔池化模塊對(duì)標(biāo)準(zhǔn)化后的圖像進(jìn)行處理，得到經(jīng)過(guò)快速空間金字塔池化操作后的特征圖，對(duì)應(yīng)過(guò)程存在的關(guān)系式為：

10.根據(jù)權(quán)利要求9所述的基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，其特征在于，在所述步驟5中，將通過(guò)多頭自注意力機(jī)制處理的增強(qiáng)特征圖、連接后的輸出特征圖和經(jīng)過(guò)快速空間金字塔池化操作后的特征圖輸入高效檢測(cè)頭，通過(guò)多尺度卷積和dfl機(jī)制得到邊界框坐標(biāo)，其中，多尺度卷積的計(jì)算關(guān)系式為：

技術(shù)總結(jié)
本發(fā)明提出基于深度學(xué)習(xí)的移動(dòng)端肺結(jié)節(jié)檢測(cè)與多級(jí)分類(lèi)方法，該方法包括：將圖像轉(zhuǎn)換成灰度圖像，基于將灰度圖像得到分割閾值，通過(guò)分割閾值得到二值圖像；通過(guò)二值圖像獲得膨脹后的掩碼圖像；基于二值圖像得到掩膜，基于掩膜和膨脹后的掩碼圖像得到經(jīng)過(guò)肺實(shí)質(zhì)分割部分處理后的肺實(shí)質(zhì)圖像；基于經(jīng)過(guò)肺實(shí)質(zhì)分割部分處理后的肺實(shí)質(zhì)圖像，得到通過(guò)多頭自注意力機(jī)制處理的增強(qiáng)特征圖、連接后的輸出特征圖和經(jīng)過(guò)快速空間金字塔池化操作后的特征圖；將三種特征圖輸入高效檢測(cè)頭，獲得結(jié)果并對(duì)目標(biāo)進(jìn)行預(yù)測(cè)和跟蹤。本發(fā)明在對(duì)肺結(jié)節(jié)以多尺度特征提取和融合為核心，通過(guò)對(duì)不同大小目標(biāo)的特征進(jìn)行充分的整合與處理，提升檢測(cè)精度和效率。

技術(shù)研發(fā)人員：張睿,李雄,張?jiān)姾?br/>受保護(hù)的技術(shù)使用者：華東交通大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9