本發(fā)明屬于醫(yī)學(xué)圖像自動(dòng)識(shí)別，具體涉及一種基于生成對(duì)抗網(wǎng)絡(luò)的萎縮性胃炎自動(dòng)識(shí)別系統(tǒng)。

背景技術(shù)：

1、本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

2、胃癌通常由萎縮性胃炎發(fā)展而來，晚期萎縮性胃炎患者患胃癌概率較高，盡早發(fā)現(xiàn)和治療萎縮性胃炎，有助于預(yù)防胃癌的發(fā)生。然而內(nèi)窺鏡醫(yī)生水平差別較大，且人工診斷萎縮性胃炎所需時(shí)間精力較多，使用智能系統(tǒng)來自動(dòng)識(shí)別萎縮性胃炎，以輔助醫(yī)護(hù)人員進(jìn)行診斷是十分必要的。如今深度學(xué)習(xí)在醫(yī)學(xué)圖像分類和分割領(lǐng)域的應(yīng)用日益廣泛，利用深度學(xué)習(xí)可以實(shí)現(xiàn)對(duì)患者的自動(dòng)識(shí)別，減輕醫(yī)生負(fù)擔(dān)，幫助沒有經(jīng)驗(yàn)的醫(yī)生進(jìn)行更準(zhǔn)確的萎縮性胃炎的診斷。而現(xiàn)有技術(shù)并沒有完善的根據(jù)胃鏡圖像進(jìn)行萎縮性胃炎自動(dòng)識(shí)別的系統(tǒng)，來同時(shí)進(jìn)行萎縮性胃炎嚴(yán)重程度的自動(dòng)判斷和萎縮區(qū)域的自動(dòng)識(shí)別。

3、對(duì)于可以收集到的胃鏡數(shù)據(jù)集，非萎縮性胃炎數(shù)據(jù)往往多于萎縮性胃炎數(shù)據(jù)，并且不同部位患病概率不同以及胃鏡數(shù)據(jù)采集難度不同，各個(gè)部位的數(shù)據(jù)數(shù)量也相差較大，這就產(chǎn)生了數(shù)據(jù)不平衡問題。當(dāng)胃鏡數(shù)據(jù)集中正負(fù)樣本和不同部位之間的數(shù)據(jù)不平衡時(shí)，為了保證整個(gè)模型的預(yù)測(cè)結(jié)果盡可能準(zhǔn)確，模型的預(yù)測(cè)結(jié)果會(huì)向數(shù)據(jù)較多的類別傾斜，從而產(chǎn)生錯(cuò)誤的預(yù)測(cè)。

4、對(duì)數(shù)據(jù)較少的類進(jìn)行數(shù)據(jù)擴(kuò)充是一種解決數(shù)據(jù)不平衡的方法，但是萎縮性胃炎數(shù)據(jù)較少的類的收集難度較大，通過人工進(jìn)行數(shù)據(jù)擴(kuò)充需要醫(yī)生花費(fèi)大量人力和時(shí)間成本，可行性不高。

5、生成對(duì)抗網(wǎng)絡(luò)是計(jì)算機(jī)視覺領(lǐng)域的一種無監(jiān)督學(xué)習(xí)方法，可以用于生成所需的圖像。近年來，生成對(duì)抗網(wǎng)絡(luò)得到了各個(gè)領(lǐng)域的高度關(guān)注和廣泛應(yīng)用，在醫(yī)學(xué)領(lǐng)域已應(yīng)用于醫(yī)學(xué)圖像生成，醫(yī)學(xué)圖像增強(qiáng)等方向。但現(xiàn)有的技術(shù)對(duì)于不平衡萎縮性胃炎數(shù)據(jù)的擴(kuò)充只是使用簡(jiǎn)單的增強(qiáng)數(shù)據(jù)方法，如翻轉(zhuǎn)、旋轉(zhuǎn)、平移等，這些通過空間變換得到的圖像數(shù)據(jù)無法確保數(shù)據(jù)的可變性，無法有效解決數(shù)據(jù)不平衡問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為了解決上述問題，提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的萎縮性胃炎自動(dòng)識(shí)別系統(tǒng)，可以對(duì)胃鏡圖像進(jìn)行萎縮性胃炎的自動(dòng)識(shí)別，具有較高的準(zhǔn)確性，能夠較好的輔助醫(yī)生進(jìn)行診斷。

2、根據(jù)一些實(shí)施例，本發(fā)明采用如下技術(shù)方案：

3、一種基于生成對(duì)抗網(wǎng)絡(luò)的萎縮性胃炎自動(dòng)識(shí)別系統(tǒng)，包括：

4、數(shù)據(jù)獲取模塊，用于獲取所需部位的胃鏡圖像，并且標(biāo)注胃鏡圖像的部位、是否萎縮以及萎縮區(qū)域信息，得到胃鏡圖像數(shù)據(jù)集；

5、雙重采樣模塊，用于對(duì)胃鏡圖像數(shù)據(jù)集進(jìn)行預(yù)處理，以及基于生成對(duì)抗網(wǎng)絡(luò)的特征篩選雙重采樣，得到平衡的胃鏡圖像數(shù)據(jù)集；

6、模型訓(xùn)練模塊，用于利用平衡的胃鏡圖像數(shù)據(jù)集分別訓(xùn)練木村竹本分型模型和萎縮區(qū)域識(shí)別模型；

7、聯(lián)合識(shí)別模塊，用于利用木村竹本分型模型和萎縮區(qū)域識(shí)別模型分別對(duì)待測(cè)胃鏡圖像進(jìn)行處理，并且基于兩個(gè)模型的輸出，進(jìn)行聯(lián)合識(shí)別，確定胃鏡圖像中萎縮性胃炎的嚴(yán)重程度。

8、作為可選擇的實(shí)施方式，所需部位的胃鏡圖像包括胃竇、胃角、胃體小彎下部、胃體小彎中上部、賁門、胃底以及胃體大彎的胃鏡圖像。

9、作為可選擇的實(shí)施方式，所述雙重采樣模塊，包括預(yù)處理模塊，用于對(duì)胃鏡圖像數(shù)據(jù)集進(jìn)行預(yù)處理，去除胃鏡圖像數(shù)據(jù)集中模糊、散焦、光暈的圖像以及圖像中的文字、縮略圖、黑邊，并裁剪圖像至圖像主體部分。

10、作為可選擇的實(shí)施方式，所述雙重采樣模塊，包括判斷模塊，被配置為將閉合型和開放型萎縮性胃炎再細(xì)分為萎縮和非萎縮兩類，形成細(xì)分類別，設(shè)置閾值u，若細(xì)分類別中的圖像數(shù)量大于g×(1+u)，則該細(xì)分類別為需要欠采樣的類，對(duì)該細(xì)分類別中的圖像進(jìn)行分區(qū)欠采樣；若細(xì)分類別中的圖像數(shù)量小于g×(1-u)，則該細(xì)分類別為需要過采樣的類，對(duì)該細(xì)分類別中的圖像進(jìn)行基于生成對(duì)抗網(wǎng)絡(luò)的特征篩選過采樣；若細(xì)分類別中的圖像數(shù)量大于等于g×(1-u)且小于等于g×(1+u)，則不需要進(jìn)行欠采樣或過采樣操作，g為全部胃鏡圖像數(shù)量和n的比值，n為細(xì)分類別的總個(gè)數(shù)。

11、作為進(jìn)一步的實(shí)施方式，所述雙重采樣模塊，包括欠采樣模塊，被配置為：對(duì)需要欠采樣類中的每一張圖像使用網(wǎng)絡(luò)模型提取特征，得到特征向量；

12、計(jì)算每?jī)蓚€(gè)特征向量之間的歐式距離，對(duì)每一個(gè)特征向量，選取該特征向量與其他特征向量距離中最小的m個(gè)值；

13、將選出的m個(gè)距離值的倒數(shù)相加得到該圖像的得分，按照得分進(jìn)行排序，按照設(shè)定比例將圖像劃分為保留區(qū)和欠采樣區(qū)；

14、對(duì)欠采樣區(qū)的圖像進(jìn)行隨機(jī)欠采樣，欠采樣保留的圖像數(shù)量為g×(1-u)，將采樣保留的圖像與保留區(qū)圖像加入訓(xùn)練集。

15、作為進(jìn)一步的實(shí)施方式，所述雙重采樣模塊，包括過采樣模塊，被配置為：構(gòu)建生成器和鑒別器，所述生成器用于生成假樣本，鑒別器用于區(qū)分生成器生成的樣本和真實(shí)樣本；

16、訓(xùn)練生成器和鑒別器，訓(xùn)練過程中，將圖像先進(jìn)行調(diào)整和增強(qiáng)；

17、進(jìn)行特征篩選，對(duì)訓(xùn)練后的生成器和鑒別器生成的圖像和原始圖像，進(jìn)行特征提取，得到生成圖像的特征向量和原始圖像的特征向量，計(jì)算生成圖像的特征向量與每一張?jiān)紙D像的特征向量的距離，選取其中最小的n個(gè)距離值，將選取的n個(gè)距離值的倒數(shù)相加得到該圖像的得分，設(shè)置閾值h，如果該圖像的得分小于h，則該圖像不能夠作為訓(xùn)練使用的圖像，如果該圖像的得分大于等于h，將該圖像加入訓(xùn)練集；

18、重復(fù)上述特征篩選過程，直到訓(xùn)練集圖像數(shù)量大于等于g×(1-u)后停止。

19、作為可選擇的實(shí)施方式，所述木村竹本分型模型包括依次連接的特征提取層、圖像塊嵌入層、位置嵌入層、編碼器和多層感知機(jī)，所述特征提取層用于對(duì)調(diào)整大小后的平衡的胃鏡圖像數(shù)據(jù)集圖像進(jìn)行特征提取，所述圖像塊嵌入層接收特征提取結(jié)果，并對(duì)其進(jìn)行卷積和展平處理，所述位置嵌入層用于將圖像塊嵌入層的輸出和與類別標(biāo)記合并后加上位置嵌入，所述編碼器用于對(duì)經(jīng)過丟棄操作后的位置嵌入層的輸出進(jìn)行標(biāo)準(zhǔn)化處理，提取類別標(biāo)記，所述多層感知機(jī)用于根據(jù)提取的結(jié)果，進(jìn)行預(yù)測(cè)。

20、作為可選擇的實(shí)施方式，在訓(xùn)練所述木村竹本分型模型時(shí)，將每一張標(biāo)注為萎縮但是預(yù)測(cè)為非萎縮的圖像劃分為多個(gè)網(wǎng)格的小塊圖像，隨機(jī)打亂網(wǎng)格中圖像塊的順序，將打亂后的圖像加入原訓(xùn)練集中，再次訓(xùn)練木村竹本分型模型。

21、作為可選擇的實(shí)施方式，所述萎縮區(qū)域識(shí)別模型包括依次連接的多個(gè)大小不同的transformer層，每個(gè)transformer層包含高效自注意力層、混合全連接前饋網(wǎng)絡(luò)層和重疊圖像塊合并層，將得到的多個(gè)多尺度特征輸入到多層感知機(jī)層，得到預(yù)測(cè)輸出；

22、訓(xùn)練萎縮區(qū)域識(shí)別模型時(shí)，將每一張標(biāo)注為萎縮但是預(yù)測(cè)萎縮面積小于設(shè)定值的圖像及其掩膜圖像劃分為多網(wǎng)格的小塊圖像，隨機(jī)打亂網(wǎng)格中圖像塊的順序，將打亂后的圖像加入原訓(xùn)練集中，再次訓(xùn)練萎縮區(qū)域識(shí)別模型。

23、作為可選擇的實(shí)施方式，所述聯(lián)合識(shí)別模塊，用于將待測(cè)胃鏡圖像輸入木村竹本分型模型得到圖像級(jí)別分型預(yù)測(cè)結(jié)果，將待測(cè)胃鏡圖像輸入萎縮區(qū)域識(shí)別模型得到像素級(jí)別萎縮區(qū)域以及萎縮區(qū)域面積；

24、當(dāng)木村竹本分型模型輸出結(jié)果為非萎縮，且萎縮區(qū)域識(shí)別模型輸出萎縮區(qū)域面積小于設(shè)定值時(shí)，判斷為無萎縮性胃炎；當(dāng)木村竹本分型模型輸出結(jié)果為萎縮，或萎縮區(qū)域識(shí)別模型輸出萎縮區(qū)域面積大于設(shè)定值時(shí)，判斷為患有萎縮性胃炎；

25、若判斷為患有萎縮性胃炎，通過木村竹本分型模型的輸出結(jié)果判斷萎縮性胃炎的嚴(yán)重程度。

26、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

27、本發(fā)明可以對(duì)胃鏡圖像進(jìn)行萎縮性胃炎的自動(dòng)識(shí)別，以輔助醫(yī)生判斷萎縮性胃炎的嚴(yán)重程度，提高了識(shí)別的準(zhǔn)確性和穩(wěn)定性，大大降低了醫(yī)生診斷所需的人力和時(shí)間成本。

28、針對(duì)萎縮性胃炎數(shù)據(jù)集的特點(diǎn)，本發(fā)明同時(shí)使用基于生成對(duì)抗網(wǎng)絡(luò)的特征篩選過采樣和分區(qū)欠采樣的方法，解決了之前難以解決的數(shù)據(jù)不平衡的問題，增加數(shù)據(jù)量較少類別的數(shù)據(jù)所占比例，有效提高了模型預(yù)測(cè)的準(zhǔn)確性，穩(wěn)定性和魯棒性。

29、本發(fā)明針對(duì)收集和標(biāo)注的每一個(gè)數(shù)據(jù)都十分珍貴，為避免浪費(fèi)欠采樣過程中丟失的有效信息，使用分區(qū)欠采樣，保留了更多的有效信息，并且設(shè)置了判斷機(jī)制決定此類數(shù)據(jù)采取過采樣還是欠采樣。

30、本發(fā)明針對(duì)數(shù)據(jù)量較少的類別的收集難度更大的問題，使用過采樣方法自動(dòng)生成數(shù)據(jù)可以大大降低專業(yè)醫(yī)生收集數(shù)據(jù)的人力和時(shí)間成本；并且在過采樣方法中加入特征篩選器，保證了訓(xùn)練集圖像對(duì)于訓(xùn)練的有效性。

31、本發(fā)明在木村竹本分型模型和萎縮區(qū)域識(shí)別模型中加入了防止誤預(yù)測(cè)為非萎縮的機(jī)制，不僅強(qiáng)化了模型對(duì)于預(yù)測(cè)錯(cuò)誤的樣本的學(xué)習(xí)，還有效降低了漏診率，且使用聯(lián)合識(shí)別模塊進(jìn)行輔助識(shí)別，識(shí)別的依據(jù)一方面來自木村竹本分型，一方面來自模型預(yù)測(cè)的萎縮區(qū)域，識(shí)別結(jié)果更加全面，也進(jìn)一步降低了漏診率，提高了模型的穩(wěn)定性。

32、為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說明如下。