本發(fā)明屬于生物醫(yī)學(xué)信息技術(shù)、人工智能，具體而言，涉及一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的食管鱗癌病理圖像的自動組織勾畫系統(tǒng)及勾畫方法。

背景技術(shù)：

1、食管癌是世界上常見的消化道惡性腫瘤之一，其病理類型主要包括食管鱗狀細(xì)胞癌(escc)和食管腺癌(eadc)，而我國食管癌患者中約九成為食管鱗狀細(xì)胞癌。早期食管鱗癌的治愈率超過90%，然而由于缺乏早期典型癥狀以及生物標(biāo)志物的確實，大多數(shù)診斷出食管鱗癌的患者都在t3-t4期，這導(dǎo)致患者的5年生存率僅為21%左右。目前，上消化道內(nèi)鏡檢查結(jié)合組織病理學(xué)是食管鱗癌診斷的金標(biāo)準(zhǔn)。對于難以發(fā)現(xiàn)的病變主要依靠色素內(nèi)鏡以及電子染色內(nèi)鏡發(fā)現(xiàn)，然后靶向活檢，通過組織病理學(xué)進(jìn)行診斷。

2、組織病理學(xué)檢查是從患者的機體器官或組織中提取病變標(biāo)本，通過制成病理切片，在顯微鏡下觀察其病理變化以及形態(tài)學(xué)改變，最終確定疾病類型以及嚴(yán)重程度。病理切片通常采用不同的染料物質(zhì)染以各種顏色，以顯現(xiàn)不同的病變信息，幫助醫(yī)生進(jìn)行疾病診斷。例如，對主動脈瘤中膜變性進(jìn)行診斷時，醫(yī)生常使用蘇木精-伊紅染色(hematoxylin-eosin，h&e)、阿米巴滋養(yǎng)體染色(alcian?blue?and?periodic?acid-schiff，ab-pas)、馬松三色(masson?trichrome)染色,平滑肌肌動蛋白(actin?,smooth?muscle，sma)染色和膠原纖維(van?gieson，vg)染色等五種染色相結(jié)合的方式進(jìn)行觀察和診斷。然而，在臨床診斷中，使用多種染色的病理圖像不僅增加了醫(yī)生的工作量，其過程費時費力，并且常常依賴醫(yī)生的臨床經(jīng)驗，具有主觀性強、精確度低、可重復(fù)性差等缺點。因此，設(shè)計和開發(fā)應(yīng)用于多種染色病理圖像的計算機輔助分析系統(tǒng)具有臨床意義和實用價值。

3、隨著計算機運算速度的不斷提升和算法設(shè)計的日臻完善，人工智能尤其是深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)輔助診斷和臨床決策中的應(yīng)用日趨成熟?；谏疃葘W(xué)習(xí)的計算機輔助分析系統(tǒng)，能夠有效地處理大規(guī)模高精度的病理圖像，幫助臨床醫(yī)師提高工作效率和診斷準(zhǔn)確率。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的食管鱗癌病理圖像的自動組織勾畫系統(tǒng)及勾畫方法。該方法采用深度學(xué)習(xí)技術(shù)，構(gòu)建多種染色病理圖像的組織自動勾畫網(wǎng)絡(luò)模型，實現(xiàn)多種染色病理圖像不同組織的自動勾畫方法。所述方法為臨床醫(yī)生提供輔助信息，提升人工判讀的效率和準(zhǔn)確率。

2、本發(fā)明的目的在于提供用于食管鱗癌病理圖像的組織勾畫的方法，基于食管鱗癌不同患者在h&e圖像上病理的特征，利用深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)對食管鱗癌病理圖像的自動勾畫。自動勾畫的結(jié)果可以有效地利用大樣本量的病理圖像數(shù)據(jù)，實現(xiàn)降低樣本數(shù)據(jù)之間的非主觀影響以及人為勾畫的主觀臆斷，提供直觀的可視化結(jié)果，為病理醫(yī)師的診斷以及制片質(zhì)量控制提供有效的輔助。最終實現(xiàn)減少病理醫(yī)師負(fù)擔(dān)并為后續(xù)的量化空間組織特征及臨床輔助決策提供了基礎(chǔ)。

3、本發(fā)明通過下述技術(shù)方案實現(xiàn)：一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的食管鱗癌病理圖像的自動組織勾畫方法，包括如下步驟：

4、獲取病理圖像，獲取手工勾畫結(jié)果：針對待分類的h&e圖像進(jìn)行數(shù)據(jù)采集和圖像標(biāo)注；

5、對采集的病理圖像和標(biāo)注結(jié)果進(jìn)行預(yù)處理，包括染色標(biāo)準(zhǔn)化，切割和顏色歸一化；

6、通過預(yù)處理后的標(biāo)注結(jié)果獲取訓(xùn)練圖像集合和獨立的驗證圖像集合，利用遷移學(xué)習(xí)和深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)構(gòu)建病理圖像的7種組織自動勾畫模型，對基于深度學(xué)習(xí)的病理圖像組織自動勾畫網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和驗證；

7、將預(yù)處理后的待診斷病理圖像輸入到目標(biāo)深度學(xué)習(xí)模型中，獲得每塊切割區(qū)域的自動組織勾畫分類結(jié)果，并對組織自動勾畫分類結(jié)果賦予不同顏色進(jìn)行空間重構(gòu)，得到圖像的組織勾畫結(jié)果。

8、進(jìn)一步的，所述針對待分類的圖像進(jìn)行數(shù)據(jù)采集和圖像標(biāo)注的具體方法為：從信息系統(tǒng)中篩選出病灶位置的病理切片，用掃描儀器實現(xiàn)對病理切片的數(shù)字化，并對病理圖像上的共7種不同組織類型進(jìn)行手工注釋以及圖像勾畫標(biāo)注，其中7種不同組織類型為：結(jié)締組織con、鱗狀上皮epi、腺體gla、淋巴細(xì)胞lym、平滑肌mus、癌癥相關(guān)的基質(zhì)str和腫瘤tum；

9、手工注釋的組織區(qū)域在20倍放大率下被分割成了256×256像素（px）的非重疊圖像斑塊，從40張h&e玻片中創(chuàng)建了包含48,376個組織切片的訓(xùn)練集，從20張h&e玻片中創(chuàng)建了3996個組織切片的測試集；其中：腺體/鱗狀上皮面積>50%或腫瘤區(qū)域<10%的視為質(zhì)量差過濾掉。

10、進(jìn)一步的，對采集的病理圖像和標(biāo)注結(jié)果進(jìn)行預(yù)處理的方法為：使用高水平的放大率，將大的整張圖像轉(zhuǎn)換為相同格式的若干小圖像斑塊；

11、構(gòu)建病理圖像數(shù)據(jù)集：對采集的病理圖像和相應(yīng)的標(biāo)注進(jìn)行位置配準(zhǔn)，使其在相同的坐標(biāo)系下具有一致的空間關(guān)系；

12、對標(biāo)注配準(zhǔn)后的圖像的多種染色病理圖像執(zhí)行切割細(xì)分：切割細(xì)分使用openslide將隊列中的所有圖片在20倍的放大率下拼成不重疊的256×256像素（px）的圖像斑塊，然后進(jìn)行顏色標(biāo)準(zhǔn)化處理；剔除空白面比例>50%的斑塊；

13、基于macenko方法的顏色歸一化：將rgb圖像轉(zhuǎn)換為特定顏色空間；計算顏色空間中每個通道的百分位數(shù)，確定鮮艷區(qū)域的閾值；根據(jù)閾值對圖像進(jìn)行修正，將顏色范圍映射到標(biāo)準(zhǔn)范圍內(nèi)；

14、對切割細(xì)分并顏色歸一化后的多種染色病理圖像執(zhí)行數(shù)據(jù)增強操作：數(shù)據(jù)增強操作包括：隨機變換包括10°以內(nèi)的隨機旋轉(zhuǎn)以及水平和垂直翻轉(zhuǎn)。

15、所述通過預(yù)處理后的標(biāo)注結(jié)果獲取訓(xùn)練圖像集合和獨立的驗證圖像集合，所述訓(xùn)練集和測試集不同時包含來自同一患者的圖像塊；

16、對基于深度學(xué)習(xí)的病理圖像自動勾畫網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和驗證，采用了深度卷積神經(jīng)網(wǎng)絡(luò)resnet50模型，使用具有標(biāo)簽的病理圖像數(shù)據(jù)集對resnet50模型進(jìn)行監(jiān)督學(xué)習(xí)，將病理圖像輸入到模型中，模型根據(jù)學(xué)習(xí)到的權(quán)重和特征表示，自動進(jìn)行組織自動勾畫；訓(xùn)練過程使用反向傳播算法和優(yōu)化器進(jìn)行參數(shù)更新；

17、使用獨立驗證圖像集合對網(wǎng)絡(luò)模型訓(xùn)練效果進(jìn)行驗證：用獨立的測試數(shù)據(jù)集對訓(xùn)練好的模型進(jìn)行評估，將測試圖像輸入到模型中，計算模型的分類準(zhǔn)確性、召回率、精確度，評估其組織自動勾畫的性能和準(zhǔn)確性。

18、所述將預(yù)處理后的待診斷病理圖像輸入到目標(biāo)深度學(xué)習(xí)模型中，獲得每塊切割區(qū)域的自動勾畫結(jié)果，具體包括：使用訓(xùn)練完成的病理圖像自動勾畫網(wǎng)絡(luò)模型對經(jīng)過預(yù)處理后病理圖像切割小塊的組織自動分類，多個病理圖像組織成批次進(jìn)行處理；目標(biāo)深度學(xué)習(xí)模型將輸出自動組織分類的結(jié)果；

19、自動勾畫完成后，將每個圖像補丁的位置信息與模型輸出的自動組織分類結(jié)果進(jìn)行一一對應(yīng)；將所有圖像補丁重新組合成一個整體的圖像，從而得到組織勾畫的結(jié)果，使用不同的顏色來突出顯示各種組織類型；

20、其中：每個圖像補丁代表著原始病理圖像中的一個小區(qū)域，經(jīng)過自動勾畫網(wǎng)絡(luò)模型的處理和分類后，被賦予了特定的組織類型標(biāo)簽，通過將這些圖像補丁按照其位置信息重新組合，可以生成一個整體的圖像，其中不同組織類型的區(qū)域以不同的顏色進(jìn)行突出顯示。

21、本發(fā)明中，h&e圖像的收集后首先進(jìn)行標(biāo)注，多位有經(jīng)驗的病理學(xué)家按照相同標(biāo)準(zhǔn)對sxm-i隊列中的escc組織的60張h&e切片進(jìn)行手工注釋，圖像組織類型被分為八類：背景（back）、結(jié)締組織（con）、鱗狀上皮（epi）、腺體（gla）、淋巴細(xì)胞（lym）、平滑?。╩us）、癌癥相關(guān)的基質(zhì)（str）和腫瘤（tum）。

22、手工注釋的組織區(qū)域在20倍放大率下被分割成了256×256像素（px）的非重疊圖像斑塊，從40張h&e玻片中創(chuàng)建了包含48,376個組織切片的訓(xùn)練集，從20張h&e玻片中創(chuàng)建了3996個組織切片的測試集。

23、腺體/鱗狀上皮面積>50%或腫瘤區(qū)域<10%的h&e玻片將被視為質(zhì)量差并被過濾掉。病理學(xué)家將進(jìn)行審查，以進(jìn)一步選擇高質(zhì)量和相關(guān)的圖像進(jìn)行分析。

24、從組織學(xué)切片中得到的數(shù)字圖像通常是通過拼合許多小的高分辨率圖像拼合實現(xiàn)的多分辨率。使用高水平的放大率，如20倍，產(chǎn)生的圖像通常是巨大的，難以使用標(biāo)準(zhǔn)的圖像分析工具、圖形庫和深度神經(jīng)網(wǎng)絡(luò)讀取這些切片。

25、通過圖像細(xì)分可以將大的整張幻燈片圖像轉(zhuǎn)換為相同格式的若干小圖像斑塊，使用openslide（https://openslide.org/）將隊列中的所有h&e幻燈片在20倍的放大率下切分成不重疊的256×256像素（px）的圖像斑塊，然后使用macenko方法進(jìn)行顏色標(biāo)準(zhǔn)化處理。剔除空白面比例高（>50%）的斑塊。

26、基于前述手工注釋的組織區(qū)域獲取訓(xùn)練集，本發(fā)明還提供一種用于食管癌模型訓(xùn)練的圖像組織自動勾畫系統(tǒng)，其特征在于：該系統(tǒng)包括：

27、圖像增強，通過對訓(xùn)練數(shù)據(jù)集中的圖像進(jìn)行隨機變換生成新的樣本來擴大樣本量；

28、構(gòu)建基于深度學(xué)習(xí)的病理圖像組織自動勾畫網(wǎng)絡(luò)模型，進(jìn)行網(wǎng)絡(luò)訓(xùn)練；

29、對基于深度學(xué)習(xí)的病理圖像組織自動勾畫網(wǎng)絡(luò)模型進(jìn)行驗證。

30、其中，圖像增強操作包括：將多種染色病理圖像斑塊進(jìn)行10度以內(nèi)的隨機旋轉(zhuǎn)以及水平和垂直翻轉(zhuǎn)，并結(jié)合隨機裁剪，產(chǎn)生五倍的圖像樣本，實現(xiàn)對所述多種染色病理圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴充的目的。訓(xùn)練樣本多樣性的增加可以降低過擬合的風(fēng)險，提高模型的穩(wěn)健性和泛化能力。

31、為了避免分類偏差，應(yīng)當(dāng)使得所述訓(xùn)練集和所述測試集不同時包含來自同一患者的圖像塊。

32、適當(dāng)?shù)木W(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法對分類性能至關(guān)重要。resnet50模型是一個廣泛使用的深度卷積神經(jīng)網(wǎng)絡(luò)，因其出色的分類性能而被選來訓(xùn)練組織自動勾畫。

33、為了加速網(wǎng)絡(luò)收斂，我們采用了轉(zhuǎn)移學(xué)習(xí)，即采用在imagenet數(shù)據(jù)集上預(yù)訓(xùn)練的resnet50模型來初始化網(wǎng)絡(luò)的訓(xùn)練。訓(xùn)練數(shù)據(jù)集是隨機從公共手繪圖像隊列nct-crc-he-100k中獲取的，并進(jìn)行了數(shù)據(jù)增強。內(nèi)部驗證集包括從nct-crc-he-100k隊列中隨機選擇的20%的樣本，在調(diào)整模型超參數(shù)的同時，對訓(xùn)練數(shù)據(jù)集的模型擬合產(chǎn)生無偏估計。

34、在內(nèi)部驗證數(shù)據(jù)集和獨立測試隊列crc-val-he-7k中，包括7180個圖像斑塊，對訓(xùn)練后的分類器的性能進(jìn)行評估。

35、更進(jìn)一步地，對組織自動勾畫結(jié)果賦予不同顏色進(jìn)行空間重構(gòu)，得到圖像的組織勾畫結(jié)果。

36、在組織自動勾畫之后，將所有的圖像補丁重新組合成一個整體的幻燈片圖像，用不同的顏色來突出各種組織類型。該可視化技術(shù)提供了一個快速和方便的組織學(xué)切片分類概覽，這可以幫助病理學(xué)家進(jìn)行更有效的質(zhì)量控制和診斷。