本發(fā)明涉及圖像處理領(lǐng)域,特別是一種組織病理圖像分類方法。
背景技術(shù):
組織病理圖像在疾病診斷中已經(jīng)成為國(guó)際衛(wèi)生組織公認(rèn)的“金標(biāo)準(zhǔn)”[1],對(duì)于輔助疾病診斷發(fā)揮著極其重要的作用。然而,病理學(xué)家對(duì)組織病理圖像的分析一直停留在基于經(jīng)驗(yàn)的定性水平。因此,如何通過(guò)計(jì)算機(jī)輔助診斷(computeraideddiagnosis,cad)技術(shù)自動(dòng)地實(shí)現(xiàn)組織病理圖像定量分析,已成為醫(yī)學(xué)圖像分析領(lǐng)域研究熱點(diǎn)之一[2-4]。
傳統(tǒng)的計(jì)算機(jī)輔助疾病診斷系統(tǒng)一般利用組織病理圖像的灰度或者紋理特征進(jìn)行疾病診斷[5-6],取得了一定的效果,并具有較好的實(shí)時(shí)性。但是,往往忽視了組織病理圖像的顏色信息。srinivas等[7]基于稀疏表示分類方法[8](sparserepresentationbasedclassification,src)提出一種同步稀疏模型,該模型利用組織病理圖像rgb三通道的像素值作為字典,通過(guò)稀疏表示的重構(gòu)誤差實(shí)現(xiàn)組織病理圖像分類。vu等[9]利用顏色信息,將圖像塊的rgb三通道值串聯(lián)成列向量作為樣本,提出了一種新的字典學(xué)習(xí)模型,該模型能夠自動(dòng)提取判別性特征,實(shí)現(xiàn)了有病和無(wú)病樣本的分類。上述組織病理圖像分類方法雖然取得了一定的效果,卻沒(méi)有考慮組織病理圖像rgb三通道間的共性與差異性。
近年來(lái),duarte等[10]提出了聯(lián)合稀疏模型(jointsparsitymodels,jsm),并且被迅速應(yīng)用于圖像融合[11]、去噪[12]、恢復(fù)[13]和模式識(shí)別[14-15]等領(lǐng)域。聯(lián)合稀疏模型分為三類:jsm-1、jsm-2與jsm-3。jsm-1[10]將信號(hào)分為兩部分:共有分量和獨(dú)有分量,聯(lián)合同一個(gè)字典可以得到兩個(gè)分量的稀疏編碼。同時(shí),yang等[16]利用圖像的空間位置信息,將金字塔匹配模型[17](spatialpyramidmatching,spm)引入到圖像特征的稀疏編碼來(lái)提高分類性能。因此,shi等[18]結(jié)合jsm-1和spm模型,提出了基于聯(lián)合稀疏編碼的空間金字塔匹配模型(jointsparsecodingbasedspatialpyramidmatching,jscspm)模型。首先,利用k-means將rgb三通道的所有dsift特征[19]一起聚類,以聚類的特征作為共有分量與獨(dú)有分量的字典,建立聯(lián)合稀疏編碼模型,結(jié)合spm模型得到稀疏編碼系數(shù),并應(yīng)用于組織病理圖像分類,取得了較好的分類性能。但是存在以下問(wèn)題:1)jscspm模型雖然利用聯(lián)合稀疏模型將每個(gè)通道分為共有分量與獨(dú)有分量,但兩部分采用相同的字典進(jìn)行編碼,不僅導(dǎo)致兩個(gè)分量的編碼系數(shù)間相似度較高,而且無(wú)法有效區(qū)分通道間的獨(dú)有分量之間的差異性,編碼系數(shù)判別性弱;2)jscspm模型忽視了圖像的灰度信息,而且對(duì)所有彩色通道的dsift特征一起聚類得到字典,忽略了rgb三個(gè)通道之間的關(guān)聯(lián),其模型無(wú)法真正表示出三通道特征的共有分量與獨(dú)有分量。
duarte等[10]提出的jsm大致可分為三種類型:jsm-1、jsm-2和jsm-3。其中,jsm-1將信號(hào)分為兩部分:共有分量和獨(dú)有分量,并且兩部分采用相同的字典進(jìn)行稀疏編碼,目標(biāo)函數(shù)定義如下:
其中,yc是信號(hào)yj的共有分量,
shi等[17]提出了jscspm模型,將圖像rgb三通道的dsift特征表示兩個(gè)部分之和:共有分量和獨(dú)有分量,模型定義如下:
其中,yr,yg,yb分別對(duì)應(yīng)rgb三通道的dsift特征,yc是三通道的共有分量,
其次,利用k-means算法,將rgb三通道的所有dsift特征一起聚類得到字典d,采用相同的字典d對(duì)共有分量與獨(dú)有分量進(jìn)行稀疏編碼,建立聯(lián)合稀疏編碼模型,其定義如下:
其中,xc為三通道共有分量的編碼系數(shù),
將式(3)轉(zhuǎn)化成如下矩陣形式:
其中,yr,yg,yb分別為組織病理圖像rgb三通道的dsift特征,將yr,yg,yb三個(gè)列向量串聯(lián)作為信號(hào)y=[yr,yg,yb]t,
最后,考慮組織病理圖像空間結(jié)構(gòu)信息,對(duì)圖像特征分三層,結(jié)合spm模型,jscspm模型的定義如下:
其中,y=[y1,y2,…,yn]∈rm×n為每層圖像dsift特征向量集,聯(lián)合字典
jscspm模型結(jié)合聯(lián)合稀疏與空間金字塔模型,實(shí)現(xiàn)了組織病理圖像的分類,取得了一定的實(shí)驗(yàn)效果。但是,在jscspm模型中,忽視了組織病理圖像的灰度信息,也沒(méi)有真正的考慮rgb三通道特征之間的共性與差異,使用相同的字典對(duì)所有分量聯(lián)合稀疏編碼,編碼系數(shù)的判別能力弱,導(dǎo)致分類性能有待提高。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明所要解決的技術(shù)問(wèn)題是,針對(duì)現(xiàn)有技術(shù)不足,提供一種組織病理圖像分類方法。
為解決上述技術(shù)問(wèn)題,本發(fā)明所采用的技術(shù)方案是:一種組織病理圖像分類方法,包括以下步驟:
1)輸入組織病理圖像的訓(xùn)練圖像,得到訓(xùn)練圖像的灰度通道與組織病理圖像的rgb三通道圖像;
2)分別提取灰度通道圖像與rgb三通道圖像的dsift特征向量,將rgb三通道圖像的dsift特征向量串聯(lián),得到訓(xùn)練樣本yi,并將所有訓(xùn)練樣本yi得到樣本矩陣y;
3)聚類灰度通道圖像的dsift特征向量和rgb三通道圖像的dsift特征向量,得到相應(yīng)的子字典di,dr、dg、db,構(gòu)造聯(lián)合字典;
4)將rgb三通道圖像特征向量表示為共有分量和獨(dú)有分量之和,建立多通道聯(lián)合稀疏模型;
5)將組織病理的訓(xùn)練圖像或測(cè)試圖像分為3層,該3層相應(yīng)的劃分為1h、4h、16h個(gè)圖像塊,建立每層的mc-jscspm模型,獲得每一層圖像樣本矩陣y的聯(lián)合稀疏編碼系數(shù);
6)對(duì)聯(lián)合稀疏編碼系數(shù)進(jìn)行池化操作,得到特征的編碼系數(shù);
7)將所述編碼系數(shù)作為svm的輸入,訓(xùn)練分類器;
8)基于步驟5)和步驟6)獲得的測(cè)試集的聯(lián)合稀疏編碼系數(shù),利用所述分類器進(jìn)行分類實(shí)驗(yàn)。
將rgb三通道圖像特征向量表示為共有分量和獨(dú)有分量之和的表達(dá)式為:
其中,yr,yg,yb分別對(duì)應(yīng)rgb三通道圖像的dsift特征向量;
所述多通道聯(lián)合稀疏模型的表達(dá)式為:
其中,
所述mc-jscspm模型表達(dá)式如下:
其中,y=[y1,y2,…,yn]∈rm×n為特征向量集;
利用lars方法求解mc-jscspm模型,得到稀疏編碼系數(shù)
與現(xiàn)有技術(shù)相比,本發(fā)明所具有的有益效果為:本發(fā)明結(jié)合組織病理圖像的灰度通道與彩色通道特征,基于rgb通道特征獨(dú)有分量之間的相似低這一先驗(yàn),提出了一種基于多通道聯(lián)合稀疏編碼的空間金字塔匹配模型(multi-channeljointsparsecodingbasedspatialpyramidmatching,mc-jscspm)的組織病理圖像分類方法。該方法首先提取組織病理圖像的灰度通道和rgb三通道的dsift特征,分別聚類每個(gè)通道的dsift特征,得到四個(gè)子字典分別為:灰度字典、r通道字典、g通道字典與b通道字典。將灰度字典作為每個(gè)通道特征的共有字典,其他三個(gè)子字典分別作為每個(gè)通道特征的獨(dú)有字典,并建立聯(lián)合稀疏編碼模型。其次,結(jié)合spm模型,對(duì)不同層次的圖像特征進(jìn)行多通道聯(lián)合稀疏編碼,利用編碼系數(shù)訓(xùn)練svm分類器。本發(fā)明能有效改善組織病理圖像的分類性能,編碼系數(shù)判別性強(qiáng);考慮了rgb三個(gè)通道之間的關(guān)聯(lián),模型可以真正表示出三通道特征的共有分量與獨(dú)有分量。
附圖說(shuō)明
圖1為mc-jscspm模型流程圖;
圖2(a)為肺、脾臟、腎臟的健康圖像;圖2(b)為肺、脾臟、腎臟的炎癥圖像;
圖3(a)為肺部的roc特性曲線;圖3(b)為脾臟的roc特性曲線;圖3(c)為腎臟的roc特性曲線。
具體實(shí)施方式
本發(fā)明分別提取組織病理圖像灰度通道和彩色rgb三通道的dsift特征,將聚類的灰度特征作為共有字典,分別聚類的rgb三通道dsift特征作為獨(dú)有字典,提出一種mc-jscspm模型。
假設(shè)矩陣a,b∈rm×n,矩陣a,b相似度的定義如下:
其中,<a,b>=tr(bta),tr(*)表示矩陣主對(duì)角線之和;
本發(fā)明將灰度通道特征先作為共有分量,結(jié)合式(2),求得rgb三通道特征的獨(dú)有分量,利用式(6)計(jì)算獨(dú)有分量之間的相似度。為了驗(yàn)證組織病理圖像rgb三通道間獨(dú)有分量的相似性,基于adl數(shù)據(jù)集[20]中三類組織病理圖像,分別計(jì)算rgb三通道的dsift特征獨(dú)有分量之間的相似度,結(jié)果如表1所示。
表1:rgb三通道dsift特征獨(dú)有分量之間的相似度
從表1可知,這三類組織病理圖像的rgb三通道dsift特征獨(dú)有分量之間的相似度很低,說(shuō)明rgb三通道特征獨(dú)有分量的稀疏編碼系數(shù)具有較好的判別性,能夠取得更好的分類結(jié)果。
本發(fā)明提出了mc-jscspm模型,與文獻(xiàn)[18]不同的是,本發(fā)明使用k-means分別對(duì)灰度通道、rgb三通道特征進(jìn)行聚類,獲得每個(gè)通道相應(yīng)的子字典di,dr、dg、db。其中,灰度子字典di作為rgb三通道特征共有字典,將dr、dg、db作為rgb三通道特征獨(dú)有字典。利用子字典di,dr、dg、db構(gòu)造聯(lián)合字典,建立多通道的稀疏模型,式(2)可以重新定義如下:
其中,
然后,將式(7)轉(zhuǎn)化為矩陣形式,其定義如下:
其中,
最后,結(jié)合圖像空間結(jié)構(gòu)信息,利用spm模型,建立mc-jscspm模型,定義如下:
其中,y=[y1,y2,…,yn]∈rm×n為特征向量集,
本發(fā)明提出模型的流程如圖1所示,具體步驟描述如下:
步驟1:輸入訓(xùn)練樣本,分別得到訓(xùn)練樣本的灰度通道與rgb三通道圖像。
步驟2:分別提取灰度通道與rgb三通道的dsift特征向量,將rgb三通道dsift特征向量串聯(lián)得到訓(xùn)練特征yi,組合得到特征矩陣y。
步驟3:分別聚類灰度、rgb三通道的dsift特征,得到相應(yīng)的子字典di,dr、dg、db,并用于構(gòu)造聯(lián)合字典。
步驟4:根據(jù)式(7),將rgb三通道特征表示為共有分量和獨(dú)有分量之和,利用步驟3構(gòu)造的聯(lián)合字典,根據(jù)式(8)建立多通道聯(lián)合稀疏模型。
步驟5:結(jié)合空間金字塔結(jié)構(gòu),將圖像分為3層,并相應(yīng)的劃分為1、4、16個(gè)圖像塊,根據(jù)式(9)建立每層的mc-jscspm模型,利用lars算法[21]求解式(9)獲得每一層圖像特征的聯(lián)合稀疏編碼系數(shù)。
步驟6:采用多尺度最大池化方法對(duì)聯(lián)合稀疏編碼系數(shù)進(jìn)行池化操作,得到特征的編碼系數(shù)。
步驟7:利用步驟6得到的特征編碼系數(shù),作為svm的輸入,訓(xùn)練分類器。
步驟8:利用步驟5、6獲得測(cè)試樣本的編碼系數(shù),并利用利用步驟7種訓(xùn)練好的svm分類器進(jìn)行分類實(shí)驗(yàn)。
本發(fā)明基于adl[20]組織病理圖像數(shù)據(jù)集,驗(yàn)證了mc-jscspm模型的有效性,并與其他方法進(jìn)行對(duì)比分析。
dsift特征[19]的提取過(guò)程為:利用網(wǎng)格,將圖像劃分得到相同大小的特征塊,并且塊與塊之間采用重疊方式,每個(gè)特征塊的中心位置作為一個(gè)特征點(diǎn),將同一個(gè)特征塊里的所有像素點(diǎn)作為該特征點(diǎn)的sift特征,將圖像所有特征點(diǎn)的sift組合而成則為dsift特征。本發(fā)明所采用的dsift特征的采樣間隔設(shè)置為16個(gè)像素,圖像塊大小為16×16,則一幅圖像的dsift特征矩陣的尺寸為128*1369。
adl數(shù)據(jù)集及相關(guān)實(shí)驗(yàn)設(shè)置:
adl數(shù)據(jù)集[20]由賓夕法尼亞州立大學(xué)提供,共有900多張圖像,包括三類器官的圖像:肺,脾臟,腎臟。其中,每一類器官都包括健康和炎癥兩種類別的病理組織,各占150多張,其尺寸為1360×1024。各類器官的兩種醫(yī)學(xué)病理組織示意圖如圖2所示,圖2(a)從左至右依次分別表示肺、脾臟、腎臟的健康圖像,圖2(b)從左至右依次表示肺、脾臟、腎臟的炎癥圖像。
本發(fā)明從肺、脾臟、腎臟三類器官的健康和炎癥的彩色樣本圖像中分別隨機(jī)選取120張作為訓(xùn)練集,將每張彩色圖像尺寸轉(zhuǎn)化成600×600,分別提取出其灰度通道和rgb三通道的dsift特征,則每個(gè)通道的dsift特征為128×1369×120,從每個(gè)通道隨機(jī)選取10000個(gè)dsift特征進(jìn)行聚類,得到子字典di,dr、dg、db∈r128×1024,利用子字典構(gòu)造聯(lián)合字典
本發(fā)明方法與其他方法的實(shí)驗(yàn)結(jié)果對(duì)比分析如下:
為了證明本發(fā)明所提mc-jscspm方法的有效性,我們對(duì)比了scspm和jscspm方法。表2、3、4分別給出了不同方法在肺部、脾臟和腎臟圖像上的分類結(jié)果。
表2不同方法在肺部圖像的分類結(jié)果對(duì)比
表3不同方法在脾臟圖像的分類結(jié)果對(duì)比
表4不同方法在腎臟圖像的分類結(jié)果對(duì)比
由表2、表3與表4可知,本發(fā)明提出的mc-jscspm模型對(duì)肺部、脾臟和腎臟三類器官的疾病診斷效果明顯要好于其他模型。本發(fā)明結(jié)合圖像的灰度與彩色信息,采用灰度字典與rgb三個(gè)字典作為聯(lián)合字典,考慮多通道之間的關(guān)聯(lián),充分利用了不同通道之間的共性與差異,得到的聯(lián)合編碼系數(shù)的判別性更強(qiáng),獲得了更好的分類效果。
本發(fā)明方法與其他方法的roc特性曲線分析如下:
圖3(a)、圖3(b)、圖3(c)分給出了本發(fā)明方法與其他方法的roc曲線對(duì)比結(jié)果,圖3(a)、圖3(b)與圖3(c)分別為肺部、脾臟和腎臟的roc特性曲線圖,從圖中可以看出,本發(fā)明方法的roc曲線明顯高于其他方法,進(jìn)一步說(shuō)明了本發(fā)明所提mc-jscspm方法的優(yōu)越性。
本發(fā)明提出了一種基于多通道聯(lián)合稀疏編碼的空間金字塔匹配模型,并將其應(yīng)用于組織病理圖像的分類。該模型不僅結(jié)合了灰度與rgb特征,同時(shí)考慮了rgb三通道特征之間的共性與差異。首先,分別提取組織病理圖像灰度通道和rgb三通道的dsift特征,相應(yīng)的得到每個(gè)通道的子字典,實(shí)現(xiàn)了共有分量和獨(dú)有分量的聯(lián)合稀疏編碼。然后,結(jié)合圖像的空間信息,利用spm模型,對(duì)不同層次的圖像特征進(jìn)行多通道聯(lián)合稀疏編碼。最后利用編碼系數(shù)進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明,本發(fā)明提出的模型具有更好的特征表示能力,編碼系數(shù)具有更好的分類性能,可以有效輔助醫(yī)生的臨床診斷。
參考文獻(xiàn):
[1]chanjk.thewonderfulcolorsofthehematoxylin-eosinstainindiagnosticsurgicalpathology.[j].internationaljournalofsurgicalpathology,2014,22(1):12-32.
[2]vetam,pluimjp,vandiestpj,etal.breastcancerhistopathologyimageanalysis:areview.[j].ieeetransactionsonbio-medicalengineering,2014,61(61):1400-11.
[3]ritters,marguliekb.emergingtoolsforcomputer-aideddiagnosisandprognostication[j].journalofclinicaltrials,2011,4(2):e117-e117.
[4]xianm,zhangy,chenghd.fullyautomaticsegmentationofbreastultrasoundimagesbasedonbreastcharacteristicsinspaceandfrequencydomains[j].patternrecognition,2015,48(2):485-497
[5]xuj,janowczyka.ahigh-throughputactivecontourschemeforsegmentationofhistopathologicalimagery.[j].medicalimageanalysis,2011,15(6):851-862.
[6]kongj,cooperla,wangf,gutmanda,gaoj,chisolmc,etal.integrativemul-timodalanalysisofglioblastomausingtcgamoleculardatapathologyimagesandclinicaloutcomes.ieeetransbiomedeng2011;58(12):3469–74.
[7]srinivasu,mousavihs,mongav,etal.simultaneoussparsitymodelforhistopathologicalimagerepresentationandclassification[j].ieeetransactionsonmedicalimaging,2014,33(5):1163-1179.
[8]wrightj,yangay,ganesha,etal.robustfacerecognitionviasparserepresentation[j].ieeetransactionsonpatternanalysis&machineintelligence,2009,31(2):210-227.
[9]vuth,mousavihs,mongav,etal.dfdl:discriminativefeature-orienteddictionarylearningforhistopathologicalimageclassification[c],2015ieee12thinternationalsymposiumonbiomedicalimaging(isbi).ieee,2015:990-994.
[10]duartemf,wakinmb,barond,baraniukrg.universaldistributedsensingviarandomprojections.in:proceedingsofthesymposiumoninformationpro-cessinginsensornetworks.2006.p.177–85.
[11]yun,qiuts,bif,wangaq.imagefeaturesextractionandfusionbasedonjointsparserepresentation.ieeejseltopsignalprocess2011;5(5):1074–82
[12]yun,qiut,renfq.denoisingformultipleimagecopiesthroughjointsparserepresentation.jmathimagingvision2013;45(1):46–54.
[13]luoj,yangb,chenz.colorimagerestorationviaextendedjointsparsemodel.communcomputinfsci2012;321:497–504.
[14]ramezanim,abolmaesumip,marblek,etal.jointsparserepresentationofbrainactivitypatternsrelatedtoperceptualandcognitivecomponentsofaspeechcomprehensiontask[c]//internationalworkshoponpatternrecognitioninneuroimaging.ieee,2012:29-32.
[15]shekhars,patelvm,nasrabadinm,etal.jointsparsity-basedrobustmultimodalbiometricsrecognition[c]//internationalconferenceoncomputervision.springer-verlag,2012:365-374.
[16]yangj,yuk,gongy,etal.linearspatialpyramidmatchingusingsparsecodingforimageclassification[j].2009:1794-1801.
[17]lazebniks,schmidc,poncej.beyondbagsoffeatures:spatialpyramidmatchingforrecognizingnaturalscenecategories[c]//2006ieeecomputersocietyconferenceoncomputervisionandpatternrecognition(cvpr'06).ieee,2006,2:
[18]shij,liy,zhuj,etal.jointsparsecodingbasedspatialpyramidmatchingforclassificationofcolormedicalimage[j].computerizedmedicalimaging&graphicstheofficialjournalofthecomputerizedmedicalimagingsociety,2015,41(1):61-66.
[19]liff,peronap.abayesianhierarchicalmodelforlearningnaturalscenecategories[c]//ieeecomputersocietyconferenceoncomputervisionandpatternrecognition.ieeecomputersociety,2005:524-531vol.2.
[20]mongav,animaldiagnosticslabdataset,http://vbs.psu.edu/adl,2013
[21]efronb.leastangleregression[j].mathematics,2004,32(2):2004.