基于相似度的乳腺圖像的匹配圖像檢索方法及檢索系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了提供一種基于相似度的乳腺圖像的匹配圖像檢索方法及檢索系統(tǒng)，基于相似度的乳腺圖像的匹配圖像檢索方法包括如下步驟：建立圖像特征庫；建立分層聚類樹；提取待檢索圖像的特征；查找與帶檢索圖像相似的圖像并輸出。本發(fā)明的系統(tǒng)包括圖像特征庫建立模塊、分層聚類樹建立模塊、待檢索圖像的特征提取模塊和相似圖像查找模塊。本發(fā)明的方法和系統(tǒng)能夠實時將需要檢索的乳腺X線片的圖像輸入檢索數(shù)據(jù)庫，然后對輸入圖像進行分析，將檢索數(shù)據(jù)庫中的圖像按照與輸入圖像的相似度進行排序輸出。本發(fā)明的檢索速度快且檢索結果準確。
【專利說明】基于相似度的乳腺圖像的匹配圖像檢索方法及檢索系統(tǒng)
【技術領域】
[0001]本發(fā)明屬于數(shù)字圖像檢索【技術領域】，具體涉及一種基于相似度的乳腺圖像的匹配圖像檢索方法及檢索系統(tǒng)。
【背景技術】
[0002]乳腺疾病是嚴重危害女性健康的一種疾病，目前乳腺癌已經(jīng)占到女性新發(fā)惡性病的30%左右,排名女性惡性腫瘤發(fā)病率的第一位。乳腺X線照相術(Mammography)通過專門的鑰鈀X線機對乳房進行拍照形成乳腺X線片，目前使用乳腺X線片作為基礎數(shù)據(jù)進行乳腺疾病的研究已經(jīng)在發(fā)達國家成為使用最普遍的方式。乳腺癌X線片中病灶表示形式常見的有較規(guī)則或類圓形腫塊、不規(guī)則或模糊腫塊、毛刺腫塊、透亮環(huán)腫塊四類。計算機視覺領域的目標檢測技術和人工智能領域的機器學習技術能夠非常直觀的應用在乳腺腫塊的檢測中，該技術通過對腫塊區(qū)域和非腫塊區(qū)域的訓練學習，從乳腺X射線片中檢測到疑似腫塊區(qū)域。但由于目前機器學習技術和目標檢測技術還不夠不成熟，尤其是“語義鴻溝(Semantic Gap)”問題還沒有得到根本解決，現(xiàn)有的應用上述技術進行乳腺腫塊區(qū)域自動檢測的方法存在將腫塊區(qū)域漏掉或者腫塊部位不準確等問題。

【發(fā)明內容】

[0003]針對上述現(xiàn)有技術中存在的缺陷或不足，本發(fā)明的一個目的在于，提供一種基于相似度的乳腺圖像的匹配圖像檢索方法，該方法實時將需要檢索的乳腺X線片的圖像輸入檢索數(shù)據(jù)庫，然后對輸入圖像進行分析，將檢索數(shù)據(jù)庫中的圖像按照與輸入圖像的相似度進行排序輸出。該方法能夠實時、快速、準確地輸出與輸入圖像的相似度最高的若干幅圖像，從而為醫(yī)生在結合檢查報告后進行實時分析乳腺腫塊或鈣化提供更多的參考依據(jù)。
[0004]為了實現(xiàn)上述目的，本發(fā)明采用如下的技術方案予以解決:
[0005]一種基于相似度的乳腺圖像的匹配圖像檢索方法，包括如下步驟:
[0006]步驟1:建立圖像特征庫；具體步驟為:遍歷圖像庫中保存的乳腺圖像，利用SIFT算法對每幅乳腺圖像提取SIFT特征塊，并將每個符合規(guī)定尺度的SIFT特征塊以特征塊中心為定點旋轉，直至其主方向與水平方向垂直，并利用HOG算法分別提取這些特征塊的HOG特征；然后將每個旋轉后的SIFT特征塊進行水平翻轉，并利用HOG算法分別提取這些水平翻轉后的特征塊的HOG特征；將旋轉后以及水平翻轉后得到的每幅乳腺圖像的圖像號、該圖像的HOG特征數(shù)以及該圖像的HOG特征對應保存到圖像特征庫；
[0007]步驟2:建立分層聚類樹；具體步驟如下:
[0008]步驟201:從圖像特征庫中讀取所有的HOG特征并將它們保存到分層聚類樹的根節(jié)點；令根節(jié)點為當前節(jié)點；
[0009]步驟202:在當前節(jié)點上保存所有的HOG特征中隨機選取來自于不同圖像的K個HOG特征作為初始聚類中心，使用K-Means算法將當前節(jié)點上保存的所有HOG特征分成K個類；同時，令當前節(jié)點產(chǎn)生K個子節(jié)點，將生成的K個類中的HOG特征以及每個類的聚類中心對應存儲到當前節(jié)點的K個子節(jié)點上；
[0010]步驟203:判斷分層聚類樹的層數(shù)是否小于閾值d印th，是則將步驟202產(chǎn)生的K個子節(jié)點依次作為當前節(jié)點，分別執(zhí)行步驟202 ;否則結束；
[0011]步驟3:提取待檢索圖像的特征；具體步驟如下:
[0012]對一幅待檢索圖像，利用SIFT算法提取其SIFT特征塊并選出符合規(guī)定尺度的SIFT特征塊，將每個選出的SIFT特征塊以特征塊的中心為定點旋轉，直至其主方向與水平方向垂直，并提取其HOG特征；再對該旋轉后的SIFT特征塊做水平翻轉后提取HOG特征；
[0013]步驟4:查找與帶檢索圖像相似的圖像并輸出；具體步驟如下:
[0014]步驟401:遍歷待檢索圖像的所有HOG特征，將待檢索圖像的每個HOG特征作為當前特征，選出分層聚類樹上與當前特征對應的一個葉子節(jié)點；
[0015]步驟402:對于待檢測圖像的每個HOG特征，利用kNN算法計算得到與每個HOG特征對應的葉子節(jié)點中存儲的HOG特征中與該HOG特征最近的k個特征，該k個HOG特征組成該HOG特征的匹配特征集；
[0016]步驟403:統(tǒng)計待檢測圖像的所有HOG特征的匹配特征集中，所有HOG特征來自的乳腺圖像的圖像號出現(xiàn)的次數(shù)，并將每個乳腺圖像的圖像號出現(xiàn)的次數(shù)按照降序排序，取前k個對應的乳腺圖像作為與待檢測圖像相似度高的乳腺圖像輸出。
[0017]進一步的，所述步驟I中的所述符合規(guī)定尺度的SIFT特征塊是指大小不小于32X32像素的SIFT特征塊。
[0018]進一步的,所述步驟202中的當前節(jié)點產(chǎn)生子節(jié)點的個數(shù)K=3。
[0019]進一步的，所述步驟203中的分層聚類樹的層數(shù)的閾值d印th=4。
[0020]進一步的,所述步驟401中選出分層聚類樹上與當前特征對應的一個葉子節(jié)點的具體步驟如下:
[0021]I)將分層聚類樹的根節(jié)點作為當前節(jié)點；
[0022]2)計算當前HOG特征與當前節(jié)點的K個子節(jié)點聚類中心的距離(本發(fā)明中采用歐式距離)，選出距離最近的節(jié)點；判斷該選出的節(jié)點是否是葉子節(jié)點，是則結束；否則將該選出的節(jié)點作為當前節(jié)點，執(zhí)行2)。
[0023]本發(fā)明的另一個目的在于，提供一種基于相似度的乳腺圖像的匹配圖像檢索系統(tǒng)，該系統(tǒng)能夠實現(xiàn)計算機實時批量檢索，將需要檢索的乳腺X線片的圖像輸入檢索數(shù)據(jù)庫，然后對輸入圖像進行分析，將檢索數(shù)據(jù)庫中的圖像按照與輸入圖像的相似度進行排序輸出。
[0024]為了實現(xiàn)上述目的，本發(fā)明采用如下的技術方案予以解決:
[0025]一種基于相似度的乳腺圖像的匹配圖像檢索系統(tǒng)，具體包括如下模塊:
[0026]I)圖像特征庫建立模塊，該模塊用于遍歷圖像庫中保存的乳腺圖像，利用SIFT算法對每幅乳腺圖像提取SIFT特征塊，并將每個符合規(guī)定尺度的SIFT特征塊以特征塊中心為定點旋轉，直至其主方向與水平方向垂直，并利用HOG算法分別提取這些特征塊的HOG特征；然后將每個旋轉后的SIFT特征塊進行水平翻轉，并利用HOG算法分別提取這些水平翻轉后的特征塊的HOG特征；將旋轉后以及水平翻轉后得到的每幅乳腺圖像的圖像號、該圖像的HOG特征數(shù)以及該圖像的HOG特征對應保存到圖像特征庫；
[0027]2)分層聚類樹建立模塊，該模塊包括以下相連接的子模塊:[0028]子模塊201:從圖像特征庫中讀取所有的HOG特征并將它們保存到分層聚類樹的根節(jié)點；令根節(jié)點為當前節(jié)點；
[0029]子模塊202:在當前節(jié)點上保存所有的HOG特征中隨機選取來自于不同圖像的K個HOG特征作為初始聚類中心，使用K-Means算法將當前節(jié)點上保存的所有HOG特征分成K個類；同時，令當前節(jié)點產(chǎn)生K個子節(jié)點，將生成的K個類中的HOG特征以及每個類的聚類中心對應存儲到當前節(jié)點的K個子節(jié)點上；
[0030]子模塊203:判斷分層聚類樹的層數(shù)是否小于閾值d印th，是則將子模塊202產(chǎn)生的K個子節(jié)點依次作為當前節(jié)點，分別執(zhí)行子模塊202 ;否則結束；
[0031]3)待檢索圖像的特征提取模塊，該模塊用于:
[0032]對一幅待檢索圖像，利用SIFT算法提取其SIFT特征塊并選出符合規(guī)定尺度的SIFT特征塊，將每個選出的SIFT特征塊以特征塊的中心為定點旋轉，直至其主方向與水平方向垂直，并提取其HOG特征；再對該旋轉后的SIFT特征塊做水平翻轉后提取HOG特征；
[0033]4)相似圖像查找模塊，該模塊包括如下依次相連接的子模塊:
[0034]子模塊401:遍歷待檢索圖像的所有HOG特征，將待檢索圖像的每個HOG特征作為當前特征，選出分層聚類樹上與當前特征對應的一個葉子節(jié)點；
[0035]子模塊402:對于待檢測圖像的每個HOG特征，利用kNN算法計算得到與每個HOG特征對應的葉子節(jié)點中存儲的HOG特征中與該HOG特征最近的k個特征，該k個HOG特征組成該HOG特征的匹配特征集；
[0036]子模塊403:統(tǒng)計待檢測圖像的所有HOG特征的匹配特征集中，所有HOG特征來自的乳腺圖像的圖像號出現(xiàn)的次數(shù)，并將每個乳腺圖像的圖像號出現(xiàn)的次數(shù)按照降序排序，取前k個對應的乳腺圖像作為與待檢測圖像相似度高的乳腺圖像輸出。
[0037]進一步的，所述圖像特征庫建立模塊中的所述符合規(guī)定尺度的SIFT特征塊是指大小不小于32X32像素的SIFT特征塊。
[0038]進一步的，所述子模塊202中的當前節(jié)點產(chǎn)生子節(jié)點的個數(shù)K=3。
[0039]進一步的，所述子模塊203中的分層聚類樹的層數(shù)的閾值d印th=4。
[0040]進一步的，所述子模塊401中選出分層聚類樹上與當前特征對應的一個葉子節(jié)點的子模塊用于:
[0041]I)將分層聚類樹的根節(jié)點作為當前節(jié)點；
[0042]2)計算當前HOG特征與當前節(jié)點的K個子節(jié)點聚類中心的距離(本發(fā)明中采用歐式距離)，選出距離最近的節(jié)點；判斷該選出的節(jié)點是否是葉子節(jié)點，是則結束；否則將該選出的節(jié)點作為當前節(jié)點，執(zhí)行2)。
[0043]與現(xiàn)有技術相比，本發(fā)明的優(yōu)點如下:
[0044]1、從圖像中提取特征塊時按照特定規(guī)則選取特征塊，刪除了信息量少的特征塊，減少了容量存儲。
[0045]2、針對乳腺圖像的特殊性，即一對乳腺左右部分相似的性質，為了檢索出一對乳腺的左右部分，對特征塊做了水平翻轉之后提取特征，豐富了特征庫的信息。
[0046]3、為了加快檢索的速度，采用了分層聚類樹來建立特征樹，保證檢索的運算復雜度在“對數(shù)”級別，大大提高了檢索效率?！緦＠綀D】

【附圖說明】
[0047]圖1是本發(fā)明的檢索方法的總體流程圖。
[0048]圖2是本發(fā)明的檢索方法的步驟I建立圖像特征庫的流程圖。
[0049]圖3是本發(fā)明的檢索方法的步驟2建立分層聚類樹流程圖。
[0050]圖4是分層聚類算法的流程圖。
[0051]圖5是本發(fā)明的檢索方法的步驟3提取檢索圖像特征流程圖。
[0052]圖6是本發(fā)明的檢索方法的步驟4查找并輸出相似圖像的流程圖。
圖7是本發(fā)明的基于相似度的乳腺圖像的匹配圖像檢索系統(tǒng)的結構圖。
[0053]圖8是本發(fā)明的實施例的執(zhí)行過程中的結果。其中，圖8(a)實施例中的一張待檢索圖片，圖8(b)為步驟3中使用SIFT算法提取的所有SIFT特征塊，圖8 (c)為去除冗余SIFT特征塊之后的剩余的SIFT特征塊，圖8 (d)為待檢索圖像中一部分完成旋轉之后的SIFT特征塊。圖8(e)為系統(tǒng)輸出的最終檢索結果。
[0054]以下結合附圖和【具體實施方式】對本發(fā)明進一步解釋說明。
【具體實施方式】
[0055]相關術語介紹如下:
[0056]1、SIFT (Scale Invariant Feature Transform)算法
[0057]即尺度不變特征變換，是一種基于尺度空間的、對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特征描述算子。該算法是圖像特征提取技術的經(jīng)典算法，該算法通過計算一幅圖像中的特征點(Feature Points)以及其尺度和方向的描述算子從而得到特征塊。SIFT算法輸出的結果為:特征塊的中心點，特征塊的大小和特征塊的主方向。通過SIFT算法來提取圖像的SIFT特征塊具體這樣實現(xiàn):用不同尺度的圖像I U，y)與高斯函數(shù)G(xi； Yi, ο )做卷積構建高斯金字塔；進而構建DOG (Difference of Gaussians)高斯差分金字塔，從查找出的DOG空間的局部極值點去除不穩(wěn)定的極值點，得到特征點，最后找出不同尺度下的特征塊。其中，(x，y)表示圖像中像素點的坐標，σ為尺度大小。高斯函數(shù)為:
[0058]
【權利要求】
1.一種基于相似度的乳腺圖像的匹配圖像檢索方法，其特征在于，具體包括如下步驟: 步驟1:建立圖像特征庫；具體步驟為:遍歷圖像庫中保存的乳腺圖像，利用SIFT算法對每幅乳腺圖像提取SIFT特征塊，并將每個符合規(guī)定尺度的SIFT特征塊以特征塊中心為定點旋轉，直至其主方向與水平方向垂直，并利用HOG算法分別提取這些特征塊的HOG特征；然后將每個旋轉后的SIFT特征塊進行水平翻轉，并利用HOG算法分別提取這些水平翻轉后的特征塊的HOG特征；將旋轉后以及水平翻轉后得到的每幅乳腺圖像的圖像號、該圖像的HOG特征數(shù)以及該圖像的HOG特征對應保存到圖像特征庫； 步驟2:建立分層聚類樹；具體步驟如下: 步驟201:從圖像特征庫中讀取所有的HOG特征并將它們保存到分層聚類樹的根節(jié)點；令根節(jié)點為當前節(jié)點； 步驟202:在當前節(jié)點上保存所有的HOG特征中隨機選取來自于不同圖像的K個HOG特征作為初始聚類中心，使用K-Means算法將當前節(jié)點上保存的所有HOG特征分成K個類；同時，令當前節(jié)點產(chǎn)生K個子節(jié)點，將生成的K個類中的HOG特征以及每個類的聚類中心對應存儲到當前節(jié)點的K個子節(jié)點上； 步驟203:判斷分層聚類樹的層數(shù)是否小于閾值d印th，是則將步驟202產(chǎn)生的K個子節(jié)點依次作為當前節(jié)點，分別執(zhí)行步驟202 ;否則結束； 步驟3:提取待檢索圖像的特征；具體步驟如下: 對一幅待檢索圖像，利用SIFT算法提取其SIFT特征塊并選出符合規(guī)定尺度的SIFT特征塊，將每個選出的SIFT特征塊以特征塊的中心為定點旋轉，直至其主方向與水平方向垂直，并提取其HOG特征；再對該旋轉后的SIFT特征塊做水平翻轉后提取HOG特征； 步驟4:查找與帶檢索圖像相似的圖像并輸出；具體步驟如下: 步驟401:遍歷待檢索圖像的所有HOG特征，將待檢索圖像的每個HOG特征作為當前特征，選出分層聚類樹上與當前特征對應的一個葉子節(jié)點； 步驟402:對于待檢測圖像的每個HOG特征，利用kNN算法計算得到與每個HOG特征對應的葉子節(jié)點中存儲的HOG特征中與該HOG特征最近的k個特征，該k個HOG特征組成該HOG特征的匹配特征集； 步驟403:統(tǒng)計待檢測圖像的所有HOG特征的匹配特征集中，所有HOG特征來自的乳腺圖像的圖像號出現(xiàn)的次數(shù)，并將每個乳腺圖像的圖像號出現(xiàn)的次數(shù)按照降序排序，取前k個對應的乳腺圖像作為與待檢測圖像相似度高的乳腺圖像輸出。
2.如權利要求1所述的基于相似度的乳腺圖像的匹配圖像檢索方法，其特征在于，所述步驟I中的所述符合規(guī)定尺度的SIFT特征塊是指大小不小于32X32像素的SIFT特征塊。
3.如權利要求1所述的基于相似度的乳腺圖像的匹配圖像檢索方法，其特征在于，所述步驟202中的當前 節(jié)點產(chǎn)生子節(jié)點的個數(shù)K=3。
4.如權利要求1所述的基于相似度的乳腺圖像的匹配圖像檢索方法，其特征在于，所述步驟203中的分層聚類樹的層數(shù)的閾值d印th=4。
5.如權利要求1所述的基于相似度的乳腺圖像的匹配圖像檢索方法，其特征在于，所述步驟401中選出分層聚類樹上與當前特征對應的一個葉子節(jié)點的具體步驟如下:1)將分層聚類樹的根節(jié)點作為當前節(jié)點； 2)計算當前HOG特征與當前節(jié)點的K個子節(jié)點聚類中心的距離(本發(fā)明中采用歐式距離)，選出距離最近的節(jié)點；判斷該選出的節(jié)點是否是葉子節(jié)點，是則結束；否則將該選出的節(jié)點作為當前節(jié)點，執(zhí)行2)。
6.一種基于相似度的乳腺圖像的匹配圖像檢索系統(tǒng)，其特征在于，具體包括如下模塊: 1)圖像特征庫建立模塊，該模塊用于遍歷圖像庫中保存的乳腺圖像，利用SIFT算法對每幅乳腺圖像提取SIFT特征塊，并將每個符合規(guī)定尺度的SIFT特征塊以特征塊中心為定點旋轉，直至其主方向與水平方向垂直，并利用HOG算法分別提取這些特征塊的HOG特征；然后將每個旋轉后的SIFT特征塊進行水平翻轉，并利用HOG算法分別提取這些水平翻轉后的特征塊的HOG特征；將旋轉后以及水平翻轉后得到的每幅乳腺圖像的圖像號、該圖像的HOG特征數(shù)以及該圖像的HOG特征對應保存到圖像特征庫； 2)分層聚類樹建立模塊，該模塊包括以下相連接的子模塊: 子模塊201:從圖像特征庫中讀取所有的HOG特征并將它們保存到分層聚類樹的根節(jié)點；令根節(jié)點為當前節(jié)點； 子模塊202:在當前節(jié)點上保存所有的HOG特征中隨機選取來自于不同圖像的K個HOG特征作為初始聚類中心，使用K-Means算法將當前節(jié)點上保存的所有HOG特征分成K個類；同時，令當前節(jié)點產(chǎn)生K個子節(jié)點，將生成的K個類中的HOG特征以及每個類的聚類中心對應存儲到當前節(jié)點的K個子節(jié)點上； 子模塊203:判斷分層聚類樹的層數(shù)是否小于閾值d印th，是則將子模塊202產(chǎn)生的K個子節(jié)點依次作為當前節(jié)點，分別執(zhí)行子模塊202 ;否則結束； 3)待檢索圖像的特征提取模塊，該模塊用于: 對一幅待檢索圖像，利用SIFT算法提取其SIFT特征塊并選出符合規(guī)定尺度的SIFT特征塊，將每個選出的SIFT特征塊以特征塊的中心為定點旋轉，直至其主方向與水平方向垂直，并提取其HOG特征；再對該旋轉后的SIFT特征塊做水平翻轉后提取HOG特征； 4)相似圖像查找模塊，該模塊包括如下依次相連接的子模塊: 子模塊401:遍歷待檢索圖像的所有HOG特征，將待檢索圖像的每個HOG特征作為當前特征，選出分層聚類樹上與當前特征對應的一個葉子節(jié)點； 子模塊402:對于待檢測圖像的每個HOG特征，利用kNN算法計算得到與每個HOG特征對應的葉子節(jié)點中存儲的HOG特征中與該HOG特征最近的k個特征，該k個HOG特征組成該HOG特征的匹配特征集； 子模塊403:統(tǒng)計待檢測圖像的所有HOG特征的匹配特征集中，所有HOG特征來自的乳腺圖像的圖像號出現(xiàn)的次數(shù)，并將每個乳腺圖像的圖像號出現(xiàn)的次數(shù)按照降序排序，取前k個對應的乳腺圖像作為與待檢測圖像相似度高的乳腺圖像輸出。
7.如權利要求6所述的基于相似度的乳腺圖像的匹配圖像檢索方法，其特征在于，所述圖像特征庫建立模塊中的所述符合規(guī)定尺度的SIFT特征塊是指大小不小于32 X 32像素的SIFT特征塊。
8.如權利要求6所述的基于相似度的乳腺圖像的匹配圖像檢索方法，其特征在于，所述子模塊202中的當前節(jié)點產(chǎn)生子節(jié)點的個數(shù)K=3。
9.如權利要求6所述的基于相似度的乳腺圖像的匹配圖像檢索方法，其特征在于，所述子模塊203中的分層聚類樹的層數(shù)的閾值d印th=4。
10.如權利要求6所述的基于相似度的乳腺圖像的匹配圖像檢索方法，其特征在于，所述子模塊401中選出分層聚類樹上與當前特征對應的一個葉子節(jié)點的子模塊用于: 1)將分層聚類樹的根節(jié)點作為當前節(jié)點； 2)計算當前HOG特征與當前節(jié)點的K個子節(jié)點聚類中心的距離(本發(fā)明中采用歐式距離)，選出距離最近的節(jié)點；判斷該選出的節(jié)點是否是葉子節(jié)點，是則結束；否則將該選出的節(jié)點作為當前節(jié)點，執(zhí)行2)。`
【文檔編號】G06F17/30GK103678504SQ201310590294
【公開日】2014年3月26日 申請日期:2013年11月19日 優(yōu)先權日:2013年11月19日
【發(fā)明者】張浪, 辛良, 申田, 李云峰, 張孝林 申請人:西安華海盈泰醫(yī)療信息技術有限公司