專利名稱：一種多特征融合的外觀設計專利圖像檢索方法
技術領域：
本發(fā)明涉及一種多特征融合的外觀設計專利圖像檢索方法。
背景技術：
如今隨著各國對外觀設計專利知識產權的保護力度不斷加大，外觀設計專利檢索 技術也得到了廣泛重視和較快發(fā)展。利用基于內容的圖像檢索技術，設計高精度、快速響應 的外觀設計專利圖像檢索系統(tǒng)，不僅可以實現(xiàn)外觀設計專利查詢，同時也能幫助用戶獲取 指定的專利信息，減少模仿糾紛，對于實現(xiàn)真正的現(xiàn)代化管理、增強企業(yè)的國際競爭力具有 非常重要的作用?；趦热莸膱D像檢索技術通過提取圖像中用戶感興趣的特征，包括顏色、形狀、紋 理等一些視覺特征，對用戶輸入的圖像在大圖像集中進行檢索，實現(xiàn)了真正的圖像視覺內 容特征的檢索。這種檢索方式是對“以關鍵字找圖”的重大突破。隨著基于內容的圖像檢索技術的發(fā)展，已經有了很多圖像檢索系統(tǒng)。雖然圖像檢 索系統(tǒng)的領域或功能多種多樣，但基本的檢索方法都包括以下幾個步驟提取圖像特征寫 入對應的圖像庫；將用戶輸入的圖像提取特征并與圖像庫中的特征進行比對，計算相似度； 將相似度逆序返回給用戶；基于內容的圖像檢索方法中，特征的提取主要包括顏色特征、形狀特征和紋理特 征。顏色特征提取中的常用算法有顏色直方圖、顏色矩方法；形狀特征中的常用算法包括鏈 碼表示法、邊界矩、傅立葉描述子等經典算法；紋理特征算法主要有Tamura紋理特征(粗糙 度、方向度、對比度)、灰度共生矩陣、Gabor濾波算法等。外觀設計專利的特點決定了特征之間存在著明顯的從屬關系，例如外觀設計可以 沒有顏色、圖案，但不能沒有形狀。因此在考慮低層的特征提取時，主要以形狀特征為主，以 紋理特征為次，顏色特征很少考慮。在已有的外觀專利圖像檢索方法中，形狀特征多數(shù)僅考 慮單一特征，如發(fā)表于2002年《計算機工程與應用》，作者為戴青云和李海鵬的“基于紋理 和形狀特征的外觀設計專利圖像的檢索方法”所采用Hu不變矩僅描述了圖像的區(qū)域形狀特 征，特征表達不夠全面，大大影響了系統(tǒng)檢索性能。

發(fā)明內容
本發(fā)明提出了一種多特征融合的外觀設計專利圖像檢索方法。目的在于根據外觀 設計專利圖像的特點，設計特征提取的方法和圖像檢索的流程。特征提取采用將整體特征 和局部特征相融合的方法。提取的特征主要包括提取形狀和紋理特征。形狀特征中包含幾 何特征長寬比，圓形度，結構特征和輪廓形狀特征邊界方向直方圖。采用結構特征主要是在 概貌上描述外觀設計專利的架構，邊界方向直方圖主要描述形狀的輪廓細節(jié)的特征。紋理 特征包括Gabor濾波方法和分塊統(tǒng)計方法。Gabor濾波算法在整體上描述紋理特征，分塊統(tǒng) 計法則是描述某一分塊區(qū)域的紋理特征。本發(fā)明提供的一種多特征融合的外觀設計專利圖像檢索方法步驟如下
步驟1 建立外觀設計專利圖像庫，對所有圖像進行預處理；步驟2 從圖像中計算外觀設計專利的長寬比L和圓形度R作為簡單幾何特征；步驟3 采用carmy算子對圖像進行邊緣檢測之后得到圖像的邊界，對邊界上的每 一個點計算切線方向，以5度為范圍進行劃分，構成72級的邊界方向直方圖，以此作為邊界 形狀特征向量⑴!^，、，...!^}；步驟4 將圖像x方向和y方向分別劃分5等份，統(tǒng)計每一行或每一列中圖像中物 體的寬度或高度所占整體寬度或高度的比重P，分別對每一份中所有的比重P求均值ap和 方差 sp，得到圖像的結構特征 S{aPl，sPl, ap2，sp2，. . . ap10, sp10}；步驟5 采用Gabor濾波方法提取圖像的紋理特征，對圖像經過Gabor小波變換后 計算在不同尺度和方向上的系數(shù)幅度序列的均值u和標準差s，取尺度數(shù)M = 5，方向數(shù)N =6，則計算出的紋理特征向量為G{U(iq，S00, u01, S01,... U45，S45J ；步驟6 將圖像分為5*5個小塊，統(tǒng)計每一塊中物體的像素總數(shù)與分塊大小的比
值，得到特征T {、，、，...、}；步驟7 對所有特征向量分組進行特征的歸一化，寫入外觀設計專利圖像庫；步驟8 對于用戶的輸入，經過圖像的歸一化和預處理之后，采用步驟2 步驟5 中的方法提取特征并歸一化；步驟9 用長寬比和圓形度特征計算輸入圖像與庫中圖像的距離，設定閾值，大于 閾值的圖像篩除，小于閾值的圖像保留；步驟10 對于步驟9中經過初步篩選的圖像，計算出的輸入圖像的每組特征與圖 像中的每組特征分別一一進行比對，得到四組特征間的距離d(B)、(！⑶、(！(G)、(！(T)，將四組 距離分別歸一化并加權融合得到最終的距離d ；步驟11 按照d由小到大的順序，輸出相應的外觀專利圖像作為結果返回給用戶。上述步驟1中圖像預處理包括圖像大小歸一化，圖像去噪和圖像分割；圖像大小 歸一化的過程是，首先截取圖像中物體的外切矩形包含的內容，圖像寬度設為固定值，圖像 高度隨著截取圖像的長寬比計算。上述步驟5中采用Gabor濾波方法提取圖像的紋理特征的步驟如下步驟1)構造多尺度多方向的Gabor小波函數(shù)一個2-D的Gabor函數(shù)如下 對v (x，y)經過伸縮及旋轉得到一組自相似Gabor小波函數(shù)力=am￥{x,y)其中m，n分別為小波的尺度和方向，用M，N表示尺度數(shù)和方向數(shù)，則m = 0，1， 2， ，M-l, n = 0，1，2， ，N-1,
其中a為伸縮因子a> l，0 = i;步驟2)對于一幅給定的大小為P*Q的圖像I (x，y)，它的Gabor小波變換如式如 下 其中為Vmn(S，t)的共軛復數(shù)，s，t代表了 Gabor濾波器模板變量，上式即是用不同尺度不同方向構造出的Gabor濾波器模板對圖像進行濾波操作；步驟3):計算對圖像變換后不同尺度不同方向上的系數(shù)幅度序列的均值和標準 差， 將計算出的所有均值、方差做為目標物體的紋理特征，取M = 5，N = 6，則計算出 的紋理特征向量為G{U(iq，
s00，u01，s01, u45，s45； o上述步驟10中距離歸一化并加權融合的步驟如下步驟1)計算特征庫中任意兩幅圖像對應特征向量的距離d(B)、d(S)、d(G)、 d(T)；步驟2)計算每一組特征距離的均值P (B)、ii⑶、ii (G)、ii⑴和標準差o⑶、 o ⑶、o (G)、o ⑴；步驟3)將步驟2)中計算出的每組特征的相似距離分別用下式進行距離歸一 化； 步驟4):將歸一化后的距離加權融合，得到最終的圖像間的相似度距離d = Wid' (B)+w2d，(S)+w3d，(G)+w4d，(T)其中Wl+w2+w3+w4 = 1，d，(B)、d，(S)、d，(G)、d，(T)分別為采用四組特征得到的 相似距離歸一化后的結果，外觀設計專利設計圖像主要的特征為形狀特征，根據多次實驗 比較設置四個權值為 = 0. 3，w2 = 0. 4，w3 = 0. 15，w4 = 0. 15。本發(fā)明專利的有益效果本專利在特征提取方面采用將整體特征和局部特征相融合的方法。形狀特征方面 采用邊界方向直方圖算法和結構特征描述；因為人眼對物體形狀的初步認識是物體在每一 段結構上大概的比例來決定的。因此本專利所采用的結構特征則主要用來整體上粗略地描 述外觀設計專利在不同段上的比例架構。其次在整體結構相似的情況下，采用邊界直方圖 特征來描述形狀的輪廓細節(jié)的特征。融合這兩種形狀特征就對外觀設計專利產品的形狀有 了全面的表達；紋理特征方面采用Gabor濾波算法和分塊特征統(tǒng)計法提取。計算圖像通過 多尺度多方向上Gabor濾波后的均值方差作為整體的的紋理特征，分塊統(tǒng)計每一區(qū)域的物 體與子塊的像素比作為區(qū)域的紋理特征。最后加權融合上述的形狀和紋理特征進行相似度 計算與匹配匹配，建立了一種多特征融合的外觀設計專利圖像檢索方法。本發(fā)明具體的技術方案分步表述為1.形狀特征提取的步驟如下(1)用canny算子對經過預處理的圖像提取邊緣輪廓。(2)根據物體的邊緣輪廓計算幾何特征長寬比和圓形度。長寬比L = Height/Width ；Height表示圖像中物體高度，Width表示物體寬度；
圓形度R = 4 II *S/(B*L)；其中S表示圖像中物體面積，B表示區(qū)域周長；L是物 體長寬比；(3)統(tǒng)計物體邊緣輪廓的切線方向直方圖。①對邊界上的每一個點P，跟蹤與P相鄰的順時針方向第三個點P1和逆時針方向 第三個點P2，通過計算P1，P2兩點形成的直線方向與圖像x方向的夾角作為P點的切線方向。②計算出邊界上所有點的切線方向，并對切線方向進行量化。以5度為范圍進行 劃分，建立一個72級的方向直方圖H[i]。i的范圍為0-71，表示量化后的角度的每一級； 對應i的值H[i]表示在這一角度級別下的點的個數(shù)。③將建立的邊界方向直方圖歸一化以達到尺度不變性H[i] =H[i]/S ；S代表圖像 中物體面積。④對直方圖進行平滑，使其具有一定的旋轉性 (4)提取物體的結構特征。①將物體x方向和y方向分別劃分5等份，分別記為Xl，x2, . . . . x5, Yl, y2，. . . y5。②計算圖像每一行和每一列中圖像中物體的寬度和高度所占整體寬度或高度的 比重P。③分別對每一等份中所有的比重p求均值ap和方差sp，形成了得到圖像的結構特 征 S{ap^ sp!，ap2, sp2, . . . ap10, sp10}。2、紋理特征的提取如下(1)將圖像進行灰度變換得到灰度圖。(2)用Gabor濾波方法對灰度圖進行處理，計算均值和方差①構造多尺度多方向的Gabor小波函數(shù)一個2-D的Gabor函數(shù)如下 對V (x，y)經過伸縮及旋轉得到一組自相似Gabor小波函數(shù)^ 江力=其中m，n分別為小波的尺度和方向。用M，N表示尺度數(shù)和方向數(shù)。則上式中x
其中a為伸縮因子a> l，0 = i。②對于一幅給定的大小為P*Q的圖像I (x，y)，它的Gabor小波變換如式如下 其中^ 0 ，丨)為Vmn(S，t)的共軛復數(shù)。s，t代表了 Gabor濾波器模板變量。上式 即是用不同尺度不同方向構造出的Gabor濾波器模板對圖像進行濾波操作。③計算對圖像變換后不同尺度不同方向上的系數(shù)幅度序列的均值和標準差。
將計算出的所有均值、方差做為目標物體的紋理特征。本實驗中，取1 = 5力=6。則計算出的紋理特征向量為G{UQ(1，s00, u01, S01,...
U45，S45J °(3)分塊特征統(tǒng)計①將預處理后的灰度圖分為5*5個子塊。②對每一個子塊統(tǒng)計物體的像素個數(shù)與子塊像素個數(shù)的比值做為這一子塊的特 征值。3.圖像檢索流程如下(1)將用戶輸入的圖像進行同樣的預處理的工作。(2)提取上述的形狀和紋理特征；(3)首先用長寬比和圓形度特征計算輸入圖像與庫中圖像的特征之間的距離(采 用歐氏距離)，設定閾值，大于閾值的圖像篩除，小于閾值的圖像保留。(4)對于經過初步篩選的圖像，計算出的輸入圖像的每組特征與圖像中的每組特 征分別一一進行比對，得到四組特征間的距離。d(B)，d(S)，d(G)，d(T)，將四組距離分別歸 一化并加權融合得到最終的距離d。(5)按照d由小到大的順序，輸出相應的外觀專利圖像作為結果返回給用戶。


圖1本發(fā)明的外觀設計專利圖像檢索方法流程圖。圖2本發(fā)明的外觀專利設計圖像檢索結果示例1。圖3本發(fā)明的外觀專利設計圖像檢索結果示例2。圖4本發(fā)明的外觀專利設計圖像檢索結果示例3。
具體實施例方式1.對所有圖像進行預處理的工作，建立外觀設計專利圖像庫，為圖像庫建立索引。(1)將圖像大小歸一化，寬度為固定值200，高度隨圖像中物體的長寬比；(2)用中值濾波算法進行圖像去噪；(3)采用多閾值圖像分割算法進行背景去除；2.從圖像中計算外觀設計專利的長寬比L和圓形度R作為簡單幾何特征。(1)長寬比L = Height/Width ；Height表示圖像中物體高度，Width表示物體寬 度；(2)圓形度R = 4 II *S/(B*L)；其中S表示圖像中物體面積，B表示區(qū)域周長；L 是物體長寬比；3.采用canny算子對圖像進行邊緣檢測之后得到圖像的邊界。(1)對邊界上的每一個點P，跟蹤與P相鄰的順時針方向第三個點P1和逆時針方向第三個點P2，通過計算P1，P2兩點形成的直線方向與圖像x方向的夾角作為P點的切線 方向。(2)計算出邊界上所有點的切線方向，并對切線方向進行量化。以5度為范圍進行 劃分，建立一個72級的方向直方圖H[i]。i的范圍為0-71，表示量化后的角度的每一級； 對應i的值H[i]表示在這一角度級別下的點的個數(shù)。(3)將建立的邊界方向直方圖歸一化以達到尺度不變性H[i] = H[i]/S ；S代表圖
像中物體面積。為了使邊界方向直方圖有一定的旋轉性，對直方圖進行平滑處理。 i+k 4.提取結構特征將圖像X方向和y方向分別劃分5等份，統(tǒng)計每一行或每一列中圖像中物體的寬 度或高度所占整體寬度或高度的比重P。分別對每一份中所有的比重P求均值ap和方差 sp，形成了得到圖像的結構特征 S{aPl，sPl, ap2，sp2，. . . ap10, sp10}。5.采用Gabor濾波方法提取圖像的紋理特征。(1)構造多尺度多方向的Gabor函數(shù)； 對v (x，y)經過伸縮及旋轉得到一組自相似Gabor小波函數(shù)^Xu) = 無刃其中m，n分別為小波的尺度和方向。用M，N表示尺度數(shù)和方向數(shù)。則m = 0，l， 2，.，M_l，n = 0, 1,2,. . ，N-1。上式中x = a—m(
其中a為伸縮因子a> 1力=j。(2)對于一幅給定的大小為P*Q的圖像I (x，y)，它的Gabor小波變換如式如下 其中^ (#)為Vmn(S，t)的共軛復數(shù)。S，t代表了 Gabor濾波器模板變量。上式 即是用不同尺度不同方向構造出的Gabor濾波器模板對圖像進行濾波操作。計算對圖像變 換后不同尺度不同方向上的系數(shù)幅度序列的均值和標準差。 (3)對圖像經過Gabor小波變換后計算在不同尺度和方向上的系數(shù)幅度序列的均 值u和標準差s。取尺度數(shù)M = 5，方向數(shù)N = 6。則計算出的紋理特征向量為G{U(I(I，s00,
U01，S01， U45，S45^ °6.提取分塊統(tǒng)計特征將圖像分為5*5個子塊，統(tǒng)計每一塊中物體的像素總數(shù)與子塊像素總數(shù)的比值， 得到統(tǒng)計的特征T {、，、，...、}
7.特征歸一化對所有特征向量分組進行特征的歸一化，寫入外觀設計專利圖像庫；歸一化方法 如下式 8.對于用戶的輸入，經過圖像的歸一化和預處理之后，采用2-5中的方法提取特 征并歸一化。9.圖像庫初步篩選。用長寬比和圓形度特征計算輸入圖像與庫中圖像的距離，設定閾值，大于閾值的 圖像篩除，小于閾值的圖像保留。10.分組距離計算。對于9中經過初步篩選的圖像，計算出的輸入圖像的每組特征與圖像中的每組特 征分別一一進行比對，得到四組特征間的距離。d(B)，d(S)，d(G)，d(T)。11.計算每一組特征距離的均值P (B)，u⑶，u (G), u (T)和標準差o⑶， o ⑶，o (G)，o ⑴。12.將11中計算出的每組特征的相似距離分別用下式進行距離歸一化 其中d表示每組特征的原始距離，d’表示經過歸一化的距離，P為每組特征距離 的均值，o表示標準差。13.將歸一化后的距離加權融合，得到最終的圖像間的相似度距離d = Wid' (B)+w2d，(S)+w3d，(G)+w4d，(T)其中Wl+w2+w3+w4 = 1，d，(B)，d，(S)，d，(G)，d，(T)分別為采用四組特征得到的 相似距離歸一化后的結果。因為外觀設計專利設計圖像主要的特征為形狀特征，根據多次 實驗比較設置四個權值為= 0. 3，w2 = 0. 4，w3 = 0. 15，w4 = 0. 15。14.按照最終計算出的距離由小到大的順序，輸出相應的外觀專利圖像作為結果 返回給用戶。
權利要求
一種多特征融合的外觀設計專利圖像檢索方法，其特征在于該圖像檢索方法步驟如下步驟1建立外觀設計專利圖像庫，對所有圖像進行預處理；步驟2從圖像中計算外觀設計專利的長寬比L和圓形度R作為簡單幾何特征；步驟3采用canny算子對圖像進行邊緣檢測之后得到圖像的邊界，對邊界上的每一個點計算切線方向，以5度為范圍進行劃分，構成72級的邊界方向直方圖，以此作為邊界形狀特征向量B{b1，b2，...b72}；步驟4將圖像x方向和y方向分別劃分5等份，統(tǒng)計每一行或每一列中圖像中物體的寬度或高度所占整體寬度或高度的比重p，分別對每一份中所有的比重p求均值ap和方差sp，得到圖像的結構特征S{ap1，sp1，ap2，sp2，...ap10，sp10}；步驟5采用Gabor濾波方法提取圖像的紋理特征，對圖像經過Gabor小波變換后計算在不同尺度和方向上的系數(shù)幅度序列的均值u和標準差s，取尺度數(shù)M＝5，方向數(shù)N＝6，則計算出的紋理特征向量為G{u00，s00，u01，s01，...u45，s45}；步驟6將圖像分為5*5個小塊，統(tǒng)計每一塊中物體的像素總數(shù)與分塊大小的比值，得到特征T{t1，t2，...t25}；步驟7對所有特征向量分組進行特征的歸一化，寫入外觀設計專利圖像庫；步驟8對于用戶的輸入，經過圖像的歸一化和預處理之后，采用步驟2～步驟5中的方法提取特征并歸一化；步驟9用長寬比和圓形度特征計算輸入圖像與庫中圖像的距離，設定閾值，大于閾值的圖像篩除，小于閾值的圖像保留；步驟10對于步驟9中經過初步篩選的圖像，計算出的輸入圖像的每組特征與圖像中的每組特征分別一一進行比對，得到四組特征間的距離d(B)、d(S)、d(G)、d(T)，將四組距離分別歸一化并加權融合得到最終的距離d；步驟11按照d由小到大的順序，輸出相應的外觀專利圖像作為結果返回給用戶。
2.如權利要求1中所述的檢索方法，其特征在于上述步驟1中圖像預處理包括圖像 大小歸一化，圖像去噪和圖像分割；圖像大小歸一化的過程是，首先截取圖像中物體的外切 矩形包含的內容，圖像寬度設為固定值，圖像高度隨著截取圖像的長寬比計算。
3.如權利要求1中所述的檢索方法，其特征在于上述步驟5中采用Gabor濾波方法 提取圖像的紋理特征的步驟如下步驟1):構造多尺度多方向的Gabor小波函數(shù) 一個2-D的Gabor函數(shù)如下 對V(x，y)經過伸縮及旋轉得到一組自相似Gabor小波函數(shù) 其中m，n分別為小波的尺度和方向，用M，N表示尺度數(shù)和方向數(shù)，則 其中 a為伸縮因子a>1,θ=nπ/N;步驟2)對于一幅給定的大小為P*Q的圖像I (x，y)，它的Gabor小波變換如式如下 其中為Vmn(S，t)的共軛復數(shù)，s，t代表了 Gabor濾波器模板變量，上式即是用 不同尺度不同方向構造出的Gabor濾波器模板對圖像進行濾波操作；步驟3)計算對圖像變換后不同尺度不同方向上的系數(shù)幅度序列的均值和標準差， 將計算出的所有均值、方差做為目標物體的紋理特征，取M = 5，N = 6，則計算出的紋 理特征向量為G{uqq，s00，u01，s01, u45，s45； o
4.如權利要求i中所述的檢索方法，其特征在于上述步驟10中距離歸一化并加權融 合的步驟如下步驟1):計算特征庫中任意兩幅圖像對應特征向量的距離(1(8)、(1(5)、(1的)、(100 ；步驟2)計算每一組特征距離的均值p (B)、i! (S)、u (G), u (T)和標準差O (B)、 o ⑶、o (G)、o ⑴；步驟3)將步驟2)中計算出的每組特征的相似距離分別用下式進行距離歸一化； 步驟4)將歸一化后的距離加權融合，得到最終的圖像間的相似度距離d = Wid' (B)+w2d，(S)+w3d，(G)+w4d，(T)其中wi+w2+w3+w4 = l，d’(B)、d’(S)、d’(G)、d’(T)分別為采用四組特征得到的相似 距離歸一化后的結果，外觀設計專利設計圖像主要的特征為形狀特征，根據多次實驗比較 設置四個權值為 = 0. 3，w2 = 0. 4，w3 = 0. 15，w4 = 0. 15。
全文摘要
本發(fā)明公開了一種多特征融合的外觀設計專利圖像檢索方法，根據外觀設計專利圖像的特點，設計特征提取的方法和圖像檢索的流程；在特征提取方面采用將整體特征和局部特征相融合的方法，采用邊界方向直方圖算法和結構特征描述形狀特征；采用Gabor濾波算法和分塊特征統(tǒng)計法提取紋理特征，圖像檢索過程中首先采用幾何特征進行比較，根據閾值對圖像篩選；其次用形狀特征和紋理特征進行相似度匹配，將圖像按相似度大小排序返回；本發(fā)明通過提取外觀專利圖像整體和局部較為全面的特征以及檢索過程中的分步篩選，提供了一種高效率、高準確率的外觀設計專利圖像檢索方法。
文檔編號G06F17/30GK101847163SQ20101019134
公開日2010年9月29日 申請日期2010年5月28日 優(yōu)先權日2010年5月28日
發(fā)明者張國宏, 戴青云, 曹江中, 潘晴, 蔡念 申請人:廣東工業(yè)大學