一種商標(biāo)圖像識別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視覺目標(biāo)檢測與識別技術(shù)領(lǐng)域，具體涉及一種商標(biāo)圖像識別方法。
【背景技術(shù)】
[0002] 近年來，隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展和普及，尤其是社交網(wǎng)站的不斷推廣和應(yīng)用， 網(wǎng)絡(luò)上的圖像呈快速增長趨勢，這使得網(wǎng)絡(luò)媒體成為最具潛力的廣告及商業(yè)平臺。品牌跟 蹤是近些年出現(xiàn)的一種服務(wù)，通過分析品牌在媒體上曝光的頻繁程度以及用戶的評價來評 估品牌的成長。傳統(tǒng)的分析方法有兩種，一種是依靠人工進(jìn)行分析和統(tǒng)計(jì)，由于網(wǎng)絡(luò)媒體數(shù) 量巨大，這種方式需要耗費(fèi)大量的人力和時間；第二種方式是通過網(wǎng)站的關(guān)鍵詞搜索功能 檢索相關(guān)的圖像，然而關(guān)鍵詞并不一定與內(nèi)容密切相關(guān):一方面搜索結(jié)果中含有大量噪聲， 盡管含有關(guān)鍵詞，但經(jīng)常與品牌并不相關(guān)，另一方面大量含有商標(biāo)的圖像無法檢索到。因此 設(shè)計(jì)一種對圖像內(nèi)容進(jìn)行分析，自動識別其中所含商標(biāo)的方法，具有重要的商業(yè)應(yīng)用價值。
[0003] 近年來，研究人員提出了一些基于"詞袋模型"的商標(biāo)識別方法:首先從圖像中提 取SIFT或SURF特征，然后對這些特征進(jìn)行聚類，形成視覺詞，然后將原始特征進(jìn)行量化得到 這些視覺詞，這樣每張圖像就可以表示成視覺詞的集合。跟直接使用原始的特征相比，量化 后的特征維度大大降低，可以用于大規(guī)模的商標(biāo)識別任務(wù)。但是，基于"詞袋模型"的方法存 在兩點(diǎn)不足:一是量化過程在降低原始特征維度的同時，也在一定程度上降低了原始特征 的表示能力，導(dǎo)致兩個原本不同的特征在量化后可能會被認(rèn)為是相同的，稱為"誤匹配"。為 了盡可能地減少這些誤匹配，研究者們提出了一系列方法。代表作包括S.Romberg等人2013 年在文獻(xiàn)"Bundle min-hashing for logo recognition"中提出的同時考慮相鄰的多個關(guān) 鍵點(diǎn)的方法，以及C.Wan等人2013年在文獻(xiàn)"Tree-based shape descriptor for scalable logo detection"中提出的將空間位置滿足一定條件的四個關(guān)鍵點(diǎn)組合成一種樹形結(jié)構(gòu)的 方法。這些方法能在一定程度上緩解誤匹配的問題，但是它們對圖像的仿射變換以及關(guān)鍵 點(diǎn)缺失的魯棒性還有不足。
[0004] 基于"詞袋模型"的方法的第二個不足之處在于圖像中存在大量與商標(biāo)不相關(guān)的 關(guān)鍵點(diǎn)，這些關(guān)鍵點(diǎn)不僅會干擾商標(biāo)的正確識別，同時也會嚴(yán)重影響識別速度。為了去除這 些不相關(guān)的關(guān)鍵點(diǎn)，比較直接的做法是僅考慮出現(xiàn)在商標(biāo)區(qū)域中的那些關(guān)鍵點(diǎn)，但是，對于 不同類型的商標(biāo)，檢測出來的關(guān)鍵點(diǎn)數(shù)量差異很大，如果太少會影響識別效果，如果太多會 降低識別速度;另外，那些出現(xiàn)在商標(biāo)區(qū)域內(nèi)的關(guān)鍵點(diǎn)有很多是與背景相關(guān)的，它們與商標(biāo) 本身并沒有什么相關(guān)性。所以，只考慮出現(xiàn)在商標(biāo)區(qū)域內(nèi)的關(guān)鍵點(diǎn)的方法并不能很好地去 除那些商標(biāo)無關(guān)的關(guān)鍵點(diǎn)。
[0005] 綜上所述，現(xiàn)有的商標(biāo)識別技術(shù)存在兩個不足之處:一是沒有一種對圖像仿射變 換和關(guān)鍵點(diǎn)缺失具有較好魯棒性的誤匹配消除方法;二是沒有在識別過程中能有效過濾那 些與商標(biāo)不相關(guān)關(guān)鍵點(diǎn)的方法。

【發(fā)明內(nèi)容】

[0006] 針對現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種新的商標(biāo)圖像識別方法，該技術(shù)采用首 先使用基于互信息的特征選擇方法來過濾掉大量與商標(biāo)不相關(guān)的特征點(diǎn)，然后使用一種新 的拓?fù)浼s束方法來消除誤匹配，通過二者的結(jié)合，能夠達(dá)到識別速度快、識別率高的效果。
[0007] 本發(fā)明的一種商標(biāo)圖像識別方法，包括如下步驟：
[0008] 首先采用基于互信息的特征選擇方法來過濾掉大量與商標(biāo)不相關(guān)的特征點(diǎn)，包含 以下步驟：
[0009] (1)對于待識別的每種商標(biāo)，準(zhǔn)備一定數(shù)量(不少于5張）的訓(xùn)練樣本，保證商標(biāo)在 每張樣本中至少出現(xiàn)一次；
[0010] (2)對每張訓(xùn)練樣本提取局部特征，如SIFT(Scale_Invariant Feature Transform)、SURF(Speeded Up Robust Features)特征，并對特征進(jìn)行聚類和量化，將每張 訓(xùn)練樣本表示成視覺詞集合；
[0011] (3)對于每種商標(biāo)，將包含該商標(biāo)的樣本作為正樣本，不包含該商標(biāo)的樣本作為負(fù) 樣本，計(jì)算正樣本所包含的所有視覺詞的互信息，基于互信息對這些視覺詞進(jìn)行排序，選取 互信息值最大的前η(默認(rèn)100)個作為識別這種商標(biāo)的特征。
[0012] 進(jìn)一步，基于選取出來的特征對測試圖片進(jìn)行商標(biāo)識別，包含以下步驟：
[0013] (4)對每張測試圖像提取相同的局部特征，然后利用步驟(2)得到的聚類中心對這 些特征進(jìn)行量化，將測試圖像表示成視覺詞的集合；
[0014] (5)關(guān)鍵點(diǎn)匹配:首先利用步驟(3)中選取出來的前η個視覺詞特征對測試圖像的 關(guān)鍵點(diǎn)進(jìn)行過濾，僅保留那些包含在這η個視覺詞集合中的關(guān)鍵點(diǎn)。對測試圖像與待識別商 標(biāo)的每張正樣本進(jìn)行匹配，得到初始匹配點(diǎn)對，并記錄匹配關(guān)鍵點(diǎn)對的位置信息。
[0015] 進(jìn)一步，利用特征點(diǎn)的拓?fù)潢P(guān)系來消除誤匹配的方法，具體步驟如下：
[0016] (6)對于步驟(5)中得到的每對匹配點(diǎn)，找到它們在各自圖像中距離最近的k(默認(rèn) 10)個關(guān)鍵點(diǎn)，對這k個關(guān)鍵點(diǎn)各添加一個關(guān)于中心點(diǎn)（匹配點(diǎn)）的對稱點(diǎn)，然后對著2k個關(guān) 鍵點(diǎn)按順時針方向進(jìn)行排序，分別得到兩個2k長度，并且首尾相連的序列；
[0017] (7)對步驟(6)中得到的兩個序列求最長公共子序列(LCS)，再求出最長公共子序 列占所有2k個關(guān)鍵點(diǎn)的比例，作為匹配點(diǎn)對之間的匹配度，如果匹配度小于閾值α(默認(rèn) 0.6)，則認(rèn)為是誤匹配，將它們從匹配點(diǎn)對中剔除;本發(fā)明中的消除誤匹配的方法也可以單 獨(dú)使用，用于去除錯誤匹配的關(guān)鍵點(diǎn)對；
[0018] (8)統(tǒng)計(jì)保留下來的匹配點(diǎn)對中不同視覺詞的數(shù)目作為測試圖像與樣本之間的相 似度；
[0019] (9)計(jì)算測試圖像與待識別商標(biāo)的所有正樣本之間的最大相似度，作為判斷測試 圖像是否包含該商標(biāo)的置信度，如果置信度大于閾值β，則認(rèn)為測試圖像包含這種商標(biāo)。
[0020] 本發(fā)明的有益效果在于：能夠快速準(zhǔn)確地從圖像中自動識別出是否包含某種商 標(biāo)，在普通PC機(jī)上識別一類商標(biāo)的速度約為20ms/張，識別精度可以達(dá)到90%以上，達(dá)到了 實(shí)際應(yīng)用水平。本發(fā)明之所以具有上述效果，其原因在于:本發(fā)明采用特征選擇來過濾掉大 量與目標(biāo)商標(biāo)不相關(guān)的特征點(diǎn)，降低了它們對識別結(jié)果的干擾，同時降低了后續(xù)步驟的時 間復(fù)雜度;在此基礎(chǔ)上，利用一種對圖像仿射變換和關(guān)鍵點(diǎn)缺失都具有較好魯棒性的拓?fù)?約束來消除錯誤匹配，能夠進(jìn)一步提高識別精度。
【附圖說明】
[0021] 圖1是本發(fā)明的技術(shù)流程圖。
[0022] 圖2是采用具體圖像的技術(shù)流程圖。
[0023]圖3是特征選擇效果圖。
[0024]圖4是添加對稱點(diǎn)示意圖。
[0025]圖5是拓?fù)浼s束示意圖。
[0026]圖6是消除誤匹配效果圖。
【具體實(shí)施方式】
[0027]下面結(jié)合附圖和具體實(shí)例對本發(fā)明作進(jìn)一步詳細(xì)的描述。
[0028]本發(fā)明是一種商標(biāo)圖像識別方法，其技術(shù)流程如圖1和圖2所示，具體包含以下步 驟：
[0029] (1)準(zhǔn)備正樣本，提取視覺特征
[0030] 對待識別的每種商標(biāo)準(zhǔn)備一定數(shù)量的訓(xùn)練樣本，并對這些訓(xùn)練樣本提取一種局部 特征，如SIFT特征或者SURF特征，然后對提取出來的特征進(jìn)行聚類和量化，得到關(guān)鍵點(diǎn)的視 覺詞表示，如公式一所示：
[0031] 公式一 :k={P(k)，S(k)，I(k)}
[0032] 其中，k表示第k個關(guān)鍵點(diǎn)，P(k)表示位置，S(k)表示尺度，I(k)表示最近的聚類中 心。
[0033] (2)基于互信息的特征選擇
[0034]對于每種商標(biāo)，將所有訓(xùn)練樣本中包含該商標(biāo)的樣本作為正樣本，不包含該商標(biāo) 的樣本作為負(fù)樣本，計(jì)算正樣本中所有視覺詞的互信息，計(jì)算方法如公式二所示：
[0036]其中，c表示正樣本所屬類別，t表示正樣本中的某個視覺詞;表示包含或不包含 (i = l表示包含，i = 〇表示不包含)視覺詞t并且屬于或不屬于（j = l表示屬于，j = 0表示不 屬于)正樣本的圖片數(shù)量。舉例來說，N1Q表示包含視覺詞t但不屬于類別c的圖片數(shù)量，以此 類推。Ni. =Ni〇+Nii，N. j = N〇j+Nij，Ν=Νοο+Νοι+Νιο+Νιι〇
[0037]接著我們按照I(t，c)從大到小對所有視覺詞進(jìn)行排序，選取前n(默認(rèn)100,也可以 是其它值)個視覺詞作為后續(xù)識別這種商標(biāo)的特征。因?yàn)榛バ畔⑹呛饬刻卣髋c類別相關(guān)性 的重要指標(biāo)，互信息值越大，表示特征與類別的相關(guān)性越大，在分類(識別)過程中對結(jié)果的 影響也越大，所以利用特征選擇，能夠過濾掉大量與目標(biāo)商標(biāo)不相關(guān)的視覺詞(對應(yīng)的關(guān)鍵 點(diǎn)也隨之被過濾掉），一方面能夠降低它們對識別結(jié)果的干擾，另一方面能夠極大地縮短后 續(xù)匹配和校驗(yàn)的時間，進(jìn)而提高整體的識別速度。特征選擇的效果如圖3所示，圖中共有四 對圖像，每對圖像中左圖為特征選擇前的圖像，右圖為特征選擇后的圖像。
[0038] (3)關(guān)鍵點(diǎn)匹配
[0039]對于測試圖片，在識別它是否包含某種商標(biāo)的時候，需要計(jì)算它與這種商標(biāo)的所 有正樣本之間的相似度，然后基于最大相似度來判斷它是否包含這種商標(biāo)，如果大于閾值 β，則認(rèn)為測試圖像包含這種商標(biāo)。計(jì)算測試圖片與正樣本之間相似度的流程如下：
[0040] 同（1)，首先對測試圖片提取相同的局部特征，然后利用（1)中得到的聚類中心對 特征進(jìn)行量化，將測試圖片表示成視覺詞集合。然后利用（2)中得到的η個特征對測試圖片 進(jìn)行關(guān)鍵點(diǎn)過濾，僅保留那些在這η個視覺詞范圍內(nèi)的關(guān)鍵點(diǎn)，這樣測試圖片與正樣本中剩 下的關(guān)鍵點(diǎn)數(shù)目跟η在同一個數(shù)量級。<