一種基于層次化稀疏建模的圖像顯著性檢測(cè)方法
【專利摘要】本發(fā)明公開了一種基于層次化稀疏建模的圖像顯著性檢測(cè)方法，主要解決在計(jì)算機(jī)視覺領(lǐng)域內(nèi)通過模擬靈長(zhǎng)類動(dòng)物的視覺注意機(jī)制，在復(fù)雜場(chǎng)景中迅速定位感興趣區(qū)域以進(jìn)行快速場(chǎng)景分析的問題，其主要步驟包括：(1)構(gòu)造基于顏色和方向信息的多尺度特征圖；(2)創(chuàng)建基于逐層自表示建模的顏色顯著圖；(3)形成基于多尺度信息融合的顯著圖；(4)提取基于Otsu最優(yōu)閾值分割的顯著物體。本發(fā)明具有較高的檢測(cè)率和較低的虛警率，并取得了較經(jīng)典顯著檢測(cè)方法更優(yōu)的性能，可以用于圖像分割等領(lǐng)域。
【專利說明】-種基于層次化稀疏建模的圖像顯著性檢測(cè)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺研究領(lǐng)域，具體是一種基于層次化稀疏建模的圖像顯著性 檢測(cè)方法，可用于模擬靈長(zhǎng)類動(dòng)物的視覺注意機(jī)制，對(duì)場(chǎng)景的顯著區(qū)域進(jìn)行提取和分析。

【背景技術(shù)】
[0002] 靈長(zhǎng)類動(dòng)物在有限的神經(jīng)元處理速度下可以對(duì)復(fù)雜場(chǎng)景實(shí)現(xiàn)實(shí)時(shí)高效的解譯，歸 因于它們所特有的視覺注意機(jī)制。Itti等人的視覺注意理論將視覺注意模型分為兩個(gè)階 段：快速的、潛意識(shí)的、自底向上的、數(shù)據(jù)驅(qū)動(dòng)的顯著性提取；以及慢速的、基于任務(wù)的、自 頂向下的、目標(biāo)驅(qū)動(dòng)的顯著性提取。本發(fā)明受生物視覺注意機(jī)制中層次化感知特點(diǎn)的啟發(fā)， 通過逐層稀疏建模的方式建立起視覺顯著性的計(jì)算框架。在計(jì)算機(jī)視覺領(lǐng)域，顯著圖可以 對(duì)感興趣物體的提取、目標(biāo)識(shí)別、自適應(yīng)壓縮和圖像檢索等應(yīng)用提供支持，具有重要的意 義。
[0003] 目前，顯著性檢測(cè)可大致分為3個(gè)研究方向，即基于人眼跟蹤的聚焦點(diǎn)預(yù)測(cè)、顯著 物體提取和顯著物體估計(jì)。人眼聚焦模型旨在預(yù)測(cè)人在觀察場(chǎng)景時(shí)所關(guān)注的特定點(diǎn)，顯著 物體檢測(cè)旨在從場(chǎng)景中發(fā)現(xiàn)感興趣物體并且將其從整個(gè)內(nèi)容中分割出來，顯著物體估計(jì)旨 在用一小組邊界盒來定位出顯著物體的區(qū)域，以提高傳統(tǒng)滑動(dòng)窗口的在物體定位上的效 率。顯著物體提取的現(xiàn)有方法可以被大致分為基于生物啟發(fā)的、基于純計(jì)算的和兩者結(jié)合 的。多數(shù)的方法一般都通過比較圖像區(qū)域和它們周圍區(qū)域在亮度、顏色和方向上的相對(duì)差 異來進(jìn)行顯著性的度量。
[0004] 生物啟發(fā)的顯著性檢測(cè)方法中最具代表性的是1998年Itti等人所提出的模型。 Itti的顯著檢測(cè)方法基于Koch等人提出的用特征集成理論來解釋人類視覺搜索策略的生 物結(jié)構(gòu)模型。視覺輸入被分為亮度通道、紅綠和藍(lán)黃顏色通道、Gabor方向通道，不同的空間 位置在每幅圖中競(jìng)爭(zhēng)顯著性使得只有與局部相比突出的位置可以被保持。所有通道上得到 的特征圖依據(jù)自底向上的方式來融合成最終的顯著圖。這種模型用動(dòng)態(tài)高斯金字塔來產(chǎn)生 9個(gè)尺度的圖像，通過線性的中心周圍差異操作來模擬視覺接收?qǐng)龅奶匦?，并提出了符合?覺皮層的顯著圖歸一化方法，得到了較為理想的結(jié)果。
[0005] 純計(jì)算的顯著性檢測(cè)方法沒有太多生物視覺原理上的支持，但大多都有堅(jiān)實(shí)的理 論框架支持，其中以Hou等人在2007年所提出的基于譜殘差和2012年基于圖像符號(hào)的譜 理論最具代表性。譜殘差從信息論的觀點(diǎn)出發(fā)將圖像分為Innovation和Prior Knowledge 兩部分，并結(jié)合自然圖像在log-log尺度上所呈現(xiàn)出的線性特性，認(rèn)為顯著性部分是平滑 的log-log曲線以外的部分。借助于對(duì)圖像譜域的平滑結(jié)果來逼近Prior Knowledge的譜， 最終的顯著部分的譜是原圖的譜和Prior Knowledge的譜之差，并取殘差譜的傅里葉逆變 換來得到最終的顯著圖。這種方法計(jì)算得到的為低分辨的顯著圖，并且傾向于突出圖像中 的邊緣部分。給定一幅輸入圖像I (X)，其計(jì)算過程如下。
[0006]

【權(quán)利要求】
1. 一種基于層次化稀疏建模的圖像顯著性檢測(cè)方法，其特征在于：包括如下步驟： (1) 基于顏色和方向信息的多尺度特征圖構(gòu)造： la) 將一幅輸入圖像在水平方向和垂直方向上隔行隔列采樣，形成大小為原圖1/2的 低分辨率圖像，對(duì)此低分辨率圖像繼續(xù)進(jìn)行下采樣，得到大小為原圖1/4的更低分辨率的 圖像，將原圖和這兩幅降采樣后的圖像作為3個(gè)尺度上的輸入圖像； lb) 對(duì)于3個(gè)尺度上的輸入圖像，將紅綠藍(lán)三個(gè)彩色通道作為顏色特征圖的元素，用于 稀疏建模的特征，對(duì)于每一個(gè)尺度上輸入圖像的亮度圖，使用Gabor濾波器在0, 45, 90和 135度四個(gè)方向上對(duì)其進(jìn)行方向?yàn)V波得到描述圖像方向信息的四幅方向?yàn)V波圖，作為后續(xù) 方向顯著圖的基礎(chǔ)； (2) 基于逐層自表示建模的顏色顯著圖創(chuàng)建： 2a)將3個(gè)尺度上輸入圖像的顏色特征圖按照16*16的分塊大小無重疊地分為大小相 同的子塊，每一個(gè)子塊作為顯著性描述的基本單元； 2b)按照自表示模型的數(shù)據(jù)組織形式，把每個(gè)子塊的所有顏色特征組合起來并形成一 個(gè)代表子塊結(jié)構(gòu)特性的特征向量，所有子塊的特征向量依次排列成為一個(gè)大的矩陣作為自 表示模型中的原始數(shù)據(jù)矩陣Y ; 2c)將數(shù)據(jù)矩陣Y作為優(yōu)化問題 min專 L+全 ||<-樹以 lrC = lT 的輸入，使用交替乘子方向ADMM優(yōu)化算法求解此自表示模型的解，優(yōu)化算法中對(duì)系數(shù) 矩陣C施加行稀疏的約束，以用盡量少的元素來表示所有數(shù)據(jù)；經(jīng)過多次迭代之后便會(huì)得 到自表示模型的解；按照所提出的顯著性和稀疏系數(shù)之間的求解公式得到每個(gè)子塊在第一 層次的顯著描述， eiiqi / = 1,2, I j=i 其中，Si表示第i個(gè)子塊的顯著值，Cu為系數(shù)矩陣中第i行j列的元素，V為子塊的個(gè) 數(shù)； 2d)對(duì)于第1個(gè)尺度上的各子塊，將其顯著值和所有子塊顯著值均值的2倍做比較，如 果小于均值的2倍則認(rèn)為此子塊在第1個(gè)尺度上是非顯著的，否則認(rèn)為是顯著的；在第2個(gè) 層次上丟棄那些被認(rèn)為是非顯著的子塊，對(duì)每一個(gè)顯著的子塊進(jìn)行進(jìn)一步的自表示建模； 2e)將每個(gè)顯著子塊進(jìn)一步分割為大小為8*8的更小的子塊，并將對(duì)應(yīng)的顏色特征組 織成自表示模型的數(shù)據(jù)矩陣，經(jīng)過ADMM優(yōu)化算法優(yōu)化求解之后會(huì)得到進(jìn)一步分割后的各 子塊的稀疏系數(shù)； (3) 基于多尺度信息融合的顯著圖形成： 3a)經(jīng)過以上步驟之后，在每個(gè)尺度上形成了兩幅顏色顯著圖和四幅方向?yàn)V波圖，將兩 幅不同層次上得到的顏色顯著圖相加形成每個(gè)尺度上的顏色顯著圖，代表圖像逐層遞進(jìn)的 顏色顯著信息；同時(shí)將四幅方向?yàn)V波圖也相加形成每個(gè)尺度上的方向顯著圖，代表每個(gè)尺 度上圖像的邊緣顯著信息； 3b)將每個(gè)尺度上得到的顏色顯著圖和方向顯著圖進(jìn)行歸一化操作，使得兩者具有相 同的描述范圍，之后對(duì)以上結(jié)果相加形成每個(gè)尺度上融合后的顯著圖，用以表示特定尺度 上所得到的顯著描述結(jié)果； 3c)最后將3個(gè)尺度上的顯著圖進(jìn)行尺度上的統(tǒng)一，亦即將每一幅顯著圖調(diào)整到原始 圖像的大小，通過對(duì)所有的結(jié)果按位置求平均便可以得到最終的顯著圖； (4)基于Otsu最優(yōu)閾值分割的顯著物體提?。? 4a)將通過以上步驟所得顯著圖的灰度級(jí)范圍調(diào)整在0到255的8位灰度級(jí)下，運(yùn)用具 有二值分割效果的Otsu算法對(duì)其進(jìn)行分割，得到前景和背景區(qū)域，前景區(qū)域?yàn)樵诖艘?guī)則下 得到的顯著區(qū)域，背景是非顯著區(qū)域； 4b)根據(jù)分割后的索引圖像，從原圖中提取出前景部分的區(qū)域，將背景部分的區(qū)域設(shè)為 黑色，自此便完成了顯著檢測(cè)的所有階段，之后用受試者運(yùn)行曲線、正確率召回率曲線和平 均正確率、召回率及F-measure值常用數(shù)字評(píng)價(jià)指標(biāo)對(duì)所得顯著圖的好壞進(jìn)行客觀評(píng)價(jià)， 并和經(jīng)典的顯著檢測(cè)算法進(jìn)行比較驗(yàn)證其有效性。
2.如權(quán)利要求1所述的一種基于層次化稀疏建模的圖像顯著性檢測(cè)方法，其特征在 于：步驟（2)中的2d)步驟所述的對(duì)每一個(gè)顯著的子塊進(jìn)行進(jìn)一步的自表示建模，其具體方 法如下： 將顯著值大于平均值Th倍的子塊保留用作下一層的自表示建模，并舍棄其余子塊，按 照如下的準(zhǔn)則進(jìn)行子塊的取舍： if -%->Th label. ιΔΣ? i-i else 13-be 1 ^ - 0 其中，Th為預(yù)設(shè)的閾值，將其設(shè)定為2, labeli表示第i個(gè)子塊是否被保留，如果為1則 表明保留，并進(jìn)行下一層的自表示建模，為〇則表示舍棄此子塊。
【文檔編號(hào)】G06T7/00GK104240256SQ201410499111
【公開日】2014年12月24日 申請(qǐng)日期:2014年9月25日 優(yōu)先權(quán)日:2014年9月25日
【發(fā)明者】楊淑媛, 焦李成, 王士剛, 張凱, 侯彪, 劉紅英, 馬晶晶, 馬文萍, 熊濤, 劉趙強(qiáng) 申請(qǐng)人:西安電子科技大學(xué)