專利名稱：一種構(gòu)建圖像數(shù)據(jù)庫(kù)的方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種含物體分類和精細(xì)輪廓分割標(biāo)注的圖像數(shù)據(jù)庫(kù)的半自動(dòng)構(gòu)建方法與系統(tǒng)。
背景技術(shù)：
隨著多媒體技術(shù)的迅速發(fā)展，各種圖像視頻資源極大豐富，互聯(lián)網(wǎng)上每天都會(huì)增加大量用戶拍攝和創(chuàng)作的圖像。然而這些圖像往往只含有文字標(biāo)簽，而且標(biāo)注的準(zhǔn)確性缺乏保證，用戶要在海量圖像中搜尋符合其意愿的物體和角色往往需要先通過關(guān)鍵詞搜索，然后在海量結(jié)果中逐一尋找。近些年來，為解決這一問題，計(jì)算機(jī)圖形學(xué)和多媒體領(lǐng)域的科研人員做了關(guān)于基 于內(nèi)容的大量互聯(lián)網(wǎng)圖像檢索的研究，例如現(xiàn)有技術(shù)中提出了一種基于草圖的互聯(lián)網(wǎng)圖像檢索方法以及一種跨類型圖像檢索的方法，只是這些方法均不能實(shí)時(shí)地檢索出用戶需要的圖像內(nèi)容，于是為每類物體構(gòu)建大量的具有精細(xì)輪廓分割標(biāo)注的圖像數(shù)據(jù)庫(kù)，成為解決這一問題的一種方案，但是現(xiàn)有的數(shù)據(jù)庫(kù)通常是通過人工構(gòu)建，其速度慢，耗費(fèi)人力，最終生成的數(shù)據(jù)庫(kù)規(guī)模小。因此需要一種能夠快速構(gòu)建大規(guī)模含物體分類和精細(xì)輪廓分割標(biāo)注的圖像數(shù)據(jù)庫(kù)的有效方法，來改善現(xiàn)有技術(shù)存在的不足。

發(fā)明內(nèi)容
為了解決上述問題，本發(fā)明提供了一種構(gòu)建圖像數(shù)據(jù)庫(kù)的方法及其系統(tǒng)，通過提供一種能夠快速構(gòu)建的含有物體分類和精細(xì)輪廓分割標(biāo)注的圖像數(shù)據(jù)庫(kù)，使用戶在對(duì)圖像數(shù)據(jù)庫(kù)進(jìn)行基于內(nèi)容的檢索時(shí)，可以快速的找到其所需要的圖像合成與創(chuàng)作資源。為到達(dá)上述目的，本發(fā)明通過以下的技術(shù)方案予以實(shí)現(xiàn)一種構(gòu)建圖像數(shù)據(jù)庫(kù)的方法，包括以下步驟A、利用關(guān)鍵詞從互聯(lián)網(wǎng)上自動(dòng)下載圖像、對(duì)下載的圖像進(jìn)行物體檢測(cè)并進(jìn)行初步過濾；C、對(duì)檢測(cè)到的物體進(jìn)行精細(xì)輪廓分害I]，得到分割圖元；D、對(duì)分割圖元進(jìn)行基于輪廓匹配的過濾，形成圖像數(shù)據(jù)庫(kù)；其中，每一個(gè)圖像中被分割出的前景物體稱為分割圖元。優(yōu)選的，所述步驟B中，對(duì)符合關(guān)鍵詞描述的物體檢測(cè)時(shí)，利用計(jì)算機(jī)視覺中對(duì)應(yīng)的前景物體檢測(cè)或顯著性區(qū)域檢測(cè)算法進(jìn)行檢測(cè)。優(yōu)選的，所述步驟B中，檢測(cè)為符合該類別關(guān)鍵詞的物體的概率需大于O. 3。優(yōu)選的，所述步驟B中，對(duì)檢測(cè)后的圖像根據(jù)圖像背景復(fù)雜程度進(jìn)行過濾。優(yōu)選的，所述步驟B中，進(jìn)一步包括以下步驟B1 :將每個(gè)圖像中位于檢測(cè)到的物體包圍盒之外的圖像進(jìn)行分割；B2 :計(jì)算分割塊數(shù)；B3 :基于B2所得塊數(shù)，按照所述塊數(shù)從少到多的順序?qū)ν魂P(guān)鍵詞下載到的圖像進(jìn)行排序；B4 :過濾出排序靠前的部分圖像。優(yōu)選的，所述步驟BI采用圖像超像素過分割算法對(duì)圖像進(jìn)行分割。優(yōu)選的，所述步驟C采用基于圖分割的圖像自動(dòng)分割算法對(duì)檢測(cè)到的物體進(jìn)行精細(xì)輪廓分割。
優(yōu)選的，所述步驟C中采用集合F和集合M作為圖分割算法的約束區(qū)域，初始前景物體的檢測(cè)區(qū)域作為圖分割算法的初始區(qū)域，其中集合F包括物體檢測(cè)中每個(gè)局部區(qū)域的中心點(diǎn)和檢測(cè)概率較高的像素，集合M包括物體檢測(cè)中檢測(cè)概率最低的像素。優(yōu)選的，所述步驟D中的過濾為級(jí)聯(lián)形狀的過濾。優(yōu)選的，所述步驟D進(jìn)一步包括D1 :從步驟C生成的分割圖元中選擇至少一個(gè)作為參考依據(jù)；D2 :根據(jù)作為參考依據(jù)的分割圖元的輪廓對(duì)步驟C中生成的分割圖元的輪廓進(jìn)行仿射變換，獲得和作為參考依據(jù)的分割圖元的輪廓相匹配的分割圖元；D3 :對(duì)匹配的分割圖元進(jìn)行重新排序，獲得排序靠前的部分分割圖元。優(yōu)選的，所述步驟進(jìn)一步包括將所述部分分割圖元使用分層數(shù)的形狀匹配算法進(jìn)行排序。 一種構(gòu)建圖像數(shù)據(jù)庫(kù)的處理系統(tǒng)，包括有圖像下載模塊、圖像處理模塊和最終過濾模塊；所述圖像下載模塊用于利用關(guān)鍵詞從互聯(lián)網(wǎng)上自動(dòng)下載圖像；圖像處理模塊用于將下載的圖片進(jìn)行物體檢測(cè)并初步過濾，進(jìn)而將其進(jìn)行精細(xì)輪廓分割，得到分割圖元；最終過濾模塊用于對(duì)分割圖元進(jìn)行基于輪廓匹配的過濾，最終生成圖像數(shù)據(jù)庫(kù)。本發(fā)明通過圖像處理和計(jì)算機(jī)視覺技術(shù)將互聯(lián)網(wǎng)上下載的海量圖像進(jìn)行分割、過濾，使其成為含物體類別標(biāo)注和精細(xì)分割標(biāo)注的圖像數(shù)據(jù)庫(kù)，該圖像數(shù)據(jù)庫(kù)通常能達(dá)到80%-90%的標(biāo)注準(zhǔn)確率；用戶可以通過繪制草圖或者調(diào)整骨架等方式快速地對(duì)圖像數(shù)據(jù)庫(kù)進(jìn)行基于內(nèi)容的檢索，從而快速找到其所需要的圖像合成與創(chuàng)作資源。


圖I為本發(fā)明的流程圖；圖2為本發(fā)明的系統(tǒng)框圖。
具體實(shí)施例方式下面對(duì)于本發(fā)明所提出的一種圖像數(shù)據(jù)庫(kù)半自動(dòng)構(gòu)建方法，結(jié)合附圖和實(shí)施例詳細(xì)說明。實(shí)施例I :如圖I所示，本發(fā)明提出的一種圖像數(shù)據(jù)庫(kù)半自動(dòng)構(gòu)建方法按以下步驟實(shí)現(xiàn):A、利用關(guān)鍵詞從互聯(lián)網(wǎng)上自動(dòng)下載圖像、對(duì)下載的圖像進(jìn)行物體檢測(cè)并進(jìn)行初步過濾；C、對(duì)檢測(cè)到的物體進(jìn)行精細(xì)輪廓分割，得到分割圖元；D、對(duì)分割圖元進(jìn)行基于輪廓匹配的過濾，形成圖像數(shù)據(jù)庫(kù)；其中，每一個(gè)圖像中被分割出的前景物體稱為分割圖元。優(yōu)選的，所述步驟B中，對(duì)符合關(guān)鍵詞描述的物體檢測(cè)時(shí)，利用計(jì)算機(jī)視覺中對(duì)應(yīng)的前景物體檢測(cè)或顯著性區(qū)域檢測(cè)算法進(jìn)行檢測(cè)。優(yōu)選的，所述步驟B中，檢測(cè)為符合該類別關(guān)鍵詞的物體的概率需大于O. 3。優(yōu)選的，所述步驟B中，對(duì)檢測(cè)后的圖像根據(jù)圖像背景復(fù)雜程度進(jìn)行過濾。優(yōu)選的，所述步驟B中，進(jìn)一步包括以下步驟B1將每個(gè)圖像中位于檢測(cè)到的物體包圍盒之外的圖像進(jìn)行分割；B2 :計(jì)算分割塊數(shù)；B3 :基于B2所得塊數(shù)，按照所述塊數(shù)從少到多的順序?qū)ν魂P(guān)鍵詞下載到的圖像進(jìn)行排序；B4 :過濾出排序靠前的部分圖像優(yōu)選的，所述步驟BI采用圖像超像素過分割算法對(duì)圖像進(jìn)行分割。
優(yōu)選的，所述步驟C采用基于圖分割的圖像自動(dòng)分割算法對(duì)檢測(cè)到的物體進(jìn)行精細(xì)輪廓分割。優(yōu)選的，所述步驟C中采用集合F和集合M作為圖分割算法的約束區(qū)域，初始前景物體的檢測(cè)區(qū)域作為圖分割算法的初始區(qū)域，其中集合F包括物體檢測(cè)中每個(gè)局部區(qū)域的中心點(diǎn)和檢測(cè)概率較高的像素，集合M包括物體檢測(cè)中檢測(cè)概率最低的像素。優(yōu)選的，所述步驟D中的過濾為級(jí)聯(lián)形狀的過濾。優(yōu)選的，所述步驟D進(jìn)一步包括D1 :從步驟C生成的分割圖元中選擇至少一個(gè)作為參考依據(jù)；D2 :根據(jù)作為參考依據(jù)的分割圖元的輪廓對(duì)步驟C中生成的分割圖元的輪廓進(jìn)行仿射變換，獲得和作為參考依據(jù)的分割圖元的輪廓相匹配的分割圖元；D3 :對(duì)匹配的分割圖元進(jìn)行重新排序，獲得排序靠前的部分分割圖元。
優(yōu)選的，所述步驟進(jìn)一步包括將所述部分分割圖元使用分層數(shù)的形狀匹配算法進(jìn)行排序。實(shí)施例2 如圖I所示，對(duì)于A步驟，為從互聯(lián)網(wǎng)上下載高質(zhì)量圖像數(shù)據(jù)，首先為每一類物體指定一個(gè)關(guān)鍵詞，這些關(guān)鍵詞一般由一個(gè)動(dòng)詞或形容詞加一個(gè)名字組成，從而增加從互聯(lián)網(wǎng)上下載圖像的初始正確率，例如“奔跑的男人”、“跳躍的狗”、“紅色的小汽車”;然后將這些關(guān)鍵詞放入互聯(lián)網(wǎng)圖像搜索引擎中(例如谷歌、Flickr、百度)進(jìn)行關(guān)鍵詞搜索，每個(gè)查詢結(jié)果中最多保留3000張圖像；其中，每幅圖像都有一個(gè)初始的關(guān)鍵詞標(biāo)簽，在下面幾步中，將去除初始圖像集合中不含該關(guān)鍵詞所指代物體的圖像，并對(duì)關(guān)鍵詞所指代的物體進(jìn)行精細(xì)輪廓分割。對(duì)于B步驟，對(duì)每一幅下載的圖像，本發(fā)明采用計(jì)算機(jī)視覺中的前景物體檢測(cè)算法來檢測(cè)圖像中符合關(guān)鍵詞描述的物體的大致區(qū)域。例如對(duì)“奔跑的男人”這類圖像，采用人體檢測(cè)算法；對(duì)“跳躍的狗”，采用四肢類動(dòng)物檢測(cè)算法；對(duì)“紅色的小汽車”，采用小汽車檢測(cè)算法；對(duì)于在計(jì)算機(jī)視覺中缺乏針對(duì)性檢測(cè)算法的一般類物體，可以使用機(jī)器學(xué)習(xí)的方法訓(xùn)練一個(gè)分類器，也可以采用計(jì)算機(jī)視覺中的顯著性檢測(cè)算法來計(jì)算前景物體的大致區(qū)域。為達(dá)到更好的檢測(cè)和分割結(jié)果，在檢測(cè)時(shí)應(yīng)使用偏保守的參數(shù)，即檢測(cè)為符合該類別關(guān)鍵詞的物體的概率需大于O. 3，以去除一些模棱兩可的檢測(cè)結(jié)果，在檢測(cè)后，所有沒有檢測(cè)到符合該類別關(guān)鍵詞的物體的圖像都被丟棄掉；對(duì)于檢測(cè)出多個(gè)符合該類別關(guān)鍵詞的物體的圖像，只保留那些沒有相互重疊的檢測(cè)結(jié)果。然后，根據(jù)圖像背景的復(fù)雜程度，對(duì)剩余的圖像繼續(xù)進(jìn)行過濾，只保留背景簡(jiǎn)單的圖像，因?yàn)檫@些圖像的前景可以較好的從背景中自動(dòng)分割出來。首先采用圖像超像素過分割算法將剩余圖像進(jìn)行分割，其中選用參數(shù)k=500 ;然后計(jì)算每個(gè)圖像在檢測(cè)到的物體包圍盒之外的分割塊數(shù)，通過這個(gè)塊數(shù)，對(duì)所有通過同一個(gè)關(guān)鍵詞下載到的圖像進(jìn)行排序，只保留前50%較少塊數(shù)的圖像。對(duì)于C步驟，每個(gè)檢測(cè)到的符合該類別關(guān)鍵詞的物體繼而通過基于圖分割的前景分割算法從圖像的背景中提取出來。首先，一些前景像素的集合F被標(biāo)記為“確定的前景像素”，一些背景的像素集合M被標(biāo)記為“確定的背景像素”，然后通過圖分割算法計(jì)算物體的輪廓邊界；集合F可以包括物體檢測(cè)中每個(gè)局部區(qū)域的中心點(diǎn)和檢測(cè)概率較高的像素；集合M可以包括物體檢測(cè)中檢測(cè)概率最低的像素；使用這些輔助確定像素集合以及初始前景物體檢測(cè)區(qū)域的膨脹作為圖分割算法的約束和初始區(qū)域，進(jìn)行迭代的圖分割即可得到較好的前景物體分割結(jié)果，每一個(gè)圖像中被分割出的結(jié)果被稱為分割圖元，但是在其中還存在部分分割結(jié)果錯(cuò)誤或者物體檢測(cè)錯(cuò)誤的分割圖元。對(duì)于步驟D，利用步驟C中分割的輪廓信息進(jìn)行基于輪廓匹配的過濾，把圖像庫(kù)中不正確的分割圖元去除；在該步驟中需要提供一個(gè)初始的正確輪廓作為匹配依據(jù)，因此需要用戶為每一個(gè)關(guān)鍵詞類別在對(duì)應(yīng)的分割圖元中挑選1-5個(gè)具有較好分割的物體，用他們的輪廓作為該關(guān)鍵詞具有代表性的關(guān)鍵輪廓，通常，它們是物體的同一個(gè)動(dòng)作或姿態(tài)在不同階段和不同視角的輪廓剪影。然后檢查每個(gè)類別中所有圖元與該類別所有代表性關(guān)鍵姿態(tài)的輪廓形狀的一致性；為構(gòu)建一個(gè)規(guī)模足夠大，質(zhì)量足夠高的人物角色圖像數(shù)據(jù)庫(kù)，本實(shí)施例采用多種形狀匹配算法進(jìn)行過濾，利用這些方法的互補(bǔ)性可以得到更小的假正率，并得到可以接受的處理效率。在本實(shí)施例中，首先采用仿射變換算法對(duì)圖元的輪廓和代表性姿態(tài)輪廓進(jìn)行仿射注冊(cè)；如果計(jì)算得到的仿射變換具有明顯的錯(cuò)切、長(zhǎng)寬比改變和旋轉(zhuǎn)，則認(rèn)為對(duì)應(yīng)的圖元具有不正確的分割，并把它丟棄掉；下一步，使用形狀相似性依據(jù)對(duì)剩下的 圖元進(jìn)行重新排序，并只保留前一半圖元；最后，使用分層樹的形狀匹配算法進(jìn)行最后一步排序，最后最多只保留前500個(gè)圖元。在每一步中，如果該類別有多個(gè)代表性輪廓，則選用匹配值最高的一個(gè)作為排序依據(jù)；最終所有類別的過濾結(jié)果組成含這些物體類別標(biāo)注和精細(xì)分割標(biāo)注的圖像數(shù)據(jù)庫(kù)。實(shí)施例3 如圖2所示，本發(fā)明還提供一種構(gòu)建圖像數(shù)據(jù)庫(kù)的處理系統(tǒng)，包括有圖像下載模塊、圖像處理模塊和最終過濾模塊；所述圖像下載模塊用于利用關(guān)鍵詞從互聯(lián)網(wǎng)上自動(dòng)下載圖像；圖像處理模塊是將下載的圖片進(jìn)行物體檢測(cè)并初步過濾，進(jìn)而將其進(jìn)行精細(xì)輪廓分割，得到分割圖元；最終過濾模塊對(duì)分割圖元進(jìn)行基于輪廓匹配的過濾，最終生成圖像數(shù)據(jù)庫(kù)。由以上實(shí)施例可以看出，本發(fā)明通過圖像處理和計(jì)算機(jī)視覺技術(shù)將互聯(lián)網(wǎng)上下載的海量圖像進(jìn)行分割、過濾，使其成為含物體類別標(biāo)注和精細(xì)分割標(biāo)注的圖像數(shù)據(jù)庫(kù)，該圖像數(shù)據(jù)庫(kù)通常能達(dá)到80%-90%的標(biāo)注準(zhǔn)確率，用戶可以通過繪制草圖或者調(diào)整骨架等方式快速地對(duì)圖像數(shù)據(jù)庫(kù)進(jìn)行基于內(nèi)容的檢索，從而快速找到其所需要的圖像合成與創(chuàng)作資源。以上實(shí)施方式僅用于說明本發(fā)明，而并非對(duì)本發(fā)明的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明的范疇，本發(fā)明的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。
權(quán)利要求
1.一種構(gòu)建圖像數(shù)據(jù)庫(kù)的方法，其特征在于，包括以下步驟 A、利用關(guān)鍵詞從互聯(lián)網(wǎng)上自動(dòng)下載圖像； B、對(duì)下載的圖像進(jìn)行物體檢測(cè)并進(jìn)行初步過濾； C、對(duì)檢測(cè)到的物體進(jìn)行精細(xì)輪廓分割，得到分割圖元； D、對(duì)分割圖元進(jìn)行基于輪廓匹配的過濾，形成圖像數(shù)據(jù)庫(kù)； 其中，每一個(gè)圖像中被分割出的前景物體稱為分割圖元。
2.如權(quán)利要求I所述的方法，其特征在于，所述步驟B中，對(duì)符合關(guān)鍵詞描述的物體檢測(cè)時(shí)，利用計(jì)算機(jī)視覺中對(duì)應(yīng)的前景物體檢測(cè)或顯著性區(qū)域檢測(cè)算法進(jìn)行檢測(cè)。
3.如權(quán)利要求I所述的方法，其特征在于，所述步驟B中，檢測(cè)為符合該類別關(guān)鍵詞的物體的概率需大于O. 3。
4.如權(quán)利要求I所述的方法，其特征在于，所述步驟B中，對(duì)檢測(cè)后的圖像根據(jù)圖像背景復(fù)雜程度進(jìn)行過濾。
5.如權(quán)利要求2所述的方法，其特征在于，所述步驟B中，進(jìn)一步包括以下步驟 BI :將每個(gè)圖像中位于檢測(cè)到的物體包圍盒之外的圖像進(jìn)行分割； B2 :計(jì)算分割塊數(shù)； B3 :基于B2所得塊數(shù)，按照所述塊數(shù)從少到多的順序?qū)ν魂P(guān)鍵詞下載到的圖像進(jìn)行排序； B4 :過濾出排序靠前的部分圖像。
6.如權(quán)利要求5所述的方法，其特征在于，所述步驟BI采用圖像超像素過分割算法對(duì)圖像進(jìn)行分割。
7.如權(quán)利要求I所述的方法，其特征在于，所述步驟C采用基于圖分割的圖像自動(dòng)分割算法對(duì)檢測(cè)到的物體進(jìn)行精細(xì)輪廓分割。
8.如權(quán)利要求7所述的方法，其特征在于，所述步驟C中采用集合F和集合M作為圖分割算法的約束區(qū)域，初始前景物體的檢測(cè)區(qū)域作為圖分割算法的初始區(qū)域，其中集合F包括物體檢測(cè)中每個(gè)局部區(qū)域的中心點(diǎn)和檢測(cè)概率較高的像素，集合M包括物體檢測(cè)中檢測(cè)概率最低的像素。
9.如權(quán)利要求I所述的方法，其特征在于，所述步驟D中的過濾為級(jí)聯(lián)形狀的過濾。
10.如權(quán)利要求9所述的方法，其特征在于，所述步驟D進(jìn)一步包括 Dl :從步驟C生成的分割圖元中選擇至少一個(gè)作為參考依據(jù)； D2 :根據(jù)作為參考依據(jù)的分割圖元的輪廓，對(duì)步驟C中生成的分割圖元的輪廓進(jìn)行仿射變換，獲得和作為參考依據(jù)的分割圖元的輪廓相匹配的分割圖元； D3:對(duì)匹配的分割圖元進(jìn)行重新排序，獲得排序靠前的部分分割圖元。
11.如權(quán)利要求10所述的方法，其特征在于，所述步驟進(jìn)一步包括將所述部分分割圖元使用分層數(shù)的形狀匹配算法進(jìn)行排序。
12.—種構(gòu)建圖像數(shù)據(jù)庫(kù)的處理系統(tǒng)，其特征在于，包括有圖像下載模塊、圖像處理模塊和最終過濾模塊，其中 圖像下載模塊，用于利用關(guān)鍵詞從互聯(lián)網(wǎng)上自動(dòng)下載圖像； 圖像處理模塊，用于將下載的圖片進(jìn)行物體檢測(cè)并初步過濾，進(jìn)而將其進(jìn)行精細(xì)輪廓分割，得到分割圖元；最終過濾模塊，用于對(duì)分割圖元進(jìn)行基于輪廓匹配的過濾，最終生成圖像數(shù)據(jù)庫(kù) 。
全文摘要
本發(fā)明公開了一種構(gòu)建圖像數(shù)據(jù)庫(kù)的方法及系統(tǒng)，包括以下步驟利用關(guān)鍵詞從互聯(lián)網(wǎng)上自動(dòng)下載圖像，對(duì)下載的圖像進(jìn)行物體檢測(cè)并進(jìn)行初步過濾，對(duì)檢測(cè)到的物體進(jìn)行精細(xì)輪廓分割，得到分割圖元，將得到的分割圖元進(jìn)行基于輪廓匹配的過濾，形成圖像數(shù)據(jù)庫(kù)；該數(shù)據(jù)庫(kù)通常能達(dá)到80%-90%的標(biāo)注準(zhǔn)確率，用戶可以通過繪制草圖或者調(diào)整骨架等方式快速地對(duì)圖像數(shù)據(jù)庫(kù)進(jìn)行基于內(nèi)容的檢索，從而快速找到其所需要的圖像合成與創(chuàng)作資源。
文檔編號(hào)G06F17/30GK102831239SQ20121032433
公開日2012年12月19日 申請(qǐng)日期2012年9月4日 優(yōu)先權(quán)日2012年9月4日
發(fā)明者胡事民, 陳韜, 馬里千, 程明明 申請(qǐng)人:清華大學(xué)