專利名稱：一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺和計(jì)算機(jī)圖像處理領(lǐng)域，具體地說(shuō)是一種基于監(jiān)督測(cè)地線傳播的圖像場(chǎng)景語(yǔ)義遷移方法。
背景技術(shù)：
語(yǔ)義標(biāo)記，也就是多類別分割，是計(jì)算機(jī)視覺和圖像場(chǎng)景理解領(lǐng)域的一個(gè)基礎(chǔ)而重要的問(wèn)題。在過(guò)去的幾十年里，很多學(xué)者致力于該問(wèn)題的研究并且取得了一定的進(jìn)展。但是如何讓計(jì)算機(jī)視覺技術(shù)像人類視覺一樣去識(shí)別和分割對(duì)象，仍然是一個(gè)很有挑戰(zhàn)性的問(wèn)題。最近，有些學(xué)者提出了一些用產(chǎn)生式或者判別式模型等經(jīng)典模型來(lái)解決這個(gè)問(wèn)題的方法。這種經(jīng)典模型方法需要一個(gè)訓(xùn)練數(shù)據(jù)集，該數(shù)據(jù)集的大小和所包含的類別是固定且已知的。另外還有一些學(xué)者提出，將底層視覺特征和高層上下文先驗(yàn)知識(shí)集成到一個(gè)由底向上/由上到下的模型中來(lái)解決語(yǔ)義標(biāo)記問(wèn)題。這些方法都需要在固定的數(shù)據(jù)集上訓(xùn)練模型以得到模型的參數(shù)，因此他們不能隨著對(duì)象類別數(shù)目的變化而變化。例如，當(dāng)要增加一個(gè)新的對(duì)象類別到這些基于學(xué)習(xí)的模型中時(shí)，必須要重新訓(xùn)練這個(gè)模型，使得參數(shù)適應(yīng)新的語(yǔ)義類別。隨著圖像數(shù)據(jù)集越來(lái)越普及，很多大型的數(shù)據(jù)集已經(jīng)通過(guò)網(wǎng)絡(luò)在世界范圍內(nèi)共享，比如LabelMe數(shù)據(jù)集。大規(guī)模數(shù)據(jù)的驅(qū)動(dòng)為非參數(shù)的模型和方法提供了潛在可能性，這種非參數(shù)的模型可以應(yīng)用到對(duì)象和場(chǎng)景識(shí)別、語(yǔ)義標(biāo)記和分割等領(lǐng)域中。麻省理工學(xué)院的Ce Liu等人于2009年第一次提出一種非參數(shù)的場(chǎng)景解析方法，稱之為語(yǔ)義遷移。此后，很多學(xué)者開始關(guān)注這一問(wèn)題并取得了一些成果。語(yǔ)義遷移，顧名思義，就是利用已標(biāo)注好的圖像場(chǎng)景，把它們的語(yǔ)義標(biāo)記遷移到未知語(yǔ)義標(biāo)記的圖像場(chǎng)景中，使得未知標(biāo)記的圖像場(chǎng)景中每一個(gè)像素部有對(duì)應(yīng)的語(yǔ)義類別。語(yǔ)義遷移有兩個(gè)需要解決的關(guān)鍵問(wèn)題第一個(gè)是對(duì)于一張輸入的圖像，如何在數(shù)據(jù)集中找到合適的相似圖像。第二個(gè)是如何用相似圖像去解析輸入圖像。對(duì)于第一個(gè)問(wèn)題，一些圖像搜索方面的工作已經(jīng)有了較深入的研究，如麻省理工學(xué)院的Antonio Torralba、Aude Oliva等人。因此第一個(gè)問(wèn)題不是本發(fā)明的工作重點(diǎn),本發(fā)明重點(diǎn)在于解決第二個(gè)問(wèn)題。相似圖像和輸入圖像之間的精準(zhǔn)匹配是解決第二個(gè)問(wèn)題的關(guān)鍵點(diǎn)。值得注意的是，香港科技大學(xué)的Honghui Zhang等人提出了一種基于匹配相應(yīng)的有監(jiān)督的語(yǔ)義遷移方法。以往的語(yǔ)義遷移方法通常的流程是，首先對(duì)輸入圖像和相似圖像進(jìn)行像素級(jí)別或超像素級(jí)別的匹配，然后再使用馬爾科大隨機(jī)場(chǎng)優(yōu)化算法，最終得到輸入圖像的語(yǔ)義標(biāo)記結(jié)果。但是，現(xiàn)有的產(chǎn)生式模型或判別式模型是在整個(gè)數(shù)據(jù)集上訓(xùn)練得到的，當(dāng)數(shù)據(jù)集龐大的時(shí)候，訓(xùn)練過(guò)程是比較費(fèi)時(shí)間的。并且，對(duì)于一張輸入圖像來(lái)說(shuō)，它場(chǎng)景中的內(nèi)容是固定的，場(chǎng)景內(nèi)容中的對(duì)象類別是數(shù)據(jù)集中對(duì)象類別的真子集。因此在整個(gè)數(shù)據(jù)集上訓(xùn)練得到的模型對(duì)于一張圖像來(lái)說(shuō)，很有可能是冗余的。這種模型會(huì)把一些不存在于輸入圖像中的類別帶入到對(duì)輸入圖像的識(shí)別中，由此造成了一定程度上的識(shí)別結(jié)果的噪聲和誤差。在后續(xù)優(yōu)化過(guò)程中，未必能消除這種噪聲或誤差，因此會(huì)對(duì)最終結(jié)果產(chǎn)生影響，使得最終結(jié)果偏離了真實(shí)的語(yǔ)義標(biāo)記。如果在訓(xùn)練模型的時(shí)候就能夠?qū)⒄Z(yǔ)義類別縮小在一定范圍內(nèi)，而不是整個(gè)數(shù)據(jù)集，那么能對(duì)語(yǔ)義標(biāo)記的結(jié)果產(chǎn)生較好的影響。

發(fā)明內(nèi)容
根據(jù)上述實(shí)際需求和關(guān)鍵問(wèn)題，本發(fā)明的目的在于提供一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法，該方法能夠得到圖像場(chǎng)景準(zhǔn)確的語(yǔ)義標(biāo)記信息。為實(shí)現(xiàn)本發(fā)明目的而提供的一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法，該方法包括以下步驟步驟S100，利用特征匹配方法，在整個(gè)數(shù)據(jù)集中檢索得到與圖像場(chǎng)景最相似的N個(gè)圖像，構(gòu)成圖像場(chǎng)景的相似圖像集合；其中，N為整數(shù)； 步驟S200，以相似圖像集合作為訓(xùn)練集，利用已有的對(duì)象識(shí)別方法得到判別式模型，獲得圖像場(chǎng)景對(duì)應(yīng)的粗略語(yǔ)義概率圖，確定全局概率最大的點(diǎn)作為測(cè)地線傳播的初始種子點(diǎn)；步驟S300，結(jié)合圖像的顏色特征和邊界特征，在圖結(jié)構(gòu)上定義測(cè)地線傳播的初始
距離；步驟S400，以相似圖像集合作為訓(xùn)練集，根據(jù)相似圖像的上下文信息，利用判別式方法得到傳播指示器，指導(dǎo)測(cè)地線傳播的方向；步驟S500，將傳播指示器應(yīng)用到測(cè)地線傳播過(guò)程中，進(jìn)行有監(jiān)督的測(cè)地線傳播處理，得到圖像場(chǎng)景的準(zhǔn)確語(yǔ)義標(biāo)記。作為一種可實(shí)施例，所述步驟SlOO包括如下步驟步驟S110，首先在歐式距離空間中根據(jù)吉斯特特征匹配得到圖像場(chǎng)景的K個(gè)最近鄰居，即得到了K個(gè)相似圖像；步驟S120，然后對(duì)這K個(gè)相似圖像進(jìn)行相似度順序的重排列；在重排列之后，選取相似度最高的前N個(gè)圖像作為相似圖像集合；其中，K為整數(shù)，K彡N。作為一種可實(shí)施例，所述步驟S120包括如下步驟步驟121，對(duì)K個(gè)相似圖像進(jìn)行相似度順序重排列時(shí)，首先將圖像場(chǎng)景和每個(gè)相似圖像部進(jìn)行過(guò)分割處理，使得每張圖像部由若干超像素區(qū)域組成；每一個(gè)超像素區(qū)域部對(duì)應(yīng)一個(gè)特征描述符；步驟S122，然后對(duì)于圖像場(chǎng)景中的每一個(gè)超像素區(qū)域，利用特征描述符度量并匹配該區(qū)域在每一張相似圖像中的最匹配的超像素區(qū)域，將兩個(gè)超像素區(qū)域之差記作區(qū)域相似差；步驟S123，以所有的超像素區(qū)域與其在相似圖像中的匹配區(qū)域的區(qū)域相似差之和作為圖像場(chǎng)景與相似圖像的相似差；步驟S124，根據(jù)圖像場(chǎng)景與K個(gè)相似圖像的相似差，選擇差異最小的前N個(gè)作為相似圖像集合。作為一種可實(shí)施例，所述步驟S200中訓(xùn)練判別式對(duì)象識(shí)別模型是以相似圖像集合作為訓(xùn)練集，對(duì)象的類別是相似圖像集合中所有的類別。作為一種可實(shí)施例，所述步驟S300中的測(cè)地線距離是定義在圖結(jié)構(gòu)上的權(quán)重值；
圖像場(chǎng)景中的每個(gè)超像素區(qū)域?qū)?yīng)圖結(jié)構(gòu)中的一個(gè)節(jié)點(diǎn)；連接兩個(gè)節(jié)點(diǎn)的邊上的權(quán)值代表這兩個(gè)超像素區(qū)域的底層特征相似度差異，以兩個(gè)區(qū)域的伯克利邊界特征值與區(qū)域顏色特征差異值的加權(quán)和來(lái)度量。作為一種可實(shí)施例，所述步驟S400中的傳播指示器，是以相似圖像中的相鄰超像素區(qū)域之間的上下文關(guān)系作為訓(xùn)練數(shù)據(jù)，訓(xùn)練得到的分類器。作為一種可實(shí)施例，所述步驟S500中進(jìn)行有監(jiān)督的測(cè)地線傳播處理，是將傳播指示器應(yīng)用到了測(cè)地線傳播過(guò)程中，用來(lái)判斷是否將當(dāng)前種子點(diǎn)的語(yǔ)義標(biāo)記值傳遞給它尚未確定最終語(yǔ)義標(biāo)記的鄰居區(qū)域；
所述步驟S500中進(jìn)行有監(jiān)督的測(cè)地線傳播處理，包括如下步驟步驟S510，在所有尚未確定最終語(yǔ)義標(biāo)記的節(jié)點(diǎn)中，選擇測(cè)地線距離最小節(jié)點(diǎn)作為當(dāng)前種子點(diǎn)；構(gòu)建當(dāng)前種子點(diǎn)區(qū)域和它鄰居區(qū)域的特征向量，利用種子點(diǎn)語(yǔ)義類別的傳播指示器來(lái)獲得該特征向量的置信值；步驟S520，如果置信值大于特定閾值，則鄰居區(qū)域和當(dāng)前種子點(diǎn)屬于同一類別，將種子點(diǎn)的語(yǔ)義標(biāo)記傳播到該鄰居區(qū)域并更新其測(cè)地線距離；否則，維持鄰居區(qū)域的當(dāng)前語(yǔ)義類別和測(cè)地線距離；步驟S530，重復(fù)步驟S510和S520，直到所有節(jié)點(diǎn)都確定最終語(yǔ)義標(biāo)記。與現(xiàn)有的技術(shù)相比，本發(fā)明有益的特點(diǎn)是I、本發(fā)明以相似圖像集合作為判別式對(duì)象識(shí)別模型的訓(xùn)練集，在初始對(duì)象識(shí)別結(jié)果基礎(chǔ)上，將圖像場(chǎng)景語(yǔ)義遷移問(wèn)題轉(zhuǎn)化為在超像素級(jí)別的圖結(jié)構(gòu)上為節(jié)點(diǎn)標(biāo)記多類對(duì)象類別的問(wèn)題。2、本發(fā)明在整個(gè)數(shù)據(jù)集中檢索得到與圖像場(chǎng)景最相似的K個(gè)圖像，并對(duì)這K個(gè)圖像進(jìn)行相似度的重排序，選取出重排序后的前N個(gè)圖像構(gòu)成輸入圖像場(chǎng)景的相似圖像集
八
口 ο3、本發(fā)明根據(jù)初始對(duì)象識(shí)別結(jié)果定義超像素區(qū)域的初始測(cè)地線距離，并選取全局測(cè)地線距離最小點(diǎn)作為初始種子點(diǎn)。4、本發(fā)明在相似圖像集合上訓(xùn)練傳播指示器，以相似圖像中的上下文信息指導(dǎo)語(yǔ)義標(biāo)記的傳播方向。5、本發(fā)明提出了有監(jiān)督的測(cè)地線傳播算法。在每一步迭代過(guò)程中，選擇當(dāng)前所有未標(biāo)記節(jié)點(diǎn)中具有最小測(cè)地線距離的節(jié)點(diǎn)作為當(dāng)前種子點(diǎn)，并確定該種子點(diǎn)的語(yǔ)義標(biāo)記。查找與當(dāng)前種子點(diǎn)相鄰且未標(biāo)記的節(jié)點(diǎn)，根據(jù)邊權(quán)值和傳播指示器判斷該節(jié)點(diǎn)是否需要更新測(cè)地線距離及其語(yǔ)義標(biāo)記。重復(fù)此步驟直到所有節(jié)點(diǎn)部確定最終語(yǔ)義標(biāo)記。該算法能夠快速完成圖像場(chǎng)景的語(yǔ)義標(biāo)記。


圖I是本發(fā)明實(shí)施例的基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法流程圖；圖2是本發(fā)明實(shí)施例的初始語(yǔ)義識(shí)別概率圖；圖3是本發(fā)明實(shí)施例的測(cè)地線距離示意圖；圖4是本發(fā)明實(shí)施例的有監(jiān)督的測(cè)地線傳播流程圖。
具體實(shí)施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明的一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法進(jìn)行解釋。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明實(shí)施例提供了一種基于監(jiān)督測(cè)地線傳播的語(yǔ)義遷移方法，使用了有監(jiān)督的學(xué)習(xí)方法去指導(dǎo)種子點(diǎn)的選擇和語(yǔ)義標(biāo)記的傳播。包括對(duì)于一張輸入圖像，首先從已標(biāo)注好的整體數(shù)據(jù)集中找到它的相似圖像集合。然后在這個(gè)集合上，訓(xùn)練得到一個(gè)聯(lián)合增強(qiáng)判別式模型，再利用這個(gè)模型得到輸入圖像的初始概率圖。在根據(jù)初始概率圖定義初始測(cè)地線距離，概率越大，則測(cè)地線距離越小。在測(cè)地線傳播的每一步迭代過(guò)程中，選擇未確定標(biāo)記的具有最小測(cè)地線距離的超像素作為種子點(diǎn)。本發(fā)明實(shí)施例在相似圖像集合上訓(xùn)練得到指導(dǎo)測(cè)地線傳播方向的傳播指示器，訓(xùn)練樣本是由相似圖像集合中的相鄰超像素對(duì)構(gòu)成。在傳播迭代中，種子點(diǎn)鄰居區(qū)域的測(cè)地線距離根據(jù)顏色、邊界特征以及傳播指示器的值來(lái)更新。當(dāng)?shù)諗繒r(shí)，輸入圖像得到最終的語(yǔ)義標(biāo)記結(jié)果O·本發(fā)明實(shí)施例首先對(duì)一張輸入圖像，在數(shù)據(jù)集中搜索它的相似圖像，以此相似圖像集合作為訓(xùn)練判別式識(shí)別模型的訓(xùn)練集。根據(jù)上述技術(shù)方案，本發(fā)明實(shí)施例提供的圖像場(chǎng)景語(yǔ)義遷移方法首先獲得輸入圖像的相似圖像集合。相似的含義是，語(yǔ)義類別和類別之間的上下文關(guān)系相似。如何獲得合適的相似圖像不是本發(fā)明實(shí)施例的重點(diǎn)，因此本發(fā)明實(shí)施例采用了以往語(yǔ)義遷移方法中常用的吉斯特匹配從數(shù)據(jù)集中搜索得到輸入圖像的K近鄰。在吉斯特匹配時(shí)，能夠得到這K個(gè)鄰居與輸入圖像的相似度。之后，再對(duì)這K個(gè)近鄰按照以下的方法進(jìn)行相似度的重排序。首先將輸入圖像和每個(gè)相似圖像都進(jìn)行過(guò)分割處理，使得每張圖像都由若干超像素區(qū)域組成。一個(gè)超像素區(qū)域中所有的像素都對(duì)應(yīng)同一個(gè)語(yǔ)義標(biāo)記。每一個(gè)超像素區(qū)域都有一個(gè)特征描述符。在歐式空間中兩個(gè)區(qū)域間的特征描述符的距離越小，則認(rèn)為這兩個(gè)區(qū)域越匹配。然后對(duì)于輸入圖像中的每一個(gè)超像素區(qū)域，找到該區(qū)域在每一張相似圖像中的最匹配的超像素區(qū)域，將兩個(gè)超像素區(qū)域之差記作區(qū)域相似差。計(jì)算輸入圖像所有的超像素區(qū)域與其在一張相似圖像中的匹配區(qū)域的區(qū)域相似差之和，以此作為輸入圖像與相似圖像的相似差。根據(jù)圖像場(chǎng)景與K個(gè)相似圖像的相似差，選擇差異最小的前N個(gè)作為相似圖像集合。K、N為整數(shù)，其中K彡N。本發(fā)明實(shí)施例提供了一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法，如圖I所示，該方法包括以下步驟步驟S100，利用特征匹配方法，在整個(gè)數(shù)據(jù)集中檢索得到與圖像場(chǎng)景最相似的N個(gè)圖像，構(gòu)成圖像場(chǎng)景的相似圖像集合；其中，N為整數(shù)；步驟S200，以相似圖像集合作為訓(xùn)練集，利用已有的對(duì)象只別方法得到判別式模型，從而獲得圖像場(chǎng)景對(duì)應(yīng)的粗略語(yǔ)義概率圖，確定全局概率最大的點(diǎn)作為測(cè)地線傳播的初始種子點(diǎn)；步驟S300，結(jié)合圖像的顏色特征和邊界特征，在圖結(jié)構(gòu)上定義測(cè)地線傳播的初始距離。
步驟S400，以相似圖像集合作為訓(xùn)練集，根據(jù)相似圖像的上下文信息，利用判別式方法得到傳播指示器，該指示器指導(dǎo)測(cè)地線傳播的方向。步驟S500，將傳播指示器應(yīng)用到測(cè)地線傳播過(guò)程中，進(jìn)行有監(jiān)督的測(cè)地線傳播處理(即實(shí)現(xiàn)有監(jiān)督的測(cè)地線傳播算法)，將相似圖像中的語(yǔ)義標(biāo)記遷移到場(chǎng)景中合適的每一像素，從而得到圖像場(chǎng)景的準(zhǔn)確語(yǔ)義標(biāo)記。較佳地，作為一種可實(shí)施方式，步驟SlOO包括如下步驟
步驟S110，在檢索相似圖像時(shí)，在歐式距離空間中根據(jù)吉斯特特征匹配得到圖像場(chǎng)景的K個(gè)最近鄰居，即得到了 K個(gè)相似圖像；其中，K彡N ;步驟S120，然后對(duì)這K個(gè)相似圖像進(jìn)行相似度順序的重排列，在重排列之后，選取相似度最高的前N個(gè)圖像作為相似圖像集合。較佳地，作為一種可實(shí)施方式，所述步驟S120包括如下步驟步驟S121將圖像場(chǎng)景和每個(gè)相似圖像都進(jìn)行過(guò)分割處理，使得每張圖像部由若干超像素區(qū)域組成；其中每一個(gè)超像素區(qū)域都對(duì)應(yīng)一個(gè)22維的特征描述符；步驟S122，對(duì)于圖像場(chǎng)景中的每一個(gè)超像素區(qū)域，利用特征描述符度量并匹配該區(qū)域在每一張相似圖像中的最匹配的超像素區(qū)域，將兩個(gè)超像素區(qū)域之差記作區(qū)域相似差;步驟S123，以所有的超像素區(qū)域與其在相似圖像中的匹配區(qū)域的區(qū)域相似差之和作為圖像場(chǎng)景與相似圖像的相似差；步驟S124，根據(jù)圖像場(chǎng)景與K個(gè)相似圖像的相似差，選擇差異最小的前N個(gè)作為相似圖像集合。較佳地，作為一種可實(shí)施方式，所述步驟S200中訓(xùn)練判別式對(duì)象識(shí)別模型是以相似圖像集合作為訓(xùn)練集，而不是整個(gè)數(shù)據(jù)集中所有的類別，對(duì)象的類別是相似圖像集合中所有的類別。在獲得場(chǎng)景粗略語(yǔ)義概率圖后，以全局概率最大的超像素區(qū)域作為測(cè)地線傳播的初始種子點(diǎn)。較佳地，作為一種可實(shí)施方式，所述步驟S300中的測(cè)地線距離是定義在圖結(jié)構(gòu)上的權(quán)重值。圖像場(chǎng)景中的每個(gè)超像素區(qū)域?qū)?yīng)圖結(jié)構(gòu)中的一個(gè)節(jié)點(diǎn)。連接兩個(gè)節(jié)點(diǎn)的邊上的權(quán)值代表這兩個(gè)超像素區(qū)域的底層特征相似度差異，以兩個(gè)區(qū)域的伯克利邊界特征值與區(qū)域顏色特征差異值的加權(quán)和來(lái)度量。較佳地，作為一種可實(shí)施方式，所述步驟S400中的傳播指示器，是以相似圖像中的相鄰超像素區(qū)域之間的上下文關(guān)系作為訓(xùn)練數(shù)據(jù)，訓(xùn)練得到的分類器。每一組樣本數(shù)據(jù)是由兩個(gè)相鄰超像素區(qū)域的特征向量構(gòu)成。如果兩個(gè)區(qū)域的語(yǔ)義標(biāo)記一致，則該樣本記為正樣本，否則記為負(fù)樣本。相似圖像集合中的每一種對(duì)象類別，都有自己類別的傳播指示器。每一類別的指示器能指導(dǎo)本類別語(yǔ)義標(biāo)記的傳播。較佳地，作為一種可實(shí)施方式，所述步驟S500，進(jìn)行有監(jiān)督的測(cè)地線傳播處理(即實(shí)現(xiàn)有監(jiān)督的測(cè)地線傳播算法)，是將傳播指示器應(yīng)用到了測(cè)地線傳播過(guò)程中，傳播指示器是用來(lái)判斷是否將當(dāng)前種子點(diǎn)的語(yǔ)義標(biāo)記值傳遞給它尚未確定最終語(yǔ)義標(biāo)記的鄰居區(qū)域。所述步驟S500中進(jìn)行有監(jiān)督的測(cè)地線傳播處理，包括如下步驟步驟S510，在所有尚未確定最終語(yǔ)義標(biāo)記的節(jié)點(diǎn)中，選擇測(cè)地線距離最小節(jié)點(diǎn)作為當(dāng)前種子點(diǎn)；構(gòu)建當(dāng)前種子點(diǎn)區(qū)域和它鄰居區(qū)域的特征向量，利用種子點(diǎn)語(yǔ)義類別的傳播指示器來(lái)獲得該特征向量的置信值；步驟S520，如果置信值大于預(yù)設(shè)閾值，則鄰居區(qū)域和當(dāng)前種子點(diǎn)屬于同一類別，將種子點(diǎn)的語(yǔ)義標(biāo)記傳播到該鄰居區(qū)域并更新其測(cè)地線距離；否則，維持鄰居區(qū)域的當(dāng)前語(yǔ)義類別和測(cè)地線距離；；步驟S530，重復(fù)步驟S510和S520，直到所有節(jié)點(diǎn)都確定最終語(yǔ)義標(biāo)記。本發(fā)明實(shí)施例提供了一種自動(dòng)選擇測(cè)地線傳播種子點(diǎn)方法。相似圖像集合中的語(yǔ)義類別包含了輸入圖像的語(yǔ)義類別，因此以相似圖像集合作為訓(xùn)練集來(lái)訓(xùn)練判別式的對(duì)象識(shí)別模型。較佳地，作為一種可實(shí)施方式，本發(fā)明實(shí)施例使用了 17維的濾波器響應(yīng)值作為訓(xùn)練樣本的特征向量。然后在訓(xùn)練集中隨機(jī)采樣樣本數(shù)據(jù)，訓(xùn)練得到輸入圖像的聯(lián)合增強(qiáng)判別式模型。由該模型推理得到輸入圖像的粗略語(yǔ)義識(shí)別概率圖，再根據(jù)概率圖得到輸入圖像所有超像素區(qū)域的初始測(cè)地線距離圖。概率值越大的超像素區(qū)域其測(cè)地線距離越小。在每一部迭代過(guò)程中，測(cè)地線距離最小的那個(gè)超像素區(qū)域被選為當(dāng)前種子點(diǎn)。
在本發(fā)明實(shí)施例所定義的在圖結(jié)構(gòu)中，節(jié)點(diǎn)對(duì)應(yīng)圖像場(chǎng)景中的每一個(gè)超像素區(qū)域，連接兩個(gè)節(jié)點(diǎn)的邊代表這兩個(gè)節(jié)點(diǎn)也就是區(qū)域之間有鄰接關(guān)系。本發(fā)明實(shí)施例的圖結(jié)構(gòu)是定義在超像素級(jí)別上的，節(jié)點(diǎn)的信息是節(jié)點(diǎn)對(duì)應(yīng)的區(qū)域內(nèi)所有像素信息的平均值。節(jié)點(diǎn)自身權(quán)重是以測(cè)地線距離來(lái)度量的，測(cè)地線距離越小，自身權(quán)重越小。同時(shí)，連接兩個(gè)節(jié)點(diǎn)的邊也有權(quán)值，用來(lái)度量?jī)蓚€(gè)節(jié)點(diǎn)之間的一致性。作為一種可實(shí)施方式，本發(fā)明實(shí)施例采用顏色、紋理、邊界特征來(lái)定義邊上的權(quán)值。具體來(lái)說(shuō)，邊權(quán)值由兩部分組成紋理特征部分和邊界特征部分。作為一種可實(shí)施方式，在本發(fā)明實(shí)施例中，求解圖像場(chǎng)景的語(yǔ)義標(biāo)記結(jié)果，轉(zhuǎn)化為在圖結(jié)構(gòu)上為未知標(biāo)記節(jié)點(diǎn)賦值測(cè)地線距離最小的類別標(biāo)記。節(jié)點(diǎn)到一個(gè)類別的測(cè)地線距離定義為，節(jié)點(diǎn)到這個(gè)類別所有已確定的點(diǎn)中測(cè)地線距離最小的值。本發(fā)明實(shí)施例在相似圖像集合上訓(xùn)練了一種有監(jiān)督的傳播指示器。該指示器是基于以下設(shè)條件相似圖像中的對(duì)象類別之間的上下文關(guān)系與輸入圖像對(duì)象類別之間的上下文關(guān)系是相似的，因此可以用相似圖像的上下文信息來(lái)指導(dǎo)輸入圖像中的語(yǔ)義標(biāo)記傳播。對(duì)于相似圖像集合中的每一種類別，都要訓(xùn)練該類別的傳播指示器。該指示器用來(lái)判斷是否將當(dāng)前區(qū)域的語(yǔ)義標(biāo)記傳播到它相鄰的區(qū)域上，使得相鄰的區(qū)域被賦值和當(dāng)前區(qū)域相同的語(yǔ)義標(biāo)記。在獲得了圖結(jié)構(gòu)信息、各節(jié)點(diǎn)的初始測(cè)地線距離以及各類別的傳播指示器后，本發(fā)明實(shí)施例將這些信息集成到有監(jiān)督的測(cè)地線傳播過(guò)程中，進(jìn)行能夠確定性的快速求解。在每一步迭代過(guò)程中，先根據(jù)所有尚未確定標(biāo)記節(jié)點(diǎn)的當(dāng)前測(cè)地線距離，選擇一個(gè)距離最小的作為當(dāng)前種子點(diǎn)，并使它的語(yǔ)義標(biāo)記最終確定為當(dāng)前狀態(tài)下的標(biāo)記。這意味著在概率上已經(jīng)最大可能的確定了一個(gè)節(jié)點(diǎn)的標(biāo)記。然后更新這個(gè)種子點(diǎn)周圍的尚未確定的鄰居節(jié)點(diǎn)的測(cè)地線距離。在更新的時(shí)候，本發(fā)明實(shí)施例用傳播指示器來(lái)指導(dǎo)是否要更新。更新之后，進(jìn)入下一步迭代過(guò)程，如此直到所有的節(jié)點(diǎn)都確定最終標(biāo)記，得到圖像場(chǎng)景的語(yǔ)義標(biāo)記結(jié)果。下面進(jìn)一步詳細(xì)說(shuō)明本發(fā)明實(shí)施例的基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法。對(duì)于一張輸入圖像，首先利用吉斯特匹配方法從已標(biāo)注好的整體數(shù)據(jù)集中找到它的相似圖像集合。然后在這個(gè)集合上，訓(xùn)練得到一個(gè)聯(lián)合增強(qiáng)判別式模型，再利用這個(gè)模型得到輸入圖像的初始概率圖。在根據(jù)初始概率圖定義初始測(cè)地線距離，概率越大，則測(cè)地線距離越小。在測(cè)地線傳播的每一步迭代過(guò)程中，選擇未確定標(biāo)記的具有最小測(cè)地線距離的超像素作為種子點(diǎn)。本發(fā)明實(shí)施例在相似圖像集合上訓(xùn)練得到指導(dǎo)測(cè)地線傳播方向的傳播指示器，訓(xùn)練樣本是由相似圖像集合中的相鄰超像素對(duì)構(gòu)成。在傳播迭代中，種子點(diǎn)鄰居區(qū)域的測(cè)地線距離根據(jù)顏色、邊界特 征以及傳播指示器的值來(lái)更新。當(dāng)?shù)諗繒r(shí)，輸入圖像得到最終的語(yǔ)義標(biāo)記結(jié)果。本發(fā)明實(shí)施例提供的圖像場(chǎng)景語(yǔ)義遷移方法首先獲得輸入圖像的相似圖像集合。本發(fā)明實(shí)施例采用了以在語(yǔ)義遷移方法中的吉斯特匹配從數(shù)據(jù)集中搜索得到輸入圖像的K近鄰。在吉斯特匹配時(shí)，能夠得到這K個(gè)鄰居與輸入圖像的相似度。之后，再對(duì)這K個(gè)近鄰按照以下的方法進(jìn)行相似度的重排序。首先將輸入圖像I和它的每個(gè)相似圖像R部進(jìn)行過(guò)分割處理，使得每張圖像都由若干超像素區(qū)域組成；一個(gè)超像素區(qū)域中所有的像素都對(duì)應(yīng)同一個(gè)語(yǔ)義標(biāo)記，每一個(gè)超像素區(qū)域都有一個(gè)22維的特征描述符，在歐式空間中兩個(gè)區(qū)域間的特征描述符的距離越小，則認(rèn)為這兩個(gè)區(qū)域越匹配。然后對(duì)于輸入圖像I中的每一個(gè)超像素區(qū)域i，找到該區(qū)域在每一張相似圖像R中的最匹配的超像素區(qū)域r(i)，然后根據(jù)以下(I)式計(jì)算輸入圖像I和它的相似圖像R的相似差。Dr(/,i )= Σ||(./Η_—Α )||2⑴
i&I其中，€\是超像素i的22維特征描述符，它由構(gòu)成i中所有像素的HSV顏色通道的平均值、所有像素的坐標(biāo)平均值、所有像素的17維濾波器響應(yīng)平均值構(gòu)成。根據(jù)Dr(I，R)值的大小對(duì)輸入圖像的K個(gè)相似圖像進(jìn)行重排序，Dr(I，R)值越小的相似度越大。選擇DJI，R)值最小的前N個(gè)相似圖像作為輸入圖像的相似圖像集合，記作{Rn!在得到了相似圖像集合之后，本發(fā)明實(shí)施例充分利用相似圖像的上下文信息。相似圖像集合中的語(yǔ)義類別包含了輸入圖像的語(yǔ)義類別，因此以相似圖像集合作為訓(xùn)練集來(lái)訓(xùn)練判別式的對(duì)象識(shí)別模型。本發(fā)明實(shí)施例使用了 17維的濾波器響應(yīng)值作為訓(xùn)練樣本的特征向量，該特征向量的實(shí)質(zhì)是對(duì)紋理特征的描述。然后在訓(xùn)練集中隨機(jī)采樣樣本數(shù)據(jù)，訓(xùn)練得到輸入圖像的聯(lián)合增強(qiáng)判別式模型。由該模型推理得到輸入圖像的粗略語(yǔ)義識(shí)別概率圖，再根據(jù)概率圖得到輸入圖像所有超像素區(qū)域的初始測(cè)地線距離圖。概率值越大的超像素區(qū)域其測(cè)地線距離越小，如圖2所示。每一個(gè)超像素區(qū)域i都被賦予一個(gè)暫定的語(yǔ)義標(biāo)記，即i的最大概率值pi (i)對(duì)應(yīng)的語(yǔ)義類別。在每一步迭代過(guò)程中，測(cè)地線距離最小的那個(gè)超像素區(qū)域被選為當(dāng)前種子點(diǎn)。超像素i的初始測(cè)地線距離計(jì)算公式⑵如下Disinitial (i) = 1-pl (i) (2)接下來(lái)，本發(fā)明實(shí)施例結(jié)合圖像的顏色特征和邊界特征，在圖結(jié)構(gòu)上定義測(cè)地線傳播的初始距離。本發(fā)明實(shí)施例中的圖結(jié)構(gòu)是定義在超像素級(jí)別上的，圖結(jié)構(gòu)中每個(gè)節(jié)點(diǎn)對(duì)應(yīng)圖像中每個(gè)超像素區(qū)域，節(jié)點(diǎn)之間有邊連接的代表這兩個(gè)超像素相鄰接，如圖3所示。邊上的權(quán)值Wij代表了兩個(gè)超像素區(qū)域i和j的一致性，權(quán)值越大，一致性越小。作為一種可實(shí)施方式，本發(fā)明實(shí)施例采用顏色、紋理、邊界特征來(lái)定義邊上的權(quán)值。具體來(lái)說(shuō)，邊權(quán)值由兩部分組成紋理特征部分wtra￡tUM(i，j)和邊界特征部分Wbty(i，j)，如以下公式(3)所示ff(i,j) = λ !Wtexture (i, j) +A2Wbdry (i, j) (3)其中，λ i和λ 2是調(diào)節(jié)參數(shù)。WtextUM(i，j)是超像素區(qū)域i和j的紋理特征描述符在歐式空間的距離差，該描述符包含HSV特征、坐標(biāo)值和17維濾波器響應(yīng)值。對(duì)于邊界特征部分Wb&y(i，j)，本發(fā)明實(shí)施例使用伯克利邊界檢測(cè)器得到邊界置信值，如以下公式(4)所示，其中Θ為邊界閾值Wbdry(i,j) = Pb(i, j, θ ) (4)在獲得相似圖像集合之后，本發(fā)明實(shí)施例充分考慮相似圖像的上下文信息，利用隨機(jī)森林方法訓(xùn)練得到傳播指示器，以該指示器來(lái)指導(dǎo)測(cè)地線傳播的方向。對(duì)于相似圖像 集合中的每一種類別，都要訓(xùn)練該類別的傳播指示器。該指示器用來(lái)判斷是否將區(qū)域i的語(yǔ)義標(biāo)記傳播到它相鄰的區(qū)域j上，使得區(qū)域j被賦值和區(qū)域i相同的語(yǔ)義標(biāo)記。如果被該指示器判別為i和j屬于相同類別的區(qū)域的話，就傳播；否則，不傳播。作為一種可實(shí)施方式，本發(fā)明實(shí)施例以超像素對(duì)(i，j)為樣本數(shù)據(jù)，fv(i，j)=<fvi； fVj>為該樣本的44維特征向量，包含超像素區(qū)域i和j的HSV特征、坐標(biāo)值、17維濾波器響應(yīng)值。如果區(qū)域j的語(yǔ)義標(biāo)記Ij與區(qū)域i的語(yǔ)義標(biāo)記Ii 一致，那么fV(i，j)就作為類別Ii傳播指示器的正樣本；否則，作為負(fù)樣本。注意，fV(i，j)和fV(j，i)是不同的特征向量它們不僅是對(duì)應(yīng)維度上的特征值不同，最重要的是，它們是不同語(yǔ)義類別的樣本。fv(i, j)是類別Ii的樣本，而fV(j，i)是類別L的樣本。所有的特征值部被歸一化在
區(qū)間內(nèi)。在測(cè)試階段，針對(duì)當(dāng)前種子點(diǎn)Vi，本發(fā)明實(shí)施例提取Vi和它的鄰接超像素Vj的特征向量組成fV(Vi，Vj),放入Vi所屬類別I的傳播指示器，得到傳播指示器輸出的置信值conl(Vi，Vj)，然后根據(jù)如下公式(5)得到指示函數(shù)Tl (Vi，Vj)的值，其中爐是指示器的閾值。T1 (Vi, Vj) = Ucon1(VpVj) > Φ] (5)在經(jīng)過(guò)以上這些步驟之后，開始進(jìn)入有監(jiān)督的測(cè)地線傳播過(guò)程。作為一種可實(shí)施方式，所述有監(jiān)督的測(cè)地線傳播，如圖4所示，包括如下步驟輸入圖結(jié)構(gòu)中每個(gè)節(jié)點(diǎn)的初始測(cè)地線距離和初始語(yǔ)義標(biāo)記；將所有未確定最終標(biāo)記的節(jié)點(diǎn)放入到未標(biāo)記序列Q中；在每一步迭代過(guò)程中，選擇當(dāng)前未標(biāo)記序列中具有最小測(cè)地線距離的節(jié)點(diǎn)Vi =minQ(Dis(Q))作為當(dāng)前種子點(diǎn)，并將該種子點(diǎn)最小測(cè)地線距離對(duì)應(yīng)的語(yǔ)義標(biāo)記記為該種子點(diǎn)最終的語(yǔ)義標(biāo)記，即確定該種子點(diǎn)的語(yǔ)義標(biāo)記Ivi，將Vi從序列Q中刪除；查找與當(dāng)前種子點(diǎn)Vi相鄰的未標(biāo)記的節(jié)點(diǎn)集合{Vj}，更新{Vj}中每一個(gè)節(jié)點(diǎn)Vj的測(cè)地線距離；如果W(vi, vj) < Θ e并且T(vi, vj)為I,那么將Vj的測(cè)地線距離Dis (vj)更新為Dis(vi) + KW(Vi，Vj)，其中K為調(diào)節(jié)參數(shù)，并將Vi的語(yǔ)義標(biāo)記Ii賦值給vj;否則不更新Vj的測(cè)地線距離和語(yǔ)義標(biāo)記；重復(fù)以上過(guò)程，直到未標(biāo)記序列Q為空；最后輸出每一個(gè)節(jié)點(diǎn)的最終語(yǔ)義標(biāo)記。與現(xiàn)有的技術(shù)相比，本發(fā)明實(shí)施例有益的特點(diǎn)是I、本發(fā)明實(shí)施例以相似圖像集合作為判別式對(duì)象識(shí)別模型的訓(xùn)練集，在初始對(duì)象識(shí)別結(jié)果基礎(chǔ)上，將圖像場(chǎng)景語(yǔ)義遷移問(wèn)題轉(zhuǎn)化為在超像素級(jí)別的圖結(jié)構(gòu)上為節(jié)點(diǎn)標(biāo)記多類對(duì)象類別的問(wèn)題。2、本發(fā)明實(shí)施例在整個(gè)數(shù)據(jù)集中檢索得到與圖像場(chǎng)景最相似的K個(gè)圖像，并對(duì)這K個(gè)圖像進(jìn)行相似度的重排序，選取出重排序后的前N個(gè)圖像構(gòu)成輸入圖像場(chǎng)景的相似圖
像集合。3、本發(fā)明實(shí)施例根據(jù)初始對(duì)象識(shí)別結(jié)果定義超像素區(qū)域的初始測(cè)地線距離，并選取全局測(cè)地線距離最小點(diǎn)作為初始種子點(diǎn)。4、本發(fā)明實(shí)施例在相似圖像集合上訓(xùn)練傳播指示器，以相似圖像中的上下文信息指導(dǎo)語(yǔ)義標(biāo)記的傳播方向。 5、本發(fā)明實(shí)施例提出了有監(jiān)督的測(cè)地線傳播算法。在每一步迭代過(guò)程中，選擇當(dāng)前所有未標(biāo)記節(jié)點(diǎn)中具有最小測(cè)地線距離的節(jié)點(diǎn)作為當(dāng)前種子點(diǎn)，并確定該種子點(diǎn)的語(yǔ)義標(biāo)記。查找與當(dāng)前種子點(diǎn)相鄰且未標(biāo)記的節(jié)點(diǎn)，根據(jù)邊權(quán)值和傳播指示器判斷該節(jié)點(diǎn)是否需要更新測(cè)地線距離及其語(yǔ)義標(biāo)記。重復(fù)此步驟直到所有節(jié)點(diǎn)都確定最終語(yǔ)義標(biāo)記。該算法能夠快速完成圖像場(chǎng)景的語(yǔ)義標(biāo)記。最后應(yīng)當(dāng)說(shuō)明的是，很顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，如果本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型。
權(quán)利要求
1.一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法，其特征在于，該方法包括以下步驟 步驟S100，利用特征匹配方法，在整個(gè)數(shù)據(jù)集中檢索得到與圖像場(chǎng)景最相似的N個(gè)圖像，構(gòu)成圖像場(chǎng)景的相似圖像集合；其中，N為整數(shù)；步驟S200，以相似圖像集合作為訓(xùn)練集，利用已有的對(duì)象識(shí)別方法得到判別式模型，獲得圖像場(chǎng)景對(duì)應(yīng)的粗略語(yǔ)義概率圖，確定全局概率最大的點(diǎn)作為測(cè)地線傳播的初始種子占. 步驟S300，結(jié)合圖像的顏色特征和邊界特征，在圖結(jié)構(gòu)上定義測(cè)地線傳播的初始距離； 步驟S400，以相似圖像集合作為訓(xùn)練集，根據(jù)相似圖像的上下文信息，利用判別式方法得到傳播指示器，指導(dǎo)測(cè)地線傳播的方向； 步驟S500，將傳播指示器應(yīng)用到測(cè)地線傳播過(guò)程中，進(jìn)行有監(jiān)督的測(cè)地線傳播處理，得到圖像場(chǎng)景的準(zhǔn)確語(yǔ)義標(biāo)記。
2.根據(jù)權(quán)利要求I所述的一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法，其特征在于 所述步驟Sioo包括如下步驟 步驟S110，首先在歐式距離空間中根據(jù)吉斯特特征匹配得到圖像場(chǎng)景的K個(gè)最近鄰居，即得到了K個(gè)相似圖像； 步驟S120，然后對(duì)這K個(gè)相似圖像進(jìn)行相似度順序的重排列；在重排列之后，選取相似度最高的前N個(gè)圖像作為相似圖像集合； 其中，K為整數(shù)，K≥N。
3.根據(jù)權(quán)利要求2所述的一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法，其特征在于 所述步驟S120包括如下步驟 步驟121，對(duì)K個(gè)相似圖像進(jìn)行相似度順序重排列時(shí)，首先將圖像場(chǎng)景和每個(gè)相似圖像都進(jìn)行過(guò)分割處理，使得每張圖像都由若干超像素區(qū)域組成；每一個(gè)超像素區(qū)域都對(duì)應(yīng)一個(gè)特征描述符； 步驟S122，然后對(duì)于圖像場(chǎng)景中的每一個(gè)超像素區(qū)域，利用特征描述符度量并匹配該區(qū)域在每一張相似圖像中的最匹配的超像素區(qū)域，將兩個(gè)超像素區(qū)域之差記作區(qū)域相似差; 步驟S123，以所有的超像素區(qū)域與其在相似圖像中的匹配區(qū)域的區(qū)域相似差之和作為圖像場(chǎng)景與相似圖像的相似差； 步驟S124，根據(jù)圖像場(chǎng)景與K個(gè)相似圖像的相似差，選擇差異最小的前N個(gè)作為相似圖像集合。
4.根據(jù)權(quán)利要求I所述的一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法，其特征在于 所述步驟S200中訓(xùn)練判別式對(duì)象識(shí)別模型是以相似圖像集合作為訓(xùn)練集，對(duì)象的類別是相似圖像集合中所有的類別。
5.根據(jù)權(quán)利要求I所述的一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法，其特征在于: 所述步驟S300中的測(cè)地線距離是定義在圖結(jié)構(gòu)上的權(quán)重值； 圖像場(chǎng)景中的每個(gè)超像素區(qū)域?qū)?yīng)圖結(jié)構(gòu)中的一個(gè)節(jié)點(diǎn)； 連接兩個(gè)節(jié)點(diǎn)的邊上的權(quán)值代表這兩個(gè)超像素區(qū)域的底層特征相似度差異，以兩個(gè)區(qū)域的伯克利邊界特征值與區(qū)域顏色特征差異值的加權(quán)和來(lái)度量。
6.根據(jù)權(quán)利要求I所述的一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法，其特征在于 所述步驟S400中的傳播指示器，是以相似圖像中的相鄰超像素區(qū)域之間的上下文關(guān)系作為訓(xùn)練數(shù)據(jù)，訓(xùn)練得到的分類器。
7.根據(jù)權(quán)利要求I所述的一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法，其特征在于 所述步驟S500中進(jìn)行有監(jiān)督的測(cè)地線傳播處理，是將傳播指示器應(yīng)用到了測(cè)地線傳播過(guò)程中，用來(lái)判斷是否將當(dāng)前種子點(diǎn)的語(yǔ)義標(biāo)記值傳遞給它尚未確定最終語(yǔ)義標(biāo)記的鄰居區(qū)域； 所述步驟S500中進(jìn)行有監(jiān)督的測(cè)地線傳播處理，包括如下步驟 步驟S510，在所有尚未確定最終語(yǔ)義標(biāo)記的節(jié)點(diǎn)中，選擇測(cè)地線距離最小節(jié)點(diǎn)作為當(dāng)前種子點(diǎn)；構(gòu)建當(dāng)前種子點(diǎn)區(qū)域和它鄰居區(qū)域的特征向量，利用種子點(diǎn)語(yǔ)義類別的傳播指示器來(lái)獲得該特征向量的置信值； 步驟S520，如果置信值大于特定閾值，則鄰居區(qū)域和當(dāng)前種子點(diǎn)屬于同一類別，將種子點(diǎn)的語(yǔ)義標(biāo)記傳播到該鄰居區(qū)域并更新其測(cè)地線距離；否則，維持鄰居區(qū)域的當(dāng)前語(yǔ)義類別和測(cè)地線距離； 步驟S530，重復(fù)步驟S510和S520，直到所有節(jié)點(diǎn)都確定最終語(yǔ)義標(biāo)記。
全文摘要
本發(fā)明公開了一種提供一種基于監(jiān)督測(cè)地線傳播的場(chǎng)景語(yǔ)義遷移方法，包括以下步驟利用特征匹配方法，在整個(gè)數(shù)據(jù)集中檢索得到與圖像場(chǎng)景最相似的N個(gè)圖像，構(gòu)成圖像場(chǎng)景的相似圖像集合；以相似圖像集合作為訓(xùn)練集，利用已有的對(duì)象識(shí)別方法得到判別式模型，獲得圖像場(chǎng)景對(duì)應(yīng)的粗略語(yǔ)義概率圖，確定全局概率最大的點(diǎn)作為測(cè)地線傳播的初始種子點(diǎn)；結(jié)合圖像的顏色特征和邊界特征，在圖結(jié)構(gòu)上定義測(cè)地線傳播的初始距離；以相似圖像集合作為訓(xùn)練集，根據(jù)相似圖像的上下文信息，利用判別式方法得到傳播指示器，指導(dǎo)測(cè)地線傳播的方向；進(jìn)行有監(jiān)督的測(cè)地線傳播處理，得到圖像場(chǎng)景的準(zhǔn)確語(yǔ)義標(biāo)記。該方法能夠得到圖像場(chǎng)景準(zhǔn)確的語(yǔ)義標(biāo)記信息。
文檔編號(hào)G06K9/62GK102867192SQ20121032483
公開日2013年1月9日 申請(qǐng)日期2012年9月4日 優(yōu)先權(quán)日2012年9月4日
發(fā)明者陳小武, 趙沁平, 李青, 宋亞斐, 金鑫, 趙東悅 申請(qǐng)人:北京航空航天大學(xué)