專利名稱：面向跨媒體新聞檢索的人臉-人名對(duì)齊方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于跨媒體信息檢索技術(shù)領(lǐng)域，具體涉及一種特定媒體一多模態(tài)新聞跨媒體檢索方法及系統(tǒng)。
背景技術(shù)：
隨著網(wǎng)絡(luò)的普及和圖像設(shè)備的大眾化， 迅速增強(qiáng)的數(shù)字采集技術(shù)與存儲(chǔ)交付能力導(dǎo)致在線和離線的圖像數(shù)據(jù)呈爆炸性擴(kuò)增，尤其是那些帶有文本標(biāo)注的新聞圖像資源。正因?yàn)榇祟愋畔⒌膩碓丛絹碓截S富，使得針對(duì)新聞圖像資源實(shí)施更加有效的檢索、組織和分析變得非常重要[1]。一方面，由于新聞圖像及其對(duì)應(yīng)的文本標(biāo)注通常是以人為主題進(jìn)行描述，因此這使得用戶通過使用一個(gè)完善有效的檢索系統(tǒng)來查詢一個(gè)特定人的相關(guān)新聞圖像成為更為緊迫的一種需求3]。而當(dāng)前僅僅主要利用文本檢索方式進(jìn)行相應(yīng)處理，即簡(jiǎn)單利用伴隨新聞圖像一同出現(xiàn)的文本標(biāo)注信息與查詢?nèi)嗣淖址ヅ淝闆r進(jìn)行人臉圖像返回，其所返回的檢索結(jié)果中通常包含很多與該查詢?nèi)嗣麩o關(guān)的人臉圖像，其檢索性能并不理想[4]。因此，為盡可能檢索出關(guān)于某個(gè)特定人對(duì)應(yīng)的正確新聞圖像資源，有必要從文本語義級(jí)別深層次分析包含該特定檢索人名的文本標(biāo)注的語義信息，并融合與該文本標(biāo)注相對(duì)應(yīng)圖像的視覺信息(特別是人臉視覺信息)來提高檢索性能。另一方面，由于此類多模態(tài)新聞圖像信息已經(jīng)越來越廣泛地被應(yīng)用到各種研究和工程中，利用具有明確語義信息的圖像數(shù)據(jù)作為數(shù)據(jù)分析源及用于其它相關(guān)用途，因此很有必要將多模態(tài)信息所對(duì)應(yīng)的底層視覺特征與高層語義特征相關(guān)聯(lián)，挖掘出二者之間的相互關(guān)聯(lián)關(guān)系。而當(dāng)前主要通過人工標(biāo)注的方式來定義和描述具有特定底層視覺特征的圖像數(shù)據(jù)所對(duì)應(yīng)的相關(guān)語義信息，但人工標(biāo)注的方式需要耗費(fèi)非常大的時(shí)間代價(jià)。同時(shí)，由于標(biāo)注過程帶有明顯的人為主觀性，可能在一定程度上導(dǎo)致視覺特征和語義特征之間的關(guān)聯(lián)性并不是十分緊密。為更充分和高效地挖掘多模態(tài)新聞信息的底層視覺特征與高層語義特征之間的相互關(guān)聯(lián)性，實(shí)現(xiàn)更為精確有效的跨模態(tài)人臉-人名對(duì)齊是一項(xiàng)十分有意義且具有挑戰(zhàn)性的工作。而跨模態(tài)人臉-人名對(duì)齊，即將圖像中具有相同或相近語義的人臉和人名進(jìn)行匹配，并非一項(xiàng)新的工作[5’ 6’ 7’ 8]。傳統(tǒng)上，將人臉和人名進(jìn)行關(guān)聯(lián)的處理主要考慮以下兩種方式，即對(duì)圖像標(biāo)注采用面向原始文本信息的查詢操作％ U' 12' 13' 14]，或者通過人臉檢測(cè)工具對(duì)返回圖像進(jìn)行排序或過濾[15’ ％ 17]。但僅僅通過簡(jiǎn)單的人名查詢和圖像標(biāo)注匹配，很有可能產(chǎn)生許多錯(cuò)誤結(jié)果。另一方面，當(dāng)前大多數(shù)的人臉識(shí)別方法都僅僅應(yīng)用在受限數(shù)據(jù)集中，而對(duì)于新聞圖像而言，其中的人臉姿態(tài)和表情都有很大變化，還有低劣的圖像分辨率和圖像質(zhì)量等原因，同時(shí)也沒有足夠可用和可信賴的訓(xùn)練集用于通過學(xué)習(xí)獲得人臉分類器，這些諸多因素使得很難對(duì)新聞圖像中的人臉獲得令人滿意的人臉識(shí)別性能和效果[18’
19，20]
O同時(shí)，當(dāng)前越來越多的研究注意到當(dāng)充分利用一種媒體中的信息時(shí)，將可能會(huì)對(duì)另一種媒體中的信息處理和分析十分有幫助，尤其是在同時(shí)考慮圖像以及與它相關(guān)聯(lián)的文本信息這兩種媒體信息時(shí)。當(dāng)文本信息(如圖像對(duì)應(yīng)的文本標(biāo)注)伴隨著視覺顯示信息(如新聞圖像)一同出現(xiàn)時(shí)，會(huì)對(duì)人臉與人名之間的關(guān)聯(lián)性獲取起到非常重要的作用。文本和圖像信息兩者之間的相互作用影響已成為跨模態(tài)人臉與人名對(duì)齊中的一個(gè)熱點(diǎn)研究，在對(duì)齊過程中融合充分的文本分析將會(huì)對(duì)圖像集的整體檢索性能帶來明顯提升當(dāng)前，對(duì)于跨模態(tài)人臉和人名對(duì)齊的研究越來越多地考慮將文本信息和圖像信息相結(jié)合，以此來獲得更好的檢索與分析性能％ 21' 22' 23]。近年來，有許多實(shí)例是利用那些伴隨圖像一起出現(xiàn)的文本信息來進(jìn)行跨模態(tài)人臉和人名的對(duì)齊處理，從整體上可分為以下兩種相關(guān)處理方式
(I)首先，利用文本信息進(jìn)行相關(guān)檢索過程，然后直接從圖像的視覺特征出發(fā)，進(jìn)行人臉圖像的分析與識(shí)別。即，首先通過文本檢索方式得到一個(gè)特定人的人臉圖像候選集，之后對(duì)當(dāng)前候選集中的人臉圖像進(jìn)行相似性評(píng)估和度量。目前主要采用一種基于圖的方法來獲得當(dāng)前人臉候選集的一個(gè)最緊密人臉圖像子集，此子集中人臉圖像之間互相更加相似緊密，所得到的這些人臉圖像也就是所檢索的當(dāng)前特定人對(duì)應(yīng)的人臉圖像結(jié)果集合。在此方法基礎(chǔ)上，Ozkan等提出一種同時(shí)利用視覺和文本特征獲得最緊密子圖的方法來檢索屬于一個(gè)特定人的人臉圖像[22]。該方法基于這樣一種理念，即某個(gè)人的人臉圖像經(jīng)常會(huì)在新聞中隨著他/她的人名一同出現(xiàn)，盡管其中伴隨著屬于其他人的人臉圖像或一些由所使用的人臉檢測(cè)方法錯(cuò)誤檢測(cè)所帶來的一些非人臉圖像。Guillaumin等考慮對(duì)帶有文本標(biāo)注的新聞圖像數(shù)據(jù)集中的兩種人臉命名情況，即查找屬于一個(gè)特定人的人臉圖像和對(duì)數(shù)據(jù)集中所有人臉圖像分配指定人名[23]。他們首先利用初始的基于文本搜索的過程，將可能分配指定給一張人臉圖像的人名限制在出現(xiàn)在文本標(biāo)注中的人名集中，然后將分析人臉圖像的視覺特征作為下一步處理。(2)同時(shí)將文本特征信息和圖像視覺信息相互結(jié)合，來共同完成人臉與人名的對(duì)齊過程。即，首先通過對(duì)人臉圖像進(jìn)行分析處理，生成人臉圖像的判別空間，并以此得到一個(gè)基于人臉圖像特征的視覺模型。然后，考慮文本中的上下文信息，利用此上下文信息構(gòu)造一個(gè)文本分析模型。最后，將所得到的視覺模型和文本分析模型相結(jié)合，在以成對(duì)形式出現(xiàn)的人名和人臉基礎(chǔ)上，用統(tǒng)計(jì)模型方法進(jìn)行聚類，找出屬于一個(gè)確定人名的所有人臉圖像，將其進(jìn)行正確命名。即，同時(shí)充分考慮一個(gè)人名在對(duì)應(yīng)文本上下文中所具有的可視化概率情況下，尋找算法對(duì)人臉圖像進(jìn)行聚類分析，獲得最終的人臉人名間的對(duì)齊結(jié)果。在此方法基礎(chǔ)上，Yang等提出一種通過探索各種線索的方法在廣播新聞?dòng)捌袑ふ姨囟ǖ娜?。這些線索包括出現(xiàn)在字幕中的人名、人臉信息、新聞主播畫面與最重要字幕中的人名、及影片中人物出現(xiàn)的時(shí)序模式線索[13]。該任務(wù)通過利用視頻中的腳本，視頻結(jié)構(gòu)及視覺特征等多模態(tài)信息來實(shí)現(xiàn)。Everingham等解決在電視或電影材料中自動(dòng)標(biāo)注出現(xiàn)人名的問題，并證明可通過同時(shí)結(jié)合視覺和文本這些多模態(tài)信息而獲得較高精確率[21]。他們通過結(jié)合監(jiān)督信息和互補(bǔ)的線索來將電視中的人名和人臉進(jìn)行對(duì)齊。這些互補(bǔ)線索包括電視中的字幕、對(duì)事件的描述、及對(duì)當(dāng)前正在講話的人的識(shí)別。Pham等描述他們對(duì)新聞網(wǎng)站中所獲得的圖像和文本標(biāo)注中存在的人臉和人名進(jìn)行對(duì)齊的實(shí)驗(yàn)，所提出的將人臉和人名進(jìn)行關(guān)聯(lián)的方法在檢索或挖掘多媒體資料中非常有價(jià)值，同時(shí)也利用視覺模型和文本模型之間的對(duì)稱性進(jìn)行詳細(xì)的對(duì)稱實(shí)驗(yàn)[7]。最重要的是，他們研究通過利用文本和視覺結(jié)構(gòu)信息的通用方法來預(yù)測(cè)另一種模態(tài)信息中相對(duì)應(yīng)實(shí)體的存在性。在這里，特別有必要提到由Berg等所進(jìn)行的研究,主要通過核主成分分析方法(Kernel Principal ComponentAnalysis, KPCA)和線性判別分析方法(Linear Discriminant Analysis, LDA)所得到一種簡(jiǎn)單的視覺模型和基于上下文所得到的語言模型進(jìn)行結(jié)合17' 24]。在以成對(duì)形式出現(xiàn)的人名和人臉基礎(chǔ)上，他們利用期望最大化(Expectation Maximization, EM)算法進(jìn)行聚類，找出屬于一個(gè)確定人名的所有人臉圖像。在充分考慮一個(gè)人名在對(duì)應(yīng)文本上下文中所具有的可視化概率情況下，他們對(duì)利用EM算法和最大似然估計(jì)(Maximum Estimation, ME)算法進(jìn)行聚類的效果分別進(jìn)行評(píng)估，并充分顯示將視覺模型和語言模型結(jié)合起來會(huì)比僅用視覺模型產(chǎn)生更好的實(shí)驗(yàn)結(jié)果。由以上分析可看出，當(dāng)前已有的僅考慮人臉視覺特征或者同時(shí)結(jié)合文本特征與人臉視覺特征的人臉-人名對(duì)齊方法比較多，同時(shí)部分方法也已取得較好效果。然而，所有這些方法均仍未充分考慮以下四個(gè)方面所帶來的影響
(I)大多數(shù)現(xiàn)有的跨媒體對(duì)齊方法都將重點(diǎn)放在利用同一新聞圖像中的每個(gè)人名與每張人臉之間的相互關(guān)聯(lián)信息。然而，一幅新聞圖像所對(duì)應(yīng)的文本標(biāo)注可能包含多個(gè)人名，而給定的新聞圖像的文本標(biāo)注中的一些人名可能不會(huì)在此圖像中具有對(duì)應(yīng)的人臉，這些人名只是作為圖像的輔助描述。如果沒有對(duì)人名重要性的足夠分析，這些人名可能會(huì)形成對(duì)齊系統(tǒng)中的“噪聲”信息，這些信息會(huì)降低人名與人臉之間的對(duì)齊準(zhǔn)確性并帶來二義性。盡管一些研究人員已考慮利用文本標(biāo)注中的文本信息來度量人名在相應(yīng)文本中的可視化概率，但只是簡(jiǎn)單地利用每個(gè)人名對(duì)應(yīng)的上下文信息，這對(duì)有效和精準(zhǔn)地評(píng)估人名的可視化概率遠(yuǎn)不足夠。(2)當(dāng)前有關(guān)大多數(shù)查找特定人所對(duì)應(yīng)人臉圖像的研究，通常基于文本標(biāo)注進(jìn)行文本檢索(如人名與標(biāo)注進(jìn)行字符串匹配)時(shí)返回檢索人臉圖像集。這些方法都是以一個(gè)先決條件為基礎(chǔ)建立，即進(jìn)行人名檢索所返回的人臉圖像集中包含屬于當(dāng)前檢索人名的較多高度相似的人臉圖像和少量屬于其他人的人臉圖像。但存在一種特殊情形，所返回的人臉集只包含少數(shù)幾張甚至僅僅一張人臉圖像，則不能滿足之前的先決條件，即缺少足夠可用來進(jìn)行分析處理的多模態(tài)信息而無法很好地進(jìn)行處理，也使得人臉-人名對(duì)齊過程在這種情況下變得受限和不可行。(3)人臉與人名的對(duì)齊過程其實(shí)就是在滿足一定的約束條件下，將人臉分別分配給相應(yīng)的人名，增添到該人名所對(duì)應(yīng)的檢索人臉集中。每種全局分配對(duì)準(zhǔn)都能獲得該分配方式下所有人名各自所對(duì)應(yīng)的檢索人臉集。然后，從人臉視覺特征出發(fā)，通過評(píng)估檢索人臉集中所有人臉之間內(nèi)在的相似性，以此來衡量各個(gè)檢索人臉集與其所對(duì)應(yīng)人名之間的相關(guān)性。但是，屬于同一個(gè)人的不同新聞人臉圖像，由于光照強(qiáng)度、遮擋程度、人臉角度等諸多因素可能會(huì)存在很大不同。因此，僅通過直接度量這些人臉視覺特征之間的相似性，以此來衡量各檢索人臉集的整體相關(guān)性并不足夠。(4)由于對(duì)整個(gè)數(shù)據(jù)集中的人臉和人名進(jìn)行對(duì)齊不同于查找某個(gè)特定人所對(duì)應(yīng)的人臉圖像，歸因于隨著數(shù)據(jù)集的增大會(huì)使得所求解的問題變得愈加復(fù)雜。一些文本標(biāo)注包 含多個(gè)人名且一些圖像包含多張人臉，隨著數(shù)據(jù)集的不斷擴(kuò)大，對(duì)其中所有人臉和人名之間進(jìn)行對(duì)齊而獲得最優(yōu)解則非?？赡苎葑?yōu)閷儆赹難問題[25’ 26’ 27]。因此，當(dāng)前大多數(shù)對(duì)于此問題的研究都更傾向于尋求一種近似于全局最優(yōu)解的最佳近似解，通過一些基于概率統(tǒng)計(jì)模型的算法(如EM算法)來計(jì)算人臉與人名在各種對(duì)齊方式下的整體似然函數(shù)值，以此來盡可能地尋求到較好的近似解。然而，這些方法在其各自的迭代計(jì)算過程中，很有可能使求解過程陷入局部最優(yōu)。雖然可通過將一些算法進(jìn)行有效結(jié)合，在一定程度上避免求解過程陷入局部最優(yōu)，但這將以更慢的求解收斂速度作為代價(jià)。因此，這些方法在很大程度上不能保證能夠在比較滿意的時(shí)間代價(jià)內(nèi)，獲得較為滿意的最終解。因此，非常有必要借鑒當(dāng)前已有的相關(guān)成熟技術(shù)，同時(shí)從各方面考慮以上問題，更全面地分析與優(yōu)化人臉-人名對(duì)齊方法。本發(fā)明基于上述思考，從局部到整體，設(shè)計(jì)一種新穎的技術(shù)框架(包括四個(gè)主要算法)，使用相關(guān)的人臉特征處理及文本語義分析方法，結(jié)合具有問題針對(duì)性的組合優(yōu)化算法，建立有效的人臉一人名對(duì)齊機(jī)制，進(jìn)而對(duì)跨媒體新聞檢索性能進(jìn)行改進(jìn)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種跨媒體新聞檢索中進(jìn)行有效且準(zhǔn)確的人臉與人名對(duì)齊的方法及系統(tǒng)，以提高跨媒體新聞檢索性能。本發(fā)明提出的人臉與人名對(duì)齊方法，采用一種新穎的整體框架，在大規(guī)模帶有標(biāo)注文本的新聞圖像中，實(shí)現(xiàn)更加精確且有效的自動(dòng)人臉-人名對(duì)齊。該框架將人臉-人名對(duì)齊作為一種雙媒體語義映射的問題進(jìn)行處理，在雙媒體(人臉圖像與人名)的語義表達(dá)之間建立相應(yīng)的關(guān)聯(lián)分布，通過評(píng)估這種雙媒體語義表達(dá)之間的相似關(guān)聯(lián)性，進(jìn)而最終衡量人臉與人名各種對(duì)齊方式的相對(duì)好壞。本發(fā)明方法的具體步驟為
(I)圖像與文本預(yù)處理(Preprocessing for Image and Text),針對(duì)原始新聞圖像信息，進(jìn)行人臉與人名的檢測(cè)和提取，并對(duì)檢測(cè)和提取出來的人臉圖像進(jìn)行預(yù)處理與相似性度量；
(2)人名重要性評(píng)估(NameSalience Identification),對(duì)新聞圖像帶有的文本標(biāo)注進(jìn)行多層次的文本分析，利用各個(gè)人名在對(duì)應(yīng)文本標(biāo)注中出現(xiàn)的頻率、句法分析樹中的深度、句法分析樹中的廣度遍歷順序三個(gè)要素，對(duì)從文本標(biāo)注中檢測(cè)提取出來的所有人名度量各自的相對(duì)重要性；
(3)基于Web挖掘的多模態(tài)信息發(fā)現(xiàn)(MultimodalInformation Discovery based onWeb Mining),將一些在當(dāng)前新聞圖像集中出現(xiàn)僅一次或少數(shù)幾次的人名作為查詢文本,通過主流的圖像搜索網(wǎng)站對(duì)其進(jìn)行圖像檢索，并對(duì)所有的信息檢索結(jié)果進(jìn)行評(píng)估，衡量這些檢索結(jié)果與當(dāng)前查詢?nèi)嗣南嚓P(guān)性，以此實(shí)現(xiàn)對(duì)這些特殊人名獲得更為充分的附加多模態(tài)信息資源；
(4)人臉集內(nèi)聚度度量(CohesionMeasure for Face Set),在人臉與人名的對(duì)齊過程中，對(duì)任意一種全局對(duì)齊方式利用A近鄰算法計(jì)算各個(gè)人名對(duì)應(yīng)的人臉集中所有人臉的緊密度分值，以此獲得各個(gè)人臉集的內(nèi)聚度，進(jìn)而對(duì)當(dāng)前人臉-人名對(duì)齊方式進(jìn)行有效評(píng)估；
(5)多模態(tài)對(duì)齊組合優(yōu)化(MultimodalAlignment Optimization),利用各人臉集的內(nèi)聚度，設(shè)定全局目標(biāo)函數(shù)，并按照人臉-人名對(duì)齊分配的處理機(jī)制，設(shè)立全局約束條件，建立整數(shù)規(guī)劃模型，采用改進(jìn)的自適應(yīng)遺傳算法進(jìn)行問題求解，同時(shí)結(jié)合模擬退火算法，以此能夠同時(shí)具有較好的全局解與局部解的尋優(yōu)能力，進(jìn)而最終能夠更好的對(duì)人臉-人名對(duì)齊問題進(jìn)行求解。
較之于當(dāng)前已有的相關(guān)人臉-人名對(duì)齊方法而言，本發(fā)明所提出的方法在跨媒體新聞檢索中存在兩大優(yōu)勢(shì)，即相關(guān)性高、適用性強(qiáng)。其相關(guān)性高體現(xiàn)在一方面通過對(duì)新聞標(biāo)注的深層次分析，能夠很好的對(duì)文本標(biāo)注中的各個(gè)人名進(jìn)行相關(guān)性評(píng)估，評(píng)估哪些人名在相應(yīng)的圖像中具有對(duì)應(yīng)人臉圖像的可能性很低，進(jìn)而將這些相關(guān)性比較低的人名進(jìn)行過濾，從而使得相應(yīng)的人臉圖像與這些被過濾掉的人名不再具有關(guān)聯(lián)。另一方面通過具體人臉圖像和過濾后人名之間的對(duì)齊處理，能夠?qū)?人臉圖像和相關(guān)性評(píng)估過濾后文本中所保留的人名進(jìn)行一一對(duì)齊，有效地將人名分配給實(shí)際屬于該人的人臉圖像，并在完成對(duì)齊過程后將未分配到對(duì)應(yīng)人臉圖像的人名進(jìn)行再次過濾。這樣便能夠從多方面有效地保證對(duì)于任意查詢?nèi)嗣娜四槇D像檢索結(jié)果，其中所包含的人臉圖像與所查詢?nèi)嗣軌蚓哂休^高相關(guān)性，而不像當(dāng)前一般的人臉圖像檢索機(jī)制一樣，讓用戶感覺到查詢結(jié)果與查詢?nèi)嗣植幌嚓P(guān)。而其適用性強(qiáng)體現(xiàn)在本發(fā)明所提出的人臉-人名對(duì)齊方法，比當(dāng)前已有相關(guān)方法能夠更好地適用于大規(guī)模和小規(guī)模的新聞圖像數(shù)據(jù)信息。當(dāng)前一些方法針對(duì)比較大規(guī)模和比較小規(guī)模的新聞圖像數(shù)據(jù)，由于不能夠很好地進(jìn)行整體相關(guān)性分析與相關(guān)處理，從而使得用戶所獲得的反饋結(jié)果不是很理想。而本發(fā)明并不受數(shù)據(jù)量規(guī)模大小的限制，所提出的算法框架能夠?qū)@兩種情況下的人臉與人名進(jìn)行有效對(duì)齊，均能夠取得較好效果。同時(shí)，本發(fā)明也能夠很好地適用于常用人名和非常用人名的跨媒體新聞檢索過程，利用網(wǎng)絡(luò)信息挖掘模塊，通過對(duì)當(dāng)前主流的圖像搜索網(wǎng)站關(guān)于這些非常用人名的圖像檢索結(jié)果，進(jìn)行相關(guān)性分析以及排序，進(jìn)而獲得屬于這些非常用人名的額外相關(guān)多模態(tài)信息資源。在非常用人名與相應(yīng)人臉進(jìn)行對(duì)齊的過程中，這些補(bǔ)充信息起到很好的輔助作用，進(jìn)而能夠使這些非常用人名的檢索結(jié)果也具有比較理想的相關(guān)性。相應(yīng)于上述方法，本發(fā)明系統(tǒng)包括5個(gè)模塊，其結(jié)構(gòu)框架見圖I所示。這5個(gè)模塊分別是(一)為圖像和文本預(yù)處理模塊；(二)為人名重要性評(píng)估模塊；(三)為基于Web挖掘的多模態(tài)信息發(fā)現(xiàn)模塊；(四)為人臉集內(nèi)聚度度量模塊；(五)為多模態(tài)對(duì)齊組合優(yōu)化模塊。其中，第二、第三、第四、第五的模塊分別對(duì)應(yīng)于本發(fā)明方法中步驟(2)、步驟(3)、步驟(4)、步驟(5)的四個(gè)算法人名重要性評(píng)估算法，基于Web挖掘的多模態(tài)信息發(fā)現(xiàn)算法，人臉集內(nèi)聚度度量算法，多模態(tài)對(duì)齊組合優(yōu)化算法。其中人名重要性評(píng)估和基于Web挖掘的多模態(tài)信息發(fā)現(xiàn)這兩個(gè)算法，用于在進(jìn)行人臉-人名對(duì)齊過程之前，對(duì)人名進(jìn)行有效的“預(yù)處理”，以及對(duì)數(shù)據(jù)集進(jìn)行充分的補(bǔ)充。人臉集內(nèi)聚度度量算法和多模態(tài)對(duì)齊組合優(yōu)化這兩個(gè)算法，用于對(duì)人臉-人名對(duì)齊方式的有效評(píng)估，進(jìn)而完成最終的人臉-人名對(duì)齊。下面詳細(xì)介紹本發(fā)明在針對(duì)跨媒體新聞檢索所進(jìn)行的人臉-人名對(duì)齊的整體流程框架及四個(gè)核心算法。(I)圖像與文本預(yù)處理，針對(duì)初始的包含圖像和文本的新聞圖像數(shù)據(jù)，預(yù)處理的主要任務(wù)包括文本中人名的檢測(cè)提取、圖像中人臉的檢測(cè)提取以及對(duì)所提取出的人臉進(jìn)行特征表示和相似性度量。首先，關(guān)于人名檢測(cè)提取，先利用條件隨機(jī)場(chǎng)在文本中對(duì)人名實(shí)體檢測(cè)，然后分析文本中各個(gè)名詞實(shí)體間的內(nèi)在關(guān)聯(lián)性及它們各自所表現(xiàn)出的文本字符特性來進(jìn)一步驗(yàn)證各個(gè)名詞實(shí)體是人名實(shí)體的可能性。其次，關(guān)于人臉檢測(cè)提取，先把圖像轉(zhuǎn)為灰度圖，再進(jìn)行直方圖均衡化以去除光照影響，然后利用Viola-Jones Detector進(jìn)行人臉檢測(cè),利用其輸出邊框來提取出圖像中存在的人臉。然后，關(guān)于人臉特征表示及相似性度量，先通過利用差分高斯濾波器彌補(bǔ)低頻率的光照變化和抑制噪聲，以此來對(duì)提取出的人臉進(jìn)行歸一化預(yù)處理，然后采用臉部特征點(diǎn)定位方法定位出人臉的9個(gè)臉部特征點(diǎn)(每只眼睛的左右角、嘴巴的左右角、鼻子的左右鼻孔以及鼻尖)，并額外增添4個(gè)臉部特征點(diǎn)(兩只眼睛的各自中心、嘴巴的中心、兩只眼睛之間的中點(diǎn))來更大程度上覆蓋整個(gè)人臉區(qū)間。最后，從歸一化處理后的人臉中分別為這13個(gè)臉部特征點(diǎn)在同一尺度中計(jì)算Sift算子，最終將每張人臉表示為13*128=1，664維的特征向量，并利用兩張人臉對(duì)應(yīng)的13個(gè)人臉特征點(diǎn)的Sift算子間的平均歐式距離作為此兩張人臉在該特征空間下的距離度量方式。
(2)人名重要性評(píng)估，文本標(biāo)注中各人名的相對(duì)重要性，反映各人名在所屬文本相對(duì)應(yīng)的圖像中，是否具有屬于該人人臉圖像的可能性，可通過對(duì)文本進(jìn)行多層次文本分析來對(duì)人名重要性進(jìn)行評(píng)估。首先，同一個(gè)人名在文本標(biāo)注中出現(xiàn)的次數(shù)越多，則說明與該文本相對(duì)應(yīng)的新聞圖像具有更大可能性來描述該人，則該人具有更大的可能性在圖像中具有自己的人臉圖像。其次，對(duì)于一段文本而言，其語義結(jié)構(gòu)一般都象征著文本中所包含的語義信息分布。在大多數(shù)情況下，一個(gè)名詞在句法分析樹中的深度越淺，則該名詞在句法分析樹中的語義重要性更大。因此，通過句法分析樹來分析文本中各個(gè)人名名詞的相對(duì)重要性，計(jì)算各個(gè)人名名詞在句法分析樹中的深度，進(jìn)而用以衡量各個(gè)人名名詞的可視化概率。最后，因?yàn)閷?duì)于已經(jīng)構(gòu)造句法分析樹中的同一層結(jié)點(diǎn)，越優(yōu)先被遍歷的結(jié)點(diǎn)，則相對(duì)于同一層中的其他結(jié)點(diǎn)一般也更為重要。例如，一個(gè)句子中主語的重要性一般都比賓語的重要性更大，而該主語和謂語分別位于同一個(gè)父親結(jié)點(diǎn)的左邊和右邊，進(jìn)行廣度優(yōu)先遍歷時(shí)，位于左邊的主語將更早被訪問。因此，將各人名出現(xiàn)次數(shù)、位于句法分析樹中的深度及遍歷順序作為三個(gè)要素，分別設(shè)置相應(yīng)權(quán)值，建立整體評(píng)估函數(shù)，進(jìn)而能夠有效和直接地評(píng)估各個(gè)人名在相應(yīng)文本中的相對(duì)重要性。(3)基于Web挖掘的多模態(tài)信息發(fā)現(xiàn)，對(duì)于在新聞圖像數(shù)據(jù)中僅出現(xiàn)少數(shù)幾次甚至一次的人名而言，與這些人名相關(guān)的多模態(tài)信息(圖像和文本)則非常少。而隨著用于描述具體人的網(wǎng)絡(luò)新聞圖像資源的不斷擴(kuò)大，并且這些網(wǎng)絡(luò)新聞圖像也大都帶有超文本標(biāo)注，所以這些網(wǎng)絡(luò)信息成為可用知識(shí)庫，能夠帶來更多更完全的多模態(tài)信息。首先，擬通過自制網(wǎng)絡(luò)爬蟲，將這些人名作為查詢?nèi)嗣?，通過谷歌、雅虎等圖像搜索引擎自動(dòng)檢索相應(yīng)的圖像信息及文本信息，動(dòng)態(tài)獲得與這些人名的多模態(tài)信息。其次，對(duì)這些初步獲得的人臉圖像及標(biāo)注文本，利用人名重要性評(píng)估算法來評(píng)估查詢?nèi)嗣c這些多模態(tài)信息之間的相關(guān)性，最終保留較為相關(guān)的人臉圖像及文本信息。(4)人臉集內(nèi)聚度度量，在人臉-人名對(duì)齊過程中，對(duì)于任意一種全局對(duì)齊方式，都會(huì)得到各個(gè)人名所對(duì)應(yīng)的對(duì)齊關(guān)聯(lián)人臉集。由于不同條件下屬于同一個(gè)人的人臉圖像在特征空間中會(huì)相對(duì)更緊密，因此擬對(duì)于已經(jīng)特征表示的人臉圖像，在各個(gè)人臉集中計(jì)算其每張人臉的A近鄰兄弟，利用人臉與其A近鄰兄弟的平均相似性，獲得每張人臉位于當(dāng)前人臉集中的緊密度分值。緊密度分值越大，則說明人臉與該人臉集對(duì)應(yīng)人名的相關(guān)性越大。任一人臉集中所有人臉的緊密度分值之和越大，則說明該人臉集中的人臉圖像之間越為關(guān)聯(lián)，也即該人臉集的內(nèi)聚程度越大。由此，可對(duì)當(dāng)前各個(gè)人臉集的內(nèi)聚度進(jìn)行度量，進(jìn)而有效衡量當(dāng)前全局對(duì)齊方式的好壞。(5)多模態(tài)對(duì)齊組合優(yōu)化，人臉-人名的對(duì)齊問題實(shí)際上就是一種組合匹配問題，可根據(jù)問題的本身特點(diǎn)來分析其全局關(guān)聯(lián)性及局部限制性，利用人臉集內(nèi)聚度度量算法設(shè)立全局目標(biāo)函數(shù)，并制定該問題所需要滿足的各種約束條件，建立一種整數(shù)規(guī)劃模型，從組合優(yōu)化的角度出發(fā)將對(duì)齊問題最終轉(zhuǎn)化為具有特定結(jié)構(gòu)特點(diǎn)的整數(shù)規(guī)劃問題。最后，采用改進(jìn)的自適應(yīng)模擬退火遺傳算法，有效地對(duì)該整數(shù)規(guī)劃問題進(jìn)行求解，獲得較優(yōu)的最終解，進(jìn)而有效完成人臉-人名對(duì)齊過程。



圖I為基于圖像特征和文本語義的人臉-人名對(duì)齊方法的流程圖示。圖2為人名重要性評(píng)估算法示例。圖3為人臉-人名對(duì)齊算法最終效果不例。
具體實(shí)施例方式(一)人名重要性評(píng)估算法
人名重要性評(píng)估算法的創(chuàng)意基于以下設(shè)想在新聞圖像對(duì)應(yīng)的文本標(biāo)注中，并非所有人名都同樣重要，每個(gè)人名的重要性程度相對(duì)不同。在一般情況下，對(duì)于重要性更高的人名，其相對(duì)應(yīng)的人臉圖像則具有較高的可能性出現(xiàn)在該文本相關(guān)的新聞圖像中。此外，一些出現(xiàn)在文本標(biāo)注中的人名，在相應(yīng)的新聞圖像中可能沒有相對(duì)應(yīng)的人臉。因此，非常有必要在同一文本標(biāo)注中，為該文本所包含的每個(gè)人名評(píng)估各自的重要性程度，以此來判斷哪些人名更有可能是與其相對(duì)應(yīng)的人臉圖像一同出現(xiàn)。作為新聞圖像的唯一補(bǔ)充文本信息，該有限文本標(biāo)注需要通過多層次分析，才能夠獲得有效的文本特征，進(jìn)而才能有效區(qū)分與度量各個(gè)人名的重要性程度。因此，本發(fā)明對(duì)每個(gè)人名在文本標(biāo)注中的重要程度度量，是以文本標(biāo)注信息的多層次分析為基礎(chǔ)構(gòu)建。現(xiàn)在描述如何設(shè)計(jì)通過文本標(biāo)注的多層次分析來進(jìn)行有效人名重要性評(píng)估的算法。對(duì)于經(jīng)過文本預(yù)處理從文本標(biāo)注中檢測(cè)提取出的所有人名，這些人名僅是通過從詞法分析是否為人名實(shí)體，并沒有特定的相關(guān)重要性信息。而由于文本的句法結(jié)構(gòu)通常能夠表示該文本中的多項(xiàng)信息分布，因此能夠通過分析這些人名實(shí)體在其所屬文本對(duì)應(yīng)句法分析樹中的角色位置以及各人名實(shí)體在該句法分析樹中的樹結(jié)構(gòu)關(guān)系，來衡量各個(gè)人名在該文本中的相對(duì)重要性。從而，擬將人名實(shí)體在對(duì)應(yīng)句法分析樹中的深度以及在該樹中的廣度優(yōu)先遍歷順序作為兩個(gè)重要的句法分析要素。另外，從統(tǒng)計(jì)方面而言，在大多數(shù)情況下一個(gè)人名實(shí)體在對(duì)應(yīng)的文本標(biāo)注中出現(xiàn)的次數(shù)越多，則在很大程度上說明該人名越相對(duì)重要，因此人名出現(xiàn)的次數(shù)也作為一個(gè)關(guān)鍵分析要素。(I)句法分析樹深度(Syntactic Parse Tree Depth, SPTD),這一要素表示某個(gè)人名類在對(duì)應(yīng)文本句法分析樹中的深度值，其值為該人名類包含的所有人名對(duì)應(yīng)的最小深度值。對(duì)于一個(gè)特定新聞圖像的文本標(biāo)注，其句法分析層次結(jié)構(gòu)通過層次分布情況體現(xiàn)其中每個(gè)實(shí)體的相對(duì)重要性。作為文本標(biāo)注的關(guān)鍵元素，人名實(shí)體可能在相應(yīng)句法分析樹中扮演重要角色，而它們?cè)诜治鰳渲械纳疃戎悼杀灰暈橐粋€(gè)代表其相對(duì)重要性的指示之一。在大多數(shù)情況下，如果一個(gè)人名實(shí)體在句法分析樹中的深度比較淺，則其在相應(yīng)文本中具有更高的重要性。因此，對(duì)于每個(gè)文本標(biāo)注中的每個(gè)人名類，計(jì)算其包含的所有人名的深度值，而其中的最小深度值則被用來描述該人名類及其類中所有人名的相對(duì)重要性。假定一條新聞圖像標(biāo)注中包含#個(gè)不同的人名。每個(gè)人名都具有其各自的人名類AC；.，每個(gè)人名類中包含一個(gè)或多個(gè)人名名稱，這些人名名稱均指向同一個(gè)人。用表示人名類m中第j個(gè)人名。因此，任一人名類的句法分析樹深度值可定義為
權(quán)利要求
1.ー種跨媒體新聞檢索中基于圖像特征和文本語義的人臉-人名對(duì)齊方法，其特征在于具體步驟如下 (1)圖像與文本預(yù)處理，針對(duì)原始新聞圖像信息，進(jìn)行人臉與人名的檢測(cè)和提取，并對(duì)檢測(cè)和提取出來的人臉圖像進(jìn)行預(yù)處理與相似性度量； (2)人名重要性評(píng)估，對(duì)新聞圖像帶有的文本標(biāo)注進(jìn)行多層次的文本分析，利用各個(gè)人名在對(duì)應(yīng)文本標(biāo)注中出現(xiàn)的頻率、句法分析樹中的深度、句法分析樹中的廣度遍歷順序三個(gè)要素，對(duì)從文本標(biāo)注中檢測(cè)提取出來的所有人名度量各自的相對(duì)重要性； (3)基于Web挖掘的多模態(tài)信息發(fā)現(xiàn)，將ー些在當(dāng)前新聞圖像集中出現(xiàn)僅一次或少數(shù)幾次的人名作為查詢文本，通過主流的圖像搜索網(wǎng)站對(duì)其進(jìn)行圖像檢索，并對(duì)所有的信息檢索結(jié)果進(jìn)行評(píng)估，衡量這些檢索結(jié)果與當(dāng)前查詢?nèi)嗣南嚓P(guān)性，以此實(shí)現(xiàn)針對(duì)這些特殊人名獲得更為充分的附加多模態(tài)信息資源； (4)人臉集內(nèi)聚度度量，在人臉與人名的對(duì)齊過程中，對(duì)任意ー種全局對(duì)齊方式利用k近鄰算法計(jì)算各個(gè)人名對(duì)應(yīng)的人臉集中所有人臉的緊密度分值，以此獲得各個(gè)人臉集的內(nèi)聚度，進(jìn)而對(duì)當(dāng)前人臉-人名對(duì)齊方式進(jìn)行有效評(píng)估； (5)多模態(tài)對(duì)齊組合優(yōu)化，利用各人臉集的內(nèi)聚度，設(shè)定全局目標(biāo)函數(shù)，并按照人臉-人名對(duì)齊分配的處理機(jī)制，設(shè)立全局約束條件，建立整數(shù)規(guī)劃模型，采用改進(jìn)的自適應(yīng)遺傳算法進(jìn)行問題求解，同時(shí)結(jié)合模擬退火算法，以此能夠同時(shí)具有較好的全局解與局部解的尋優(yōu)能力，進(jìn)而最終能夠更好地對(duì)人臉-人名對(duì)齊問題進(jìn)行求解。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于在人名重要性評(píng)估步驟中，對(duì)人名所屬的文本標(biāo)注進(jìn)行深層次分析，對(duì)文本構(gòu)造其相應(yīng)的句法分析樹，將人名實(shí)體在對(duì)應(yīng)句法分析樹中的深度以及在該樹中的廣度優(yōu)先遍歷順序作為兩個(gè)句法分析要素；另外，從統(tǒng)計(jì)方面出發(fā)，將人名在文本中出現(xiàn)的次數(shù)也作為ー個(gè)句法分析要素；最終，以這三個(gè)要素共同評(píng)估人名重要性； 假定一條新聞圖像標(biāo)注中包含#個(gè)不同的人名，每個(gè)人名都具有其各自的人名類％.，每個(gè)人名類中包含ー個(gè)或多個(gè)人名名稱，這些人名名稱均指向同一個(gè)人，并用表示人名類中第プ個(gè)人名，則任一人名類燃的句法分析樹深度定義如下 SPTD(NO) = mmjT[NC,} {SPT Depih(NOi)) ⑴ 其中，5AT0VC；.)表示人名類ATi的大小，即該人名類中所包含的具有內(nèi)聯(lián)性并指向同一個(gè)人的不同人名形式個(gè)數(shù).,SPLD^thiNCi)表示在相應(yīng)句法分析樹中的深度值； 同時(shí)，任一人名類的句法分析樹遍歷順序定義如下 SPTTO(NG) = minSfl>0) {SPT BFT- Order(NQ)] ⑵ 其中，SPT_BFT-Order (JVCjj)表示人名NCij在相應(yīng)句法分析樹中的遍歷順序； 最后，每個(gè)人名類的相對(duì)重要性可由以上兩個(gè)要素以及在相應(yīng)文本中出現(xiàn)的次數(shù)SM共同來決定，并給這三個(gè)要素分配不同的權(quán)值系數(shù)，通過它們的線性組合進(jìn)行計(jì)算，則相對(duì)重要性定義如下
3.根據(jù)權(quán)利要求2所述的方法，其特征在于所述的基于Web挖掘的多模態(tài)信息發(fā)現(xiàn)步驟中，對(duì)于在整個(gè)新聞圖像數(shù)據(jù)集中的罕見人名，補(bǔ)充更多其相應(yīng)的多模態(tài)信息；假定當(dāng)前的罕見人名為/&V，獲得該ノ #對(duì)應(yīng)的補(bǔ)充多模態(tài)信息過程如下 (1)將7&V作為查詢?nèi)嗣?，通過網(wǎng)絡(luò)爬蟲，從谷歌圖像檢索、Bing圖像檢索以及YahooNews圖像檢索等圖像搜索引擎，獲取對(duì)應(yīng)于查詢?nèi)嗣?&V的圖像檢索集及每幅圖像所附有的文本標(biāo)注； (2)利用人臉檢測(cè)工具對(duì)圖像檢索集中的每幅圖像進(jìn)行人臉檢測(cè)，將未檢測(cè)到人臉的圖像進(jìn)行刪除過濾； (3)針對(duì)經(jīng)過過濾操作后的圖像檢索集，利用人名重要性評(píng)估算法，對(duì)過濾后的檢索集中每幅圖像所附有的文本標(biāo)注首先進(jìn)行人名檢測(cè)，然后對(duì)檢測(cè)出來的所有人名進(jìn)行相對(duì)重要性評(píng)估； (4)在得到每幅圖像對(duì)應(yīng)文本標(biāo)注包含的所有人名相對(duì)重要性之后，對(duì)RN的檢索圖像集進(jìn)行排序操作，以^的相對(duì)重要性M值作為排序依據(jù)，將圖像集中所有圖像進(jìn)行由高到低的排序； (5)對(duì)排序好的檢索圖像集進(jìn)行Tb/7操作，只保留前#幅M值最大的圖像，作為最終7&V的檢索圖像集；其中，ガ是ー個(gè)變化的整數(shù)值，與/&V對(duì)應(yīng)的最初始圖像檢索集大小成正比； (6)對(duì)獲得的最終ノ&V的檢索圖像集中的每幅圖像進(jìn)行人臉提取，將所有檢測(cè)提取出來的人臉圖像及伴隨這些圖像共同出現(xiàn)的標(biāo)注文本信息，作為^所補(bǔ)充的多模態(tài)信息。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于所述的人臉內(nèi)聚度度量步驟中，首先，采用兩張人臉的A最近鄰兄弟的共有兄弟結(jié)點(diǎn)數(shù)目來進(jìn)行人臉相似性度量，進(jìn)而避免高維空間中人臉之間的同一性；假設(shè)在當(dāng)前的全局人臉-人名對(duì)齊方式下，人名^相對(duì)應(yīng)的人臉集^FS-NwKMlFi和人臉巧是此人臉集中的兩張人臉，則巧和/^之間的相似度可進(jìn)ー步定義如下
5.根據(jù)權(quán)利要求4所述的方法，其特征在于所述的多模態(tài)對(duì)齊組合優(yōu)化步驟中，將人臉與人名對(duì)齊作為ー種組合匹配問題，分析其全局關(guān)聯(lián)性與局部限制性，制定該問題所需要滿足的各種約束條件，建立ー種整數(shù)規(guī)劃模型，并同時(shí)結(jié)合使用改進(jìn)的自適應(yīng)模擬退火遺傳算法，對(duì)該受約束的整數(shù)規(guī)劃模型進(jìn)行求解，進(jìn)而有效地完成人臉-人名的對(duì)齊過程；具體過程如下 (一)建立整數(shù)規(guī)劃數(shù)學(xué)模型 假設(shè)當(dāng)前共有/7個(gè)圖像-文本對(duì)，每個(gè)圖像-文本對(duì)都包含一定數(shù)量的不同人臉及不同人名，而不同的圖像-文本對(duì)之間可能包含相同的人名，這P條圖像-文本對(duì)共包含/^長(zhǎng)人臉和#個(gè)人名； 首先，自定義如下參數(shù)和變量 PS~表示所有/7個(gè)圖像-文本對(duì)集合； FS——表示/7個(gè)圖像-文本對(duì)中包含的所有人臉集合； NS——表示/7個(gè)圖像-文本對(duì)中包含的所有人名集合； WJPij——表示人臉ろ是否存在于圖像-文本對(duì)ろ中，/e PS, Fj g FS, i=l,…，|W|，j=l,…，|/^|，#_/^7定義為滿足如下條件的布爾變量
6.ー種基于權(quán)利要求5所述方法的系統(tǒng),其特征在于系統(tǒng)包括5個(gè)模塊(一)為圖像和文本預(yù)處理模塊；(ニ)為人名重要性評(píng)估算法模塊；(三)為基于Web挖掘的多模態(tài)信息發(fā)現(xiàn)算法模塊；(四)為人臉集內(nèi)聚度度量算法模塊；(五)為多模態(tài)對(duì)齊組合優(yōu)化算法模塊；第二、第三、第四、第五的模塊分別對(duì)應(yīng)于方法中步驟(2)、步驟(3)、步驟(4)、步驟(5)的四個(gè)算法人名重要性評(píng)估算法，基于Web挖掘的多模態(tài)信息發(fā)現(xiàn)算法，人臉集內(nèi)聚度度量算法，多模態(tài)對(duì)齊組合優(yōu)化算法；其中，人名重要性評(píng)估算法和基于Web挖掘的多模態(tài)信息發(fā)現(xiàn)算法，用于在進(jìn)行人臉-人名對(duì)齊過程之前，對(duì)人名進(jìn)行有效的“預(yù)處理”，以及對(duì)數(shù)據(jù)集進(jìn)行充分的補(bǔ)充；人臉集內(nèi)聚度度量算法和多模態(tài)對(duì)齊組合優(yōu)化算法，用于對(duì)人臉-人名對(duì)齊方式的有效評(píng)估，進(jìn)而完成最終的人臉-人名對(duì)齊。
全文摘要
本發(fā)明屬于跨媒體信息檢索技術(shù)領(lǐng)域，具體為跨媒體新聞檢索中基于圖像特征和文本語義的人臉-人名對(duì)齊方法與系統(tǒng)。本發(fā)明包括四個(gè)主要算法人名重要性評(píng)估算法、基于Web挖掘的多模態(tài)信息發(fā)現(xiàn)算法、人臉集內(nèi)聚度度量算法和多模態(tài)對(duì)齊組合優(yōu)化算法。本發(fā)明使用相關(guān)的圖像特征和文本語義處理方法，同時(shí)建立相關(guān)數(shù)學(xué)模型，對(duì)新聞圖像搜索進(jìn)行優(yōu)化，包括通過多級(jí)別深層次的文本語義分析，有效的人臉-人名對(duì)齊評(píng)估機(jī)制，具有問題針對(duì)性的組合優(yōu)化。本發(fā)明對(duì)于在大規(guī)模且多樣性新聞圖像基礎(chǔ)上，考慮圖像高層語義信息而進(jìn)行高效圖像檢索具有非常重要的意義，能夠提高檢索相關(guān)性，增強(qiáng)用戶體驗(yàn)，在跨媒體信息檢索領(lǐng)域具有廣泛的應(yīng)用價(jià)值。
文檔編號(hào)G06N3/12GK102629275SQ201210076089
公開日2012年8月8日 申請(qǐng)日期2012年3月21日 優(yōu)先權(quán)日2012年3月21日
發(fā)明者吳偉, 張玥杰, 薛向陽, 金城 申請(qǐng)人:復(fù)旦大學(xué)