本發(fā)明涉及超圖上的top-k查詢技術(shù)，特別涉及一種基于超圖的圖像檢索與標注方法。

背景技術(shù)：

隨著社交媒體和移動互聯(lián)網(wǎng)的發(fā)展，社交圖像網(wǎng)站提供了大量由不同用戶進行文本標注的圖像。社交圖像往往附帶多種信息，譬如視覺特征、標簽和用戶等，以及多種行為關(guān)系，譬如標注和評論等。對海量社交圖像進行檢索和標注應(yīng)用非常廣泛，成為數(shù)據(jù)庫、數(shù)據(jù)挖掘和機器學(xué)習(xí)領(lǐng)域的研究熱點。

圖像檢索是根據(jù)給定的信息，查找最相近的圖像對象，根據(jù)給定的信息類型不同，又有相似圖像檢索和關(guān)鍵字圖像檢索等多種檢索類型。圖像標注是給指定圖像附加語義文本信息，也即根據(jù)圖像查找最相近的語義文本。超圖是普通圖模型的擴展，其中的超邊可包含多個結(jié)點，故能夠表示高維關(guān)系，更適合對復(fù)雜網(wǎng)絡(luò)進行建模。圖像檢索和標注在搜索引擎和社交媒體等領(lǐng)域有重要的應(yīng)用價值。

目前的圖像檢索和標注方法，一般僅對單一特征進行管理，或使用普通圖對社交圖像進行建模。然而，單一特征只能表示某方面的相關(guān)性，不能用來表示真實的語義關(guān)聯(lián)，普通圖不能夠表示高維關(guān)系(比如標注和評論關(guān)系)，造成了信息缺失。一些機器學(xué)習(xí)領(lǐng)域的方法使用超圖模型，但使用了復(fù)雜的矩陣運算進行求解，時間和存儲開銷巨大且不具有擴展性。

技術(shù)實現(xiàn)要素：

針對上述不足，本發(fā)明提供一種基于超圖的圖像檢索與標注方法，該方法使用超圖對社交圖像進行建模來表示高維關(guān)系，使用批量、并行和緩沖技術(shù)來加速超圖模型構(gòu)建，并使用個性化pagerank加速超圖上的top-k查詢，也使用并行和近似方法進一步加速了查詢，本發(fā)明既提高了查詢效率也保證了查詢質(zhì)量。

本發(fā)明解決其技術(shù)問題采用技術(shù)方案的步驟如下：一種基于超圖的圖像檢索與標注方法，該方法的步驟如下：

步驟(1)：使用一個基于內(nèi)容的圖像檢索引擎對圖像數(shù)據(jù)集建立t-nn圖，并將各圖像與其視覺特征最相似的t張圖像建立聯(lián)系；

步驟(2)：根據(jù)圖像t-nn圖和圖像的社交關(guān)聯(lián)信息，建立超圖，計算其轉(zhuǎn)移概率矩陣并存儲到b+樹中；

步驟(3)：用戶提交查詢對象集合和k值；

步驟(4)：根據(jù)用戶提交的查詢對象集合生成查詢向量，而后在超圖上進行并行的個性化pagerank查詢，利用上、下界估計方法過濾超圖的結(jié)點，逐步縮小pagerank查詢過程中每輪迭代的候選點集合，直至得到k個結(jié)果；

步驟(5)：用戶對步驟(4)得到的k個結(jié)果進行評價，生成反饋信息，再根據(jù)反饋信息調(diào)整步驟(4)中的查詢向量，形成新的查詢向量，再重復(fù)步驟(4)，最終獲得新的查詢結(jié)果并返回給用戶。

進一步的，所述的步驟(1)中圖像檢索引擎基于度量空間spb樹索引結(jié)構(gòu)，根據(jù)mpeg-7標準提取圖像的視覺特征，建立spb樹，并對各圖像進行t-nn查詢，獲得與其最相近的t個查詢結(jié)果，進而建立t-nn圖。

進一步的，所述的步驟(2)中超圖的種類有三種：

1)以圖像t-nn圖中的各圖像和其t-nn圖像作為一種超邊；

2)以用戶對圖像進行標注的三元組合作為一種超邊；

3)以用戶對圖像進行評價的多元組合作為一種超邊。

進一步的，所述的步驟(2)中計算超圖轉(zhuǎn)移概率矩陣的具體步驟如下：

用g(v,e,w)表示一個超圖，其中v是結(jié)點集合，e是超邊集合，w是一個權(quán)重函數(shù)；一個超圖可以用一個|v|×|e|的矩陣h表示，其中矩陣元素h(v,e)為：

其中，v為結(jié)點，e為超邊；

結(jié)點v的度d(v)可以表示為：

d(v)＝∑e∈e|v∈ew(e)＝∑e∈ew(e)h(v,e)

其中，w(e)表示超邊e的權(quán)重；

超邊e的度δ(e)可以表示為：

δ(e)＝|e|＝∑v∈vh(v,e)

超圖的轉(zhuǎn)移概率矩陣，用p來表示，則p中的元素p[u,v]表示從結(jié)點u到結(jié)點v的轉(zhuǎn)移概率，其可以使用如下公式進行計算：

進一步的，所述的步驟(2)中轉(zhuǎn)移概率矩陣采用批量插入方法、并行技術(shù)和緩沖技術(shù)存儲到b+樹中；在將轉(zhuǎn)移概率矩陣存儲到b+樹中時，把超圖的出度結(jié)點和入度結(jié)點的組合作為鍵，轉(zhuǎn)移概率作為值。

進一步的，所述的步驟(3)中k是用戶指定的查詢返回結(jié)點個數(shù)。

進一步的，所述的步驟(4)中的個性化pagerank以查詢向量和k值作為輸入，在每輪迭代中，根據(jù)轉(zhuǎn)移概率矩陣，結(jié)點從該結(jié)點的入度結(jié)點獲得排名得分，該排名得分值為上一輪該入度結(jié)點的排名得分和轉(zhuǎn)移概率的乘積。

進一步的，所述的步驟(4)中上、下界估計具體如下：

1)對于下界估計，第i輪的下界估計si[u]使用如下公式計算：

其中，c為阻尼系數(shù)，i為當(dāng)前迭代輪次，si-1[u]為第i-1輪的下界估計；λi[u]為第i輪迭代中從查詢節(jié)點到節(jié)點u的隨機游走概率值，具體公式如下：

其中，q表示查詢向量，q[u]表示結(jié)點u的權(quán)重，且∑u∈vq[u]＝1；另外用c[u]來表示結(jié)點u的入度結(jié)點集合，λi-1[v]為第i-1輪迭代中從查詢節(jié)點到節(jié)點v的隨機游走概率值；

2)對于上界估計，第i輪上界估計使用如下公式計算：

其中，pmax[u]＝max{p[v,u]|v∈v}為當(dāng)前結(jié)點u的所有入度轉(zhuǎn)移概率的最大值；

進一步的，所述的步驟(4)中利用上、下界估計方法過濾超圖的結(jié)點，具體過濾步驟如下：

(4.1)當(dāng)候選點集合大小大于k時，若候選點集合中的某結(jié)點的上界估計大于當(dāng)前第k大的結(jié)點下界估計，則該結(jié)點為候選點，可能出現(xiàn)在最終的k個結(jié)果中，否則不可能成為結(jié)果點，則拋棄；若候選點集合大小為k時，則候選點集合中所有結(jié)點為最終返回結(jié)果，候選點集合中的結(jié)點排序通過步驟(4.2)或步驟(4.3)確定；

(4.2)當(dāng)候選結(jié)點集合大小為k時，若候選結(jié)點集合中某結(jié)點的下界估計均大于集合內(nèi)其他結(jié)點的上界估計，或者某結(jié)點的上界估計均小于集合內(nèi)其他結(jié)點的下界估計時，則該結(jié)點的排序確定，將該結(jié)點加入結(jié)果結(jié)點集合；候選結(jié)點排序全部確定時停止迭代；

(4.3)當(dāng)候選結(jié)點集合大小為k時，檢測當(dāng)前所有候選結(jié)點的上下界估計差值，若所有結(jié)點的上下界估計差值小于設(shè)定閾值時，停止迭代，結(jié)點的排序根據(jù)下界估計降序確定。

進一步的，所述的步驟(5)中用戶對步驟(4)得到的k個結(jié)果進行評價，選出其中符合其查詢意愿的結(jié)果圖像作為反饋節(jié)點，根據(jù)反饋節(jié)點調(diào)整步驟(4)中查詢向量，將反饋結(jié)點插入原查詢向量中，構(gòu)成新的查詢向量，對新的查詢向量中的原查詢結(jié)點和新插入查詢結(jié)點重新進行權(quán)重分配，再次進行步驟(4)中個性化pagerank查詢，并使用上、下界估計方法進行過濾，最終獲得新的查詢結(jié)果并返回給用戶。

本發(fā)明具有的有益效果是：本發(fā)明采用超圖理論，使得社交圖像的評論關(guān)系、標注關(guān)系和視覺相似關(guān)系等多維關(guān)系可以得到有效的組織；采用空間數(shù)據(jù)庫中度量索引技術(shù)，充分利用了批量構(gòu)建技術(shù)、并行技術(shù)和緩沖技術(shù)，使得超圖轉(zhuǎn)移概率矩陣的計算效率得到顯著的提高；采用上下界估計技術(shù)，帶來了查詢效率提高的技術(shù)效果，使得迭代次數(shù)極大減少，i/o開銷和cpu時間顯著降低；采用用戶反饋的優(yōu)化方式，使得查詢效率得到顯著提高。

附圖說明

圖1是本發(fā)明的實施步驟流程圖；

圖2為基于超圖的圖像檢索和標注系統(tǒng)的工作原理示意圖。

具體實施方式

現(xiàn)結(jié)合附圖和具體實施對本發(fā)明的技術(shù)方案作進一步說明：

如圖1，圖2所示，本發(fā)明具體實施過程和工作原理如下：

步驟(1)：使用一個基于內(nèi)容的圖像檢索引擎對圖像數(shù)據(jù)集建立t-nn圖，并將各圖像與其視覺特征最相似的t張圖像建立聯(lián)系；

步驟(2)：根據(jù)圖像t-nn圖和圖像的社交關(guān)聯(lián)信息，建立超圖，計算其轉(zhuǎn)移概率矩陣并存儲到b+樹中；

步驟(3)：用戶提交查詢對象集合和k值；

步驟(4)：根據(jù)用戶提交的查詢對象集合生成查詢向量，而后在超圖上進行并行的個性化pagerank查詢，利用上、下界估計方法過濾超圖的結(jié)點，逐步縮小pagerank查詢過程中每輪迭代的候選點集合，直至得到k個結(jié)果；

步驟(5)：用戶對步驟(4)得到的k個結(jié)果進行評價，生成反饋信息，再根據(jù)反饋信息調(diào)整步驟(4)中的查詢向量，形成新的查詢向量，再重復(fù)步驟(4)，最終獲得新的查詢結(jié)果并返回給用戶。

步驟(1)中圖像檢索引擎基于度量空間spb樹索引結(jié)構(gòu)，根據(jù)mpeg-7標準提取圖像的視覺特征，其中包含可度量色彩、色彩分布、色彩結(jié)構(gòu)、邊緣直方圖和紋理五類特征，建立spb樹，并對各圖像進行t-nn查詢，獲得與其最相近的t個查詢結(jié)果，進而建立t-nn圖。

步驟(2)中根據(jù)圖像t-nn圖和圖像的社交關(guān)聯(lián)信息建立超圖模型，其中超圖種類有三種：

1)以圖像t-nn圖中的各圖像和其t-nn圖像作為一種超邊；

2)以用戶對圖像進行標注的三元組合作為一種超邊；

3)以用戶對圖像進行評價的多元組合作為一種超邊。

步驟(2)中計算超圖轉(zhuǎn)移概率矩陣的具體步驟如下：

用g(v,e,w)表示一個超圖，其中v是結(jié)點集合，e是超邊集合，w是一個權(quán)重函數(shù)；一個超圖可以用一個|v|×|e|的矩陣h表示，其中矩陣元素h(v,e)為：

其中，v為結(jié)點，e為超邊；

結(jié)點v的度d(v)可以表示為：

d(v)＝∑e∈e|v∈ew(e)＝∑e∈ew(e)h(v,e)

其中，w(e)表示超邊e的權(quán)重；

超邊e的度δ(e)可以表示為：

δ(e)＝|e|＝∑v∈vh(v,e)

超圖的轉(zhuǎn)移概率矩陣，用p來表示，則p中的元素p[u,v]表示從結(jié)點u到結(jié)點v的轉(zhuǎn)移概率，其可以使用如下公式進行計算：

步驟(2)中轉(zhuǎn)移概率矩陣采用批量插入方法、并行技術(shù)和緩沖技術(shù)存儲到b+樹中；在將轉(zhuǎn)移概率矩陣并存儲到b+樹中時，把超圖的出度結(jié)點和入度結(jié)點的組合作為鍵，轉(zhuǎn)移概率作為值；其中：

1)使用批量插入方法將元素插入到b+樹中，減少了逐個插入在查找插入位置上的重復(fù)遍歷，按序插入又提升了局部性和b+樹結(jié)點空間利用率，提升b+樹結(jié)點插入的時間和空間效率；

2)由公式可知結(jié)點的入度邊權(quán)重僅和其自身以及入度結(jié)點有關(guān)，先使用一次遍歷統(tǒng)計結(jié)點和超邊的度，然后使用并行技術(shù)計算超圖轉(zhuǎn)移概率提升時間效率；

3)計算超圖轉(zhuǎn)移概率矩陣和b+樹元素插入可以并行，其間的數(shù)據(jù)流動使用一個雙緩沖，兩個緩沖區(qū)分別寫入超圖轉(zhuǎn)移概率矩陣元素和讀出待插入b+樹的元素，若寫緩沖滿或讀緩沖空時，交換兩個緩沖區(qū)；

b+樹存儲于磁盤上，具有可擴展性。

步驟(3)中k是用戶指定的查詢返回結(jié)點個數(shù)。查詢向量包含若干查詢結(jié)點，各查詢結(jié)點權(quán)重可由用戶指定，以對查詢結(jié)點有所側(cè)重，所有查詢結(jié)點的權(quán)重之和標準化為1。

步驟(4)中的個性化pagerank以查詢向量和k值作為輸入，在每輪迭代中，根據(jù)轉(zhuǎn)移概率矩陣，結(jié)點從該結(jié)點的入度結(jié)點獲得排名得分，該排名得分值為上一輪該入度結(jié)點的排名得分和轉(zhuǎn)移概率的乘積。

步驟(4)中上、下界估計具體如下：

1)對于下界估計，第i輪的下界估計si[u]使用如下公式計算：

其中，c為阻尼系數(shù)(一般取0.8)；，i為當(dāng)前迭代輪次，si-1[u]為第i-1輪的下界估計；λi[u]為第i輪迭代中從查詢節(jié)點到節(jié)點u的隨機游走概率值，具體公式如下：

其中，q表示查詢向量，q[u]表示結(jié)點u的權(quán)重，且∑u∈vq[u]＝1；另外用c[u]來表示結(jié)點u的入度結(jié)點集合，λi-1[v]為第i-1輪迭代中從查詢節(jié)點到節(jié)點v的隨機游走概率值；

2)對于上界估計，第i輪上界估計使用如下公式計算：

其中，pmax[u]＝max{p[v,u]|v∈v}為當(dāng)前結(jié)點u的所有入度轉(zhuǎn)移概率的最大值；

步驟(4)中利用上、下界估計方法過濾超圖的結(jié)點，具體過濾步驟如下：

(4.1)當(dāng)候選點集合大小大于k時，若候選點集合中的某結(jié)點的上界估計大于當(dāng)前第k大的結(jié)點下界估計，則該結(jié)點為候選點，可能出現(xiàn)在最終的k個結(jié)果中，否則不可能成為結(jié)果點，則拋棄；若候選點集合大小為k時，則候選點集合中所有結(jié)點為最終返回結(jié)果，候選點集合中的結(jié)點排序通過步驟(4.2)或步驟(4.3)確定；

(4.2)當(dāng)候選結(jié)點集合大小為k時，若候選結(jié)點集合中某結(jié)點的下界估計均大于集合內(nèi)其他結(jié)點的上界估計，或者某結(jié)點的上界估計均小于集合內(nèi)其他結(jié)點的下界估計時，則該結(jié)點的排序確定，將該結(jié)點加入結(jié)果結(jié)點集合；候選結(jié)點排序全部確定時停止迭代；

(4.3)當(dāng)候選結(jié)點集合大小為k時，檢測當(dāng)前所有候選結(jié)點的上下界估計差值，若所有結(jié)點的上下界估計差值小于設(shè)定閾值時，停止迭代，結(jié)點的排序根據(jù)下界估計降序確定。

步驟(5)中用戶對步驟(4)得到的k個結(jié)果進行評價，選出其中符合其查詢意愿的結(jié)果圖像作為反饋節(jié)點，根據(jù)反饋節(jié)點調(diào)整步驟(4)中查詢向量，將反饋結(jié)點插入原查詢向量中，構(gòu)成新的查詢向量，對新的查詢向量中的原查詢結(jié)點和新插入查詢結(jié)點重新進行權(quán)重分配，原查詢結(jié)點總權(quán)重為0.5，新插入查詢結(jié)點總權(quán)重為0.5，新插入結(jié)點平分此0.5的權(quán)重；再次進行步驟(4)中個性化pagerank查詢，并使用上、下界估計方法進行過濾，最終獲得新的查詢結(jié)果并返回給用戶。