基于分布式表征和局部排序的分布式信息檢索集合選擇方法
【專利摘要】本發(fā)明公開(kāi)了一種基于分布式表征和局部排序的分布式信息檢索集合選擇方法，包括：接收來(lái)自用戶的原始查詢，對(duì)原始查詢進(jìn)行擴(kuò)展得到擴(kuò)展查詢，并計(jì)算該擴(kuò)展查詢的分布式表征向量；針對(duì)每個(gè)集合的樣本集中的任意一個(gè)文檔，計(jì)算該文檔的分布式表征向量，并以該文檔與擴(kuò)展查詢對(duì)應(yīng)的分布式表征向量之間的夾角的余弦值作為該文檔的評(píng)分；針對(duì)任意一個(gè)集合，根據(jù)該集合的樣本集中各個(gè)文檔的評(píng)分計(jì)算該集合的評(píng)分，并選擇評(píng)分較高的k個(gè)集合作為最終結(jié)果；每個(gè)集合的樣本集通過(guò)對(duì)該集合采樣得到。本發(fā)明采用分布式表征向量表示文檔和查詢，且采用基于局部排序的查詢與集合相關(guān)度計(jì)算，引入文檔評(píng)分閾值，提高了集合評(píng)分的準(zhǔn)確度，進(jìn)而提高檢索精確度。
【專利說(shuō)明】
基于分布式表征和局部排序的分布式信息檢索集合選擇方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及分布式信息檢索技術(shù)領(lǐng)域，具體設(shè)及一種基于分布式表征和局部排序 的分布式信息檢索集合選擇方法。
【背景技術(shù)】
[0002] 分布式信息檢索(Dist;r;Lbuted Information RetrievaLDIR)系統(tǒng)通常將大文檔 集(文檔數(shù)目多)劃分為若干小文檔集(文檔數(shù)目少），每個(gè)小文檔集(簡(jiǎn)稱集合）由一臺(tái)服務(wù) 器獨(dú)立存儲(chǔ)和檢索。在接收到用戶的查詢后，分布式信息檢索系統(tǒng)將查詢同時(shí)轉(zhuǎn)發(fā)給多個(gè) 服務(wù)器，再將服務(wù)器返回的結(jié)果進(jìn)行合并，最后返回給用戶。一般情況下，查詢與各集合的 相關(guān)度是不同的，為降低檢索開(kāi)銷(xiāo)，分布式信息檢索系統(tǒng)通常先計(jì)算查詢與集合的相關(guān)度， 得到集合評(píng)分;再按集合評(píng)分將集合降序排列;最后將查詢轉(zhuǎn)發(fā)給排名靠前的k個(gè)集合所在 的服務(wù)器，運(yùn)個(gè)過(guò)程被稱為集合選擇。
[0003] 近二十年來(lái)，分布式信息檢索集合選擇領(lǐng)域涌現(xiàn)了許多研究。其中一部分方法將 集合視為一個(gè)。超大文檔"（big document)。如CVAKl'he Cue-Validity-Variance)和CORI (Collection Retrieval Information化twork)等方法使用詞典、詞頻率和文檔頻率等統(tǒng) 計(jì)信息計(jì)算集合評(píng)分，運(yùn)些方法不僅忽略了集合大小，還要求每個(gè)集合提供能描述其自身 的詞典和詞頻等統(tǒng)計(jì)信息，運(yùn)在非協(xié)同式環(huán)境下很難實(shí)現(xiàn)。
[0004] 另外一部分方法將集合看作是由眾多小文檔構(gòu)成的。如ReDDE (Re levant Document Distribution Estimation)、CRCS(Central-rank-based Collection Selection)和SHIRE(Sampling-based Hierarchical Relevance Estimation)等方法使用 TF-IDF形式的關(guān)鍵詞相關(guān)度和起預(yù)測(cè)作用的擬合函數(shù)來(lái)計(jì)算查詢與文檔的相關(guān)度(為表述 方便，本發(fā)明將"查詢與文檔的相關(guān)度"簡(jiǎn)稱為"文檔的評(píng)分"），但忽略了語(yǔ)義信息。 Matthias等人使用ESA向量表示查詢和集合，并將向量相似度作為集合評(píng)分，然而ESA向量 易受到維災(zāi)影響。此外，現(xiàn)有集合選擇方法的文檔排序方式亦不合理，一般情況下，用戶更 關(guān)屯、與查詢最相關(guān)的文檔，故集合評(píng)分應(yīng)與最相關(guān)文檔的相關(guān)度成正比，而現(xiàn)有的文檔排 序方式則會(huì)漏掉部分集合的最相關(guān)文檔。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于分布式表征和局部排序的分布式信 息檢索集合選擇方法，該方法兼具檢索效率高和檢索精確度高的優(yōu)點(diǎn)。
[0006] -種基于分布式表征和局部排序的分布式信息檢索集合選擇方法，包括：
[0007] 步驟1，接收來(lái)自用戶的原始查詢，對(duì)原始查詢進(jìn)行擴(kuò)展得到擴(kuò)展查詢，并計(jì)算該 擴(kuò)展查詢的分布式表征向量；
[000引步驟2,針對(duì)每個(gè)集合的樣本集中的任意一個(gè)文檔，計(jì)算該文檔的分布式表征向 量，并W該文檔與擴(kuò)展查詢對(duì)應(yīng)的分布式表征向量之間的夾角的余弦值作為該文檔的評(píng) 分；
[0009] 步驟3,針對(duì)任意一個(gè)集合，根據(jù)該集合的樣本集中各個(gè)文檔的評(píng)分計(jì)算該集合的 評(píng)分，并選擇評(píng)分較高的k個(gè)集合作為最終結(jié)果；
[0010] 每個(gè)集合的樣本集通過(guò)對(duì)該集合采樣得到。
[0011] 采用結(jié)合Wikipedia和List化t的查詢擴(kuò)展方法對(duì)原始查詢進(jìn)行擴(kuò)展，具體過(guò)程如 下：
[0012] 步驟100,根據(jù)原始查詢的關(guān)鍵詞在Wikipedia所有網(wǎng)頁(yè)中進(jìn)行檢索，將檢索得到 的網(wǎng)頁(yè)標(biāo)題作為候選擴(kuò)展詞；
[0013] 步驟101，針對(duì)每一個(gè)候選擴(kuò)展詞，根據(jù)該候選擴(kuò)展詞和原始查詢的關(guān)鍵詞在 Wikipedia各個(gè)網(wǎng)頁(yè)的摘要和正文部分出現(xiàn)的情況計(jì)算該候選擴(kuò)展詞的特征向量，并計(jì)算 該特征向量與權(quán)重向量的內(nèi)積作為候選擴(kuò)展詞的評(píng)分，
[0014]作為優(yōu)選，所述特征向量和權(quán)重向量的維數(shù)相同，所述權(quán)重向量使用List化t算法 訓(xùn)練得到；
[0015] 步驟102,將評(píng)分較高的若干個(gè)(具體個(gè)數(shù)可根據(jù)應(yīng)用需要設(shè)定)候選擴(kuò)展詞作為 關(guān)鍵詞增加到原始查詢即得到擴(kuò)展查詢。
[0016] 本發(fā)明中擴(kuò)展查詢的分布式表征向量根據(jù)如下公式計(jì)算得到：
[0017]
[001引其中，Vq'為擴(kuò)展查詢q'的分布式表征向量，Vterm為預(yù)先計(jì)算的得到詞term的分布 式表征向量，tf term為詞term在擴(kuò)展查詢q '中的詞頻率。
[0019] 進(jìn)一步優(yōu)選，各個(gè)文檔W及詞term的分布式表征向量均通過(guò)PV模型訓(xùn)練得到。
[0020] 作為優(yōu)選，每個(gè)集合的樣本集通過(guò)對(duì)該集合按照預(yù)設(shè)采樣率采用基于查詢的采樣 方法采樣得到。
[0021 ]進(jìn)一步優(yōu)選，步驟3計(jì)算集合C的評(píng)分包括：
[0022] 步驟300,從該集合的樣本集中確定滿足如下條件的文檔作為最相關(guān)文檔，并形成 最相關(guān)文檔集：
[0023]
[0024] 其中，di為樣本集中評(píng)分降序排序時(shí)排名為第1的文檔，Odt為樣本di的評(píng)分，Tc為 針對(duì)集合C預(yù)設(shè)的評(píng)分闊值，CO。為針對(duì)集合C預(yù)設(shè)的評(píng)分排名闊值；
[0025] 步驟301，根據(jù)如下公式計(jì)算集合C的評(píng)分Re:
[0026]
[0027]其中，a。為對(duì)集合C采樣時(shí)的采樣率，JT。為集合C的最相關(guān)文檔集。
[00%]為保證查詢精度，本發(fā)明中T。根據(jù)如下公式設(shè)定：
[0029] Tc = PXDd,
[0030] 其中，Dd為樣本集中評(píng)分最高的文檔d的評(píng)分，0為全局參數(shù)，取值范圍為[0，1 ]。
[0031] 本發(fā)明中，4、1、《。、0、〇。在實(shí)際應(yīng)用需要根據(jù)實(shí)際應(yīng)用需求設(shè)定。
[0032] 與現(xiàn)有的技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)：
[0033] 1)本發(fā)明采用分布式表征向量表示文檔和查詢，并使用神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型來(lái)獲取 分布式表征向量，提高了文檔語(yǔ)義獲取的準(zhǔn)確度，從而提高查詢與文檔相關(guān)度的準(zhǔn)確度；
[0034] 2)使用結(jié)合Wikipedia和Lis械et的查詢擴(kuò)展方法對(duì)原始查詢進(jìn)行擴(kuò)展。通過(guò)引入 W化ipedia來(lái)提高擴(kuò)展詞的質(zhì)量，同時(shí)引入詞頻率、文檔頻率和詞共現(xiàn)=類(lèi)特征W及基于特 征的學(xué)習(xí)排序算法List化t，提高了查詢語(yǔ)義獲取的準(zhǔn)確度；
[0035] 3)采用基于局部排序的查詢與集合相關(guān)度計(jì)算方法，在重定義文檔的排序方式和 權(quán)重計(jì)算方式的基礎(chǔ)上，引入文檔評(píng)分闊值，提高了集合評(píng)分的準(zhǔn)確度，進(jìn)一步提高檢索精 確度。
【附圖說(shuō)明】
[0036] 圖1為本實(shí)施例的基于分布式表征和局部排序的信息檢索集合選擇方法流程圖；
[0037] 圖2為基于查詢的采樣算法流程圖；
[0038] 圖3為計(jì)算文檔評(píng)分子階段流程圖；
[0039] 圖4為選擇集合子階段的流程圖。
【具體實(shí)施方式】
[0040] 下面將結(jié)合具體附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。
[0041] 本發(fā)明提出了基于分布式表征和局部排序的分布式信息檢索集合選擇方法，該方 法使g
衰示一個(gè)集合，N。表示集合C中文檔的數(shù)目，一個(gè)分布式信息 檢索環(huán)境包含多個(gè)集合{ci,C2,，，，，cm}，M是集合個(gè)數(shù)。S。表示集合C的樣本集，
表示分布式信息檢索系統(tǒng)的中屯、樣本集。為提高檢索效率，事先 將可W提前計(jì)算的一些通用量或通用處理供后續(xù)查詢使用。
[0042] 本實(shí)施例的基于分布式表征和局部排序的信息檢索集合選擇方法流程圖如圖1所 示，分為預(yù)處理和在線處理兩個(gè)階段。
[0043] 預(yù)處理階段
[0044] 預(yù)處理的具體步驟如下：
[0045] 1)使用"基于查詢的采樣"算法為集合C構(gòu)建樣本集S。，其流程如圖2所示。首先從 查詢?nèi)罩局须S機(jī)選取1個(gè)詞作為初始查詢?cè)~;然后在每輪檢索中，將返回的前5個(gè)文檔加入 到樣本集Sc,再?gòu)腟c中隨機(jī)選取1個(gè)詞作為下一輪檢索的查詢?cè)~；當(dāng)Sc中文檔數(shù)目達(dá)到400時(shí) 停止采樣;待所有集合的樣本集構(gòu)建完成，可得到中屯、樣本集S;
[0046] 2)將中屯、樣本集S輸入到PV模型進(jìn)行訓(xùn)練，得到中屯、樣本集中文檔對(duì)應(yīng)的分布式 表征向量Vd和文檔中各個(gè)詞對(duì)應(yīng)的分布式表征向量Vterm等信息；
[0047] 3)解析Wikipedia,獲取Wikipedia中出現(xiàn)的詞W及對(duì)應(yīng)的TF和DF等語(yǔ)料統(tǒng)計(jì)信息 (用于構(gòu)建特征向量）；
[0048] 4)為Wikipedia的所有網(wǎng)頁(yè)建立索引，W提供檢索功能(在"計(jì)算文檔評(píng)分"時(shí)被使 用）；
[0049] 5)使用LiStNet算法訓(xùn)練出權(quán)重向量W(在"計(jì)算文檔評(píng)分"的步驟3中被使用）。 ListNet的輸入是一組查詢Q={qi，q2,q3,…，qm},每個(gè)查詢qi都對(duì)應(yīng)一個(gè)詞列表
、一個(gè)相關(guān)度評(píng)分列表，
和一個(gè)特征向量 列表
，其中ni表示ei中元素個(gè)數(shù);e/表示與查詢qi的相關(guān)度為 的詞，表示詞6；/對(duì)應(yīng)的特征向量;來(lái)自Wikipedia的標(biāo)題;Si中的元素是降序排列的，并 按照式子(1)計(jì)算sf，
[0050]
( 1 )
[0051] 其中〇(*)是性能度量函數(shù)，本實(shí)施例中采用精確度來(lái)衡量性能度量函數(shù)，精確度 p@n計(jì)算公古如下.
[00 對(duì)
（2)
[0053] num表示在檢索得到的前n個(gè)文檔中與查詢相關(guān)的文檔數(shù)目，本實(shí)施例中n取10。
[0054] 在線處理階段
[0055] 在線處理階段分為計(jì)算文檔評(píng)分和選擇集合兩個(gè)子階段。
[0056] 計(jì)算文檔評(píng)分子階段的流程如圖3所示，具體步驟如下：
[0057] 1)令q為用戶輸入的原始查詢，在機(jī)kipedia所有網(wǎng)頁(yè)(每個(gè)網(wǎng)頁(yè)被視為一個(gè)文檔） 的正文中進(jìn)行檢索，關(guān)鍵詞為q，檢索得到的網(wǎng)頁(yè)的標(biāo)題作為候選擴(kuò)展詞；
[0058] 2)為候選擴(kuò)展詞e構(gòu)建特征向量f(e) = [fl(e)，f2(e)，...，fl2(e)]。式子(3)至(8) 為摘要字段上的特征，其中式子(3)和(4)是詞頻率TF特征，式子(5)和(6)是文檔頻率DF特 征，式子（7)和（8)是共現(xiàn)co-occurrence特征；tf (e I f ieIdabstract)表示在Wikipedia的所有 網(wǎng)頁(yè)的摘要字段上，詞e出現(xiàn)的次數(shù);壯(e I fieldabstract)表示在Wikipedia的所有網(wǎng)頁(yè)中，摘 要字段包含詞e的網(wǎng)頁(yè)個(gè)數(shù);tk為查詢q中的詞，C(tk，e I fieldabstract)表示在Wikipedia的所 有網(wǎng)頁(yè)中，摘要字段同時(shí)包含詞tk和e的網(wǎng)頁(yè)個(gè)數(shù)；（tk，tr)表示由q中的任意兩個(gè)查詢?cè)~構(gòu) 成的詞對(duì)（無(wú)序），0是由q的所有詞對(duì)構(gòu)成的集合，|0|是集合0的元素個(gè)數(shù)，C(tk，tr，e fieldabstract)表示在Wikipedia的所有網(wǎng)頁(yè)中，摘要字段同時(shí)包含詞tk、tr和e的網(wǎng)頁(yè)個(gè)數(shù)；
[0065] 3)采用式子(9)計(jì)算候選擴(kuò)展詞e的評(píng)分ze，其中"?"代表兩個(gè)向量的內(nèi)積，并按照評(píng)分Ze將所有候選擴(kuò)展詞降序排列； 正今化 1-故賠令正日壬字類(lèi)
[0059 (3)
[0060 C4l
[0061 (5)
[0062 (6)
[0063 (7)
[0064 (8)
[0066] Ze = f(e) ? W (9)
[0067] 4)選取排名靠前的丫個(gè)詞追加到查詢q中，得到擴(kuò)展查詢q/ ;
[006引 5)按照式子（10)計(jì)算q/對(duì)應(yīng)的分布式表征向量Vq/，其中，tfterm是詞term在q/中的 詞頻率；
[0069] Vq^ =ZteW VtermXtfterm, (10)
[0070] 本實(shí)施例每個(gè)詞的詞頻率為該詞在查詢中出現(xiàn)的次數(shù)與查詢中詞總數(shù)的比值。例 如:查詢是"今天天氣真棒"，包括"今天"、"天氣"、"真"和"棒"5個(gè)詞，且運(yùn)5個(gè)詞的詞頻率分 別就是 1/6，2/6，1/6，1/6 和 1/6。
[0071] 6)按照式子(11)計(jì)算V/與Vd之間的向量余弦值，并將其作為文檔d的評(píng)分Dd;
[0072] Dd = cos(Vq' ,Vd) (11)
[0073] 7)重復(fù)步驟6)，直至S中所有文檔的評(píng)分均計(jì)算完畢。
[0074] 選擇集合子階段的流程如圖4所示，具體步驟如下：
[0075] 1)將集合C的樣本集S。中的所有文檔按照文檔評(píng)分降序排列，得到文檔序列 OocLiSts^;
[0076] 2)按照式子（12)計(jì)算集合C的文檔評(píng)分闊值Tc,其中d為Sc中文檔評(píng)分Dd最大的文 檔，e是一個(gè)取值范圍為[0，1]的全局參數(shù)；
[0077] Tc = PXDd (12)
[0078] 3)找出集合C的所有最相關(guān)文檔。令山是文檔序列OocLkts。中的一個(gè)文檔，1為di 的排名，是一個(gè)正整數(shù)，在樣本集Sc的所有文檔中，滿足式子（13)的文檔就是集合C的最 相關(guān)文檔，并用n。表示集合C的所有最相關(guān)文檔；
[0079]
(巧）
[0080] 4)按照式子（14)計(jì)算集合C的評(píng)分Re,其中Qc為集合C的采樣因子，即集合C的文檔 總個(gè)數(shù)與其樣本集Sc的文檔總個(gè)數(shù)的比值，g(l)是文檔的權(quán)重函數(shù)；
[0081 ] ， (14)
[00 劇 （15)
[0083] 5)重復(fù)步驟1至4,直至所有集合的評(píng)分均計(jì)算完畢；
[0084] 6)將所有集合按照集合評(píng)分降序排列，選取排名靠前的k個(gè)集合。
[0085] W上所述的【具體實(shí)施方式】對(duì)本發(fā)明的技術(shù)方案和有益效果進(jìn)行了詳細(xì)說(shuō)明，應(yīng)理 解的是W上所述僅為本發(fā)明的最優(yōu)選實(shí)施例，并不用于限制本發(fā)明，凡在本發(fā)明的原則范 圍內(nèi)所做的任何修改、補(bǔ)充和等同替換等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于分布式表征和局部排序的分布式信息檢索集合選擇方法，其特征在于，包 括： 步驟1，接收來(lái)自用戶的原始查詢，對(duì)原始查詢進(jìn)行擴(kuò)展得到擴(kuò)展查詢，并計(jì)算該擴(kuò)展 查詢的分布式表征向量； 步驟2,針對(duì)每個(gè)集合的樣本集中的任意一個(gè)文檔，計(jì)算該文檔的分布式表征向量，并 以該文檔與擴(kuò)展查詢對(duì)應(yīng)的分布式表征向量之間的夾角的余弦值作為該文檔的評(píng)分； 步驟3,針對(duì)任意一個(gè)集合，根據(jù)該集合的樣本集中各個(gè)文檔的評(píng)分計(jì)算該集合的評(píng) 分，并選擇評(píng)分較高的k個(gè)集合作為最終結(jié)果； 每個(gè)集合的樣本集通過(guò)對(duì)該集合采樣得到。2. 如權(quán)利要求1所述的基于分布式表征和局部排序的分布式信息檢索集合選擇方法， 其特征在于，采用結(jié)合Wikipedia和ListNet的查詢擴(kuò)展方法對(duì)原始查詢進(jìn)行擴(kuò)展。3. 如權(quán)利要求2所述的基于分布式表征和局部排序的分布式信息檢索集合選擇方法， 其特征在于，步驟1中對(duì)原始查詢進(jìn)行擴(kuò)展包括： 步驟100,根據(jù)原始查詢的關(guān)鍵詞在Wikipedia所有網(wǎng)頁(yè)中進(jìn)行檢索，將檢索得到的網(wǎng) 頁(yè)標(biāo)題作為候選擴(kuò)展詞； 步驟101，針對(duì)每一個(gè)候選擴(kuò)展詞，根據(jù)該候選擴(kuò)展詞和原始查詢的關(guān)鍵詞在 Wikipedia各個(gè)網(wǎng)頁(yè)的摘要和正文部分出現(xiàn)的情況計(jì)算該候選擴(kuò)展詞的特征向量，并計(jì)算 該特征向量與權(quán)重向量的內(nèi)積作為候選擴(kuò)展詞的評(píng)分， 所述特征向量和權(quán)重向量的維數(shù)相同，所述權(quán)重向量使用ListNet算法訓(xùn)練得到； 步驟102,將評(píng)分較高的若干個(gè)候選擴(kuò)展詞作為關(guān)鍵詞增加到原始查詢即得到擴(kuò)展查 詢。4. 如權(quán)利要求3所述的基于分布式表征和局部排序的分布式信息檢索集合選擇方法， 其特征在于，擴(kuò)展查詢的分布式表征向量根據(jù)如下公式計(jì)算得到：其中，Vq1為擴(kuò)展查詢q '的分布式表征向量，Vterm為預(yù)先計(jì)算的得到詞term的分布式表 征向量，tf term為詞term在擴(kuò)展查詢q '中的詞頻率。5. 如權(quán)利要求4所述的基于分布式表征和局部排序的分布式信息檢索集合選擇方法， 其特征在于，各個(gè)文檔以及詞term的分布式表征向量均通過(guò)PV模型訓(xùn)練得到。6. 如權(quán)利要求1~5中任意一項(xiàng)所述的基于分布式表征和局部排序的分布式信息檢索 集合選擇方法，其特征在于，每個(gè)集合的樣本集通過(guò)對(duì)該集合照預(yù)設(shè)采樣率采用基于查詢 的米樣方法米樣得到。7. 如權(quán)利要求6所述的基于分布式表征和局部排序的分布式信息檢索集合選擇方法， 其特征在于，步驟3計(jì)算集合c的評(píng)分包括： 步驟300,從該集合的樣本集中確定滿足如下條件的文檔作為最相關(guān)文檔，并形成最相 關(guān)文檔集：其中，山為樣本集中評(píng)分降序排序時(shí)排名為第1的文檔，為樣本cU的評(píng)分，τ。為針對(duì) 集合c預(yù)設(shè)的評(píng)分閾值，ω。為針對(duì)集合c預(yù)設(shè)的評(píng)分排名閾值； 步驟301，根據(jù)如下公式計(jì)算集合c的評(píng)分R。：其中，α。為對(duì)集合c采樣時(shí)的采樣率，π。為集合c的最相關(guān)文檔集。8.如權(quán)利要求7所述的基于分布式表征和局部排序的分布式信息檢索集合選擇方法， 其特征在于，τ。根據(jù)如下公式設(shè)定： Tc = 0XDd， 其中，Dd為樣本集中評(píng)分最高的文檔d的評(píng)分，β為全局參數(shù)，取值范圍為[0，1]。
【文檔編號(hào)】G06F17/27GK105956010SQ201610251677
【公開(kāi)日】2016年9月21日
【申請(qǐng)日】2016年4月20日
【發(fā)明人】陳嶺, 錢(qián)坤
【申請(qǐng)人】浙江大學(xué)