專利名稱：遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重系統(tǒng)及其實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種互聯(lián)網(wǎng)搜索引擎的優(yōu)化方法。
背景技術(shù)：
互聯(lián)網(wǎng)搜索引擎都有網(wǎng)頁(yè)抓取程序，這些網(wǎng)頁(yè)抓取程序一般稱為網(wǎng)絡(luò)爬蟲(Crawler)或網(wǎng)絡(luò)蜘蛛(Spider)。這些網(wǎng)頁(yè)抓取程序日以繼夜地從互聯(lián)網(wǎng)上抓取各種網(wǎng)頁(yè)，為各自搜索引擎形成一個(gè)逐步膨脹的網(wǎng)頁(yè)庫(kù)?？墒牵环矫婢W(wǎng)頁(yè)庫(kù)的容量存在上限，無(wú)法承受無(wú)限制的內(nèi)容增加；另一方面互聯(lián)網(wǎng)上有大量重復(fù)網(wǎng)頁(yè)，這些內(nèi)容重復(fù)的網(wǎng)頁(yè)不僅占用了搜索引擎存儲(chǔ)網(wǎng)頁(yè)庫(kù)的空間，也會(huì)導(dǎo)致網(wǎng)頁(yè)庫(kù)的查詢性能下降。如何在網(wǎng)頁(yè)庫(kù)中尋找出、并去除掉內(nèi)容重復(fù)的網(wǎng)頁(yè)，就成為一個(gè)值得研究的問(wèn)題。傳統(tǒng)搜索引擎的網(wǎng)頁(yè)庫(kù)去重工作，是將網(wǎng)頁(yè)庫(kù)中全部數(shù)據(jù)依次取出，與新抓取網(wǎng)頁(yè)進(jìn)行遍歷對(duì)比，并去除重復(fù)數(shù)據(jù)，這種方法運(yùn)算量大，并且去重的實(shí)時(shí)性差(先出現(xiàn)重復(fù)，再進(jìn)行去重)。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種互聯(lián)網(wǎng)搜索引擎的網(wǎng)頁(yè)庫(kù)去重系統(tǒng)。為此，本發(fā)明還提供所述網(wǎng)頁(yè)庫(kù)去重系統(tǒng)的實(shí)現(xiàn)方法，所謂去重就是當(dāng)具有多個(gè)重復(fù)的網(wǎng)頁(yè)時(shí)僅保留其中之一而去除其他。為解決上述技術(shù)問(wèn)題，本發(fā)明提供了互聯(lián)網(wǎng)搜索引擎的遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重系統(tǒng)，包括網(wǎng)頁(yè)抓取模塊，該模塊將互聯(lián)網(wǎng)上的網(wǎng)頁(yè)抓取并下載；結(jié)構(gòu)化特征提取模塊，該模塊對(duì)網(wǎng)頁(yè)抓取模塊所抓取的每個(gè)網(wǎng)頁(yè)進(jìn)行解析，提取出多個(gè)特征字段；所述遞進(jìn)式網(wǎng)頁(yè)庫(kù)包括內(nèi)部網(wǎng)頁(yè)庫(kù)和外部網(wǎng)頁(yè)庫(kù)；所述內(nèi)部網(wǎng)頁(yè)庫(kù)為本網(wǎng)站內(nèi)部網(wǎng)頁(yè)所形成的網(wǎng)頁(yè)庫(kù)；所述外部網(wǎng)頁(yè)庫(kù)為網(wǎng)頁(yè)抓取模塊從除本網(wǎng)站以外的互聯(lián)網(wǎng)抓取的網(wǎng)頁(yè)所形成的網(wǎng)頁(yè)庫(kù)。上述遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重系統(tǒng)的實(shí)現(xiàn)方法，所述遞進(jìn)式網(wǎng)頁(yè)庫(kù)包括內(nèi)部網(wǎng)頁(yè)庫(kù)和外部網(wǎng)頁(yè)庫(kù)，內(nèi)部網(wǎng)頁(yè)庫(kù)為本網(wǎng)站內(nèi)部網(wǎng)頁(yè)所形成的網(wǎng)頁(yè)庫(kù)，外部網(wǎng)頁(yè)庫(kù)為網(wǎng)頁(yè)抓取程序從除本網(wǎng)站以外的互聯(lián)網(wǎng)抓取的網(wǎng)頁(yè)所形成的網(wǎng)頁(yè)庫(kù)；所述遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重方法包括如下步驟第1步，網(wǎng)頁(yè)抓取模塊定期將新抓取網(wǎng)頁(yè)傳輸給結(jié)構(gòu)化特征提取模塊；第2步，結(jié)構(gòu)化特征提取模塊從每個(gè)新抓取網(wǎng)頁(yè)中提取多個(gè)特征字段；第3步，將每個(gè)新抓取網(wǎng)頁(yè)與內(nèi)部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)進(jìn)行比較，當(dāng)新抓取網(wǎng)頁(yè)的每個(gè)特征字段都與內(nèi)部網(wǎng)頁(yè)庫(kù)中的一個(gè)網(wǎng)頁(yè)的一個(gè)特征字段相同時(shí)，判斷該新抓取網(wǎng)頁(yè)與內(nèi)部網(wǎng)頁(yè)庫(kù)中的該網(wǎng)頁(yè)重復(fù)，刪除該新抓取網(wǎng)頁(yè)；當(dāng)該新抓取網(wǎng)頁(yè)與內(nèi)部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)都不重復(fù)，進(jìn)入第4步；
第4步，將每個(gè)新抓取網(wǎng)頁(yè)的網(wǎng)址與外部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)的網(wǎng)址進(jìn)行比較， 如果有相同現(xiàn)象，則以該新抓取網(wǎng)頁(yè)替代外部網(wǎng)頁(yè)庫(kù)中的相同網(wǎng)址的網(wǎng)頁(yè)；否則進(jìn)入第5
止
少；第5步，將每個(gè)新抓取網(wǎng)頁(yè)與外部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)進(jìn)行比較，當(dāng)新抓取網(wǎng)頁(yè)的每個(gè)特征字段都與外部網(wǎng)頁(yè)庫(kù)中的一個(gè)網(wǎng)頁(yè)的一個(gè)特征字段相同時(shí)，判斷該新抓取網(wǎng)頁(yè)與外部網(wǎng)頁(yè)庫(kù)中的該網(wǎng)頁(yè)重復(fù)，進(jìn)入第6步；當(dāng)該新抓取網(wǎng)頁(yè)與外部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)都不重復(fù)，將該新抓取網(wǎng)頁(yè)存儲(chǔ)至外部網(wǎng)頁(yè)庫(kù)中；第6步，將該新抓取網(wǎng)頁(yè)的特征字段數(shù)量設(shè)為a，將外部網(wǎng)頁(yè)庫(kù)中與之重復(fù)的網(wǎng)頁(yè)的特征字段數(shù)量設(shè)為b ；當(dāng)a < b，則刪除該新抓取網(wǎng)頁(yè)；當(dāng)a > b，則以該新抓取網(wǎng)頁(yè)替代外部網(wǎng)頁(yè)庫(kù)中與之重復(fù)的網(wǎng)頁(yè)。本發(fā)明遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重系統(tǒng)及其實(shí)現(xiàn)方法，在去重時(shí)并不對(duì)網(wǎng)頁(yè)庫(kù)的所有網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行比較，這樣對(duì)性能的消耗過(guò)大。而是采用遞進(jìn)式方法，該方法將已有網(wǎng)頁(yè)庫(kù)分為內(nèi)部資料庫(kù)、外部資料庫(kù)兩種，每次只需要考察給定周期內(nèi)新抓取的網(wǎng)頁(yè)，將這些網(wǎng)頁(yè)進(jìn)行特征提取，并分別進(jìn)行比對(duì)。對(duì)存在重復(fù)的網(wǎng)頁(yè)，根據(jù)重復(fù)的類型進(jìn)行不同操作，從而大大節(jié)省了系統(tǒng)資源。


圖1是本發(fā)明所述遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重系統(tǒng)的示意圖；圖2是本發(fā)明所述遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重方法的流程圖。
具體實(shí)施例方式請(qǐng)參閱圖1，本發(fā)明提供了互聯(lián)網(wǎng)搜索引擎的遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重系統(tǒng)。搜索引擎都具有網(wǎng)頁(yè)抓取模塊，該模塊將互聯(lián)網(wǎng)上的網(wǎng)頁(yè)抓取并下載。搜索引擎還具有結(jié)構(gòu)化特征提取模塊，該模塊對(duì)網(wǎng)頁(yè)抓取模塊所抓取的每個(gè)網(wǎng)頁(yè)進(jìn)行解析，提取出多個(gè)特征字段。特征字段和搜索引擎對(duì)應(yīng)的應(yīng)用緊密相關(guān)。例如搜索引擎應(yīng)用于網(wǎng)絡(luò)書目信息的抓取應(yīng)用，網(wǎng)頁(yè)抓取模塊從當(dāng)當(dāng)網(wǎng)等網(wǎng)絡(luò)售書站點(diǎn)進(jìn)行網(wǎng)頁(yè)抓取后，結(jié)構(gòu)化特征提取模塊從網(wǎng)頁(yè)中提取書名、作者、ISBN、價(jià)格、出版社、書籍簡(jiǎn)介等信息。本發(fā)明所述遞進(jìn)式網(wǎng)頁(yè)庫(kù)包括內(nèi)部網(wǎng)頁(yè)庫(kù)和外部網(wǎng)頁(yè)庫(kù)。內(nèi)部網(wǎng)頁(yè)庫(kù)為本網(wǎng)站內(nèi)部網(wǎng)頁(yè)所形成的網(wǎng)頁(yè)庫(kù)，由于數(shù)據(jù)來(lái)自自身，因而具有數(shù)據(jù)質(zhì)量高、資源穩(wěn)定(不會(huì)被輕易刪除)、內(nèi)容完整的特點(diǎn)，因此在去重時(shí)要優(yōu)先保留。外部網(wǎng)頁(yè)庫(kù)為網(wǎng)頁(yè)抓取模塊從除本網(wǎng)站以外的互聯(lián)網(wǎng)抓取的網(wǎng)頁(yè)所形成的網(wǎng)頁(yè)庫(kù)，它具有如下特點(diǎn)外部網(wǎng)頁(yè)庫(kù)中的數(shù)據(jù)可靠性和數(shù)據(jù)質(zhì)量比內(nèi)部網(wǎng)頁(yè)庫(kù)低；外部網(wǎng)頁(yè)庫(kù)中的網(wǎng)頁(yè)可能會(huì)被更新；外部網(wǎng)頁(yè)庫(kù)中的網(wǎng)頁(yè)內(nèi)容可能重復(fù)。請(qǐng)參閱圖2，本發(fā)明所述遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重方法包括如下步驟第1步，網(wǎng)頁(yè)抓取模塊定期(例如每6個(gè)小時(shí))將新抓取網(wǎng)頁(yè)傳輸給結(jié)構(gòu)化特征提取模塊。這樣處理的優(yōu)點(diǎn)是每次只需要對(duì)該周期內(nèi)新抓取的網(wǎng)頁(yè)進(jìn)行重復(fù)判斷。第2步，結(jié)構(gòu)化特征提取模塊從每個(gè)新抓取網(wǎng)頁(yè)中提取多個(gè)特征字段。第3步，將每個(gè)新抓取網(wǎng)頁(yè)與內(nèi)部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)進(jìn)行比較。當(dāng)新抓取網(wǎng)頁(yè)的每個(gè)特征字段都與內(nèi)部網(wǎng)頁(yè)庫(kù)中的一個(gè)網(wǎng)頁(yè)的一個(gè)特征字段相同時(shí)，判斷該新抓取網(wǎng)頁(yè)與內(nèi)部網(wǎng)頁(yè)庫(kù)中的該網(wǎng)頁(yè)重復(fù)，刪除該新抓取網(wǎng)頁(yè)(即去重時(shí)優(yōu)先保留內(nèi)部網(wǎng)頁(yè)庫(kù)中的數(shù)據(jù))。當(dāng)該新抓取網(wǎng)頁(yè)與內(nèi)部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)都不重復(fù)，進(jìn)入第4步。例如新抓取網(wǎng)頁(yè)有兩個(gè)特征字段，內(nèi)部網(wǎng)頁(yè)庫(kù)中的一個(gè)網(wǎng)頁(yè)有三個(gè)特征字段且其中有兩個(gè)特征字段與該新抓取網(wǎng)頁(yè)的兩個(gè)特征字段相同，那么就認(rèn)為該新抓取網(wǎng)頁(yè)與內(nèi)部網(wǎng)頁(yè)庫(kù)中的該網(wǎng)頁(yè)重復(fù)。第4步，將每個(gè)新抓取網(wǎng)頁(yè)的網(wǎng)址與外部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)的網(wǎng)址進(jìn)行比較。如果有相同現(xiàn)象，則以該新抓取網(wǎng)頁(yè)替代外部網(wǎng)頁(yè)庫(kù)中的相同網(wǎng)址的網(wǎng)頁(yè)。因?yàn)橥獠烤W(wǎng)頁(yè)庫(kù)中的網(wǎng)頁(yè)可能有更新，因此總是用新的網(wǎng)頁(yè)替代舊的。否則進(jìn)入第5步。第5步，將每個(gè)新抓取網(wǎng)頁(yè)與外部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)進(jìn)行比較。當(dāng)新抓取網(wǎng)頁(yè)的每個(gè)特征字段都與外部網(wǎng)頁(yè)庫(kù)中的一個(gè)網(wǎng)頁(yè)的一個(gè)特征字段相同時(shí)，判斷該新抓取網(wǎng)頁(yè)與外部網(wǎng)頁(yè)庫(kù)中的該網(wǎng)頁(yè)重復(fù)，進(jìn)入第6步。當(dāng)該新抓取網(wǎng)頁(yè)與外部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)都不重復(fù)，將該新抓取網(wǎng)頁(yè)存儲(chǔ)至外部網(wǎng)頁(yè)庫(kù)中。例如新抓取網(wǎng)頁(yè)有兩個(gè)特征字段，外部網(wǎng)頁(yè)庫(kù)中的一個(gè)網(wǎng)頁(yè)有三個(gè)特征字段且其中有兩個(gè)特征字段與該新抓取網(wǎng)頁(yè)的兩個(gè)特征字段相同，那么就認(rèn)為該新抓取網(wǎng)頁(yè)與外部網(wǎng)頁(yè)庫(kù)中的該網(wǎng)頁(yè)重復(fù)。第6步，將該新抓取網(wǎng)頁(yè)的特征字段數(shù)量設(shè)為a，將外部網(wǎng)頁(yè)庫(kù)中與之重復(fù)的網(wǎng)頁(yè)的特征字段數(shù)量設(shè)為b。當(dāng)a <b，則刪除該新抓取網(wǎng)頁(yè)。ia>b，則以該新抓取網(wǎng)頁(yè)替代外部網(wǎng)頁(yè)庫(kù)中與之重復(fù)的網(wǎng)頁(yè)。這一步實(shí)際上是在判斷相重復(fù)的新抓取網(wǎng)頁(yè)和外部網(wǎng)頁(yè)庫(kù)中的一個(gè)網(wǎng)頁(yè)哪個(gè)質(zhì)量高，保留質(zhì)量高的網(wǎng)頁(yè)；當(dāng)質(zhì)量相同時(shí)，則保留較新的網(wǎng)頁(yè)(即a =b時(shí)，也以該新抓取網(wǎng)頁(yè)替代外部網(wǎng)頁(yè)庫(kù)中與之重復(fù)的網(wǎng)頁(yè))。本發(fā)明遞進(jìn)式網(wǎng)頁(yè)去重系統(tǒng)及其實(shí)現(xiàn)方法，從互聯(lián)網(wǎng)上抓取的網(wǎng)頁(yè)庫(kù)，采用分周期的方式經(jīng)比較、判斷后有選擇地導(dǎo)入到外部網(wǎng)頁(yè)庫(kù)中。每次只需要考察新抓取網(wǎng)頁(yè)與已有的內(nèi)部、外部網(wǎng)頁(yè)的重復(fù)。本發(fā)明所述方法能夠保證外部網(wǎng)頁(yè)庫(kù)中所有資源兩兩之間不存在任何重復(fù)。并且該方法使得去重操作的運(yùn)算開(kāi)銷能按時(shí)間平均分?jǐn)?每次只處理一個(gè)周期內(nèi)的少量新增的網(wǎng)頁(yè))，能夠使系統(tǒng)流暢的運(yùn)轉(zhuǎn)，完成網(wǎng)頁(yè)庫(kù)的去重操作。
權(quán)利要求
1.一種遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重系統(tǒng)，其特征是，包括 網(wǎng)頁(yè)抓取模塊，該模塊將互聯(lián)網(wǎng)上的網(wǎng)頁(yè)抓取并下載；結(jié)構(gòu)化特征提取模塊，該模塊對(duì)網(wǎng)頁(yè)抓取模塊所抓取的每個(gè)網(wǎng)頁(yè)進(jìn)行解析，提取出多個(gè)特征字段；所述遞進(jìn)式網(wǎng)頁(yè)庫(kù)包括內(nèi)部網(wǎng)頁(yè)庫(kù)和外部網(wǎng)頁(yè)庫(kù)；所述內(nèi)部網(wǎng)頁(yè)庫(kù)為本網(wǎng)站內(nèi)部網(wǎng)頁(yè)所形成的網(wǎng)頁(yè)庫(kù)；所述外部網(wǎng)頁(yè)庫(kù)為網(wǎng)頁(yè)抓取模塊從除本網(wǎng)站以外的互聯(lián)網(wǎng)抓取的網(wǎng)頁(yè)所形成的網(wǎng)頁(yè)庫(kù)。
2.如權(quán)利要求1所述的遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重系統(tǒng)的實(shí)現(xiàn)方法，其特征是，所述遞進(jìn)式網(wǎng)頁(yè)庫(kù)包括內(nèi)部網(wǎng)頁(yè)庫(kù)和外部網(wǎng)頁(yè)庫(kù)，內(nèi)部網(wǎng)頁(yè)庫(kù)為本網(wǎng)站內(nèi)部網(wǎng)頁(yè)所形成的網(wǎng)頁(yè)庫(kù)，外部網(wǎng)頁(yè)庫(kù)為網(wǎng)頁(yè)抓取程序從除本網(wǎng)站以外的互聯(lián)網(wǎng)抓取的網(wǎng)頁(yè)所形成的網(wǎng)頁(yè)庫(kù)；所述遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重方法包括如下步驟第1步，網(wǎng)頁(yè)抓取模塊定期將新抓取網(wǎng)頁(yè)傳輸給結(jié)構(gòu)化特征提取模塊； 第2步，結(jié)構(gòu)化特征提取模塊從每個(gè)新抓取網(wǎng)頁(yè)中提取多個(gè)特征字段； 第3步，將每個(gè)新抓取網(wǎng)頁(yè)與內(nèi)部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)進(jìn)行比較，當(dāng)新抓取網(wǎng)頁(yè)的每個(gè)特征字段都與內(nèi)部網(wǎng)頁(yè)庫(kù)中的一個(gè)網(wǎng)頁(yè)的一個(gè)特征字段相同時(shí)，判斷該新抓取網(wǎng)頁(yè)與內(nèi)部網(wǎng)頁(yè)庫(kù)中的該網(wǎng)頁(yè)重復(fù)，刪除該新抓取網(wǎng)頁(yè)；當(dāng)該新抓取網(wǎng)頁(yè)與內(nèi)部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)都不重復(fù)，進(jìn)入第4步； 第4步，將每個(gè)新抓取網(wǎng)頁(yè)的網(wǎng)址與外部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)的網(wǎng)址進(jìn)行比較，如果有相同現(xiàn)象，則以該新抓取網(wǎng)頁(yè)替代外部網(wǎng)頁(yè)庫(kù)中的相同網(wǎng)址的網(wǎng)頁(yè)；否則進(jìn)入第5步；第5步，將每個(gè)新抓取網(wǎng)頁(yè)與外部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)進(jìn)行比較，當(dāng)新抓取網(wǎng)頁(yè)的每個(gè)特征字段都與外部網(wǎng)頁(yè)庫(kù)中的一個(gè)網(wǎng)頁(yè)的一個(gè)特征字段相同時(shí)，判斷該新抓取網(wǎng)頁(yè)與外部網(wǎng)頁(yè)庫(kù)中的該網(wǎng)頁(yè)重復(fù)，進(jìn)入第6步；當(dāng)該新抓取網(wǎng)頁(yè)與外部網(wǎng)頁(yè)庫(kù)中的所有網(wǎng)頁(yè)都不重復(fù)，將該新抓取網(wǎng)頁(yè)存儲(chǔ)至外部網(wǎng)頁(yè)庫(kù)中；第6步，將該新抓取網(wǎng)頁(yè)的特征字段數(shù)量設(shè)為a，將外部網(wǎng)頁(yè)庫(kù)中與之重復(fù)的網(wǎng)頁(yè)的特征字段數(shù)量設(shè)為b ；當(dāng)a < b，則刪除該新抓取網(wǎng)頁(yè)；當(dāng)a > b，則以該新抓取網(wǎng)頁(yè)替代外部網(wǎng)頁(yè)庫(kù)中與之重復(fù)的網(wǎng)頁(yè)。
全文摘要
本發(fā)明公開(kāi)了一種遞進(jìn)式網(wǎng)頁(yè)庫(kù)去重系統(tǒng)及其實(shí)現(xiàn)方法，從互聯(lián)網(wǎng)上抓取的網(wǎng)頁(yè)庫(kù)，采用分周期的方式經(jīng)比較、判斷后有選擇地導(dǎo)入到外部網(wǎng)頁(yè)庫(kù)中。每次只需要考察新抓取網(wǎng)頁(yè)與已有的內(nèi)部、外部網(wǎng)頁(yè)的重復(fù)。本發(fā)明所述方法能夠保證外部網(wǎng)頁(yè)庫(kù)中所有資源兩兩之間不存在任何重復(fù)。并且該方法使得去重操作的運(yùn)算開(kāi)銷能按時(shí)間平均分?jǐn)?，即每次只處理一個(gè)周期內(nèi)的少量新增的網(wǎng)頁(yè)，能夠使系統(tǒng)流暢的運(yùn)轉(zhuǎn)，完成網(wǎng)頁(yè)庫(kù)的去重操作。
文檔編號(hào)G06F17/30GK102567313SQ20101057673
公開(kāi)日2012年7月11日 申請(qǐng)日期2010年12月7日 優(yōu)先權(quán)日2010年12月7日
發(fā)明者陳運(yùn)文 申請(qǐng)人:盛樂(lè)信息技術(shù)(上海)有限公司