專利名稱：一種網(wǎng)絡(luò)數(shù)據(jù)的采集方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信息檢索和數(shù)據(jù)集成技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)數(shù)據(jù)的采集方法和系統(tǒng)。
背景技術(shù)：
隨著互聯(lián)網(wǎng)的出現(xiàn)及普及，互聯(lián)網(wǎng)絡(luò)為上億網(wǎng)民提供了各類文學(xué)資料信息，與此同時(shí)，一種以這種新興媒體為載體、以網(wǎng)民為接受對(duì)象，具有不同于傳統(tǒng)文學(xué)特點(diǎn)的網(wǎng)絡(luò)文學(xué)正悄然勃興。網(wǎng)絡(luò)文學(xué)，指新近產(chǎn)生的，以互聯(lián)網(wǎng)為展示平臺(tái)和傳播媒介的，借助超文本連接和多媒體演繹等手段來(lái)表現(xiàn)的文學(xué)作品、類文學(xué)文本及含有一部分文學(xué)成分的網(wǎng)絡(luò)藝術(shù)品。其中，以網(wǎng)絡(luò)原創(chuàng)作品為主。網(wǎng)絡(luò)文學(xué)可以分為三類:一類是將已發(fā)表的文學(xué)作品經(jīng)過(guò)電子掃描技術(shù)或人工錄入等方式形成數(shù)字資源；一類是直接在互聯(lián)網(wǎng)絡(luò)上“發(fā)表”的文學(xué)作品；還有一類是通過(guò)計(jì)算機(jī)創(chuàng)作或通過(guò)有關(guān)計(jì)算機(jī)軟件生成的文學(xué)作品進(jìn)入互聯(lián)網(wǎng)絡(luò)，以及具有互聯(lián)網(wǎng)絡(luò)開(kāi)放性特點(diǎn)、幾位作家?guī)资蛔骷疑踔翑?shù)百位網(wǎng)民共同創(chuàng)作的"接力小說(shuō)"等。其中第二類的形式居多。伴隨網(wǎng)絡(luò)文學(xué)的發(fā)展，由此產(chǎn)生的版權(quán)問(wèn)題、文學(xué)創(chuàng)作內(nèi)容問(wèn)題等各種問(wèn)題也撲面而來(lái)。如何便捷集中的瀏覽網(wǎng)絡(luò)文學(xué)的最新內(nèi)容，如何實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)文學(xué)的檢索或監(jiān)管。由于沒(méi)有網(wǎng)絡(luò)文學(xué)相關(guān)數(shù)據(jù)的支撐，這些問(wèn)題目前還得不到有效的解決。

發(fā)明內(nèi)容
本發(fā)明提供一 種網(wǎng)絡(luò)數(shù)據(jù)采集方法和系統(tǒng)，能夠?qū)崟r(shí)采集最新的網(wǎng)絡(luò)數(shù)據(jù)。本發(fā)明方法一方面提供了一種網(wǎng)絡(luò)數(shù)據(jù)采集的方法，用于采集發(fā)布于一網(wǎng)站上的與M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)，其中M為大于等于I的整數(shù)，所述方法包括:根據(jù)待采集鏈接地址所對(duì)應(yīng)的類型，將所述待采集鏈接地址配置到對(duì)應(yīng)類型的隊(duì)列中，所述待采集鏈接地址為與所述M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)所在頁(yè)面的鏈接地址；獲取所述對(duì)應(yīng)類型的隊(duì)列中的所述待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼；根據(jù)所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及所述URL的采集深度值抽取所述URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)。優(yōu)選地，根據(jù)所述網(wǎng)站發(fā)布與所述M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的更新頻率設(shè)置刷新時(shí)間間隔；以及基于所述刷新時(shí)間間隔刷新所述待采集鏈接地址。優(yōu)選地，所述M個(gè)主題中每個(gè)主題為一部網(wǎng)絡(luò)文學(xué)，所述方法還包括:根據(jù)所述網(wǎng)絡(luò)文學(xué)的結(jié)構(gòu)配置所述URL的采集深度值，具體為:
/ 矣園(￡,:良 3為 'Mt —春一 f 內(nèi)容”
Nmep = -1 二閾氣表殺作Λ##焉為:*名#魏容”
I筅三4 表作- 均為量兮—內(nèi)家；
優(yōu)選地，所述待采集鏈接地址對(duì)應(yīng)的類型包括主題名稱頁(yè)、列表頁(yè)和內(nèi)容頁(yè)，配置所述主題名稱頁(yè)用于提取主題名稱；配置所述列表頁(yè)用于提取主題章節(jié)目錄或主題章節(jié)；配置所述內(nèi)容頁(yè)用于提取主題正文內(nèi)容。優(yōu)選地，所述將所述待采集鏈接地址配置到對(duì)應(yīng)類型的隊(duì)列中，具體包括:將類型為所述主題名稱頁(yè)的鏈接地址加入到主題名稱頁(yè)隊(duì)列中；將類型為所述列表頁(yè)的鏈接地址加入到列表頁(yè)隊(duì)列中；將類型為所述內(nèi)容頁(yè)的鏈接地址加入到內(nèi)容頁(yè)隊(duì)列中。優(yōu)選地，所述獲取所述對(duì)應(yīng)類型的隊(duì)列中的所述待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼具體為:在所述主題名稱頁(yè)隊(duì)列中獲取所述主題名稱頁(yè)的鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼。優(yōu)選地，所述根據(jù)所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及所述URL的采集深度值抽取所述URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)，具體為:若采集深度值為第一閾值，則抽取主題的名稱及所述名稱對(duì)應(yīng)的URL，并將所述名稱對(duì)應(yīng)的URL的采集深度值標(biāo)記為第二閾值后加入到所述列表頁(yè)隊(duì)列中；若采集深度值為第二閾值，則抽取主題的名稱及所述名稱對(duì)應(yīng)的URL，并將所述名稱對(duì)應(yīng)的URL的采集深度值標(biāo)記為第三閾值后加入到所述列表頁(yè)隊(duì)列中。優(yōu)選地，所述獲取所述對(duì)應(yīng)類型的隊(duì)列中的所述待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼具體為:在所述列表頁(yè)隊(duì)列中獲取所述列表頁(yè)的鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼。優(yōu)選地，所述根據(jù)所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及所述URL的采集深度值抽取所述URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)具體為:若采集深度值為第二閾值，則抽取主題的章節(jié)目錄及所述章節(jié)目錄對(duì)應(yīng)的URL，并將所述章節(jié)目錄對(duì)應(yīng)的URL的采集深度值標(biāo)記為第三閾值后加入到所述列表頁(yè)隊(duì)列中；若采集深度值為第三閾值，則判斷所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL是否存在上級(jí)URL:若是，則抽取主題的章節(jié)標(biāo)題及所述章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的URL，并將所述章節(jié)的URL加入到所述內(nèi)容頁(yè)隊(duì)列中；若否，則抽取主題的名稱、主題的章節(jié)標(biāo)題及所述章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的URL，并將所述章節(jié)的URL加入到所述內(nèi)容頁(yè)隊(duì)列中。優(yōu)選地，所述獲取所述對(duì)應(yīng)類型的隊(duì)列中的所述待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼具體為:在所述內(nèi)容頁(yè)隊(duì)列中獲取所述內(nèi)容頁(yè)的鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼。優(yōu)選地，所述根據(jù)所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及所述URL的采集深度值抽取所述URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)具體為:從所述網(wǎng)頁(yè)源代碼中抽取主題的章節(jié)標(biāo)題、章節(jié)正文內(nèi)容，并從所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL中抽取所述章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的章節(jié)ID。優(yōu)選地，判斷所述章節(jié)正文內(nèi)容是否存在分頁(yè):若是，則提取下一頁(yè)的鏈接地址，并同時(shí)標(biāo)記當(dāng)前頁(yè)的頁(yè)碼以及下一頁(yè)的頁(yè)碼并將下一頁(yè)的鏈接地址加入到所述內(nèi)容頁(yè)隊(duì)列中等待米集。優(yōu)選地，以所述章節(jié)正文內(nèi)容的第一頁(yè)鏈接為唯一鍵值，存放所述分頁(yè)的內(nèi)容，當(dāng)采集到最后一頁(yè)時(shí)給予結(jié)束標(biāo)識(shí)。優(yōu)選地，將抽取出的所有分頁(yè)的正文內(nèi)容合并到一起，結(jié)合所述章節(jié)標(biāo)題進(jìn)行輸出。本發(fā)明另一方面提供一種網(wǎng)絡(luò)數(shù)據(jù)采集的系統(tǒng)，用于采集發(fā)布于一網(wǎng)站上的與M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)，其中M為大于等于I的整數(shù)，所述系統(tǒng)包括配置模塊，用于根據(jù)待采集鏈接地址所對(duì)應(yīng)的類型，將待采集鏈接地址配置到對(duì)應(yīng)類型的隊(duì)列中，所述待采集鏈接地址為與所述M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)所在頁(yè)面的鏈接地址；網(wǎng)頁(yè)獲取模塊，用于獲取所述對(duì)應(yīng)類型的隊(duì)列中的所述待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼；數(shù)據(jù)抽取模塊，用于根據(jù)所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及所述URL的采集深度值抽取所述URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)。優(yōu)選地，所述系統(tǒng)還包括刷新模塊，用于根據(jù)所述網(wǎng)站發(fā)布與所述M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的更新頻率，設(shè)置刷新時(shí)間間隔并基于所述刷新時(shí)間間隔刷新所述待采集鏈接地址。優(yōu)選地，所述待采集鏈接地址對(duì)應(yīng)的類型包括主題名稱頁(yè)、列表頁(yè)和內(nèi)容頁(yè)，所述配置模塊包括頁(yè)面配置模塊，用于配置所述主題名稱頁(yè)用于提取主題名稱、配置所述列表頁(yè)用于提取主題章節(jié)目錄或主題章節(jié)及配置所述內(nèi)容頁(yè)用于提取主題內(nèi)容。優(yōu)選地，所述配置模塊還包括隊(duì)列配置模塊，用于將所述待采集鏈接地址配置到對(duì)應(yīng)類型的隊(duì)列中，所述隊(duì)列分配模塊包括:第一分配單元，用于將類型為所述主題名稱頁(yè)的鏈接地址分配到主題名稱頁(yè)隊(duì)列中；第二分配單元，用于將類型為所述列表頁(yè)的鏈接地址分配到列表頁(yè)隊(duì)列中；第三分配單元，用于將類型為所述內(nèi)容頁(yè)的鏈接地址分配到內(nèi)容頁(yè)隊(duì)列中。本發(fā)明有益效果如下:本發(fā)明一實(shí)施例采用一網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)采集網(wǎng)絡(luò)數(shù)據(jù)，系統(tǒng)獲取網(wǎng)絡(luò)數(shù)據(jù)的鏈接地址然后配置鏈接地址的類型，并根據(jù)鏈接地址的類型將鏈接地址放入對(duì)應(yīng)的隊(duì)列中。從隊(duì)列中獲取鏈接地址對(duì)應(yīng)的源代碼，根據(jù)源代碼中對(duì)應(yīng)的URL信息及URL的采集深度值提取網(wǎng)絡(luò)數(shù)據(jù)的信息，從而達(dá)到實(shí)時(shí)采集網(wǎng)絡(luò)數(shù)據(jù)的技術(shù)效果。進(jìn)一步，還采用了內(nèi)容合并模塊，可以對(duì)屬于同一主題的網(wǎng)絡(luò)文檔進(jìn)行合并，所以可以在實(shí)時(shí)采集網(wǎng)絡(luò)數(shù)據(jù)的基礎(chǔ)上達(dá)到便捷集中瀏覽的效果。


圖1為本發(fā)明一實(shí)施例中的采集方法的流程圖；圖2為本發(fā)明圖1中采集方法的詳細(xì)流程圖；圖3為本發(fā)明第一實(shí)施例的采集系統(tǒng)架構(gòu)圖；圖4為本發(fā)明一實(shí)施例中的配置模塊的架構(gòu)圖；圖5為本發(fā)明一實(shí)施例中的網(wǎng)頁(yè)獲取模塊的架構(gòu)圖；圖6為本發(fā)明一實(shí)施例中的數(shù)據(jù)抽取模塊的架構(gòu)圖；圖7為本發(fā)明第二實(shí)施例的采集系統(tǒng)架構(gòu)圖；圖8為本發(fā)明第三實(shí)施例的采集系統(tǒng)架構(gòu)圖；圖9為本發(fā)明第四實(shí)施例的采集系統(tǒng)架構(gòu)圖。
具體實(shí)施例方式為讓本領(lǐng)域所屬技術(shù)人員更清楚，更完整理解本發(fā)明，下面結(jié)合附圖作詳細(xì)介紹:本發(fā)明一實(shí)施例提供了一種網(wǎng)絡(luò)數(shù)據(jù)采集的方法，用于采集發(fā)布于一網(wǎng)站上的與M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)，其中M為大于等于I的整數(shù)，請(qǐng)參考圖1，圖1為本實(shí)施例中的采集方法的流程圖。如圖1所示，采集數(shù)據(jù)的方法包括:步驟11:根據(jù)待采集鏈接地址所對(duì)應(yīng)的類型，將待采集鏈接地址配置到對(duì)應(yīng)類型的隊(duì)列中，所述待采集鏈接地址為與所述M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)所在頁(yè)面的鏈接地址；步驟12:獲取所述對(duì)應(yīng)類型的隊(duì)列中的所述待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼；步驟13:根據(jù)所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及所述URL的采集深度值抽取所述URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)。在步驟11中，網(wǎng)站上所發(fā)布的M個(gè)主題可以為M部網(wǎng)絡(luò)文學(xué)作品，為方便理解本發(fā)明，以下實(shí)施例以網(wǎng)絡(luò)文學(xué)為例，但并不限于網(wǎng)絡(luò)文學(xué)。網(wǎng)絡(luò)文學(xué)具有不同于例如網(wǎng)絡(luò)新聞等主題的發(fā)布結(jié)構(gòu)。一般的網(wǎng)絡(luò)新聞都是單篇的，而網(wǎng)絡(luò)文學(xué)作品發(fā)表在網(wǎng)站上一般有2種形式呈現(xiàn)。一種是類似于小說(shuō)閱讀網(wǎng)站的“文學(xué)名稱->章節(jié)目錄頁(yè)->具體的某一章節(jié)的網(wǎng)絡(luò)文學(xué)內(nèi)容頁(yè)”，有的網(wǎng)絡(luò)文學(xué)還會(huì)在“章節(jié)目錄頁(yè)”前存在“卷”的概念；另外一種則是類似普通新聞網(wǎng)站的內(nèi)容目錄頁(yè)面，不同文學(xué)作品的章節(jié)會(huì)穿插在一起呈現(xiàn)，但會(huì)在標(biāo)題中以類似“文學(xué)作品名稱(5) ”的形式來(lái)標(biāo)明是同一個(gè)作品中的不同章節(jié)。對(duì)不同結(jié)構(gòu)的網(wǎng)絡(luò)文學(xué)作品的網(wǎng)絡(luò)文檔的數(shù)據(jù)進(jìn)行采集，應(yīng)先獲取網(wǎng)絡(luò)文檔的數(shù)據(jù)所在頁(yè)面的鏈接地址。在本實(shí)施例中，根據(jù)網(wǎng)絡(luò)文學(xué)作品在網(wǎng)站上發(fā)布的結(jié)構(gòu)，網(wǎng)絡(luò)文檔的數(shù)據(jù)一般包括網(wǎng)絡(luò)文檔所屬的網(wǎng)絡(luò)文學(xué)作品的名稱、網(wǎng)絡(luò)文檔所屬的網(wǎng)絡(luò)文學(xué)作品中卷及/或章節(jié)的名稱、網(wǎng)絡(luò)文檔的正文內(nèi)容。相應(yīng)地，網(wǎng)絡(luò)文檔的數(shù)據(jù)所在的頁(yè)面的鏈接地址對(duì)應(yīng)的類型包括:主題名稱頁(yè)，用于提取網(wǎng)絡(luò)文檔所屬的網(wǎng)絡(luò)文學(xué)作品的名稱；列表頁(yè)，用于提取網(wǎng)絡(luò)文學(xué)作品的章節(jié)目錄鏈接和章節(jié)鏈接，其中，章節(jié)目錄包括網(wǎng)絡(luò)文學(xué)的卷目錄和章目錄；內(nèi)容頁(yè)，用于提取主題正文內(nèi)容。在本實(shí)施例中，將M個(gè)網(wǎng)絡(luò)文學(xué)的數(shù)據(jù)所在的頁(yè)面的鏈接地址根據(jù)其類型分別放入不同隊(duì)列中。具體地，將類型為主題名稱頁(yè)的鏈接地址分配到主題名稱頁(yè)隊(duì)列中；將類型為列表頁(yè)的鏈接地址分配到列表頁(yè)隊(duì)列中；將類型為內(nèi)容頁(yè)的鏈接地址分配到內(nèi)容頁(yè)隊(duì)列中。例如A網(wǎng)站上發(fā)布有三部網(wǎng)絡(luò)文學(xué)作品，分別為A1、A2、A3。其中，Al在網(wǎng)站A上的發(fā)表結(jié)構(gòu)為:文學(xué)名稱->卷目錄_>章目錄_>具體的某一章節(jié)的網(wǎng)絡(luò)文學(xué)內(nèi)容頁(yè)；A2在網(wǎng)站A上的發(fā)表結(jié)構(gòu)為:文學(xué)名稱- >章目錄->具體的某一章節(jié)的網(wǎng)絡(luò)文學(xué)內(nèi)容頁(yè)；A3在網(wǎng)站A上的發(fā)表結(jié)構(gòu)為:章名稱- >具體的某一章節(jié)的網(wǎng)絡(luò)文學(xué)內(nèi)容頁(yè)，A3的章名稱即為A3的作品名稱與章數(shù)的結(jié)合，例如A3的第一章的章名稱是:A3( —)；A3的第五章的章名稱是A3 (五)。在針對(duì)網(wǎng)站A進(jìn)行的一次采集過(guò)程起始時(shí)，將具有Al作品的名稱的頁(yè)面的鏈接地址BI放入主題名稱頁(yè)隊(duì)列中；將具有A2作品的名稱的頁(yè)面的鏈接地址B2放入主題名稱頁(yè)隊(duì)列中；將具有A3作品的章節(jié)鏈接的地址B3放入列表頁(yè)隊(duì)列中等待被采集。而內(nèi)容頁(yè)隊(duì)列在采集起始時(shí)，并不會(huì)有待采集的鏈接地址放入。在實(shí)際的采集過(guò)程中，由于網(wǎng)絡(luò)文檔會(huì)定時(shí)更新但更新頻率不會(huì)像網(wǎng)絡(luò)新聞和論壇信息那樣快速，故可以采用定時(shí)刷新的策略，當(dāng)然也可以采用自適應(yīng)刷新的策略，即根據(jù)網(wǎng)站自身發(fā)布不同網(wǎng)絡(luò)文學(xué)作品的頻率自動(dòng)調(diào)整刷新間隔。當(dāng)檢測(cè)到有網(wǎng)絡(luò)文學(xué)作品到了其刷新間隔時(shí)間，則將刷新的待采集鏈接地址放入到其對(duì)應(yīng)類型的隊(duì)列中。在步驟12中，獲取各個(gè)隊(duì)列中的待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼具體為根據(jù)系統(tǒng)設(shè)定的URL獲取策略，例如根據(jù)系統(tǒng)運(yùn)行情況或者各隊(duì)列的情況，本領(lǐng)域技術(shù)人員在實(shí)際操作時(shí)可根據(jù)時(shí)間需要設(shè)定URL的獲取策略，從各個(gè)隊(duì)列中獲取一個(gè)待采集的鏈接地址，然后系統(tǒng)通過(guò)Http請(qǐng)求的方式獲取網(wǎng)頁(yè)源代碼。在本實(shí)施例中，例如針對(duì)網(wǎng)站A上的三部網(wǎng)絡(luò)文學(xué)作品的采集起始時(shí)，從主題名稱頁(yè)隊(duì)列中提取的待采集鏈接地址B1、B2，根據(jù)系統(tǒng)設(shè)定的URL獲取策略分別獲取BI對(duì)應(yīng)的網(wǎng)頁(yè)源代碼和B2對(duì)應(yīng)的網(wǎng)頁(yè)源代碼；從列表頁(yè)隊(duì)列中提取待采集鏈接地址B3并根據(jù)系統(tǒng)設(shè)定的URL獲取策略獲取其網(wǎng)頁(yè)源代碼。在步驟13中，網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息包括網(wǎng)絡(luò)文學(xué)作品名稱、章節(jié)目錄及章節(jié)鏈接、正文內(nèi)容的鏈接。URL的采集深度值根據(jù)網(wǎng)絡(luò)文學(xué)作品的結(jié)構(gòu)配置，具體為:
N0mp = j霧二 _氣表承敎品疼式.: .“名# — f I —內(nèi)家
hsJmL.表錄作*結(jié)_為童句容”在本實(shí)施例中，第一閾值為3，第二閾值為2，第三閾值為I,當(dāng)然本領(lǐng)域技術(shù)人員也可以采用其他數(shù)值或標(biāo)記來(lái)標(biāo)示不同的閾值，為方便說(shuō)明本發(fā)明，以下以第一閾值為3、第二閾值為2、第三閾值為I進(jìn)行舉例說(shuō)明，按照網(wǎng)絡(luò)文學(xué)作品的結(jié)構(gòu)配置的采集深度值可以結(jié)合網(wǎng)站A上發(fā)布的A1、A2、A3進(jìn)行理解。當(dāng)從主題名稱頁(yè)隊(duì)列中獲取鏈接地址BI后，根據(jù)BI對(duì)應(yīng)的源代碼獲取對(duì)應(yīng)的URL (即URL-A1)，而Al的結(jié)構(gòu)為“文學(xué)名稱_ >卷目錄_ >章目錄- >具體的某一章 節(jié)的網(wǎng)絡(luò)文學(xué)內(nèi)容頁(yè)”，則URL-Al的采集深度值應(yīng)為3。同理，A2的結(jié)構(gòu)為“文學(xué)名稱- >章目錄- >具體的某一章節(jié)的網(wǎng)絡(luò)文學(xué)內(nèi)容頁(yè)”，則根據(jù)B2得到的源代碼所對(duì)應(yīng)的URL(即URL-A2)的采集深度值為2 ；A3的結(jié)構(gòu)為“章名稱_ >具體的某一章節(jié)的網(wǎng)絡(luò)文學(xué)內(nèi)容頁(yè)”，則根據(jù)B3得到的源代碼所對(duì)應(yīng)的URL( S卩URL-A3)的采集深度值為3。步驟13具體包括:(請(qǐng)參考圖2)步驟131:根據(jù)從主題名稱頁(yè)隊(duì)列中獲取的主題名稱頁(yè)的鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼所對(duì)應(yīng)的URL信息及URL采集深度值，抽取URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)。步驟132:根據(jù)從列表頁(yè)隊(duì)列中獲取的列表頁(yè)的鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼所對(duì)應(yīng)的URL信息及URL采集深度值，抽取URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)。步驟133:根據(jù)從內(nèi)容頁(yè)隊(duì)列中獲取的內(nèi)容頁(yè)的鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼所對(duì)應(yīng)的URL，從網(wǎng)頁(yè)源代碼中抽取主題的章節(jié)標(biāo)題、章節(jié)正文內(nèi)容，并從網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL中抽取所述章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的章節(jié)ID。上述步驟131、132、133在實(shí)現(xiàn)時(shí)沒(méi)有先后順序的限制，只要當(dāng)各個(gè)隊(duì)列中有需要待采集的鏈接地址時(shí)，就可以對(duì)待采集的鏈接地址進(jìn)行采集，獲取待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼并根據(jù)網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及URL采集深度值抽取URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)，下面將詳細(xì)說(shuō)明各步驟中對(duì)網(wǎng)絡(luò)文檔數(shù)據(jù)進(jìn)行抽取的過(guò)程。在步驟131中，抽取URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)具體為:若URL的采集深度值為3，則抽取主題的名稱及該名稱對(duì)應(yīng)的URL，并將該名稱對(duì)應(yīng)的URL的采集深度值標(biāo)記為第二閾值后加入到列表頁(yè)隊(duì)列中；若URL的采集深度值為2，則抽取主題的名稱及該名稱對(duì)應(yīng)的URL，并將該名稱對(duì)應(yīng)的URL的采集深度標(biāo)記為I后加入到列表頁(yè)隊(duì)列中。在本實(shí)施例中，從主題名稱頁(yè)隊(duì)列中提取的鏈接地址為Al的鏈接地址BI及A2的鏈接地址B2。因BI對(duì)應(yīng)源代碼所對(duì)應(yīng)的URL-Al的采集深度值為3，則應(yīng)抽取Al的主題名稱，用“名稱A I”表示。還應(yīng)抽取“名稱A I”對(duì)應(yīng)的URL，用“ URL-A11”表示，并將“ URL-A11 ”的采集深度值標(biāo)記為2后加入到列表頁(yè)隊(duì)列中，以便抽取URL-All中屬于作品Al的其他信息。而對(duì)于鏈接地址B2，因URL-A2的采集深度值為2，故應(yīng)抽取A2的主題名稱，用“名稱A2”表示。還應(yīng)抽取“名稱A2”對(duì)應(yīng)的URL，用“URL-A21”表示，并將“URL-A21”的采集深度值標(biāo)記為I后加入到列表頁(yè)隊(duì)列中，以便抽取URL-A21中屬于作品A2的其他信息。在步驟132中，抽取URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔數(shù)據(jù)具體為:若URL的采集深度值為2，則抽取主題的章節(jié)目錄及章節(jié)目錄對(duì)應(yīng)的URL，并將章節(jié)目錄對(duì)應(yīng)的URL的采集深度值標(biāo)記為I后加入到列表頁(yè)隊(duì)列中；若URL的采集深度值為1，則判斷網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL是否存在上級(jí)URL:若是，則抽取主題的章節(jié)標(biāo)題及章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的URL，并將章節(jié)的URL加入到內(nèi)容頁(yè)隊(duì)列中；若否，則抽取主題的名稱、主題的章節(jié)標(biāo)題及章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的URL，并將章節(jié)的URL加入到內(nèi)容頁(yè)隊(duì)列中。在本實(shí)施例中，列表頁(yè)隊(duì)列中在經(jīng)過(guò)步驟131后已存放了待采集的URL-All和URL-A21。另外，在針對(duì)網(wǎng)站Al的網(wǎng)絡(luò)文學(xué)作品采集的起始時(shí)，已經(jīng)將作品A3對(duì)應(yīng)的鏈接地址B3放入列表頁(yè)隊(duì)列中。對(duì)于URL-A11，其采集深度值為2，則抽取Al的章節(jié)目錄及章節(jié)目錄對(duì)應(yīng)的URL，用“URL-A12”表示。將URL-A12的采集深度值標(biāo)記為I后加入到列表頁(yè)隊(duì)列中。對(duì)于URL-A21，其采集深度值為I且其存有上級(jí)URL (及URL-A21)，故抽取A2的章節(jié)標(biāo)題及章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的URL，用“URL-A22”表示，并將URL-A22加入到內(nèi)容頁(yè)隊(duì)列中。對(duì)于列表頁(yè)隊(duì)列中的B3，因?yàn)锽3對(duì)應(yīng)源代碼所對(duì)應(yīng)的URL-A3的采集深度值為I且不具有上級(jí)URL，故抽取A3的名稱，用“名稱A3”表示、章節(jié)標(biāo)題，還應(yīng)抽取章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的URL，用“URL-A31”表示并將URL-A31加入到內(nèi)容頁(yè)隊(duì)列中。在步驟133中，若章節(jié)正文存在分頁(yè)，則需要提取下一頁(yè)的鏈接地址，并同時(shí)標(biāo)記當(dāng)前頁(yè)的頁(yè)碼以及下一頁(yè)的頁(yè)碼并將下一頁(yè)的鏈接地址加入到內(nèi)容頁(yè)隊(duì)列中等待采集。進(jìn)而，以章節(jié)正文內(nèi)容的第一頁(yè)鏈接為唯一鍵值，存放分頁(yè)的內(nèi)容，當(dāng)采集到最后一頁(yè)時(shí)給予結(jié)束標(biāo)識(shí)。進(jìn)一步地，還可以將抽取出的所有分頁(yè)的正文內(nèi)容合并到一起，結(jié)合章節(jié)標(biāo)題進(jìn)行輸出。再進(jìn)一步地，將網(wǎng)站、主題的名稱、主題的章節(jié)標(biāo)題、章節(jié)ID、章節(jié)正文內(nèi)容上載到數(shù)據(jù)庫(kù)中。其中，也可以將章節(jié)正文內(nèi)容以附件的形式存儲(chǔ)到文件服務(wù)器并將存放文件的路徑記錄到數(shù)據(jù)庫(kù)中。在本實(shí)施例中，對(duì)網(wǎng)絡(luò)數(shù)據(jù)的采集和合并的方法可以使得網(wǎng)絡(luò)文學(xué)以一本書的形式展現(xiàn)，進(jìn)一步地，采用自動(dòng)刷新采集數(shù)據(jù)可以實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)采集，所以本實(shí)施例可以獲得實(shí)時(shí)、便捷、集中瀏覽網(wǎng)絡(luò)文學(xué)作品的有益效果。本發(fā)明第一實(shí)施例提供了一種網(wǎng)絡(luò)數(shù)據(jù)采集的系統(tǒng)，用于采集發(fā)布于一網(wǎng)站上的與M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)，其中M為大于等于I的整數(shù)，請(qǐng)參考圖3，圖3為本實(shí)施例中的采集系統(tǒng)的架構(gòu)圖。如圖3所示，采集數(shù)據(jù)的系統(tǒng)包括配置模塊31、網(wǎng)頁(yè)獲取模塊32、數(shù)據(jù)抽取模塊33。配置模塊31用于根據(jù)待采集鏈接地址所對(duì)應(yīng)的類型，將待采集鏈接地址配置到對(duì)應(yīng)類型的隊(duì)列中，待采集鏈接地址為與M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)所在頁(yè)面的鏈接地址。網(wǎng)頁(yè)獲取模塊32用于獲取對(duì)應(yīng)類型的隊(duì)列中的待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼。數(shù)據(jù)抽取模塊33用于根據(jù)網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及URL的采集深度值抽取URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)。本實(shí)施例中，待采集鏈接地址對(duì)應(yīng)的類型包括主題名稱頁(yè)、列表頁(yè)和內(nèi)容頁(yè)。請(qǐng)參考圖4，配置模塊31包括頁(yè)面配置模塊311，用于配置主題名稱頁(yè)用于提取主題名稱、配置列表頁(yè)用于提取主題章節(jié)目錄或主題章節(jié)及配置內(nèi)容頁(yè)用于提取主題內(nèi)容。請(qǐng)繼續(xù)參考圖4，配置模塊31還包括隊(duì)列配置模塊312，用于將所述待采集鏈接地址配置到對(duì)應(yīng)類型的隊(duì)列中。隊(duì)列分配模塊312還包括包括:第一分配單元3121，用于將類型為主題名稱頁(yè)的鏈接地址分配到主題名稱頁(yè)隊(duì)列中；第二分配單元3122，用于將類型為列表頁(yè)的鏈接地址分配到列表頁(yè)隊(duì)列中；第三分配單元3123，用于將類型為內(nèi)容頁(yè)的鏈接地址分配到內(nèi)容頁(yè)隊(duì)列中。本實(shí)施例中，網(wǎng)頁(yè)獲取模塊32包括:第一獲取單元321，用于在主題名稱頁(yè)隊(duì)列中獲取主題名稱頁(yè)的鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼。第二獲取單元322，用于在列表頁(yè)隊(duì)列中獲取列表頁(yè)的鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼。第三獲取單元323，用于在內(nèi)容頁(yè)隊(duì)列中獲取內(nèi)容頁(yè)的鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼。請(qǐng)參考圖5。本實(shí)施例中，數(shù)據(jù)抽取模塊33還包括:第一抽取單元331，用于當(dāng)網(wǎng)頁(yè)源代碼對(duì)應(yīng)URL的采集深度值為第一閾值時(shí)，抽取主題的名稱及名稱對(duì)應(yīng)的URL，并將名稱對(duì)應(yīng)URL的采集深度值標(biāo)記為第二閾值后發(fā)送到第二分配單元3122中。第二抽取單元332，用于當(dāng)網(wǎng)頁(yè)源代碼對(duì)應(yīng)URL的采集深度值為第二閾值，抽取主題的名稱及名稱對(duì)應(yīng)的URL，并將名稱對(duì)應(yīng)URL的采集深度值標(biāo)記為第三閾值后發(fā)送到第二分配單元3122中。第三抽取單元333，用于當(dāng)網(wǎng)頁(yè)源代碼對(duì)應(yīng)URL的采集深度值為第二閾值，則抽取主題的章節(jié)目錄及章節(jié)目錄的URL，并將章節(jié)目錄的URL的采集深度值標(biāo)記為第三閾值后發(fā)送到第二分配單元3122中。第四抽取單元334，用于判斷網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL是否存在上級(jí)URL，并當(dāng)判斷結(jié)果為是時(shí)，抽取主題的章節(jié)標(biāo)題及章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的URL，并將章節(jié)的URL發(fā)送到第三分配單元3123中，當(dāng)判斷結(jié)果為否時(shí)，抽取主題的名稱、章節(jié)標(biāo)題及章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的URL，并將章節(jié)的URL發(fā)送到第三分配單元3123中。第五抽取單元335，用于從網(wǎng)頁(yè)源代碼中抽取主題的章節(jié)標(biāo)題、章節(jié)正文內(nèi)容，并從網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL中抽取章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的章節(jié)ID。分頁(yè)判斷單元336，用于判斷章節(jié)正文內(nèi)容是否存在分頁(yè)；當(dāng)章節(jié)正文內(nèi)容存在分頁(yè)時(shí)，第五抽取單元335還用于提取下一頁(yè)的鏈接地址并同時(shí)標(biāo)記當(dāng)前頁(yè)的頁(yè)碼以及下一頁(yè)的頁(yè)碼并將下一頁(yè)的鏈接地址發(fā)送到第三分配單元3123中。分頁(yè)存放單元337，用于以章節(jié)正文內(nèi)容的第一頁(yè)鏈接為唯一鍵值，存放分頁(yè)的內(nèi)容，并當(dāng)采集到最后一頁(yè)時(shí)給予結(jié)束標(biāo)識(shí)。請(qǐng)參考圖6。在第二實(shí)施例中，與第一實(shí)施例不同的是系統(tǒng)還包括刷新模塊34，用于根據(jù)所述網(wǎng)站發(fā)布與所述M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的更新頻率，設(shè)置刷新時(shí)間間隔并基于所述刷新時(shí)間間隔刷新所述待采集鏈接地址。本實(shí)施例請(qǐng)參考圖7。在第三實(shí)施例中，與第一、第二實(shí)施例不同的是系統(tǒng)還包括內(nèi)容合并模塊35，用于將抽取出的所有分頁(yè)的正文內(nèi)容合并到一起，并結(jié)合章節(jié)標(biāo)題進(jìn)行輸出。本實(shí)施例請(qǐng)參考圖8。在實(shí)施例中也可以結(jié)合第二實(shí)施例中的刷新模塊進(jìn)行采集工作，為了說(shuō)明書的簡(jiǎn)潔，本處不再對(duì)結(jié)合使用的系統(tǒng)進(jìn)行詳細(xì)的介紹。在第四實(shí)施例中，與第一、第二、第三實(shí)施例都不同的是系統(tǒng)還包括第一數(shù)據(jù)存儲(chǔ)模塊36，用于將網(wǎng)站、主題的名稱、主題的章節(jié)標(biāo)題、章節(jié)ID、章節(jié)正文內(nèi)容上載到數(shù)據(jù)庫(kù)中。第二數(shù)據(jù)存儲(chǔ)模塊37，用于當(dāng)章節(jié)正文內(nèi)容可能占用較多數(shù)據(jù)庫(kù)空間時(shí)，選擇該數(shù)據(jù)庫(kù)將網(wǎng)站、主題的名稱、主題的章節(jié)標(biāo)題、章節(jié)ID、章節(jié)正文內(nèi)容的存放路徑上載到數(shù)據(jù)庫(kù)中，其中，章節(jié)正文內(nèi)容存放路徑是指將章節(jié)正文內(nèi)容以附件的形式存儲(chǔ)到文件服務(wù)器的路徑。本實(shí)施例請(qǐng)參考圖9。在本實(shí)施例中也可以結(jié)合第二實(shí)施例中的刷新模塊進(jìn)行采集工作，為了說(shuō)明書的簡(jiǎn)潔，本處不再對(duì)結(jié)合使用的系統(tǒng)進(jìn)行詳細(xì)的介紹。上述第一、第二、第三及第四實(shí)施例中的系統(tǒng)可以根據(jù)本發(fā)明提供的一種網(wǎng)絡(luò)數(shù)據(jù)采集方法的實(shí)施例中對(duì)方法及其各種變化形式的描述進(jìn)行實(shí)施。本處為了說(shuō)明書的簡(jiǎn)潔，所以不再詳述。本發(fā)明一實(shí)施例采用一網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)采集網(wǎng)絡(luò)數(shù)據(jù)，系統(tǒng)獲取網(wǎng)絡(luò)數(shù)據(jù)的鏈接地址然后配置鏈接地址的類型，并根據(jù)鏈接地址的類型將鏈接地址放入對(duì)應(yīng)的隊(duì)列中。從隊(duì)列中獲取鏈接地址對(duì)應(yīng)的源代碼，根據(jù)源代碼中對(duì)應(yīng)的URL信息及URL的采集深度值提取網(wǎng)絡(luò)數(shù)據(jù)的信息，從而達(dá)到實(shí)時(shí)采集網(wǎng)絡(luò)數(shù)據(jù)的技術(shù)效果。進(jìn)一步，還采用了內(nèi)容合并模塊，可以對(duì)屬于同一主題的網(wǎng)絡(luò)文檔進(jìn)行合并，所以可以在實(shí)時(shí)采集網(wǎng)絡(luò)數(shù)據(jù)的基礎(chǔ)上達(dá)到便捷集中瀏覽的效果。顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
1.一種網(wǎng)絡(luò)數(shù)據(jù)采集的方法，用于采集發(fā)布于一網(wǎng)站上的與M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)，其中M為大于等于I的整數(shù)，其特征在于，所述方法包括: 根據(jù)待采集鏈接地址所對(duì)應(yīng)的類型，將所述待采集鏈接地址配置到對(duì)應(yīng)類型的隊(duì)列中，所述待采集鏈接地址為與所述M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)所在頁(yè)面的鏈接地址； 獲取所述對(duì)應(yīng)類型的隊(duì)列中的所述待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼； 根據(jù)所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及所述URL的采集深度值抽取所述URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)。
2.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 根據(jù)所述網(wǎng)站發(fā)布與所述M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的更新頻率，設(shè)置刷新時(shí)間間隔；以及 基于所述刷新時(shí)間間隔刷新所述待采集鏈接地址。
3.如權(quán)利要求1所述的方法，其特征在于，所述M個(gè)主題中每個(gè)主題為一部網(wǎng)絡(luò)文學(xué)，所述方法還包括:根據(jù)所述網(wǎng)絡(luò)文學(xué)的結(jié)構(gòu)配置所述URL的采集深度值，具體為:
4.如權(quán)利要求1所述的方法，其特征在于，所述待采集鏈接地址對(duì)應(yīng)的類型包括主題名稱頁(yè)、列表頁(yè)和內(nèi)容頁(yè)，配置所述主題名稱頁(yè)用于提取主題名稱；配置所述列表頁(yè)用于提取主題章節(jié)目錄或主題章節(jié)；配置所述內(nèi)容頁(yè)用于提取主題正文內(nèi)容。
5.如權(quán)利要求4所述的方法，其特征在于，所述將所述待采集鏈接地址配置到對(duì)應(yīng)類型的隊(duì)列中，具體包括: 將類型為所述主題名稱頁(yè)的鏈接地址分配到主題名稱頁(yè)隊(duì)列中； 將類型為所述列表頁(yè)的鏈接地址分配到列表頁(yè)隊(duì)列中； 將類型為所述內(nèi)容頁(yè)的鏈接地址分配到內(nèi)容頁(yè)隊(duì)列中。
6.如權(quán)利要求5所述的方法，其特征在于，所述獲取所述對(duì)應(yīng)類型的隊(duì)列中的所述待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼具體為: 在所述主題名稱頁(yè)隊(duì)列中獲取所述主題名稱頁(yè)的鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼。
7.如權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及所述URL的采集深度值抽取所述URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)，具體為: 若采集深度值為第一閾值，則抽取主題的名稱及所述名稱對(duì)應(yīng)的URL，并將所述名稱對(duì)應(yīng)的URL的采集深度值標(biāo)記為第二閾值后加入到所述列表頁(yè)隊(duì)列中； 若采集深度值為第二閾值，則抽取主題的名稱及所述名稱對(duì)應(yīng)的URL，并將所述名稱對(duì)應(yīng)的URL的采集深度值標(biāo)記為第三閾值后加入到所述列表頁(yè)隊(duì)列中。
8.如權(quán)利要求5所述的方法，其特征在于，所述獲取所述對(duì)應(yīng)類型的隊(duì)列中的所述待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼具體為: 在所述列表頁(yè)隊(duì)列中獲取所述列表頁(yè)的鏈接 地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼。
9.如權(quán)利要求8所述的方法，其特征在于，所述根據(jù)所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及所述URL的采集深度值抽取所述URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)具體為: 若采集深度值為第二閾值，則抽取主題的章節(jié)目錄及所述章節(jié)目錄對(duì)應(yīng)的URL，并將所述章節(jié)目錄對(duì)應(yīng)的URL的采集深度值標(biāo)記為第三閾值后加入到所述列表頁(yè)隊(duì)列中； 若采集深度值為第三閾值，則判斷所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL是否存在上級(jí)URL: 若是，則抽取主題的章節(jié)標(biāo)題及所述章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的URL，并將所述章節(jié)的URL加入到所述內(nèi)容頁(yè)隊(duì)列中； 若否，則抽取主題的名稱、主題的章節(jié)標(biāo)題及所述章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的URL，并將所述章節(jié)的URL加入到所述內(nèi)容頁(yè)隊(duì)列中。
10.如權(quán)利要求5所述的方法，其特征在于，所述獲取所述對(duì)應(yīng)類型的隊(duì)列中的所述待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼具體為: 在所述內(nèi)容頁(yè)隊(duì)列中獲取所述內(nèi)容頁(yè)的鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼。
11.如權(quán)利要求10所述的方法，其特征在于，所述根據(jù)所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及所述URL的采集深度值抽取所述URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)具體為: 從所述網(wǎng)頁(yè)源代碼中抽取主題的章節(jié)標(biāo)題、章節(jié)正文內(nèi)容，并從所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL中抽取所述章節(jié)標(biāo)題對(duì)應(yīng)章節(jié)的章節(jié)ID。
12.如權(quán)利要求11所述的方法，其特征在于，所述方法還包括: 判斷所述章節(jié)正文內(nèi)容是否存在分頁(yè): 若是，則提取下一 頁(yè)的鏈接地址，并同時(shí)標(biāo)記當(dāng)前頁(yè)的頁(yè)碼以及下一頁(yè)的頁(yè)碼并將下一頁(yè)的鏈接地址加入到所述內(nèi)容頁(yè)隊(duì)列中等待采集。
13.如權(quán)利要求12所述的方法，其特征在于，所述方法還包括: 以所述章節(jié)正文內(nèi)容的第一頁(yè)鏈接為唯一鍵值，存放所述分頁(yè)的內(nèi)容，當(dāng)采集到最后一頁(yè)時(shí)給予結(jié)束標(biāo)識(shí)。
14.如權(quán)利要求13所述的方法，其特征在于，所述方法還包括: 將抽取出的所有分頁(yè)的正文內(nèi)容合并到一起，結(jié)合所述章節(jié)標(biāo)題進(jìn)行輸出。
15.一種網(wǎng)絡(luò)數(shù)據(jù)采集的系統(tǒng)，用于采集發(fā)布于一網(wǎng)站上的與M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)，其中M為大于等于I的整數(shù)，其特征在于，所述系統(tǒng)包括: 配置模塊，用于根據(jù)待采集鏈接地址所對(duì)應(yīng)的類型，將待采集鏈接地址配置到對(duì)應(yīng)類型的隊(duì)列中，所述待采集鏈接地址為與所述M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)所在頁(yè)面的鏈接地址； 網(wǎng)頁(yè)獲取模塊，用于獲取所述對(duì)應(yīng)類型的隊(duì)列中的所述待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼； 數(shù)據(jù)抽取模塊，用于根據(jù)所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及所述URL的采集深度值抽取所述URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)。
16.如權(quán)利要求15所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括:刷新模塊，用于根據(jù)所述網(wǎng)站發(fā)布與所述M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的更新頻率，設(shè)置刷新時(shí)間間隔并基于所述刷新時(shí)間間隔刷新所述待采集鏈接地址。
17.如權(quán)利要求15所述的系統(tǒng)，其特征在于，所述待采集鏈接地址對(duì)應(yīng)的類型包括主題名稱頁(yè)、列表頁(yè)和內(nèi)容頁(yè)，所述配置模塊包括:頁(yè)面配置模塊，用于配置所述主題名稱頁(yè)用于提取主題名稱、配置所述列表頁(yè)用于提取主題章節(jié)目錄或主題章節(jié)及配置所述內(nèi)容頁(yè)用于提取主題內(nèi)容。
18.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述配置模塊還包括:隊(duì)列配置模塊，用于將所述待采集鏈接地址配置到對(duì)應(yīng)類型的隊(duì)列中，所述隊(duì)列分配模塊包括: 第一分配單元，用于將類型為所述主題名稱頁(yè)的鏈接地址分配到主題名稱頁(yè)隊(duì)列中； 第二分配單元，用于將類型為所述列表頁(yè)的鏈接地址分配到列表頁(yè)隊(duì)列中； 第三分配單元，用于 將類型為所述內(nèi)容頁(yè)的鏈接地址分配到內(nèi)容頁(yè)隊(duì)列中。
全文摘要
本發(fā)明公開(kāi)了一種網(wǎng)絡(luò)數(shù)據(jù)的采集方法和系統(tǒng)。該方法用于采集發(fā)布于一網(wǎng)站上的與M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)，其中M為大于等于1的整數(shù)，所述方法包括根據(jù)待采集鏈接地址所對(duì)應(yīng)的類型，將所述待采集鏈接地址配置到對(duì)應(yīng)類型的隊(duì)列中，所述待采集鏈接地址為與所述M個(gè)主題分別相關(guān)的網(wǎng)絡(luò)文檔的數(shù)據(jù)所在頁(yè)面的鏈接地址；獲取所述對(duì)應(yīng)類型的隊(duì)列中的所述待采集鏈接地址對(duì)應(yīng)的網(wǎng)頁(yè)源代碼；根據(jù)所述網(wǎng)頁(yè)源代碼對(duì)應(yīng)的URL信息及所述URL的采集深度值抽取所述URL對(duì)應(yīng)的網(wǎng)絡(luò)文檔的數(shù)據(jù)。
文檔編號(hào)G06F17/30GK103164435SQ20111041535
公開(kāi)日2013年6月19日 申請(qǐng)日期2011年12月13日 優(yōu)先權(quán)日2011年12月13日
發(fā)明者吳新麗, 楊建武 申請(qǐng)人:北大方正集團(tuán)有限公司, 北京大學(xué), 北京北大方正電子有限公司