確定單元67，用于確定所述目標(biāo)頁(yè)面上，預(yù)置時(shí)間段內(nèi)未被爬蟲(chóng)抓取過(guò)的X條鏈接地址；
[0155]第三鏈接地址抽取單元68，用于從最新的鏈接地址存儲(chǔ)隊(duì)列中抽取最新產(chǎn)生的X條鏈接地址，所述最新的鏈接地址存儲(chǔ)隊(duì)列為上一次抽取鏈接地址后的鏈接地址存儲(chǔ)隊(duì)列；
[0156]第二鏈接地址替換單元69，用于利用抽取的X條鏈接地址替換掉所述未被爬蟲(chóng)抓取過(guò)的X條鏈接地址。
[0157]可選的，所述目標(biāo)頁(yè)面的個(gè)數(shù)為多個(gè)，本申請(qǐng)實(shí)施例公開(kāi)了上述鏈接地址展示單元62的一種可選結(jié)構(gòu)，如圖10所示，所述鏈接地址展示單元62可以包括:
[0158]第一鏈接地址展示子單元621，用于將多個(gè)目標(biāo)頁(yè)面的集合確定為目標(biāo)集合；
[0159]第二鏈接地址展示子單元622，用于從所述目標(biāo)集合中抽取一個(gè)被爬蟲(chóng)訪問(wèn)次數(shù)最多的目標(biāo)頁(yè)面，作為待定目標(biāo)頁(yè)面；
[0160]第三鏈接地址展示子單元623，用于從抽取的目標(biāo)數(shù)量條的鏈接地址中抽取最新產(chǎn)生的Y條鏈接地址，Y為所述待定目標(biāo)頁(yè)面所能夠展示的鏈接地址的條目數(shù)；
[0161]第四鏈接地址展示子單元624，用于將抽取的Y條鏈接地址展示在所述待定目標(biāo)頁(yè)面上；
[0162]第五鏈接地址展示子單元625，用于將目標(biāo)頁(yè)面抽取后的目標(biāo)集合確定為新的目標(biāo)集合，返回執(zhí)行所述第二鏈接地址展示子單元622，直至目標(biāo)集合內(nèi)不存在目標(biāo)頁(yè)面為止。
[0163]最后，還需要說(shuō)明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。
[0164]本說(shuō)明書(shū)中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見(jiàn)即可。
[0165]對(duì)所公開(kāi)的實(shí)施例的上述說(shuō)明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本申請(qǐng)。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的，本文中所定義的一般原理可以在不脫離本申請(qǐng)的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本申請(qǐng)將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開(kāi)的原理和新穎特點(diǎn)相一致的最寬的范圍。
【主權(quán)項(xiàng)】
1.一種網(wǎng)站內(nèi)鏈的部署方法，其特征在于，包括: 根據(jù)爬蟲(chóng)日志記錄，確定網(wǎng)站內(nèi)被爬蟲(chóng)訪問(wèn)的次數(shù)超過(guò)閾值的目標(biāo)頁(yè)面； 從預(yù)置的鏈接地址存儲(chǔ)隊(duì)列中抽取最新產(chǎn)生的目標(biāo)數(shù)量條的鏈接地址，所述鏈接地址存儲(chǔ)隊(duì)列中按照鏈接地址產(chǎn)生時(shí)間的先后順序，存儲(chǔ)有多條鏈接地址，所述目標(biāo)數(shù)量為所述目標(biāo)頁(yè)面所能夠展示的鏈接地址的條目數(shù)； 將抽取的目標(biāo)數(shù)量條的鏈接地址展示在所述目標(biāo)頁(yè)面上。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括: 在檢測(cè)到爬蟲(chóng)訪問(wèn)所述目標(biāo)頁(yè)面后，確定爬蟲(chóng)抓取的N條鏈接地址； 從最新的鏈接地址存儲(chǔ)隊(duì)列中抽取最新產(chǎn)生的N條鏈接地址，所述最新的鏈接地址存儲(chǔ)隊(duì)列為上一次抽取鏈接地址后的鏈接地址存儲(chǔ)隊(duì)列； 利用抽取的N條鏈接地址替換掉所述爬蟲(chóng)抓取的N條鏈接地址。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括: 確定所述目標(biāo)頁(yè)面上，預(yù)置時(shí)間段內(nèi)未被爬蟲(chóng)抓取過(guò)的X條鏈接地址； 從最新的鏈接地址存儲(chǔ)隊(duì)列中抽取最新產(chǎn)生的X條鏈接地址，所述最新的鏈接地址存儲(chǔ)隊(duì)列為上一次抽取鏈接地址后的鏈接地址存儲(chǔ)隊(duì)列； 利用抽取的X條鏈接地址替換掉所述未被爬蟲(chóng)抓取過(guò)的X條鏈接地址。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述檢測(cè)到爬蟲(chóng)訪問(wèn)所述目標(biāo)頁(yè)面后，該方法還包括: 記錄爬蟲(chóng)的訪問(wèn)記錄，該訪問(wèn)記錄用于更新所述爬蟲(chóng)日志記錄。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)頁(yè)面的個(gè)數(shù)為多個(gè)，所述將抽取的目標(biāo)數(shù)量條的鏈接地址展示在所述目標(biāo)頁(yè)面上，包括: 將多個(gè)目標(biāo)頁(yè)面的集合確定為目標(biāo)集合； 從所述目標(biāo)集合中抽取一個(gè)被爬蟲(chóng)訪問(wèn)次數(shù)最多的目標(biāo)頁(yè)面，作為待定目標(biāo)頁(yè)面； 從抽取的目標(biāo)數(shù)量條的鏈接地址中抽取最新產(chǎn)生的Y條鏈接地址，Y為所述待定目標(biāo)頁(yè)面所能夠展示的鏈接地址的條目數(shù)； 將抽取的Y條鏈接地址展示在所述待定目標(biāo)頁(yè)面上； 將目標(biāo)頁(yè)面抽取后的目標(biāo)集合確定為新的目標(biāo)集合，返回執(zhí)行所述從所述目標(biāo)集合中抽取一個(gè)被爬蟲(chóng)訪問(wèn)次數(shù)最多的目標(biāo)頁(yè)面，作為待定目標(biāo)頁(yè)面的步驟，直至目標(biāo)集合內(nèi)不存在目標(biāo)頁(yè)面為止。6.一種網(wǎng)站內(nèi)鏈的部署裝置，其特征在于，包括: 目標(biāo)頁(yè)面確定單元，用于根據(jù)爬蟲(chóng)日志記錄，確定網(wǎng)站內(nèi)被爬蟲(chóng)訪問(wèn)的次數(shù)超過(guò)閾值的目標(biāo)頁(yè)面； 第一鏈接地址抽取單元，用于從預(yù)置的鏈接地址存儲(chǔ)隊(duì)列中抽取最新產(chǎn)生的目標(biāo)數(shù)量條的鏈接地址，所述鏈接地址存儲(chǔ)隊(duì)列中按照鏈接地址產(chǎn)生時(shí)間的先后順序，存儲(chǔ)有多條鏈接地址，所述目標(biāo)數(shù)量為所述目標(biāo)頁(yè)面所能夠展示的鏈接地址的條目數(shù)； 鏈接地址展示單元，用于將抽取的目標(biāo)數(shù)量條的鏈接地址展示在所述目標(biāo)頁(yè)面上。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，還包括: 爬蟲(chóng)訪問(wèn)響應(yīng)單元，用于在檢測(cè)到爬蟲(chóng)訪問(wèn)所述目標(biāo)頁(yè)面后，確定爬蟲(chóng)抓取的N條鏈接地址； 第二鏈接地址抽取單元，用于從最新的鏈接地址存儲(chǔ)隊(duì)列中抽取最新產(chǎn)生的N條鏈接地址，所述最新的鏈接地址存儲(chǔ)隊(duì)列為上一次抽取鏈接地址后的鏈接地址存儲(chǔ)隊(duì)列； 第一鏈接地址替換單元，用于利用抽取的N條鏈接地址替換掉所述爬蟲(chóng)抓取的N條鏈接地址。8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，還包括: 未訪問(wèn)鏈接地址確定單元，用于確定所述目標(biāo)頁(yè)面上，預(yù)置時(shí)間段內(nèi)未被爬蟲(chóng)抓取過(guò)的X條鏈接地址； 第三鏈接地址抽取單元，用于從最新的鏈接地址存儲(chǔ)隊(duì)列中抽取最新產(chǎn)生的X條鏈接地址，所述最新的鏈接地址存儲(chǔ)隊(duì)列為上一次抽取鏈接地址后的鏈接地址存儲(chǔ)隊(duì)列； 第二鏈接地址替換單元，用于利用抽取的X條鏈接地址替換掉所述未被爬蟲(chóng)抓取過(guò)的X條鏈接地址。9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，還包括: 爬蟲(chóng)日志記錄單元，用于在所述檢測(cè)到爬蟲(chóng)訪問(wèn)所述目標(biāo)頁(yè)面后，記錄爬蟲(chóng)的訪問(wèn)記錄，該訪問(wèn)記錄用于更新所述爬蟲(chóng)日志記錄。10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述目標(biāo)頁(yè)面的個(gè)數(shù)為多個(gè)，所述鏈接地址展示單元包括: 第一鏈接地址展示子單元，用于將多個(gè)目標(biāo)頁(yè)面的集合確定為目標(biāo)集合； 第二鏈接地址展示子單元，用于從所述目標(biāo)集合中抽取一個(gè)被爬蟲(chóng)訪問(wèn)次數(shù)最多的目標(biāo)頁(yè)面，作為待定目標(biāo)頁(yè)面； 第三鏈接地址展示子單元，用于從抽取的目標(biāo)數(shù)量條的鏈接地址中抽取最新產(chǎn)生的Y條鏈接地址，Y為所述待定目標(biāo)頁(yè)面所能夠展示的鏈接地址的條目數(shù)； 第四鏈接地址展示子單元，用于將抽取的Y條鏈接地址展示在所述待定目標(biāo)頁(yè)面上； 第五鏈接地址展示子單元，用于將目標(biāo)頁(yè)面抽取后的目標(biāo)集合確定為新的目標(biāo)集合，返回執(zhí)行所述第二鏈接地址展示子單元，直至目標(biāo)集合內(nèi)不存在目標(biāo)頁(yè)面為止。
【專利摘要】本申請(qǐng)公開(kāi)了一種網(wǎng)站內(nèi)鏈的部署方法及裝置，方法包括：首先根據(jù)爬蟲(chóng)日志記錄，確定出網(wǎng)站內(nèi)被爬蟲(chóng)訪問(wèn)的次數(shù)超過(guò)閾值的目標(biāo)頁(yè)面，目標(biāo)頁(yè)面屬于爬蟲(chóng)比較青睞訪問(wèn)的頁(yè)面，然后從預(yù)置的鏈接地址存儲(chǔ)隊(duì)列中抽取最新產(chǎn)生的目標(biāo)數(shù)量條的鏈接地址，其中鏈接地址存儲(chǔ)隊(duì)列中按照新頁(yè)面的鏈接地址產(chǎn)生時(shí)間的先后順序，存儲(chǔ)有多條鏈接地址，而目標(biāo)數(shù)量為目標(biāo)頁(yè)面所能夠展示的鏈接地址的條目數(shù)，最后將抽取出的目標(biāo)數(shù)量條的鏈接地址展示在目標(biāo)頁(yè)面上。本申請(qǐng)通過(guò)確定出爬蟲(chóng)青睞訪問(wèn)的目標(biāo)頁(yè)面，進(jìn)而將最新產(chǎn)生的鏈接地址展示在目標(biāo)頁(yè)面上，使得最新產(chǎn)生的鏈接地址更加容易被爬蟲(chóng)所抓取，提高了新頁(yè)面的鏈接地址的曝光率。
【IPC分類】G06F17/30
【公開(kāi)號(hào)】CN105183919
【申請(qǐng)?zhí)枴緾N201510669926
【發(fā)明人】郭明陽(yáng), 王路, 陳拓, 陳敏銳, 駱超鋒, 文帥營(yíng), 彭東江, 楊碧天
【申請(qǐng)人】鄭州悉知信息科技股份有限公司
【公開(kāi)日】2015年12月23日
【申請(qǐng)日】2015年10月13日