一種多平臺(tái)數(shù)據(jù)的抓取方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及軟件技術(shù)領(lǐng)域，具體涉及一種多平臺(tái)數(shù)據(jù)的抓取方法，以及一種多平臺(tái)數(shù)據(jù)的抓取裝置。
【背景技術(shù)】
[0002]隨著科技的發(fā)展，智能手機(jī)上安裝的游戲的種類越來越多，手機(jī)游戲的功能越來越強(qiáng)大。
[0003]目前，為了滿足手游操作者對(duì)手機(jī)游戲信息的更新需求，手游公司的手游資訊社區(qū)平臺(tái)每天需要發(fā)布大量與游戲相關(guān)的資訊文章。資訊文章內(nèi)容包括手機(jī)游戲上架新聞、日韓歐美手游資訊、手機(jī)單機(jī)游戲新聞、手機(jī)網(wǎng)游資訊、手游活動(dòng)資訊、公測開服資訊等。
[0004]但是，由于配置運(yùn)營編輯人員的人數(shù)有限，分?jǐn)偟矫咳说挠螒蝽?xiàng)目較多，使得每位配置運(yùn)營編輯人員的日工作任務(wù)較為繁重。運(yùn)營編輯人員必須每日瀏覽大量外站資訊來整合游戲資訊，再將整合后的游戲資訊發(fā)布到本站的手游資訊的頁面專區(qū)中。一般情況下，每位配置運(yùn)營編輯人員每日只能發(fā)布少量的文章，由此可見，此種手游資訊的發(fā)布方式的工作效率較低。

【發(fā)明內(nèi)容】

[0005]鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的多平臺(tái)數(shù)據(jù)的抓取方法，以及一種多平臺(tái)數(shù)據(jù)的抓取裝置。
[0006]依據(jù)本發(fā)明的一個(gè)方面，提供了一種多平臺(tái)數(shù)據(jù)的抓取方法，包括:
[0007]接收針對(duì)各個(gè)平臺(tái)所需的目標(biāo)數(shù)據(jù)分別設(shè)置的數(shù)據(jù)抓取參數(shù)；
[0008]根據(jù)針對(duì)各個(gè)平臺(tái)設(shè)置的所述數(shù)據(jù)抓取參數(shù)執(zhí)行相應(yīng)的數(shù)據(jù)抓取規(guī)則，在互聯(lián)網(wǎng)上抓取所述平臺(tái)所需的目標(biāo)數(shù)據(jù)；
[0009]對(duì)抓取的所述目標(biāo)數(shù)據(jù)進(jìn)行展示；
[0010]接收對(duì)展示的所述目標(biāo)數(shù)據(jù)的篩選操作，并且將篩選后的所述目標(biāo)數(shù)據(jù)發(fā)布到所述平臺(tái)的頁面專區(qū)中。
[0011]可選地，所述接收針對(duì)各個(gè)平臺(tái)所需的目標(biāo)數(shù)據(jù)分別設(shè)置的數(shù)據(jù)抓取參數(shù)包括:
[0012]接收在配置頁面輸入的抓取站點(diǎn)信息以及選擇的數(shù)據(jù)匹配規(guī)則。
[0013]可選地，所述根據(jù)針對(duì)各個(gè)平臺(tái)設(shè)置的所述抓取參數(shù)執(zhí)行相應(yīng)的數(shù)據(jù)抓取規(guī)則包括:
[0014]根據(jù)所述接收在配置頁面輸入的抓取站點(diǎn)信息以及選擇的數(shù)據(jù)匹配規(guī)則生成相應(yīng)的數(shù)據(jù)抓取規(guī)則；
[0015]執(zhí)行生成的所述數(shù)據(jù)抓取規(guī)則，按照所述數(shù)據(jù)抓取規(guī)則指示的數(shù)據(jù)匹配規(guī)則，在所述抓取站點(diǎn)信息對(duì)應(yīng)的目標(biāo)站點(diǎn)抓取所述目標(biāo)數(shù)據(jù)。
[0016]可選地，所述數(shù)據(jù)匹配規(guī)則包括屬性匹配、路徑匹配、正則匹配或前后匹配。
[0017]可選地，在所述生成相應(yīng)的數(shù)據(jù)抓取規(guī)則之后，在所述執(zhí)行所述數(shù)據(jù)抓取規(guī)則之前，所述方法還包括:
[0018]將生成的所述數(shù)據(jù)抓取規(guī)則保存在內(nèi)置的數(shù)據(jù)庫中；
[0019]從所述數(shù)據(jù)庫中提取所述數(shù)據(jù)抓取規(guī)則。
[0020]可選地，所述方法還包括:
[0021]將所述目標(biāo)數(shù)據(jù)的抓取過程的抓取信息以日志的形式與所述目標(biāo)數(shù)據(jù)同時(shí)進(jìn)行展示。
[0022]可選地，在所述對(duì)抓取所述目標(biāo)數(shù)據(jù)進(jìn)行展示之后，所述方法還包括:
[0023]根據(jù)對(duì)展示的所述目標(biāo)數(shù)據(jù)的修改操作修改所述目標(biāo)數(shù)據(jù)。
[0024]可選地，所述接收對(duì)展示的所述目標(biāo)數(shù)據(jù)的篩選操作包括:
[0025]接收用戶在所述目標(biāo)數(shù)據(jù)的發(fā)布頁面中選擇的頻道內(nèi)容；
[0026]和/或，接收用戶在添加游戲標(biāo)簽框內(nèi)輸入的游戲標(biāo)簽；
[0027]和/或，接收用戶通過刪減選項(xiàng)確定發(fā)布的文章；
[0028]和/或，接收用戶設(shè)置所述目標(biāo)數(shù)據(jù)中圖片的參數(shù)。
[0029]可選地，在所述將篩選后的所述目標(biāo)數(shù)據(jù)發(fā)布到所述平臺(tái)的頁面專區(qū)中之后，所述方法還包括:
[0030]在所述目標(biāo)數(shù)據(jù)的展示頁面中隱藏已經(jīng)成功發(fā)布的所述目標(biāo)數(shù)據(jù)。
[0031]依據(jù)本發(fā)明的另一個(gè)方面，還提供了一種多平臺(tái)數(shù)據(jù)的抓取裝置，包括:
[0032]數(shù)據(jù)抓取參數(shù)接收模塊，用于接收針對(duì)各個(gè)平臺(tái)所需的目標(biāo)數(shù)據(jù)分別設(shè)置的數(shù)據(jù)抓取參數(shù)；
[0033]數(shù)據(jù)抓取規(guī)則執(zhí)行模塊，用于根據(jù)針對(duì)各個(gè)平臺(tái)設(shè)置的所述數(shù)據(jù)抓取參數(shù)執(zhí)行相應(yīng)的數(shù)據(jù)抓取規(guī)則，在互聯(lián)網(wǎng)上抓取所述平臺(tái)所需的目標(biāo)數(shù)據(jù)；
[0034]目標(biāo)數(shù)據(jù)展示模塊，用于對(duì)抓取的所述目標(biāo)數(shù)據(jù)進(jìn)行展示；
[0035]目標(biāo)數(shù)據(jù)篩選發(fā)布模塊，用于接收對(duì)展示的所述目標(biāo)數(shù)據(jù)的篩選操作，并且將篩選后的所述目標(biāo)數(shù)據(jù)發(fā)布到所述平臺(tái)的頁面專區(qū)中。
[0036]可選地，所述數(shù)據(jù)抓取參數(shù)接收模塊包括:
[0037]抓取站點(diǎn)信息輸入子模塊，用于接收在配置頁面輸入的抓取站點(diǎn)信息；
[0038]數(shù)據(jù)匹配規(guī)則選擇子模塊，用于接收在配置頁面選擇的數(shù)據(jù)匹配規(guī)則。
[0039]可選地，所述數(shù)據(jù)抓取規(guī)則執(zhí)行模塊包括:
[0040]數(shù)據(jù)抓取規(guī)則生成子模塊，用于根據(jù)所述接收在配置頁面輸入的抓取站點(diǎn)信息以及選擇的數(shù)據(jù)匹配規(guī)則生成相應(yīng)的數(shù)據(jù)抓取規(guī)則；
[0041]數(shù)據(jù)抓取規(guī)則執(zhí)行子模塊，用于執(zhí)行生成的所述數(shù)據(jù)抓取規(guī)則，按照所述數(shù)據(jù)抓取規(guī)則指示的數(shù)據(jù)匹配規(guī)則，在所述抓取站點(diǎn)信息對(duì)應(yīng)的目標(biāo)站點(diǎn)抓取所述目標(biāo)數(shù)據(jù)。
[0042]可選地，所述數(shù)據(jù)匹配規(guī)則包括屬性匹配、路徑匹配、正則匹配或前后匹配。
[0043]可選地，在所述數(shù)據(jù)抓取規(guī)則生成子模塊之后，在所述數(shù)據(jù)抓取規(guī)則執(zhí)行子模塊之前，所述數(shù)據(jù)抓取規(guī)則執(zhí)行模塊還包括:
[0044]數(shù)據(jù)抓取規(guī)則保存子模塊，用于將生成的所述數(shù)據(jù)抓取規(guī)則保存在內(nèi)置的數(shù)據(jù)庫中；
[0045]數(shù)據(jù)抓取規(guī)則提取子模塊，用于從所述數(shù)據(jù)庫中提取所述數(shù)據(jù)抓取規(guī)則。
[0046]可選地，所述裝置還包括:
[0047]日志展示模塊，用于將所述目標(biāo)數(shù)據(jù)的抓取過程的抓取信息以日志的形式與所述目標(biāo)數(shù)據(jù)同時(shí)進(jìn)行展示。
[0048]可選地，在所述目標(biāo)數(shù)據(jù)展示模塊之后，所述裝置還包括:
[0049]目標(biāo)數(shù)據(jù)修改模塊，用于根據(jù)對(duì)展示的所述目標(biāo)數(shù)據(jù)的修改操作修改所述目標(biāo)數(shù)據(jù)。
[0050]可選地，所述目標(biāo)數(shù)據(jù)篩選發(fā)布模塊具體用于:
[0051]接收用戶在所述目標(biāo)數(shù)據(jù)的展示頁面中選擇的頻道內(nèi)容；
[0052]和/或，接收用戶在添加游戲標(biāo)簽框內(nèi)輸入的游戲標(biāo)簽；
[0053]和/或，接收用戶通過刪減選項(xiàng)確定發(fā)布文章；
[0054]和/或，接收用戶設(shè)置所述目標(biāo)數(shù)據(jù)中圖片的參數(shù)。
[0055]可選地，所述裝置還包括:
[0056]目標(biāo)數(shù)據(jù)隱藏模塊，用于在所述目標(biāo)數(shù)據(jù)的展示頁面中隱藏已經(jīng)成功發(fā)布的所述目標(biāo)數(shù)據(jù)。依據(jù)本發(fā)明的實(shí)施例，接收針對(duì)各個(gè)平臺(tái)所需的目標(biāo)數(shù)據(jù)分別設(shè)置的數(shù)據(jù)抓取參數(shù)，根據(jù)針對(duì)各個(gè)平臺(tái)設(shè)置的所述數(shù)據(jù)抓取參數(shù)執(zhí)行相應(yīng)的數(shù)據(jù)抓取規(guī)則，在互聯(lián)網(wǎng)上抓取所述平臺(tái)所需的目標(biāo)數(shù)據(jù)，將抓取的所述目標(biāo)數(shù)據(jù)在后臺(tái)進(jìn)行展示，運(yùn)營人員在瀏覽展示的所述目標(biāo)數(shù)據(jù)時(shí)根據(jù)需要對(duì)其進(jìn)行篩選，并且將篩選后的所述目標(biāo)數(shù)據(jù)發(fā)布到所述平臺(tái)的頁面專區(qū)中，從而提供了一種多平臺(tái)數(shù)據(jù)的抓取方法。
[0057]通過上述機(jī)制，簡化了運(yùn)營人員獲取目標(biāo)數(shù)據(jù)的操作步驟，降低了運(yùn)營人員獲取目標(biāo)數(shù)據(jù)的工作量，同時(shí)大幅度提高了發(fā)布的文章資訊的數(shù)量和質(zhì)量，平均每位運(yùn)營人員每天可以發(fā)布優(yōu)質(zhì)文章的數(shù)量大大增加。
[0058]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的【具體實(shí)施方式】。
【附圖說明】
[0059]通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中:
[0060]圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的多平臺(tái)數(shù)據(jù)的抓取方法的流程圖；
[0061]圖2示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的多平臺(tái)數(shù)據(jù)的抓取方法的流程圖；
[0062]圖3示出了本發(fā)明一個(gè)示例的所述目標(biāo)數(shù)據(jù)的抓取規(guī)則的配置頁面的示意