輿情數(shù)據(jù)存儲(chǔ)方法和服務(wù)器的制造方法
【專利摘要】本發(fā)明提供一種輿情數(shù)據(jù)存儲(chǔ)方法和服務(wù)器，該方法包括：獲取待存儲(chǔ)輿情數(shù)據(jù)，確定并將待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的話題標(biāo)識(shí)、數(shù)據(jù)標(biāo)識(shí)、展示字段和排序字段關(guān)聯(lián)存儲(chǔ)在緩存中得到待處理緩存數(shù)據(jù)；確定不存在與待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)對(duì)應(yīng)的專題標(biāo)識(shí)時(shí)，將待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)、數(shù)據(jù)標(biāo)識(shí)和排序字段關(guān)聯(lián)存儲(chǔ)在近期數(shù)據(jù)庫(kù)中；將待存儲(chǔ)輿情數(shù)據(jù)存入歷史數(shù)據(jù)庫(kù)中；以第一話題存儲(chǔ)格式存儲(chǔ)待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)、數(shù)據(jù)標(biāo)識(shí)和創(chuàng)建時(shí)間到實(shí)時(shí)數(shù)據(jù)庫(kù)中；以第二話題存儲(chǔ)格式存儲(chǔ)待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)和展示字段到實(shí)時(shí)數(shù)據(jù)庫(kù)中。完成輿情數(shù)據(jù)不同信息在近期數(shù)據(jù)庫(kù)、歷史數(shù)據(jù)庫(kù)和實(shí)時(shí)數(shù)據(jù)庫(kù)的依次分級(jí)別存儲(chǔ)。
【專利說(shuō)明】
輿情數(shù)據(jù)存儲(chǔ)方法和服務(wù)器
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于信息技術(shù)領(lǐng)域，尤其是涉及一種輿情數(shù)據(jù)存儲(chǔ)方法和服務(wù)器。
【背景技術(shù)】
[0002]網(wǎng)絡(luò)輿情是通過(guò)互聯(lián)網(wǎng)傳播的公眾對(duì)某些焦點(diǎn)、熱點(diǎn)問(wèn)題所持有的傾向性觀點(diǎn)和言論，主要通過(guò)論壇、博客、新聞跟帖、轉(zhuǎn)帖等形式傳播。由于互聯(lián)網(wǎng)的虛擬性、隱蔽性、發(fā)散性和滲透性等特點(diǎn)，越來(lái)越多的人們?cè)敢馔ㄟ^(guò)互聯(lián)網(wǎng)這一平臺(tái)表達(dá)個(gè)人對(duì)輿情事件的看法。
[0003]輿情數(shù)據(jù)信息反映了公眾對(duì)各種熱點(diǎn)事件或者說(shuō)是輿情專題的觀點(diǎn)，通過(guò)對(duì)各不同輿情專題的識(shí)別以及對(duì)每個(gè)輿情專題在不同時(shí)間段的輿情話題的識(shí)別，可以幫助比如相關(guān)政府部門(mén)、應(yīng)用服務(wù)提供商等及時(shí)了解當(dāng)前公眾關(guān)注的熱點(diǎn)和觀點(diǎn)，以便通過(guò)對(duì)實(shí)時(shí)或一段時(shí)間的輿情數(shù)據(jù)的分析，根據(jù)分析結(jié)果進(jìn)行相應(yīng)的應(yīng)用。但是，對(duì)輿情數(shù)據(jù)的分析前提是進(jìn)行輿情數(shù)據(jù)的可靠、有效存儲(chǔ)。
[0004]隨著互聯(lián)網(wǎng)應(yīng)用的廣泛普及，輿情數(shù)據(jù)的海量性越來(lái)越突出，人們?cè)诠蚕砗Ａ枯浨閿?shù)據(jù)信息的同時(shí)，也面臨著海量輿情數(shù)據(jù)的存儲(chǔ)等問(wèn)題。以往人們?cè)诖鎯?chǔ)結(jié)構(gòu)化數(shù)據(jù)時(shí)，往往采用將數(shù)據(jù)直接存入數(shù)據(jù)庫(kù)中的方式，但是，在面對(duì)突發(fā)的海量的輿情數(shù)據(jù)時(shí)，直接進(jìn)行入數(shù)據(jù)庫(kù)存儲(chǔ)將導(dǎo)致數(shù)據(jù)存儲(chǔ)可靠性受到嚴(yán)重影響，因此，海量輿情數(shù)據(jù)的存儲(chǔ)成為了系統(tǒng)設(shè)計(jì)的瓶頸問(wèn)題。

【發(fā)明內(nèi)容】

[0005]針對(duì)上述存在的問(wèn)題，本發(fā)明提供一種輿情數(shù)據(jù)存儲(chǔ)方法和服務(wù)器，以實(shí)現(xiàn)輿情數(shù)據(jù)的可靠性存儲(chǔ)。
[0006]本發(fā)明提供了一種輿情數(shù)據(jù)存儲(chǔ)方法，包括:
[0007]獲取待存儲(chǔ)輿情數(shù)據(jù)，為所述待存儲(chǔ)輿情數(shù)據(jù)分配數(shù)據(jù)標(biāo)識(shí)，并根據(jù)預(yù)設(shè)的各話題表達(dá)式確定所述待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的話題標(biāo)識(shí)；
[0008]解析獲得所述待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的展示字段和排序字段，將所述數(shù)據(jù)標(biāo)識(shí)、所述話題標(biāo)識(shí)、所述展示字段和所述排序字段關(guān)聯(lián)存儲(chǔ)在服務(wù)器的緩存中，得到待處理緩存數(shù)據(jù)；其中，所述展示字段包括所述待存儲(chǔ)輿情數(shù)據(jù)的創(chuàng)建時(shí)間、創(chuàng)建者和數(shù)據(jù)內(nèi)容，所述排序字段包括所述待存儲(chǔ)輿情數(shù)據(jù)的轉(zhuǎn)發(fā)次數(shù)和/或評(píng)論次數(shù)；
[0009]從所述緩存中獲取所述待處理緩存數(shù)據(jù)，根據(jù)預(yù)設(shè)的專題話題對(duì)應(yīng)關(guān)系，確定是否存在與所述待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)對(duì)應(yīng)的專題標(biāo)識(shí)；
[0010]若不存在所述專題標(biāo)識(shí)，則將所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述排序字段關(guān)聯(lián)存儲(chǔ)在所述服務(wù)器的近期數(shù)據(jù)庫(kù)中，所述近期數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第一生命時(shí)長(zhǎng)；
[0011]將擴(kuò)展后的待處理緩存數(shù)據(jù)存入所述服務(wù)器的歷史數(shù)據(jù)庫(kù)中，所述歷史數(shù)據(jù)庫(kù)用于存儲(chǔ)所述擴(kuò)展后的待處理緩存數(shù)據(jù)到第二生命時(shí)長(zhǎng)，所述第二生命時(shí)長(zhǎng)的長(zhǎng)度大于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度，所述擴(kuò)展后的待處理緩存數(shù)據(jù)中包括所述待處理緩存數(shù)據(jù)和所述待存儲(chǔ)輿情數(shù)據(jù)中除所述展示字段和所述排序字段之外的其他字段；
[0012]以預(yù)設(shè)第一話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述創(chuàng)建時(shí)間到所述服務(wù)器的實(shí)時(shí)數(shù)據(jù)庫(kù)中；以預(yù)設(shè)第二話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)和所述展示字段到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中，所述實(shí)時(shí)數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第三生命時(shí)長(zhǎng)，所述第三生命時(shí)長(zhǎng)的長(zhǎng)度小于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度。
[0013]本發(fā)明提供了一種服務(wù)器，包括:
[0014]獲取模塊，用于獲取待存儲(chǔ)輿情數(shù)據(jù)，為所述待存儲(chǔ)輿情數(shù)據(jù)分配數(shù)據(jù)標(biāo)識(shí)，并根據(jù)預(yù)設(shè)的各話題表達(dá)式確定所述待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的話題標(biāo)識(shí)；
[0015]緩存處理模塊，用于解析獲得所述待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的展示字段和排序字段，將所述數(shù)據(jù)標(biāo)識(shí)、所述話題標(biāo)識(shí)、所述展示字段和所述排序字段關(guān)聯(lián)存儲(chǔ)在服務(wù)器的緩存中，得到待處理緩存數(shù)據(jù)；其中，所述展示字段包括所述待存儲(chǔ)輿情數(shù)據(jù)的創(chuàng)建時(shí)間、創(chuàng)建者和數(shù)據(jù)內(nèi)容，所述排序字段包括所述待存儲(chǔ)輿情數(shù)據(jù)的轉(zhuǎn)發(fā)次數(shù)和/或評(píng)論次數(shù)；
[0016]確定模塊，用于從所述緩存中獲取所述待處理緩存數(shù)據(jù)，根據(jù)預(yù)設(shè)的專題話題對(duì)應(yīng)關(guān)系，確定是否存在與所述待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)對(duì)應(yīng)的專題標(biāo)識(shí)；
[0017]近期存儲(chǔ)處理模塊，用于若所述確定模塊確定不存在所述專題標(biāo)識(shí)，則將所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述排序字段關(guān)聯(lián)存儲(chǔ)在所述服務(wù)器的近期數(shù)據(jù)庫(kù)中，所述近期數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第一生命時(shí)長(zhǎng)；
[0018]歷史存儲(chǔ)處理模塊，用于將擴(kuò)展后的待處理緩存數(shù)據(jù)存入所述服務(wù)器的歷史數(shù)據(jù)庫(kù)中，所述歷史數(shù)據(jù)庫(kù)用于存儲(chǔ)所述擴(kuò)展后的待處理緩存數(shù)據(jù)到第二生命時(shí)長(zhǎng)，所述第二生命時(shí)長(zhǎng)的長(zhǎng)度大于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度，所述擴(kuò)展后的待處理緩存數(shù)據(jù)中包括所述待處理緩存數(shù)據(jù)和所述待存儲(chǔ)輿情數(shù)據(jù)中除所述展示字段和所述排序字段之外的其他字段;
[0019]實(shí)時(shí)存儲(chǔ)處理模塊，用于以預(yù)設(shè)第一話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述創(chuàng)建時(shí)間到所述服務(wù)器的實(shí)時(shí)數(shù)據(jù)庫(kù)中；以預(yù)設(shè)第二話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)和所述展示字段到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中，所述實(shí)時(shí)數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第三生命時(shí)長(zhǎng)，所述第三生命時(shí)長(zhǎng)的長(zhǎng)度小于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度。
[0020]本發(fā)明提供的輿情數(shù)據(jù)存儲(chǔ)方法和服務(wù)器，對(duì)輿情數(shù)據(jù)進(jìn)行解析，獲得用于進(jìn)行向用戶展示時(shí)需要的展示字段，以及用于對(duì)輿情數(shù)據(jù)進(jìn)行分析所需的排序字段，從而在對(duì)待存輿情數(shù)據(jù)進(jìn)行話題識(shí)別后，首先僅將該輿情數(shù)據(jù)的話題標(biāo)識(shí)、數(shù)據(jù)標(biāo)識(shí)、展示字段和排序字段這些信息存儲(chǔ)在服務(wù)器的緩存中，進(jìn)而再將緩存中存儲(chǔ)的輿情數(shù)據(jù)的話題標(biāo)識(shí)、數(shù)據(jù)標(biāo)識(shí)和排序字段存入近期數(shù)據(jù)庫(kù)中，之后將該輿情數(shù)據(jù)的所有信息存入歷史數(shù)據(jù)庫(kù)中，再將該輿情數(shù)據(jù)的展示字段和排序字段分別都存入實(shí)時(shí)數(shù)據(jù)庫(kù)中，完成輿情數(shù)據(jù)不同信息在近期數(shù)據(jù)庫(kù)、歷史數(shù)據(jù)庫(kù)和實(shí)時(shí)數(shù)據(jù)庫(kù)的依次存儲(chǔ)。由于各個(gè)數(shù)據(jù)庫(kù)具有不同的存儲(chǔ)時(shí)長(zhǎng)限制，實(shí)現(xiàn)對(duì)輿情數(shù)據(jù)的分級(jí)別存儲(chǔ)，而且，先將獲得的海量輿情數(shù)據(jù)進(jìn)行緩存存儲(chǔ)，進(jìn)而進(jìn)行到近期數(shù)據(jù)庫(kù)、歷史數(shù)據(jù)庫(kù)和實(shí)時(shí)數(shù)據(jù)庫(kù)的存儲(chǔ)，保證了數(shù)據(jù)存儲(chǔ)可靠性的同時(shí)，根據(jù)不同需求對(duì)輿情數(shù)據(jù)進(jìn)行實(shí)時(shí)、近期和歷史的分別存儲(chǔ)，便于根據(jù)不同需求快速訪問(wèn)獲得存儲(chǔ)在不同數(shù)據(jù)庫(kù)中的輿情數(shù)據(jù)以進(jìn)行分析和應(yīng)用。
【附圖說(shuō)明】
[0021]圖1為本發(fā)明輿情數(shù)據(jù)存儲(chǔ)方法實(shí)施例的流程圖；
[0022]圖2為本發(fā)明服務(wù)器實(shí)施例的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0023]圖1為本發(fā)明輿情數(shù)據(jù)存儲(chǔ)方法實(shí)施例的流程圖，該方法可以由一個(gè)用于進(jìn)行輿情數(shù)據(jù)存儲(chǔ)以及分析管理的服務(wù)器來(lái)執(zhí)行，如圖1所示，該方法具體包括:
[0024]步驟101、獲取待存儲(chǔ)輿情數(shù)據(jù)，為所述待存儲(chǔ)輿情數(shù)據(jù)分配數(shù)據(jù)標(biāo)識(shí)，并根據(jù)預(yù)設(shè)的各話題表達(dá)式確定所述待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的話題標(biāo)識(shí)。
[0025]本實(shí)施例中，待存儲(chǔ)輿情數(shù)據(jù)為公眾通過(guò)自己的用戶終端設(shè)備在互聯(lián)網(wǎng)絡(luò)上進(jìn)行各種輿情評(píng)論、轉(zhuǎn)發(fā)等操作而產(chǎn)生的數(shù)據(jù)，服務(wù)器可以通過(guò)現(xiàn)有的抓取工具等方式來(lái)獲得輿情數(shù)據(jù)。為了方便輿情數(shù)據(jù)的存儲(chǔ)處理，服務(wù)器為每條輿情數(shù)據(jù)分配一個(gè)唯一的數(shù)據(jù)標(biāo)識(shí)，該數(shù)據(jù)標(biāo)識(shí)比如可以是通過(guò)對(duì)輿情數(shù)據(jù)進(jìn)行分詞處理后，對(duì)得到的各個(gè)分詞進(jìn)行預(yù)設(shè)算法的哈希運(yùn)算得到的，不以此為限。
[0026]本實(shí)施例中，在服務(wù)器中預(yù)先存儲(chǔ)有經(jīng)驗(yàn)或統(tǒng)計(jì)獲得的多個(gè)話題表達(dá)式，并且每個(gè)話題表達(dá)式唯一對(duì)應(yīng)一個(gè)話題標(biāo)識(shí)。從而，服務(wù)器可以通過(guò)對(duì)待存儲(chǔ)輿情數(shù)據(jù)進(jìn)行分詞處理，得到各個(gè)分詞，通過(guò)對(duì)存儲(chǔ)的每個(gè)話題表達(dá)式中所包含的詞進(jìn)行匹配，能夠得到該待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的話題表達(dá)式，即獲得與該待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的話題標(biāo)識(shí)。其中，所述匹配比如是完全匹配即包含某個(gè)話題表達(dá)式中全部的詞，也可以是一定程度的匹配，即比如重合的詞占有某話題表達(dá)式中全部的詞的比例。
[0027]步驟102、解析獲得所述待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的展示字段和排序字段，將所述數(shù)據(jù)標(biāo)識(shí)、所述話題標(biāo)識(shí)、所述展示字段和所述排序字段關(guān)聯(lián)存儲(chǔ)在服務(wù)器的緩存中，得到待處理緩存數(shù)據(jù)；其中，所述展示字段包括所述待存儲(chǔ)輿情數(shù)據(jù)的創(chuàng)建時(shí)間、創(chuàng)建者和數(shù)據(jù)內(nèi)容，所述排序字段包括所述待存儲(chǔ)輿情數(shù)據(jù)的轉(zhuǎn)發(fā)次數(shù)和/或評(píng)論次數(shù)。
[0028]步驟103、從所述緩存中獲取所述待處理緩存數(shù)據(jù)，根據(jù)預(yù)設(shè)的專題話題對(duì)應(yīng)關(guān)系，確定是否存在與所述待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)對(duì)應(yīng)的專題標(biāo)識(shí)，若存在所述專題標(biāo)識(shí)，則執(zhí)行步驟104-107 ;若不存在所述專題標(biāo)識(shí)，則執(zhí)行步驟105-107。
[0029]本實(shí)施例中，一條輿情數(shù)據(jù)中可能包含有很多信息，比如除了數(shù)據(jù)內(nèi)容之外，還包含有該條輿情數(shù)據(jù)的創(chuàng)建者、創(chuàng)建時(shí)間、評(píng)論次數(shù)、轉(zhuǎn)發(fā)次數(shù)、發(fā)布方式等等多種信息。而這些輿情數(shù)據(jù)的存儲(chǔ)意義一般是，通過(guò)對(duì)實(shí)時(shí)的或一段時(shí)間的輿情數(shù)據(jù)的統(tǒng)計(jì)、分析，以得到當(dāng)前公眾所關(guān)注的熱點(diǎn)事件或觀點(diǎn)趨勢(shì)，以便政府等機(jī)構(gòu)進(jìn)行合理的引導(dǎo)，避免造成嚴(yán)重社會(huì)影響，或者供互聯(lián)網(wǎng)內(nèi)容提供商等用戶進(jìn)行搜索引擎或消息推薦之用。因此，針對(duì)上述舉例的不同應(yīng)用場(chǎng)合，本實(shí)施例中，為了在完成海量輿情數(shù)據(jù)及時(shí)、高效、可靠存儲(chǔ)的同時(shí)，也為了存儲(chǔ)的輿情數(shù)據(jù)能夠方便后續(xù)不同的分析需求，服務(wù)器在獲得輿情數(shù)據(jù)之后，通過(guò)對(duì)輿情數(shù)據(jù)進(jìn)行解析，從中獲得展示字段和排序字段。其中，展示字段主要包括比如待存儲(chǔ)輿情數(shù)據(jù)的創(chuàng)建時(shí)間、創(chuàng)建者和數(shù)據(jù)內(nèi)容，排序字段包括待存儲(chǔ)輿情數(shù)據(jù)的轉(zhuǎn)發(fā)次數(shù)和/或評(píng)論次數(shù)。展示字段主要用于向用戶展示實(shí)時(shí)或一段時(shí)間內(nèi)的某一話題或某一專題的各公眾的觀點(diǎn)即輿情數(shù)據(jù)內(nèi)容，排序字段主要用于熱點(diǎn)分析。
[0030]在解析獲得待存儲(chǔ)輿情數(shù)據(jù)的展示字段和排序字段后，將該待存儲(chǔ)輿情數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)、話題標(biāo)識(shí)、展示字段和排序字段關(guān)聯(lián)存儲(chǔ)在服務(wù)器的緩存中，得到待處理緩存數(shù)據(jù)。由于在同一時(shí)間段內(nèi)可能需要分析存儲(chǔ)非常大量的輿情數(shù)據(jù)，并且在獲取到待存儲(chǔ)輿情數(shù)據(jù)到將該待存儲(chǔ)輿情數(shù)據(jù)存儲(chǔ)完畢，處理過(guò)程較長(zhǎng)，為了減輕后續(xù)存儲(chǔ)處理過(guò)程的處理壓力，將輿情數(shù)據(jù)在后續(xù)存儲(chǔ)處理前先存儲(chǔ)在服務(wù)器的緩存中。這樣還有一個(gè)好處就是當(dāng)輿情數(shù)據(jù)后期存儲(chǔ)處理成功后才將輿情數(shù)據(jù)從服務(wù)器緩存中刪除，當(dāng)輿情數(shù)據(jù)后期處理失敗后，無(wú)需做任何操作，只需讀取緩存中現(xiàn)存的輿情數(shù)據(jù)進(jìn)行處理即可，這樣既可大大簡(jiǎn)化處理流程，又保證了數(shù)據(jù)的完整性。
[0031]之后，對(duì)緩存中存在的待處理緩存數(shù)據(jù)，即關(guān)聯(lián)存儲(chǔ)在服務(wù)器的緩存中的待存儲(chǔ)輿情數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)、話題標(biāo)識(shí)、展示字段和排序字段，進(jìn)行后續(xù)存儲(chǔ)處理。
[0032]所述后續(xù)存儲(chǔ)處理中，首先需要進(jìn)行待處理緩存數(shù)據(jù)的專題入庫(kù)處理。具體來(lái)說(shuō)，根據(jù)服務(wù)器中存儲(chǔ)的預(yù)設(shè)的專題話題對(duì)應(yīng)關(guān)系，確定是否存在與所述待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)對(duì)應(yīng)的專題標(biāo)識(shí)。實(shí)際上，專題、話題和輿情數(shù)據(jù)之間存在著不確定的關(guān)系，即一個(gè)話題可能包含有多個(gè)輿情數(shù)據(jù)，一個(gè)專題可能對(duì)應(yīng)著多個(gè)不同話題，本實(shí)施例中，可以根據(jù)預(yù)先統(tǒng)計(jì)獲得的專題和話題的對(duì)應(yīng)關(guān)系來(lái)確定當(dāng)前待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)對(duì)應(yīng)的專題標(biāo)識(shí)是否存在。
[0033]步驟104、以預(yù)設(shè)第三專題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述專題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述創(chuàng)建時(shí)間到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中；以預(yù)設(shè)第四專題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述專題標(biāo)識(shí)和所述展示字段到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中。
[0034]若存在與待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)對(duì)應(yīng)的專題標(biāo)識(shí)，則進(jìn)行待處理緩存數(shù)據(jù)的專題入實(shí)時(shí)數(shù)據(jù)庫(kù)的處理。值得說(shuō)明的是，本實(shí)施例中，在服務(wù)器中設(shè)置了三種數(shù)據(jù)庫(kù):實(shí)時(shí)數(shù)據(jù)庫(kù)、近期數(shù)據(jù)庫(kù)和歷史數(shù)據(jù)庫(kù)，其中，所述實(shí)時(shí)數(shù)據(jù)庫(kù)位于所述服務(wù)器的內(nèi)存中；所述近期數(shù)據(jù)庫(kù)為關(guān)系型數(shù)據(jù)庫(kù)；所述歷史數(shù)據(jù)庫(kù)為非關(guān)系型NoSQL數(shù)據(jù)庫(kù)。其中，實(shí)時(shí)數(shù)據(jù)庫(kù)用于存儲(chǔ)待處理緩存數(shù)據(jù)一定的生命時(shí)長(zhǎng)，比如從某待處理緩存數(shù)據(jù)存入實(shí)時(shí)數(shù)據(jù)庫(kù)中的時(shí)間起算，存儲(chǔ)一周的時(shí)間，一周時(shí)間到達(dá)時(shí)自動(dòng)刪除該條數(shù)據(jù)。
[0035]具體地，在將待處理緩存數(shù)據(jù)進(jìn)行專題入實(shí)時(shí)數(shù)據(jù)庫(kù)存儲(chǔ)的過(guò)程中，本實(shí)施例中提供了兩種存儲(chǔ)格式分別進(jìn)行存儲(chǔ)，分別為第三專題存儲(chǔ)格式和第四專題存儲(chǔ)格式。其中，以第三專題存儲(chǔ)格式存儲(chǔ)該待處理緩存數(shù)據(jù)的專題標(biāo)識(shí)、數(shù)據(jù)標(biāo)識(shí)和創(chuàng)建時(shí)間到實(shí)時(shí)數(shù)據(jù)庫(kù)中，具體格式直觀表示為:(專題標(biāo)識(shí)-數(shù)據(jù)標(biāo)識(shí)，創(chuàng)建時(shí)間);以第四專題存儲(chǔ)格式存儲(chǔ)該待處理緩存數(shù)據(jù)的專題標(biāo)識(shí)和展示字段到實(shí)時(shí)數(shù)據(jù)庫(kù)中，具體格式直觀表示為:(專題標(biāo)識(shí)，list (展示字段))。其中，list是列表的含義，其含義是指將同屬于一個(gè)專題標(biāo)識(shí)的若干待處理緩存數(shù)據(jù)的展示字段依次分別寫(xiě)入該list列表中。其中，這兩種存儲(chǔ)格式分別用于不同的用途，第三種專題存儲(chǔ)格式用于判重和淘汰，即為了避免同一個(gè)待處理緩存數(shù)據(jù)重復(fù)處理，將重復(fù)處理的待處理緩存數(shù)據(jù)從緩存中刪除；第四種專題存儲(chǔ)格式用于展示實(shí)時(shí)專題情況，此時(shí)的實(shí)時(shí)是指具有一定時(shí)間段含義的實(shí)時(shí)。另外，數(shù)據(jù)專題信息只存儲(chǔ)在實(shí)時(shí)數(shù)據(jù)庫(kù)中，這部分信息是為了快速檢索出某專題相關(guān)數(shù)據(jù)展示給用戶。
[0036]在待處理緩存數(shù)據(jù)專題入實(shí)時(shí)數(shù)據(jù)庫(kù)成功后，或者在確定不存在與其話題標(biāo)識(shí)對(duì)應(yīng)的專題標(biāo)識(shí)后，執(zhí)行下面的后續(xù)步驟，即進(jìn)行待處理緩存數(shù)據(jù)的話題入庫(kù)處理。
[0037]步驟105、將所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述排序字段關(guān)聯(lián)存儲(chǔ)在所述服務(wù)器的近期數(shù)據(jù)庫(kù)中，所述近期數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第一生命時(shí)長(zhǎng)。
[0038]本實(shí)施例中，采用先近期數(shù)據(jù)庫(kù)，再歷史數(shù)據(jù)庫(kù)，再實(shí)時(shí)數(shù)據(jù)庫(kù)的存儲(chǔ)順序依次存儲(chǔ)待處理緩存數(shù)據(jù)的話題信息。
[0039]首先，將當(dāng)前待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)、數(shù)據(jù)標(biāo)識(shí)和排序字段關(guān)聯(lián)存儲(chǔ)在服務(wù)器的近期數(shù)據(jù)庫(kù)中，其中，具體的存儲(chǔ)格式可直觀表示為:(話題標(biāo)識(shí)-數(shù)據(jù)標(biāo)識(shí)，排序字段)。該近期數(shù)據(jù)庫(kù)用于存儲(chǔ)待處理緩存數(shù)據(jù)到第一生命時(shí)長(zhǎng)，比如I個(gè)月。其中，該近期數(shù)據(jù)庫(kù)中存儲(chǔ)的話題信息主要用于分析之用。近期數(shù)據(jù)庫(kù)中只存儲(chǔ)待處理緩存數(shù)據(jù)的一部分分析字段即排序字段，不存儲(chǔ)數(shù)據(jù)的詳情。
[0040]步驟106、將擴(kuò)展后的待處理緩存數(shù)據(jù)存入所述服務(wù)器的歷史數(shù)據(jù)庫(kù)中，所述歷史數(shù)據(jù)庫(kù)用于存儲(chǔ)所述擴(kuò)展后的待處理緩存數(shù)據(jù)到第二生命時(shí)長(zhǎng)，所述第二生命時(shí)長(zhǎng)的長(zhǎng)度大于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度，所述擴(kuò)展后的待處理緩存數(shù)據(jù)中包括所述待處理緩存數(shù)據(jù)和所述待存儲(chǔ)輿情數(shù)據(jù)中除所述展示字段和所述排序字段之外的其他字段。
[0041]其次，將待存儲(chǔ)輿情數(shù)據(jù)的上述排序字段、展示字段，以及除展示字段和排序字段之外的其他全部或部分字段，存入服務(wù)器的歷史數(shù)據(jù)庫(kù)中。其中，歷史數(shù)據(jù)庫(kù)用于存儲(chǔ)上述輿情數(shù)據(jù)到第二生命時(shí)長(zhǎng)，所述第二生命時(shí)長(zhǎng)的長(zhǎng)度大于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度，比如是整個(gè)生命周期。
[0042]上述近期數(shù)據(jù)庫(kù)和歷史數(shù)據(jù)庫(kù)中的數(shù)據(jù)只用于分析，分析問(wèn)題的角度是以話題為中心的，對(duì)于某個(gè)話題屬于哪個(gè)專題在分析中是沒(méi)有用處的，當(dāng)向用戶展示分析成果時(shí)，對(duì)于專題的所屬話題可直接從專題話題對(duì)應(yīng)關(guān)系中獲得。
[0043]步驟107、以預(yù)設(shè)第一話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述創(chuàng)建時(shí)間到所述服務(wù)器的實(shí)時(shí)數(shù)據(jù)庫(kù)中；以預(yù)設(shè)第二話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)和所述展示字段到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中，所述實(shí)時(shí)數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第三生命時(shí)長(zhǎng)，所述第三生命時(shí)長(zhǎng)的長(zhǎng)度小于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度。
[0044]最后，進(jìn)行話題數(shù)據(jù)信息入實(shí)時(shí)數(shù)據(jù)庫(kù)的處理。具體來(lái)說(shuō)，提供了兩種存儲(chǔ)格式進(jìn)行話題處理:第一話題存儲(chǔ)格式和第二話題存儲(chǔ)格式。其中，以第一話題存儲(chǔ)格式存儲(chǔ)待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)、數(shù)據(jù)標(biāo)識(shí)和創(chuàng)建時(shí)間到服務(wù)器的實(shí)時(shí)數(shù)據(jù)庫(kù)中，具體格式直觀表示為:(話題標(biāo)識(shí)-數(shù)據(jù)標(biāo)識(shí)，創(chuàng)建時(shí)間);以第二話題存儲(chǔ)格式存儲(chǔ)待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)和展示字段到實(shí)時(shí)數(shù)據(jù)庫(kù)中，具體格式直觀表示為:(話題標(biāo)識(shí)，list (展示字段))。其中，list是列表的含義，其含義是指將同屬于一個(gè)話題標(biāo)識(shí)的若干待處理緩存數(shù)據(jù)的展示字段依次分別寫(xiě)入該list列表中。所述實(shí)時(shí)數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第三生命時(shí)長(zhǎng)，所述第三生命時(shí)長(zhǎng)的長(zhǎng)度小于上述第一生命時(shí)長(zhǎng)的長(zhǎng)度，比如為一周。
[0045]其中，這兩種話題存儲(chǔ)格式分別用于不同的用途，第以種專題存儲(chǔ)格式用于判重和淘汰，即為了避免同一個(gè)待處理緩存數(shù)據(jù)的話題信息重復(fù)處理，將重復(fù)處理的待處理緩存數(shù)據(jù)從緩存中刪除；第二種專題存儲(chǔ)格式用于展示實(shí)時(shí)話題情況，此時(shí)的實(shí)時(shí)是指具有一定時(shí)間段含義的實(shí)時(shí)。
[0046]本實(shí)施例中，對(duì)輿情數(shù)據(jù)進(jìn)行解析，獲得用于進(jìn)行向用戶展示時(shí)需要的展示字段，以及用于對(duì)輿情數(shù)據(jù)進(jìn)行分析所需的排序字段，從而在對(duì)待存輿情數(shù)據(jù)進(jìn)行話題識(shí)別后，首先僅將該輿情數(shù)據(jù)的話題標(biāo)識(shí)、數(shù)據(jù)標(biāo)識(shí)、展示字段和排序字段這些信息存儲(chǔ)在服務(wù)器的緩存中，進(jìn)而再將緩存中存儲(chǔ)的輿情數(shù)據(jù)的話題標(biāo)識(shí)、數(shù)據(jù)標(biāo)識(shí)和排序字段存入近期數(shù)據(jù)庫(kù)中，之后將該輿情數(shù)據(jù)的所有信息存入歷史數(shù)據(jù)庫(kù)中，再將該輿情數(shù)據(jù)的展示字段和排序字段分別都存入實(shí)時(shí)數(shù)據(jù)庫(kù)中，完成輿情數(shù)據(jù)不同信息在近期數(shù)據(jù)庫(kù)、歷史數(shù)據(jù)庫(kù)和實(shí)時(shí)數(shù)據(jù)庫(kù)的依次存儲(chǔ)。由于各個(gè)數(shù)據(jù)庫(kù)具有不同的存儲(chǔ)時(shí)長(zhǎng)限制，實(shí)現(xiàn)對(duì)輿情數(shù)據(jù)的分級(jí)別存儲(chǔ)，而且，先將獲得的海量輿情數(shù)據(jù)進(jìn)行緩存存儲(chǔ)，進(jìn)而進(jìn)行到近期數(shù)據(jù)庫(kù)、歷史數(shù)據(jù)庫(kù)和實(shí)時(shí)數(shù)據(jù)庫(kù)的存儲(chǔ)，保證了數(shù)據(jù)存儲(chǔ)可靠性的同時(shí)，根據(jù)不同需求對(duì)輿情數(shù)據(jù)進(jìn)行實(shí)時(shí)、近期和歷史的分別存儲(chǔ)，便于根據(jù)不同需求快速訪問(wèn)獲得存儲(chǔ)在不同數(shù)據(jù)庫(kù)中的輿情數(shù)據(jù)以進(jìn)行分析和應(yīng)用。
[0047]可選的，在上述步驟103中從所述緩存中獲取所述待處理緩存數(shù)據(jù)之后，還包括如下處理步驟:
[0048]確定所述實(shí)時(shí)數(shù)據(jù)庫(kù)中是否存在與所述待處理緩存數(shù)據(jù)的所述數(shù)據(jù)標(biāo)識(shí)和所述話題標(biāo)識(shí)對(duì)應(yīng)的表項(xiàng)；若存在，則刪除所述待處理緩存數(shù)據(jù)。即上述第一話題存儲(chǔ)格式存儲(chǔ)的話題信息的用途體現(xiàn)。如果實(shí)時(shí)數(shù)據(jù)庫(kù)中已經(jīng)存在了某話題標(biāo)識(shí)和某數(shù)據(jù)標(biāo)識(shí)，說(shuō)明該條數(shù)據(jù)已經(jīng)被處理過(guò)，無(wú)需重復(fù)處理。
[0049]另外，在步驟107將話題入實(shí)時(shí)數(shù)據(jù)庫(kù)處理完畢后，將緩存中的對(duì)應(yīng)的待處理緩存數(shù)據(jù)刪除，并進(jìn)行下一條緩存數(shù)據(jù)的處理過(guò)程。
[0050]圖2為本發(fā)明服務(wù)器實(shí)施例的結(jié)構(gòu)示意圖，如圖2所示，該服務(wù)器包括:
[0051]獲取模塊11，用于獲取待存儲(chǔ)輿情數(shù)據(jù)，為所述待存儲(chǔ)輿情數(shù)據(jù)分配數(shù)據(jù)標(biāo)識(shí)，并根據(jù)預(yù)設(shè)的各話題表達(dá)式確定所述待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的話題標(biāo)識(shí)；
[0052]緩存處理模塊12，用于解析獲得所述待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的展示字段和排序字段，將所述數(shù)據(jù)標(biāo)識(shí)、所述話題標(biāo)識(shí)、所述展示字段和所述排序字段關(guān)聯(lián)存儲(chǔ)在服務(wù)器的緩存中，得到待處理緩存數(shù)據(jù)；其中，所述展示字段包括所述待存儲(chǔ)輿情數(shù)據(jù)的創(chuàng)建時(shí)間、創(chuàng)建者和數(shù)據(jù)內(nèi)容，所述排序字段包括所述待存儲(chǔ)輿情數(shù)據(jù)的轉(zhuǎn)發(fā)次數(shù)和/或評(píng)論次數(shù)；
[0053]確定模塊13，用于從所述緩存中獲取所述待處理緩存數(shù)據(jù)，根據(jù)預(yù)設(shè)的專題話題對(duì)應(yīng)關(guān)系，確定是否存在與所述待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)對(duì)應(yīng)的專題標(biāo)識(shí)；
[0054]近期存儲(chǔ)處理模塊14，用于若所述確定模塊13確定不存在所述專題標(biāo)識(shí)，則將所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述排序字段關(guān)聯(lián)存儲(chǔ)在所述服務(wù)器的近期數(shù)據(jù)庫(kù)中，所述近期數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第一生命時(shí)長(zhǎng)；
[0055]歷史存儲(chǔ)處理模塊15，用于將擴(kuò)展后的待處理緩存數(shù)據(jù)存入所述服務(wù)器的歷史數(shù)據(jù)庫(kù)中，所述歷史數(shù)據(jù)庫(kù)用于存儲(chǔ)所述擴(kuò)展后的待處理緩存數(shù)據(jù)到第二生命時(shí)長(zhǎng)，所述第二生命時(shí)長(zhǎng)的長(zhǎng)度大于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度，所述擴(kuò)展后的待處理緩存數(shù)據(jù)中包括所述待處理緩存數(shù)據(jù)和所述待存儲(chǔ)輿情數(shù)據(jù)中除所述展示字段和所述排序字段之外的其他字段；
[0056]實(shí)時(shí)存儲(chǔ)處理模塊16，用于以預(yù)設(shè)第一話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述創(chuàng)建時(shí)間到所述服務(wù)器的實(shí)時(shí)數(shù)據(jù)庫(kù)中；以預(yù)設(shè)第二話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)和所述展示字段到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中，所述實(shí)時(shí)數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第三生命時(shí)長(zhǎng)，所述第三生命時(shí)長(zhǎng)的長(zhǎng)度小于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度。
[0057]可選的，所述確定模塊13還用于:
[0058]確定所述實(shí)時(shí)數(shù)據(jù)庫(kù)中是否存在與所述待處理緩存數(shù)據(jù)的所述數(shù)據(jù)標(biāo)識(shí)和所述話題標(biāo)識(shí)對(duì)應(yīng)的表項(xiàng)；
[0059]所述服務(wù)器還包括:
[0060]刪除模塊17，用于若所述確定模塊13確定存在所述表項(xiàng)，則刪除所述待處理緩存數(shù)據(jù)。
[0061]進(jìn)一步地，所述實(shí)時(shí)存儲(chǔ)處理模塊16還用于:
[0062]若所述確定模塊確定存在所述專題標(biāo)識(shí)，則以預(yù)設(shè)第三專題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述專題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述創(chuàng)建時(shí)間到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中；以預(yù)設(shè)第四專題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述專題標(biāo)識(shí)和所述展示字段到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中。
[0063]進(jìn)一步地，所述刪除模塊17還用于:
[0064]從所述緩存中刪除所述待處理緩存數(shù)據(jù)。
[0065]其中，所述實(shí)時(shí)數(shù)據(jù)庫(kù)位于所述服務(wù)器的內(nèi)存中；所述近期數(shù)據(jù)庫(kù)為關(guān)系型數(shù)據(jù)庫(kù)；所述歷史數(shù)據(jù)庫(kù)為非關(guān)系型NoSQL數(shù)據(jù)庫(kù)。
[0066]本實(shí)施例的裝置可以用于執(zhí)行圖1所示方法實(shí)施例的技術(shù)方案，其實(shí)現(xiàn)原理和技術(shù)效果類似，此處不再贅述。
[0067]本領(lǐng)域普通技術(shù)人員可以理解:實(shí)現(xiàn)上述方法實(shí)施例的全部或部分步驟可以通過(guò)程序指令相關(guān)的硬件來(lái)完成，前述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，執(zhí)行包括上述方法實(shí)施例的步驟；而前述的存儲(chǔ)介質(zhì)包括:R0M、RAM、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。
[0068]最后應(yīng)說(shuō)明的是:以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。
【主權(quán)項(xiàng)】
1.一種輿情數(shù)據(jù)存儲(chǔ)方法，其特征在于，包括: 獲取待存儲(chǔ)輿情數(shù)據(jù)，為所述待存儲(chǔ)輿情數(shù)據(jù)分配數(shù)據(jù)標(biāo)識(shí)，并根據(jù)預(yù)設(shè)的各話題表達(dá)式確定所述待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的話題標(biāo)識(shí)； 解析獲得所述待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的展示字段和排序字段，將所述數(shù)據(jù)標(biāo)識(shí)、所述話題標(biāo)識(shí)、所述展示字段和所述排序字段關(guān)聯(lián)存儲(chǔ)在服務(wù)器的緩存中，得到待處理緩存數(shù)據(jù)；其中，所述展示字段包括所述待存儲(chǔ)輿情數(shù)據(jù)的創(chuàng)建時(shí)間、創(chuàng)建者和數(shù)據(jù)內(nèi)容，所述排序字段包括所述待存儲(chǔ)輿情數(shù)據(jù)的轉(zhuǎn)發(fā)次數(shù)和/或評(píng)論次數(shù)； 從所述緩存中獲取所述待處理緩存數(shù)據(jù)，根據(jù)預(yù)設(shè)的專題話題對(duì)應(yīng)關(guān)系，確定是否存在與所述待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)對(duì)應(yīng)的專題標(biāo)識(shí)； 若不存在所述專題標(biāo)識(shí)，則將所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述排序字段關(guān)聯(lián)存儲(chǔ)在所述服務(wù)器的近期數(shù)據(jù)庫(kù)中，所述近期數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第一生命時(shí)長(zhǎng)； 將擴(kuò)展后的待處理緩存數(shù)據(jù)存入所述服務(wù)器的歷史數(shù)據(jù)庫(kù)中，所述歷史數(shù)據(jù)庫(kù)用于存儲(chǔ)所述擴(kuò)展后的待處理緩存數(shù)據(jù)到第二生命時(shí)長(zhǎng)，所述第二生命時(shí)長(zhǎng)的長(zhǎng)度大于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度，所述擴(kuò)展后的待處理緩存數(shù)據(jù)中包括所述待處理緩存數(shù)據(jù)和所述待存儲(chǔ)輿情數(shù)據(jù)中除所述展示字段和所述排序字段之外的其他字段； 以預(yù)設(shè)第一話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述創(chuàng)建時(shí)間到所述服務(wù)器的實(shí)時(shí)數(shù)據(jù)庫(kù)中；以預(yù)設(shè)第二話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)和所述展示字段到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中，所述實(shí)時(shí)數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第三生命時(shí)長(zhǎng)，所述第三生命時(shí)長(zhǎng)的長(zhǎng)度小于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述緩存中獲取所述待處理緩存數(shù)據(jù)之后，還包括: 確定所述實(shí)時(shí)數(shù)據(jù)庫(kù)中是否存在與所述待處理緩存數(shù)據(jù)的所述數(shù)據(jù)標(biāo)識(shí)和所述話題標(biāo)識(shí)對(duì)應(yīng)的表項(xiàng)； 若存在，則刪除所述待處理緩存數(shù)據(jù)。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定是否存在與所述待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)對(duì)應(yīng)的專題標(biāo)識(shí)之后，還包括: 若存在所述專題標(biāo)識(shí)，則以預(yù)設(shè)第三專題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述專題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述創(chuàng)建時(shí)間到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中；以預(yù)設(shè)第四專題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述專題標(biāo)識(shí)和所述展示字段到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述以預(yù)設(shè)第一話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述創(chuàng)建時(shí)間到所述服務(wù)器的實(shí)時(shí)數(shù)據(jù)庫(kù)中；以預(yù)設(shè)第二話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)和所述展示字段到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中之后，還包括: 從所述緩存中刪除所述待處理緩存數(shù)據(jù)。5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其特征在于，所述實(shí)時(shí)數(shù)據(jù)庫(kù)位于所述服務(wù)器的內(nèi)存中；所述近期數(shù)據(jù)庫(kù)為關(guān)系型數(shù)據(jù)庫(kù)；所述歷史數(shù)據(jù)庫(kù)為非關(guān)系型NoSQL數(shù)據(jù)庫(kù)。6.一種服務(wù)器，其特征在于，包括: 獲取模塊，用于獲取待存儲(chǔ)輿情數(shù)據(jù)，為所述待存儲(chǔ)輿情數(shù)據(jù)分配數(shù)據(jù)標(biāo)識(shí)，并根據(jù)預(yù)設(shè)的各話題表達(dá)式確定所述待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的話題標(biāo)識(shí)； 緩存處理模塊，用于解析獲得所述待存儲(chǔ)輿情數(shù)據(jù)對(duì)應(yīng)的展示字段和排序字段，將所述數(shù)據(jù)標(biāo)識(shí)、所述話題標(biāo)識(shí)、所述展示字段和所述排序字段關(guān)聯(lián)存儲(chǔ)在服務(wù)器的緩存中，得到待處理緩存數(shù)據(jù)；其中，所述展示字段包括所述待存儲(chǔ)輿情數(shù)據(jù)的創(chuàng)建時(shí)間、創(chuàng)建者和數(shù)據(jù)內(nèi)容，所述排序字段包括所述待存儲(chǔ)輿情數(shù)據(jù)的轉(zhuǎn)發(fā)次數(shù)和/或評(píng)論次數(shù)； 確定模塊，用于從所述緩存中獲取所述待處理緩存數(shù)據(jù)，根據(jù)預(yù)設(shè)的專題話題對(duì)應(yīng)關(guān)系，確定是否存在與所述待處理緩存數(shù)據(jù)的話題標(biāo)識(shí)對(duì)應(yīng)的專題標(biāo)識(shí)； 近期存儲(chǔ)處理模塊，用于若所述確定模塊確定不存在所述專題標(biāo)識(shí)，則將所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述排序字段關(guān)聯(lián)存儲(chǔ)在所述服務(wù)器的近期數(shù)據(jù)庫(kù)中，所述近期數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第一生命時(shí)長(zhǎng)； 歷史存儲(chǔ)處理模塊，用于將擴(kuò)展后的待處理緩存數(shù)據(jù)存入所述服務(wù)器的歷史數(shù)據(jù)庫(kù)中，所述歷史數(shù)據(jù)庫(kù)用于存儲(chǔ)所述擴(kuò)展后的待處理緩存數(shù)據(jù)到第二生命時(shí)長(zhǎng)，所述第二生命時(shí)長(zhǎng)的長(zhǎng)度大于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度，所述擴(kuò)展后的待處理緩存數(shù)據(jù)中包括所述待處理緩存數(shù)據(jù)和所述待存儲(chǔ)輿情數(shù)據(jù)中除所述展示字段和所述排序字段之外的其他字段; 實(shí)時(shí)存儲(chǔ)處理模塊，用于以預(yù)設(shè)第一話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述創(chuàng)建時(shí)間到所述服務(wù)器的實(shí)時(shí)數(shù)據(jù)庫(kù)中；以預(yù)設(shè)第二話題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述話題標(biāo)識(shí)和所述展示字段到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中，所述實(shí)時(shí)數(shù)據(jù)庫(kù)用于存儲(chǔ)所述待處理緩存數(shù)據(jù)到第三生命時(shí)長(zhǎng)，所述第三生命時(shí)長(zhǎng)的長(zhǎng)度小于所述第一生命時(shí)長(zhǎng)的長(zhǎng)度。7.根據(jù)權(quán)利要求6所述的服務(wù)器，其特征在于，所述確定模塊還用于: 確定所述實(shí)時(shí)數(shù)據(jù)庫(kù)中是否存在與所述待處理緩存數(shù)據(jù)的所述數(shù)據(jù)標(biāo)識(shí)和所述話題標(biāo)識(shí)對(duì)應(yīng)的表項(xiàng)； 還包括: 刪除模塊，用于若所述確定模塊確定存在所述表項(xiàng)，則刪除所述待處理緩存數(shù)據(jù)。8.根據(jù)權(quán)利要求6所述的服務(wù)器，其特征在于，所述實(shí)時(shí)存儲(chǔ)處理模塊還用于: 若所述確定模塊確定存在所述專題標(biāo)識(shí)，則以預(yù)設(shè)第三專題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述專題標(biāo)識(shí)、所述數(shù)據(jù)標(biāo)識(shí)和所述創(chuàng)建時(shí)間到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中；以預(yù)設(shè)第四專題存儲(chǔ)格式存儲(chǔ)所述待處理緩存數(shù)據(jù)的所述專題標(biāo)識(shí)和所述展示字段到所述實(shí)時(shí)數(shù)據(jù)庫(kù)中。9.根據(jù)權(quán)利要求6所述的服務(wù)器，其特征在于，所述刪除模塊還用于: 從所述緩存中刪除所述待處理緩存數(shù)據(jù)。10.根據(jù)權(quán)利要求6至9中任一項(xiàng)所述的服務(wù)器，其特征在于，所述實(shí)時(shí)數(shù)據(jù)庫(kù)位于所述服務(wù)器的內(nèi)存中；所述近期數(shù)據(jù)庫(kù)為關(guān)系型數(shù)據(jù)庫(kù)；所述歷史數(shù)據(jù)庫(kù)為非關(guān)系型NoSQL數(shù)據(jù)庫(kù)。
【文檔編號(hào)】G06F17/30GK106033438SQ201510111930
【公開(kāi)日】2016年10月19日
【申請(qǐng)日】2015年3月13日
【發(fā)明人】荊艷影, 張丹, 楊建武
【申請(qǐng)人】北大方正集團(tuán)有限公司, 北京大學(xué), 北京北大方正電子有限公司