一種實時數(shù)據(jù)的存儲方法及裝置、訪問方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種實時數(shù)據(jù)的存儲方法及裝置、訪問方法及系統(tǒng)，該存儲方法，包括獲取實時數(shù)據(jù)；將實時數(shù)據(jù)分別保存在緩存服務器、分布式存儲系統(tǒng)中。該方法通過分離存儲將從網(wǎng)絡中獲得的實時數(shù)據(jù)保存下來。另外，本發(fā)明還公開了一種實時數(shù)據(jù)的訪問方法，其在訪問實時數(shù)據(jù)時，首先從緩存服務器中獲取實時數(shù)據(jù)，若緩存服務器中存在實時數(shù)據(jù)，則顯示給用戶，由于緩存服務器的訪問速度較快，因此能夠將實時數(shù)據(jù)快速的顯示給用戶。當緩存服務器中不存在實時數(shù)據(jù)時，則從分布式存儲系統(tǒng)中獲取實時數(shù)據(jù)并顯示給用戶，由于分布式存儲系統(tǒng)采用的是永久性存儲器，其數(shù)據(jù)不會丟失，保證了實時數(shù)據(jù)的穩(wěn)定性。
【專利說明】
一種實時數(shù)據(jù)的存儲方法及裝置、訪問方法及系統(tǒng)
技術領域
[0001]本發(fā)明涉及數(shù)據(jù)的處理，尤其涉及一種實時數(shù)據(jù)的存儲方法及裝置、訪問方法及系統(tǒng)。
【背景技術】
[0002]目前，我國移動互聯(lián)網(wǎng)廣告已經(jīng)越來越受到業(yè)內人士的關注，其發(fā)展正處于一個爆發(fā)的階段，海量廣告數(shù)據(jù)之間的交互越來越需要時效性和穩(wěn)定性，實時數(shù)據(jù)對于需要快速響應的需求非常重要，但給客戶需要訪問某個網(wǎng)頁、廣告等，若是不能夠快速將實時數(shù)據(jù)展示給客戶，這樣就會給客戶造成一定的影響。

【發(fā)明內容】

[0003]為了克服現(xiàn)有技術的不足，本發(fā)明的目的之一在于提供一種實時數(shù)據(jù)的存儲方法及裝置，其能夠解決現(xiàn)有技術中不能夠及時的將實時數(shù)據(jù)進行保存。
[0004]本發(fā)明的目的之一采用以下技術方案實現(xiàn):
[0005]本發(fā)明提供了一種實時數(shù)據(jù)的存儲方法，包括以下步驟:
[0006]S1:獲取實時數(shù)據(jù)；
[0007]S2:將所述實時數(shù)據(jù)復制成兩份，一份存儲于緩存服務器中，另一份存儲于分布式存儲系統(tǒng)中。
[0008]優(yōu)選地，所述步驟S2之前還包括步驟S21:按照實時數(shù)據(jù)的獲取日期進行分類，將同一獲取日期的實時數(shù)據(jù)保存在一個文件中。
[0009]優(yōu)選地，所述文件的命名格式為“年-月-日”。
[0010]優(yōu)選地，所述步驟S2中，將存儲于分布式存儲系統(tǒng)的實時數(shù)據(jù)轉換為數(shù)據(jù)庫表并存儲于數(shù)據(jù)庫中。
[0011]優(yōu)選地，所述實時數(shù)據(jù)包括應用程序接口從PC端網(wǎng)頁、智能終端APP獲取的數(shù)據(jù)以及從智能終端網(wǎng)頁中獲取的數(shù)據(jù)。
[0012]本發(fā)明還提供與所述實時數(shù)據(jù)的存儲方法相對應的一種實時數(shù)據(jù)的存儲裝置，包括:
[0013]獲取模塊，用于獲取實時數(shù)據(jù)；
[0014]存儲模塊，用于將所述實時數(shù)據(jù)復制成兩份，一份存儲于緩存服務器中，另一份存儲于分布式存儲系統(tǒng)中。
[0015]優(yōu)選地，所述文件的命名格式為“年-月-日”。
[0016]為了克服現(xiàn)有技術的不足，本發(fā)明的目的之二在于提供一種實時數(shù)據(jù)的訪問方法及裝置，其能夠解決現(xiàn)有技術中不能夠快速穩(wěn)定地將實時數(shù)據(jù)展示給客戶。
[0017]本發(fā)明的目的之二采用以下技術方案實現(xiàn):
[0018]本發(fā)明提供了一種實時數(shù)據(jù)的訪問方法，包括以下步驟:
[0019]S3:客戶端獲取用戶所訪問網(wǎng)頁時所需要的實時數(shù)據(jù)，
[0020]S4:判斷緩存服務器中是否存在所述實時數(shù)據(jù)，若存在，從緩存服務器中獲取所需要的實時數(shù)據(jù)并顯示給客戶端;若不存在，則從分布式存儲系統(tǒng)中獲取所需要的實時數(shù)據(jù)并顯示給客戶端。
[0021]本發(fā)明還提供了與所述實時數(shù)據(jù)的訪問方法相對應的一種實時數(shù)據(jù)的訪問系統(tǒng)，包括:
[0022]獲取數(shù)據(jù)模塊，用于獲取用戶訪問網(wǎng)頁時所需要的實時數(shù)據(jù)；
[0023]判斷顯示模塊，用于判斷緩存服務器中是否存在所需要的實時數(shù)據(jù)，若存在，從緩存服務器中獲取所需要的實時數(shù)據(jù)并顯示給客戶端;若不存在，則從分布式存儲系統(tǒng)中獲取所需要的實時數(shù)據(jù)并顯示給客戶端。
[0024]相比現(xiàn)有技術，本發(fā)明的有益效果在于:本發(fā)明通過分離存儲從網(wǎng)絡上獲取到的實時數(shù)據(jù)，然后當用戶訪問網(wǎng)頁時，能夠及時地從緩存服務器中獲取實時數(shù)據(jù)并顯示給用戶，能夠快速的將實時數(shù)據(jù)顯示給用戶，由于緩存服務器的訪問速度較快，保證了實時數(shù)據(jù)顯示的及時性；當緩存服務器中不存在用戶訪問網(wǎng)頁所需要的實時數(shù)據(jù)時，從分布式存儲系統(tǒng)中獲取實時數(shù)據(jù)，由于分布式存儲系統(tǒng)的數(shù)據(jù)不會丟失，保證了實時數(shù)據(jù)的穩(wěn)定性。
【附圖說明】
[0025]圖1為本發(fā)明提供的一種實時數(shù)據(jù)的存儲方法流程圖；
[0026]圖2為本發(fā)明提供的一種實時數(shù)據(jù)的存儲裝置模塊圖；
[0027]圖3是本發(fā)明提供的一種實時數(shù)據(jù)的訪問方法流程圖；
[0028]圖4是本發(fā)明提供的一種實時數(shù)據(jù)的訪問系統(tǒng)模塊圖。
【具體實施方式】
[0029 ]下面，結合附圖以及【具體實施方式】，對本發(fā)明做進一步描述:
[0030]如圖1所示，本發(fā)明提供了一種實時數(shù)據(jù)的存儲方法，其能夠將海量的實時數(shù)據(jù)收集起來，供用戶訪問需求的使用。其包括以下步驟:
[0031]Sll:獲取實時數(shù)據(jù)。
[0032]其中該實時數(shù)據(jù)是指通過應用程序從PC端的網(wǎng)頁、手機的應用端(比如APP軟件)獲取到的數(shù)據(jù)；另外還包括從手機的網(wǎng)頁端獲取到的數(shù)據(jù)，將上述的數(shù)據(jù)都收集并保存起來。獲取到的這些實時數(shù)據(jù)可以放入一個緩存隊列中。
[0033]S12:將所述實時數(shù)據(jù)復制為兩份，其中一份存儲于緩存服務器中，第二份存儲于分布式存儲系統(tǒng)中。其中所述緩存服務器其存儲空間較小，會經(jīng)常定時更新，也即是說保存子該緩存服務器中的數(shù)據(jù)有可能丟失，比如像內存一樣。另外，由于該緩存服務器是采用緩存機制的存儲器，因此其訪問速度較快。所述分布式存儲系統(tǒng)所采用的存儲器是永久性存儲器，其存儲的數(shù)據(jù)具有永久存儲的，不需要向緩存一樣會定時刷新，其存儲的實時數(shù)據(jù)不會丟失。
[0034]另外在所述步驟S2之前還包括步驟S112:按照實時數(shù)據(jù)的獲取日期進行分類，將同一獲取日期的實時數(shù)據(jù)保存在同一個文件中，這樣就將實時數(shù)據(jù)按照獲取日期不同保存在不同的文件中。另外，文件的命名格式為“年-月-日”。
[0035]所述緩存服務器是一個緩存服務器，其存儲空間較小、還會定時刷新。比如當存儲空間滿時，或者存儲時間到了就會將該緩存服務器中的數(shù)據(jù)清空。
[0036]所述分布式存儲系統(tǒng)其存儲數(shù)據(jù)不會丟失，將實時數(shù)據(jù)存儲在分布式存儲系統(tǒng)時，可對實時數(shù)據(jù)文件進行壓縮處理，減少占用空間；或者是將實時數(shù)據(jù)文件轉換為數(shù)據(jù)庫表的形式保存在數(shù)據(jù)庫中。比如，將實時數(shù)據(jù)保存在分布式存儲系統(tǒng)時，會將實時數(shù)據(jù)通過Hadoop中的框架Hive將文件的數(shù)據(jù)映射為數(shù)據(jù)庫表并存儲于數(shù)據(jù)庫中，該數(shù)據(jù)庫可以是Mysql數(shù)據(jù)庫。同時，還可利用Hadoop Map/Reduce框架對數(shù)據(jù)庫中的數(shù)據(jù)進行數(shù)據(jù)的分析和挖掘，然后將處理的結果以表的形式保存在數(shù)據(jù)庫中。這樣將實時數(shù)據(jù)轉換為數(shù)據(jù)庫表能夠方便存儲。這里對數(shù)據(jù)轉換為數(shù)據(jù)庫表以及對數(shù)據(jù)進行處理都是使用Hadoop中的現(xiàn)有框架，本領域技術人員可以實現(xiàn)。
[0037]如圖2所示，本發(fā)明還公開了與所述一種實時數(shù)據(jù)的存儲方法相對應的一種實時數(shù)據(jù)的存儲裝置，其包括:
[0038]獲取模塊，用于獲取實時數(shù)據(jù)；
[0039]存儲模塊，用于將所述實時數(shù)據(jù)復制成兩份，一份存儲于緩存服務器中，另一份存儲于分布式存儲系統(tǒng)中。
[0040]優(yōu)選地，包括所述存儲模塊之前還包括分類模塊，用于按照實時數(shù)據(jù)的獲取日期進行分類，將同一獲取日期的實時數(shù)據(jù)保存在一個文件中。
[0041]優(yōu)選地，所述文件的命名格式為“年-月-日”。
[0042]如圖3所示，本發(fā)明還公開了一種實時數(shù)據(jù)的訪問方法，其中該實時數(shù)據(jù)是指由上述實時數(shù)據(jù)的存儲方法所得到的實時數(shù)據(jù)，其包括:
[0043]S21:獲取用戶訪問網(wǎng)頁所需要的實時數(shù)據(jù)。
[0044]其中，當客戶訪問網(wǎng)頁時，客戶端能夠獲取到相對應的用戶，然后得知用戶所要訪問的實時數(shù)據(jù)。
[0045]S22:判斷緩存服務器中是否存在所需要的實時數(shù)據(jù)，若存在，則執(zhí)行S221;若不存在，則執(zhí)行S222;
[0046]S221:從緩存服務器中獲取所需要的實時數(shù)據(jù)并顯示給客戶端。
[0047]S222:從分布式存儲系統(tǒng)中獲取所需要的實時數(shù)據(jù)并顯示給客戶端。
[0048]當客戶訪問網(wǎng)頁時，首先在緩存服務器中獲取實時數(shù)據(jù)，若緩存服務器中沒有所需要的實時數(shù)據(jù)，則在從分布式存儲系統(tǒng)中獲取實時數(shù)據(jù)。也即是說，當客戶訪問網(wǎng)頁時，首先從緩存服務器中獲取數(shù)據(jù)，因此緩存服務器的處理速度較快，可以快速的為用戶提供所需要顯示的實時數(shù)據(jù)。另外，由于緩存服務器的數(shù)據(jù)是定時更新的，當緩存服務器中沒有所需要的數(shù)據(jù)時，就從分布式存儲系統(tǒng)中獲取所需要的數(shù)據(jù)，因此保證了數(shù)據(jù)的穩(wěn)定性。
[0049]如圖4所示，本發(fā)明還提供了一種實時數(shù)據(jù)的訪問系統(tǒng)，包括:
[0050]獲取數(shù)據(jù)模塊，用于獲取用戶訪問網(wǎng)頁時所需要的實時數(shù)據(jù)；
[0051]判斷顯示模塊，用于判斷緩存服務器中是否存在所需要的實時數(shù)據(jù)，若存在，從緩存服務器中獲取所需要的實時數(shù)據(jù)并顯示給客戶端;若不存在，從分布式存儲系統(tǒng)中獲取所需要的實時數(shù)據(jù)并顯示給客戶端。
[0052]對本領域的技術人員來說，可根據(jù)以上描述的技術方案以及構思，做出其它各種相應的改變以及形變，而所有的這些改變以及形變都應該屬于本發(fā)明權利要求的保護范圍之內。
【主權項】
1.一種實時數(shù)據(jù)的存儲方法，其特征在于，包括以下步驟: S1:獲取實時數(shù)據(jù)； S2:將所述實時數(shù)據(jù)復制成兩份，一份存儲于緩存服務器中，另一份存儲于分布式存儲系統(tǒng)中。2.如權利要求1所述實時數(shù)據(jù)的存儲方法，其特征在于，所述步驟S2之前還包括步驟S21:按照實時數(shù)據(jù)的獲取日期進行分類，將同一獲取日期的實時數(shù)據(jù)保存在一個文件中。3.如權利要求1所述實時數(shù)據(jù)的存儲方法，其特征在于，所述文件的命名格式為“年-月-日”。4.如權利要求1所述實時數(shù)據(jù)的存儲方法，其特征在于，所述步驟S2中，將存儲于分布式存儲系統(tǒng)的實時數(shù)據(jù)轉換為數(shù)據(jù)庫表并存儲于數(shù)據(jù)庫中。5.如權利要求1所述實時數(shù)據(jù)的存儲方法，其特征在于，所述實時數(shù)據(jù)包括應用程序接口從PC端網(wǎng)頁、智能終端APP獲取的數(shù)據(jù)以及從智能終端網(wǎng)頁中獲取的數(shù)據(jù)。6.一種實時數(shù)據(jù)的存儲裝置，其特征在于，包括: 獲取模塊，用于獲取實時數(shù)據(jù)； 存儲模塊，用于將所述實時數(shù)據(jù)復制成兩份，一份存儲于緩存服務器中，另一份存儲于分布式存儲系統(tǒng)中。7.如權利要求6所述實時數(shù)據(jù)的存儲裝置，其特征在于，包括所述存儲模塊之前還包括分類模塊，用于按照實時數(shù)據(jù)的獲取日期進行分類，將同一獲取日期的實時數(shù)據(jù)保存在一個文件中。8.如權利要求7所述實時數(shù)據(jù)的存儲裝置，其特征在于，所述文件的命名格式為“年-月-日”。9.一種實時數(shù)據(jù)的訪問方法，其特征在于，包括以下步驟: S3:客戶端獲取用戶所訪問網(wǎng)頁時所需要的實時數(shù)據(jù)， S4:判斷緩存服務器中是否存在所述實時數(shù)據(jù)，若存在，從緩存服務器中獲取所需要的實時數(shù)據(jù)并顯示給客戶端;若不存在，則從分布式存儲系統(tǒng)中獲取所需要的實時數(shù)據(jù)并顯示給客戶端。10.一種實時數(shù)據(jù)的訪問系統(tǒng)，其特征在于，包括: 獲取數(shù)據(jù)模塊，用于獲取用戶訪問網(wǎng)頁時所需要的實時數(shù)據(jù)； 判斷顯示模塊，用于判斷緩存服務器中是否存在所需要的實時數(shù)據(jù)，若存在，從緩存服務器中獲取所需要的實時數(shù)據(jù)并顯示給客戶端;若不存在，則從分布式存儲系統(tǒng)中獲取所需要的實時數(shù)據(jù)并顯示給客戶端。
【文檔編號】G06F17/30GK106055655SQ201610383524
【公開日】2016年10月26日
【申請日】2016年5月31日
【發(fā)明人】練麗梅
【申請人】廣州艾媒數(shù)聚信息咨詢股份有限公司