數(shù)據(jù)存儲系統(tǒng)及其方法和數(shù)據(jù)分析系統(tǒng)及其方法
【技術領域】
[0001] 本發(fā)明設及計算機和通信技術領域，尤其設及數(shù)據(jù)存儲方法及裝置和數(shù)據(jù)分析方 法及裝置。
【背景技術】
[0002] 當大量、多種類數(shù)據(jù)實時傳輸并存儲時，需要能夠快速、有序地存儲、從而方便快 速、有序地查詢。現(xiàn)有技術中，存儲的數(shù)據(jù)種類通常是預先設定好的，不能隨意增加的新的 數(shù)據(jù)種類，即使新增加了，在存儲時也會被認為是異常而被丟棄。
[0003] 例如，在大數(shù)據(jù)統(tǒng)計分析中，每時每刻都可能會有大量數(shù)據(jù)產(chǎn)生，統(tǒng)計的數(shù)據(jù)種類 可能會隨著用戶的需求的不同而變化，因此，要求能夠更靈活地對數(shù)據(jù)種類進行增加或者 改變。但現(xiàn)有的數(shù)據(jù)統(tǒng)計分析工具在需要增加新的數(shù)據(jù)種類時，往往需要對統(tǒng)計分析工具 進行升級或重新安裝，不僅服務器側需要升級或重新安裝，客戶端側也要進行相應的升級 或重新安裝，運對于使用統(tǒng)計分析工具的用戶(例如電子商務平臺或者APP開發(fā)者)來說，比 較麻煩。如果重新安裝，還可能存在不能將W往的數(shù)據(jù)導入新的統(tǒng)計分析工具中或者造成 某些數(shù)據(jù)的丟失的，因此，目前的統(tǒng)計分析工具缺少靈活性，不適應快速發(fā)展、變化的電商 經(jīng)營者及APP開發(fā)者的需求，導致其統(tǒng)計分析結果只具有一定程度的參考價值，不能很大程 度上地依賴。因此，需要有一種靈活的數(shù)據(jù)存儲機制。

【發(fā)明內(nèi)容】

[0004] 為解決現(xiàn)有存在的技術問題，本發(fā)明提供一種數(shù)據(jù)存儲系統(tǒng)及方法，其能將連續(xù) 不斷的數(shù)據(jù)有序、快速地進行存儲，并使得對存儲的數(shù)據(jù)的查詢更高效。
[0005] 為達到上述目的，本發(fā)明實施例的技術方案是運樣實現(xiàn)的：
[0006] 根據(jù)本發(fā)明的一個方面，提供一種數(shù)據(jù)存儲系統(tǒng)，其包括:數(shù)據(jù)獲取裝置，其適于 獲取需要存儲的數(shù)據(jù);數(shù)據(jù)解析裝置，其適于將所述數(shù)據(jù)獲取裝置獲取的所述需要存儲的 數(shù)據(jù)進行解析，獲得需要存儲的數(shù)據(jù)的特征并確定存儲位置;元數(shù)據(jù)記錄裝置，其適于記錄 所述需要存儲的數(shù)據(jù)的元數(shù)據(jù)信息，所述元數(shù)據(jù)信息包括所述需要存儲的數(shù)據(jù)的特征及存 儲位置；W及數(shù)據(jù)存儲裝置，其適于基于所述元數(shù)據(jù)記錄裝置記錄的元數(shù)據(jù)信息，將所述數(shù) 據(jù)解析裝置解析出的數(shù)據(jù)存儲在相應的存儲位置。
[0007] 根據(jù)本發(fā)明的另一方面，提供一種數(shù)據(jù)存儲方法，其包括:獲取需要存儲的數(shù)據(jù)； 對所述需要存儲的數(shù)據(jù)進行解析，獲得需要存儲的數(shù)據(jù)的特征并確定其存儲位置;記錄所 述需要存儲的數(shù)據(jù)的元數(shù)據(jù)信息，所述元數(shù)據(jù)信息包括所述需要存儲的數(shù)據(jù)的特征及存儲 位置;W及基于所記錄的元數(shù)據(jù)信息，將所述解析出的數(shù)據(jù)存儲在相應的存儲位置。
[000引根據(jù)本發(fā)明的又一方面，提供一種數(shù)據(jù)查詢裝置，其適于對根據(jù)前面所述的數(shù)據(jù) 存儲系統(tǒng)存儲的數(shù)據(jù)進行查詢，其包括:第一接收模塊，其適于接收來自WEB前端的查詢請 求，所述查詢請求包含一個或多個查詢條件和一個或多個顯示參數(shù);第二解析模塊，其適于 基于所述數(shù)據(jù)存儲系統(tǒng)的元數(shù)據(jù)記錄裝置中記錄的元數(shù)據(jù)信息解析所述查詢請求，獲得解 析結果;查詢機制建立模塊，其適于基于所述第二解析模塊的解析結果建立查詢機制;第一 查詢模塊，其適于根據(jù)所建立的查詢機制查詢所述數(shù)據(jù)存儲系統(tǒng)中的數(shù)據(jù)存儲裝置中的數(shù) 據(jù)，獲得查詢結果;第一存儲模塊，其適于存儲所述查詢結果，W及第一發(fā)送模塊，其適于將 所述查詢結果發(fā)送給所述W邸前端。
[0009]根據(jù)本發(fā)明又一方面，提供一種數(shù)據(jù)查詢方法，其對根據(jù)前面所述的數(shù)據(jù)存儲方 法存儲的數(shù)據(jù)進行查詢，其包括:獲取來自WEB前端的查詢請求，所述查詢請求包含一個或 多個查詢條件和一個或多個顯示參數(shù);基于被存儲的數(shù)據(jù)的元數(shù)據(jù)信息，解析所述查詢請 求中包含的查詢條件和顯示參數(shù)，獲得解析結果;基于所述解析結果構建查詢機制;基于所 構建的查詢機制查詢所述存儲的數(shù)據(jù)，獲取查詢結果；W及將所述查詢結果發(fā)送至所述WEB 前端。
[0010]根據(jù)本發(fā)明的又一方面，提供一種數(shù)據(jù)展現(xiàn)系統(tǒng)，其包括:顯示裝置，其位于WEB前 端，適于接收使用者對查詢條件和顯示參數(shù)的輸入、W及顯示基于所述查詢條件和顯示參 數(shù)所獲得的查詢結果;第二接收模塊，其位于WEB服務器中，適于接收所述查詢條件和顯示 參數(shù)，并傳送至根據(jù)前面所述的數(shù)據(jù)查詢裝置;根據(jù)前面所述的數(shù)據(jù)查詢裝置，適于根據(jù)所 述查詢條件和顯示參數(shù)，查詢前面所述的數(shù)據(jù)存儲系統(tǒng)中的數(shù)據(jù)存儲裝置存儲的數(shù)據(jù)，獲 得查詢結果；W及獲取模塊，其位于WEB服務器中，適于從所述數(shù)據(jù)查詢裝置中獲取所述查 詢結果，并將所述查詢結果發(fā)送至所述顯示裝置。
[0011] 根據(jù)本發(fā)明的又一方面，提供一種數(shù)據(jù)展現(xiàn)方法，包括:接收使用者輸入的查詢條 件和顯示參數(shù);根據(jù)所述查詢條件和顯示參數(shù)，采用前面所述的數(shù)據(jù)查詢方法，查詢根據(jù)前 面所述的數(shù)據(jù)存儲方法存儲的數(shù)據(jù)，獲得查詢結果；W及將所述查詢結果發(fā)送至W邸前端進 行展現(xiàn)。
[0012] 根據(jù)本發(fā)明的又一方面，提供一種數(shù)據(jù)分析系統(tǒng)，其包括:數(shù)據(jù)采集系統(tǒng)，其適于 從客戶端和/或服務器中采集數(shù)據(jù)，所述采集的數(shù)據(jù)包含根據(jù)用戶需求而設置的多個數(shù)據(jù) 種類;數(shù)據(jù)傳輸系統(tǒng)，其適于將所述數(shù)據(jù)采集系統(tǒng)所采集的數(shù)據(jù)進行提取、轉(zhuǎn)換并傳輸;根 據(jù)前面所述的數(shù)據(jù)存儲系統(tǒng)，其適于將所述數(shù)據(jù)傳輸系統(tǒng)傳輸?shù)臄?shù)據(jù)進行存儲、并記錄相 應的元數(shù)據(jù)信息；W及根據(jù)前面所述的數(shù)據(jù)展現(xiàn)系統(tǒng)，其適于基于使用者輸入的查詢條件 和顯示參數(shù)，查詢所述數(shù)據(jù)存儲系統(tǒng)存儲的數(shù)據(jù)并獲取查詢結果，然后顯示在W邸前端。
[0013] 根據(jù)本發(fā)明的又一方面，提供一種數(shù)據(jù)分析方法，其包括:從客戶端和/或服務器 中采集數(shù)據(jù)，所述采集的數(shù)據(jù)包含根據(jù)用戶需求而設置的多個數(shù)據(jù)種類;將所述采集的數(shù) 據(jù)進行提取、轉(zhuǎn)換并傳輸;將所述傳輸?shù)臄?shù)據(jù)根據(jù)前面所述的數(shù)據(jù)存儲方法進行存儲、并記 錄相應的元數(shù)據(jù)信息；W及根據(jù)前面所述的數(shù)據(jù)展現(xiàn)方法，基于使用者輸入的查詢條件和 顯示參數(shù)，從所述存儲的數(shù)據(jù)中獲得查詢結果并在W邸前端顯示。
【附圖說明】
[0014] 在附圖（其不一定是按比例繪制的）中，相似的附圖標記可在不同的視圖中描述相 似的部件。具有不同字母后綴的相似附圖標記可表示相似部件的不同示例。附圖W示例而 非限制的方式大體示出了本文中所討論的各個實施例。
[0015] 圖1示出了根據(jù)本發(fā)明的一種實施方式的數(shù)據(jù)存儲系統(tǒng)的結構示意圖；
[0016] 圖2示出了根據(jù)本發(fā)明的一種實施方式的數(shù)據(jù)分析系統(tǒng)的結構示意圖；W及
[0017] 圖3示出了根據(jù)本發(fā)明的一種實施方式的數(shù)據(jù)解析裝置的結構示意圖；
[0018] 圖4示出了根據(jù)本發(fā)明的一種實施方式的第二注冊模塊的結構示意圖；
[0019] 圖5示出了根據(jù)本發(fā)明的一種實施方式的存儲位置選擇模塊的結構示意圖；
[0020] 圖6示出了根據(jù)本發(fā)明的一種實施方式的數(shù)據(jù)存儲方法的流程圖；
[0021] 圖7示出了本發(fā)明的對新的自定義屬性進行注冊的方法的一種實施例的流程圖；
[0022] 圖8示出了本發(fā)明的為新的自定義屬性選擇用于存儲的列的方法的一種實施例的 流程圖；
[0023] 圖9示出了根據(jù)本發(fā)明的一種實施方式的數(shù)據(jù)查詢裝置的結構示意圖；
[0024] 圖10示出了根據(jù)本發(fā)明的一種實施方式的數(shù)據(jù)查詢方法的流程圖；
[0025] 圖11示出了根據(jù)本發(fā)明的一種實施方式的數(shù)據(jù)展現(xiàn)系統(tǒng)的結構示意圖；
[0026] 圖12示出了根據(jù)本發(fā)明的一種實施方式的顯示裝置的顯示界面的例子；
[0027] 圖13示出了根據(jù)本發(fā)明的一種實施方式的數(shù)據(jù)展現(xiàn)方法的流程圖；W及
[0028] 圖14示出了根據(jù)本發(fā)明的一種實施方式的數(shù)據(jù)分析方法的流程圖。
【具體實施方式】
[0029] 下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開 的示例性實施例，然而應當理解，可W W各種形式實現(xiàn)本公開而不應被運里闡述的實施例 所限制。相反，提供運些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍 完整的傳達給本領域的技術人員。
[0030] 在本發(fā)明中，使用本發(fā)明的數(shù)據(jù)存儲系統(tǒng)及方法存儲數(shù)據(jù)或者使用本發(fā)明的數(shù)據(jù) 分析系統(tǒng)及方法進行數(shù)據(jù)分析的公司或者人，統(tǒng)一稱為"使用者"，而對于使用"使用者"的 產(chǎn)品的人或者公司統(tǒng)一稱為"用戶"。
[0031] 本發(fā)明的數(shù)據(jù)存儲系統(tǒng)及方法主要針對大量數(shù)據(jù)的采集且所采集的數(shù)據(jù)中包含 的數(shù)據(jù)種類會存在變化的情形。在運種情形下，對于解析出的新增加的數(shù)據(jù)種類的數(shù)據(jù)尋 找到恰當?shù)拇鎯ξ恢?，從而才能實現(xiàn)對所采集的大量數(shù)據(jù)分口別類地有序存儲。已有的方 式是，對于數(shù)據(jù)種類的分類都已經(jīng)事先設定好，該數(shù)據(jù)種類的存儲位置也事先確定，當獲取 到新數(shù)據(jù)時，判斷所述新數(shù)據(jù)是否屬于已確定的數(shù)據(jù)種類，如果屬于，則存儲在指定的位 置，如果不屬于，則視為異?；蝈e誤而丟棄。運種存儲方式不適應當采集的數(shù)據(jù)在后期有大 量新數(shù)據(jù)種類出現(xiàn)的情形。運里數(shù)據(jù)種類泛指可W作為一組數(shù)據(jù)而存儲在一起的劃分方 式。
[0032] 圖1示出了根據(jù)本發(fā)明的一種實施方式的數(shù)據(jù)存儲系統(tǒng)的結構示意圖。如圖1所 示，本發(fā)明的數(shù)據(jù)存儲系統(tǒng)100包括數(shù)據(jù)獲取裝置110、數(shù)據(jù)解析裝置120、元數(shù)據(jù)記錄裝置 130、W及數(shù)據(jù)存儲裝置140。
[0033] 其中，數(shù)據(jù)獲取裝置110適于獲取需要存儲的數(shù)據(jù)。運里，所述需要存儲的數(shù)據(jù)為 從客戶端或服務器側所采集的數(shù)據(jù)經(jīng)過轉(zhuǎn)換、處理后需要進行存儲的數(shù)據(jù)，例如所述需要 進行存儲的數(shù)據(jù)已經(jīng)被轉(zhuǎn)換成JSON格式，由數(shù)據(jù)獲取裝置110所接收。另外，所述需要存儲 的數(shù)據(jù)會隨時間而不斷變化，例如在大數(shù)據(jù)分析中，會有大量數(shù)據(jù)不斷地被采集。運里數(shù)據(jù) 的變化不限于數(shù)據(jù)的數(shù)量的變化(增加或者刪除），也包括數(shù)據(jù)種類的變化。例如當對新開 發(fā)的應用APP進行統(tǒng)計時，最開始可能只需要統(tǒng)計注冊人數(shù)，隨著所述APP的不斷推廣，則可 能增加對不同省份注冊所述APP的人數(shù)的統(tǒng)計，還可能增加對注冊所述APP的人數(shù)中男女性 別的統(tǒng)計等等，運時數(shù)據(jù)種類就從注冊人數(shù)進一步細分出按地域劃分的人數(shù)、W及按性別 劃分的人數(shù)兩個數(shù)據(jù)種類。在不同的階段，根據(jù)不同的需求，可能會改變(包括增加和刪除） 對不同種類的數(shù)據(jù)的采集，在運種情況下，采集的數(shù)據(jù)種類改變時，對應的存儲也要求相應 地發(fā)生改變。
[0034] 所述需要存儲的數(shù)據(jù)根據(jù)需要可W被分為多個類別，例如可W被分為第一類別和 第二類別。例如，在數(shù)據(jù)分析中，將所采集的數(shù)據(jù)分為事件類別和用戶類別兩大類別。運里 并不限定劃分兩個類別，可W根據(jù)需要不劃分類別、或者劃分為=個W上的類別等等。
[0035] 每個類別中還可W進一步包含一個或多個子類別，W對各個類別進行具體的區(qū) 分，例如，對于新開發(fā)的購買產(chǎn)品的應用APP，其事件類別可W進一步分為啟動應用事件、注 冊會員事件、瀏覽產(chǎn)品事件、購買產(chǎn)品事件、綁定銀行卡事件等具體事件運些子類別。
[0036] 每個子類別可W分別具有多種屬性，所述屬性可W包括預置屬性和/或自定義屬 性。每種屬性包含屬性名及屬性值，每種屬性的屬性值的數(shù)據(jù)類型都只能是一種數(shù)據(jù)類 型，而不能為兩種或兩種W上的數(shù)據(jù)類型，且數(shù)據(jù)類型是固定不變的，例如，本發(fā)明的數(shù)據(jù) 類型可W包括數(shù)字類型(numerical)、字符串類型（S化ing)、日期類型（data)、日期時間類 型(datatime)、布爾類型（boolean)、W及由字符串集合而形成的復合類型(Xist)等等。例 如，對于"購買產(chǎn)品"事件的一個事件屬性"設備類型"，其屬性值只能為"蘋果"、"立星"、"華 為"等字符串，如果所采集到的該屬性的屬性值為"12"運樣一個數(shù)字，則該"12"的屬性值則 被視為異?；蝈e誤。
[0037] 所述預置屬性是某一數(shù)據(jù)類別下所有子類別都共同包含的屬性，其被預先設定 好，例如其對應的屬性值的數(shù)據(jù)類型W及存儲位置都會預先在元數(shù)據(jù)記錄裝置130中記錄 好，不能再被改變。例如，對于事件運一類別下的所有具體事件（即子類別），如果都需要獲 取購買者使用的設備制造商、設備型號、省份、城市等屬性的數(shù)據(jù)，則將運些屬性都可W設 置為預置屬性，運樣，每當采集事件類別有關的數(shù)據(jù)時，對于所有具體事件，都會采集運些 屬性的數(shù)據(jù)。
[0038] 自定義屬性，是用戶自己根據(jù)需要設置的，既可W在程序安裝前就設置好，也可W 在程序安裝之后再設置。對于在程序安裝前設置好的自定義屬性，其對應的的數(shù)據(jù)類型、W 及存儲位置都已經(jīng)事先確定（即后面提及的元數(shù)據(jù)信息已經(jīng)事先記錄好）。在程序安裝之 后，可W根據(jù)需要添加、修改、或者刪除自定義屬性，從而增加了程序的靈活性。對于程序安 裝之后設置的自定義屬性，并沒有事先做很多限制，例如并不限制其屬性值對應的數(shù)據(jù)類 型、W及存儲位置。對于每個自定義屬性，其屬性值的數(shù)據(jù)類型由第一次該自定義屬性的屬 性值的數(shù)據(jù)類型確定，一旦確定了數(shù)據(jù)類型，如果采集到的該自定義屬性的屬性值為其它 數(shù)據(jù)類型，則視為異常而被拋棄。而自定義屬性的屬性值的存儲位置從數(shù)據(jù)存儲裝置140中 的可用存儲空間中進行選擇，在選定存儲位置后，則該自定義屬性的所有屬性值都存儲在 該存儲位置。運樣，可W將各類別下各個子類別的數(shù)據(jù)按照屬性而存儲在不同的存儲位置。 對于自定義屬性，例如在"買入黃金"運一事件中，"商品名稱"、"店鋪名稱"、"商品類型"、 "商品價格"等都可W被設置為自定義屬性。
[0039] 由于自定義屬性的設置的靈活性，使得可W根據(jù)需求在任何時候?qū)ψ宇悇e的屬性 進行設置，從而使得能夠采集到想要的數(shù)據(jù)或者將數(shù)據(jù)進行想要的劃分。
[0040] 同樣地，本發(fā)明的數(shù)據(jù)類別、W及數(shù)據(jù)類別中的子類別也可W根據(jù)需要添加、刪 除。
[0041] 由于本發(fā)明的數(shù)據(jù)類別、子類別、子類別的屬性可能根據(jù)需要而變化(添加或者刪 除），從而采集到的數(shù)據(jù)也會發(fā)生變化，對于運些基于類別、子類別、子類別的屬性等被劃分 成的諸多種類的數(shù)據(jù)如何有序地進行存儲決定著能否充分利用所采集的數(shù)據(jù)，例如對于新 出現(xiàn)的自定義屬性的存儲位置的確定、對于已確定存儲位置的自定義屬性的不斷增加的屬 性值的存儲等等都非常重要。
[0042] 由于數(shù)據(jù)獲取裝置110獲取的數(shù)據(jù)可能具有不同的類別、子類別、屬性等等特征， 為了對運些數(shù)據(jù)進行有序的存儲，需要先由數(shù)據(jù)解析裝置120對運些數(shù)據(jù)進行解析，例如解 析出運些數(shù)據(jù)的特征:類別、子類別、屬性(預置屬性和自定義屬性)等等，然后根據(jù)運些數(shù) 據(jù)的特征，確定其在數(shù)據(jù)存儲裝置140中的存儲位置，并在元數(shù)據(jù)記錄裝置130中將數(shù)據(jù)的 特征及存儲位置運些信息記錄成為元數(shù)據(jù)信息，運樣，對于W后具有同樣特征的數(shù)據(jù)則可 W根據(jù)元數(shù)據(jù)記錄裝置130中記錄的相關的元數(shù)據(jù)信息，即可知道存儲在數(shù)據(jù)存儲裝置140 中的相應位置。關于數(shù)據(jù)解析裝置120將在后面結合例子詳細說明。
[0043] 其中，元數(shù)據(jù)記錄裝置130可W是服務器中的存儲設備，主要是用來存儲元數(shù)據(jù)信 息。元數(shù)據(jù)記錄裝置130可W根據(jù)數(shù)據(jù)的類別而分成多個記錄單元，例如，當數(shù)據(jù)類別包含 第一類別和第二類別時，可W將與第一類別數(shù)據(jù)有關的元數(shù)據(jù)信息記錄在第一記錄單元 中，將與第二類別數(shù)據(jù)有關的元數(shù)據(jù)信息記錄在第二記錄單元中。運樣，也方便對不同類別 的數(shù)據(jù)的元數(shù)據(jù)信息的查找。當然，本發(fā)明不限定記錄單元的劃分，元數(shù)據(jù)記錄裝置130也 可W整體作為一個記錄單元。另外，元數(shù)據(jù)信息可W包括不同類別的數(shù)據(jù)的元數(shù)據(jù)信息，還 可W包括不同類別的元數(shù)據(jù)之間的關系的元數(shù)據(jù)信息，還可W包括關于數(shù)據(jù)映射關系的元 數(shù)據(jù)信息等，本發(fā)明并不對此進行限定，可W根據(jù)需要采用適合的方式。例如，對于不同類 別的元數(shù)據(jù)記錄可W通過一個或多個元數(shù)據(jù)表進行描述，多個元數(shù)據(jù)表之間相互關聯(lián)。
[0044] 數(shù)據(jù)存儲裝置140可W由多種存儲設備來實現(xiàn)，當存儲大量數(shù)據(jù)時，也可W由服務 器來實現(xiàn)，例如存儲服務器、Vertica數(shù)據(jù)庫服務器。如前面所述，當需要存儲的數(shù)據(jù)包含多 個類別時，可W將不同的類別分別存儲在數(shù)據(jù)存儲裝置140中的不同存儲單元，例如，當存 在兩種類別的數(shù)據(jù)時，可W將第一類別數(shù)據(jù)存儲在第一存儲單元，將第二類別數(shù)據(jù)存儲在 第二存儲單元中，運樣從類別上將數(shù)據(jù)分別存放，也方便后續(xù)的查詢。運里，存儲單元可W 是數(shù)據(jù)存儲裝置140中的不同的內(nèi)部磁盤空間，也可W-個磁盤空間中不同部分，本發(fā)明對 此并不做任何限定。
[0045] 下面，W數(shù)據(jù)分析為例具體介紹本發(fā)明的數(shù)據(jù)存儲系統(tǒng)。但需要說明的是，本發(fā)明 并不限于用于數(shù)據(jù)分析運一領域，其可W適用于任何需要對存在新的數(shù)據(jù)種類產(chǎn)生的大量 數(shù)據(jù)進行存儲的情形。
[0046] 數(shù)據(jù)分析是指基于大規(guī)模數(shù)據(jù)而做出的統(tǒng)計和分析。在數(shù)據(jù)分析過程中需要采集 大量的數(shù)據(jù)并對其進行統(tǒng)計、分析，其中會設及大量數(shù)據(jù)的存儲。數(shù)據(jù)分析可W根據(jù)不同的 標準進行劃分，通?？蒞包括用于追蹤或記錄用戶行為或業(yè)務過程的事件分析；用于分析 一個多步驟(包括至少兩個W上步驟)過程中每一步的轉(zhuǎn)化與流失情況的漏斗分析;用來分 析用戶參與情況/活躍程度的留存分析;和分析用戶對產(chǎn)品的依賴程度的回訪頻率分析等 等，本發(fā)明并不限于數(shù)據(jù)分析的類型，可W包括所述的運些數(shù)據(jù)分析類型中的一種或多種， 也可W包括除上面所列數(shù)據(jù)分析類型之外的其它數(shù)據(jù)分析類型。
[0047]圖2示出了根據(jù)本發(fā)明的一種實施方式的數(shù)據(jù)分析系統(tǒng)的結構示意圖。如圖2所 示，本發(fā)明的數(shù)據(jù)分析系統(tǒng)200包括數(shù)據(jù)采集系統(tǒng)230、數(shù)據(jù)傳輸系統(tǒng)240、數(shù)據(jù)存儲系統(tǒng) 100、W及數(shù)據(jù)展現(xiàn)系統(tǒng)260。
[004引其中，數(shù)據(jù)采集系統(tǒng)230適于從客戶端210和/或服務器220側采集數(shù)據(jù)。通常，數(shù)據(jù) 采集系統(tǒng)230從客戶端210和/或服務器220側的后端、或者前端和后端采集數(shù)據(jù)(一般只從 前端采集數(shù)據(jù)容易導致采集到的數(shù)據(jù)不全面），可W通過多種方式來實現(xiàn)：
[0049] 第一種方式是批量方式采集數(shù)據(jù)，即一次導入一批數(shù)據(jù)。通常是在客戶端或服務 器中將一段時間的數(shù)據(jù)按照規(guī)定的數(shù)據(jù)格式寫在一個文件中，然后將寫好數(shù)據(jù)的文件上傳 至數(shù)據(jù)采集系統(tǒng)230，數(shù)據(jù)采集系統(tǒng)對數(shù)據(jù)格式、內(nèi)容進行校驗，如果沒有問題，則交付數(shù)據(jù) 傳輸系統(tǒng)240進行處理；
[0050] 第二種方式是通過在客戶端或服務器中的LogAgent實時采集數(shù)據(jù)。LogAgent是獨 立運行的進程，對指定目錄中的日志文件進行追蹤(Tail),將追蹤到的內(nèi)容發(fā)送至數(shù)據(jù)采 集系統(tǒng)230;
[0051 ]第S種方式是通過客戶端210和服務器220側的SDK實時采集數(shù)據(jù)，然后由SDK將采 集到的數(shù)據(jù)發(fā)送至數(shù)據(jù)采集系統(tǒng)230。
[0052] 通常，在不同的設備上可能會安裝不同的SDK。例如，在使用IOS操作系統(tǒng)或安卓操 作系統(tǒng)的客戶端210上安裝Amlroid/IOS的SDK,在使用PC機的客戶端210和服務器220上安 裝化va/PHP/Py thon語言的SDK、在Web端安裝JS語言的SDK。在實際中，數(shù)據(jù)采集系統(tǒng)230可 能通過運幾種SDK同時獲取數(shù)據(jù)。
[0053] 例如，化巾曰/?冊/?八11〇11語言開發(fā)的SDK主要用來獲取PC機端的數(shù)據(jù)，在后端處理 一個業(yè)務邏輯（比如用戶購買行為）后，發(fā)送一條事件有關的數(shù)據(jù)記錄(例如化ack記錄，運 里化ack表示運個記錄與事件有關)給數(shù)據(jù)采集系統(tǒng)230;在用戶