一種對數(shù)據(jù)進行處理的方法、裝置及服務器的制造方法
【專利摘要】本發(fā)明公開了一種對數(shù)據(jù)進行處理的方法、裝置及服務器，屬于計算機領域。所述方法包括：接收終端發(fā)送的查詢語句，查詢語句攜帶待查詢的數(shù)據(jù)的存儲位置信息和處理待查詢的數(shù)據(jù)的處理方式，根據(jù)待查詢的數(shù)據(jù)的存儲位置信息，確定存儲待查詢的數(shù)據(jù)的數(shù)據(jù)庫為數(shù)據(jù)倉庫或存儲引擎；若確定為數(shù)據(jù)倉庫，則將查詢語句發(fā)送給數(shù)據(jù)倉庫，使數(shù)據(jù)倉庫獲取待查詢的數(shù)據(jù)并根據(jù)處理方式對待查詢的數(shù)據(jù)進行處理；若確定為存儲引擎，則將查詢語句發(fā)送給存儲引擎，使存儲引擎獲取待查詢的數(shù)據(jù)并根據(jù)處理方式對待查詢的數(shù)據(jù)進行處理。如此使得存儲引擎和數(shù)據(jù)倉庫可以發(fā)揮各自的優(yōu)勢，能夠節(jié)省對數(shù)據(jù)進行處理的步驟和時間，極大程度節(jié)省了用戶的等待時間和系統(tǒng)資源。
【專利說明】一種對數(shù)據(jù)進行處理的方法、裝置及服務器

【技術領域】
[0001] 本發(fā)明涉及計算機領域，特別涉及一種對數(shù)據(jù)進行處理的方法、裝置及服務器。

【背景技術】
[0002] 數(shù)據(jù)倉庫是一種用于存儲數(shù)據(jù)的數(shù)據(jù)系統(tǒng)且具有數(shù)據(jù)分析的功能，目前常常將其 作為互聯(lián)網(wǎng)后臺的數(shù)據(jù)庫系統(tǒng)，用于存儲海量的數(shù)據(jù)。且數(shù)據(jù)倉庫具有的數(shù)據(jù)分析功能可 以為用戶提供數(shù)據(jù)處理服務。
[0003] 目前，用戶需要查詢并處理數(shù)據(jù)時，用戶將該數(shù)據(jù)的存儲位置和處理方式發(fā)送給 數(shù)據(jù)倉庫，數(shù)據(jù)倉庫根據(jù)該存儲位置獲取該數(shù)據(jù)，并根據(jù)該處理方式對該數(shù)據(jù)進行數(shù)據(jù)。例 如，用戶查詢的數(shù)據(jù)為某公司在2013年發(fā)放的工資，存儲該數(shù)據(jù)的工資表的表名即為該數(shù) 據(jù)的存儲位置，以及處理方式為統(tǒng)計每個員工在2013年領取的總工資，數(shù)據(jù)倉庫根據(jù)該表 名獲取該公司在2013年發(fā)放的工資，并根據(jù)該處理方式統(tǒng)計出每個員工在2013年領取的 總工資。
[0004] 其中，數(shù)據(jù)倉庫對數(shù)據(jù)進行處理的時間級別為分鐘級別，對數(shù)量較大的大數(shù)據(jù)進 行處理時，需要幾分種或更長時間，對數(shù)據(jù)量較小的小數(shù)據(jù)進行處理時，也需要幾分種或 更長時間，這對小數(shù)據(jù)來說處理時間太長，無法滿足小數(shù)據(jù)對處理時間的要求，處理效率較 低。


【發(fā)明內(nèi)容】

[0005] 為了提高對數(shù)據(jù)進行處理的效率，本發(fā)明提供了一種對數(shù)據(jù)進行處理的方法、裝 置及服務器。所述技術方案如下：
[0006] 一種對數(shù)據(jù)進行處理的方法，所述方法包括：
[0007] 接收終端發(fā)送的查詢語句，所述查詢語句攜帶待查詢的數(shù)據(jù)的存儲位置信息和處 理所述待查詢的數(shù)據(jù)的處理方式，所述存儲位置信息至少包括所述待查詢的數(shù)據(jù)所在數(shù)據(jù) 庫表的表名；
[0008] 根據(jù)所述待查詢的數(shù)據(jù)的存儲位置信息，確定存儲所述待查詢的數(shù)據(jù)的數(shù)據(jù)庫， 所述數(shù)據(jù)庫包括數(shù)據(jù)倉庫或存儲引擎；
[0009] 如果確定出為數(shù)據(jù)倉庫，則將所述查詢語句發(fā)送給所述數(shù)據(jù)倉庫，使所述數(shù)據(jù)倉 庫根據(jù)所述存儲位置信息獲取所述待查詢的數(shù)據(jù)并根據(jù)所述處理方式對所述待查詢的數(shù) 據(jù)進行處理；
[0010] 如果確定出為存儲引擎，則將所述查詢語句發(fā)送給存儲所述待查詢的數(shù)據(jù)的存儲 引擎，使所述存儲引擎根據(jù)所述存儲位置信息獲取所述待查詢的數(shù)據(jù)并根據(jù)所述處理方式 對所述待查詢的數(shù)據(jù)進行處理。
[0011] 一種對數(shù)據(jù)進行處理的裝置，所述裝置包括：
[0012] 第一接收模塊，用于接收終端發(fā)送的查詢語句，所述查詢語句攜帶待查詢的數(shù)據(jù) 的存儲位置信息和處理所述待查詢的數(shù)據(jù)的處理方式，所述存儲位置信息至少包括所述待 查詢的數(shù)據(jù)所在數(shù)據(jù)庫表的表名；
[0013] 第一確定模塊，用于根據(jù)所述待查詢的數(shù)據(jù)的存儲位置信息，確定存儲所述待查 詢的數(shù)據(jù)的數(shù)據(jù)庫，所述數(shù)據(jù)庫包括數(shù)據(jù)倉庫或存儲引擎；
[0014] 第一發(fā)送模塊，用于如果確定出為數(shù)據(jù)倉庫，則將所述查詢語句發(fā)送給所述數(shù)據(jù) 倉庫，使所述數(shù)據(jù)倉庫根據(jù)所述存儲位置信息獲取所述待查詢的數(shù)據(jù)并根據(jù)所述處理方式 對所述待查詢的數(shù)據(jù)進行處理；
[0015] 第二發(fā)送模塊，用于如果確定出為存儲引擎，則將所述查詢語句發(fā)送給存儲所述 待查詢的數(shù)據(jù)的存儲引擎，使所述存儲引擎根據(jù)所述存儲位置信息獲取所述待查詢的數(shù)據(jù) 并根據(jù)所述處理方式對所述待查詢的數(shù)據(jù)進行處理。
[0016] 一種對數(shù)據(jù)進行處理的服務器，所述服務器包括：
[0017] 一個或多個處理器；和
[0018] 存儲器；
[0019] 所述存儲器存儲有一個或多個程序，所述一個或多個程序被配置成由所述一個或 多個處理器執(zhí)行，所述一個或多個程序包含用于進行所述一種對數(shù)據(jù)進行處理的方法的指 令。
[0020] 在本發(fā)明實施例中，對數(shù)據(jù)量較大的大數(shù)據(jù)進行處理時，在處理時間上數(shù)據(jù)倉庫 相對于存儲引擎具有很大優(yōu)勢，對數(shù)據(jù)量較小的小數(shù)據(jù)進行處理時，在處理時間上存儲引 擎相對于數(shù)據(jù)倉庫具有很大優(yōu)勢；在數(shù)據(jù)倉庫中加載存儲引擎，使得存儲引擎和數(shù)據(jù)倉庫 可以發(fā)揮各自的優(yōu)勢，解決了數(shù)據(jù)倉庫處理數(shù)據(jù)量較小的小數(shù)據(jù)時在處理時間上的短板， 能夠節(jié)省對數(shù)據(jù)進行處理的處理步驟和處理時間，極大程度減少了用戶的等待時間且節(jié)省 了系統(tǒng)資源。

【專利附圖】

【附圖說明】
[0021] 圖1是本發(fā)明實施例提供的一種存儲系統(tǒng)；
[0022] 圖2是本發(fā)明實施例1提供的一種對數(shù)據(jù)進行處理的方法流程圖；
[0023] 圖3-1是本發(fā)明實施例2提供的一種存儲小數(shù)據(jù)的方法流程圖；
[0024] 圖3-2是本發(fā)明實施例2提供的一種存儲大數(shù)據(jù)的方法流程圖；
[0025] 圖3-3是本發(fā)明實施例2提供的一種存儲數(shù)據(jù)的方法流程圖；
[0026] 圖3-4是本發(fā)明實施例2提供的一種查詢并處理數(shù)據(jù)的方法流程圖；
[0027] 圖3-5是本發(fā)明實施例2提供的一種查詢并處理數(shù)據(jù)的方法流程圖；
[0028] 圖4是本發(fā)明實施例3提供的一種對數(shù)據(jù)進行處理的裝置結構示意圖；
[0029] 圖5是本發(fā)明實施例4提供的一種對數(shù)據(jù)進行處理的服務器結構示意圖。

【具體實施方式】
[0030] 為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結合附圖對本發(fā)明實施方 式作進一步地詳細描述。
[0031] 參見圖1，本發(fā)明實施例提供了一種存儲系統(tǒng)，包括：
[0032] 控制端1、數(shù)據(jù)倉庫2和至少一個存儲引擎3,控制端1可以集成于數(shù)據(jù)倉庫2中。
[0033] 數(shù)據(jù)倉庫是一種用于存儲數(shù)據(jù)的數(shù)據(jù)系統(tǒng)且具有數(shù)據(jù)分析的功能，其在對存儲的 數(shù)據(jù)進行處理時，處理過程繁瑣，具體為：首先將接收的SQL(Structured Query Language, 結構化查詢語言)語句翻譯為多個MapReduce (映射和規(guī)約編程模型)程序；每個MapReduce 程序分別同時初始化各自的進程并啟動初始化的進程，再從數(shù)據(jù)倉庫的數(shù)據(jù)庫表中獲取待 處理的數(shù)據(jù)，然后將待處理的數(shù)據(jù)導入進程中，之后對導入的數(shù)據(jù)進行Map運算和Reduce 運算，其中Map運算為將導入的數(shù)據(jù)按預定方式分組，Reduce運算為將分組后的數(shù)據(jù)按處 理方式進行處理，最終輸出結果，同時要不斷地清理進程在運算過程中得到的臨時結果。 [0034] 數(shù)據(jù)倉庫可以同時運行多個進程，當處理海量數(shù)據(jù)時，在所需的時間上，其相對于 存儲引擎具有很大的優(yōu)勢；但是無論數(shù)據(jù)量多大，都需要按照上述步驟執(zhí)行，因此所需時間 最少也需要幾分鐘。
[0035] 存儲引擎能夠存儲數(shù)據(jù)且能夠按照處理方式對存儲的數(shù)據(jù)進行處理。存儲引擎 具有很強大的統(tǒng)計信息系統(tǒng)和查詢優(yōu)化器，二者結合可以將存儲的數(shù)據(jù)分類并排序，以使 能夠清楚地得到每一類數(shù)據(jù)的存儲位置，在查詢數(shù)據(jù)時的速度非?？欤纯梢杂煤芏痰臅r 間獲取需要查詢的待查詢的數(shù)據(jù)的存儲位置并快速獲取待查詢的數(shù)據(jù)，其獲取數(shù)據(jù)的速度 比數(shù)據(jù)倉庫獲取數(shù)據(jù)的速度快很多，并且存儲引擎能夠直接執(zhí)行SQL語句，并且能夠直接 按照處理方式對獲取的數(shù)據(jù)進行處理，而不需要將接收的SQL語句翻譯為多個MapReduce 程序，不需要初始化各自進程并啟動初始化的進程，不需要將導入的數(shù)據(jù)進行Map運算和 Reduce運算，以及不需要不斷地清理進程在運算過程中得到的臨時結果，因此存儲引擎的 獲取待查詢的數(shù)據(jù)的速度很快且對獲取的數(shù)據(jù)進行處理的處理過程簡便，在處理數(shù)據(jù)量較 小的小數(shù)據(jù)時，耗費時間只需幾毫秒；但是存儲引擎只有一個運算節(jié)點，即只能同時啟動一 個進程，處理數(shù)據(jù)量較大的數(shù)據(jù)不具備優(yōu)勢，通常需要花費幾十分鐘。
[0036] 因此，在處理數(shù)據(jù)量較小的小數(shù)據(jù)時，數(shù)據(jù)倉庫2處理數(shù)據(jù)所需的時間大于存儲 引擎3處理數(shù)據(jù)所需的時間，例如，數(shù)據(jù)倉庫2處理數(shù)據(jù)所需的時間為幾分鐘，大于存儲引 擎3處理數(shù)據(jù)所需的時間幾秒鐘；因此對數(shù)據(jù)量較小的小數(shù)據(jù)進行處理時，在處理時間上 存儲引擎3相對于數(shù)據(jù)倉庫2具有很大優(yōu)勢。
[0037] 在處理數(shù)據(jù)量較大的大數(shù)據(jù)時，存儲引擎3處理數(shù)據(jù)所需的時間大于數(shù)據(jù)倉庫2 處理數(shù)據(jù)所需的時間，例如，存儲引擎3處理數(shù)據(jù)所需的時間為幾十分鐘，大于數(shù)據(jù)倉庫2 處理數(shù)據(jù)所需的時間幾分鐘；因此，對數(shù)據(jù)量較大的大數(shù)據(jù)進行處理時，在處理時間上數(shù)據(jù) 倉庫2相對于存儲引擎3具有很大優(yōu)勢。
[0038] 在數(shù)據(jù)倉庫2中加載存儲引擎3,使得存儲引擎3和數(shù)據(jù)倉庫2可以發(fā)揮各自的優(yōu) 勢，解決了數(shù)據(jù)倉庫2處理數(shù)據(jù)量較小的小數(shù)據(jù)時在處理時間上的短板，能夠節(jié)省對數(shù)據(jù) 進行處理的處理步驟和處理時間，可以極大程度減少用戶的等待時間且節(jié)省系統(tǒng)資源。
[0039] 如果用戶需要存儲數(shù)據(jù)量較小的小數(shù)據(jù)，如數(shù)據(jù)量小于或等于預設閾值的小數(shù) 據(jù)，預設閾值可以為8GBU0GB或12GB等，則可以將小數(shù)據(jù)存儲在存儲引擎3中。
[0040] 如果用戶需要存儲數(shù)據(jù)量較大的大數(shù)據(jù)，如數(shù)據(jù)量大于預設閾值的大數(shù)據(jù)，則可 以將大數(shù)據(jù)存儲在數(shù)據(jù)倉庫2中。
[0041] 在圖1所示的存儲系統(tǒng)中，數(shù)據(jù)倉庫2和存儲引擎3都是一種用于存儲數(shù)據(jù)的數(shù) 據(jù)系統(tǒng)且都可以對存儲的數(shù)據(jù)進行分析。
[0042] 存儲引擎3在處理數(shù)據(jù)量較小的小數(shù)據(jù)時，處理時間很短且一般只需幾毫秒，而 數(shù)據(jù)倉庫2在處理數(shù)據(jù)量較小的小數(shù)據(jù)時，處理時間很長一般至少需要幾分鐘。因此，對數(shù) 據(jù)量較小的小數(shù)據(jù)進行處理時，在處理時間上存儲引擎3相對于數(shù)據(jù)倉庫2具有很大優(yōu)勢， 能夠節(jié)省大量的時間以及系統(tǒng)資源。
[0043] 數(shù)據(jù)倉庫2在處理數(shù)據(jù)量較大的大數(shù)據(jù)時，處理時間很短且一般只需幾分鐘，而 存儲引擎3在處理數(shù)據(jù)量較大的大數(shù)據(jù)時，處理時間很長一般至少需要幾十分鐘。因此，對 數(shù)據(jù)量較大的大數(shù)據(jù)進行處理時，在處理時間上數(shù)據(jù)倉庫2相對于存儲引擎3具有很大優(yōu) 勢，能夠節(jié)省大量的時間以及系統(tǒng)資源。
[0044] 實施例1
[0045] 參見圖2,本發(fā)明實施例提供了一種對數(shù)據(jù)進行處理的方法，該方法用于圖1所示 的存儲系統(tǒng)，該方法流程包括：
[0046] 步驟101 :接收終端發(fā)送的查詢語句，查詢語句攜帶待查詢的數(shù)據(jù)的存儲位置信 息和處理待查詢的數(shù)據(jù)的處理方式，存儲位置信息至少包括待查詢的數(shù)據(jù)所在數(shù)據(jù)庫表的 表名；
[0047] 步驟102 :根據(jù)待查詢的數(shù)據(jù)的存儲位置信息，確定存儲待查詢的數(shù)據(jù)的數(shù)據(jù)庫， 數(shù)據(jù)庫包括數(shù)據(jù)倉庫或存儲引擎；
[0048] 步驟103 :如果確定出為數(shù)據(jù)倉庫，則將查詢語句發(fā)送給數(shù)據(jù)倉庫，使數(shù)據(jù)倉庫根 據(jù)存儲位置信息獲取待查詢的數(shù)據(jù)并根據(jù)處理方式對待查詢的數(shù)據(jù)進行處理；
[0049] 步驟104 :如果確定出為存儲引擎，則將查詢語句發(fā)送給存儲待查詢的數(shù)據(jù)的存 儲引擎，使存儲引擎根據(jù)存儲位置信息獲取待查詢的數(shù)據(jù)并根據(jù)處理方式對待查詢的數(shù)據(jù) 進行處理。
[0050] 在本發(fā)明實施例中，對數(shù)據(jù)量較大的大數(shù)據(jù)進行處理時，在處理時間上數(shù)據(jù)倉庫 相對于存儲引擎具有很大優(yōu)勢，對數(shù)據(jù)量較小的小數(shù)據(jù)進行處理時，在處理時間上存儲引 擎相對于數(shù)據(jù)倉庫具有很大優(yōu)勢；在數(shù)據(jù)倉庫中加載存儲引擎，使得存儲引擎和數(shù)據(jù)倉庫 可以發(fā)揮各自的優(yōu)勢，解決了數(shù)據(jù)倉庫處理數(shù)據(jù)量較小的小數(shù)據(jù)時在處理時間上的短板， 能夠節(jié)省對數(shù)據(jù)進行處理的處理步驟和處理時間，極大程度減少了用戶的等待時間且節(jié)省 了系統(tǒng)資源。
[0051] 實施例2
[0052] 參見圖3-1，如果用戶需要存儲數(shù)據(jù)量小于或等于預設閾值的小數(shù)據(jù)，該小數(shù)據(jù)為 待存儲的數(shù)據(jù)，則首先在存儲引擎中建立一個數(shù)據(jù)庫表，再將待存儲的數(shù)據(jù)存儲在建立的 數(shù)據(jù)庫表中，具體可以按如下201至209的步驟來實現(xiàn)。
[0053] 201 :終端獲取用戶選擇的存儲引擎的標識，發(fā)送第一建表語句給控制端；第一建 表語句至少攜帶該存儲引擎的標識，待創(chuàng)建的數(shù)據(jù)庫表的表名，待創(chuàng)建的數(shù)據(jù)庫表包括的 各列的列名和數(shù)據(jù)類型；
[0054] 用戶需要將待存儲的數(shù)據(jù)存儲在存儲引擎上時，在終端上選擇一個存儲引擎的標 識，以及向終端輸入需要在該存儲引擎上創(chuàng)建的待創(chuàng)建的數(shù)據(jù)庫表的表名和待創(chuàng)建的數(shù)據(jù) 庫表包括的各列的列名和數(shù)據(jù)類型。
[0055] 終端再獲取用戶選擇的存儲引擎的標識，以及接收用戶輸入的待創(chuàng)建的數(shù)據(jù)庫表 的表名和待創(chuàng)建的數(shù)據(jù)庫表包括的各列的列名和數(shù)據(jù)類型，然后再發(fā)送第一建表語句給控 制端。
[0056] 例如，假設預設閾值為10GB，用戶需要存儲AA公司在一月份發(fā)放的工資數(shù)據(jù)，該 工資數(shù)據(jù)為待存儲的數(shù)據(jù)，待存儲的數(shù)據(jù)只占100MB容量，待存儲的數(shù)據(jù)的數(shù)據(jù)量小于預 設閾值10GB，因此用戶可以將待存儲的數(shù)據(jù)存儲在存儲引擎中，具體可以為：用戶首先在 終端上選擇一個存儲引擎的標識為ID1，再向終端輸入需要在該存儲引擎中創(chuàng)建的工資表 的表名為"AA公司-一月份-工資表"，以及工資表包括的各列的列名和數(shù)據(jù)類型，該工資 表包括兩列，第一列的列名為"員工姓名"以及數(shù)據(jù)類型為"string"，第二列的列名為"工 資數(shù)額"以及數(shù)據(jù)類型為"int"。
[0057] 然后終端發(fā)送第一建表語句給控制端，第一建表語句至少攜帶該存儲引擎的標識 ID1，工資表的表名，工資表包括的各列的列名和數(shù)據(jù)類型。
[0058] 202 :控制端接收第一建表語句，獲取第一建表語句攜帶的存儲引擎的標識；
[0059] 進一步地，控制端還獲取第一建表語句攜帶的待創(chuàng)建的數(shù)據(jù)庫表包括的各列的數(shù) 據(jù)類型，從各列的數(shù)據(jù)類型中確定出該存儲引擎不支持的數(shù)據(jù)類型，將確定出的數(shù)據(jù)類型 轉換為該存儲引擎支持的數(shù)據(jù)類型，具體實現(xiàn)如下：
[0060] 控制端獲取第一建表語句攜帶的待創(chuàng)建的數(shù)據(jù)庫表包括的各列的數(shù)據(jù)類型，根據(jù) 第一建表語句攜帶的該存儲引擎的標識，獲取該存儲引擎對應的數(shù)據(jù)類型轉換關系表，該 數(shù)據(jù)類型轉換關系表用于存儲待轉換的數(shù)據(jù)類型與該存儲引擎支持的數(shù)據(jù)類型的對應關 系，例如，表1為某個存儲引擎對應的數(shù)據(jù)類型轉換關系表，第一列為待轉換的數(shù)據(jù)類型， 第二列為該存儲引擎支持的數(shù)據(jù)類型，且第二列中存儲了該存儲引擎支持的所有數(shù)據(jù)類 型。
[0061] 再根據(jù)該數(shù)據(jù)類型轉換關系表，從各列的數(shù)據(jù)類型中確定出該存儲引擎不支持的 數(shù)據(jù)類型，將確定的每個數(shù)據(jù)類型作為待轉換的數(shù)據(jù)類型，并從該數(shù)據(jù)類型轉換關系表中 獲取確定出的每個數(shù)據(jù)類型對應的數(shù)據(jù)類型，將確定的每個數(shù)據(jù)類型分別轉換為各自對應 的數(shù)據(jù)類型。例如，確定出的一個數(shù)據(jù)類型為int，將數(shù)據(jù)類型int作為待轉換的數(shù)據(jù)類型， 并從如表1所示的數(shù)據(jù)類型轉換表中獲取數(shù)據(jù)類型int對應的數(shù)據(jù)類型為integer，將待轉 換的數(shù)據(jù)類型int轉換為數(shù)據(jù)類型integer。
[0062] 表 1
[0063]

【權利要求】
1. 一種對數(shù)據(jù)進行處理的方法，其特征在于，所述方法包括： 接收終端發(fā)送的查詢語句，所述查詢語句攜帶待查詢的數(shù)據(jù)的存儲位置信息和處理所 述待查詢的數(shù)據(jù)的處理方式，所述存儲位置信息至少包括所述待查詢的數(shù)據(jù)所在數(shù)據(jù)庫表 的表名； 根據(jù)所述待查詢的數(shù)據(jù)的存儲位置信息，確定存儲所述待查詢的數(shù)據(jù)的數(shù)據(jù)庫，所述 數(shù)據(jù)庫包括數(shù)據(jù)倉庫或存儲引擎； 如果確定出為數(shù)據(jù)倉庫，則將所述查詢語句發(fā)送給所述數(shù)據(jù)倉庫，使所述數(shù)據(jù)倉庫根 據(jù)所述存儲位置信息獲取所述待查詢的數(shù)據(jù)并根據(jù)所述處理方式對所述待查詢的數(shù)據(jù)進 行處理； 如果確定出為存儲引擎，則將所述查詢語句發(fā)送給存儲所述待查詢的數(shù)據(jù)的存儲引 擎，使所述存儲引擎根據(jù)所述存儲位置信息獲取所述待查詢的數(shù)據(jù)并根據(jù)所述處理方式對 所述待查詢的數(shù)據(jù)進行處理。
2. 如權利要求1所述的方法，其特征在于，所述根據(jù)所述待查詢的數(shù)據(jù)的存儲位置信 息，確定存儲所述待查詢的數(shù)據(jù)的數(shù)據(jù)庫，包括： 根據(jù)所述待查詢的數(shù)據(jù)所在數(shù)據(jù)庫表的表名查找表名列表，所述表名列表用于存儲所 述數(shù)據(jù)倉庫中包括的數(shù)據(jù)庫表的表名； 如果所述表名列表中包括所述待查詢的數(shù)據(jù)所在數(shù)據(jù)庫表的表名，則確定所述待查詢 的數(shù)據(jù)存儲在所述數(shù)據(jù)倉庫中，如果所述表名列表中不包括所述待查詢的數(shù)據(jù)所在數(shù)據(jù)庫 表的表名，則確定所述待查詢的數(shù)據(jù)存儲在存儲引擎中。
3. 如權利要求1所述的方法，其特征在于，所述將所述查詢語句發(fā)送給存儲所述待查 詢的數(shù)據(jù)的存儲引擎，包括： 根據(jù)所述待查詢的數(shù)據(jù)所在數(shù)據(jù)庫表的表名，從已存儲的數(shù)據(jù)庫表的表名與存儲引擎 的標識的對應關系中獲取存儲所述待查詢的數(shù)據(jù)的存儲引擎的標識； 根據(jù)所述存儲引擎的標識，將所述查詢語句發(fā)送給存儲所述待查詢的數(shù)據(jù)的存儲引 擎。
4. 如權利要求1所述的方法，其特征在于，所述方法還包括： 如果所述存儲引擎無法處理所述待查詢的數(shù)據(jù)，則根據(jù)所述待查詢的數(shù)據(jù)的存儲位置 信息，從所述存儲引擎中獲取所述待查詢的數(shù)據(jù)，根據(jù)所述處理方式對所述待查詢的數(shù)據(jù) 進行處理。
5. 如權利要求1所述的方法，其特征在于，所述方法還包括： 接收所述終端發(fā)送的建表語句，所述建表語句至少攜帶存儲引擎的標識，待創(chuàng)建的數(shù) 據(jù)庫表的表名，所述待創(chuàng)建的數(shù)據(jù)庫表包括的各列的列名和數(shù)據(jù)類型； 根據(jù)所述存儲引擎的標識，發(fā)送所述建表語句給所述存儲引擎，使所述存儲引擎創(chuàng)建 所述待創(chuàng)建的數(shù)據(jù)庫表。
6. 如權利要求1所述的方法，其特征在于，所述方法還包括： 接收所述終端發(fā)送的建表語句，所述建表語句至少攜帶待存儲的數(shù)據(jù)的數(shù)據(jù)量大小， 待創(chuàng)建的數(shù)據(jù)庫表的表名，所述待創(chuàng)建的數(shù)據(jù)庫表包括的各列的列名和數(shù)據(jù)類型； 根據(jù)所述數(shù)據(jù)量大小，確定用于存儲所述待存儲的數(shù)據(jù)的數(shù)據(jù)庫； 如果確定出為數(shù)據(jù)倉庫，則在所述數(shù)據(jù)倉庫中創(chuàng)建所述待創(chuàng)建的數(shù)據(jù)庫表； 如果確定出為存儲引擎，則選擇一個存儲引擎的標識，根據(jù)所述存儲引擎的標識，發(fā)送 所述建表語句給所述存儲引擎，使所述存儲引擎創(chuàng)建所述待創(chuàng)建的數(shù)據(jù)庫表。
7. 如權利要求6所述的方法，其特征在于，所述根據(jù)所述數(shù)據(jù)量大小，確定用于存儲所 述待存儲的數(shù)據(jù)的數(shù)據(jù)庫，包括： 如果所述數(shù)據(jù)量大小大于預設閾值，則確定用于存儲所述待存儲的數(shù)據(jù)的數(shù)據(jù)庫為數(shù) 據(jù)倉庫； 如果所述數(shù)據(jù)量大小小于或等于所述預設閾值，則確定用于存儲所述待存儲的數(shù)據(jù)的 數(shù)據(jù)庫為存儲引擎。
8. 如權利要求5或6所述的方法，其特征在于，所述根據(jù)所述存儲引擎的標識，發(fā)送所 述建表語句給所述存儲引擎之前，還包括： 從所述待創(chuàng)建的數(shù)據(jù)庫表包括的各列的數(shù)據(jù)類型中確定出所述存儲引擎不支持的數(shù) 據(jù)類型； 在所述建表語句中將所述確定出的數(shù)據(jù)類型轉換為所述存儲引擎支持的數(shù)據(jù)類型。
9. 如權利要求5所述的方法，其特征在于，所述接收終端發(fā)送的建表語句之后，還包 括： 將所述建表語句攜帶的待創(chuàng)建的數(shù)據(jù)庫表的表名和存儲引擎的標識存儲在數(shù)據(jù)庫表 的表名與存儲引擎的標識的對應關系中。
10. -種對數(shù)據(jù)進行處理的裝置，其特征在于，所述裝置包括： 第一接收模塊，用于接收終端發(fā)送的查詢語句，所述查詢語句攜帶待查詢的數(shù)據(jù)的存 儲位置信息和處理所述待查詢的數(shù)據(jù)的處理方式，所述存儲位置信息至少包括所述待查詢 的數(shù)據(jù)所在數(shù)據(jù)庫表的表名； 第一確定模塊，用于根據(jù)所述待查詢的數(shù)據(jù)的存儲位置信息，確定存儲所述待查詢的 數(shù)據(jù)的數(shù)據(jù)庫，所述數(shù)據(jù)庫包括數(shù)據(jù)倉庫或存儲引擎； 第一發(fā)送模塊，用于如果確定出為數(shù)據(jù)倉庫，則將所述查詢語句發(fā)送給所述數(shù)據(jù)倉庫， 使所述數(shù)據(jù)倉庫根據(jù)所述存儲位置信息獲取所述待查詢的數(shù)據(jù)并根據(jù)所述處理方式對所 述待查詢的數(shù)據(jù)進行處理； 第二發(fā)送模塊，用于如果確定出為存儲引擎，則將所述查詢語句發(fā)送給存儲所述待查 詢的數(shù)據(jù)的存儲引擎，使所述存儲引擎根據(jù)所述存儲位置信息獲取所述待查詢的數(shù)據(jù)并根 據(jù)所述處理方式對所述待查詢的數(shù)據(jù)進行處理。
11. 如權利要求10所述的裝置，其特征在于，所述第一確定模塊包括： 查找單元，用于根據(jù)所述待查詢的數(shù)據(jù)所在數(shù)據(jù)庫表的表名查找表名列表，所述表名 列表用于存儲所述數(shù)據(jù)倉庫中包括的數(shù)據(jù)庫表的表名； 第一確定單元，用于如果所述表名列表中包括所述待查詢的數(shù)據(jù)所在數(shù)據(jù)庫表的表 名，則確定所述待查詢的數(shù)據(jù)存儲在所述數(shù)據(jù)倉庫中，如果所述表名列表中不包括所述待 查詢的數(shù)據(jù)所在數(shù)據(jù)庫表的表名，則確定所述待查詢的數(shù)據(jù)存儲在存儲引擎中。
12. 如權利要求10所述的裝置，其特征在于，所述第二發(fā)送模塊包括： 獲取單元，用于根據(jù)所述待查詢的數(shù)據(jù)所在數(shù)據(jù)庫表的表名，從已存儲的數(shù)據(jù)庫表的 表名與存儲引擎的標識的對應關系中獲取存儲所述待查詢的數(shù)據(jù)的存儲引擎的標識； 發(fā)送單元，用于根據(jù)所述存儲引擎的標識，將所述查詢語句發(fā)送給存儲所述待查詢的 數(shù)據(jù)的存儲引擎。
13. 如權利要求10所述的裝置，其特征在于，所述裝置還包括： 處理模塊，用于如果所述存儲引擎無法處理所述待查詢的數(shù)據(jù)，則根據(jù)所述待查詢的 數(shù)據(jù)的存儲位置信息，從所述存儲引擎中獲取所述待查詢的數(shù)據(jù)，根據(jù)所述處理方式對所 述待查詢的數(shù)據(jù)進行處理。
14. 如權利要求10所述的裝置，其特征在于，所述裝置還包括： 第二接收模塊，用于接收所述終端發(fā)送的建表語句，所述建表語句至少攜帶存儲引 擎的標識，待創(chuàng)建的數(shù)據(jù)庫表的表名，所述待創(chuàng)建的數(shù)據(jù)庫表包括的各列的列名和數(shù)據(jù)類 型； 第三發(fā)送模塊，用于根據(jù)所述存儲引擎的標識，發(fā)送所述建表語句給所述存儲引擎，使 所述存儲引擎創(chuàng)建所述待創(chuàng)建的數(shù)據(jù)庫表。
15. 如權利要求10所述的裝置，其特征在于，所述裝置還包括： 第三接收模塊，用于接收所述終端發(fā)送的建表語句，所述建表語句至少攜帶待存儲的 數(shù)據(jù)的數(shù)據(jù)量大小，待創(chuàng)建的數(shù)據(jù)庫表的表名，所述待創(chuàng)建的數(shù)據(jù)庫表包括的各列的列名 和數(shù)據(jù)類型； 第二確定模塊，用于根據(jù)所述數(shù)據(jù)量大小，確定用于存儲所述待存儲的數(shù)據(jù)的數(shù)據(jù) 庫； 第四發(fā)送模塊，用于如果確定出為數(shù)據(jù)倉庫，則在所述數(shù)據(jù)倉庫中創(chuàng)建所述待創(chuàng)建的 數(shù)據(jù)庫表； 第五發(fā)送模塊，用于如果確定出為存儲引擎，則選擇一個存儲引擎的標識，根據(jù)所述存 儲引擎的標識，發(fā)送所述建表語句給所述存儲引擎，使所述存儲引擎創(chuàng)建所述待創(chuàng)建的數(shù) 據(jù)庫表。
16. 如權利要求15所述的裝置，其特征在于，所述第二確定模塊包括： 第二確定單元，用于如果所述數(shù)據(jù)量大小大于預設閾值，則確定用于存儲所述待存儲 的數(shù)據(jù)的數(shù)據(jù)庫為數(shù)據(jù)倉庫； 第三確定單元，用于如果所述數(shù)據(jù)量大小小于或等于所述預設閾值，則確定用于存儲 所述待存儲的數(shù)據(jù)的數(shù)據(jù)庫為存儲引擎。
17. 如權利要求14或15所述的裝置，其特征在于，所述裝置還包括： 第三確定模塊，用于從所述待創(chuàng)建的數(shù)據(jù)庫表包括的各列的數(shù)據(jù)類型中確定出所述存 儲引擎不支持的數(shù)據(jù)類型； 轉換模塊，用于在所述建表語句中將所述確定出的數(shù)據(jù)類型轉換為所述存儲引擎支持 的數(shù)據(jù)類型。
18. 如權利要求14所述的裝置，其特征在于，所述裝置還包括： 存儲模塊，用于將所述建表語句攜帶的待創(chuàng)建的數(shù)據(jù)庫表的表名和存儲引擎的標識存 儲在數(shù)據(jù)庫表的表名與存儲引擎的標識的對應關系中。
19. 一種對數(shù)據(jù)進行處理的服務器，其特征在于，所述服務器包括： 一個或多個處理器；和 存儲器； 所述存儲器存儲有一個或多個程序，所述一個或多個程序被配置成由所述一個或多個 處理器執(zhí)行，所述一個或多個程序包含用于進行如權利要求1至9任一項權利要求所述方 法的指令。
【文檔編號】G06F17/30GK104090901SQ201310756095
【公開日】2014年10月8日 申請日期:2013年12月31日 優(yōu)先權日:2013年12月31日
【發(fā)明者】李巍, 趙偉, 鮑春健 申請人:騰訊數(shù)碼（天津）有限公司