專利名稱：數(shù)據(jù)加載方法以及數(shù)據(jù)加載裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體地，涉及ー種數(shù)據(jù)加載方法以及數(shù)據(jù)加載裝置。
背景技術(shù)：
隨著信息技術(shù)的發(fā)展，數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng)的趨勢(shì)。海量數(shù)據(jù)處理系統(tǒng)ー方面要求數(shù)據(jù)到來(lái)時(shí)能夠盡快入庫(kù)，這就要求在加載時(shí)對(duì)數(shù)據(jù)各方面的檢查和判斷盡量簡(jiǎn)単。而另一方面對(duì)數(shù)據(jù)的快速檢索的需求，要求所有的數(shù)據(jù)有規(guī)律地存儲(chǔ)，并且根據(jù)常用查詢和檢索條件建立索引，以便能在需要的時(shí)候快速得到查詢結(jié)果。如果在數(shù)據(jù)加載的同時(shí)對(duì)其進(jìn)行索引和存儲(chǔ)方面的優(yōu)化，勢(shì)必需要分析和計(jì)算入庫(kù)數(shù)據(jù)的特征，井根據(jù)這些特征進(jìn)行有序組織，這樣就大大限制了數(shù)據(jù)的寫入速度，使得數(shù)據(jù)高速加載和按序組織(索引更新等操作)之間存在矛盾。

發(fā)明內(nèi)容
為解決現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提供了ー種數(shù)據(jù)加載方法和數(shù)據(jù)加載裝置，使得能夠提高數(shù)據(jù)加載的效率。根據(jù)本發(fā)明的一方面，提供了ー種數(shù)據(jù)加載方法，包括

步驟A，將要加載數(shù)據(jù)批量加載到臨時(shí)數(shù)據(jù)表中；步驟B，根據(jù)預(yù)設(shè)定的時(shí)間間隔將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到中間數(shù)據(jù)表中；步驟C，對(duì)置放到所述中間數(shù)據(jù)表中的數(shù)據(jù)創(chuàng)建索引；以及步驟D，將已創(chuàng)建索引的數(shù)據(jù)從所述中間數(shù)據(jù)表置換到目標(biāo)數(shù)據(jù)表中。在可選實(shí)施例中，所述臨時(shí)數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表中按時(shí)間范圍進(jìn)行分區(qū)且分區(qū)策略相同，其中，Partn分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(Tn+ Tn]之間的數(shù)據(jù)，其中，Tlri表示上一周期的末時(shí)刻，Tn表示當(dāng)前周期的末時(shí)刻，n > I, Partn分區(qū)表示當(dāng)前分區(qū)；步驟A包括根據(jù)數(shù)據(jù)中所帯的時(shí)間標(biāo)志將按時(shí)間順序到達(dá)的數(shù)據(jù)寫入到臨時(shí)數(shù)據(jù)表中的Partn分區(qū)；步驟B包括將所述臨時(shí)數(shù)據(jù)表中的Partn分區(qū)的數(shù)據(jù)置換到第一中間數(shù)據(jù)表中；步驟C包括在所述第一中間數(shù)據(jù)表上為所述第一中間數(shù)據(jù)表中的數(shù)據(jù)建立索引；以及步驟D包括將已建立索引的所述第一中間數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中的Partn分區(qū)中。在可選實(shí)施例中，所述臨時(shí)數(shù)據(jù)表和所述目標(biāo)數(shù)據(jù)表按時(shí)間范圍進(jìn)行分區(qū)且分區(qū)策略相同，其中，Partlri分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(Tn_2，Tn_J之間的數(shù)據(jù)，Partn分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(TlriJn]之間的數(shù)據(jù)；所述臨時(shí)數(shù)據(jù)表包括Partlri分區(qū)，Partn分區(qū)，Partn+1分區(qū)，…，Partn+k分區(qū)；目標(biāo)數(shù)據(jù)表中分區(qū)根據(jù)設(shè)計(jì)要求而定；其中，Tlri表示上一周期的末時(shí)刻，Tn表示當(dāng)前周期的末時(shí)刻，Partn分區(qū)表示當(dāng)前分區(qū)，n > I, k > O ；步驟A包括根據(jù)數(shù)據(jù)中所帯的時(shí)間標(biāo)志將按時(shí)間順序到達(dá)的數(shù)據(jù)寫入到臨時(shí)數(shù)據(jù)表中的Partn分區(qū)，以及將延遲到來(lái)的數(shù)據(jù)寫入到Partlri分區(qū)；步驟B包括將所述臨時(shí)數(shù)據(jù)表中Partn分區(qū)的數(shù)據(jù)置換到第一中間數(shù)據(jù)表中，以及，將所述臨時(shí)數(shù)據(jù)表中Partlri分區(qū)的數(shù)據(jù)置換到第二中間數(shù)據(jù)表中；步驟C包括在所述第一中間數(shù)據(jù)表上為所述第一中間數(shù)據(jù)表中的數(shù)據(jù)建立索引，步驟D包括將已建立索引的所述第一中間數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中的Partn分區(qū)中；以及在步驟B之后還包括步驟將所述第二中間數(shù)據(jù)表中的數(shù)據(jù)插入到所述目標(biāo)數(shù)據(jù)表中的Partlri分區(qū)中。在可選實(shí)施例中，所述數(shù) 據(jù)加載方法在步驟A之后還包括在接收到不在中間數(shù)據(jù)表建立索引的指示吋，將臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到目標(biāo)數(shù)據(jù)表中；以及，在所述目標(biāo)數(shù)據(jù)表中為所述數(shù)據(jù)創(chuàng)建索引。根據(jù)本發(fā)明的另一方面，還提供了ー種數(shù)據(jù)加載裝置，包括初始加載単元，用于將要加載數(shù)據(jù)批量加載到臨時(shí)數(shù)據(jù)表中；第一索引建立単元，用于根據(jù)預(yù)設(shè)定的時(shí)間間隔將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到中間數(shù)據(jù)表中，以及對(duì)置放到所述中間數(shù)據(jù)表中的數(shù)據(jù)創(chuàng)建索引；目標(biāo)加載単元，用于將已創(chuàng)建索引的數(shù)據(jù)從所述中間數(shù)據(jù)表置換到目標(biāo)數(shù)據(jù)表中。在可選實(shí)施例中，所述臨時(shí)數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表中按時(shí)間范圍進(jìn)行分區(qū)且分區(qū)策略相同，其中，Partn分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(Tn+ Tn]之間的數(shù)據(jù)，其中，Tlri表示上一周期的末時(shí)刻，Tn表示當(dāng)前周期的末時(shí)刻，n > I, Partn分區(qū)表示當(dāng)前分區(qū)；所述初始加載單元進(jìn)ー步用于根據(jù)數(shù)據(jù)中所帯的時(shí)間標(biāo)志將按時(shí)間順序到達(dá)的數(shù)據(jù)寫入到臨時(shí)數(shù)據(jù)表中的Partn分區(qū)；所述第一索引建立単元進(jìn)ー步用于將所述臨時(shí)數(shù)據(jù)表中的Partn分區(qū)的數(shù)據(jù)置換到第一中間數(shù)據(jù)表中，以及，在所述第一中間數(shù)據(jù)表上為所述第一中間數(shù)據(jù)表中的數(shù)據(jù)建立索引；所述目標(biāo)加載單元進(jìn)ー步用于將已建立索引的所述第一中間數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中的Partn分區(qū)中。在可選實(shí)施例中，所述臨時(shí)數(shù)據(jù)表和所述目標(biāo)數(shù)據(jù)表按時(shí)間范圍進(jìn)行分區(qū)且分區(qū)策略相同，其中，Partlri分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(Tn_2，Tn_J之間的數(shù)據(jù)，Partn分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(TlriJn]之間的數(shù)據(jù)；所述臨時(shí)數(shù)據(jù)表包括Partlri分區(qū)，Partn分區(qū)，Partn+1分區(qū)，…，Partn+k分區(qū)；目標(biāo)數(shù)據(jù)表中分區(qū)根據(jù)設(shè)計(jì)要求而定；其中，Tlri表示上一周期的末時(shí)刻，Tn表示當(dāng)前周期的末時(shí)刻，Partn分區(qū)表示當(dāng)前分區(qū)，n > I, k > 0 ；所述初始加載單元進(jìn)ー步用于根據(jù)數(shù)據(jù)中所帯的時(shí)間標(biāo)志將按時(shí)間順序到達(dá)的數(shù)據(jù)寫入到臨時(shí)數(shù)據(jù)表中的Partn分區(qū)，以及將延遲到來(lái)的數(shù)據(jù)寫入到Partlri分區(qū)；所述第一索引建立単元進(jìn)ー步用于將所述臨時(shí)數(shù)據(jù)表中Partn分區(qū)的數(shù)據(jù)置換到第一中間數(shù)據(jù)表中，以及，在所述第一中間數(shù)據(jù)表上為所述第一中間數(shù)據(jù)表中的數(shù)據(jù)建立索引；所述數(shù)據(jù)加載裝置還包括延遲數(shù)據(jù)處理単元，用于將所述臨時(shí)數(shù)據(jù)表中Partlri分區(qū)的數(shù)據(jù)置換到第二中間數(shù)據(jù)表中；所述目標(biāo)加載單元進(jìn)ー步用于將已建立索引的所述第一中間數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中的Partn分區(qū)中；以及，還用于將所述第二中間數(shù)據(jù)表中的數(shù)據(jù)插入到所述目標(biāo)數(shù)據(jù)表中的Partlri分區(qū)中。在可選實(shí)施例中，所述初始加載單元，還用于在接收到不在中間數(shù)據(jù)表建立索引的指示時(shí)，發(fā)送不執(zhí)行操作的指示給所述第一索引建立單元以及發(fā)送執(zhí)行操作的指示給所述目標(biāo)加載單元；所述目標(biāo)加載單元，還用于在接收到所述初始加載單元的執(zhí)行操作指示時(shí)，將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中；以及，所述數(shù)據(jù)加載裝置還包括第二索引建立単元，用于在所述目標(biāo)數(shù)據(jù)表中為所述數(shù)據(jù)創(chuàng)建索弓I。根據(jù)本發(fā)明的又一方面，還提供了ー種數(shù)據(jù)加載裝置，包括初始加載単元，用于將要加載數(shù)據(jù)批量加載到臨時(shí)數(shù)據(jù)表中；目標(biāo)加載単元，用于將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到目標(biāo)數(shù)據(jù)表中；以及，索引建立単元，用于在所述目標(biāo)數(shù)據(jù)表中為所述數(shù)據(jù)創(chuàng)建索引。根據(jù)本發(fā)明的再一方面，還提供了ー種數(shù)據(jù)加載方法，包括將要加載數(shù)據(jù)批量加載到臨時(shí)數(shù)據(jù)表中；以及，將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到目標(biāo)數(shù)據(jù)表中，并在所述目標(biāo)數(shù)據(jù)表中為所述數(shù)據(jù)創(chuàng)建索引。本發(fā)明實(shí)施例通過(guò)將數(shù)據(jù)寫入和創(chuàng)建索引兩個(gè)階段分離開來(lái)，使得數(shù)據(jù)寫入時(shí)不直接更新數(shù)據(jù)的索引狀態(tài)，由于數(shù)據(jù)寫入時(shí)不帶索引，因此可以采用批量加載的方式進(jìn)行，從而能夠提高數(shù)據(jù)寫入的性能。此外，由于在后續(xù)階段性地對(duì)寫入的數(shù)據(jù)集中創(chuàng)建索引，因此也可以提高數(shù)據(jù)寫入時(shí)索引維護(hù)的性能。


圖1是根據(jù)本發(fā)明ー實(shí)施例的數(shù)據(jù)加載方法的流程示意圖。圖2是根據(jù)本發(fā)明又一實(shí)施例的數(shù)據(jù)加載方法的流程示意圖。圖3是常見(jiàn)的延遲數(shù)據(jù)的分布規(guī)律。圖4是根據(jù)本發(fā)明又一實(shí)施例的數(shù)據(jù)加載方法的流程示意圖。圖5是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)加載方法的ー個(gè)實(shí)例。圖6是根據(jù)本發(fā)明ー實(shí)施例的數(shù)據(jù)加載裝置的結(jié)構(gòu)示意圖。圖7是根據(jù)本發(fā)明又一實(shí)施例的數(shù)據(jù)加載裝置的結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行進(jìn)ー步地詳細(xì)說(shuō)明。圖1是根據(jù)本發(fā)明ー實(shí)施例的數(shù)據(jù)加載方法的流程示意圖。如圖1所示，所述數(shù)據(jù)加載方法包括S101，將要加載數(shù)據(jù)批量加載到臨時(shí)數(shù)據(jù)表中；S102，根據(jù)預(yù)設(shè)定的時(shí)間間隔將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到中間數(shù)據(jù)表中；S103，對(duì)置放到所述中間數(shù)據(jù)表中的數(shù)據(jù)創(chuàng)建索引；
S104，將已創(chuàng)建索引的數(shù)據(jù)從所述中間數(shù)據(jù)表置換到目標(biāo)數(shù)據(jù)表中。在本發(fā)明實(shí)施例中，要加載數(shù)據(jù)在加載時(shí)不直接更新數(shù)據(jù)庫(kù)中的索引狀態(tài)，而是首先將要加載數(shù)據(jù)寫入到不帶索引的臨時(shí)數(shù)據(jù)表中。由于數(shù)據(jù)寫入時(shí)無(wú)需建立索引，因此可以采用批量加載的方式進(jìn)行加速，提高寫入性能。然后，可以定時(shí)將臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到中間數(shù)據(jù)表，并且在中間數(shù)據(jù)表上為所述數(shù)據(jù)集中創(chuàng)建索引。在將臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到中間數(shù)據(jù)表后，可以丟棄臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)。接著，將已創(chuàng)建索引的數(shù)據(jù)從中間數(shù)據(jù)表置換到目標(biāo)數(shù)據(jù)表中。由于本發(fā)明實(shí)施例的數(shù)據(jù)加載方法在對(duì)數(shù)據(jù)集中創(chuàng)建索引的同時(shí)，還可以將新接收到的要加載數(shù)據(jù)加載到臨時(shí)數(shù)據(jù)表中，由于可以并行處理，因此與現(xiàn)有技術(shù)中的數(shù)據(jù)加載時(shí)更新索引相比，可以提高索引創(chuàng)建和維護(hù)性能。本發(fā)明實(shí)施例可以適用于對(duì)用戶歷史行為分析和統(tǒng)計(jì)類型應(yīng)用，例如，電話通信記錄、銀行交易記錄數(shù)據(jù)、傳感器網(wǎng)絡(luò)的數(shù)據(jù)以及移動(dòng)互聯(lián)網(wǎng)行為數(shù)據(jù)的加載優(yōu)化等應(yīng)用。在本發(fā)明可選實(shí)施例中，所述數(shù)據(jù)加載方法還可以包括在步驟SlOl之后，如果接收到不在中間數(shù)據(jù)表建立索引的指示，則將臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到目標(biāo)數(shù)據(jù)表中；以及，在所述目標(biāo)數(shù)據(jù)表中為所述數(shù)據(jù)創(chuàng)建索引。圖2是根據(jù)本發(fā)明又一實(shí)施例的數(shù)據(jù)加載方法的流程示意圖。如圖2所示，該數(shù)據(jù)加載方法包括S201，根據(jù)數(shù)據(jù)中所帯的時(shí)間標(biāo)志將數(shù)據(jù)寫入到臨時(shí)數(shù)據(jù)表中的Tn分區(qū)。在本發(fā)明實(shí)施例中，臨時(shí)數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表按時(shí)間范圍分區(qū)且分區(qū)策略相同，因此每個(gè)分區(qū)的大小相同。Partn分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(UJ之間的數(shù)據(jù)，Tlri表示上一周期的末時(shí)刻，Tn表示當(dāng)前周期的末時(shí)刻，Partn分區(qū)表示當(dāng)前分區(qū)，n> I。例如以月為時(shí)間范圍進(jìn)行分區(qū)，Partn分區(qū)用于存儲(chǔ)上個(gè)月至本月之間的數(shù)據(jù)。S202，將臨時(shí)數(shù)據(jù)表中的Partn分區(qū)的數(shù)據(jù)置換到第一中間數(shù)據(jù)表中。S203，在第一中間數(shù)據(jù)表上為所述第一中間數(shù)據(jù)表中的數(shù)據(jù)建立索引。S204，將已建立索引的所述第一中間數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中的Partn分區(qū)中。在本發(fā)明實(shí)施例中，所有的數(shù)據(jù)記錄都帶有時(shí)間標(biāo)志。目標(biāo)數(shù)據(jù)表按照時(shí)間范圍進(jìn)行分區(qū)。此外，在分區(qū)表上創(chuàng)建局部索引，即每個(gè)數(shù)據(jù)分區(qū)對(duì)應(yīng)ー個(gè)索引分區(qū)。在進(jìn)行分區(qū)交換時(shí)，只需臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)滿足目標(biāo)數(shù)據(jù)表的分區(qū)特征，就可以進(jìn)行分區(qū)交換。在本發(fā)明實(shí)施例中，分區(qū)交換策略通過(guò)修改數(shù)據(jù)庫(kù)的數(shù)據(jù)字典，可快速完成臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)到索引數(shù)據(jù)表的數(shù)據(jù)切換。其中，數(shù)據(jù)字典是數(shù)據(jù)庫(kù)中描述數(shù)據(jù)對(duì)象定義和存儲(chǔ)位置的元數(shù)據(jù)信息，在分區(qū)交換過(guò)程中，不涉及到數(shù)據(jù)塊的遷移，只是修改交換雙方的數(shù)據(jù)對(duì)象的名字信息，故而效率非常高。采用本發(fā)明實(shí)施例的延遲索引的方式，數(shù)據(jù)從進(jìn)入到數(shù)據(jù)庫(kù)系統(tǒng)到可查詢必要有ー個(gè)分區(qū)的延遲，因此分區(qū)不適選擇太大。通常來(lái)講，ー個(gè)分區(qū)的時(shí)間范圍加上延遲索引的時(shí)間必須小于數(shù)據(jù)庫(kù)系統(tǒng)允許的延遲。在實(shí)驗(yàn)中，發(fā)明人發(fā)現(xiàn)對(duì)于大多數(shù)應(yīng)用系統(tǒng)，加載數(shù)據(jù)到臨時(shí)數(shù)據(jù)表由于沒(méi)有索引，因此數(shù)據(jù)加載的壓力相對(duì)較小，因而延遲索引的時(shí)間很短。一般情況下，延遲索引的時(shí)間不到原數(shù)據(jù)加載時(shí)間的20%，因此，時(shí)間分區(qū)大小的選擇只要不超過(guò)系統(tǒng)要求的80%即可滿足要求。
對(duì)于一般的數(shù)據(jù)高速寫到達(dá)的應(yīng)用系統(tǒng)，查詢對(duì)于時(shí)間區(qū)間較敏感，因此采用按照時(shí)間進(jìn)行分區(qū)的方法。然而，也根據(jù)設(shè)計(jì)要求，按照其他方式對(duì)臨時(shí)數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表進(jìn)行分區(qū)。此外，發(fā)明人發(fā)現(xiàn)(I)大部分?jǐn)?shù)據(jù)流按照一定的時(shí)序到達(dá)，小部分?jǐn)?shù)據(jù)可能由于傳輸或其他原因?qū)е卵舆t到達(dá)，這會(huì)造成少量數(shù)據(jù)落在其他時(shí)間分區(qū)內(nèi)，給交換分區(qū)的實(shí)現(xiàn)帶來(lái)一定的誤差或難度；(2)數(shù)據(jù)是不斷地到達(dá)數(shù)據(jù)庫(kù)系統(tǒng)中的，所以數(shù)據(jù)在加載的過(guò)程中，不允許對(duì)數(shù)據(jù)庫(kù)相關(guān)的數(shù)據(jù)字典進(jìn)行修改。圖3是常見(jiàn)的延遲數(shù)據(jù)的分布規(guī)律。在數(shù)據(jù)高速寫入的系統(tǒng)中，數(shù)據(jù)延遲符合長(zhǎng)尾分布，例如短信系統(tǒng)中，絕大部分短信息是實(shí)時(shí)收發(fā)的，只有少量的短信息會(huì)出現(xiàn)延遲。因此，可以知道大部分?jǐn)?shù)據(jù)在非常短的延遲內(nèi)到達(dá)，只有少量的數(shù)據(jù)延遲比較大，所以數(shù)據(jù)的到達(dá)是ー種基本有序的數(shù)據(jù)寫入。但是，也會(huì)出現(xiàn)數(shù)據(jù)延遲和亂序的情況，延遲到達(dá)的數(shù)據(jù)會(huì)修改系統(tǒng)中現(xiàn)有的數(shù)據(jù)集合，因此需要對(duì)已創(chuàng)建好的索引進(jìn)行更新。針對(duì)會(huì)出現(xiàn)少量數(shù)據(jù)延遲和亂序的問(wèn)題，本發(fā)明進(jìn)一歩地提出了一種數(shù)據(jù)加載方法的實(shí)施例。圖4是根據(jù)本發(fā)明又一實(shí)施例的數(shù)據(jù)加載方法的流程示意圖。如圖4所示，該數(shù)據(jù)加載方法包括步驟S401，根據(jù)數(shù)據(jù)中所帯的時(shí)間標(biāo)志將按時(shí)間順序到達(dá)的數(shù)據(jù)寫入到臨時(shí)數(shù)據(jù)表中的Partn分區(qū)，以及將延遲到來(lái)的數(shù)據(jù)寫入到Partlri分區(qū)。在本實(shí)施例中，數(shù)據(jù)加載方法包括使用臨時(shí)數(shù)據(jù)表、中間數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表來(lái)進(jìn)行加載，其中，臨時(shí)數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表中的數(shù)據(jù)按時(shí)間范圍分區(qū)存放，且分區(qū)策略相同。因此分區(qū)的大小也相同。要加載數(shù)據(jù)之間寫入臨時(shí)數(shù)據(jù)表，臨時(shí)數(shù)據(jù)表上沒(méi)有索引。Partn分區(qū)為當(dāng)前分區(qū)，存儲(chǔ)時(shí)間標(biāo)志在(Tlri, Tn]之間的數(shù)據(jù)^artlri分區(qū)為當(dāng)前分區(qū)的前ー個(gè)分區(qū)，即存儲(chǔ)時(shí)間標(biāo)志在(Tn_2，Tn_J之間的數(shù)據(jù)。其中，Tlri表示上一周期的末時(shí)刻，Tn表示當(dāng)前周期的末時(shí)刻。在本發(fā)明實(shí)施例中，臨時(shí)數(shù)據(jù)表保留Partlri分區(qū)之后的分區(qū)，包括Partlri分區(qū)，Partn分區(qū)，Partn+1分區(qū)，…，Tn+k分區(qū)，k > O。而目標(biāo)數(shù)據(jù)表根據(jù)設(shè)計(jì)要求保留需要的時(shí)間段的分區(qū)或者所有的分區(qū)，例如包括Partlri分區(qū)，Part2分區(qū)，…，Partlri分區(qū)，Partn分區(qū)，Partn+1 分區(qū)， ，Partn+k 分區(qū)，k > O。在本實(shí)施例中，按時(shí)間順序到達(dá)的數(shù)據(jù)寫入臨時(shí)數(shù)據(jù)表中的Partni區(qū)，小部分延遲到來(lái)的數(shù)據(jù)由于時(shí)間標(biāo)志在當(dāng)前分區(qū)Partn分區(qū)的時(shí)間范圍之前，因此寫入臨時(shí)數(shù)據(jù)表中的Partlri分區(qū)。當(dāng)?shù)竭_(dá)Tn時(shí)刻時(shí)，之后到達(dá)的大部分加載數(shù)據(jù)將寫入臨時(shí)數(shù)據(jù)表中的Partn+1 分區(qū)。S402，將臨時(shí)數(shù)據(jù)表中Partn分區(qū)的數(shù)據(jù)置換第一中間數(shù)據(jù)表中。S403，將所述臨時(shí)數(shù)據(jù)表中Partlri分區(qū)的數(shù)據(jù)置換到第二中間數(shù)據(jù)表中。步驟S402和S403的執(zhí)行順序可以顛倒或者可以同時(shí)進(jìn)行。置換完成后，可以丟棄臨時(shí)數(shù)據(jù)表的Partlri分區(qū)。S404,在第一中間數(shù)據(jù)表上為第一中間數(shù)據(jù)表中的數(shù)據(jù)建立索引。S405，將第二中間數(shù)據(jù)表中的數(shù)據(jù)插入到目標(biāo)數(shù)據(jù)表中的Partlri分區(qū)中。S406, 將已建立索引的第一中間數(shù)據(jù)表中的數(shù)據(jù)置換到目標(biāo)數(shù)據(jù)表中的Partn分區(qū)中。
其中，步驟S404、S405和S406可以以其它的順序執(zhí)行，或者部分步驟可以同時(shí)執(zhí)行。下面根據(jù)本發(fā)明的實(shí)施例更進(jìn)ー步地詳細(xì)介紹ー個(gè)實(shí)例。圖5是根據(jù)本發(fā)明實(shí)施例的數(shù)據(jù)加載方法的ー個(gè)實(shí)例。在本實(shí)例中，加載時(shí)數(shù)據(jù)直接寫入臨時(shí)數(shù)據(jù)表TMP_TAB1，按序到達(dá)的數(shù)據(jù)進(jìn)入分區(qū)Partn,小部分延遲到來(lái)的數(shù)據(jù)由于時(shí)間標(biāo)志在當(dāng)前分區(qū)之前，故寫入分區(qū)Partn+當(dāng)?shù)竭_(dá)時(shí)刻Tn吋，大部分加載數(shù)據(jù)將進(jìn)入TMP_TAB1表的Partn+1分區(qū)，然后進(jìn)行如下操作。I)將TMP_TAB1表的Partn分區(qū)和臨時(shí)數(shù)據(jù)表TMP_TAB2進(jìn)行交換。2)同時(shí)將TMP_TAB1表的Partlri分區(qū)與臨時(shí)數(shù)據(jù)表TMP_TAB3進(jìn)行交換。3)交換完成后，TMP_TAB1表的Partlri分區(qū)就沒(méi)有數(shù)據(jù)了，然后丟棄TMP_TAB1表的Partlri分區(qū)。4)將臨時(shí)數(shù)據(jù)表TMP_TAB3的數(shù)據(jù)插入數(shù)據(jù)表TABl中的相應(yīng)分區(qū)Partlri，插入完成后清空TMP_TAB3表中的數(shù)據(jù)。5)在臨時(shí)數(shù)據(jù)表TMP_TAB2上創(chuàng)建需要的索引，其中，創(chuàng)建索引可以采用數(shù)據(jù)庫(kù)的創(chuàng)建索引的SQL語(yǔ)句實(shí)現(xiàn)。6)將創(chuàng)建完索引的TMP_TAB2表與數(shù)據(jù)表TABl的分區(qū)Partn進(jìn)行交換，交換完成之后，數(shù)據(jù)就進(jìn)入了 TABl表，此時(shí)TMP_TAB2上就沒(méi)有數(shù)據(jù)了，然后丟棄TMP_TAB2表上的索引。在本實(shí)例中，前三步可以通過(guò)修改數(shù)據(jù)字典(即元數(shù)據(jù)信息)完成操作，總的執(zhí)行時(shí)間幾乎可以忽略，第4步和第5步可以并行執(zhí)行，由于臨時(shí)數(shù)據(jù)表TMP_TAB3中的延遲到達(dá)的數(shù)據(jù)是數(shù)據(jù)表TABl中Partlri分區(qū)應(yīng)包括的數(shù)據(jù)的一部分，占整個(gè)加載數(shù)據(jù)的很小的比例，所以采用直接插入的方式對(duì)整個(gè)系統(tǒng)的影響不是很大。而第5步在TMP_TAB2上創(chuàng)建索引，邏輯上既不影響正在加載的數(shù)據(jù)(表TMP_TAB1)，也不影響正在查詢的數(shù)據(jù)(表Tabl)，并且創(chuàng)建索引也可以充分利用并行進(jìn)行優(yōu)化。在本實(shí)例中，由于采用多次交換的策略，因此可以有效的解決加載時(shí)修改數(shù)據(jù)字典和小部分?jǐn)?shù)據(jù)延遲到達(dá)的問(wèn)題。此外，在大規(guī)模數(shù)據(jù)密集型系統(tǒng)系統(tǒng)中，對(duì)于連續(xù)到來(lái)的大數(shù)據(jù)量的存儲(chǔ)管理，必須能夠有效的利用輸入/輸出(I/O)帶寬，因此連續(xù)有序的存儲(chǔ)是必要的。根據(jù)連續(xù)存儲(chǔ)的需求，本實(shí)例通過(guò)將數(shù)據(jù)表TABl和臨時(shí)數(shù)據(jù)表TMP_TAB1創(chuàng)建在相同的表空間上(ー個(gè)表空間表示數(shù)據(jù)庫(kù)中的一個(gè)邏輯存儲(chǔ)單元，通常包含幾個(gè)物理存儲(chǔ)単元，即數(shù)據(jù)文件)，使得數(shù)據(jù)到來(lái)之際存儲(chǔ)在目標(biāo)表空間的數(shù)據(jù)文件上，可以優(yōu)化系統(tǒng)的存儲(chǔ)設(shè)計(jì)，使得連續(xù)到達(dá)的數(shù)據(jù)存儲(chǔ)也是連續(xù)的，從而能夠提高數(shù)據(jù)查詢時(shí)的I/O性能。圖6是根據(jù)本發(fā)明ー實(shí)施例的數(shù)據(jù)加載裝置的結(jié)構(gòu)示意圖。如圖6所示，數(shù)據(jù)加載裝置包括初始加載単元10，用于將要加載數(shù)據(jù)批量加載到臨時(shí)數(shù)據(jù)表中；第一索引建立単元30，用于根據(jù)預(yù)設(shè)定的時(shí)間間隔將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到中間數(shù)據(jù)表中，以及對(duì)置放到所述中間數(shù)據(jù)表中的數(shù)據(jù)創(chuàng)建索引；以及，目標(biāo)加載単元50，用于將已創(chuàng)建索引的數(shù)據(jù)從所述中間數(shù)據(jù)表置換到目標(biāo)數(shù)據(jù)表中。根據(jù)本發(fā)明的另ー實(shí)施例，臨時(shí)數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表中按時(shí)間范圍進(jìn)行分區(qū)且分區(qū)策略相同，其中，Partn分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(Tn+ Tn]之間的數(shù)據(jù)，其中，Tlri表示上一周期的末時(shí)刻，Tn表示當(dāng)前周期的末時(shí)刻，n > I, Partn分區(qū)表示當(dāng)前分區(qū)。
在該實(shí)施例中，初始加載単元10進(jìn)ー步用于根據(jù)數(shù)據(jù)中所帯的時(shí)間標(biāo)志將按時(shí)間順序到達(dá)的數(shù)據(jù)寫入到臨時(shí)數(shù)據(jù)表中的Partn分區(qū)。第一索引建立単元30進(jìn)ー步用于將所述臨時(shí)數(shù)據(jù)表中的Partn分區(qū)的數(shù)據(jù)置換到第一中間數(shù)據(jù)表中，以及，在所述第一中間數(shù)據(jù)表上為所述第一中間數(shù)據(jù)表中的數(shù)據(jù)建立索引。目標(biāo)加載単元50進(jìn)ー步用于將已建立索引的所述第一中間數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中的Partn分區(qū)中。圖7是根據(jù)本發(fā)明又一實(shí)施例的數(shù)據(jù)加載裝置的結(jié)構(gòu)示意圖。如圖7所示，數(shù)據(jù)加載裝置包括初始加載單元10、索引建立單元30、延遲數(shù)據(jù)處理單元40和目標(biāo)加載單元50。初始加載単元10用于根據(jù)數(shù)據(jù)中所帯的時(shí)間標(biāo)志將按時(shí)間順序到達(dá)的數(shù)據(jù)寫入到臨時(shí)數(shù)據(jù)表中的Partn分區(qū)，以及將延遲到來(lái)的數(shù)據(jù)寫入到Partn-1分區(qū)。在本實(shí)施例中，所述臨時(shí)數(shù)據(jù)表和所述目標(biāo)數(shù)據(jù)表按時(shí)間范圍進(jìn)行分區(qū)且分區(qū)策略相同，其中，Partlri分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(Tn_2，Tn_J之間的數(shù)據(jù)，Partn分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(TlriJn]之間的數(shù)據(jù)；所述臨時(shí)數(shù)據(jù)表包括Partlri分區(qū)，Partn分區(qū)，Partn+1分區(qū)， ，Partn+k分區(qū),其中，Tn_2表不上上周期的末時(shí)刻，Tlri表不上一周期的末時(shí)刻，Tn表示當(dāng)前周期的末時(shí)刻，Partn分區(qū)表示當(dāng)前分區(qū)，n > 1，k > O。目標(biāo)數(shù)據(jù)表中分區(qū)根據(jù)設(shè)計(jì)要求而定，可以包括所有的分區(qū)，或者可以包括很長(zhǎng)一段時(shí)間的分區(qū)。第一索引建立単元30用于將所述臨時(shí)數(shù)據(jù)表中Partn分區(qū)的數(shù)據(jù)置換到第一中間數(shù)據(jù)表中，以及，在所述第一中間數(shù)據(jù)表上為所述第一中間數(shù)據(jù)表中的數(shù)據(jù)建立索引。延遲數(shù)據(jù)處理単元40，用于將所述臨時(shí)數(shù)據(jù)表中Partlri分區(qū)的數(shù)據(jù)置換到第二中間數(shù)據(jù)表中；目標(biāo)加載単元50 ，用于將已建立索引的所述第一中間數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中的Partn分區(qū)中；以及，還用于將所述第二中間數(shù)據(jù)表中的數(shù)據(jù)插入到所述目標(biāo)數(shù)據(jù)表中的Partlri分區(qū)中。此外，在用戶大量數(shù)據(jù)寫入時(shí)，如果不存在數(shù)據(jù)亂序到達(dá)的情況或者亂序到達(dá)的情況可以忽略不計(jì)，則可以將分區(qū)索引設(shè)置為無(wú)效，在數(shù)據(jù)完全寫入到目標(biāo)數(shù)據(jù)表時(shí)，集中創(chuàng)建該分區(qū)的索引。根據(jù)本發(fā)明的可選實(shí)施例中，所述數(shù)據(jù)加載裝置還可以包括第二索引建立単元。初始加載単元，在將要加載數(shù)據(jù)加載到臨時(shí)數(shù)據(jù)表后，如果接收到不在中間數(shù)據(jù)表建立索引的指示，則發(fā)送不執(zhí)行操作的指示給第一索引建立単元，同時(shí)向目標(biāo)加載単元發(fā)送執(zhí)行操作的指示。所述目標(biāo)加載單元，還用于在接收到來(lái)自初始加載單元的執(zhí)行操作的指示吋，將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中。第二索引建立単元，用于在所述目標(biāo)數(shù)據(jù)表中為所述數(shù)據(jù)創(chuàng)建索引。根據(jù)本發(fā)明的可選實(shí)施例，還提供了ー種數(shù)據(jù)加載裝置，包括初始加載単元，用于將要加載數(shù)據(jù)批量加載到臨時(shí)數(shù)據(jù)表中；目標(biāo)加載単元，用于將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到目標(biāo)數(shù)據(jù)表中；以及，索引建立単元，用于在所述目標(biāo)數(shù)據(jù)表中為所述數(shù)據(jù)創(chuàng)建索引。本發(fā)明實(shí)施例的數(shù)據(jù)加載裝置的進(jìn)ー步詳細(xì)描述可參見(jiàn)本申請(qǐng)的數(shù)據(jù)加載方法的相關(guān)部分的描述，在此不再贅述?，F(xiàn)有技術(shù)中在加載數(shù)據(jù)同時(shí)更新索引導(dǎo)致加載速度很慢，而本發(fā)明將加載和索引分成兩個(gè)單獨(dú)的階段，使得加載和索引可以并行處理，提高了將數(shù)據(jù)到目標(biāo)數(shù)據(jù)表的效率。表I顯示了壓カ測(cè)試下帶索引的數(shù)據(jù)寫入時(shí)間統(tǒng)計(jì)、無(wú)索引的數(shù)據(jù)寫入時(shí)間統(tǒng)計(jì)以及采用延遲索引的數(shù)據(jù)寫入時(shí)間統(tǒng)計(jì)，其中測(cè)試記錄數(shù)為50萬(wàn)條，時(shí)間單位為S。表I
權(quán)利要求
1.一種數(shù)據(jù)加載方法，包括 步驟A，將要加載數(shù)據(jù)批量加載到臨時(shí)數(shù)據(jù)表中； 步驟B，根據(jù)預(yù)設(shè)定的時(shí)間間隔將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到中間數(shù)據(jù)表中； 步驟C，對(duì)置放到所述中間數(shù)據(jù)表中的數(shù)據(jù)創(chuàng)建索引；以及 步驟D，將已創(chuàng)建索引的數(shù)據(jù)從所述中間數(shù)據(jù)表置換到目標(biāo)數(shù)據(jù)表中。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)加載方法，其特征在于 所述臨時(shí)數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表中按時(shí)間范圍進(jìn)行分區(qū)且分區(qū)策略相同，其中，Partn分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(Tn+ Tn]之間的數(shù)據(jù)，其中，Tlri表示上一周期的末時(shí)刻，Tn表示當(dāng)前周期的末時(shí)刻，η > I, Partn分區(qū)表示當(dāng)前分區(qū)； 步驟A包括根據(jù)數(shù)據(jù)中所帶的時(shí)間標(biāo)志將按時(shí)間順序到達(dá)的數(shù)據(jù)寫入到臨時(shí)數(shù)據(jù)表中的Partn分區(qū)； 步驟B包括將所述臨時(shí)數(shù)據(jù)表中的Partn分區(qū)的數(shù)據(jù)置換到第一中間數(shù)據(jù)表中； 步驟C包括在所述第一中間數(shù)據(jù)表上為所述第一中間數(shù)據(jù)表中的數(shù)據(jù)建立索引；以及 步驟D包括將已建立索引的所述第一中間數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中的Partn分區(qū)中。
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)加載方法，其特征在于 所述臨時(shí)數(shù)據(jù)表和所述目標(biāo)數(shù)據(jù)表按時(shí)間范圍進(jìn)行分區(qū)且分區(qū)策略相同，其中，Partlri分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(Tn_2，Tn_J之間的數(shù)據(jù)，Partn分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(Tlri, Tn]之間的數(shù)據(jù)；所述臨時(shí)數(shù)據(jù)表包括Partlri分區(qū)，Partn分區(qū)，Partn+1分區(qū)，…，Partn+k分區(qū)；目標(biāo)數(shù)據(jù)表中分區(qū)根據(jù)設(shè)計(jì)要求而定；其中，Tlri表示上一周期的末時(shí)刻，1；表示當(dāng)前周期的末時(shí)刻，Partn分區(qū)表示當(dāng)前分區(qū)，η > I, k > O ； 步驟A包括根據(jù)數(shù)據(jù)中所帶的時(shí)間標(biāo)志將按時(shí)間順序到達(dá)的數(shù)據(jù)寫入到臨時(shí)數(shù)據(jù)表中的Partn分區(qū)，以及將延遲到來(lái)的數(shù)據(jù)寫入到Partlri分區(qū)； 步驟B包括將所述臨時(shí)數(shù)據(jù)表中Partn分區(qū)的數(shù)據(jù)置換到第一中間數(shù)據(jù)表中，以及，將所述臨時(shí)數(shù)據(jù)表中Partlri分區(qū)的數(shù)據(jù)置換到第二中間數(shù)據(jù)表中； 步驟C包括在所述第一中間數(shù)據(jù)表上為所述第一中間數(shù)據(jù)表中的數(shù)據(jù)建立索引，步驟D包括將已建立索引的所述第一中間數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中的Partn分區(qū)中；以及 在步驟B之后還包括步驟將所述第二中間數(shù)據(jù)表中的數(shù)據(jù)插入到所述目標(biāo)數(shù)據(jù)表中的Partlri分區(qū)中。
4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)加載方法，其特征在于，所述數(shù)據(jù)加載方法在步驟A之后還包括 在接收到不在中間數(shù)據(jù)表建立索引的指示時(shí)，將臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到目標(biāo)數(shù)據(jù)表中； 在所述目標(biāo)數(shù)據(jù)表中為所述數(shù)據(jù)創(chuàng)建索引。
5.一種數(shù)據(jù)加載裝置，包括 初始加載單元，用于將要加載數(shù)據(jù)批量加載到臨時(shí)數(shù)據(jù)表中； 第一索引建立單元，用于根據(jù)預(yù)設(shè)定的時(shí)間間隔將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到中間數(shù)據(jù)表中，以及對(duì)置放到所述中間數(shù)據(jù)表中的數(shù)據(jù)創(chuàng)建索引； 目標(biāo)加載單元，用于將已創(chuàng)建索引的數(shù)據(jù)從所述中間數(shù)據(jù)表置換到目標(biāo)數(shù)據(jù)表中。
6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)加載裝置，其特征在于 所述臨時(shí)數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表中按時(shí)間范圍進(jìn)行分區(qū)且分區(qū)策略相同，其中，Partn分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(Tn+ Tn]之間的數(shù)據(jù)，其中，Tlri表示上一周期的末時(shí)刻，Tlri表示上一周期的末時(shí)刻，Tn表示當(dāng)前周期的末時(shí)刻，n > 1，Partn分區(qū)表示當(dāng)前分區(qū)； 所述初始加載單元進(jìn)一步用于根據(jù)數(shù)據(jù)中所帶的時(shí)間標(biāo)志將按時(shí)間順序到達(dá)的數(shù)據(jù)寫入到臨時(shí)數(shù)據(jù)表中的Partn分區(qū)； 所述第一索引建立單元進(jìn)一步用于將所述臨時(shí)數(shù)據(jù)表中的Partn分區(qū)的數(shù)據(jù)置換到第一中間數(shù)據(jù)表中，以及，在所述第一中間數(shù)據(jù)表上為所述第一中間數(shù)據(jù)表中的數(shù)據(jù)建立索引 ; 所述目標(biāo)加載單元進(jìn)一步用于將已建立索引的所述第一中間數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中的Partn分區(qū)中。
7.根據(jù)權(quán)利要求5所述的數(shù)據(jù)加載方法，其特征在于 所述臨時(shí)數(shù)據(jù)表和所述目標(biāo)數(shù)據(jù)表按時(shí)間范圍進(jìn)行分區(qū)且分區(qū)策略相同，其中，Partlri分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(Tn_2，Tn_J之間的數(shù)據(jù)，Partn分區(qū)用于存儲(chǔ)時(shí)間標(biāo)志在(Tlri, Tn]之間的數(shù)據(jù)；所述臨時(shí)數(shù)據(jù)表包括Partlri分區(qū)，Partn分區(qū)，Partn+1分區(qū)，…，Partn+k分區(qū)；目標(biāo)數(shù)據(jù)表中分區(qū)根據(jù)設(shè)計(jì)要求而定；其中，Tlri表示上一周期的末時(shí)刻，1；表示當(dāng)前周期的末時(shí)刻，Partn分區(qū)表示當(dāng)前分區(qū)，η > I, k > O ； 所述初始加載單元進(jìn)一步用于根據(jù)數(shù)據(jù)中所帶的時(shí)間標(biāo)志將按時(shí)間順序到達(dá)的數(shù)據(jù)寫入到臨時(shí)數(shù)據(jù)表中的Partn分區(qū)，以及將延遲到來(lái)的數(shù)據(jù)寫入到Partlri分區(qū)； 所述第一索引建立單元進(jìn)一步用于將所述臨時(shí)數(shù)據(jù)表中Partn分區(qū)的數(shù)據(jù)置換到第一中間數(shù)據(jù)表中，以及，在所述第一中間數(shù)據(jù)表上為所述第一中間數(shù)據(jù)表中的數(shù)據(jù)建立索引 ; 延遲數(shù)據(jù)處理單元，用于將所述臨時(shí)數(shù)據(jù)表中Partlri分區(qū)的數(shù)據(jù)置換到第二中間數(shù)據(jù)表中； 所述目標(biāo)加載單元進(jìn)一步用于將已建立索引的所述第一中間數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中的Partn分區(qū)中；以及，還用于將所述第二中間數(shù)據(jù)表中的數(shù)據(jù)插入到所述目標(biāo)數(shù)據(jù)表中的Partlri分區(qū)中。
8.根據(jù)權(quán)利要求5所述的數(shù)據(jù)加載裝置，還包括 所述初始加載單元，還用于在接收到不在中間數(shù)據(jù)表建立索引的指示時(shí)，發(fā)送不執(zhí)行操作的指示給所述第一索引建立單元以及發(fā)送執(zhí)行操作的指示給所述目標(biāo)加載單元； 所述目標(biāo)加載單元，還用于在接收到所述初始加載單元的執(zhí)行操作指示時(shí)，將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到所述目標(biāo)數(shù)據(jù)表中；以及 第二索引建立單元，用于在所述目標(biāo)數(shù)據(jù)表中為所述數(shù)據(jù)創(chuàng)建索引。
9.一種數(shù)據(jù)加載裝置，包括 初始加載單元，用于將要加載數(shù)據(jù)批量加載到臨時(shí)數(shù)據(jù)表中； 目標(biāo)加載單元，用于將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到目標(biāo)數(shù)據(jù)表中； 索引建立單元，用于在所述目標(biāo)數(shù)據(jù)表中為所述數(shù)據(jù)創(chuàng)建索弓I。
10.一種數(shù)據(jù)加載方法，包括 將要加載數(shù)據(jù)批量加載到臨時(shí)數(shù)據(jù)表中； 將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到目標(biāo)數(shù)據(jù)表中，并在所述目標(biāo)數(shù)據(jù)表中為所述數(shù)據(jù)創(chuàng)建索引。
全文摘要
本發(fā)明公開了一種數(shù)據(jù)加載方法，包括將要加載數(shù)據(jù)批量加載到臨時(shí)數(shù)據(jù)表中；根據(jù)預(yù)設(shè)定的時(shí)間間隔將所述臨時(shí)數(shù)據(jù)表中的數(shù)據(jù)置換到中間數(shù)據(jù)表中；對(duì)置放到所述中間數(shù)據(jù)表中的數(shù)據(jù)創(chuàng)建索引；以及，將已創(chuàng)建索引的數(shù)據(jù)從所述中間數(shù)據(jù)表置換到目標(biāo)數(shù)據(jù)表中。本發(fā)明還公開了一種數(shù)據(jù)加載裝置。采用本發(fā)明，可以提高數(shù)據(jù)加載的效率。
文檔編號(hào)G06F17/30GK103049519SQ201210553778
公開日2013年4月17日 申請(qǐng)日期2012年12月18日 優(yōu)先權(quán)日2012年12月18日
發(fā)明者宋懷明, 楊浩, 苗艷超, 劉新春, 邵宗有 申請(qǐng)人:曙光信息產(chǎn)業(yè)(北京)有限公司