一種數(shù)據(jù)抽取方法和系統(tǒng)以及云平臺的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)通信技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)抽取方法和系統(tǒng)以及云平臺。
【背景技術(shù)】
[0002]隨著云計算技術(shù)的不斷發(fā)展，云計算技術(shù)不斷落地成為支撐各行業(yè)信息技術(shù)發(fā)展的重要支柱。通常，需要用戶將本地系統(tǒng)中的數(shù)據(jù)抽取到云平臺中的數(shù)據(jù)庫中進行保存，比如，傳統(tǒng)的業(yè)務(wù)系統(tǒng)大多構(gòu)建在關(guān)系型數(shù)據(jù)庫之上，可以將用戶本地的關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)轉(zhuǎn)移到云數(shù)據(jù)庫中。此后，則可以實現(xiàn)基于云平臺的各種服務(wù)，比如，用戶共享云平臺的數(shù)據(jù)庫中的數(shù)據(jù)等。
[0003]在將數(shù)據(jù)從用戶本地數(shù)據(jù)庫抽取到云平臺的過程中，如何保證數(shù)據(jù)抽取過程的安全，以便避免各種安全問題，則成為了有待解決的問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明提供一種數(shù)據(jù)抽取方法和系統(tǒng)以及云平臺，能夠提高數(shù)據(jù)從用戶本地抽取到云平臺的安全性。
[0005]為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的:
[0006]一種數(shù)據(jù)抽取方法，包括:
[0007]接收用戶發(fā)來的申請使用kettle工具的請求；
[0008]在hbase表中記錄用戶對應(yīng)的kettle連接權(quán)限；
[0009]形成kerberos認證的配置文件；
[0010]將所述kerberos認證的配置文件打包在kettle工具中發(fā)送給用戶；
[0011]接收用戶通過kettle工具并基于所述kerberos認證的配置文件，發(fā)起的kerberos認證請求；
[0012]認證通過后，根據(jù)所述hbase表中記錄的kettle連接權(quán)限，接收用戶通過kettle工具從本地系統(tǒng)抽取到云平臺的數(shù)據(jù)。
[0013]其中，所述用戶對應(yīng)的kettIe連接權(quán)限包括:用戶標識，用戶可訪問的hbase數(shù)據(jù)庫表單以及用戶可訪問的hbase數(shù)據(jù)庫表單中的表項三者的對應(yīng)關(guān)系；
[0014]在所述接收用戶通過kettle工具從本地系統(tǒng)抽取到云平臺的數(shù)據(jù)之前，進一步包括:
[0015]根據(jù)所述對應(yīng)關(guān)系，判斷所述用戶、當前需要訪問的hbase數(shù)據(jù)庫表單以及當前需要訪問的hbase數(shù)據(jù)庫表單中的表項是否滿足所述對應(yīng)關(guān)系，如果是，則繼續(xù)執(zhí)行所述的接收用戶通過kettle工具從本地系統(tǒng)抽取到云平臺的數(shù)據(jù)，然后存儲該數(shù)據(jù)。
[0016]其中，所述kerberos認證的配置文件中包括:krb文件路徑、用戶票據(jù)文件路徑和用戶principal串；其中，krb文件路徑中包括進行kerberos認證的認證地址和認證方式的信息；
[0017]所述用戶基于所述kerberos認證的配置文件發(fā)起kerberos認證請求包括:所述用戶根據(jù)保存的krb文件路徑向相應(yīng)的認證地址和認證方式發(fā)送kerberos認證請求，并利用用戶票據(jù)文件路徑和用戶principal串進行認證。
[0018]優(yōu)選地，所述kerberos認證的配置文件中進一步包括:表示是否開啟支持kerberos 認證的 kerberos.service, state ；
[0019]該方法進一步包括:所述用戶通過設(shè)置存儲在本地的所述kerberos.service,state的狀態(tài)為開啟on或者關(guān)閉off，來打開或者關(guān)閉kerberos認證。
[0020]可選地，該方法進一步包括:在所述用戶本地，當用戶使用kettle工具中的hbase組件時，kettle根據(jù)所述kerberos認證的配置文件讀取用戶信息，倉Il建訪問hbase表的connect1n。
[0021 ] 優(yōu)選地，該方法進一步包括:
[0022]在所述抽取的數(shù)據(jù)達到預定數(shù)量時，所述kettle工具在云平臺的云數(shù)據(jù)庫中寫入日志，通過日志記錄用戶名、訪問的表名、抽取時間、數(shù)據(jù)量信息中的任意一個或多個；并且，當所述用戶的數(shù)據(jù)抽取結(jié)束時，kettle工具在云平臺的云數(shù)據(jù)庫中寫入相應(yīng)日志。
[0023]—種云平臺，包括:
[0024]交互單元，用于接收用戶發(fā)來的申請使用kettle工具的請求；
[0025]kettle權(quán)限設(shè)置單元，用于在hbase表中記錄用戶對應(yīng)的kettle連接權(quán)限；
[0026]kettle工具下發(fā)單元，用于將形成的kerberos認證的配置文件打包在kettle工具中發(fā)送給用戶；
[0027]kerberos認證單元，用于接收用戶通過kettle工具并基于所述kerberos認證的配置文件，發(fā)起的kerberos認證請求，并進行kerberos認證；
[0028]數(shù)據(jù)抽取處理單元，用于在所述kerberos認證單元的認證通過后，根據(jù)所述hbase表中記錄的kettle連接權(quán)限，接收用戶通過kettle工具從本地系統(tǒng)抽取到云平臺的數(shù)據(jù)。
[0029]其中，所述kettle權(quán)限設(shè)置單元用于設(shè)置用戶標識，用戶可訪問的hbase數(shù)據(jù)庫表單以及用戶可訪問的hbase數(shù)據(jù)庫表單中的表項三者的對應(yīng)關(guān)系；
[0030]所述數(shù)據(jù)抽取處理單元進一步根據(jù)所述對應(yīng)關(guān)系，判斷所述用戶、當前需要訪問的hbase數(shù)據(jù)庫表單以及當前需要訪問的hbase數(shù)據(jù)庫表單中的表項是否滿足所述對應(yīng)關(guān)系，如果是，則繼續(xù)執(zhí)行所述的接收用戶通過kettle工具從本地系統(tǒng)抽取到云平臺的數(shù)據(jù)，然后存儲該數(shù)據(jù)。
[0031]其中，
[0032]所述kerberos認證的配置文件中包括:krb文件路徑、用戶票據(jù)文件路徑和用戶principal串；其中，krb文件路徑中包括進行kerberos認證的認證地址和認證方式的信息;
[0033]所述kerberos認證單元，接收所述用戶根據(jù)保存的krb文件路徑向相應(yīng)的認證地址以相應(yīng)的認證方式發(fā)送的kerberos認證請求，并根據(jù)所述用戶票據(jù)文件路徑和用戶principal串對用戶進行kerberos認證。
[0034]一種數(shù)據(jù)抽取的系統(tǒng)，包括:用戶本地系統(tǒng)以及上述的任意一種云平臺；
[0035]所述用戶本地系統(tǒng)，用于向所述云平臺發(fā)送申請使用kettle工具的請求，下載并保存包含有所述kerberos認證的配置文件的kettle工具包；通過kettle工具并基于所述kerberos認證的配置文件，向所述云平臺發(fā)起kerberos認證請求；在認證通過后，通過kettle工具將本地系統(tǒng)的數(shù)據(jù)抽取到所述云平臺。
[0036]本發(fā)明實施例提供了一種數(shù)據(jù)抽取的方法和系統(tǒng)以及云平臺，能夠使得用戶利用kettle工具將本地系統(tǒng)數(shù)據(jù)抽取到云平臺側(cè)，并且在該過程中，將kettle工具與kerberos認證相結(jié)合，在數(shù)據(jù)抽取到云平臺時，進行kerberos認證，從而大大提高了數(shù)據(jù)從用戶本地抽取到云平臺的安全性。
[0037]另外，在本發(fā)明的實施例中，能夠在云平臺側(cè)而不是用戶系統(tǒng)側(cè)記錄數(shù)據(jù)抽取到云平臺的日志，因此，便于后續(xù)在云平臺側(cè)利用該日志進行數(shù)據(jù)的維護和管理。
[0038]在本發(fā)明的實施例中，在云平臺側(cè)能夠進行雙重安全保證，一是利用kerberos認證配置文件進行的kerberos認證，二是利用hbase表中記錄的用戶對應(yīng)的kettle連接權(quán)限限制用戶只能夠訪問有訪問權(quán)限的表及表項，進一步提高了數(shù)據(jù)抽取過程的安全性。
[0039]在本發(fā)明的實施例中，將Kettle與kerberos安全認證相結(jié)合，并且加入日志記錄，可以為用戶提供一個安全、高效的數(shù)據(jù)轉(zhuǎn)移、處理服務(wù)工具，解決了多用戶向云平臺轉(zhuǎn)移數(shù)據(jù)的問題，具有很好的推廣使用價值。
【附圖說明】
[0040]圖1是本發(fā)明一個實施例中進行數(shù)據(jù)抽取的方法的流程圖。
[0041]圖2是本發(fā)明另一個實施例中進行數(shù)據(jù)抽取的方法的流程圖。
[0042]圖3是本發(fā)明一個實施例中云平臺的結(jié)構(gòu)示意圖。
【具體實施方式】
[0043]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述。顯然，所描述的實施例僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0044]本發(fā)明一個實施例提出了一種數(shù)據(jù)抽取的方法，參見圖1，包括:
[0045]步驟101:接收用戶發(fā)來的申請使用kettle工具的請求；
[0046]步驟102:在hbase表中記錄用戶對應(yīng)的kettle連接權(quán)限；
[0047]步驟103:形成kerberos認證的配置文件；
[0048]步驟104:將所述kerberos認證的配置文件打包在kettle工具中發(fā)送給用戶；
[0049]步驟105:接收用戶通過kettle工具并基于所述kerberos認證的配置文件，發(fā)起的kerberos認證請求；
[0050]步驟106:認證通過后，根據(jù)所述hbase表中記錄的kettle連接權(quán)限，接收用戶通過kettle工具從本地系統(tǒng)抽取到云平臺的數(shù)據(jù)。
[0051]可見，本發(fā)明實施例提供的數(shù)據(jù)抽取的方法，能夠使得用戶利用kettle工具將本地系統(tǒng)數(shù)據(jù)抽