一種大數(shù)據(jù)管理方法
【技術領域】
[0001]本發(fā)明涉及通信技術領域，尤其涉及一種大數(shù)據(jù)管理方法。
【背景技術】
[0002]大數(shù)據(jù)(big data, mega data)，或稱巨量資料，指的是需要新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。隨著云時代的來臨，大數(shù)據(jù)(Big data)也吸引了越來越多的關注。進年來隨著技術發(fā)展和開源軟件的盛行，大數(shù)據(jù)領域涌現(xiàn)出越來越多的優(yōu)秀軟件，為實際應用解決了許多問題。但這些軟件都存在技術門檻較高，使用復雜等問題。本專利申請致力于降低大數(shù)據(jù)使用難度，利用簡單普及的SQL語句描述業(yè)務，提供可視化工具描述流程，能快速完成業(yè)務部署。
[0003]現(xiàn)有技術公開了“一種基于云計算技術的電壓暫降數(shù)據(jù)分析方法”，見公開號為:103412942A，公開日為:2013-11-27的中國專利;該方法采用基于hadoopl.1.2的云計算平臺，通過MapReduce編程機制，將關系型數(shù)據(jù)庫中的波形數(shù)據(jù)利用轉(zhuǎn)移工具Sqoop轉(zhuǎn)移到KV數(shù)據(jù)庫中，以鍵值對形式存儲一個特定周波的數(shù)據(jù)；每一個Mapper (映射類)從KV數(shù)據(jù)庫中讀出一個鍵值對作為輸入；遍歷一個周波數(shù)據(jù)，計算出RMS(方均根值)值；將所有Mapper (映射類)的輸出結(jié)果進行排序；Reducer合并同一事件同一相的RMS數(shù)據(jù)曲線，并遍歷該曲線，計算出各暫降特征值。該發(fā)明使電壓暫降的相關數(shù)據(jù)可以直接通過Hadoop云計算平臺，在多臺計算機上并行地計算，真正實現(xiàn)了多臺物理計算機計算能力的迭加，從而大大提高了計算效率，云平臺的容錯性也提升了暫降計算結(jié)果的可靠性。該發(fā)明所采用的技術方案與本發(fā)明并不相同；本專利申請是利用簡單普及的SQL語句描述業(yè)務，提供可視化工具描述流程。

【發(fā)明內(nèi)容】

[0004]本發(fā)明要解決的技術問題，在于提供一種大數(shù)據(jù)管理方法，有效降低大數(shù)據(jù)的適用門檻，能根據(jù)業(yè)務需要進行快速部署，并實現(xiàn)一鍵安裝集群、在線管理服務器的上線和下線、可視化集群監(jiān)控，從而大大降低了運營成本。
[0005]本發(fā)明是這樣實現(xiàn)的:一種大數(shù)據(jù)管理方法，所述方法為:將數(shù)據(jù)庫數(shù)據(jù)抽取或文本文件作為輸入，用戶根據(jù)業(yè)務需要配置數(shù)據(jù)處理流程，對輸入的數(shù)據(jù)進行處理，最終將處理的結(jié)果保存到數(shù)據(jù)庫或大數(shù)據(jù)集群中；所述對輸入的數(shù)據(jù)進行處理具體為:用戶根據(jù)需求配置數(shù)據(jù)處理流程，數(shù)據(jù)處理流程的每個處理節(jié)點是一段SQL語句或者一段業(yè)務處理的程序片段，調(diào)度程序會定時啟動數(shù)據(jù)處理流程，并依次執(zhí)行數(shù)據(jù)處理流程的每個節(jié)點SQL語句或者程序片段，將執(zhí)行后得到的結(jié)果存儲于一緩存中。
[0006]進一步地，所述將數(shù)據(jù)庫數(shù)據(jù)抽取或文本文件作為輸入具體為:配置數(shù)據(jù)庫數(shù)據(jù)源信息，并使用sqoop工具，將數(shù)據(jù)庫的表數(shù)據(jù)按一設定格式直接抽取到分布式文件系統(tǒng)中；或者允許業(yè)務程序?qū)?shù)據(jù)結(jié)果放于文件服務器的指定目錄，文件服務器將監(jiān)控該目錄，一旦發(fā)現(xiàn)新文件將自動上傳到分布式文件系統(tǒng)。
[0007]進一步地，所述設定格式為:以制表符為字段分割符，以回車符為記錄分割符。
[0008]進一步地，所述方法還包括處理的結(jié)果的數(shù)據(jù)輸出，該數(shù)據(jù)輸出具體為:由用戶指定數(shù)據(jù)庫數(shù)據(jù)源信息，通過sqoop工具，將緩存中的數(shù)據(jù)直接寫入數(shù)據(jù)庫的表中；或者將緩存的數(shù)據(jù)寫入分布式文件系統(tǒng)的制定目錄，并根據(jù)用戶需要，傳送到指定的文件服務器。
[0009]進一步地，所述數(shù)據(jù)處理流程定期執(zhí)行，由調(diào)度服務進行資源分配和任務管理。
[0010]本發(fā)明具有如下優(yōu)點:本發(fā)明致力于降低大數(shù)據(jù)使用難度，利用簡單普及的SQL語句描述業(yè)務，提供可視化工具描述流程，將數(shù)據(jù)庫數(shù)據(jù)抽取或文本文件作為輸入，用戶根據(jù)業(yè)務需要配置數(shù)據(jù)處理流程，對輸入的數(shù)據(jù)進行處理，最終將處理的結(jié)果保存到數(shù)據(jù)庫或大數(shù)據(jù)集群中；有效降低大數(shù)據(jù)的適用門檻，能根據(jù)業(yè)務需要進行快速部署，并實現(xiàn)一鍵安裝集群、在線管理服務器的上線和下線、可視化集群監(jiān)控，從而大大降低了運營成本。
【附圖說明】
[0011]圖1為本發(fā)明方法流程示意圖。
[0012]圖2為本發(fā)明數(shù)據(jù)流的走向原理圖。
【具體實施方式】
[0013]請參閱圖1和圖2所示，本發(fā)明的一種大數(shù)據(jù)管理方法，所述方法為:將數(shù)據(jù)庫數(shù)據(jù)抽取或文本文件作為輸入，用戶根據(jù)業(yè)務需要配置數(shù)據(jù)處理流程，對輸入的數(shù)據(jù)進行處理，最終將處理的結(jié)果保存到數(shù)據(jù)庫或大數(shù)據(jù)集群中；所述對輸入的數(shù)據(jù)進行處理具體為:用戶根據(jù)需求配置數(shù)據(jù)處理流程，數(shù)據(jù)處理流程的每個處理節(jié)點是一段SQL語句或者一段業(yè)務處理的程序片段，調(diào)度程序會定時啟動數(shù)據(jù)處理流程，并依次執(zhí)行數(shù)據(jù)處理流程的每個節(jié)點SQL語句或者程序片段，將執(zhí)行后得到的結(jié)果存儲于一緩存中。所述數(shù)據(jù)處理流程定期執(zhí)行，由調(diào)度服務進行資源分配和任務管理，可7X24小時提供數(shù)據(jù)服務。
[0014]其中，所述將數(shù)據(jù)庫數(shù)據(jù)抽取或文本文件作為輸入具體為:配置數(shù)據(jù)庫數(shù)據(jù)源信息，并使用sqoop工具，將數(shù)據(jù)庫的表數(shù)據(jù)按一設定格式直接抽取到分布式文件系統(tǒng)中；或者允許業(yè)務程序?qū)?shù)據(jù)結(jié)果放于文件服務器的指定目錄，文件服務器將監(jiān)控該目錄，一旦發(fā)現(xiàn)新文件將自動上傳到分布式文件系統(tǒng)。該設定格式為:以制表符為字段分割符，以標準的回車符為記錄分割符。此外，也支持自定義格式。
[0015]所述方法還包括處理的結(jié)果的數(shù)據(jù)輸出，該數(shù)據(jù)輸出具體為:由用戶指定數(shù)據(jù)庫數(shù)據(jù)源信息，通過sqoop工具，將緩存中的數(shù)據(jù)直接寫入數(shù)據(jù)庫的表中；或者將緩存的數(shù)據(jù)寫入分布式文件系統(tǒng)的制定目錄，并根據(jù)用戶需要，傳送到指定的文件服務器。
[0016]總之，本發(fā)明致力于降低大數(shù)據(jù)使用難度，利用簡單普及的SQL語句描述業(yè)務，提供可視化工具描述流程，將數(shù)據(jù)庫數(shù)據(jù)抽取或文本文件作為輸入，用戶根據(jù)業(yè)務需要配置數(shù)據(jù)處理流程，對輸入的數(shù)據(jù)進行處理，最終將處理的結(jié)果保存到數(shù)據(jù)庫或大數(shù)據(jù)集群中；有效降低大數(shù)據(jù)的適用門檻，能根據(jù)業(yè)務需要進行快速部署，并實現(xiàn)一鍵安裝集群、在線管理服務器的上線和下線、可視化集群監(jiān)控，從而大大降低了運營成本。
[0017]以上所述僅為本發(fā)明的較佳實施例，凡依本發(fā)明申請專利范圍所做的均等變化與修飾，皆應屬本發(fā)明的涵蓋范圍。
【主權(quán)項】
1.一種大數(shù)據(jù)管理方法，其特征在于:所述方法為:將數(shù)據(jù)庫數(shù)據(jù)抽取或文本文件作為輸入，用戶根據(jù)業(yè)務需要配置數(shù)據(jù)處理流程，對輸入的數(shù)據(jù)進行處理，最終將處理的結(jié)果保存到數(shù)據(jù)庫或大數(shù)據(jù)集群中；所述對輸入的數(shù)據(jù)進行處理具體為:用戶根據(jù)需求配置數(shù)據(jù)處理流程，數(shù)據(jù)處理流程的每個處理節(jié)點是一段SQL語句或者一段業(yè)務處理的程序片段，調(diào)度程序會定時啟動數(shù)據(jù)處理流程，并依次執(zhí)行數(shù)據(jù)處理流程的每個節(jié)點SQL語句或者程序片段，將執(zhí)行后得到的結(jié)果存儲于一緩存中。2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)管理方法，其特征在于:所述將數(shù)據(jù)庫數(shù)據(jù)抽取或文本文件作為輸入具體為:配置數(shù)據(jù)庫數(shù)據(jù)源信息，并使用sqoop工具，將數(shù)據(jù)庫的表數(shù)據(jù)按一設定格式直接抽取到分布式文件系統(tǒng)中；或者允許業(yè)務程序?qū)?shù)據(jù)結(jié)果放于文件服務器的指定目錄，文件服務器將監(jiān)控該目錄，一旦發(fā)現(xiàn)新文件將自動上傳到分布式文件系統(tǒng)。3.根據(jù)權(quán)利要求2所述的一種大數(shù)據(jù)管理方法，其特征在于:所述設定格式為:以制表符為字段分割符，以回車符為記錄分割符。4.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)管理方法，其特征在于:所述方法還包括處理的結(jié)果的數(shù)據(jù)輸出，該數(shù)據(jù)輸出具體為:由用戶指定數(shù)據(jù)庫數(shù)據(jù)源信息，通過sqoop工具，將緩存中的數(shù)據(jù)直接寫入數(shù)據(jù)庫的表中；或者將緩存的數(shù)據(jù)寫入分布式文件系統(tǒng)的制定目錄，并根據(jù)用戶需要，傳送到指定的文件服務器。5.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)管理方法，其特征在于:所述數(shù)據(jù)處理流程定期執(zhí)行，由調(diào)度服務進行資源分配和任務管理。
【專利摘要】本發(fā)明提供一種大數(shù)據(jù)管理方法，所述方法為：將數(shù)據(jù)庫數(shù)據(jù)抽取或文本文件作為輸入，用戶根據(jù)業(yè)務需要配置數(shù)據(jù)處理流程，對輸入的數(shù)據(jù)進行處理，最終將處理的結(jié)果保存到數(shù)據(jù)庫或大數(shù)據(jù)集群中；所述對輸入的數(shù)據(jù)進行處理具體為：用戶根據(jù)需求配置數(shù)據(jù)處理流程，數(shù)據(jù)處理流程的每個處理節(jié)點是一段SQL語句或者一段業(yè)務處理的程序片段，調(diào)度程序會定時啟動數(shù)據(jù)處理流程，并依次執(zhí)行數(shù)據(jù)處理流程的每個節(jié)點SQL語句或者程序片段，將執(zhí)行后得到的結(jié)果存儲于一緩存中。
【IPC分類】G06F17/30
【公開號】CN104933119
【申請?zhí)枴緾N201510306918
【發(fā)明人】陳勇, 王劍冰, 陳綱
【申請人】福建富士通信息軟件有限公司
【公開日】2015年9月23日
【申請日】2015年6月5日