一種多源異構(gòu)數(shù)據(jù)的處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種多源異構(gòu)數(shù)據(jù)的處理方法。
【背景技術(shù)】
[0002]“互聯(lián)網(wǎng)還沒搞清楚的時候，移動互聯(lián)來了，移動互聯(lián)還沒搞清楚的時候，大數(shù)據(jù)來了”。大數(shù)據(jù)應(yīng)用早已深入到尋常的生活之中，將逐漸成為現(xiàn)代社會基礎(chǔ)設(shè)施的一部分，就像公路、鐵路、港口、水電和通信網(wǎng)絡(luò)一樣不可或缺。
[0003]大數(shù)據(jù)時代改變了什么？我們工作、生活中的各種場景悄然發(fā)生了改變。美國作家羅伯特?斯考伯在《Age of Context》一書中，稱“大數(shù)據(jù)時代后，下一個科技趨勢就是場景時代！誰能占據(jù)場景，就能贏得未來！”
[0004]經(jīng)過多年的信息化建設(shè)，在我國政府、企業(yè)，智慧城市、數(shù)字油田等等都建設(shè)強大的數(shù)據(jù)庫系統(tǒng)，尤其在企業(yè)內(nèi)各級部門都先后建成了各類業(yè)務(wù)相關(guān)的信息化系統(tǒng)，推進了企業(yè)信息化的發(fā)展；然而，由于建設(shè)的多元性，如多期次、多IT商、多格式、多數(shù)據(jù)庫、多系統(tǒng)、多技術(shù)方法等導(dǎo)致數(shù)據(jù)的多源性。構(gòu)成了數(shù)據(jù)的“數(shù)據(jù)病”。這就是數(shù)據(jù)庫VS數(shù)據(jù)庫；信息系統(tǒng)VS信息系統(tǒng)；信息系統(tǒng)VS專業(yè)軟件；專業(yè)軟件VS專業(yè)軟件不能實現(xiàn)數(shù)據(jù)共享，出現(xiàn)了“數(shù)據(jù)碎片化”與“鴻溝”。
[0005]目前，在我國據(jù)估計數(shù)據(jù)建設(shè)費用投資在萬億元，對于這樣的現(xiàn)狀，不可能推翻重來，也不可能放棄這些數(shù)據(jù)不用。而按照傳統(tǒng)的做法就是每遇到“數(shù)據(jù)病”問題，就要采用人工編碼、手工整理數(shù)據(jù)的方式開發(fā)軟件(中間件)做數(shù)據(jù)接口。但是軟件開發(fā)是一個復(fù)雜的工程，開發(fā)周期長，在龐大數(shù)據(jù)下，采用人工編碼、手工整理數(shù)據(jù)的方式實現(xiàn)系統(tǒng)的集成應(yīng)用與數(shù)據(jù)運維管理，猶如采用人工勞力的方式建設(shè)打通各個島嶼之間的跨海大橋一樣的工作量，非常龐大。
[0006]我們發(fā)明了一種在整體設(shè)計上遵循零代碼原則，用戶不需要了解復(fù)雜的編程技術(shù)，僅需要排列和組合各種功能節(jié)點，即可實現(xiàn)對海量多源異構(gòu)數(shù)據(jù)的整合與應(yīng)用的大數(shù)據(jù)提取、整理、融合、分析與數(shù)據(jù)挖掘的重要軟件。

【發(fā)明內(nèi)容】

[0007]發(fā)明目的:本發(fā)明針對上述現(xiàn)有技術(shù)存在的問題做出改進，即本發(fā)明公開了一種多源異構(gòu)數(shù)據(jù)的處理方法。
[0008]技術(shù)方案:一種多源異構(gòu)數(shù)據(jù)的處理方法，包括以下步驟:
[0009](I)、數(shù)據(jù)提??；
[0010](2)、構(gòu)造SQL語句數(shù)據(jù)篩選；
[0011](3)、通過流程，節(jié)點操作實現(xiàn)數(shù)據(jù)生成；
[0012](4)、根據(jù)需求將數(shù)據(jù)推送到客戶端；
[0013](5)、根據(jù)用戶需要對數(shù)據(jù)進行融合后，將融合后的數(shù)據(jù)呈現(xiàn)在顯示設(shè)備上。
[0014]進一步地，步驟(I)包括以下步驟:
[0015](11)、根據(jù)用戶需求選擇數(shù)據(jù)庫并輸入用戶的數(shù)據(jù)需求；
[0016](12)、建立數(shù)據(jù)流程；
[0017](13)、節(jié)點化操作。
[0018]從各種數(shù)據(jù)庫中，面對結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)庫的各種數(shù)據(jù)，包括政府?dāng)?shù)據(jù)、市政數(shù)據(jù)和專業(yè)性超強的數(shù)據(jù)，只要提出需求，就會按照需求，開始工作。
[0019]有益效果:本發(fā)明公開了一種多源異構(gòu)數(shù)據(jù)的處理方法，其具有以下有益效果:
[0020]1、數(shù)據(jù)處理效率高；
[0021]2、數(shù)據(jù)過程可視化，將業(yè)務(wù)流與數(shù)據(jù)流相融合，為IT技術(shù)人員與傳統(tǒng)業(yè)務(wù)領(lǐng)域的專家提供對話、協(xié)作平臺，使跨領(lǐng)域的交叉融合。同時，固化的經(jīng)驗、公式、算法，可形成經(jīng)典數(shù)據(jù)分析流程，使得研宄方法可繼承、可編排，從而保障數(shù)據(jù)分析方法的延續(xù)性，也避免企業(yè)因人才升迀而引發(fā)的研宄方法的流失；
[0022]3、多源異構(gòu)數(shù)據(jù)無縫接入，系統(tǒng)可對不同格式、不同結(jié)構(gòu)的數(shù)據(jù)進行同步處理，通過函數(shù)與流程支持Oracle、MySQL、SQL Server等十余種數(shù)據(jù)庫，F(xiàn)TP、Excel、Word、TEXT、GIS、WIS等文件格式，開放了二次開發(fā)接口，用戶可根據(jù)需要定制腳本讀入數(shù)據(jù)；
[0023]4、企業(yè)級數(shù)據(jù)整合，一鍵式創(chuàng)建流程。系統(tǒng)提供企業(yè)級數(shù)據(jù)快速接入模塊，可根據(jù)企業(yè)的數(shù)據(jù)模型、數(shù)據(jù)庫字典按專業(yè)領(lǐng)域組織數(shù)據(jù)，提供關(guān)鍵字檢索，實現(xiàn)數(shù)據(jù)表的快速定位，并提供一鍵式創(chuàng)建流程，訪問企業(yè)級數(shù)據(jù)庫中的數(shù)據(jù)。系統(tǒng)提供豐富的節(jié)點和方法，便于再造企業(yè)業(yè)務(wù)流程；
[0024]5、數(shù)據(jù)呈現(xiàn)方式靈活多樣，用戶可使用報表、統(tǒng)計圖形、專業(yè)圖板、空間分布等維度展示數(shù)據(jù)，挖掘數(shù)據(jù)之間內(nèi)在的聯(lián)系和規(guī)律；
[0025]6、面對任何格式與任意數(shù)據(jù)庫的任何數(shù)據(jù)智能提??；
[0026]7、零編碼、流程編輯器，根據(jù)需求自動編輯流程；
[0027]8、節(jié)點式操作，如同搭積木來完成數(shù)據(jù)的提取，可做數(shù)據(jù)整理、融合與可視化。
【附圖說明】
[0028]圖1為本發(fā)明公開的一種多源異構(gòu)數(shù)據(jù)的處理方法的流程示意圖；
[0029]圖2為本發(fā)明公開的一種多源異構(gòu)數(shù)據(jù)的處理方法的流程圖。
【具體實施方式】
:
[0030]下面對本發(fā)明的【具體實施方式】詳細說明。
[0031]如圖1和圖2所示，一種多源異構(gòu)數(shù)據(jù)的處理方法，包括以下步驟:
[0032](I)、數(shù)據(jù)提??；
[0033](2)、構(gòu)造SQL語句數(shù)據(jù)篩選；
[0034](3)、通過流程，節(jié)點操作實現(xiàn)數(shù)據(jù)生成；
[0035](4)、根據(jù)需求將數(shù)據(jù)推送到客戶端；
[0036](5)、根據(jù)用戶需要對數(shù)據(jù)進行融合后，將融合后的數(shù)據(jù)呈現(xiàn)在顯示設(shè)備上。
[0037]進一步地，數(shù)據(jù)提取包括以下步驟:
[0038](11)、根據(jù)用戶需求選擇數(shù)據(jù)庫并輸入用戶的數(shù)據(jù)需求；
[0039](12)、建立數(shù)據(jù)流程；
[0040](13)、節(jié)點化操作。
[0041]以油田數(shù)據(jù)為例:某油田企業(yè)，由于信息系統(tǒng)不穩(wěn)定、入庫規(guī)則復(fù)雜，分析試驗中心有5萬張鑄體薄片圖像，未能及時入庫；給科研人員使用薄片數(shù)據(jù)進行油氣藏研宄帶來了不便。上級部門要求將這些照片數(shù)據(jù)整理入庫，經(jīng)過提取井名、深度、與數(shù)據(jù)庫中樣品批號配對、標(biāo)準(zhǔn)化照片名稱、剔除重復(fù)照片、剔除現(xiàn)有數(shù)據(jù)庫中已有照片、錄入照片索引信息、上傳照片文件等10余個步驟；整理一張薄片照片大約耗費3分鐘，完成5萬張照片大約需要300多個工作日，數(shù)據(jù)整理工作繁瑣、工作量巨大。
[0042]使用多源異構(gòu)數(shù)據(jù)的處理方法，構(gòu)建數(shù)據(jù)分析處理的流程，僅需要4個小時完成數(shù)據(jù)整理任務(wù)(提高工作效率數(shù)百倍)。
[0043]上面對本發(fā)明的實施方式做了詳細說明。但是本發(fā)明并不限于上述實施方式，在所屬技術(shù)領(lǐng)域普通技術(shù)人員所具備的知識范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。
【主權(quán)項】
1.一種多源異構(gòu)數(shù)據(jù)的處理方法，其特征在于，包括以下步驟: (1)、數(shù)據(jù)提?。? (2)、構(gòu)造SQL語句數(shù)據(jù)篩選； (3)、通過流程，節(jié)點操作實現(xiàn)數(shù)據(jù)生成； (4)、根據(jù)需求將數(shù)據(jù)推送到客戶端； (5)、根據(jù)用戶需要對數(shù)據(jù)進行融合后，將融合后的數(shù)據(jù)呈現(xiàn)在顯示設(shè)備上。2.根據(jù)權(quán)利要求1所述的一種多源異構(gòu)數(shù)據(jù)的處理方法，其特征在于，步驟(I)包括以下步驟: (11)、根據(jù)用戶需求選擇數(shù)據(jù)庫并輸入用戶的數(shù)據(jù)需求； (12)、建立數(shù)據(jù)流程； (13)、節(jié)點化操作。
【專利摘要】本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種多源異構(gòu)數(shù)據(jù)的處理方法。一種多源異構(gòu)數(shù)據(jù)的處理方法，包括以下步驟：(1)、數(shù)據(jù)提?。?2)、構(gòu)造SQL語句數(shù)據(jù)篩選；(3)、通過流程，節(jié)點操作實現(xiàn)數(shù)據(jù)生成；(4)、根據(jù)需求將數(shù)據(jù)推送到客戶端；(5)、根據(jù)用戶需要對數(shù)據(jù)進行融合后，將融合后的數(shù)據(jù)呈現(xiàn)在顯示設(shè)備上。本發(fā)明公開了一種多源異構(gòu)數(shù)據(jù)的處理方法，其具有以下有益效果：1、數(shù)據(jù)處理效率高；2、數(shù)據(jù)過程可視化；3、多源異構(gòu)數(shù)據(jù)無縫接入，系統(tǒng)可對不同格式、不同結(jié)構(gòu)的數(shù)據(jù)進行同步處理。
【IPC分類】G06F17/30
【公開號】CN104899301
【申請?zhí)枴緾N201510316367
【發(fā)明人】高志亮, 高倩, 孫少波, 晁會霞, 常象宇, 崔維庚, 孫陽, 梁寶娟
【申請人】西安數(shù)源軟件有限公司
【公開日】2015年9月9日
【申請日】2015年6月10日