基于人、事、物分類建檔的數(shù)據(jù)組織模型的制作方法
【專利說(shuō)明】基于人、事、物分類建檔的數(shù)據(jù)組織模型
[0001]
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及數(shù)據(jù)獲取、處理、分析和存儲(chǔ)的數(shù)據(jù)組織領(lǐng)域，具體地說(shuō)是一種基于人、事、物分類建檔的數(shù)據(jù)組織模型。
【背景技術(shù)】
[0003]隨著大數(shù)據(jù)時(shí)代的來(lái)臨和發(fā)展，行業(yè)數(shù)據(jù)量以驚人的速度增長(zhǎng)，如何存儲(chǔ)、處理、利用海量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)困擾著行業(yè)用戶，這也理所當(dāng)然的成為了企業(yè)競(jìng)爭(zhēng)發(fā)展的焦點(diǎn)。目前大多數(shù)行業(yè)還主要采用傳統(tǒng)的數(shù)據(jù)組織模式，數(shù)據(jù)的關(guān)聯(lián)性低、整體性差、冗余性高，不利于對(duì)海量數(shù)據(jù)的深入挖掘和潛在價(jià)值的呈現(xiàn)。
[0004]當(dāng)下市場(chǎng)推崇“以用戶為中心”的面向用戶、面向感知的產(chǎn)品服務(wù)設(shè)計(jì)思想。而在其中起到基礎(chǔ)支撐作用的行業(yè)數(shù)據(jù)，將會(huì)扮演越來(lái)越重要的角色。能把控端到端的數(shù)據(jù)流的企業(yè)將會(huì)在未來(lái)的發(fā)展中享有巨大優(yōu)勢(shì)和廣闊的前進(jìn)道路。因此，在數(shù)據(jù)基礎(chǔ)層面優(yōu)化和改善，有助于企業(yè)改進(jìn)原有業(yè)務(wù)和催生更加符合市場(chǎng)的新業(yè)務(wù)，從而提升服務(wù)質(zhì)量，提高客戶滿意度，吸引更多用戶，增加企業(yè)價(jià)值。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的技術(shù)任務(wù)是針對(duì)針對(duì)行業(yè)用戶優(yōu)化其海量數(shù)據(jù)的存儲(chǔ)、分析、處理的需求，提供一種基于人、事、物分類建檔的數(shù)據(jù)組織模型，用以提升行業(yè)用戶海量數(shù)據(jù)的質(zhì)量，從而輔助其挖掘深埋在數(shù)據(jù)內(nèi)部的隱藏價(jià)值。
[0006]本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的:基于人、事、物分類建檔的數(shù)據(jù)組織模型，其特點(diǎn)是:
O明確劃分?jǐn)?shù)據(jù)類別
將紛繁復(fù)雜的行業(yè)數(shù)據(jù)按照人、事、物三種類別劃分，通過(guò)數(shù)據(jù)的碰撞、清洗、整合，創(chuàng)建一人一檔，一事一檔，一物一檔的數(shù)據(jù)組織模式；
2)梳理與整合數(shù)據(jù)之間關(guān)系
對(duì)各項(xiàng)數(shù)據(jù)進(jìn)行分解，分析與梳理數(shù)據(jù)之間的關(guān)聯(lián)信息，構(gòu)建圍繞以某一具體人、事或物為中心的數(shù)據(jù)關(guān)系網(wǎng)，實(shí)現(xiàn)人、事、物的歷史與現(xiàn)實(shí)、靜態(tài)與動(dòng)態(tài)、時(shí)間與空間的無(wú)縫對(duì)接和立體展現(xiàn)；
3)結(jié)合云計(jì)算和大數(shù)據(jù)技術(shù)
通過(guò)搭建云平臺(tái)和大數(shù)據(jù)處理平臺(tái)，利用HBase存儲(chǔ)和NoSQL數(shù)據(jù)庫(kù)將行業(yè)數(shù)據(jù)存儲(chǔ)整合，提供強(qiáng)大的計(jì)算力和處理能力，解決了行業(yè)用戶海量數(shù)據(jù)存儲(chǔ)、計(jì)算力不足和數(shù)據(jù)處理能力弱的難題。
[0007]上述基于人、事、物分類建檔的數(shù)據(jù)組織模型的實(shí)現(xiàn)方法包括以下步驟:
a、獲取第三方數(shù)據(jù)，通過(guò)數(shù)據(jù)碰撞服務(wù)生成第三方元數(shù)據(jù)，并在采集元數(shù)據(jù)過(guò)程中提供元數(shù)據(jù)映射服務(wù)；
b、獲取行業(yè)用戶數(shù)據(jù)，并剝離原始數(shù)據(jù)和自描述數(shù)據(jù)；
C、對(duì)獲取的數(shù)據(jù)提供清洗、轉(zhuǎn)換、關(guān)聯(lián)服務(wù)，并在過(guò)程中導(dǎo)入與執(zhí)行規(guī)則管理框架；
d、自動(dòng)轉(zhuǎn)化技術(shù)元數(shù)據(jù)，更新數(shù)據(jù)歷史記錄，自動(dòng)轉(zhuǎn)化可能存在的自描述數(shù)據(jù)為業(yè)務(wù)元數(shù)據(jù)；
e、創(chuàng)建基本信息表、關(guān)聯(lián)信息表、屬性信息表三個(gè)數(shù)據(jù)表，生成基于圖的人、事、物檔案存入NoSQL數(shù)據(jù)庫(kù)。
[0008]作為優(yōu)選，步驟a中利用錄入、爬蟲及購(gòu)買方式獲取第三方數(shù)據(jù)；步驟b中通過(guò)定期調(diào)度、條件觸發(fā)方式獲取行業(yè)用戶數(shù)據(jù)。
[0009]步驟e中基本信息表、關(guān)聯(lián)信息表、屬性信息表三個(gè)表的存儲(chǔ)信息和關(guān)系為:
a、基本信息表存儲(chǔ)人、事、物的基本信息和關(guān)聯(lián)信息；
b、關(guān)聯(lián)信息表存儲(chǔ)人、事、物的關(guān)聯(lián)信息，針對(duì)每個(gè)基本對(duì)象的每種關(guān)聯(lián)信息推廣擴(kuò)展一個(gè)關(guān)聯(lián)信息表；
C、屬性信息表存儲(chǔ)與本表對(duì)應(yīng)的基本對(duì)象關(guān)聯(lián)的一個(gè)子屬性對(duì)象的標(biāo)識(shí)信息；
d、告警、工單、日志作為子屬性信息存儲(chǔ)在各自的數(shù)據(jù)表中；
e、基本信息表的多源數(shù)據(jù)版本通過(guò)擴(kuò)展基本信息列簇字段實(shí)現(xiàn)，同時(shí)登記到技術(shù)元數(shù)據(jù)當(dāng)中。
[0010]本發(fā)明的基于人、事、物分類建檔的數(shù)據(jù)組織模型對(duì)于行業(yè)用戶的海量數(shù)據(jù)的存儲(chǔ)、分析、處理的困擾，通過(guò)進(jìn)行數(shù)據(jù)清洗、碰撞、整合與導(dǎo)入規(guī)則框架，將分散、獨(dú)立、弱連接的數(shù)據(jù)重新梳理和關(guān)聯(lián)，形成“一人一檔，一事一檔，一物一檔”的數(shù)據(jù)組織模式，構(gòu)建出以每個(gè)事物主體為中心的人、事、物關(guān)系網(wǎng)，實(shí)現(xiàn)多維度、多角度、多線索的事物主體描述、搜索模式，可以便捷、高效的對(duì)海量的數(shù)據(jù)進(jìn)行查詢、管理和分析利用，從而解決行業(yè)數(shù)據(jù)“雜亂無(wú)章，建檔難”的難題，促進(jìn)數(shù)據(jù)共享和數(shù)據(jù)挖掘，為面向用戶的業(yè)務(wù)優(yōu)化與創(chuàng)新提供有力支持，從而提升服務(wù)質(zhì)量，提尚客戶滿意度。
【附圖說(shuō)明】
[0011]附圖1是本發(fā)明基于人、事、物分類建檔的數(shù)據(jù)組織模型流程框架圖；
附圖2是本發(fā)明基于人、事、物分類建檔的數(shù)據(jù)組織模型中人、事、物檔案的HBase儲(chǔ)存格式示意圖。
【具體實(shí)施方式】
[0012]參照說(shuō)明書附圖以具體實(shí)施例對(duì)本發(fā)明的基于人、事、物分類建檔的數(shù)據(jù)組織模型作以下詳細(xì)地說(shuō)明。
[0013]實(shí)施例:
如附圖1所示，本發(fā)明基于人、事、物分類建檔的數(shù)據(jù)組織模型的實(shí)現(xiàn)方法包括以下步驟:
A、對(duì)于有價(jià)值的第三方數(shù)據(jù)，利用錄入、導(dǎo)入、ETL爬蟲、直接購(gòu)買等等方式獲取相應(yīng)的數(shù)據(jù)，將獲取的外部數(shù)據(jù)送至數(shù)據(jù)碰撞服務(wù)平臺(tái)，進(jìn)行數(shù)據(jù)碰撞，生成第三方元數(shù)據(jù)；
B、構(gòu)建規(guī)則管理框架，將框架內(nèi)的規(guī)則自動(dòng)映射與人工映射協(xié)同作用于第三方元數(shù)據(jù)，得到采集源元數(shù)據(jù)；
C、通過(guò)定期調(diào)度、條件觸發(fā)、錄入、導(dǎo)入等方法獲取行業(yè)用戶數(shù)據(jù)，如現(xiàn)場(chǎng)普查、財(cái)產(chǎn)文檔、設(shè)計(jì)圖紙、CAD文檔、存量數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、社交數(shù)據(jù)、日志數(shù)據(jù)等等，并在數(shù)據(jù)層面剝離原始數(shù)據(jù)和自描述數(shù)據(jù)；
D、對(duì)獲取到的內(nèi)外部數(shù)據(jù)通過(guò)大數(shù)據(jù)平臺(tái)進(jìn)行清洗、轉(zhuǎn)換、關(guān)聯(lián)服務(wù)，并在過(guò)程中導(dǎo)入與執(zhí)行規(guī)則管理框架，創(chuàng)建基本信息表、關(guān)聯(lián)信息表、屬性信息表三個(gè)數(shù)據(jù)表，如附圖2所示;
E、在上述D過(guò)程中，部分?jǐn)?shù)據(jù)將自動(dòng)轉(zhuǎn)化為技術(shù)元數(shù)據(jù)，并且更新數(shù)據(jù)歷史記錄，對(duì)于可能存在的自描述數(shù)據(jù)將自動(dòng)轉(zhuǎn)化為業(yè)務(wù)元數(shù)據(jù)；
F、在上述D過(guò)程中，主數(shù)據(jù)將按照“一人一檔，一事一檔，一物一檔”的規(guī)則組織關(guān)聯(lián)，構(gòu)建出以每個(gè)事物主體為中心的人、事、物關(guān)系網(wǎng)，實(shí)現(xiàn)多維度、多角度、多線索的事物主體描述、搜索模式，生成人、事、物檔案。
【主權(quán)項(xiàng)】
1.基于人、事、物分類建檔的數(shù)據(jù)組織模型，其特征在于: 1)明確劃分?jǐn)?shù)據(jù)類別 將行業(yè)數(shù)據(jù)按照人、事、物三種類別劃分，通過(guò)數(shù)據(jù)的碰撞、清洗、整合，創(chuàng)建一人一檔，一事一檔，一物一檔的數(shù)據(jù)組織模式； 2)梳理與整合數(shù)據(jù)之間關(guān)系 對(duì)各項(xiàng)數(shù)據(jù)進(jìn)行分解，分析與梳理數(shù)據(jù)之間的關(guān)聯(lián)信息，構(gòu)建圍繞以某一具體人、事或物為中心的數(shù)據(jù)關(guān)系網(wǎng)； 3)結(jié)合云計(jì)算和大數(shù)據(jù)技術(shù) 通過(guò)搭建云平臺(tái)和大數(shù)據(jù)處理平臺(tái)，利用HBase存儲(chǔ)和NoSQL數(shù)據(jù)庫(kù)將行業(yè)數(shù)據(jù)存儲(chǔ)整合。
2.根據(jù)權(quán)利要求1所述的基于人、事、物分類建檔的數(shù)據(jù)組織模型，其特征在于，該模型的實(shí)現(xiàn)方法包括以下步驟: a、獲取第三方數(shù)據(jù)，通過(guò)數(shù)據(jù)碰撞服務(wù)生成第三方元數(shù)據(jù)，并在采集元數(shù)據(jù)過(guò)程中提供元數(shù)據(jù)映射服務(wù)； b、獲取行業(yè)用戶數(shù)據(jù)，并剝離原始數(shù)據(jù)和自描述數(shù)據(jù)； C、對(duì)獲取的數(shù)據(jù)提供清洗、轉(zhuǎn)換、關(guān)聯(lián)服務(wù)，并在過(guò)程中導(dǎo)入與執(zhí)行規(guī)則管理框架； d、自動(dòng)轉(zhuǎn)化技術(shù)元數(shù)據(jù)，更新數(shù)據(jù)歷史記錄，自動(dòng)轉(zhuǎn)化可能存在的自描述數(shù)據(jù)為業(yè)務(wù)元數(shù)據(jù)； e、創(chuàng)建基本信息表、關(guān)聯(lián)信息表、屬性信息表三個(gè)數(shù)據(jù)表，生成基于圖的人、事、物檔案存入NoSQL數(shù)據(jù)庫(kù)。
3.根據(jù)權(quán)利要求2所述的基于人、事、物分類建檔的數(shù)據(jù)組織模型，其特征在于，步驟a中利用錄入、爬蟲及購(gòu)買方式獲取第三方數(shù)據(jù)。
4.根據(jù)權(quán)利要求2所述的基于人、事、物分類建檔的數(shù)據(jù)組織模型，其特征在于，步驟b中通過(guò)定期調(diào)度、條件觸發(fā)方式獲取行業(yè)用戶數(shù)據(jù)。
5.根據(jù)權(quán)利要求2所述的基于人、事、物分類建檔的數(shù)據(jù)組織模型，其特征在于，步驟e中基本信息表、關(guān)聯(lián)信息表、屬性信息表三個(gè)表的存儲(chǔ)信息和關(guān)系為: a、基本信息表存儲(chǔ)人、事、物的基本信息和關(guān)聯(lián)信息； b、關(guān)聯(lián)信息表存儲(chǔ)人、事、物的關(guān)聯(lián)信息，針對(duì)每個(gè)基本對(duì)象的每種關(guān)聯(lián)信息推廣擴(kuò)展一個(gè)關(guān)聯(lián)信息表； C、屬性信息表存儲(chǔ)與本表對(duì)應(yīng)的基本對(duì)象關(guān)聯(lián)的一個(gè)子屬性對(duì)象的標(biāo)識(shí)信息； d、告警、工單、日志作為子屬性信息存儲(chǔ)在各自的數(shù)據(jù)表中； e、基本信息表的多源數(shù)據(jù)版本通過(guò)擴(kuò)展基本信息列簇字段實(shí)現(xiàn)，同時(shí)登記到技術(shù)元數(shù)據(jù)當(dāng)中。
【專利摘要】本發(fā)明公開了一種基于人、事、物分類建檔的數(shù)據(jù)組織模型，屬于數(shù)據(jù)組織領(lǐng)域。該模型包括1）將行業(yè)數(shù)據(jù)按照人、事、物三種類別劃分，通過(guò)數(shù)據(jù)的碰撞、清洗、整合，創(chuàng)建數(shù)據(jù)組織模式；2）對(duì)各項(xiàng)數(shù)據(jù)進(jìn)行分解，分析與梳理數(shù)據(jù)之間的關(guān)聯(lián)信息，構(gòu)建圍繞以某一具體人、事或物為中心的數(shù)據(jù)關(guān)系網(wǎng)；3）通過(guò)搭建云平臺(tái)和大數(shù)據(jù)處理平臺(tái)，利用HBase存儲(chǔ)和NoSQL數(shù)據(jù)庫(kù)將行業(yè)數(shù)據(jù)存儲(chǔ)整合。與現(xiàn)有技術(shù)相比，本發(fā)明的基于人、事、物分類建檔的數(shù)據(jù)組織模型可以快捷、高效的進(jìn)行數(shù)據(jù)查詢并獲得關(guān)聯(lián)信息，從而解決行業(yè)數(shù)據(jù)“雜亂無(wú)章，建檔難”的困擾，促進(jìn)數(shù)據(jù)共享和數(shù)據(jù)挖掘，為面向用戶的業(yè)務(wù)優(yōu)化與創(chuàng)新提供有力支持，從而提升服務(wù)質(zhì)量，提高客戶滿意度。
【IPC分類】G06F17-30
【公開號(hào)】CN104573002
【申請(qǐng)?zhí)枴緾N201510008506
【發(fā)明人】胡中貴, 劉海日
【申請(qǐng)人】浪潮通信信息系統(tǒng)有限公司
【公開日】2015年4月29日
【申請(qǐng)日】2015年1月8日