一種基于云計(jì)算的北斗林業(yè)數(shù)據(jù)采集與處理方法
【專利說明】
一、技術(shù)領(lǐng)域
[0001]本發(fā)明是一種林業(yè)數(shù)據(jù)采集與處理方法，特別是一種基于北斗衛(wèi)星的林業(yè)數(shù)據(jù)采集方法和基于云計(jì)算平臺(tái)的林業(yè)數(shù)據(jù)處理與應(yīng)用方法。
二、技術(shù)背景
[0002]林業(yè)作為我國(guó)傳統(tǒng)行業(yè)，在我國(guó)生態(tài)環(huán)境、生態(tài)文明建設(shè)中起著十分重要的作用。然而，傳統(tǒng)的林業(yè)數(shù)據(jù)采集與處理信息化程度較低。林業(yè)野外數(shù)據(jù)采集大量使用紙質(zhì)文檔，每次調(diào)查都需要都要攜帶各類調(diào)查卡片，手工記錄調(diào)查數(shù)據(jù)，內(nèi)業(yè)還要將數(shù)據(jù)錄入到系統(tǒng)中。傳統(tǒng)的野外作業(yè)方式消耗人力資源大，工作效率低，且易發(fā)生調(diào)查卡片丟失、污損、數(shù)據(jù)錄入錯(cuò)誤及人為誤差等情況，制約著現(xiàn)今野外作業(yè)調(diào)查的效率。在日常的巡山護(hù)林等工作中，由于采用紙質(zhì)登記方式對(duì)每日巡山護(hù)林狀況進(jìn)行記錄，容易發(fā)生工作人員少巡漏巡作業(yè)區(qū)的情況，有關(guān)部門缺乏必要的監(jiān)管；作業(yè)人員在野外如遇突發(fā)情況，也難快速確定事發(fā)位置，不便救援力量及時(shí)抵達(dá)。
[0003]林業(yè)中的應(yīng)用已由單一的數(shù)據(jù)采集階段，經(jīng)過信息管理階段，進(jìn)入到了數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)階段，通過數(shù)據(jù)挖掘幫助森林資源管理者明確目標(biāo)，建立和修改模型，提供多種優(yōu)化方案，以提高決策能力及決策效益，實(shí)現(xiàn)科學(xué)管理、集約經(jīng)營(yíng)、提高森林經(jīng)營(yíng)水平和森林可持續(xù)發(fā)展，使林業(yè)從過去單一、粗放的經(jīng)營(yíng)管理模式走向精準(zhǔn)、系統(tǒng)的模式。
[0004]然而，林業(yè)數(shù)據(jù)是關(guān)于地球表面信息的數(shù)據(jù)，具有區(qū)域性、多維性和時(shí)序性，是連接各種信息形成一個(gè)在空間和時(shí)間上連續(xù)分布的綜合信息的基礎(chǔ)。海量林業(yè)數(shù)據(jù)成為林業(yè)數(shù)據(jù)挖掘的一個(gè)瓶頸，傳統(tǒng)林業(yè)數(shù)據(jù)挖掘方法已經(jīng)不能滿足處理海量林業(yè)數(shù)據(jù)的需要。
[0005]鑒于傳統(tǒng)林業(yè)數(shù)據(jù)挖掘方法的種種弊端，本發(fā)明對(duì)林業(yè)數(shù)據(jù)采集和處理的方法了改進(jìn)和創(chuàng)新，利用北斗衛(wèi)星定位PDA，對(duì)林業(yè)小班數(shù)據(jù)進(jìn)行采集，利用Hadoop中MapReduce算法，將海量林業(yè)數(shù)據(jù)轉(zhuǎn)化為HDSF文件，調(diào)用Hadoop中的JPA建立決策樹的算法，實(shí)現(xiàn)對(duì)林業(yè)數(shù)據(jù)的挖掘，從而提高程序執(zhí)行效率，減少程序執(zhí)行時(shí)間。
三、
【發(fā)明內(nèi)容】

[0006]為克服傳統(tǒng)林業(yè)數(shù)據(jù)采集和處理的缺點(diǎn)，本發(fā)明提供一種新型的林業(yè)數(shù)據(jù)采集與處理方法，其特征是:首先，利用北斗衛(wèi)星PDA采集器進(jìn)行林業(yè)小班數(shù)據(jù)采集，通過PDA將林業(yè)數(shù)據(jù)發(fā)布到GIS Server云端。其次，構(gòu)建基于Hadoop平臺(tái)的云計(jì)算平臺(tái)，利用MapReduce算法實(shí)現(xiàn)對(duì)林業(yè)數(shù)據(jù)的挖掘。
[0007]主要
【發(fā)明內(nèi)容】
:
[0008](I)利用北斗進(jìn)行數(shù)據(jù)采集取代傳統(tǒng)紙質(zhì)文檔數(shù)據(jù)采集工作，能夠?qū)σ巴庾鳂I(yè)過程中相關(guān)信息進(jìn)行采集錄入，采集的數(shù)據(jù)通過北斗PDA傳輸?shù)紾IS Server的云端，GISServer對(duì)傳輸?shù)腦ML文件進(jìn)行讀取入庫(kù)，采集到的數(shù)據(jù)存儲(chǔ)到云端。
[0009](2)海量信息快捷處理，將北斗采集到的存儲(chǔ)在云端的林業(yè)數(shù)據(jù)結(jié)合云端其他林業(yè)屬性數(shù)據(jù)和空間數(shù)據(jù)，構(gòu)建基于Hadoop的云計(jì)算平臺(tái)，利用MapReduce算法，編制決策樹算法，實(shí)現(xiàn)對(duì)林業(yè)數(shù)據(jù)的智能挖掘。
[0010]本項(xiàng)發(fā)明與現(xiàn)有方法相比具有以下優(yōu)點(diǎn):
[0011](I)數(shù)據(jù)采集方便，利用北斗衛(wèi)星定位PDA，進(jìn)行林業(yè)數(shù)據(jù)采集，可以代替紙質(zhì)記錄傳統(tǒng)作業(yè)方法，數(shù)據(jù)采集效率高，且能夠進(jìn)行定位，樹木位置和人移動(dòng)的位置可以在GIS云端上顯示。
[0012](2)基于云計(jì)算的海量林業(yè)數(shù)據(jù)處理的是利用云計(jì)算的并行處理和海量存儲(chǔ)能力，解決了數(shù)據(jù)挖掘面臨的海量數(shù)據(jù)處理問題。本發(fā)明云計(jì)算采用的是MapReduce新型計(jì)算模型，現(xiàn)有的數(shù)據(jù)挖掘算法和并行化策略進(jìn)行一定程度的改造，直接應(yīng)用在云計(jì)算平臺(tái)上進(jìn)行海量數(shù)據(jù)挖掘任務(wù)，提升軟件處理效率。
四、【具體實(shí)施方式】
[0013]基于云計(jì)算的林業(yè)數(shù)據(jù)挖掘方法與現(xiàn)有方法不同，具體在于:
[0014](I)利用北斗衛(wèi)星PDA采集器，采集林業(yè)小班數(shù)據(jù)，記錄小班編號(hào)、土壤類別、小班面積、森林類別、林種、林分起源、坡度、坡位、土壤名稱、土壤厚度、優(yōu)勢(shì)樹種、植被高度、植被蓋度等信息。通過PAD將這些林業(yè)數(shù)據(jù)上傳到ArcGIS Server云端。
[0015](2)安裝Ubuntu操作系統(tǒng)，在該Iinux系統(tǒng)上安裝hadoop，部署NameNode，master，jobTracker master作為中心服務(wù)器，其他作為從屬服務(wù)器，并ping接成功，構(gòu)建基于Hadoop的云計(jì)算平臺(tái)。
[0016](3)將海量林業(yè)數(shù)據(jù)文件直接上傳至Hadoop的HDFS中進(jìn)行存儲(chǔ)，用FileSystemAPI讀取林業(yè)數(shù)據(jù)文件。再次，利用MapReduce對(duì)林業(yè)數(shù)據(jù)進(jìn)行分塊化操作，使用分布式數(shù)據(jù)倉(cāng)庫(kù)Hive從分布式數(shù)據(jù)庫(kù)HBase中獲取。部署決策樹C5.0算法。
[0017](4)利用調(diào)用Hadoop中的JPA建立決策樹的算法，林業(yè)數(shù)據(jù)被分配到多個(gè)mapper，調(diào)用BuildTree對(duì)林業(yè)數(shù)據(jù)進(jìn)行挖掘，以林業(yè)小班位單位進(jìn)行聚類，達(dá)到對(duì)海量林業(yè)數(shù)據(jù)挖掘的目標(biāo)。
【主權(quán)項(xiàng)】
1.一種基于云計(jì)算的北斗林業(yè)數(shù)據(jù)采集與處理方法，其特征是:首先，利用北斗PDA對(duì)林業(yè)小班數(shù)據(jù)進(jìn)行采集，將采集到的數(shù)據(jù)存儲(chǔ)在GIS Server云端。其次，安裝Ubuntu操作系統(tǒng)，在該 Iinux 系統(tǒng)上安裝 hadoop，部署 NameNode，master, jobTracker master 作為中心服務(wù)器，其他作為從屬服務(wù)器，并ping接成功，構(gòu)建基于Hadoop的云計(jì)算平臺(tái)。再次，將海量林業(yè)數(shù)據(jù)文件直接上傳至Hadoop的HDFS中進(jìn)行存儲(chǔ)，用FileSystem API讀取林業(yè)數(shù)據(jù)文件。利用MapReduce對(duì)林業(yè)數(shù)據(jù)進(jìn)行分塊化操作，使用分布式數(shù)據(jù)倉(cāng)庫(kù)Hive從分布式數(shù)據(jù)庫(kù)HBase中獲取。部署決策樹C5.0算法。最后，利用調(diào)用Hadoop中的JPA建立決策樹的算法，林業(yè)數(shù)據(jù)被分配到多個(gè)mapper，調(diào)用BuildTree對(duì)林業(yè)數(shù)據(jù)進(jìn)行挖掘，進(jìn)而發(fā)現(xiàn)林業(yè)知識(shí)。
【專利摘要】本發(fā)明公開了一種基于云計(jì)算北斗林業(yè)數(shù)據(jù)采集與處理方法。其特征是：利用北斗衛(wèi)星定位PDA對(duì)林業(yè)小班數(shù)據(jù)進(jìn)行采集，并存儲(chǔ)到GIS？Server云端。根據(jù)Hadoop平臺(tái)的MapReduce算法，處理具有時(shí)間屬性和空間屬性的林業(yè)海量HDFS文件，部署決策樹C5.0算法，使用Hadoop中的JPA建立決策樹的算法，可實(shí)現(xiàn)對(duì)林業(yè)數(shù)據(jù)處理和挖掘，發(fā)現(xiàn)林業(yè)知識(shí)。
【IPC分類】G06F17/30, G06K9/62
【公開號(hào)】CN105335497
【申請(qǐng)?zhí)枴緾N201510696594
【發(fā)明人】吳言松
【申請(qǐng)人】北斗恒星(北京)科技發(fā)展有限公司
【公開日】2016年2月17日
【申請(qǐng)日】2015年10月26日