實現(xiàn)空間大數(shù)據(jù)快速處理及檢索的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及空間大數(shù)據(jù)處理領(lǐng)域，特別是一種實現(xiàn)空間大數(shù)據(jù)快速處理及檢索上圖的方法。
【背景技術(shù)】
[0002]在現(xiàn)今信息時代，處于信息化智能化領(lǐng)域，我們發(fā)現(xiàn)每天生活中接觸的信息量是極其龐大的，包含空間定位信息的地理空間數(shù)據(jù)也應(yīng)用在非常多的領(lǐng)域，空間數(shù)據(jù)朝著不斷膨脹與龐大化的方向發(fā)展著。隨著地理信息系統(tǒng)(GIS)的發(fā)展，社會信息化需求的日益興旺，地理信息系統(tǒng)軟件必將處理越來越大范圍內(nèi)的大規(guī)模數(shù)據(jù)，海量空間數(shù)據(jù)高效的存儲、檢索、與空間分析操作一直都是GIS行業(yè)研究的熱點與難點問題。為進一步提升海量空間數(shù)據(jù)的空間分析能力，為其提供理論儲備和核心技術(shù)解決方案，本發(fā)明旨在從空間計算模式上，針對大規(guī)?？臻g數(shù)據(jù)，提出一套空間分析計算與存儲、檢索效率的解決方案。對空間數(shù)據(jù)物理存儲、索引進行設(shè)計優(yōu)化。解決大規(guī)?？臻g數(shù)據(jù)的空間分析效率問題。
[0003]空間分析是空間數(shù)據(jù)應(yīng)用的靈魂，它提供了一系列數(shù)據(jù)操作功能，借助于這些功能，用戶能夠從原始數(shù)據(jù)中檢索出某些實體數(shù)據(jù)，還可以進行空間量算，疊加分析，以及對各類實體的屬性數(shù)據(jù)進行統(tǒng)計，網(wǎng)絡(luò)分析等。
[0004]針對上述問題，本發(fā)明從以下幾方面進行了研究:
[0005](1)對線、面空間數(shù)據(jù)，根據(jù)其形態(tài)特征，對數(shù)據(jù)進行合法性和優(yōu)化性處理。
[0006](2)針對裁剪、疊加、緩沖區(qū)等空間分析操作在數(shù)據(jù)規(guī)模過大時某些低效率情況，分析歸納出不同數(shù)據(jù)形態(tài)的空間分析操作優(yōu)化方案。
[0007](3)研究空間數(shù)據(jù)的存儲管理，從索引緩存、數(shù)據(jù)索引進行優(yōu)化，提出優(yōu)化方案并進行實現(xiàn)。通過研究索引緩存技術(shù)，以較低的代價擴大索引信息的數(shù)量，改善數(shù)據(jù)搜索效率。

【發(fā)明內(nèi)容】

[0008]本發(fā)明所要解決的技術(shù)問題是提供一種具有良好的實用性、能夠?qū)崿F(xiàn)空間大數(shù)據(jù)快速處理及檢索的方法。
[0009]本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案如下:
[0010]實現(xiàn)空間大數(shù)據(jù)快速處理及檢索的方法，包括以下步驟:
[0011]S1.建立索引表、空間地圖；
[0012]S2.從公安內(nèi)部數(shù)據(jù)庫中，分別將與索引表字段相同的元素導(dǎo)入到索引表中該字段下；
[0013]S3.通過S0LR索引集群，根據(jù)查詢條件進行檢索:
[0014]S31.對查詢條件進行分詞，以確定查詢條件的數(shù)據(jù)形態(tài)；
[0015]S32.若查詢條件為點形態(tài)的數(shù)據(jù)，則包括以下步驟:
[0016]S321.在空間地圖上找到查詢條件指向的坐標，并確定檢索范圍；
[0017]S322.以坐標為圓心，以檢索范圍為半徑畫圓，并對圓形范圍內(nèi)的攝像頭進行遍歷；
[0018]S323.獲取落在圓形范圍內(nèi)的攝像頭的經(jīng)度、瑋度信息；
[0019]S33.若查詢條件為線和/或面形態(tài)的數(shù)據(jù)，則包括以下步驟:
[0020]S331.在空間地圖上找到查詢條件指向的位置范圍，并確定檢索范圍；
[0021]S332.分別以位置范圍內(nèi)每一個坐標點為圓心，以檢索范圍為半徑畫圓，并對圓形范圍內(nèi)的攝像頭進行遍歷；
[0022]S333.若坐標點落在攝像頭的范圍內(nèi)，則選擇該攝像頭；
[0023]S334.刪除與已選擇的攝像頭重復(fù)的攝像頭，獲取攝像頭的經(jīng)度、瑋度信息；
[0024]S4.基于S3的檢索結(jié)果，將獲得的經(jīng)度、瑋度信息在空間地圖上顯示。
[0025]本發(fā)明通過大數(shù)據(jù)處理框架，實現(xiàn)并行計算，快速創(chuàng)建索引；通過S0LR集群及緩存技術(shù)等，能夠?qū)崿F(xiàn)高效的讀寫。經(jīng)測試，本發(fā)明在模糊檢索和數(shù)據(jù)分析上能達到秒級的響應(yīng)，大大提高千萬級的空間數(shù)據(jù)的實時處理速度。
[0026]作為優(yōu)選，空間地圖的經(jīng)度和瑋度的精度分別為0.1度。其優(yōu)點在于，精度足夠用來定位，同時不會導(dǎo)致數(shù)據(jù)容量過大。
[0027]作為優(yōu)選，檢索范圍為10米至1000米。其優(yōu)點在于，若范圍太大，則檢索精度會降低；若范圍太小，則檢索效率會降低。
[0028]作為優(yōu)選，S31中，分詞的方法包括以下步驟:
[0029]S311.建立詞庫，作為對查詢條件進行分詞的依據(jù)；
[0030]S312.對查詢條件按詞進行拆分；
[0031]S313.將拆分后的詞與詞庫中的詞進行匹配，能夠匹配的為分詞結(jié)果，不能匹配的則舍棄。其優(yōu)點在于，降低了對查詢條件的格式要求，方便了用戶使用，同時降低了查詢難度，加快了查詢速度。
[0032]作為優(yōu)選，S2與S3之間還包括:S21.周期性對數(shù)據(jù)進行備份。其優(yōu)點在于，由于數(shù)據(jù)量大，一旦丟失很難恢復(fù)，周期性進行備份，可以降低數(shù)據(jù)丟失的風(fēng)險，保證了大數(shù)據(jù)處理的可靠性，提高數(shù)據(jù)的完整性和安全性。
[0033]作為優(yōu)選，數(shù)據(jù)備份為物理備份或者云備份。其優(yōu)點在于，物理備份具有更高的安全性；而云備份則具有更大的容量、更高的便捷性。
[0034]作為優(yōu)選，采用SPARK計算分析處理，批量將數(shù)據(jù)讀入、計算、寫入索引表；空間數(shù)據(jù)來源為通過GIS工具處理或存儲在關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)。其優(yōu)點在于，能夠通過數(shù)據(jù)的批量處理，具有良好的并行運算能力，加快數(shù)據(jù)的處理速度，提高數(shù)據(jù)處理效率。
[0035]作為優(yōu)選，S3中，查詢條件為自然語言形態(tài)。其優(yōu)點在于，降低了對查詢條件的格式要求，具有更高的實用性和智能性。
[0036]作為優(yōu)選，索引表為二維表。其優(yōu)點在于，導(dǎo)入數(shù)據(jù)方便，具有良好的數(shù)據(jù)處理功會泛。
[0037]本發(fā)明同現(xiàn)有技術(shù)相比具有以下優(yōu)點及效果:
[0038]1、通過完備的備份機制，本發(fā)明能夠保證數(shù)據(jù)的完整性和安全性。
[0039]2、在本發(fā)明中，針對點、線、面空間數(shù)據(jù)的分析計算，采用SPARK計算集群，實現(xiàn)在線實時計算及離線計算，提供空間數(shù)據(jù)的實時請求服務(wù)。
[0040]3、本發(fā)明能夠?qū)崿F(xiàn)空間數(shù)據(jù)的全文、智能、快速檢索。
[0041]4、本發(fā)明通過S0LR索引集群實現(xiàn)空間數(shù)據(jù)的存儲，基于分詞技術(shù)可快速、智能化的進行全文搜索。
[0042]5、本發(fā)明結(jié)合SPARK技術(shù)、S0LR集群及緩存技術(shù)、最短路徑計算等，具有良好的并行運算能力，大大提高千萬級的空間數(shù)據(jù)的實時處理速度，在公安行業(yè)中具有非常大的實用價值。
【附圖說明】
[0043]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0044]圖1為本發(fā)明的流程示意圖。
[0045]圖2為本發(fā)明的索引創(chuàng)建路程示意圖。
[0046]圖3為本發(fā)明的數(shù)據(jù)分析、檢索流程示意圖。
【具體實施方式】
[0047]下面結(jié)合實施例對本發(fā)明做進一步的詳細說明，以下實施例是對本發(fā)明的解釋而本發(fā)明并不局限于以下實施例。
[0048]實施例1:
[0049]如圖1所示，本發(fā)明包括以下步驟:
[0050]S1.建立索引表、空間地圖；
[0051]S2.從公安內(nèi)部數(shù)據(jù)庫中，分別將與索引表字段相同的元素導(dǎo)入到索引表中該字段下；
[0052]S21.周期性對數(shù)據(jù)進行備份；
[0053]S3.通過S0LR索引集群，根據(jù)查詢條件進行檢索:
[0054]S31.對查詢條件進行分詞，以確定查詢條件的數(shù)據(jù)形態(tài)；
[0055]S311.建立詞庫，作為對查詢條件進行分詞的依據(jù)；
[0056]S312.對查詢條件按詞進行拆分；
[0057]S313.將拆分后的詞與詞庫中的詞進行匹配，能夠匹配的為分詞結(jié)果，不能匹配的則舍棄；
[0058]S32.若查詢條件為點形態(tài)的數(shù)據(jù)，則包括以下步驟:
[0059]S321.在空間地圖上找到查詢條件指向的坐標，并確定檢索范圍；
[0060]S322.以坐標為圓心，以檢索范圍為半徑畫圓，并對圓形范圍內(nèi)的攝像頭進行遍歷；
[0061]S323.獲取落在圓形范圍內(nèi)的攝像頭的經(jīng)度、瑋度信息；
[0062]S33.若查詢條件為線和/或面形態(tài)的數(shù)據(jù)，則包括以下步驟:
[0063]S331.在空間地圖上找到查詢條件指向的位置范圍，并確定檢索范圍；
[0064]S332.分別以位置范圍內(nèi)每一個坐標點為圓心，以檢索范圍為半徑畫圓，并對圓形范圍內(nèi)的攝像頭進行遍歷；
[0065]S333.若坐標點落在攝像頭的范圍內(nèi)，則選擇該攝像頭；
[0066]S334.刪除與已選擇的攝像頭重復(fù)的攝像頭，獲取攝